説明

デジタル画像の色属性を処理し特徴付けするためのバイオインスパイアード・システム

【課題】デジタル画像の色属性を処理するための、コンピュータに実装可能なバイオインスパイアード・システムを提供する。
【解決手段】デジタル画像の色属性を処理するための、コンピュータに実装可能なバイオインスパイアード・システムであって、霊長類の網膜の機能をエミュレートする秩序構造を備え、データ入力部により受け取られる元のデジタル画像と分析から、その元のデジタル画像内の色属性を検出し、その元のデジタル画像内の色属性を表すデータの集合により形成される、その元のデジタル画像の各画素について規定される出力情報を生成し、そのシステムは仮想的な網膜を構成するエミュレータ群を有し、各エミュレータはパラメータ化されており、出力信号群のうちの第1色チャネル(a)、第2色チャネル(b)を生成し、双極細胞エミュレータ群は、水平細胞エミュレータ群を介して、出力信号群のうちの第3チャネル(A)を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば機械視覚に適用可能な、デジタル画像の色属性を処理し特徴付けするためのシステムの技術分野に含まれる。
【背景技術】
【0002】
網膜は極めて複雑な器官である。現在に至るまで、発明者らは、それを完全にモデル化する提案は聞いたことがなく、以下の問題点の1以上にアプローチするモデルがあるのみである。
・接続構造
・接続の性質
・時間的な性状(Temporal behaviour)
・無色視覚及び色視覚の経路(Achromatic and chromatic pathways)
【0003】
多くのモデルは、網膜の接続(結合)群の構造及び性質についての提案をしている。これらのモデルは、網膜のアーキテクチャ(構造)又はデザインとでも名付けられるようなものを規定しようと試みるものである。
【0004】
それら公知のモデルの構造は、光受容体層から始まる。いくつかの提案では、それを、ランダムモデルによって(H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006, H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006)、又は実際の網膜のサンプルに基づいて(D.S. LEBEDEV, D.W. MARSHACK. “AMACRINE CELL CONTRIBUTIONS TO RED-GREEN COLOR OPPONENCY IN CENTRAL PRIMATE RETINA: A MODEL STUDY.” VISUAL NEUROSCIENCE 24, PP. 535-547. 2007)、(従来の画像のような)四角形メッシュ、六角形メッシュ(R. SIMINOFF. “SIMULATED BIPOLAR CELLS IN FOVEA OF HUMAN RETINA” BIOLOGICAL CYBERNETICS , 64, PP 497- 504 1991. 497- 504 1991, HEAR_95)としてモデル化する。2番目の層には、水平細胞及び双極細胞が見出される。それらモデルのいくつかは、この層に拮抗過程(opponency processes)を配置している(R.SIMINOFF. “SIMULATED BIPOLAR CELLS IN FOVEA OF HUMAN RETINA” BIOLOGICAL CYBERNETICS, 64, PP. 497- 504 1991)が、他のモデル群は、拮抗過程をアマクリン細胞の作用に帰している(D.S. LEBEDEV, D.W. MARSHACK. “AMACRINE CELL CONTRIBUTIONS TO RED-GREEN COLOR OPPONENCY IN CENTRAL PRIMATE RETINA: A MODEL STUDY.” VISUAL NEUROSCIENCE 24, PP. 535-547. 2007)。いくつかのモデルは、この段階の後に、アマクリン細胞層を含んでいる。そして、神経節細胞群が最後の段階に配置される。
【0005】
この構造に関して、例えばH. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006、 HENN_02, H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006,、M. SAGLAM, Y. HAYASHIDA, N. MURAYAMA. “A RETINAL CIRCUIT MODEL ACCOUNTING FOR WIDE-FIELD AMACRINE CELLS” COGNITIVE NEURODYNAMICS VOL 3 N1 PP. 25-32. 2008 、及び S. SHAH, M. D. LEVINE. “VISUAL INFORMATION PROCESS IN THE PRIMATE CONE PATHWAYS PART I MODEL” IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS - PART B CYBERNETICS, VOL 26, No2, PP. 259- 274. 1996等には、異なる種類の細胞同士の間の接続の数を指定している。更に、それらの種類の細胞の各々の中で、オン・タイプ細胞及びオフ・タイプ細胞(M. SAGLAM, Y. HAYASHIDA, N. MURAYAMA. “A RETINAL CIRCUIT MODEL ACCOUNTING FOR WIDE-FIELD AMACRINE CELLS” COGNITIVE NEURODYNAMICS VOL 3 N1 PP. 25-32. 2008)、異なる複数の種類の神経節細胞、アマクリン細胞及び双極細胞(D. BALYA, B. ROSKA, T. ROSKA, F.S. WERBLIN. “A CNN FRAMEWORK FOR MODELING PARALLEL PROCESSING IN A MAMMALIAN RETINA” INTERNATIONAL JOURNAL OF CIRCUIT THEORY AND APPLICATIONS No30 PP. 363- 393. 2002)、神経節のタイプP及びタイプM(H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006)、ミジェット(midget)双極及びディフューズ(diffuse)及び神経節タイプP及びM(S. SHAH, M. D. LEVINE. “VISUAL INFORMATION PROCESS IN THE PRIMATE CONE PATHWAYS PART I MODEL” IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS - PART B CYBERNETICS, VOL 26, No2, PP. 259- 274. 1996 )、又はミジェット、パラソル(parasol)及びバイストラティファイド(bistratified)神経節細胞(J. H. VAN HATEREN, L. RUTTIGER, H. SUN, B. B. LEE. “PROCESSING OF NATURAL TEMPORAL STIMULI BY MACAQUE RETINAL GANGLION CELLS” THE JOURNAL OF NEUROSCIENCE, VOL 22 (22) 5, PP. 9945-9960. 2002)、のような複数の異なるサブタイプが識別できる。
【0006】
複数の詳細さのレベルを有するあるアーキテクチャでは、それらレベルを構成する細胞群は特徴を有する。各細胞は、その空間的性状(spatial behaviour)と、時々は、その時間的性状(temporal behaviour)に従って記述される。最も普通の空間モデルは、複数の異なるサイズ及び強度のガウス分布の組合せから構成される(W. RODIECK. “QUANTITATIVE ANALYSIS OF CAT RETINAL GANGLION CELL RESPONSE TO VISUAL STIMULI”. VISION RESEARCH, 5, PP. 583-601. 1965, D.S. LEBEDEV, D.W. MARSHACK. “AMACRINE CELL CONTRIBUTIONS TO RED-GREEN COLOR OPPONENCY IN CENTRAL PRIMATE RETINA: A MODEL STUDY.” VISUAL NEUROSCIENCE 24, PP. 535-547. 2007, XU_02, WOHR_08, HENN_02)。メキシカン・ハット(M. SAGLAM, Y. HAYASHIDA, N. MURAYAMA. “A RETINAL CIRCUIT MODEL ACCOUNTING FOR WIDE-FIELD AMACRINE CELLS” COGNITIVE NEURODYNAMICS VOL 3 N1 PP. 25-32. 2008)やガウス導関数(Gaussian derivatives)(GHOS_08)のような他の提案もある。
【0007】
細胞の受容野(x軸及びy軸)に到達する刺激の集合は、受容野内での刺激の位置及び刺激の振る舞い(性状)をモデル化する関数に関して重み付けする方式で積分される。これは以下のように表される。
【数1】

【0008】
実質的に複雑さが増大してしまうことになるものの、細胞の時間的な性状により、神経生理学的な測定値を動的プロセスにおけるモデルの結果に直接リンクすることができる。ただし、(通常、全体の複雑さは、モデルの他の側面を単純化することにより低減される)。時間的モデルは、フィードバック成分及びフィードフォワード成分を含んだ偏微分を有する方程式を用いる。時間的成分を有するモデルにおける最もありふれた戦略は、積分発火(integrate and fire)モデル(IF)及び線形-非線形モデル(LN)である(要約としてC. KOCH. “BIOPHYSICS OF COMPUTATION” OXFORD UNIVERSITY PRESS. 1999を参照)。
【0009】
上述のモデルは異なる複数の細胞タイプに適用されるが、光受容体の場合、Naka-Rushton 及び Valeton及び Van Norrenの方程式に基づく光受容体信号圧縮のような特殊な関数が用いられ、指数因子と定数が調整される(SHAH_96, SAGL_08, VALB_08, KUNK_09. SHAH, M. D. LEVINE. “VISUAL INFORMATION PROCESS IN THE PRIMATE CONE PATHWAYS PART I MODEL” IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS - PART B CYBERNETICS, VOL 26, No2, PP. 259- 274. 1996, M. SAGLAM, Y. HAYASHIDA, N. MURAYAMA. “A RETINAL CIRCUIT MODEL ACCOUNTING FOR WIDE-FIELD AMACRINE CELLS” COGNITIVE NEURODYNAMICS VOL 3 N1 PP. 25-32. 2008, A. VALBERG, T. SEIM. “NEURAL MECHANISMS OF CHROMATIC AND ACHROMATIC VISION” COLOR RESEARCH & APPLICATION, VOL 33, I 6, PP. 433- 443. 2008, T. KUNKEL T, E. REINHARD. “A NEUROPHYSIOLOGY-INSPIRED STEADY-STATE COLOR APPEARANCE MODEL” JOSA A, VOL. 26, ISSUE 4, PP. 776-782. 2009)。
【0010】
細胞層の接続の段階において最もありふれた関数は、信号の重み付け総和及び減算である。しかし、何人かの著者(K. A. ZAGHLOUL. “OPTIC NERVE SIGNALS IN A NEUROMORPHIC CHIP I: OUTER AND INNER RETINA MODEL” IEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, V 51, N 4, 2004, S. GROSSBERG S, E. MINGOLLA, J. WILLIAMSON. “SYNTHETIC APERTURE RADAR PROCESSING BY A MULTIPLE SCALE NEURAL SYSTEM FOR BOUNDARY AND SURFACE REPRESENTATION” NEURAL NETWORKS. VOL 8, IS. 7-8, PP. 1005 - 1028. 1995, F. J. DIAZ-PERNAS, ANTON-RODRIGUEZ, J. F. DIEZ-HIGUERA, M. MARTINEZ-ZARZUELA. “A BIO-INSPIRED NEURAL MODEL FOR COLOUR IMAGE SEGMENTATION” ANNPR 2008, LNAI 5064, PP. 240-251. 2008)は、以前に別の出願群に記載され利用されている短絡抑制(shunt inhibition)又はゲイン抑制(gain inhibition)モデルのように、除算を用いる(CARANDINI , D.J. HEEGER. “SUMMATION AND DIVISION BY NEURONS IN PRIMATE VISUAL CORTEX” SCIENCE 264. PP 1333- 1336. 1994, D. J. HEEGER D. J., SIMONCELLI E. P., MOVSHON J. A. “ COMPUTATIONAL MODELS OF CORTICAL VISUAL PROCESSING”. PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES, PP 93, 623-627 1996, V. TORRE, T. POGGIO. “A SYNAPTIC MECHANISM POSSIBLY UNDERLYING DIRECCIONAL SELECTIVITY TO MOTION” PROC. ROY. SOC LOND. B 202, PP. 409-416. 1978)。
【0011】
神経スパイクは神経節細胞の出力として生成される。神経スパイクに対する最もありふれた変換関数は、指数関数(J. W PILLOW, J. SHLENS, L. PANINSKI, A. SHER, A. M. LITKE, E. J. CHICHILNISKY, E. P. SIMONCELLI. “SPATIO-TEMPORAL CORRELATIONS AND VISUAL SIGNALLING IN A COMPLETE NEURONAL POPULATION” NATURE, VOL 454, PP. 995-999. 2008)、ポアソン過程又はガンマ分布(MEISTER M, BERRY MJ 2ND. “THE NEURAL CODE OF THE RETINA”. NEURON., 22(3) PP. 435-50.1999)を用いたものである。
【0012】
大略的には、これまでに考案されてきた網膜モデルは、無彩色成分に焦点を合わせている。異なる色の場合、網膜モデルは、神経生理学的なリアリティに関して変わり得る複数の抽象レベルを必要とする。これらモデルには、3つのタイプが見受けられる。
・一般的には赤対緑の拮抗経路(D.S. LEBEDEV, D.W. MARSHACK. “AMACRINE CELL CONTRIBUTIONS TO RED-GREEN COLOR OPPONENCY IN CENTRAL PRIMATE RETINA: A MODEL STUDY.” VISUAL NEUROSCIENCE 24, PP. 535-547. 2007, BARR_96)、及びそれに加えて黄色対青の拮抗経路(R. SIMINOFF. “SIMULATED BIPOLAR CELLS IN FOVEA OF HUMAN RETINA” BIOLOGICAL CYBERNETICS, 64, PP. 497- 504 1991, A. VALBERG, T. SEIM. “NEURAL MECHANISMS OF CHROMATIC AND ACHROMATIC VISION” COLOR RESEARCH & APPLICATION, VOL 33, I 6, PP. 433- 443. 2008, ANDR_03, F. J. DIAZ-PERNAS, ANTON-RODRIGUEZ, J. F. DIEZ-HIGUERA, M. MARTINEZ-ZARZUELA. “A BIO-INSPIRED NEURAL MODEL FOR COLOUR IMAGE SEGMENTATION” ANNPR 2008, LNAI 5064, PP. 240-251. 2008, J. H. VAN HATEREN, L. RUTTIGER, H. SUN, B. B. LEE. “PROCESSING OF NATURAL TEMPORAL STIMULI BY MACAQUE RETINAL GANGLION CELLS” THE JOURNAL OF NEUROSCIENCE, VOL 22 (22) 5, PP. 9945-9960. 2002)として表現される、無彩色成分の振る舞いの外挿推定としての色視覚経路を含むモデル。
・神経生理学実験で観察される細胞の特徴を再現するために細胞接続スキームを提案する理論的提案。大多数は、網膜の後の段階、又はLGN及び皮質内の段階を含む(H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006, MICH_78, A. VALBERG, T. SEIM. “NEURAL MECHANISMS OF CHROMATIC AND ACHROMATIC VISION” COLOR RESEARCH & APPLICATION, VOL 33, I 6, PP. 433- 443. 2008)。
・混合モデルは、解剖学的測定又は神経生理学的測定には直接基づかない、色属性計算の
バイオインスパイアード部分と他の部分とを含む(GUTH_91, T. KUNKEL T, E. REINHARD. “A NEUROPHYSIOLOGY-INSPIRED STEADY-STATE COLOR APPEARANCE MODEL” JOSA A, VOL. 26, ISSUE 4, PP. 776-782. 2009, RUDE_98)。
【0013】
一方、現在のところ、ほとんどの撮像及び視覚化デジタルシステムは、赤(R)、緑(G)及び青(B)色成分を用いている。しかし、人間は、例えば暗いオレンジ色のように、主としてその色相(H)、彩度(S)及び強度(I)により色を分析する。両方の表現空間の間の変換には複数のものがあり、これらは、一般則として、高度に管理された環境内の1つ又は2つの色の比較又は測定のために考案されてきた。
【0014】
機械視覚の分野で行われてきたほとんどの研究は、グレイレベルで表された画像を取り扱っている。第1に、これは、カラー画像を取得することの困難さと共に、入力データの数が増大することによる計算コストのためであった。しかし、カラー画像を撮像する能力が改善され、計算能力がめざましく増大したときに、主要な問題が見えてきた。すなわち、色についての絶対的及び/又は相対的な評価を行うために、色をどのように表現及び/又は測定すべきか?、という問題である。例えば、ある色が他の色よりも暗いか又は暗くないかをどのように立証するのか?。
【0015】
J.C.マックスウェルが示したように、色は3つの値で表現することができる。もっともありふれているのは、赤、緑及び青のレベル(RGB:red、green、blue)の利用である。これら3つの色相を色属性群へと変換することに困難さがある。長年にわたり、色を測定し表現するために多くの様々な方法が提案されてきた(R. G. KUEHNI. “COLOR SPACE AND ITS DIVISIONS: COLOR ORDER FROM ANTIQUITY TO THE PRESENT” JOHN WILEY & SONS PUBLICATIONS. 2003 には、それらが集成されている)。これらの研究により我々の知識は増えてきたが、それと同時に、色やその振る舞い、生き物がそれを知覚する方法についての知識の不足が確認された。この意味で、この時点では、色に関する主要な合意点は、色は要素の物理的な特徴であるというよりもむしろ知覚であるという事実である、ということを注目することが重要である。
【0016】
2つの色を信頼できる手段で比較することができず、他方では、複数の対象物を色によって安定的に区分けすることができず、そして、他の面では、一連の画像又は映像において要素を追跡するのに多大な困難がある。
【0017】
視覚は、人間に対して最も多くの情報を提供する唯一の感覚とまではいわなくとも、そのような感覚の1つである。機械視覚は、画像処理と画像認識を自動化することを目指す知識の分野として生まれた。この分野で現在行われている生物学的計算(バイオコンピューテーショナル)研究は、生物が行っている処理の階層的なシーケンスの解析に焦点を合わせている。この解析を実行するために、計算分野での焦点内では、以下に示すような線が研究されている。
・視覚信号の測定及び研究:変調、強度、活性化時間(L. M. MARTINEZ. "THE GENERATION OF VISUAL CORTICAL RECEPTIVE FIELDS." PROGRESS IN BRAIN RES. 154, 2006, G.Q. BI AND M.M. POO. “SYNAPTIC MODIFICATIONS IN CULTURED HIPPOCAMPAL NEURONS: DEPENDENCE ON SPIKE TIMING, SYNAPTIC STRENGTH, AND POSTSYNAPTIC CELL TYPE”. J. NEUROSCI., 18. 1998, M. C. BOOTH AND E. T. ROLLS. “VIEW-INVARIANT REPRESENTATIONS OF FAMILIAR OBJECTS BY NEURONS IN THE INFERIOR TEMPORAL VISUAL CORTEX”. CEREB. CORTEX, 8, 1998, G. KREIMAN, C.P. HUNG, A. KRASKOV, R.Q. QUIROGA, T. POGGIO AND J.J. DICARLO. “OBJECT SELECTIVITY OF LOCAL FIELD POTENTIALS AND SPIKES IN THE MACAQUE INFERIOR TEMPORAL CORTEX”. NEURON, VOL. 49, 2006)
・管理された異なる複数の刺激に直面したときのモデル及び活性化領域の解析(G. KREIMAN, C.P. HUNG, A. KRASKOV, R.Q. QUIROGA, T. POGGIO AND J.J. DICARLO. “OBJECT SELECTIVITY OF LOCAL FIELD POTENTIALS AND SPIKES IN THE MACAQUE INFERIOR TEMPORAL CORTEX”. NEURON, VOL. 49, 2006, HIRS_06, M. C. BOOTH AND E. T. ROLLS. “VIEW-INVARIANT REPRESENTATIONS OF FAMILIAR OBJECTS BY NEURONS IN THE INFERIOR TEMPORAL VISUAL CORTEX”. CEREB. CORTEX, 8, 1998)
・処理チャネル及び処理経路のモデリング:動き検出、シーン内にある対象物の位置特定、対象物認識、色評価等(G. KREIMAN, C.P. HUNG, A. KRASKOV, R.Q. QUIROGA, T. POGGIO AND J.J. DICARLO. “OBJECT SELECTIVITY OF LOCAL FIELD POTENTIALS AND SPIKES IN THE MACAQUE INFERIOR TEMPORAL CORTEX”. NEURON, VOL. 49, 2006, T. SERRE, L. WOLF, S. BILESCHI, M. RIESENHUBER AND T. POGGIO. “OBJECT RECOGNITION WITH CORTEX-LIKE MECHANISMS,” IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 29, 3, 2007, T. SERRE “LEARNING A DICTIONARY OF SHAPE-COMPONENTS IN VISUAL CORTEX: COMPARISON WITH NEURONS, HUMANS AND MACHINES” 2006, T. SERRE “LEARNING A DICTIONARY OF SHAPE-COMPONENTS IN VISUAL CORTEX: COMPARISON WITH NEURONS, HUMANS AND MACHINES” 2006)
【0018】
一次情報経路(primary information pathway)モデリング内での色の処理及び解析を取り扱っている研究がある(BURK_06, HUNG_05. C. VAN ESSEN. “PROCESSING OF COLOR, FORM AND DISPARITY INFORMATION IN VISUAL AREAS VP AND V2 OF VENTRAL EXTRASTRIATE CORTEX IN THE MACAQUE MONKEY”. J. NEUROSCI., 6(8), PP. 2327-51. 1986, C. P. HUNG , G. K. KREIMAN , T. POGGIO , J. J. DICARLO. “FAST READOUT OF OBJECT IDENTITY FROM MACAQUE INFERIOR TEMPORAL CORTEX.” SCIENCE 310, 2005)。
【0019】
複数のタイプにグループ分けされる色の見え方を特定するために提案されてきた主要な方法は、以下に示すように分類できる。
・直接評価システム又はモデル:このシステム又は方法では評価すべき要素についての測定値のみが考慮に入れられる・
色空間:これにより測定対象の要素についての一組の物理的な測定値が定義される。このタイプのシステムには、CIE XYZのような例、又はRGB、CMY、HSVのような人工的システムに関連する空間がある。
表色系(ordered colour system):一組の色についての色の見え方が特定される(R. G. KUEHNI. “COLOR SPACE AND ITS DIVISIONS: COLOR ORDER FROM ANTIQUITY TO THE PRESENT” JOHN WILEY & SONS PUBLICATIONS. 2003)。
・マンセル色システム:これは3つの属性、すなわち明度(value)、(マンセルの)彩度(chroma)、及び(マンセルの)色相(Hue)に従って配列された一組の色見本から構成される。均一な差に基づいた構造を持っているにもかかわらず、このシステムは、2以上の属性が変わるか又は非常に小さな変化しかない色同士を正確に測定することはできない。
・スウェーデンのNatural Color System (NCS):これは、人間が評価対象のサンプル内に表現されている1つ又は2つの基本色(赤、緑、青及び黄色)の内容と白と黒の量とを画定することができるという事実に基づいている。これは人間の視覚系の拮抗経路に基礎を置いている。
・OSA均等色尺度(OSA-UCS):この尺度の目的は、隣り合う要素同士の間の知覚上の差が、その属性のうちの1つ又はいくつかの変化にかかわりなく等しい(Δs= Δcolour)システムを得ることである。
・複合評価モデル:コンテキスト情報が含まれる。
−Hurvich及びJameson (1955-1956)は、色の心理学的指定システムを規定した。主な貢献の1つは、順応過程の影響である。
−1972年に、Guthが自身の色評価モデルの最初のバージョンを提案した。長年の間に、この最初のモデルに対する改良が提案されてきた。
−CIELAB又はCie1976L*a*b*。1976年に、CIEが、製造過程での品質をコントロールするというニーズに応えるために、CIELAB色空間を提案した。これは、CIE1931XYZに基づいて、微妙な色の変化を測定するために、色属性L*、a*、b*を規定している。
−CIELuvは、CIELabと同じ目的のために創られた。その単純さのおかげで、これは今や広く用いられるモデルである。これは、CIELABと共に提案されたが、これはどちらかが明確に良いわけではないからである。各々がそれぞれより適した特定の応用領域を持っている。
−ミヤタニらは、署名システムの設計及び評価に用いるための顕色(色の見え方)モデルを提案した。要約すると、提案されたモデルによれば、最も関係が深い色属性を計算することができ、Hunt効果、Stevens効果及びHelson-Judd効果を予測することができると共に、解析的に可逆である。反面、このモデルは周辺領域の変化を考慮に入れておらず、個々別々の要素における利用のために開発されており、背景色の変化すなわち同時対比又は周辺輝度のモデル化を許容していない(Bartleson-Breneman式)。また、このモデルは、Helson-Judd効果を拡張しており、桿体の効果を含んでいない[FAIR_98] [NAYA_86]。
−1982年にR.W.G. Huntがコンテキスト(状況)及び周辺要素群の影響への順応の効果を包含する新たな色モデルを提案した。これは、それらの要素を独立に取り扱う唯一のモデルであり、また桿体の効果を含んだ唯一のモデルでもある。複数の効果に順応しそれらを予測することを可能にしているこのモデルの複雑さは、同時に、そのすべてのパラメータを調整する際の固有の難しさのために、このモデルの欠点の1つとなっている。更には、このモデルは可逆モデルではない。
−1984年、Derrington, Krauskopft及びLennieは、外側膝状体 (LGN:lateral geniculate nucleus)に存在するニューロンを特徴付けるための一連の実験を行った。刺激を表現して各種のニューロンを特徴付けるために、彼らは、色彩部分がMacLeod及びBoyntonにより提案された色彩ダイアグラムに基づいている空間を定義し、この空間に対して輝度を考慮に入れた第3の次元を追加した。
−1993年、DeValoisらは、霊長類の視覚系に基づいた色処理のための4段階モデルを提案した。
−RLABは、1993年にFairchildらにより紹介された。RLABは刺激に対する色の見え方の予測を可能とする単純な色モデルを定義するという目的を持つ。これはCIELabシステムに基づいている。このモデルの利点は、単純さと反転が可能であることである。同時に、単純化されたモデルであるという事実から、このモデルは色の見え方のすべての側面をモデル化することはできない。
−LLABは、Luoらにより1996年に紹介された(最初のバージョン)。これは色の見え方と色差の測定に基づいて作成された。このモデルにより、色順応、環境の効果及びHunt効果をモデル化することができる。このモデルの主な欠点は、解析的に可逆でないことである。
−1997年、CIEは、これまでの関連の深いモデル群を包含するかも知れない新たなモデルの提案を承認した。CIECAM97モデルは、ミヤタニらのモデル、RLABモデル、LLABモデル及びHuntらのモデルを包含している。このモデルは、順応効果、環境の影響又は輝度レベルに関する効果を予測可能な比較的単純なモデルである。
−CIECAM02モデルは、2002年にCIECAM97の改訂として提案された。多色データベースと表色系(colour order system)データベースが、関数及びパラメータを選択及び調整するために用いられた。この改訂の目的は、CIECAM97の結果を改善し、CIECAM97の複雑さを軽減し、CIECAM97の反転性を改善すると共に、人間の視覚系において新たに識別された要素群を導入することである。
【0020】
これらのモデルの最も関係の深い貢献は、以下のようにまとめることができる。
・記述的な観点からは、マンセル色システムが特に興味深い。このシステムは色知覚に従って構成されているからである。この特徴から、このシステムは新たな色モデルの提案の良さを評価する際にもっともよく使われるシステムである。
・CIELAB及びCIELUVシステムは、単純さと、使用するパラメータが少ないことから、産業応用分野で広く使用されている。
・顕色モデルの中で、Huntモデルは最も完全なモデルである。
・CIECAM97及びCIECAM02は、顕色モデルの分野における作業のための共¥の作業提案を伴っているので、最も広く用いられている先進的なモデルのうちの2つとなっている。
・バイオインスパイアード(bioinspired)モデルは、生じる結果についての系統立った評価にかけているので、理論的な、又は半理論的な提案にとどまっている。
【0021】
これらの種類のシステムの最大の制限であって本システムで解決される制限は、それらシステムが単純且つ孤立した色標本(単色(sole colour))を評価できるのみであり、画像内のすべての点での情報を提供することができず、計算を手動方式で行わなくてはならず、自動的な方法で実行できないことである。
【先行技術文献】
【非特許文献】
【0022】
【非特許文献1】H. MOMIJI H., A. A. BHARATH, M. W. HANKINS, C. KENNARD. “NUMERICAL STUDY OF SHORT-TERM AFTERIMAGES AND ASSOCIATE PROPERTIES IN FOVEAL VISION” VISION RESEARCH, 46, PP. 365-381. 2006
【発明の概要】
【課題を解決するための手段】
【0023】
本発明は、上述の最新技術の不便さを、画像の色属性を処理するためのバイオインスパイアード・システムを用いて克服することであり、このシステムは、霊長類の網膜の感光体、水平細胞、双極細胞、及び神経節細胞の機能をエミュレートする秩序構造(ordered architecture)を備えたコンピュータに実装することができ、データ入力部により受け取られた元のデジタル画像から、画像を解析し、元の画像の色属性を検出し、元のデジタル画像の各画素についての、元の画像の色属性の代表データからなる、定義されたデータ出力を提供し、
このシステムは、仮想的な網膜を構成する複数のエミュレータを有し、各エミュレータは変調済みデータの入力(modulated data input)、前記変調済みデータを処理するための計算センター、及び前記計算センターにより処理されたデータの出力、を有する細胞状構造を有しており、
各エミュレータは、
各エミュレータは、
当該エミュレータの接続先のエミュレータのタイプと、各タイプのエミュレータの接続先のエミュレータにより受け取られる入力信号に対する各タイプのエミュレータの寄与を示す相対的な重みと、を表す第1のパラメータと、
当該エミュレータに対する変調済み入力の円形の接続の領域を示す積分半径であって、当該エミュレータが前記接続領域にて接続しているエミュレータ群の変調済みデータを受け取る積分半径を表す第2のパラメータと、
前記仮想的な網膜へと推定された前記霊長類の網膜内のエミュレートされた細胞の位置を表す第3のパラメータであって、前記第3のパラメータは前記霊長類の網膜の細胞分布をエミュレートする集合を構成するところの第3のパラメータと、
によりパラメータ化されており、
前記システムは、複数の光受容体細胞エミュレータを含んだ光受容体エミュレータモジュールと、複数の双極細胞エミュレータを含んだ双極細胞エミュレータモジュールと、複数の水平細胞エミュレータを含んだ水平細胞エミュレータモジュールと、タイプR ON、R OFF、G ON、及びG OFFのミジェット神経節及びスモール・バイストラティファイド細胞を含んだ神経節エミュレータモジュールと、を有し、
タイプG ON及びG OFFのミジェット神経節細胞エミュレータの各々は、複数のタイプON及びOFFのミジェット双極細胞エミュレータに接続されており、これらミジェット双極細胞エミュレータの各々は、水平細胞エミュレータ群を介して、複数のタイプM錐体光受容体細胞エミュレータ群及び複数の水平エミュレータ群に接続されており、出力信号群のうちの第1色チャネル(a)を生成し、
バイストラティファイド神経節細胞エミュレータの各々は、複数のブルー双極細胞及びタイプDB1ディフューズ双極エミュレータ群に接続されており、これらエミュレータ群は、水平細胞エミュレータ群を介して複数のタイプL、M又はS錐体光受容体細胞エミュレータに接続されており、出力信号群のうちの第2色チャネル(b)を生成し、
タイプR ON及びOFFミジェット神経節細胞エミュレータの各々は、複数のタイプR ON及びOFFミジェット双極細胞エミュレータに接続されており、これら双極細胞エミュレータ群は、水平細胞エミュレータ群を介して、複数の錐体タイプL光受容体エミュレータ群及び複数の水平エミュレータ群に接続されており、出力信号群のうちの第3チャネル(A)を生成する。
各エミュレータのデータ入力は、ガウシアン変調関数に基づいて変調されるものであってもよい。一方、双極エミュレータのうちの少なくとも1つにより生成される出力値に対応する重み付けされた組合せは、加重和関数又は加重除算関数であってもよい。そして、神経節エミュレータの少なくとも1つの出力値は、指数関数に基づいて生成されるものであってもよい。
【0024】
本発明では、同じ種類の複数のエミュレータのうちの少なくともいくつかは、前記同じ種類のエミュレータの接続先である他の種類のエミュレータにより受け取られる追加の入力信号を規定する相互接続を介して互いに相互接続することができる。
【0025】
チャネルa、b及びAの最適化は、色知覚に関する公的な(公開の)データベースに対してそれらを最適化調整することに基づいて、又はその代わりに、マンセル標本群の直線に対する一定の色相を用いた最適レベルの調整に基づいて又は彩度(chroma)が一定の標本群の円形度レベル(circularity level)に基づいて、達成され得る。後者の例では、第1及び第2の出力チャネルの出力信号は、彩度一定のリングの各々についての、平均的なリング半径と各色点の半径との差の二乗(squared differences)の正規化した和(normalised sum)として規定される円形度の測定に基づいて、彩度一定のマンセル色標本群のリング円形度指標(ring circularity index)について最適化することができ、ここで、それらリングの中心はある所与の明度(value)のすべての点の平均値として規定され、それら半径は各点のその平均点までの距離として規定され、そして、正規化合計の各々をリング半径の二乗平均により割ることによる正規化を実行して、外側のリング群が内側のリング群よりも大きな重みを持つことを避ける。
【0026】
本発明では、画像内の色属性の処理を自動化することができ、本発明のシステムは、従来技術のバイオインスパイアード・モデルに基づくシステム及び方法とは反対に、理論的な提案ではなく、実際に動作し確認された結果を伴った完全なシステムである。
【0027】
カラー画像の処理及び特徴付けのための新たな方法は、人間の視覚系内のバイオインスパイアード(生体に啓発された)な神経核(nucleus)を備える顕色モデル、すなわち網膜モデル、の構造により構築される。これは、画像内の各画素の色評価を、6つの属性、すなわち色相(hue)、明度(lightness)、明るさ(brightness)、飽和度(saturation)、彩度(chroma)、及びカラフルネス(colourfulness)の計算を通して行うための方法である。更に、この新たな方法は、画像内にあるエッジ(物体間、異なる材質間、仕上げ間の境界)を検出する。
【0028】
要約すると、結果により裏打ちされた色処理モデルによれば、顕色モデルの通常の“a”、“b”及び“A”チャネルを構成する網膜の出力チャネル群を識別し、構成することができる。
【0029】
このモデルにより得られる結果は、CIECAM02モデルと比較され、“ab”平面内及びマンセル色標本について計算された属性群において顕著により良い結果が得られた。
【0030】
以上のことからわかるように、本発明は、機能的網膜モデルと顕色モデルの構造とに基づいた色処理モデルに基づいている。
【0031】
この明細書に示す方法を構成するために、マンセル標本群の彩度(クロマ)一定のリングの円形度を判定基準としても用い、色属性を生成するのに必要なa,b及びAチャネルを識別し、構成した。これらのチャネルは網膜の出力チャネル、すなわちタイプGミジェット(midget)神経節、バイストラティファイド(bistratified)神経節及びタイプRミジェット神経節に、それぞれ対応している。神経スパイク生成機能(nervous spike generation functions)を修正して、マンセル色標本群についての理想的空間に近づいた円形度レベルの高いab空間が得られた。
【0032】
この特徴の集合は、本システムを、以下に例示する処理において非常に有益なツールとして位置づける。
・画像のセグメンテーション(区域分け)。それは、画像内に存在するエッジに関する情報を提供する。それは、(通常適用されるような)無色視覚経路(achromatic pathway)内に存在するエッジのみならず、色視覚経路(chromatic pathway)内に存在する経路も求め、その一方で、各色領域を6つの属性で特徴付けし、通常のRGB、HSI・・・よりも高い信頼性をもたらす
・オブジェクト検出。エッジ群とそれらの色特徴とを用いて、それは同じオブジェクトに属する可能性がある画素群をグループ化することができる
・検出されるエッジ群と類似の色領域群とに基づき計算することができるモルフォロジー(形態学)的特徴を用いた、及び他方では表面の色構成要素を用いた、画像内に存在する要素の特徴付け
・オブジェクト識別。それは、通常のものよりも安定し、異なるコンテキストにおける画像群内での識別プロセスに順応する色属性の集合を有する。
【0033】
これらの特徴により、そのシステムを、以下に示すような非常に多様な性質の具体的な応用分野に活用することができる。
・ビデオ監視及びセキュリティ:人及び物の追跡、人数の計数、トレーサビリティ、バイオメトリクス管理アプリケーション(顔認識・・・)、カラー映像処理・・・
・製造工程における品質管理:形態が多様及び/又は仕上げ(色、質感・・・)が様々に異なる要素群の管理、製品の色範囲の生産管理
・スポーツへの応用:選手の追跡
・生物医学への応用:画像内の最も代表的な要素群の識別:細胞標本、マーカー又は染色の自動分析、磁気共鳴イメージング・・・
【0034】
上述のように、本発明は、従来技術の不便さを克服し、デジタル画像の色属性の処理のための実際的且つ効果的なシステムを提供する。
【図面の簡単な説明】
【0035】
本発明の各側面及び実施形態を、いくつかの図面に基づいて説明する。
【図1】本発明に従ったシステムの実施形態の情報の流れ及び接続の枠組みを示す図である。
【図2】図1に示したシステムの実施形態のブロック図である。
【図3】ガウス関数により変調された入力、システムに対するその入力に対して計算を行うセンター、及び影響領域全体にわたって均一な出力、を有する、本発明に従ったエミュレータの細胞状構造の実施形態のデザインを模式的に示す図である。
【図4】エミュレータの積分半径の定義の実施例と、当該エミュレータの接続先の前段層(previous layer)のエミュレータの集合とを示す図である。
【図5】各細胞種類の分布又はメッシュを構成する位置の集合を構築する、層i内のエミュレータ同士の相互接続の重畳係数(overlapping factor)を表す図である。
【図6】図2に示した図に基づいて本発明によりエミュレートされた各細胞層により生成される画像の例を示す図である。
【図7】本発明の方法が依拠しているモデルにおける異なる複数の情報経路の進行に対応する情報の流れの例を示す図である。
【図8】同じ種類のエミュレータにより生成される信号からの画像の画素群の構築の例の図式的な表現を示す図である。
【図9】本発明に従ったエミュレータモジュールの実施例の接続方式を示す図である。
【図10】本発明を構成するエミュレータ群の基本構造の枠組みを示すブロック図である。
【図11】モデルにより実行される処理の連鎖の例と、段階ごとに生成される画像を示す図である。
【図12】マンセル明度(value)5の標本群についての最適化の結果に対応する図式的な表現の図である。
【発明を実施するための形態】
【0036】
本発明に係る画像内の色属性の処理及び特徴付けのための方法は、以下に示す要素群により構成されている。
・バイオインスパイアード・モデル:入力画像を処理し複数の出力チャネルを生成する網膜の機能モデル
・色チャネル:網膜モデルにより生成されるオリジナルのチャネル群から、色処理のために必要なチャネル群が特定された
・適応化されたチャネル(Adapted channels):網膜において色関連と識別された3つのチャネルの各々は、それらチャネルを特徴付けるスパイク生成関数のパラメータを用いて再構成される
・色属性の計算:色相(hue)、明度(lightness)、明るさ(brightness)、飽和度(saturation)、彩度(chroma)、及びカラフルネス(colourfulness)
【0037】
図1及び9に示される表現によれば、バイオインスパイアード網膜モデルに基づく画像内の色属性のための処理及び特徴付けのシステムは、すなわち、光受容体細胞モジュール、水平細胞モジュール、双極細胞モジュール、神経節細胞モジュールといった異なる細胞タイプのエミュレータモジュール群により満たされる秩序構造(ordered architecture)をなしている。それら異なる各層の出力信号は、それら各層への入力信号の加重和により計算されることになる。
【0038】
図2に示すように、異なる複数のタイプの細胞が、この構造(アーキテクチャ)上に配置され、構成され、接続されている。すなわち、
a)光受容体細胞:
a.錐体:L,M,及びSタイプ
b.桿体
b)水平細胞:
a.HI
b.HII
c)双極細胞:
a.ミジェット双極
i.ONタイプ:R及びGタイプ
ii.OFFタイプ:R及びGタイプ
b.S錐体双極(S cone bipolar),BB
c.ディフューズ双極(Diffuse bipolar)
i.OFFタイプ
− DB1
− DB2
− DB3
ii.ONタイプ
− DB4
− DB5
− DB6
d.桿体双極
d)神経節細胞:
a.ミジェット神経節細胞:
i.ONタイプ:R及びGタイプ
ii.OFFタイプ:R及びGタイプ
b.パラソル(Parasol)細胞
i.ONタイプ
ii.OFFタイプ
c.バイストラティファイド(bistratified)細胞
d.ラージ・スパース(Large sparse:大きく疎ら)バイストラティファイド細胞
iii.ONタイプ
iv.OFFタイプ
e.ジャイアント神経節細胞
f.ブロード・ソーニー(Broad thorny:広いトゲ状)状細胞
g.ナロー・ソーニー(Narrow thorny:狭いトゲ状)細胞
v.ONタイプ
vi.OFFタイプ
【0039】
ある1つのタイプjの細胞の信号を計算しようとする場合、まず、そのタイプjの細胞に接続されるタイプiの各細胞により生成される信号を、そのタイプjの細胞の中心への接続の距離を表す係数により重み付けしたものの合計信号が計算される。次に、計算対象のタイプjに接続するすべてのタイプの細胞が加算され、重み付け係数は、タイプj細胞に対する各タイプの細胞の接続の相対的な数に従って求められる。これを表す式は以下の通りである。
【数2】

【0040】
その合計の重みは、パラメータ1から3の計算について記述される2つの方法に従って求められる。
【0041】
光受容体細胞と、水平細胞及び双極細胞との間の接続の場合、2つの可能性がある。第1は、水平細胞の信号が光受容体の信号から減算される(eq.2において負の重み)重み付け合計であり、第2は短絡抑制又は対立抑制(divisive inhibition)によるものである。この関数は、以下のようにして計算される。前のケースと同様、タイプjの細胞のどの信号を計算する場合でも、タイプi細胞(興奮信号)から及びタイプk細胞(抑制信号)からタイプj細胞に達する信号の合計について計算が行われる(前のケースで説明したように)。両方の信号が除算され、ゲイン係数が適用される。この計算をまとめると以下のようになる。
【数3】

ここで、jは双極細胞に対応し、iは光受容体細胞に対応し、kは水平細胞に対応する。
【0042】
このモデルのオン経路及びオフ経路は、双極細胞段階で分離される。以下の関数がこのために用いられる。
【数4】

ここで、
【数5】

は、xの平均値を表す。
【0043】
一方、図6に示す例では、神経スパイクへの連続的な信号の変換信号のために指数関数が用いられている。
【数6】

【0044】
しかし、eq.6は、スパイクの生成のための他の汎用関数(generic functions)に置き換えてもよい。
【0045】
一方、各細胞は、前の層内にある種類の細胞のいくつかから重み付けされた信号を受け取る。以下に示すのは、異なる細胞タイプのエミュレータ同士の間に構築された接続を示す。
・水平細胞:
【表1】

・双極細胞:
【表2】

・神経節細胞:
【表3】

【0046】
この方法によれば、異なる複数の形態的特徴(画像内に存在する要素のエッジ)及び色彩的特徴(各画像点を特徴付ける色)を並列的に取得する複数の情報経路により、画像を分析することができる。図2は、以下の特徴を有するこのような情報経路を示す。
・ミジェット神経節細胞:色視覚性の空間的な拮抗性(spatial opponency of chromatic nature)を備える細胞:中央対周囲
・パラソル神経節細胞:無色視覚性の空間的な拮抗性(spatial opponency of achromatic nature)を備える細胞:中央対周囲
・スモール・バイストラティファイド神経節細胞:色視覚性の空間的な拮抗性を備える細胞:中央対周囲
・ビッグ・バイストラティファイド神経節細胞:無色視覚性の中央対周囲の拮抗性を備える細胞
【0047】
図3に示されているものでは、システムのデザインにおいて、細胞方式の構造が、以下の式に基づくガウシアン関数により変調された入力部-1-を用いて求められている。
【数7】

(上でeq.1として既に示したように)モデルの入力についての計算を行う中央部-2-と、影響領域にわたって均一な出力部-3-。
【0048】
図3に示すように、このエミュレータ群の細胞方式の構造によれば、エミュレータは、そのデータ入力部-1-を介して、当該エミュレータが接続された他のエミュレータから信号を受け取り、光受容体細胞エミュレータの場合はオリジナルデジタル画像のうちの当該エミュレータの影響領域内の信号を受け取る。
【0049】
ガウシアンタイプの入力信号は、細胞への各入力信号が当該細胞の統合(積分)領域(area of integration)の中心までの距離に基づいた異なった重みをそれぞれ有することを意味する。重みはガウシアン関数を用いて求められる。統合野(integration field)と呼ばれる細胞の影響領域に達する信号の集合は、加算(積分)されることにより当該細胞に対する合計入力信号を生成する。(図3には、中央部が周囲よりも大きな重みを持つ上側領域-1-のガウシアン関数が示される。)各細胞は、当該細胞が次の層との間に構築した接続の集合を表す出力樹枝の集合を有する。これらすべての接続内では、それら接続に位置に関係なく、生成される出力信号は同じ値を持ち、これは定数である。
【0050】
この要素を構成要素ユニットとして、網膜のバイオインスパイアード・モデルが構築された。このモデルはパラメータの集合により特徴付けられており、当該モデルの各層内に存在する各タイプの細胞が以下により特徴付けされる。
パラメータ・タイプ1. 接続される細胞タイプ群、及び、接続先の細胞への入力信号に対する各細胞タイプの寄与を示す、それら細胞タイプの相対的な重み
パラメータ・タイプ2. 積分半径:これは、細胞の入力である直前の層の細胞群との接続を構築している円形の領域を示している。図4は、細胞と、これが接続される直前の層内の細胞の集合との接続模式図を示している。各細胞は、図3に示した模式図に従って、入力領域-1-、中核部-2-、出力部-3-を用いて表現されている。
パラメータ・タイプ3. 細胞分布又はメッシュ。各細胞は網膜のxy平面内の特定の位置{xcell,ycell}に配置されている。z座標は、網膜内で各細胞が位置する深さを示す。同じ細胞タイプに属する細胞の位置の集合は、分布又はメッシュを構成する。このパラメータは、細胞密度、及び/又は、網膜内の1つの点からサンプリングしたあるタイプの細胞の数である重畳係数(overlapping factor)により規定される。
【0051】
図5は、重畳係数と、連続した複数の層内にある2つのタイプの細胞の位置(メッシュ)との間の関係の例を示す。タイプi−1細胞(i−1で示す円)の集合及びタイプi細胞(iで示す円)のサンプルが示される。メッシュは他のタイプの構成、例えば矩形、六角形、可変形状、も許容し得ることに留意されたい。
【0052】
細胞メッシュのパラメータ群を1以外の重畳係数を用いて計算できるようにするために、重畳(又はカバー)関数が、計算対象の当該層の細胞の各々が次の層内で当該細胞に重畳する細胞群に重畳する面積の合計を、計算対象のセルの面積で除算することにより正規化したものとして、求められる。
【数8】

【0053】
各メッシュ及びその重畳係数の値を得るために、最適化対象の関数を設けてもよい。この発明の実施例の一例として、目的は、重畳が実際の解剖学上の値の周りで最適には均一であるということである。このために、タイプj細胞の集合における重複係数の最大値及び最小値が測定され、それらが実際の値と比較される。このようにして、重畳係数の値の可変帯が限定される。
【数9】

【0054】
この分析方法は、各細胞段階における完全な画像を生成する。層内の各細胞が信号を生成すると共にその層内での位置を持つので、生成された各信号がその位置に配置された場合に画像(平面内での空間的関係を持つ値の集合)が生成される。このことが図8に図式的に示されている。この図では、細胞メッシュは左側に示され、細胞の中央部がグレイで表現される一方、右側には画像の画素群が示される。矢印は、各細胞がどのように各画素の値を表すかを示している。
【0055】
これらパラメータを計算するのには2つの可能な方法がある。
・生物学的データに基づくパラメータの推定
科学的な公開文献内の既存の生物学的データを収集し、入手できないものは推定する。
直接上位の層との接続の数は、異なる複数の細胞の樹状野(dendritic fields)のサイズを確立できるようにするために用いられる。これにより、そして基準としての光受容体の受容野(receptive fields)に基づいて、残りの各層の各野を計算することができる。この計算のために利用できる情報源には以下に示すものがある。
・樹状野又は統合野:樹状突起分枝(dendritic arbors)の物理的サイズ
・受容野:細胞内で影響を持つ刺激のサイズ。これは、同一層内のみならず直前の層内のニューロン間接続の効果を含んでいるので、樹状野よりも大きい
・直前の層内の細胞との接続の数(受容野は、この情報と直前の層内での細胞分布とがわかっていれば、確立できる)
網膜内の1つの点からサンプリングした同じタイプの細胞の数である重畳係数は、その分布を計算するために用いられる。追加のデータは、他のデータを捕捉することができる各タイプの細胞の数である。
・最適化基準に基づくパラメータの推定
最適化すべきターゲット関数が確立され(エッジ検出、色評価、ガボールフィルタの生成・・・)、最適化関数のための最適な結果を生成するパラメータ群の値が計算される。
【0056】
以下の特徴が、主要な関連チャネル群及び関数群のために、生物学的データに基づいてパラメータを推定する際に取得される。
光受容体:均一な受容野(拮抗性がない)と色視覚性(chromatic nature)を有する細胞
【数10】

水平細胞:均一な受容野(拮抗性を呈しない)と部分的な無色視覚性(achromatic nature)を有する細胞
【数11】

ミジェット双極(Midget bipolar)細胞:色視覚性の中央対周囲の拮抗性を有する細胞
a)減算モード
【数12】

b)除算モード
【数13】

【0057】
両方のモードで、OnタイプとOffタイプが以下のように計算される。
【数14】

ディフューズ双極(Diffuse bipolar)細胞:無色視覚性の中央対周囲の拮抗性を有する細胞
a)減算タイプ
【数15】

b)除算タイプ
【数16】

ここで、X={1...6}である。統合(積分)半径は、ディフューズ双極細胞ゴトに異なり、DB1=24.29;DB2=25.29;DB3=30;DB4=26.92;DB5=25.69;DB6=31.62である。
【0058】
最後に、ディフューズ双極細胞の異なる各サブタイプの信号が計算される。
【数17】

ブルー双極(blue bipolar)細胞:中央対周囲の拮抗性と色視覚性を有する細胞
a)減算タイプ
【数18】

b)除算タイプ
ミジェット神経節細胞:色視覚性の空間的拮抗性を有する細胞:中央対周囲
【数19】

パラソル神経節細胞:無色視覚性の空間的拮抗性を有する細胞:中央対周囲
【数20】

スモール・バイストラティファイド神経節細胞:色視覚性の空間的拮抗性を有する細胞:中央対周囲
【数21】

ビッグ・バイストラティファイド神経節細胞:無色視覚性の中央対周囲の拮抗性を有する細胞:
【数22】

【0059】
図面に示した分析システムは、各細胞段階において完全な画像を生成する。1つの層の各細胞は信号を生成すると共にその層内である位置を持っているので、生成された各信号がその位置に配置された場合に画像(平面内での空間的関係を持つ値の集合)が生成される。
【0060】
図6は、ある画像に適用された本方法の特徴を示すサンプル画像である。サンプル画像は、本方法の性能、より詳しくはエッジにおいて生じる効果を示すために選んだ。
【0061】
次に、図7は、異なる複数の情報チャネルの、光受容体群における起源から神経節細胞群までの発展を示す。この図では、情報の流れが示されており、中心部に(信号を)供給する経路(■付きの矢印)及び細胞周囲に(信号を)供給する経路(▲付きの矢印)が識別されている。図7に表された情報の流れによれば、異なる細胞層間の接続群、及び、各タイプの光受容体の各細胞タイプにおける影響が見て取れる。観察できるように,この図には、拮抗性(このタイプの拮抗性を有する細胞内の中央のプロセスと周囲のプロセスとを表すリング付きの円)のプロセスと共に、各細胞タイプが特に調整されている調整先の色(L、及びそのL要素から始まる矢印=赤色; M、及びそのM要素から始まる矢印=緑色; S、及びそのS要素から始まる矢印=青色)(これらの色はそれらの入力信号の加重和から形成されている。接続に関する更なる詳細については表1〜3を、それら各々の重みについてはeq.2〜41を参照)が表現されている。
【0062】
色処理のために必要なチャネル群は、網膜モデルにより生成された元のチャネル群の中から特定した。これらは、チャネルa、b、Aである。
− チャネルaはミジェット神経節タイプGチャネルに対応する
− チャネルbはミジェット・バイストラティファイド神経節チャネルに対応する
− チャネルAはミジェット神経節タイプRチャネルに対応する。
【0063】
適応化されたチャネル群は、網膜内で妥当な色として識別される3つのチャネルの各々を、それらを特徴付けるスパイク生成関数(spike generating functions)のパラメータ群を通じて再構成することにより得られる。すなわち、
【数23】

【0064】
これらの式において、値A1〜A5及びB1〜B5は構成パラメータ群に対応しており、これらパラメータ群の計算は本明細書内で以下に示される。
【0065】
計算の観点からは、aチャネルとbチャネルを単一の信号情報チャネルにて計算するために、onタイプ及びoffタイプの信号を一緒にする必要がある。そのようにするために、一般的な値(generic value)を、神経節入力値のうちのどれに対してでもいいので、以下の基準に従って適用する。
【数24】

【0066】
これらのパラメータを調整するために、マンセル色標本についての最適化基準を用いた。すなわち、彩度(クロマ)が一定のリングの円形度の指標値である。この調整は、生物学的に妥当である。なぜなら、必ずしもすべてのタイプの細胞がスパイク生成関数の同じパラメータ群を持つ必要がないからである。もっとも、色相(hue)が一定の標本群の直線への近似や色知覚データベース(colour perception data bases)等の色評価基準を含む、一般的な他の最適化関数を用いることも考えられる。
【0067】
円形度レベルの測定は、個々の彩度一定のリングについて、そのリングの平均半径と各標本の半径との二乗差(差の二乗)の正規化した和(normalised sum)として定義した。リングの中心は、所与の明度(Value)のすべての点の平均として設定した。半径は、その平均の点までの各点の距離として定義される。正規化は、その和をそのリングの半径の二乗平均により除算することにより実行され、外側のリングが内側のリングよりも大きな重みを持つことを回避している。
【0068】
【数25】

この最適化により、値(明度)5のマンセル標本についてのパラメータA1〜A5及びB1〜B5について、以下の値が得られる。
【表4】

【0069】
これらの値はeq.42〜46に適用される構成値に対応しており、このようにして明度5のマンセル標本の各々の値が計算される。
【0070】
この表に対応する図式的表現が図12に示される。
【0071】
更に、amodel、bmodel、及びAmodelのチャネル群が再調整されなければならない。まず、CIECAM02色属性の計算を適用可能とするために、amodel値、bmodel値及びAmodel値を、aCIECAM02、bCIECAM02、及びACIECAM02に基づいてスケール調整する。スケール調整係数(scale factor)は以下のように設定される。
【数26】

(i∈{1..3})はCIECAM02のa、b、及びAの値とモデルのa’、b’、及びA’の値の間の差が最小になるようにする。ここで、k,k及びkはチャネルa、b、及びAのそれぞれのスケール調整されたパラメータであり、iは3つのチャネルがあるのでスケール調整パラメータkも3つあることを示している。
【0072】
このようにして、網膜モデルから包括的な色の見えモデル(generic colour appearance model)への信号のスケール調整が達成される。
【0073】
色属性群、すなわち色相(hue)、明度(lightness)、明るさ(brightness)、飽和度(saturation)、彩度(chroma)、及びカラフルネス(colourfulness)の計算は、色属性の計算についてのCIECAM02に規定されている公式を適用することにより実行される。
【0074】
本出願の基礎であるモデルを包括的に示すために、図11には、そのモデルにより実行される処理フローの例が示されており、そのフローでは、段階ごとに、選ばれたサンプル画像から生成される画像が示されている。

【特許請求の範囲】
【請求項1】
デジタル画像の色属性を処理するためのバイオインスパイアード神経核を備える、コンピュータに実装可能なシステムであって、前記システムへの入力を構成する元のデジタル画像内に存在する各画素の色属性群、すなわち色相、明度、明るさ、飽和度、彩度、及びカラフルネスを計算することを可能にする、霊長類の網膜の光受容体、水平細胞、双極細胞及び神経節細胞の機能をエミュレートする秩序構造を備え、
前記システムは、仮想的な網膜を形成する複数のエミュレータを有し、各エミュレータは、変調済みデータ入力と、前記変調済みデータを処理するための計算センターと、前記計算センターにより処理されたデータの出力と、を備える細胞ベース構造を有し、
各エミュレータは、
当該エミュレータの接続先のエミュレータのタイプと、各タイプのエミュレータの接続先のエミュレータにより受け取られる入力信号に対する各タイプのエミュレータの寄与を示す相対的な重みと、を表す第1のパラメータと、
当該エミュレータに対する変調済み入力の円形の接続の領域を示す積分半径であって、当該エミュレータが前記接続領域にて接続しているエミュレータ群の変調済みデータを受け取る積分半径を表す第2のパラメータと、
前記仮想的な網膜へと推定された前記霊長類の網膜内のエミュレートされた細胞の位置を表す第3のパラメータであって、前記第3のパラメータは前記霊長類の網膜の細胞分布をエミュレートする集合を構成するところの第3のパラメータと、
によりパラメータ化されており、
前記システムは、複数の光受容体細胞エミュレータを含んだ光受容体エミュレータモジュールと、複数の双極細胞エミュレータを含んだ双極細胞エミュレータモジュールと、複数の水平細胞エミュレータを含んだ水平細胞エミュレータモジュールと、タイプR ON、R OFF、G ON、及びG OFFのミジェット神経節及びスモール・バイストラティファイド細胞を含んだ神経節エミュレータモジュールと、を有し、
タイプG ON及びG OFFのミジェット神経節細胞エミュレータの各々は、複数のタイプON及びOFFのミジェット双極細胞エミュレータに接続されており、これらミジェット双極細胞エミュレータの各々は、水平細胞エミュレータ群を介して、複数のタイプM錐体光受容体細胞エミュレータ群及び複数の水平エミュレータ群に接続されており、出力信号群のうちの第1色チャネル(a)を生成し、
バイストラティファイド神経節細胞エミュレータの各々は、複数のブルー双極細胞及びタイプDB1ディフューズ双極エミュレータ群に接続されており、これらエミュレータ群は、水平細胞エミュレータ群を介して複数のタイプL、M又はS錐体光受容体細胞エミュレータに接続されており、出力信号群のうちの第2色チャネル(b)を生成し、
タイプR ON及びOFFミジェット神経節細胞エミュレータの各々は、複数のタイプR ON及びOFFミジェット双極細胞エミュレータに接続されており、これら双極細胞エミュレータ群は、水平細胞エミュレータ群を介して、複数の錐体タイプL光受容体エミュレータ群及び複数の水平エミュレータ群に接続されており、出力信号群のうちの第3チャネル(A)を生成し、
前記第1及び第2の出力チャネルの出力信号は最適化される、
ことを特徴とするシステム。
【請求項2】
請求項1に係るシステムであって、各エミュレータの前記変調済みデータ入力はガウシアン変調関数に基づいている、ことを特徴とするシステム。
【請求項3】
請求項1又は2に係るシステムであって、前記双極エミュレータのうちの少なくとも1つにより生成される出力値に対応する重み付けされた組合せは、加重和関数であることを特徴とするシステム。
【請求項4】
請求項1、2又は3に係るシステムであって、前記双極エミュレータのうちの少なくとも1つにより生成される出力値に対応する重み付けされた組合せは、加重除算関数であることを特徴とするシステム。
【請求項5】
請求項1〜4のいずれか1項に係るシステムであって、前記神経節エミュレータのうちの少なくとも1つの出力値が指数関数に基づいて生成されることを特徴とするシステム。
【請求項6】
請求項1〜5のいずれか1項に記載のシステムであって、同じタイプのエミュレータ群のうちの少なくともいくつかは相互接続部を介して相互に接続されており、相互接続部は、前記同じタイプのエミュレータ群が接続されている他のタイプのエミュレータ群から受信される追加の入力信号を規定する、ことを特徴とするシステム。
【請求項7】
請求項1〜6のいずれか1項に記載のシステムであって、チャネルa,b及びAの最適化が、公的な色知覚データベースに対する最適調整レベルに従って実行されたものであることを特徴とするシステム。
【請求項8】
請求項1〜6のいずれか1項に記載のシステムであって、チャネルa,b及びAの最適化が、色相が一定のマンセル標本群の直線に対する最適調整レベルに従って実行された物であることを特徴とするシステム。
【請求項9】
請求項8に記載のシステムであって、前記第1及び第2の出力チャネルの出力信号は、彩度一定リングの各々についての平均リング半径と各色点の半径との間の差の二乗の正規化した和として規定される円形度の測定に基づいて、マンセル色標本についての彩度一定のリング円形度指標に関して最適化されており、前記リング群の中心は、所与の明度を持つすべての点の平均明度と規定され、前記半径は、前記平均の点に対する各点の距離と規定され、
外側のリングが内側のリングよりも大きな重みとなることを避けるために、前記正規化した和をリング半径の二乗の平均により割ることにより正規化を行っている,ことを特徴するシステム。

【図1】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図3】
image rotate

【図6】
image rotate

【図11】
image rotate


【公開番号】特開2012−194969(P2012−194969A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−27944(P2012−27944)
【出願日】平成24年2月13日(2012.2.13)
【出願人】(512036063)
【Fターム(参考)】