カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体
【課題】柔軟性に富むカラー画像を表現する方法を得る。
【解決手段】カラー画像を表現する方法は、前記カラー画像あるいは前記カラー画像の領域のための代表的な色として２つ以上の色を選択するステップと、２つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップとを含む。
【解決手段】カラー画像を表現する方法は、前記カラー画像あるいは前記カラー画像の領域のための代表的な色として２つ以上の色を選択するステップと、２つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、探索する目的のためにカラー画像あるいは画像のある領域を表現するための方法および装置、ならびにカラー画像あるいは画像領域を探索するための方法および装置に関する。
【背景技術】
【０００２】
例えば、マルチメディアデータベースから静止画像および映像を検索するために、画像内容に基づいて探索を行う技術が知られている。そのような技術のために、色、テクスチャ、エッジ情報、形状および動きのような様々な画像の特徴が用いられている。そのような技術の応用形態には、インターネットサーチエンジン、双方向ＴＶ、遠隔医療およびテレショッピングがある。
【０００３】
画像データベースから画像を検索する目的のために、画像あるいは画像の領域が、画像内の色に基づく記述子を含む、記述子によって表現される。画像領域の平均色、画像領域内の色分散に基づく統計的な積率（モーメント：moment）、画像領域内の最も大きな面積を覆う色のような代表的な色、および１組の所定の色それぞれの領域内の画素の数をカウントすることにより１つの画像領域に対して導出される色ヒストグラムを含む、多種多様なタイプの色による記述子が知られている。
【０００４】
既知の内容による画像検索システムは、ＱＢＩＣ（画像内容による照会（クエリ：query））（米国特許第５，５７９，４７１号、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ１６５：ＩＢＭ Ａｌｍａｄｅｎ Ｒｅｓｅａｒｃｈ ＣｅｎｔｅｒによるＭＰＥＧ−７のための色記述子を参照されたい）。そのシステムの動作モードのうちの１つでは、データベース内の各画像がブロックに分割される。各ブロックは、類似の色のサブセットにグループ化され、そのようなサブセットのうちの最も大きなサブセットが選択される。選択されたサブセットの平均色が、個々のブロックの代表的な色として選択される。その画像のための代表的な色に関する情報はデータベースに格納される。照会画像を選択することにより、データベース内の照会を行うことができる。その照会画像のための代表的な色に関する情報は、上記のようにして導出される。その後、照会情報は、最も近いもの同士の位置を特定するためのアルゴリズムを用いて、データベース内に格納された画像のための情報と比較される。
【０００５】
ＭＰＥＧ仕様書Ｍ４５８２／Ｐ４３７および米国特許第５，５８６，１９７号は類似のアプローチを開示するが、画像をブロックに分割することに関してさらに柔軟な方法と、画像を比較することに関する種々の方法とを用いる。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５７６、視認物体のための色表現に記載される別の変形例では、領域当たり２つの代表的な色それぞれに対して１つの値が用いられる。
【０００６】
ＭＰＥＧ仕様書Ｍ４５８２／Ｐ７６、ＭＰＥＧ−７のための色記述子、Ｖａｒｉａｂｌｅ−Ｂｉｎ色ヒストグラムのような、色ヒストグラムに基づいて画像を表現するためのいくつかの技術が開発されている。他の技術は、画像領域内の色分布に関する統計的な記述子を用いる。例えば、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５４９、映像シーケンス内の小領域の画像情報測定を用いることによる色記述子は、画像が高および低エントロピー領域に分割され、色分布の特徴が各タイプの領域について計算される技術を開示する。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ３１９、ＭＰＥＧ−７色記述子提案書は、画像領域のための記述子として平均および共分散値を用いることを記載する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の全てのアプローチは、重大な欠点を有する。そのうちのいくつか、特に色ヒストグラム技術は、精度は高いが、比較的大量の記憶量と長い処理時間とを必要とする。１つあるいは２つの代表的な色を用いる技術のような他の方法は、記憶および計算効率に優れているが、精度が不十分である。統計的な記述子は、これらの２つのタイプの技術の中間に位置するが、特に画素の色が領域内で広く変動する場合には、柔軟性に欠けるという問題が生じるようになる。
【課題を解決するための手段】
【０００８】
本発明は、画像領域の記述子を導出するために、画像領域内の代表的な色にそれぞれ対応する、多数の成分分布を用いて色分布を近似することにより画像を表現する方法を提供する。
【０００９】
また、本発明は、そのような記述子を用いて画像を探索する方法を提供する。
【００１０】
さらに、本発明は、その方法を実施するためのコンピュータプログラムと、そのようなコンピュータプログラムを格納するコンピュータ読取り可能媒体とを提供する。コンピュータ読取り可能媒体には、フロッピィディスクまたはＣＤ−ＲＯＭ、あるいはＲＡＭのようなメモリなどの個別の媒体を用いることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態によるシステムのブロック図である。
【図２】第１の探索方法のフローチャートである。
【図３】第２の探索方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施形態は、添付の図面を参照して記載されるであろう。
【００１３】
本発明の一実施形態によるシステムが図１に示される。そのシステムは、システムの動作を制御するためのコンピュータのような制御ユニット２と、制御ユニット２に接続され、画像および文字を含む出力を表示するためのモニタのような表示ユニット４と、制御ユニット２に命令を入力するためのマウスのようなポインティング装置６とを備える。またそのシステムは、複数のデジタル画像を格納する画像データベース８と、以下にさらに詳細に記載される、画像データベース８に格納される各画像のための記述子情報を格納する記述子データベース１０とを備える。画像データベース８および記述子データベース１０はそれぞれ、制御ユニット２に接続される。またそのシステムは、制御ユニット２の制御下にあるコンピュータプログラムであり、記述子データベース１０上で動作するサーチエンジン１２も備える。
【００１４】
この実施形態では、システムの構成要素は、画像ライブラリのような１つのサイト上に設けられ、そのシステムの構成要素は永続的にリンクされる。
【００１５】
記述子データベース１０は、画像データベース内に格納される全ての画像の記述子を格納する。より具体的には、この実施形態では、記述子データベース１０は、各画像の複数の領域それぞれのための記述子を含む。その記述子は以下のように導出される。
【００１６】
画像データベース８内の各画像は、多数の重複しない、画素の矩形のブロックに分割される。各ブロックの場合に、その後、所定の数の色を選択し、各色のブロック内の画素の数をカウントすることにより、色ヒストグラムが導出される。
【００１７】
そのようにして得られた色ヒストグラムは、ブロック内の画素の色分布を示す。一般に、その領域は、１つあるいは複数の支配的な色を有し、そのヒストグラムは、その色に対応するピークを有するであろう。
【００１８】
そのブロックのための記述子は、ヒストグラムから特定されるような支配的な色に基づく。各ブロックのための記述子は以下の要素を有する。
【００１９】
（１）その記述子の次数と呼ばれる、支配的な色の数ｎ。ただし、ｎ≧１である。
【００２０】
各支配的な色の場合に、
（２）（ａ）ブロック内の各支配的な色の相対的な有意性を表す重み。ここでは、その重みは、ブロック内の全画素数に対する、関連する色のブロック内の画素の数の比である。
【００２１】
（ｂ）平均値
【数１】
ただし、ｘ、ｙおよびｚは、色成分、ＲＧＢ色空間内の色の赤色、緑色および青色成分の添え字等を表す。ここで、平均値は、各支配的な色の色成分に対応する。
【００２２】
（ｃ）共分散行列
【数２】
ただし、ｃjiは色成分ｉの分散を表し、ｃijは成分ｉとｊとの間の共分散を表す。共分散行列は対称性を有しており（ｃij＝ｃji）、６つの数だけが格納される必要がある。
【００２３】
上記のような記述子を得る際に、色分布はｎ個の異なる下位分布として処理される。ただし、ｎは支配的な色の数であり、各下位分布は、平均値として各支配的な色のまわりに集中する。当業者には理解されるように、下位分布の範囲は都合よく重複させることができ、適当なアルゴリズムを用いて、重み、平均および共分散行列を計算するための各分布の範囲が画定される。記述子成分を推定する１つの方法は、実際のヒストグラムカウントと、ガウス関数の混合物から推定される値との間の差を最小にすることにより、ヒストグラムピークを中心とするガウス関数をそのヒストグラムに適合させることである。
【００２４】
記述子データベース１０は、画像データベース８内に格納された各画像の各ブロックのための、上記のような記述子を格納する。上記の記述子構造を用いる、各ブロック内の色分布の表現は、大量の記述情報を含むが、例えば、ヒストグラム情報全体より少ない記憶空間しか必要としない。
【００２５】
例として、特定のブロックのための色ヒストグラムは、３つの支配的な色に対応する３つのピークを示す場合がある。そのヒストグラム色分布は、３つの色下位分布として解析され、その結果、記述子は、支配的な色の数を示す数３と、３つの重みと、３つのピークのための色ベクトルに対応する３つの平均ベクトルと、３つの対応する共分散行列とを含むようになる。
【００２６】
そのシステムは、記述子データベースに格納された記述子を用いて、画像データベース内の画像を探索するために用いられる。本実施形態は、２つの探索方法、すなわち１つの色による探索と、領域による探索とを提供する。
【００２７】
１つの色による探索は、図２に示されるフローチャートを参照して記載される。
【００２８】
１つの色による探索では、ユーザは、ポインティング装置６と、表示ユニット４上に表示されるカラーホイールあるいはパレットのようなメニューとを用いて、探索されることになる色を選択することにより照会を入力する（ステップ１０２）。その後、制御ユニット２が、照会色のための個々の色成分である成分、すなわち赤色、緑色および青色成分を有する、照会色のための対応する色ベクトルを取得する（ステップ１０４）。
【００２９】
その後、制御ユニット２は、サーチエンジン１２を用いて、照会色を含む画像データベース８内の画像を探索する。サーチエンジン１２は、照会色の色ベクトルと、記述子データベース１０内の画像ブロックのための記述子とを用いて突合せ（matching）手順を実行する（ステップ１０６）。
【００３０】
突合せ手順は、突合せ値Ｍを計算するために以下の式を用いて実行される。
【００３１】
【数３】
【００３２】
ただし、ｑは照会色の色ベクトルである。突合せ値は、そのブロックのための記述子内のｍおよびＣの各値を用いて、各ブロック内の各支配的な色に対して計算される。したがって、次数ｎの記述子の場合、ｎ個の突合せ値が得られる。
【００３３】
突合せ値は、確率密度関数をガウス関数としてモデル化して、照会色の色値によって画定される点におけるブロック内の各色の下位分布に対応する確率密度関数の値と見なすことができる。
【００３４】
所与の記述子の場合、突合せ値Ｍが大きいほど、対応するブロックが選択された色を有するものに近くなる。
【００３５】
突合せ値が記述子データベース１０内の各記述子に対して計算されたとき、サーチエンジン１２は、１より大きい次数の任意の記述子のためのＭのうちの最も大きな値のみを考慮に入れ、Ｍの最も大きな値で開始して、Ｍのサイズによって、その結果に順序を付ける（ステップ１０８）。
【００３６】
制御ユニット２はサーチエンジン１２から突合せ手順の結果を取り出し、画像データベースから、ＭのうちのＫ個の最も高い値に対応する、最も近いもの同士である所定の数Ｋ個の画像を検索する。その後、その画像は、表示ユニット４上に表示される（ステップ１１０）。制御ユニット２の設定によって、最も近いもの同士のうちの何個が表示ユニット上に表示されることになるかが決定される。その数はユーザによって変更することができる。
【００３７】
上記の説明からわかるように、１つの色による探索は、ユーザによって最初に選択された色と同じか、あるいはそれに近い支配的な色を有するブロックを含む画像を画像データベース８から検索する。
【００３８】
領域による探索は、図３に示されるフローチャートを参照して記載されるであろう。
【００３９】
領域による探索では、制御ユニット２は、画像データベース８からの画像である所定の１組の探索画像を、表示ユニット４上に表示するように動作する（ステップ２０２）。探索画像は全体として、制御ユニットの設定によって決定されるか、あるいはユーザによって入力される他の要件による場合がある。例えば、キーワードによる探索に対応する、より大きなシステムでは、ユーザは、言葉「葉（leaves）」を入力し、その結果、葉を示す所定の１組の画像が色による探索のための画像として示されるであろう。
【００４０】
探索画像はそれぞれ、記述子が導出されたブロックに対応して、画像をブロックに分割するグリッドで示される。その後、ユーザは、ポインティング装置６を用いて、対象の色分布を示す画像のうちの１つのブロックを選択する（ステップ２０４）。
【００４１】
その後、制御ユニット２は記述子データベース１０から、選択された画像ブロックのための記述子を検索し、それを照会記述子として用いる（ステップ２０６）。探索画像が画像データベース８から取り出されているので、その記述子は既に利用可能である。その後、サーチエンジンは、突合せ関数（matching function）を用いて、その照会記述子を記述子データベース内に格納される他の記述子と比較して探索を実行する（ステップ２０８）。
【００４２】
平均値ｍaと共分散行列Ｃaとを有する、支配的な色のうちの１つのための照会記述子、および平均値ｍbと共分散行列Ｃbとを有する、支配的な色のうちの１つのための別の照会記述子の場合、突合せ関数は以下のように定義される。
【００４３】
【数４】
【００４４】
ただし、ｑは色ベクトルに類似の３−ｄ（３次元）ベクトルであり、積分は（０，０，０）〜（２５５，２５５，２５５）の範囲にわたって計算され、２５５は色成分の最大値である。他の実施形態における積分の範囲は、用いられる色座標系および表現に基づくであろう。
【００４５】
これは、画像ブロックのための対応する色の下位分布をガウス関数の形の確率質量関数としてモデル化し、それらが重複する度合いを判定すること、あるいは言い換えると、それらの間の類似性を判定することに等価である。上記の計算結果が大きくなると、対応する色分布は近くなる。この場合、その関数は、照会画像ブロック内の色の下位分布と、格納される画像内の色の下位分布とが重複する度合いを判定する。
【００４６】
１つの記述子を別の記述子と一致させるための完全な突合せ関数は以下のように定義される。
【００４７】
【数５】
【００４８】
ただし、ｖおよびｗは下位分布のための重みであり、その合計は両方の領域内の全下位分布である。
【００４９】
したがって、照会画像ブロックの記述子内に記述される各支配的な色の場合、突合せ値は、記述子データベース１０からの記述子内の各支配的な色に対して計算される。結果的な突合せ値は重み付けされ、その後加算されて、ｍfに対応する最終的な突合せ値が与えられる。
【００５０】
完全な突合せ値は、照会記述子に関する、データベース内の全記述子に対して上記のように計算される。１つの色による探索の場合のように、その結果には順序が付けられ（ステップ２１０）、最も近いもの同士を示す、最も高い突合せ値を有するＫ個の画像が、ユーザのための表示ユニット上に表示される（ステップ２１２）。
【００５１】
以前の探索時に見いだされた画像内の画像領域を選択することにより、探索をさらに繰り返して実行することができる。
【００５２】
上記の測定とは異なる他の類似性測定を用いて、突合せを行うことができる。以下にさらに別の例を示す。
【００５３】
２つの領域のための一対の記述子Ｆ1およびＦ2の場合、類似性測定Ｄは、以下のように定義される。
【００５４】
【数６】
【００５５】
ただし、
【数７】
【００５６】
および
【数８】
【００５７】
である。ここで、ｉおよびｊは代表的な色の添え字を表し、
ｘおよびｙは記述子の添え字を表し、
Ｎ1は第１の記述子内の代表的な色の数であり、
Ｎ2は第２の記述子内の代表的な色の数であり、
Ｐ1iは第１の記述子内のｉ番目の重みであり、
Ｐ2jは第２の記述子内のｊ番目の重みであり、
ｌ、ｕおよびｖは、その特定の例では、赤色、緑色および青色成分のような色成分を表し、
ｃおよびｖはそれぞれ支配的な色値（平均値）および色分散であり、ｃxilはｘ番目の記述子のｉ番目の代表的な色値のｌ番目の成分であり、ｖxilはｘ番目の記述子のｉ番目の代表的な色の分散のｌ番目の成分であり、それ以外も同様である。
【００５８】
上記の突合せ関数とは対照的に、記述子Ｆ1およびＦ2の場合、Ｄの値が小さいほど、記述子Ｆ1およびＦ2に対応する領域間のもの同士が近くなる。したがって、上記のような探索手順から生じる値Ｄは、Ｄの最も小さい値で開始して、サイズが大きくなるような順序を付けられる。ほかの点では、探索および突合せ手順は、概ね上記のように実行されることができ、適当な変更形態は種々の類似性測定を考慮に入れることである。この類似性測定は分散を使用し、共分散行列を使用しないことに留意されたい。したがって、ある領域のための記述子は分散を含むが、共分散行列を含む必要はない。それゆえ、記憶要件は、上記の記述子と比べて低減される。
【００５９】
本発明によるシステムは、たとえば、画像ライブラリ内に設けられる場合がある。別法では、そのデータベースは、システムの制御ユニットから遠く離れて配置され、電話線のような一時的なリンクあるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは、たとえば、永続記憶装置内に、あるいはＣＤ−ＲＯＭあるいはＤＶＤのようなポータブルデータ記憶媒体上に設けられる場合がある。
【００６０】
上記の説明では、色表現は、赤色、緑色および青色成分に関して記載されてきた。当然、色相、彩度および輝度を用いる表現、ＹＵＶ座標系による表現、あるいは任意の色空間内の色成分のサブセット、たとえばＨＳＩの色相および彩度のみを用いる表現のような他の表現を用いることもできる。
【００６１】
上記の本発明の実施形態は、画像の矩形のブロックに対して導出された記述子を用いる。記述子の根拠として、画像の他の小領域を用いることもできる。たとえば、種々の形状およびサイズからなる領域を用いることもできる。別法では、記述子は、物体、たとえば車、家あるいは人に対応する画像の領域に対して導出される場合もある。いずれの場合でも、記述子は、画像の全てあるいは画像の一部のみに対して導出されることができる。
【００６２】
その探索手順では、１つの色の照会を入力する代わりに、あるいは１つの画像ブロックを選択する代わりに、ユーザはたとえば、ポインティング装置を用いて、たとえばある画像のある領域を取り囲むことにより、その領域を記述することができ、その場合、制御ユニットがその領域のための記述子を導出し、それを用いて、上記のようにして探索を実行する。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、たとえば、イメージスキャナあるいはデジタルカメラを用いて、システムに画像を入力することもできる。そのような状況において探索を実行するために、再び、そのシステムは最初に、自動的に、あるいはユーザによって決定されるように、画像あるいは画像の領域に対する記述子を導出する。
【００６３】
本発明の適切な態様は、ハードウエアあるいはソフトウエアを用いて実装することができる。
【００６４】
上記の実施形態では、各代表的な色のための成分の下位分布は、ガウス関数を用いて近似され、その関数の平均および共分散が記述子値として用いられる。しかしながら、他の関数あるいはパラメータを用いて、たとえば、正弦あるいは余弦関数のような基底関数を用いて、記述子をその関数に基づいて導出することにより、成分分布を近似することができる。
【技術分野】
【０００１】
本発明は、探索する目的のためにカラー画像あるいは画像のある領域を表現するための方法および装置、ならびにカラー画像あるいは画像領域を探索するための方法および装置に関する。
【背景技術】
【０００２】
例えば、マルチメディアデータベースから静止画像および映像を検索するために、画像内容に基づいて探索を行う技術が知られている。そのような技術のために、色、テクスチャ、エッジ情報、形状および動きのような様々な画像の特徴が用いられている。そのような技術の応用形態には、インターネットサーチエンジン、双方向ＴＶ、遠隔医療およびテレショッピングがある。
【０００３】
画像データベースから画像を検索する目的のために、画像あるいは画像の領域が、画像内の色に基づく記述子を含む、記述子によって表現される。画像領域の平均色、画像領域内の色分散に基づく統計的な積率（モーメント：moment）、画像領域内の最も大きな面積を覆う色のような代表的な色、および１組の所定の色それぞれの領域内の画素の数をカウントすることにより１つの画像領域に対して導出される色ヒストグラムを含む、多種多様なタイプの色による記述子が知られている。
【０００４】
既知の内容による画像検索システムは、ＱＢＩＣ（画像内容による照会（クエリ：query））（米国特許第５，５７９，４７１号、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ１６５：ＩＢＭ Ａｌｍａｄｅｎ Ｒｅｓｅａｒｃｈ ＣｅｎｔｅｒによるＭＰＥＧ−７のための色記述子を参照されたい）。そのシステムの動作モードのうちの１つでは、データベース内の各画像がブロックに分割される。各ブロックは、類似の色のサブセットにグループ化され、そのようなサブセットのうちの最も大きなサブセットが選択される。選択されたサブセットの平均色が、個々のブロックの代表的な色として選択される。その画像のための代表的な色に関する情報はデータベースに格納される。照会画像を選択することにより、データベース内の照会を行うことができる。その照会画像のための代表的な色に関する情報は、上記のようにして導出される。その後、照会情報は、最も近いもの同士の位置を特定するためのアルゴリズムを用いて、データベース内に格納された画像のための情報と比較される。
【０００５】
ＭＰＥＧ仕様書Ｍ４５８２／Ｐ４３７および米国特許第５，５８６，１９７号は類似のアプローチを開示するが、画像をブロックに分割することに関してさらに柔軟な方法と、画像を比較することに関する種々の方法とを用いる。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５７６、視認物体のための色表現に記載される別の変形例では、領域当たり２つの代表的な色それぞれに対して１つの値が用いられる。
【０００６】
ＭＰＥＧ仕様書Ｍ４５８２／Ｐ７６、ＭＰＥＧ−７のための色記述子、Ｖａｒｉａｂｌｅ−Ｂｉｎ色ヒストグラムのような、色ヒストグラムに基づいて画像を表現するためのいくつかの技術が開発されている。他の技術は、画像領域内の色分布に関する統計的な記述子を用いる。例えば、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５４９、映像シーケンス内の小領域の画像情報測定を用いることによる色記述子は、画像が高および低エントロピー領域に分割され、色分布の特徴が各タイプの領域について計算される技術を開示する。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ３１９、ＭＰＥＧ−７色記述子提案書は、画像領域のための記述子として平均および共分散値を用いることを記載する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の全てのアプローチは、重大な欠点を有する。そのうちのいくつか、特に色ヒストグラム技術は、精度は高いが、比較的大量の記憶量と長い処理時間とを必要とする。１つあるいは２つの代表的な色を用いる技術のような他の方法は、記憶および計算効率に優れているが、精度が不十分である。統計的な記述子は、これらの２つのタイプの技術の中間に位置するが、特に画素の色が領域内で広く変動する場合には、柔軟性に欠けるという問題が生じるようになる。
【課題を解決するための手段】
【０００８】
本発明は、画像領域の記述子を導出するために、画像領域内の代表的な色にそれぞれ対応する、多数の成分分布を用いて色分布を近似することにより画像を表現する方法を提供する。
【０００９】
また、本発明は、そのような記述子を用いて画像を探索する方法を提供する。
【００１０】
さらに、本発明は、その方法を実施するためのコンピュータプログラムと、そのようなコンピュータプログラムを格納するコンピュータ読取り可能媒体とを提供する。コンピュータ読取り可能媒体には、フロッピィディスクまたはＣＤ−ＲＯＭ、あるいはＲＡＭのようなメモリなどの個別の媒体を用いることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態によるシステムのブロック図である。
【図２】第１の探索方法のフローチャートである。
【図３】第２の探索方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施形態は、添付の図面を参照して記載されるであろう。
【００１３】
本発明の一実施形態によるシステムが図１に示される。そのシステムは、システムの動作を制御するためのコンピュータのような制御ユニット２と、制御ユニット２に接続され、画像および文字を含む出力を表示するためのモニタのような表示ユニット４と、制御ユニット２に命令を入力するためのマウスのようなポインティング装置６とを備える。またそのシステムは、複数のデジタル画像を格納する画像データベース８と、以下にさらに詳細に記載される、画像データベース８に格納される各画像のための記述子情報を格納する記述子データベース１０とを備える。画像データベース８および記述子データベース１０はそれぞれ、制御ユニット２に接続される。またそのシステムは、制御ユニット２の制御下にあるコンピュータプログラムであり、記述子データベース１０上で動作するサーチエンジン１２も備える。
【００１４】
この実施形態では、システムの構成要素は、画像ライブラリのような１つのサイト上に設けられ、そのシステムの構成要素は永続的にリンクされる。
【００１５】
記述子データベース１０は、画像データベース内に格納される全ての画像の記述子を格納する。より具体的には、この実施形態では、記述子データベース１０は、各画像の複数の領域それぞれのための記述子を含む。その記述子は以下のように導出される。
【００１６】
画像データベース８内の各画像は、多数の重複しない、画素の矩形のブロックに分割される。各ブロックの場合に、その後、所定の数の色を選択し、各色のブロック内の画素の数をカウントすることにより、色ヒストグラムが導出される。
【００１７】
そのようにして得られた色ヒストグラムは、ブロック内の画素の色分布を示す。一般に、その領域は、１つあるいは複数の支配的な色を有し、そのヒストグラムは、その色に対応するピークを有するであろう。
【００１８】
そのブロックのための記述子は、ヒストグラムから特定されるような支配的な色に基づく。各ブロックのための記述子は以下の要素を有する。
【００１９】
（１）その記述子の次数と呼ばれる、支配的な色の数ｎ。ただし、ｎ≧１である。
【００２０】
各支配的な色の場合に、
（２）（ａ）ブロック内の各支配的な色の相対的な有意性を表す重み。ここでは、その重みは、ブロック内の全画素数に対する、関連する色のブロック内の画素の数の比である。
【００２１】
（ｂ）平均値
【数１】
ただし、ｘ、ｙおよびｚは、色成分、ＲＧＢ色空間内の色の赤色、緑色および青色成分の添え字等を表す。ここで、平均値は、各支配的な色の色成分に対応する。
【００２２】
（ｃ）共分散行列
【数２】
ただし、ｃjiは色成分ｉの分散を表し、ｃijは成分ｉとｊとの間の共分散を表す。共分散行列は対称性を有しており（ｃij＝ｃji）、６つの数だけが格納される必要がある。
【００２３】
上記のような記述子を得る際に、色分布はｎ個の異なる下位分布として処理される。ただし、ｎは支配的な色の数であり、各下位分布は、平均値として各支配的な色のまわりに集中する。当業者には理解されるように、下位分布の範囲は都合よく重複させることができ、適当なアルゴリズムを用いて、重み、平均および共分散行列を計算するための各分布の範囲が画定される。記述子成分を推定する１つの方法は、実際のヒストグラムカウントと、ガウス関数の混合物から推定される値との間の差を最小にすることにより、ヒストグラムピークを中心とするガウス関数をそのヒストグラムに適合させることである。
【００２４】
記述子データベース１０は、画像データベース８内に格納された各画像の各ブロックのための、上記のような記述子を格納する。上記の記述子構造を用いる、各ブロック内の色分布の表現は、大量の記述情報を含むが、例えば、ヒストグラム情報全体より少ない記憶空間しか必要としない。
【００２５】
例として、特定のブロックのための色ヒストグラムは、３つの支配的な色に対応する３つのピークを示す場合がある。そのヒストグラム色分布は、３つの色下位分布として解析され、その結果、記述子は、支配的な色の数を示す数３と、３つの重みと、３つのピークのための色ベクトルに対応する３つの平均ベクトルと、３つの対応する共分散行列とを含むようになる。
【００２６】
そのシステムは、記述子データベースに格納された記述子を用いて、画像データベース内の画像を探索するために用いられる。本実施形態は、２つの探索方法、すなわち１つの色による探索と、領域による探索とを提供する。
【００２７】
１つの色による探索は、図２に示されるフローチャートを参照して記載される。
【００２８】
１つの色による探索では、ユーザは、ポインティング装置６と、表示ユニット４上に表示されるカラーホイールあるいはパレットのようなメニューとを用いて、探索されることになる色を選択することにより照会を入力する（ステップ１０２）。その後、制御ユニット２が、照会色のための個々の色成分である成分、すなわち赤色、緑色および青色成分を有する、照会色のための対応する色ベクトルを取得する（ステップ１０４）。
【００２９】
その後、制御ユニット２は、サーチエンジン１２を用いて、照会色を含む画像データベース８内の画像を探索する。サーチエンジン１２は、照会色の色ベクトルと、記述子データベース１０内の画像ブロックのための記述子とを用いて突合せ（matching）手順を実行する（ステップ１０６）。
【００３０】
突合せ手順は、突合せ値Ｍを計算するために以下の式を用いて実行される。
【００３１】
【数３】
【００３２】
ただし、ｑは照会色の色ベクトルである。突合せ値は、そのブロックのための記述子内のｍおよびＣの各値を用いて、各ブロック内の各支配的な色に対して計算される。したがって、次数ｎの記述子の場合、ｎ個の突合せ値が得られる。
【００３３】
突合せ値は、確率密度関数をガウス関数としてモデル化して、照会色の色値によって画定される点におけるブロック内の各色の下位分布に対応する確率密度関数の値と見なすことができる。
【００３４】
所与の記述子の場合、突合せ値Ｍが大きいほど、対応するブロックが選択された色を有するものに近くなる。
【００３５】
突合せ値が記述子データベース１０内の各記述子に対して計算されたとき、サーチエンジン１２は、１より大きい次数の任意の記述子のためのＭのうちの最も大きな値のみを考慮に入れ、Ｍの最も大きな値で開始して、Ｍのサイズによって、その結果に順序を付ける（ステップ１０８）。
【００３６】
制御ユニット２はサーチエンジン１２から突合せ手順の結果を取り出し、画像データベースから、ＭのうちのＫ個の最も高い値に対応する、最も近いもの同士である所定の数Ｋ個の画像を検索する。その後、その画像は、表示ユニット４上に表示される（ステップ１１０）。制御ユニット２の設定によって、最も近いもの同士のうちの何個が表示ユニット上に表示されることになるかが決定される。その数はユーザによって変更することができる。
【００３７】
上記の説明からわかるように、１つの色による探索は、ユーザによって最初に選択された色と同じか、あるいはそれに近い支配的な色を有するブロックを含む画像を画像データベース８から検索する。
【００３８】
領域による探索は、図３に示されるフローチャートを参照して記載されるであろう。
【００３９】
領域による探索では、制御ユニット２は、画像データベース８からの画像である所定の１組の探索画像を、表示ユニット４上に表示するように動作する（ステップ２０２）。探索画像は全体として、制御ユニットの設定によって決定されるか、あるいはユーザによって入力される他の要件による場合がある。例えば、キーワードによる探索に対応する、より大きなシステムでは、ユーザは、言葉「葉（leaves）」を入力し、その結果、葉を示す所定の１組の画像が色による探索のための画像として示されるであろう。
【００４０】
探索画像はそれぞれ、記述子が導出されたブロックに対応して、画像をブロックに分割するグリッドで示される。その後、ユーザは、ポインティング装置６を用いて、対象の色分布を示す画像のうちの１つのブロックを選択する（ステップ２０４）。
【００４１】
その後、制御ユニット２は記述子データベース１０から、選択された画像ブロックのための記述子を検索し、それを照会記述子として用いる（ステップ２０６）。探索画像が画像データベース８から取り出されているので、その記述子は既に利用可能である。その後、サーチエンジンは、突合せ関数（matching function）を用いて、その照会記述子を記述子データベース内に格納される他の記述子と比較して探索を実行する（ステップ２０８）。
【００４２】
平均値ｍaと共分散行列Ｃaとを有する、支配的な色のうちの１つのための照会記述子、および平均値ｍbと共分散行列Ｃbとを有する、支配的な色のうちの１つのための別の照会記述子の場合、突合せ関数は以下のように定義される。
【００４３】
【数４】
【００４４】
ただし、ｑは色ベクトルに類似の３−ｄ（３次元）ベクトルであり、積分は（０，０，０）〜（２５５，２５５，２５５）の範囲にわたって計算され、２５５は色成分の最大値である。他の実施形態における積分の範囲は、用いられる色座標系および表現に基づくであろう。
【００４５】
これは、画像ブロックのための対応する色の下位分布をガウス関数の形の確率質量関数としてモデル化し、それらが重複する度合いを判定すること、あるいは言い換えると、それらの間の類似性を判定することに等価である。上記の計算結果が大きくなると、対応する色分布は近くなる。この場合、その関数は、照会画像ブロック内の色の下位分布と、格納される画像内の色の下位分布とが重複する度合いを判定する。
【００４６】
１つの記述子を別の記述子と一致させるための完全な突合せ関数は以下のように定義される。
【００４７】
【数５】
【００４８】
ただし、ｖおよびｗは下位分布のための重みであり、その合計は両方の領域内の全下位分布である。
【００４９】
したがって、照会画像ブロックの記述子内に記述される各支配的な色の場合、突合せ値は、記述子データベース１０からの記述子内の各支配的な色に対して計算される。結果的な突合せ値は重み付けされ、その後加算されて、ｍfに対応する最終的な突合せ値が与えられる。
【００５０】
完全な突合せ値は、照会記述子に関する、データベース内の全記述子に対して上記のように計算される。１つの色による探索の場合のように、その結果には順序が付けられ（ステップ２１０）、最も近いもの同士を示す、最も高い突合せ値を有するＫ個の画像が、ユーザのための表示ユニット上に表示される（ステップ２１２）。
【００５１】
以前の探索時に見いだされた画像内の画像領域を選択することにより、探索をさらに繰り返して実行することができる。
【００５２】
上記の測定とは異なる他の類似性測定を用いて、突合せを行うことができる。以下にさらに別の例を示す。
【００５３】
２つの領域のための一対の記述子Ｆ1およびＦ2の場合、類似性測定Ｄは、以下のように定義される。
【００５４】
【数６】
【００５５】
ただし、
【数７】
【００５６】
および
【数８】
【００５７】
である。ここで、ｉおよびｊは代表的な色の添え字を表し、
ｘおよびｙは記述子の添え字を表し、
Ｎ1は第１の記述子内の代表的な色の数であり、
Ｎ2は第２の記述子内の代表的な色の数であり、
Ｐ1iは第１の記述子内のｉ番目の重みであり、
Ｐ2jは第２の記述子内のｊ番目の重みであり、
ｌ、ｕおよびｖは、その特定の例では、赤色、緑色および青色成分のような色成分を表し、
ｃおよびｖはそれぞれ支配的な色値（平均値）および色分散であり、ｃxilはｘ番目の記述子のｉ番目の代表的な色値のｌ番目の成分であり、ｖxilはｘ番目の記述子のｉ番目の代表的な色の分散のｌ番目の成分であり、それ以外も同様である。
【００５８】
上記の突合せ関数とは対照的に、記述子Ｆ1およびＦ2の場合、Ｄの値が小さいほど、記述子Ｆ1およびＦ2に対応する領域間のもの同士が近くなる。したがって、上記のような探索手順から生じる値Ｄは、Ｄの最も小さい値で開始して、サイズが大きくなるような順序を付けられる。ほかの点では、探索および突合せ手順は、概ね上記のように実行されることができ、適当な変更形態は種々の類似性測定を考慮に入れることである。この類似性測定は分散を使用し、共分散行列を使用しないことに留意されたい。したがって、ある領域のための記述子は分散を含むが、共分散行列を含む必要はない。それゆえ、記憶要件は、上記の記述子と比べて低減される。
【００５９】
本発明によるシステムは、たとえば、画像ライブラリ内に設けられる場合がある。別法では、そのデータベースは、システムの制御ユニットから遠く離れて配置され、電話線のような一時的なリンクあるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは、たとえば、永続記憶装置内に、あるいはＣＤ−ＲＯＭあるいはＤＶＤのようなポータブルデータ記憶媒体上に設けられる場合がある。
【００６０】
上記の説明では、色表現は、赤色、緑色および青色成分に関して記載されてきた。当然、色相、彩度および輝度を用いる表現、ＹＵＶ座標系による表現、あるいは任意の色空間内の色成分のサブセット、たとえばＨＳＩの色相および彩度のみを用いる表現のような他の表現を用いることもできる。
【００６１】
上記の本発明の実施形態は、画像の矩形のブロックに対して導出された記述子を用いる。記述子の根拠として、画像の他の小領域を用いることもできる。たとえば、種々の形状およびサイズからなる領域を用いることもできる。別法では、記述子は、物体、たとえば車、家あるいは人に対応する画像の領域に対して導出される場合もある。いずれの場合でも、記述子は、画像の全てあるいは画像の一部のみに対して導出されることができる。
【００６２】
その探索手順では、１つの色の照会を入力する代わりに、あるいは１つの画像ブロックを選択する代わりに、ユーザはたとえば、ポインティング装置を用いて、たとえばある画像のある領域を取り囲むことにより、その領域を記述することができ、その場合、制御ユニットがその領域のための記述子を導出し、それを用いて、上記のようにして探索を実行する。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、たとえば、イメージスキャナあるいはデジタルカメラを用いて、システムに画像を入力することもできる。そのような状況において探索を実行するために、再び、そのシステムは最初に、自動的に、あるいはユーザによって決定されるように、画像あるいは画像の領域に対する記述子を導出する。
【００６３】
本発明の適切な態様は、ハードウエアあるいはソフトウエアを用いて実装することができる。
【００６４】
上記の実施形態では、各代表的な色のための成分の下位分布は、ガウス関数を用いて近似され、その関数の平均および共分散が記述子値として用いられる。しかしながら、他の関数あるいはパラメータを用いて、たとえば、正弦あるいは余弦関数のような基底関数を用いて、記述子をその関数に基づいて導出することにより、成分分布を近似することができる。
【特許請求の範囲】
【請求項１】
データ記憶手段に格納されるカラー画像を探索する方法であって、
画像の色に関する照会を入力するステップと、
突合せ関数を使用して、前記照会と、格納される画像のための記述子とを比較するステップと、
前記突合せ関数が前記照会と前記画像の少なくとも一部との間の近いものを指示する少なくとも１つの画像を選択するステップとを含み、
前記格納される画像のための記述子は、前記画像の２以上の支配的な色の色空間値、及び前記画像の至る所の色分散のそれぞれの値を含む
カラー画像を探索する方法。
【請求項２】
前記格納される画像のための記述子は、
前記画像の支配的な色として、２以上の色を選択し、
各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算し、
かつ、各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現することによって、導出される
請求項１の方法。
【請求項３】
照会を入力するステップは、
照会画像を選択又は入力するステップと、
前記画像の支配的な色として、２以上の色を選択することによって、前記画像の記述子を取得するステップと、
各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算するステップと、
各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現するステップとを含む
請求項１記載の方法。
【請求項４】
格納される画像又は照会画像のいずれか一方の支配的な色を選択するステップは、
領域のための色ヒストグラムを導出するステップを含む
請求項２又は３記載の方法。
【請求項５】
前記支配的な色を選択するステップは、
前記色ヒストグラム内の局所的なピークを特定するステップと、
前記支配的な色として対応する色を選択するステップとを含む
請求項４記載の方法。
【請求項６】
前記画像の領域を選択するステップを含み、
前記支配的な色及び分散は、前記領域について選択され、かつ計算される
請求項２から請求項５までのいずれかに記載の方法。
【請求項７】
前記画像領域は、物体に対応する
請求項６記載の方法。
【請求項８】
前記色空間値は、複数の色成分に関して表現され、
各色成分について色分散を計算するステップを含む
請求項１から請求項７までのいずれかに記載の方法。
【請求項９】
１組の色成分について色分散を計算するステップを含む
請求項８記載の方法。
【請求項１０】
画像領域における支配的な色の相対的な有意性を表す、各支配的な色の重みを計算するステップを含む
請求項１から請求項９までのいずれかに記載の方法。
【請求項１１】
前記突合せ関数は、
【数１】
に基づき、
ここで、ｑは、照会に対応する色ベクトルであり、ｍおよびＣは、代表的な色のための色分布の第１および第２の中心積率を表す記述子値である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１２】
前記突合せ関数は、
【数２】
に基づき、
ここで、
【数３】
であり、ｍおよびＣは、代表的な色のための色分布の第１および第２の中心積率を表す記述子値であり、ｖおよびｗは、重みであり、ｉ、ｊ、ａおよびｂは、比較されるべき記述子の下位分布の添え字である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１３】
前記突合せ関数は、
【数４】
に基づき、
ここで、
【数５】
および、
【数６】
であり、
Ｄは類似性測定値であり、
Ｆ1は第１の記述子であり、
Ｆ2は第２の記述子であり、
ｉおよびｊは代表的な色の添え字を表し、
ｘおよびｙは記述子の添え字を表し、
Ｎ1は第１の記述子内の代表的な色の数であり、
Ｎ2は第２の記述子内の代表的な色の数であり、
Ｐ1iは第１の記述子内のｉ番目の重みであり、
Ｐ2jは第２の記述子内のｊ番目の重みであり、
ｌ、ｕおよびｖは色成分を表し、
ｃおよびｖはそれぞれ支配的な色値（平均値）および色分散である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１４】
照会を入力するステップは、
１つの色値を選択するステップを含む
請求項１から請求項１３までのいずれかに記載の方法。
【請求項１５】
照会は、色空間の成分のいくつかのみを用いて入力される
請求項１から請求項１３までのいずれかに記載の方法。
【請求項１６】
請求項１から１５までのいずれかによる方法を実施するのに適する
カラー画像を探索する装置。
【請求項１７】
請求項１から１５までのいずれかに記載された方法を実行するようにプログラミングされる
制御装置。
【請求項１８】
請求項１７に記載された制御装置を備える
カラー画像を探索する装置。
【請求項１９】
少なくとも１つの画像を入力する入力装置と、
入力画像又は前記入力画像の領域の少なくとも２つの支配的な色を求めるディテクタと、
前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求めるコントローラと、
前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも１つの実質上一致する画像を探索するコンパレータと
を備える、画像を探索するシステム。
【請求項２０】
少なくとも１つの画像を含む入力を得る命令と、
入力画像又は前記入力画像の領域の少なくとも２つの支配的な色を求める命令と、
前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求める命令と、
前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも１つの実質上一致する画像を探索する命令と、
前記少なくとも１つの実質上一致する画像を表示する命令と
を含む、複数の実行可能命令が格納される機械読取り可能媒体。
【請求項２１】
カラー画像の領域を選択するステップと、
前記領域のための代表的な色として１つあるいは複数の色を選択するステップと、
２つ以上の代表的な色を有する領域の場合、個々の代表的な色に関連する色分布に関する少なくとも２つのパラメータを各代表的な色の場合に計算するステップと、
前記パラメータを用いて前記画像領域のための記述子を導出するステップと
を含むカラー画像を表現する方法。
【請求項２２】
請求項１から１５までのいずれかに記載された方法を実施するのに適する
コンピュータシステム。
【請求項２３】
請求項１から１５までのいずれかの方法を実行するための、コンピュータプログラム又はコンピュータプログラムを格納するコンピュータ読取り可能媒体。
【請求項２４】
添付の図面を参照して記載されるような
コンピュータシステム。
【請求項１】
データ記憶手段に格納されるカラー画像を探索する方法であって、
画像の色に関する照会を入力するステップと、
突合せ関数を使用して、前記照会と、格納される画像のための記述子とを比較するステップと、
前記突合せ関数が前記照会と前記画像の少なくとも一部との間の近いものを指示する少なくとも１つの画像を選択するステップとを含み、
前記格納される画像のための記述子は、前記画像の２以上の支配的な色の色空間値、及び前記画像の至る所の色分散のそれぞれの値を含む
カラー画像を探索する方法。
【請求項２】
前記格納される画像のための記述子は、
前記画像の支配的な色として、２以上の色を選択し、
各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算し、
かつ、各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現することによって、導出される
請求項１の方法。
【請求項３】
照会を入力するステップは、
照会画像を選択又は入力するステップと、
前記画像の支配的な色として、２以上の色を選択することによって、前記画像の記述子を取得するステップと、
各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算するステップと、
各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現するステップとを含む
請求項１記載の方法。
【請求項４】
格納される画像又は照会画像のいずれか一方の支配的な色を選択するステップは、
領域のための色ヒストグラムを導出するステップを含む
請求項２又は３記載の方法。
【請求項５】
前記支配的な色を選択するステップは、
前記色ヒストグラム内の局所的なピークを特定するステップと、
前記支配的な色として対応する色を選択するステップとを含む
請求項４記載の方法。
【請求項６】
前記画像の領域を選択するステップを含み、
前記支配的な色及び分散は、前記領域について選択され、かつ計算される
請求項２から請求項５までのいずれかに記載の方法。
【請求項７】
前記画像領域は、物体に対応する
請求項６記載の方法。
【請求項８】
前記色空間値は、複数の色成分に関して表現され、
各色成分について色分散を計算するステップを含む
請求項１から請求項７までのいずれかに記載の方法。
【請求項９】
１組の色成分について色分散を計算するステップを含む
請求項８記載の方法。
【請求項１０】
画像領域における支配的な色の相対的な有意性を表す、各支配的な色の重みを計算するステップを含む
請求項１から請求項９までのいずれかに記載の方法。
【請求項１１】
前記突合せ関数は、
【数１】
に基づき、
ここで、ｑは、照会に対応する色ベクトルであり、ｍおよびＣは、代表的な色のための色分布の第１および第２の中心積率を表す記述子値である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１２】
前記突合せ関数は、
【数２】
に基づき、
ここで、
【数３】
であり、ｍおよびＣは、代表的な色のための色分布の第１および第２の中心積率を表す記述子値であり、ｖおよびｗは、重みであり、ｉ、ｊ、ａおよびｂは、比較されるべき記述子の下位分布の添え字である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１３】
前記突合せ関数は、
【数４】
に基づき、
ここで、
【数５】
および、
【数６】
であり、
Ｄは類似性測定値であり、
Ｆ1は第１の記述子であり、
Ｆ2は第２の記述子であり、
ｉおよびｊは代表的な色の添え字を表し、
ｘおよびｙは記述子の添え字を表し、
Ｎ1は第１の記述子内の代表的な色の数であり、
Ｎ2は第２の記述子内の代表的な色の数であり、
Ｐ1iは第１の記述子内のｉ番目の重みであり、
Ｐ2jは第２の記述子内のｊ番目の重みであり、
ｌ、ｕおよびｖは色成分を表し、
ｃおよびｖはそれぞれ支配的な色値（平均値）および色分散である
請求項１から請求項１０までのいずれかに記載の方法。
【請求項１４】
照会を入力するステップは、
１つの色値を選択するステップを含む
請求項１から請求項１３までのいずれかに記載の方法。
【請求項１５】
照会は、色空間の成分のいくつかのみを用いて入力される
請求項１から請求項１３までのいずれかに記載の方法。
【請求項１６】
請求項１から１５までのいずれかによる方法を実施するのに適する
カラー画像を探索する装置。
【請求項１７】
請求項１から１５までのいずれかに記載された方法を実行するようにプログラミングされる
制御装置。
【請求項１８】
請求項１７に記載された制御装置を備える
カラー画像を探索する装置。
【請求項１９】
少なくとも１つの画像を入力する入力装置と、
入力画像又は前記入力画像の領域の少なくとも２つの支配的な色を求めるディテクタと、
前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求めるコントローラと、
前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも１つの実質上一致する画像を探索するコンパレータと
を備える、画像を探索するシステム。
【請求項２０】
少なくとも１つの画像を含む入力を得る命令と、
入力画像又は前記入力画像の領域の少なくとも２つの支配的な色を求める命令と、
前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求める命令と、
前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも１つの実質上一致する画像を探索する命令と、
前記少なくとも１つの実質上一致する画像を表示する命令と
を含む、複数の実行可能命令が格納される機械読取り可能媒体。
【請求項２１】
カラー画像の領域を選択するステップと、
前記領域のための代表的な色として１つあるいは複数の色を選択するステップと、
２つ以上の代表的な色を有する領域の場合、個々の代表的な色に関連する色分布に関する少なくとも２つのパラメータを各代表的な色の場合に計算するステップと、
前記パラメータを用いて前記画像領域のための記述子を導出するステップと
を含むカラー画像を表現する方法。
【請求項２２】
請求項１から１５までのいずれかに記載された方法を実施するのに適する
コンピュータシステム。
【請求項２３】
請求項１から１５までのいずれかの方法を実行するための、コンピュータプログラム又はコンピュータプログラムを格納するコンピュータ読取り可能媒体。
【請求項２４】
添付の図面を参照して記載されるような
コンピュータシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−１９２３１６（Ｐ２０１１−１９２３１６Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１１−１５１０６７（Ｐ２０１１−１５１０６７）
【出願日】平成２３年７月７日（２０１１．７．７）
【分割の表示】特願２０００−６１５９６８（Ｐ２０００−６１５９６８）の分割
【原出願日】平成１２年４月２８日（２０００．４．２８）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＴＲＩＣ Ｒ＆Ｄ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２３年７月７日（２０１１．７．７）
【分割の表示】特願２０００−６１５９６８（Ｐ２０００−６１５９６８）の分割
【原出願日】平成１２年４月２８日（２０００．４．２８）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＴＲＩＣ Ｒ＆Ｄ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
[ Back to top ]