説明

カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体

【課題】柔軟性に富むカラー画像を表現する方法を得る。
【解決手段】カラー画像を表現する方法は、前記カラー画像あるいは前記カラー画像の領域のための代表的な色として2つ以上の色を選択するステップと、2つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、探索する目的のためにカラー画像あるいは画像のある領域を表現するための方法および装置、ならびにカラー画像あるいは画像領域を探索するための方法および装置に関する。
【背景技術】
【0002】
例えば、マルチメディアデータベースから静止画像および映像を検索するために、画像内容に基づいて探索を行う技術が知られている。そのような技術のために、色、テクスチャ、エッジ情報、形状および動きのような様々な画像の特徴が用いられている。そのような技術の応用形態には、インターネットサーチエンジン、双方向TV、遠隔医療およびテレショッピングがある。
【0003】
画像データベースから画像を検索する目的のために、画像あるいは画像の領域が、画像内の色に基づく記述子を含む、記述子によって表現される。画像領域の平均色、画像領域内の色分散に基づく統計的な積率(モーメント:moment)、画像領域内の最も大きな面積を覆う色のような代表的な色、および1組の所定の色それぞれの領域内の画素の数をカウントすることにより1つの画像領域に対して導出される色ヒストグラムを含む、多種多様なタイプの色による記述子が知られている。
【0004】
既知の内容による画像検索システムは、QBIC(画像内容による照会(クエリ:query))(米国特許第5,579,471号、MPEG仕様書M4582/P165:IBM Almaden Research CenterによるMPEG−7のための色記述子を参照されたい)。そのシステムの動作モードのうちの1つでは、データベース内の各画像がブロックに分割される。各ブロックは、類似の色のサブセットにグループ化され、そのようなサブセットのうちの最も大きなサブセットが選択される。選択されたサブセットの平均色が、個々のブロックの代表的な色として選択される。その画像のための代表的な色に関する情報はデータベースに格納される。照会画像を選択することにより、データベース内の照会を行うことができる。その照会画像のための代表的な色に関する情報は、上記のようにして導出される。その後、照会情報は、最も近いもの同士の位置を特定するためのアルゴリズムを用いて、データベース内に格納された画像のための情報と比較される。
【0005】
MPEG仕様書M4582/P437および米国特許第5,586,197号は類似のアプローチを開示するが、画像をブロックに分割することに関してさらに柔軟な方法と、画像を比較することに関する種々の方法とを用いる。MPEG仕様書M4582/P576、視認物体のための色表現に記載される別の変形例では、領域当たり2つの代表的な色それぞれに対して1つの値が用いられる。
【0006】
MPEG仕様書M4582/P76、MPEG−7のための色記述子、Variable−Bin色ヒストグラムのような、色ヒストグラムに基づいて画像を表現するためのいくつかの技術が開発されている。他の技術は、画像領域内の色分布に関する統計的な記述子を用いる。例えば、MPEG仕様書M4582/P549、映像シーケンス内の小領域の画像情報測定を用いることによる色記述子は、画像が高および低エントロピー領域に分割され、色分布の特徴が各タイプの領域について計算される技術を開示する。MPEG仕様書M4582/P319、MPEG−7色記述子提案書は、画像領域のための記述子として平均および共分散値を用いることを記載する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記の全てのアプローチは、重大な欠点を有する。そのうちのいくつか、特に色ヒストグラム技術は、精度は高いが、比較的大量の記憶量と長い処理時間とを必要とする。1つあるいは2つの代表的な色を用いる技術のような他の方法は、記憶および計算効率に優れているが、精度が不十分である。統計的な記述子は、これらの2つのタイプの技術の中間に位置するが、特に画素の色が領域内で広く変動する場合には、柔軟性に欠けるという問題が生じるようになる。
【課題を解決するための手段】
【0008】
本発明は、画像領域の記述子を導出するために、画像領域内の代表的な色にそれぞれ対応する、多数の成分分布を用いて色分布を近似することにより画像を表現する方法を提供する。
【0009】
また、本発明は、そのような記述子を用いて画像を探索する方法を提供する。
【0010】
さらに、本発明は、その方法を実施するためのコンピュータプログラムと、そのようなコンピュータプログラムを格納するコンピュータ読取り可能媒体とを提供する。コンピュータ読取り可能媒体には、フロッピィディスクまたはCD−ROM、あるいはRAMのようなメモリなどの個別の媒体を用いることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態によるシステムのブロック図である。
【図2】第1の探索方法のフローチャートである。
【図3】第2の探索方法のフローチャートである。
【発明を実施するための形態】
【0012】
本発明の実施形態は、添付の図面を参照して記載されるであろう。
【0013】
本発明の一実施形態によるシステムが図1に示される。そのシステムは、システムの動作を制御するためのコンピュータのような制御ユニット2と、制御ユニット2に接続され、画像および文字を含む出力を表示するためのモニタのような表示ユニット4と、制御ユニット2に命令を入力するためのマウスのようなポインティング装置6とを備える。またそのシステムは、複数のデジタル画像を格納する画像データベース8と、以下にさらに詳細に記載される、画像データベース8に格納される各画像のための記述子情報を格納する記述子データベース10とを備える。画像データベース8および記述子データベース10はそれぞれ、制御ユニット2に接続される。またそのシステムは、制御ユニット2の制御下にあるコンピュータプログラムであり、記述子データベース10上で動作するサーチエンジン12も備える。
【0014】
この実施形態では、システムの構成要素は、画像ライブラリのような1つのサイト上に設けられ、そのシステムの構成要素は永続的にリンクされる。
【0015】
記述子データベース10は、画像データベース内に格納される全ての画像の記述子を格納する。より具体的には、この実施形態では、記述子データベース10は、各画像の複数の領域それぞれのための記述子を含む。その記述子は以下のように導出される。
【0016】
画像データベース8内の各画像は、多数の重複しない、画素の矩形のブロックに分割される。各ブロックの場合に、その後、所定の数の色を選択し、各色のブロック内の画素の数をカウントすることにより、色ヒストグラムが導出される。
【0017】
そのようにして得られた色ヒストグラムは、ブロック内の画素の色分布を示す。一般に、その領域は、1つあるいは複数の支配的な色を有し、そのヒストグラムは、その色に対応するピークを有するであろう。
【0018】
そのブロックのための記述子は、ヒストグラムから特定されるような支配的な色に基づく。各ブロックのための記述子は以下の要素を有する。
【0019】
(1)その記述子の次数と呼ばれる、支配的な色の数n。ただし、n≧1である。
【0020】
各支配的な色の場合に、
(2)(a)ブロック内の各支配的な色の相対的な有意性を表す重み。ここでは、その重みは、ブロック内の全画素数に対する、関連する色のブロック内の画素の数の比である。
【0021】
(b)平均値
【数1】

ただし、x、yおよびzは、色成分、RGB色空間内の色の赤色、緑色および青色成分の添え字等を表す。ここで、平均値は、各支配的な色の色成分に対応する。
【0022】
(c)共分散行列
【数2】

ただし、cjiは色成分iの分散を表し、cijは成分iとjとの間の共分散を表す。共分散行列は対称性を有しており(cij=cji)、6つの数だけが格納される必要がある。
【0023】
上記のような記述子を得る際に、色分布はn個の異なる下位分布として処理される。ただし、nは支配的な色の数であり、各下位分布は、平均値として各支配的な色のまわりに集中する。当業者には理解されるように、下位分布の範囲は都合よく重複させることができ、適当なアルゴリズムを用いて、重み、平均および共分散行列を計算するための各分布の範囲が画定される。記述子成分を推定する1つの方法は、実際のヒストグラムカウントと、ガウス関数の混合物から推定される値との間の差を最小にすることにより、ヒストグラムピークを中心とするガウス関数をそのヒストグラムに適合させることである。
【0024】
記述子データベース10は、画像データベース8内に格納された各画像の各ブロックのための、上記のような記述子を格納する。上記の記述子構造を用いる、各ブロック内の色分布の表現は、大量の記述情報を含むが、例えば、ヒストグラム情報全体より少ない記憶空間しか必要としない。
【0025】
例として、特定のブロックのための色ヒストグラムは、3つの支配的な色に対応する3つのピークを示す場合がある。そのヒストグラム色分布は、3つの色下位分布として解析され、その結果、記述子は、支配的な色の数を示す数3と、3つの重みと、3つのピークのための色ベクトルに対応する3つの平均ベクトルと、3つの対応する共分散行列とを含むようになる。
【0026】
そのシステムは、記述子データベースに格納された記述子を用いて、画像データベース内の画像を探索するために用いられる。本実施形態は、2つの探索方法、すなわち1つの色による探索と、領域による探索とを提供する。
【0027】
1つの色による探索は、図2に示されるフローチャートを参照して記載される。
【0028】
1つの色による探索では、ユーザは、ポインティング装置6と、表示ユニット4上に表示されるカラーホイールあるいはパレットのようなメニューとを用いて、探索されることになる色を選択することにより照会を入力する(ステップ102)。その後、制御ユニット2が、照会色のための個々の色成分である成分、すなわち赤色、緑色および青色成分を有する、照会色のための対応する色ベクトルを取得する(ステップ104)。
【0029】
その後、制御ユニット2は、サーチエンジン12を用いて、照会色を含む画像データベース8内の画像を探索する。サーチエンジン12は、照会色の色ベクトルと、記述子データベース10内の画像ブロックのための記述子とを用いて突合せ(matching)手順を実行する(ステップ106)。
【0030】
突合せ手順は、突合せ値Mを計算するために以下の式を用いて実行される。
【0031】
【数3】

【0032】
ただし、qは照会色の色ベクトルである。突合せ値は、そのブロックのための記述子内のmおよびCの各値を用いて、各ブロック内の各支配的な色に対して計算される。したがって、次数nの記述子の場合、n個の突合せ値が得られる。
【0033】
突合せ値は、確率密度関数をガウス関数としてモデル化して、照会色の色値によって画定される点におけるブロック内の各色の下位分布に対応する確率密度関数の値と見なすことができる。
【0034】
所与の記述子の場合、突合せ値Mが大きいほど、対応するブロックが選択された色を有するものに近くなる。
【0035】
突合せ値が記述子データベース10内の各記述子に対して計算されたとき、サーチエンジン12は、1より大きい次数の任意の記述子のためのMのうちの最も大きな値のみを考慮に入れ、Mの最も大きな値で開始して、Mのサイズによって、その結果に順序を付ける(ステップ108)。
【0036】
制御ユニット2はサーチエンジン12から突合せ手順の結果を取り出し、画像データベースから、MのうちのK個の最も高い値に対応する、最も近いもの同士である所定の数K個の画像を検索する。その後、その画像は、表示ユニット4上に表示される(ステップ110)。制御ユニット2の設定によって、最も近いもの同士のうちの何個が表示ユニット上に表示されることになるかが決定される。その数はユーザによって変更することができる。
【0037】
上記の説明からわかるように、1つの色による探索は、ユーザによって最初に選択された色と同じか、あるいはそれに近い支配的な色を有するブロックを含む画像を画像データベース8から検索する。
【0038】
領域による探索は、図3に示されるフローチャートを参照して記載されるであろう。
【0039】
領域による探索では、制御ユニット2は、画像データベース8からの画像である所定の1組の探索画像を、表示ユニット4上に表示するように動作する(ステップ202)。探索画像は全体として、制御ユニットの設定によって決定されるか、あるいはユーザによって入力される他の要件による場合がある。例えば、キーワードによる探索に対応する、より大きなシステムでは、ユーザは、言葉「葉(leaves)」を入力し、その結果、葉を示す所定の1組の画像が色による探索のための画像として示されるであろう。
【0040】
探索画像はそれぞれ、記述子が導出されたブロックに対応して、画像をブロックに分割するグリッドで示される。その後、ユーザは、ポインティング装置6を用いて、対象の色分布を示す画像のうちの1つのブロックを選択する(ステップ204)。
【0041】
その後、制御ユニット2は記述子データベース10から、選択された画像ブロックのための記述子を検索し、それを照会記述子として用いる(ステップ206)。探索画像が画像データベース8から取り出されているので、その記述子は既に利用可能である。その後、サーチエンジンは、突合せ関数(matching function)を用いて、その照会記述子を記述子データベース内に格納される他の記述子と比較して探索を実行する(ステップ208)。
【0042】
平均値mと共分散行列Cとを有する、支配的な色のうちの1つのための照会記述子、および平均値mと共分散行列Cとを有する、支配的な色のうちの1つのための別の照会記述子の場合、突合せ関数は以下のように定義される。
【0043】
【数4】

【0044】
ただし、qは色ベクトルに類似の3−d(3次元)ベクトルであり、積分は(0,0,0)〜(255,255,255)の範囲にわたって計算され、255は色成分の最大値である。他の実施形態における積分の範囲は、用いられる色座標系および表現に基づくであろう。
【0045】
これは、画像ブロックのための対応する色の下位分布をガウス関数の形の確率質量関数としてモデル化し、それらが重複する度合いを判定すること、あるいは言い換えると、それらの間の類似性を判定することに等価である。上記の計算結果が大きくなると、対応する色分布は近くなる。この場合、その関数は、照会画像ブロック内の色の下位分布と、格納される画像内の色の下位分布とが重複する度合いを判定する。
【0046】
1つの記述子を別の記述子と一致させるための完全な突合せ関数は以下のように定義される。
【0047】
【数5】

【0048】
ただし、vおよびwは下位分布のための重みであり、その合計は両方の領域内の全下位分布である。
【0049】
したがって、照会画像ブロックの記述子内に記述される各支配的な色の場合、突合せ値は、記述子データベース10からの記述子内の各支配的な色に対して計算される。結果的な突合せ値は重み付けされ、その後加算されて、mに対応する最終的な突合せ値が与えられる。
【0050】
完全な突合せ値は、照会記述子に関する、データベース内の全記述子に対して上記のように計算される。1つの色による探索の場合のように、その結果には順序が付けられ(ステップ210)、最も近いもの同士を示す、最も高い突合せ値を有するK個の画像が、ユーザのための表示ユニット上に表示される(ステップ212)。
【0051】
以前の探索時に見いだされた画像内の画像領域を選択することにより、探索をさらに繰り返して実行することができる。
【0052】
上記の測定とは異なる他の類似性測定を用いて、突合せを行うことができる。以下にさらに別の例を示す。
【0053】
2つの領域のための一対の記述子FおよびFの場合、類似性測定Dは、以下のように定義される。
【0054】
【数6】

【0055】
ただし、
【数7】

【0056】
および
【数8】

【0057】
である。ここで、iおよびjは代表的な色の添え字を表し、
xおよびyは記述子の添え字を表し、
は第1の記述子内の代表的な色の数であり、
は第2の記述子内の代表的な色の数であり、
1iは第1の記述子内のi番目の重みであり、
2jは第2の記述子内のj番目の重みであり、
l、uおよびvは、その特定の例では、赤色、緑色および青色成分のような色成分を表し、
cおよびvはそれぞれ支配的な色値(平均値)および色分散であり、cxilはx番目の記述子のi番目の代表的な色値のl番目の成分であり、vxilはx番目の記述子のi番目の代表的な色の分散のl番目の成分であり、それ以外も同様である。
【0058】
上記の突合せ関数とは対照的に、記述子FおよびFの場合、Dの値が小さいほど、記述子FおよびFに対応する領域間のもの同士が近くなる。したがって、上記のような探索手順から生じる値Dは、Dの最も小さい値で開始して、サイズが大きくなるような順序を付けられる。ほかの点では、探索および突合せ手順は、概ね上記のように実行されることができ、適当な変更形態は種々の類似性測定を考慮に入れることである。この類似性測定は分散を使用し、共分散行列を使用しないことに留意されたい。したがって、ある領域のための記述子は分散を含むが、共分散行列を含む必要はない。それゆえ、記憶要件は、上記の記述子と比べて低減される。
【0059】
本発明によるシステムは、たとえば、画像ライブラリ内に設けられる場合がある。別法では、そのデータベースは、システムの制御ユニットから遠く離れて配置され、電話線のような一時的なリンクあるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは、たとえば、永続記憶装置内に、あるいはCD−ROMあるいはDVDのようなポータブルデータ記憶媒体上に設けられる場合がある。
【0060】
上記の説明では、色表現は、赤色、緑色および青色成分に関して記載されてきた。当然、色相、彩度および輝度を用いる表現、YUV座標系による表現、あるいは任意の色空間内の色成分のサブセット、たとえばHSIの色相および彩度のみを用いる表現のような他の表現を用いることもできる。
【0061】
上記の本発明の実施形態は、画像の矩形のブロックに対して導出された記述子を用いる。記述子の根拠として、画像の他の小領域を用いることもできる。たとえば、種々の形状およびサイズからなる領域を用いることもできる。別法では、記述子は、物体、たとえば車、家あるいは人に対応する画像の領域に対して導出される場合もある。いずれの場合でも、記述子は、画像の全てあるいは画像の一部のみに対して導出されることができる。
【0062】
その探索手順では、1つの色の照会を入力する代わりに、あるいは1つの画像ブロックを選択する代わりに、ユーザはたとえば、ポインティング装置を用いて、たとえばある画像のある領域を取り囲むことにより、その領域を記述することができ、その場合、制御ユニットがその領域のための記述子を導出し、それを用いて、上記のようにして探索を実行する。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、たとえば、イメージスキャナあるいはデジタルカメラを用いて、システムに画像を入力することもできる。そのような状況において探索を実行するために、再び、そのシステムは最初に、自動的に、あるいはユーザによって決定されるように、画像あるいは画像の領域に対する記述子を導出する。
【0063】
本発明の適切な態様は、ハードウエアあるいはソフトウエアを用いて実装することができる。
【0064】
上記の実施形態では、各代表的な色のための成分の下位分布は、ガウス関数を用いて近似され、その関数の平均および共分散が記述子値として用いられる。しかしながら、他の関数あるいはパラメータを用いて、たとえば、正弦あるいは余弦関数のような基底関数を用いて、記述子をその関数に基づいて導出することにより、成分分布を近似することができる。

【特許請求の範囲】
【請求項1】
カラー画像を表現する方法であって、
前記カラー画像あるいは前記カラー画像の領域のための代表的な色として2つ以上の色を選択するステップと、
2つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、
前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、
前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップと
を含むカラー画像を表現する方法。
【請求項2】
前記代表的な色を選択するステップは、
前記カラー画像あるいは前記カラー画像の領域のための色ヒストグラムを導出するステップを含む
請求項1記載のカラー画像を表現する方法。
【請求項3】
前記代表的な色を選択するステップは、
前記色ヒストグラム内の局所的なピークを特定するステップと、
代表的な色として対応する色を選択するステップとを含む
請求項2記載のカラー画像を表現する方法。
【請求項4】
前記局所的なピークは、平均値として処理され、
前記色分散は、前記平均値に関して計算される
請求項3記載のカラー画像を表現する方法。
【請求項5】
前記カラー画像あるいは前記カラー画像の領域は、物体に対応する
請求項1から請求項4までのいずれかに記載のカラー画像を表現する方法。
【請求項6】
前記カラー画像あるいは前記カラー画像の領域を選択するステップをさらに含む
請求項1から請求項5までのいずれかに記載のカラー画像を表現する方法。
【請求項7】
前記重みパラメータは、前記カラー画像あるいは前記カラー画像の領域における画素の数に対する、代表的な色に対応する画素の数の比に基づく
請求項1から請求項6までのいずれかに記載のカラー画像を表現する方法。
【請求項8】
各重みパラメータは、関連した代表的な色の値を有する、前記カラー画像あるいは前記カラー画像の領域における画素のパーセンテージを指定する
請求項7記載のカラー画像を表現する方法。
【請求項9】
請求項1から請求項8までのいずれかによる方法を実施するための
カラー画像を表現する装置。
【請求項10】
請求項1から請求項8までのいずれかに記載された方法を実行するようにプログラムされる
制御装置。
【請求項11】
請求項10記載の制御装置を備える
カラー画像を表現する装置。
【請求項12】
画像を表現するシステムであって、
前記画像あるいは前記画像の領域のための少なくとも2つの支配的な色を求めるディテクタと、
前記画像あるいは前記画像の領域内の画素に基づき色記述子を生成するように、各支配的な色について、前記画像あるいは前記画像の領域における画素の数に対する、支配的な色に対応する画素の数の比に基づいて、前記画像あるいは前記画像の領域内の他の色に対して支配的な色の有意性を表す重みパラメータ、及び色分散を求めるコントローラと、
前記画像あるいは前記画像の領域のための記述として、前記色記述子を格納するメモリと
を備える、画像を表現するシステム。
【請求項13】
画像あるいは前記画像の領域のための少なくとも2つの支配的な色を求める命令と、
前記画像あるいは前記画像の領域内の画素に基づき色記述子を生成するように、前記画像あるいは前記画像の領域における画素の数に対する、支配的な色に対応する画素の数の比に基づいて、前記画像あるいは前記画像の領域内の他の色に対して各支配的な色の有意性を表す重みパラメータ、及び各支配的な色に関する色分散を求める命令と、
メモリ内の前記画像あるいは前記画像の領域のための記述として、前記色記述子を格納する命令と
を含む、複数の実行可能命令が格納される機械読取り可能媒体。
【請求項14】
カラー画像を表現する方法であって、
前記カラー画像の領域を選択するステップと、
前記領域のための代表的な色として1つあるいは複数の色を選択するステップと、
2つ以上の代表的な色を有する領域の場合、個々の代表的な色に関連する色分布に関する少なくとも2つのパラメータを、各代表的な色について、計算するステップと、
前記パラメータを用いて前記画像カラーの領域のための記述子を導出するステップと
を含むカラー画像を表現する方法。
【請求項15】
請求項1から請求項8までのいずれかに記載された方法を実施するのに適する
コンピュータシステム。
【請求項16】
請求項1から請求項8までのいずれかの方法を実行するための、コンピュータプログラム又はコンピュータプログラムを格納するコンピュータ読取り可能媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2010−262673(P2010−262673A)
【公開日】平成22年11月18日(2010.11.18)
【国際特許分類】
【出願番号】特願2010−166072(P2010−166072)
【出願日】平成22年7月23日(2010.7.23)
【分割の表示】特願2000−615968(P2000−615968)の分割
【原出願日】平成12年4月28日(2000.4.28)
【出願人】(501253316)ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】MITSUBISHI ELECTRIC R&D CENTRE EUROPE B.V.
【住所又は居所原語表記】20 Frederick Sanger Road, The Surrey Research Park, Guildford, Surrey GU2 5YD, Great Britain
【Fターム(参考)】