画像処理方法、画像処理システム、および画像処理プログラム
【課題】 従来、画像に写っている対象を検索しようとする場合、通常、対象は画像の一部分であり、対象部分を切り出す処理が不可欠である。利用者が花の部分を画像中で丁寧に切り出し、その部分を比較することも考えられるが、これは利用者に過度な負担となる場合が多い。
【解決手段】 取得画像２に代表色抽出処理を適用し、その結果の代表色画像４を利用者が観察して対象物領域を登録し、取得画像２の対象物領域の画像特徴を抽出して、この画像特徴により対象物を検索する。特に、端末部１００と処理部２００を分けることによって、カメラ付きの携帯端末で取得した画像中の対象物の検索を実現する。
【解決手段】 取得画像２に代表色抽出処理を適用し、その結果の代表色画像４を利用者が観察して対象物領域を登録し、取得画像２の対象物領域の画像特徴を抽出して、この画像特徴により対象物を検索する。特に、端末部１００と処理部２００を分けることによって、カメラ付きの携帯端末で取得した画像中の対象物の検索を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像検索として、画像全体の色の配置等の似たものを検索することが行なわれている。例えば、特許文献１には画像をオーバラップしない多数の矩形ブロックに分割し、各ブロックについて複数の優勢色を抽出し、それに基づいて画像を検索する方法が記されている。
【０００３】
しかし、画像に写っている対象物を検索しようとする場合、通常、対象物は画像の一部分であり、対象物部分を切り出す処理が不可欠である。例えば、画像に花が写っており、その花弁の形状や色によって検索データベースに登録されている複数種類の花の画像から似たものを検索しようとする場合、取得された画像とデータベース画像の両者の花弁部分の色やテクスチャに関する特徴が比較される。しかし、画像には花の周りの葉や枝、あるいは背景も一緒に写りこんでいる。そのために、花の部分のみを比較したい場合でも、従来の手法では画像全体を比較してしまうことになり、正しい検索が行なえない。
【０００４】
【特許文献１】特開２０００−３４８１７９号公報（第４−１２頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像全体のどの部分が対象物の花弁であり、どの部分が葉の部分であるか、あるいは、他の花であるかを自動的に認識することは、一般的には困難である。そのため、利用者が花の部分を画像中で丁寧に切り出し、その部分を比較することも考えられるが、これは利用者に過度な負担となる場合が多い。このような対象物を切り出すために、クロマキ(Chroma-key)と呼ばれる手法が、従来テレビ映像の合成に利用されているが、この技術は一様な背景で対象物を撮影し、背景の色を指定し、その色に近い画素を取り除くものであり、一般の状況で対象物を切り出すことはできない。
【０００６】
本発明の目的は、対象物の画像に画像処理を施し、利用者が対象物である花の部分を容易に指示できるようにすることにより、利用者の負担は小さいが、対象物の切り出しが容易に行なえる、あるいは、その切り出し結果を利用した画像検索効率の高い画像処理方法、画像処理システム、画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、取得された画像に代表色抽出処理を施し、代表色画像を作成して利用者に提示し、利用者が容易に対象物部分を指示することを可能とし、利用者が指示した対象物部分について画像特徴を計算し、この特徴を比較することにより対象物を検索する画像処理方法を提供する。
【０００８】
また、本発明の画像処理システムは、上記の方法をシステムとして実現する際、全体を１つの装置として実現するだけでなく、利用者が携帯できる端末部と負荷の大きな処理を実行する処理部に分割し、通信手段でその間のデータの交換を行なうシステムとしても実現できるので、携帯端末を利用した有効な画像処理システムを提供する。
【発明の効果】
【０００９】
本発明によって、従来対象物の抽出が困難であったため実用化しにくかった画像内の対象物の検索を、実用化することが可能となる。また、本発明の画像処理システムを端末部と処理部に分割した形態で実現することによって、カメラ付きの携帯端末や携帯電話により画像を取得した利用者が、サーバに取得画像を送り、サーバで高度な画像検索処理を行ない、検索結果を端末に送って利用者に知らせるシステムを構成することが可能となる。
【発明を実施するための最良の形態】
【００１０】
図２を参照して、本発明の基本概念を説明する。
【００１１】
図２(ａ)は、原取得画像２であり、ここでは濃淡画像で示されているが、R,G,Bの各バンドに８ビットの情報を持つカラー画像である。利用者は、この画像から写っているのが何の花であるかを検索したい。しかし、そのためには花の部分を正確に切り出すことが要求される。これを利用者が行なうには、大きな労力を要する。しかし、原画像に含まれる多様な色を分類し、図２(ｂ)のように例えば10色程度の少数の代表色で表わした代表色画像４が作成できれば、花の部分を抽出することは容易となる。この代表色画像４は、ここでは階調の少ない濃淡画像で示されているが、１つの階調で示されている部分は、１つの代表色で表わされており、例えば領域２１は、(R1,G1,B1)=(207,130,155)、領域２２は、(R2,G2,B2)=(226,91,120)、領域２３は、(R3,G3,B3)=(229,115,48)、領域２４は、(R4,G4,B4)=(203,59,53)の色が代表している。そして、これらの四つの領域の部分を抽出すれば花の部分のほとんどを切り出すことができ、それ以外の代表色の領域は背景や葉の領域に対応している。この画像を見ながらこれら四つの領域を利用者がポインティングデバイスで指示することにより、検索対象物領域である花の部分を切り出すのは、利用者にとっては許容できる労力であることが多い。このようにして対象物領域が抽出されれば、その部分についてデータベースから似た画像を検索することにより、望ましい検索結果が得られる可能性は高い。
【００１２】
図２(a)から図２(b)を得るような代表色抽出方法については、従来多くの手法が開発されており、応用に応じて選択することができるが、例えば日本国特許第２５２２３６９号「カラー画像の限定色表現方法及び装置」に記載された方法を利用することができる。本発明は、この基本概念を実現したものである。
【実施例１】
【００１３】
図１を参照して、本発明の実施例１を説明する。例えばデジタルカメラである画像入力装置１による取得画像２が撮像される。取得画像２は、通常、カメラ等の画像センサの赤（R）,緑（G）,青（B）の各バンド毎に８ビットの情報を持つため、色のバリエーションとしては、約１６００万色の可能性が存在する。代表色抽出手段３は、得られた取得画像２に対して、上記に示した例えば日本国特許第２５２２３６９号「カラー画像の限定色表現方法及び装置」に記載された代表色抽出処理を施し、取得画像２に含まれる色から例えば１０色程度の少数の代表色を抽出し代表色画像４を出力する。
【００１４】
この限定色表現方法の働きを図３を参照して説明する。図３は、通常三次元で表わされる画像の色分布を、簡単のため二次元で表わしている。この例では、色空間はR,G,Bの三次元の代わりに、R,Gの二次元で示している。この空間に、画像の各画素の(R,G)値をプロットする。そして、分布頻度の高い部分が濃い色でクラスタ１１１、１１２、１１３、１１４のように表現されている。代表色抽出手段３は、この空間を分割線１２１、１２２、１２３で次々と二分割し、それぞれの分割された領域に存在する色の平均色１３１、１３２、１３３、１３４を、代表色とする。分割は、何度でも繰り返すことができるが、例えば、分割した結果生成される２つの代表色の色差に閾値を設け、ある閾値以下になるときは分割を停止する。この閾値の設定値によって、上記のように１０色程度の少数の代表色を抽出することができる。さらに、取得画像２の各画素値が含まれる領域を判断し、画素値をその領域の代表色に置き換えることによって、代表色画像４が得られる。
【００１５】
利用者は、取得画像２と代表色画像４をモニタ５で観察する。そして対象物が花弁である場合は代表色画像４の花弁に含まれている代表色の位置(x,y)をマウス等のポインティング手段６で指定する。図２の例では、領域２１〜２４の４つの代表色領域が花弁の部分にあたるので、利用者は、これら４領域のそれぞれに属するいくつかの画素を指定する。例えば、４領域から１つずつの画素を指定したとし、画素位置を(x1,y1), (x2,y2), (x3,y3), (x4,y4)とする。対象物領域登録手段７は、例えば、抽出する対象物の画素には‘１’、それ以外の画素には‘０’の値を持つ対象物領域画像８を作成する。具体的には、上記の指定された画素位置(xi,yi)(i=1,2,3,4)により代表色画像４を参照し、対象物に属する代表色(Ri,Gi,Bi)(i=1,2,3,4)を得、次に代表色画像４の各画素値を調べ、画素値が対象物に属する代表色のいずれかに一致する場合には対象物領域画像８の対応する画素に‘１’を書き込み、一致しない場合には‘０’を書き込む。図２(b)の例について、これを実行して得られた対象物領域画像８の‘１’の部分を灰色、それ以外の部分を黒色で図２(c)に示した。特徴検索手段９は、対象物領域画像８の画素値が‘１’である対象物領域のみの、取得画像２の色・テクスチャ等の特徴を、登録されている種々の対象物の特徴と比較し、画像検索を実行する。
【００１６】
なお、図１に示した実施例では、利用者は対象物に属する代表色領域をポインティング手段６で指示するが、実現方法としては利用者が代表色領域を容易に指示できればよい。例えば、モニタ５の画面の端の部分に、抽出された代表色をその番号と共に表示し、利用者が対象物に属する代表色の色を見ながら対応する番号をキーで入力するように実現することもできる。この場合でも、代表色が１０色程度であれば、利用者は容易に必要な代表色領域の番号を指示できる。また、本発明を実装するシステムがポインティング手段６を持たない場合にも同様の機能を実現できる。
【００１７】
特徴検索手段９は、応用によりとる構成が異なるが、上記に示した花の検索を例とし、その構成例を図４を参照して説明する。特徴検索手段９は、特徴抽出手段９１、特徴格納手段９２、特徴比較手段９３から成る。特徴抽出手段９１は、取得画像２の対象物領域画像８で画素値が“1”となり、対象物領域とされている画素について、画像特徴を抽出する。特徴格納手段９２には、対象物を学習する際に同様にして抽出された、（例えば、“菊”、“椿”等の）花の種類毎の画像特徴が格納されている。特徴比較手段９３は、特徴抽出手段９１により得られた画像特徴を、特徴格納手段９２に格納されている画像特徴と比較し、最も近いものを検索結果として出力する。
【００１８】
画像特徴は、応用に応じて最適なものを選べばよい。例として、図５を参照して、従来知られている、花の検索に色とテクスチャの特徴を利用する場合の特徴抽出手段９１の構成例を説明する。取得画像２は、まず、サイズ正規化手段９１１により拡大・縮小され、画像中の花の部分の大きさが予め定められた大きさになるように正規化される。花の部分の縦・横の大きさは、対象物領域画像８の輪郭の座標を調べ、その限界値を調べることにより可能である。続いて、輝度正規化手段９１２は、撮影時の花の部分の輝度を正規化する。これは、例えば、画像の対象物領域画像８の画素が‘１’の部分について、取得画像２の(R,G,B)値を調べ、最大の値をRGBmaxとすると、式(1)のようにこの最大値で各(R,G,B)値を正規化する。二つの正規化が行なわれた画像を正規化画像９１３とする。ここでは、R',G',B'の値は、８ビットの整数で表わされるとしている。
【００１９】
正規化画像９１３に対して、二つの特徴が計算される。累積カラーヒストグラム計算手段９１４は、R',G',B'のそれぞれに対して累積ヒストグラムを計算する。例えば、R’に関する累積ヒストグラムfr(R")は、対象物領域画像８で画素値が‘１’であり、正規化画像９１３におけるR'の値がR"以下の画素の総数である。同様にG',B'に対しての累積ヒストグラムfg(G"),fb(B")も計算する。また、テクスチャ特徴計算手段９１５は、R',G',B'から例えば式(２)のように計算される明度Y'の画像に対して、離散フーリエ変換を行ない、各波数に対するパワーを計算する。この波数平面を図７に模式的に示す。図７で黒丸で示した位置がパワーを計算する各波数(kx,ky)を示している。得られるパワーを、直流成分９１５１を中心に同心円状に複数の領域９１５２，９１５３のように分割する。そしてそれぞれの領域に含まれる波数のパワーを加算し、波数の絶対値
【００２０】
に関するパワーp(k)をテクスチャ特徴量とする。これは、花の撮像方向は花の向きに対して一定にできないため、撮像方向による変動を吸収するためである。
【００２１】
Y'=0.30R'+0.59G'+0.11B' (２)
以上のように、特徴抽出手段９１からは、累積ヒストグラムfr(R"),fg(G"),fb(B")およびパワーp(k)の４つの特徴が計算される。特徴比較手段９３は、これらの４つの特徴を、特徴格納手段９２に格納されている、花の種類を代表する特徴と比較する。例えば、“菊”に対する上記の４つの特徴量をfr1(R"),fg1(G"),fb1(B"),p1(k)、“椿”に対する上記の４つの特徴をfr2(R"),fg2(G"),fb2(B"),p2(k)とすると、i=1,2について式(３)のようにユークリッド距離の二乗を計算する。
【００２２】
Ｄ1がＤ2より小さければ、取得画像２は“椿”よりも“菊”に近いことになる。特徴格納手段９２にＮ種類の花に関する特徴が格納されていれば、Ｄiが最小の値をとる花の名前が取得画像２の花の種類として検索される。あるいは、Ｄiの値が予め定められた閾値より小さい花の種類をすべて結果としてもよい。なお、特徴格納手段９２には、実際の検索の準備段階で、多くの花の画像について、同様の特徴抽出を行ない、得られた抽出結果が予め格納されているものとする。
【００２３】
また、上記のように、特徴比較手段９３の行なう処理は、従来知られている特徴空間におけるパターン認識処理である。上述したカラー累積ヒストグラムとフーリエパワーを検索のための特徴とすること、式(３)に示したように検索結果の判断にユークリッド距離を利用すること等は、まず選択される実現方法の一つであるので、例として示したが、この他の特徴を利用することや、ユークリッド距離の代わりにマハラノビス距離等もっと複雑な距離を使うことにより検索を高度化することも可能である。
【実施例２】
【００２４】
次に本発明の実施例２を図６を参照して説明する。実施例１では、画像の取得と画像の検索は、ひとつながりのシステムであるように記述されたが、実施例２では、画像取得は、携帯できるカメラシステムと通信手段、あるいは、カメラ付きの携帯電話のようなシステムで行なわれ、画像の処理及び検索はサーバコンピュータのような固定したシステムで行なわれる。
【００２５】
利用者は、端末部１００を利用する。画像入力手段１から検索したい対象物が撮像され取得画像２となる。これをモニタ５で確認し、通信手段１０１によって、処理部２００へ送信する。処理部２００では、通信手段２０１が取得画像２を受信する。代表色抽出手段３は、第１の実施例と同様に、取得画像２に対して代表色抽出を行ない、代表色画像４を作成する。代表色画像４は、通信手段２０１を介して端末部１００に送られ、さらに端末部１００の通信手段１０１を介してモニタ５に表示される。利用者は、モニタ５を観察しながらポインティング手段６を用いて、画像中の検索すべき対象物領域の位置(xi,yi)を、それぞれ少なくとも１画素ずつ指定する。対象物領域指定手段１０２は、この位置情報を通信手段１０１を介して処理部に送信する。処理部の対象物領域登録手段７は、この位置情報を通信手段２０１を介して得、この位置情報から代表色画像４を参照し、対象物に属する代表色(Ri,Gi,Bi)を得、続いて代表色画像４の各画素値を調べ、画素値が対象物に属する代表色のいずれかに一致する場合には対象物領域画像８の対応する画素に‘１’を書き込み、一致しない場合は‘０’を書き込む。このようにして、対象物領域画像８が得られる。特徴検索手段９は、実施例１と同様に、取得画像２の対象物領域画像８の画素値が‘１’である対象物領域のみの色・テクスチャ等の特徴を、格納されている複数の対象物の特徴と比較し、検索を実行する。検索結果は、通信手段２０１、通信手段１０１を介して検索結果表示手段１０３に送られ、検索結果表示手段１０３は検索された対象物の名前等をモニタ５に表示する。
【００２６】
実施例２は、実施例１よりも通信手段を持っていたり、同じ取得画像２や代表色画像４を端末部１００と処理部２００の両方に持っていたりするため、冗長であるように見える。しかし、端末部１００は通常、携帯電話や携帯端末であるため、省電力型のコンピュータを搭載していることが多く、処理部２００のコンピュータとは処理能力が大きく異なることが多い。本発明のような、代表色抽出処理や画像検索のための特徴抽出処理は処理量が大きいため、端末部１００の処理能力の小さなコンピュータでは高性能な処理を高速に実現することが困難であることがある。そのため、端末部１００では、画像の入力と対象物領域指定のための簡単な処理のみを行ない、負荷の大きな処理は処理部２００で実行するのは、実現形態として意味のあることである。
【００２７】
なお、実施例１及び２において、代表色抽出手段３、対象物領域登録手段７、特徴検索手段９、対象物領域指定手段１０２、で実行される処理は、コンピュータプログラムで実現することも可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例１の構成を示すブロック図である。
【図２】取得画像からの代表色抽出及び対象物領域を説明する画像例である。
【図３】公知の代表色抽出方法の説明図である。
【図４】特徴検索手段の構成例を示すブロック図である。
【図５】特徴抽出手段の構成例を示すブロック図である。
【図６】本発明の実施例２の構成を示すブロック図である。
【図７】テクスチャ特徴計算手段の説明図である。
【符号の説明】
【００２９】
１ 画像入力手段
２ 取得画像
３ 代表色抽出手段
４ 代表色画像
５ モニタ
６ ポインティング手段
７ 対象物領域登録手段
８ 対象物領域画像
９ 特徴検索手段
９１ 特徴抽出手段
９２ 特徴格納手段
９３ 特徴比較手段
１００ 端末部
１０１，２０１ 通信手段
１０２ 対象物領域指定手段
１０３ 検索結果表示手段
２００ 処理部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像検索として、画像全体の色の配置等の似たものを検索することが行なわれている。例えば、特許文献１には画像をオーバラップしない多数の矩形ブロックに分割し、各ブロックについて複数の優勢色を抽出し、それに基づいて画像を検索する方法が記されている。
【０００３】
しかし、画像に写っている対象物を検索しようとする場合、通常、対象物は画像の一部分であり、対象物部分を切り出す処理が不可欠である。例えば、画像に花が写っており、その花弁の形状や色によって検索データベースに登録されている複数種類の花の画像から似たものを検索しようとする場合、取得された画像とデータベース画像の両者の花弁部分の色やテクスチャに関する特徴が比較される。しかし、画像には花の周りの葉や枝、あるいは背景も一緒に写りこんでいる。そのために、花の部分のみを比較したい場合でも、従来の手法では画像全体を比較してしまうことになり、正しい検索が行なえない。
【０００４】
【特許文献１】特開２０００−３４８１７９号公報（第４−１２頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像全体のどの部分が対象物の花弁であり、どの部分が葉の部分であるか、あるいは、他の花であるかを自動的に認識することは、一般的には困難である。そのため、利用者が花の部分を画像中で丁寧に切り出し、その部分を比較することも考えられるが、これは利用者に過度な負担となる場合が多い。このような対象物を切り出すために、クロマキ(Chroma-key)と呼ばれる手法が、従来テレビ映像の合成に利用されているが、この技術は一様な背景で対象物を撮影し、背景の色を指定し、その色に近い画素を取り除くものであり、一般の状況で対象物を切り出すことはできない。
【０００６】
本発明の目的は、対象物の画像に画像処理を施し、利用者が対象物である花の部分を容易に指示できるようにすることにより、利用者の負担は小さいが、対象物の切り出しが容易に行なえる、あるいは、その切り出し結果を利用した画像検索効率の高い画像処理方法、画像処理システム、画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、取得された画像に代表色抽出処理を施し、代表色画像を作成して利用者に提示し、利用者が容易に対象物部分を指示することを可能とし、利用者が指示した対象物部分について画像特徴を計算し、この特徴を比較することにより対象物を検索する画像処理方法を提供する。
【０００８】
また、本発明の画像処理システムは、上記の方法をシステムとして実現する際、全体を１つの装置として実現するだけでなく、利用者が携帯できる端末部と負荷の大きな処理を実行する処理部に分割し、通信手段でその間のデータの交換を行なうシステムとしても実現できるので、携帯端末を利用した有効な画像処理システムを提供する。
【発明の効果】
【０００９】
本発明によって、従来対象物の抽出が困難であったため実用化しにくかった画像内の対象物の検索を、実用化することが可能となる。また、本発明の画像処理システムを端末部と処理部に分割した形態で実現することによって、カメラ付きの携帯端末や携帯電話により画像を取得した利用者が、サーバに取得画像を送り、サーバで高度な画像検索処理を行ない、検索結果を端末に送って利用者に知らせるシステムを構成することが可能となる。
【発明を実施するための最良の形態】
【００１０】
図２を参照して、本発明の基本概念を説明する。
【００１１】
図２(ａ)は、原取得画像２であり、ここでは濃淡画像で示されているが、R,G,Bの各バンドに８ビットの情報を持つカラー画像である。利用者は、この画像から写っているのが何の花であるかを検索したい。しかし、そのためには花の部分を正確に切り出すことが要求される。これを利用者が行なうには、大きな労力を要する。しかし、原画像に含まれる多様な色を分類し、図２(ｂ)のように例えば10色程度の少数の代表色で表わした代表色画像４が作成できれば、花の部分を抽出することは容易となる。この代表色画像４は、ここでは階調の少ない濃淡画像で示されているが、１つの階調で示されている部分は、１つの代表色で表わされており、例えば領域２１は、(R1,G1,B1)=(207,130,155)、領域２２は、(R2,G2,B2)=(226,91,120)、領域２３は、(R3,G3,B3)=(229,115,48)、領域２４は、(R4,G4,B4)=(203,59,53)の色が代表している。そして、これらの四つの領域の部分を抽出すれば花の部分のほとんどを切り出すことができ、それ以外の代表色の領域は背景や葉の領域に対応している。この画像を見ながらこれら四つの領域を利用者がポインティングデバイスで指示することにより、検索対象物領域である花の部分を切り出すのは、利用者にとっては許容できる労力であることが多い。このようにして対象物領域が抽出されれば、その部分についてデータベースから似た画像を検索することにより、望ましい検索結果が得られる可能性は高い。
【００１２】
図２(a)から図２(b)を得るような代表色抽出方法については、従来多くの手法が開発されており、応用に応じて選択することができるが、例えば日本国特許第２５２２３６９号「カラー画像の限定色表現方法及び装置」に記載された方法を利用することができる。本発明は、この基本概念を実現したものである。
【実施例１】
【００１３】
図１を参照して、本発明の実施例１を説明する。例えばデジタルカメラである画像入力装置１による取得画像２が撮像される。取得画像２は、通常、カメラ等の画像センサの赤（R）,緑（G）,青（B）の各バンド毎に８ビットの情報を持つため、色のバリエーションとしては、約１６００万色の可能性が存在する。代表色抽出手段３は、得られた取得画像２に対して、上記に示した例えば日本国特許第２５２２３６９号「カラー画像の限定色表現方法及び装置」に記載された代表色抽出処理を施し、取得画像２に含まれる色から例えば１０色程度の少数の代表色を抽出し代表色画像４を出力する。
【００１４】
この限定色表現方法の働きを図３を参照して説明する。図３は、通常三次元で表わされる画像の色分布を、簡単のため二次元で表わしている。この例では、色空間はR,G,Bの三次元の代わりに、R,Gの二次元で示している。この空間に、画像の各画素の(R,G)値をプロットする。そして、分布頻度の高い部分が濃い色でクラスタ１１１、１１２、１１３、１１４のように表現されている。代表色抽出手段３は、この空間を分割線１２１、１２２、１２３で次々と二分割し、それぞれの分割された領域に存在する色の平均色１３１、１３２、１３３、１３４を、代表色とする。分割は、何度でも繰り返すことができるが、例えば、分割した結果生成される２つの代表色の色差に閾値を設け、ある閾値以下になるときは分割を停止する。この閾値の設定値によって、上記のように１０色程度の少数の代表色を抽出することができる。さらに、取得画像２の各画素値が含まれる領域を判断し、画素値をその領域の代表色に置き換えることによって、代表色画像４が得られる。
【００１５】
利用者は、取得画像２と代表色画像４をモニタ５で観察する。そして対象物が花弁である場合は代表色画像４の花弁に含まれている代表色の位置(x,y)をマウス等のポインティング手段６で指定する。図２の例では、領域２１〜２４の４つの代表色領域が花弁の部分にあたるので、利用者は、これら４領域のそれぞれに属するいくつかの画素を指定する。例えば、４領域から１つずつの画素を指定したとし、画素位置を(x1,y1), (x2,y2), (x3,y3), (x4,y4)とする。対象物領域登録手段７は、例えば、抽出する対象物の画素には‘１’、それ以外の画素には‘０’の値を持つ対象物領域画像８を作成する。具体的には、上記の指定された画素位置(xi,yi)(i=1,2,3,4)により代表色画像４を参照し、対象物に属する代表色(Ri,Gi,Bi)(i=1,2,3,4)を得、次に代表色画像４の各画素値を調べ、画素値が対象物に属する代表色のいずれかに一致する場合には対象物領域画像８の対応する画素に‘１’を書き込み、一致しない場合には‘０’を書き込む。図２(b)の例について、これを実行して得られた対象物領域画像８の‘１’の部分を灰色、それ以外の部分を黒色で図２(c)に示した。特徴検索手段９は、対象物領域画像８の画素値が‘１’である対象物領域のみの、取得画像２の色・テクスチャ等の特徴を、登録されている種々の対象物の特徴と比較し、画像検索を実行する。
【００１６】
なお、図１に示した実施例では、利用者は対象物に属する代表色領域をポインティング手段６で指示するが、実現方法としては利用者が代表色領域を容易に指示できればよい。例えば、モニタ５の画面の端の部分に、抽出された代表色をその番号と共に表示し、利用者が対象物に属する代表色の色を見ながら対応する番号をキーで入力するように実現することもできる。この場合でも、代表色が１０色程度であれば、利用者は容易に必要な代表色領域の番号を指示できる。また、本発明を実装するシステムがポインティング手段６を持たない場合にも同様の機能を実現できる。
【００１７】
特徴検索手段９は、応用によりとる構成が異なるが、上記に示した花の検索を例とし、その構成例を図４を参照して説明する。特徴検索手段９は、特徴抽出手段９１、特徴格納手段９２、特徴比較手段９３から成る。特徴抽出手段９１は、取得画像２の対象物領域画像８で画素値が“1”となり、対象物領域とされている画素について、画像特徴を抽出する。特徴格納手段９２には、対象物を学習する際に同様にして抽出された、（例えば、“菊”、“椿”等の）花の種類毎の画像特徴が格納されている。特徴比較手段９３は、特徴抽出手段９１により得られた画像特徴を、特徴格納手段９２に格納されている画像特徴と比較し、最も近いものを検索結果として出力する。
【００１８】
画像特徴は、応用に応じて最適なものを選べばよい。例として、図５を参照して、従来知られている、花の検索に色とテクスチャの特徴を利用する場合の特徴抽出手段９１の構成例を説明する。取得画像２は、まず、サイズ正規化手段９１１により拡大・縮小され、画像中の花の部分の大きさが予め定められた大きさになるように正規化される。花の部分の縦・横の大きさは、対象物領域画像８の輪郭の座標を調べ、その限界値を調べることにより可能である。続いて、輝度正規化手段９１２は、撮影時の花の部分の輝度を正規化する。これは、例えば、画像の対象物領域画像８の画素が‘１’の部分について、取得画像２の(R,G,B)値を調べ、最大の値をRGBmaxとすると、式(1)のようにこの最大値で各(R,G,B)値を正規化する。二つの正規化が行なわれた画像を正規化画像９１３とする。ここでは、R',G',B'の値は、８ビットの整数で表わされるとしている。
【００１９】
正規化画像９１３に対して、二つの特徴が計算される。累積カラーヒストグラム計算手段９１４は、R',G',B'のそれぞれに対して累積ヒストグラムを計算する。例えば、R’に関する累積ヒストグラムfr(R")は、対象物領域画像８で画素値が‘１’であり、正規化画像９１３におけるR'の値がR"以下の画素の総数である。同様にG',B'に対しての累積ヒストグラムfg(G"),fb(B")も計算する。また、テクスチャ特徴計算手段９１５は、R',G',B'から例えば式(２)のように計算される明度Y'の画像に対して、離散フーリエ変換を行ない、各波数に対するパワーを計算する。この波数平面を図７に模式的に示す。図７で黒丸で示した位置がパワーを計算する各波数(kx,ky)を示している。得られるパワーを、直流成分９１５１を中心に同心円状に複数の領域９１５２，９１５３のように分割する。そしてそれぞれの領域に含まれる波数のパワーを加算し、波数の絶対値
【００２０】
に関するパワーp(k)をテクスチャ特徴量とする。これは、花の撮像方向は花の向きに対して一定にできないため、撮像方向による変動を吸収するためである。
【００２１】
Y'=0.30R'+0.59G'+0.11B' (２)
以上のように、特徴抽出手段９１からは、累積ヒストグラムfr(R"),fg(G"),fb(B")およびパワーp(k)の４つの特徴が計算される。特徴比較手段９３は、これらの４つの特徴を、特徴格納手段９２に格納されている、花の種類を代表する特徴と比較する。例えば、“菊”に対する上記の４つの特徴量をfr1(R"),fg1(G"),fb1(B"),p1(k)、“椿”に対する上記の４つの特徴をfr2(R"),fg2(G"),fb2(B"),p2(k)とすると、i=1,2について式(３)のようにユークリッド距離の二乗を計算する。
【００２２】
Ｄ1がＤ2より小さければ、取得画像２は“椿”よりも“菊”に近いことになる。特徴格納手段９２にＮ種類の花に関する特徴が格納されていれば、Ｄiが最小の値をとる花の名前が取得画像２の花の種類として検索される。あるいは、Ｄiの値が予め定められた閾値より小さい花の種類をすべて結果としてもよい。なお、特徴格納手段９２には、実際の検索の準備段階で、多くの花の画像について、同様の特徴抽出を行ない、得られた抽出結果が予め格納されているものとする。
【００２３】
また、上記のように、特徴比較手段９３の行なう処理は、従来知られている特徴空間におけるパターン認識処理である。上述したカラー累積ヒストグラムとフーリエパワーを検索のための特徴とすること、式(３)に示したように検索結果の判断にユークリッド距離を利用すること等は、まず選択される実現方法の一つであるので、例として示したが、この他の特徴を利用することや、ユークリッド距離の代わりにマハラノビス距離等もっと複雑な距離を使うことにより検索を高度化することも可能である。
【実施例２】
【００２４】
次に本発明の実施例２を図６を参照して説明する。実施例１では、画像の取得と画像の検索は、ひとつながりのシステムであるように記述されたが、実施例２では、画像取得は、携帯できるカメラシステムと通信手段、あるいは、カメラ付きの携帯電話のようなシステムで行なわれ、画像の処理及び検索はサーバコンピュータのような固定したシステムで行なわれる。
【００２５】
利用者は、端末部１００を利用する。画像入力手段１から検索したい対象物が撮像され取得画像２となる。これをモニタ５で確認し、通信手段１０１によって、処理部２００へ送信する。処理部２００では、通信手段２０１が取得画像２を受信する。代表色抽出手段３は、第１の実施例と同様に、取得画像２に対して代表色抽出を行ない、代表色画像４を作成する。代表色画像４は、通信手段２０１を介して端末部１００に送られ、さらに端末部１００の通信手段１０１を介してモニタ５に表示される。利用者は、モニタ５を観察しながらポインティング手段６を用いて、画像中の検索すべき対象物領域の位置(xi,yi)を、それぞれ少なくとも１画素ずつ指定する。対象物領域指定手段１０２は、この位置情報を通信手段１０１を介して処理部に送信する。処理部の対象物領域登録手段７は、この位置情報を通信手段２０１を介して得、この位置情報から代表色画像４を参照し、対象物に属する代表色(Ri,Gi,Bi)を得、続いて代表色画像４の各画素値を調べ、画素値が対象物に属する代表色のいずれかに一致する場合には対象物領域画像８の対応する画素に‘１’を書き込み、一致しない場合は‘０’を書き込む。このようにして、対象物領域画像８が得られる。特徴検索手段９は、実施例１と同様に、取得画像２の対象物領域画像８の画素値が‘１’である対象物領域のみの色・テクスチャ等の特徴を、格納されている複数の対象物の特徴と比較し、検索を実行する。検索結果は、通信手段２０１、通信手段１０１を介して検索結果表示手段１０３に送られ、検索結果表示手段１０３は検索された対象物の名前等をモニタ５に表示する。
【００２６】
実施例２は、実施例１よりも通信手段を持っていたり、同じ取得画像２や代表色画像４を端末部１００と処理部２００の両方に持っていたりするため、冗長であるように見える。しかし、端末部１００は通常、携帯電話や携帯端末であるため、省電力型のコンピュータを搭載していることが多く、処理部２００のコンピュータとは処理能力が大きく異なることが多い。本発明のような、代表色抽出処理や画像検索のための特徴抽出処理は処理量が大きいため、端末部１００の処理能力の小さなコンピュータでは高性能な処理を高速に実現することが困難であることがある。そのため、端末部１００では、画像の入力と対象物領域指定のための簡単な処理のみを行ない、負荷の大きな処理は処理部２００で実行するのは、実現形態として意味のあることである。
【００２７】
なお、実施例１及び２において、代表色抽出手段３、対象物領域登録手段７、特徴検索手段９、対象物領域指定手段１０２、で実行される処理は、コンピュータプログラムで実現することも可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例１の構成を示すブロック図である。
【図２】取得画像からの代表色抽出及び対象物領域を説明する画像例である。
【図３】公知の代表色抽出方法の説明図である。
【図４】特徴検索手段の構成例を示すブロック図である。
【図５】特徴抽出手段の構成例を示すブロック図である。
【図６】本発明の実施例２の構成を示すブロック図である。
【図７】テクスチャ特徴計算手段の説明図である。
【符号の説明】
【００２９】
１ 画像入力手段
２ 取得画像
３ 代表色抽出手段
４ 代表色画像
５ モニタ
６ ポインティング手段
７ 対象物領域登録手段
８ 対象物領域画像
９ 特徴検索手段
９１ 特徴抽出手段
９２ 特徴格納手段
９３ 特徴比較手段
１００ 端末部
１０１，２０１ 通信手段
１０２ 対象物領域指定手段
１０３ 検索結果表示手段
２００ 処理部
【特許請求の範囲】
【請求項１】
画像入力手段により取得された取得画像に対して代表色抽出処理を行ない、利用者にその結果得られた代表色画像を提示し、利用者によって指示された検索対象物の属する代表色領域を対象物領域とする画像処理方法。
【請求項２】
画像入力手段により取得された取得画像に対して代表色抽出処理を行ない、利用者にその結果得られた代表色画像を提示し、利用者によって指示された検索対象物の属する代表色領域を対象物領域とし、前記取得画像と該対象物領域から前記検索対象物の画像特徴を計算し、該画像特徴を利用して画像中の対象物の検索を行なう画像処理方法。
【請求項３】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を出力する代表色抽出手段と、前記代表色画像を利用者に提示する画像表示手段と、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物領域登録手段とを含む画像処理システム。
【請求項４】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を出力する代表色抽出手段と、前記代表色画像を利用者に提示する画像表示手段と、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物領域登録手段と、前記取得画像の該対象物領域から画像特徴を計算する画像特徴計算手段と、該画像特徴を利用して対象物の検索を行なう特徴検索手段とを含む画像処理システム。
【請求項５】
前記画像入力手段と、前記代表色画像と対象物の検索結果とを利用者に提示するデータ提示手段と、を含む端末部と、
前記代表色抽出手段と、前記対象物領域登録手段と、前記特徴検索手段と、を含む処理部と、の２つの部分に分割され、
前記端末部と前記処理部とは相互に通信する通信手段を含むことを特徴とする請求項４記載の画像処理システム。
【請求項６】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を生成する代表色抽出ステップと、前記代表色画像を利用者に提示する画像表示ステップと、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物登録ステップとを含む画像処理プログラム。
【請求項７】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を生成する代表色抽出ステップと、前記代表色画像を利用者に提示する画像表示ステップと、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物登録ステップと、前記取得画像の該対象物領域から画像特徴を計算する画像特徴計算ステップと、該画像特徴を利用して対象物の検索を行なう特徴検索ステップ、とを含む画像処理プログラム。
【請求項８】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項２記載の画像処理方法。
【請求項９】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項４又は５記載の画像処理システム。
【請求項１０】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項７記載の画像処理プログラム。
【請求項１】
画像入力手段により取得された取得画像に対して代表色抽出処理を行ない、利用者にその結果得られた代表色画像を提示し、利用者によって指示された検索対象物の属する代表色領域を対象物領域とする画像処理方法。
【請求項２】
画像入力手段により取得された取得画像に対して代表色抽出処理を行ない、利用者にその結果得られた代表色画像を提示し、利用者によって指示された検索対象物の属する代表色領域を対象物領域とし、前記取得画像と該対象物領域から前記検索対象物の画像特徴を計算し、該画像特徴を利用して画像中の対象物の検索を行なう画像処理方法。
【請求項３】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を出力する代表色抽出手段と、前記代表色画像を利用者に提示する画像表示手段と、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物領域登録手段とを含む画像処理システム。
【請求項４】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を出力する代表色抽出手段と、前記代表色画像を利用者に提示する画像表示手段と、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物領域登録手段と、前記取得画像の該対象物領域から画像特徴を計算する画像特徴計算手段と、該画像特徴を利用して対象物の検索を行なう特徴検索手段とを含む画像処理システム。
【請求項５】
前記画像入力手段と、前記代表色画像と対象物の検索結果とを利用者に提示するデータ提示手段と、を含む端末部と、
前記代表色抽出手段と、前記対象物領域登録手段と、前記特徴検索手段と、を含む処理部と、の２つの部分に分割され、
前記端末部と前記処理部とは相互に通信する通信手段を含むことを特徴とする請求項４記載の画像処理システム。
【請求項６】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を生成する代表色抽出ステップと、前記代表色画像を利用者に提示する画像表示ステップと、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物登録ステップとを含む画像処理プログラム。
【請求項７】
画像入力手段により取得された取得画像に対して代表色抽出処理を実行し代表色画像を生成する代表色抽出ステップと、前記代表色画像を利用者に提示する画像表示ステップと、利用者からの指示によって前記代表色画像から対象物領域を登録する対象物登録ステップと、前記取得画像の該対象物領域から画像特徴を計算する画像特徴計算ステップと、該画像特徴を利用して対象物の検索を行なう特徴検索ステップ、とを含む画像処理プログラム。
【請求項８】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項２記載の画像処理方法。
【請求項９】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項４又は５記載の画像処理システム。
【請求項１０】
前記画像特徴として対象物の色特徴又はテクスチャ特徴のいずれか１つ、又は、両方を利用することを特徴とする、請求項７記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−５２４６６（Ｐ２００７−５２４６６Ａ）
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００３−３８６３７３（Ｐ２００３−３８６３７３）
【出願日】平成１５年１１月１７日（２００３．１１．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１５年１１月１７日（２００３．１１．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]