部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラム
【課題】部分画像を確実に対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムを提供することを課題とする。
【解決手段】基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析し、解析された部分画像に対する特徴量を用いて基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算する。
【解決手段】基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析し、解析された部分画像に対する特徴量を用いて基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影位置や照明環境が異なる２つの画像間や、撮影された対象に変形や変移が生じた２つの画像間での部分画像を対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムの技術に関する。
【背景技術】
【０００２】
画像同士を対応付ける方法は、画像データベースから対象画像を検索する際に用いる基本的な技術として非常に重要なものとなっている。最も広く用いられている方法の一つに相互相関法があり、画像輝度値（画像濃淡値と同義）を用いて２枚の画像間における部分画像間の類似性を評価し、この類似度の高低に対応する相関係数（類似度が最高：１，類似度が最低：０）を計算することにより、類似度の高い画像を画像データベースから検索することを可能とする技術である。また、その部分画像間の類似性を求める基準として、正規化相互相関法を用いることも可能となっている。
【０００３】
具体的には、図１１に示すような２枚の画像（基準画像と対応画像）を構成している各画素の輝度値（０〜２５５の８ビット）をＩ，Ｔとし、画素の位置を（ｉ，ｊ）で表現し、部分画像を構成する画素の範囲をＮ×Ｍとした場合には、部分画像間の類似度を式（１）を用いて評価することができる。なお、ＩとＴの上に−（バー）が付されたものは、２枚の画像における平均輝度値である。
【０００４】
【数１】
そして、式（１）のＲの値が最大となるものを対応部分画像として対応づけることになる。
【非特許文献１】田村 秀行 監修、“コンピュータ画像処理入門 第５章 画像の特徴抽出と解析・認識”、総研出版、1985年、p.118-125
【非特許文献２】“ＨＳＶ色空間”、［online］、［平成20年10月15日検索］、インターネット＜URL : http://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93＞
【非特許文献３】“ＤＰマッチング”、［online］、［平成20年10月15日検索］、インターネット＜URL : http://sail.i.ishikawa-nct.ac.jp/pattern/dp/dp.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば同じ景観を撮影した画像であっても、撮影位置や照明環境が異なることで構図が著しく変化（その他、撮影対象の拡大縮小，テクスチャの変化，形状の変化等）した場合には、類似度の計算に係る時間が膨大となるため、部分画像の対応付けが困難になるという問題がある。なお、このような問題について、２枚の画像を用いた動き推定法（オプティカルフロー法）を適用することも考えられるが、輝度の変位や撮影対象の変形が著しく、撮影対象が急峻に見え隠れするような場合には、同様に部分画像の対応付けが困難である。
【０００６】
本発明は、上記を鑑みてなされたものであり、部分画像を確実に対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
第１の請求項に係る発明は、ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する入力手段と、入力された前記基準画像及び前記対応画像を蓄積しておく蓄積手段と、前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する解析手段と、前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける対応付け手段と、を有することを要旨とする。
【０００８】
第２の請求項に係る発明は、前記解析手段が、前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを要旨とする。
【０００９】
第３の請求項に係る発明は、前記解析手段が、前記解析手段が、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させることを要旨とする。
【００１０】
第４の請求項に係る発明は、前記解析手段が、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを要旨とする。
【００１１】
第５の請求項に係る発明は、前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、前記対応付け手段は、ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを要旨とする。
【００１２】
第６の請求項に係る発明は、ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する第１のステップと、入力された前記基準画像及び前記対応画像を蓄積手段に蓄積しておく第２のステップと、前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する第３のステップと、前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける第４のステップと、を有することを要旨とする。
【００１３】
第７の請求項に係る発明は、前記第３のステップが、前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを要旨とする。
【００１４】
第８の請求項に係る発明は、前記第３のステップが、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させ、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを要旨とする。
【００１５】
第９の請求項に係る発明は、前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、前記第４のステップは、ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを要旨とする。
【００１６】
第１０の請求項に係る発明は、請求項６乃至９のいずれか１項に記載の部分画像対応付け方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１７】
本発明によれば、部分画像を確実に対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
図１は、本実施の形態に係る部分画像対応付け装置の構成を示す構成図である。この部分画像対応付け装置は、入力部１１と、解析部１２と、対応付け部１３と、表示部１４と、蓄積部３１とを備えた構成である。
【００１９】
入力部１１は、所定の対象が撮影された複数の画像の入力を受け付ける機能を備えている。本実施の形態では、基準となる基準画像（図２参照）と、この基準画像に対応する画像としての対応画像（図３参照）の２つの画像を用いて説明を続けるものとする。基準画像の中央には星状の対象が撮像されており、対応画像には、その星状の対象の色や形状が変形し、その大きさが小さくなり、右上に移動しているものとして説明する。なお、この２つの画像とは、時系列に連続する撮影画像から選別した任意の画像であってもよく、時系列に関係のない２枚の画像であってもよい。
【００２０】
蓄積部３１は、入力部１１で入力された基準画像及び対応画像を一端蓄積しておく機能を備えている。このような蓄積部としては、例えば、メモリ、ハードディスク等の記録媒体を用いて実現することができる。
【００２１】
解析部１２は、蓄積部３１から基準画像及び対応画像を読み出して、基準画像から複数の部分画像を選択すると共に、対応画像からも複数の部分画像を選択し、基準画像及び対応画像を構成している各画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する機能を備えている。ここで、特徴量の一例として、例えば、色彩，エッジ，空間周波数を用いることができる。エッジとは、輝度が大きく変化する部分であって、撮影された対象の輪郭線やテクスチャ等にみられる視覚的な変動が著しい部分である。また、空間周波数とは、例えば、部分画像における一辺あたりの輝度変化の周期性に関する量である。
【００２２】
また、解析部１２は、図４に示すように、輝度値に対する色彩，エッジ，空間周波数のヒストグラム分布（横軸：輝度値（０〜２５５），縦軸：部分画像における各特徴量の生起分布［％］等）をそれぞれ求め、このヒストグラム分布の形状や、ヒストグラム分布の一次微分からなる勾配情報をも特徴量として用いることができる。例えば、特徴量が色彩である場合には、画素の輝度値で表現されるＲＧＢカラーモデルを、色相，彩度，明度からなるＨＳＶモデルに変換（非特許文献２参照）し、色相のみのヒストグラムを一旦生成し、このヒストグラム分布の勾配値を計算した後に勾配値についてのヒストグラムを生成する。生成されたヒストグラムは、色度が０〜３６０度の範囲で画素がどの程度あるかを示す分布となる。なお、勾配値の計算については、例えば隣り合う角度の間での一次微分を計算することで求めることができる。
【００２３】
更に、解析部１２は、基準画像及び対応画像における画像全体の特徴量をそれぞれ計算し、この特徴量に基づいて部分画像の大きさを変化させ、大きさが変化した後の部分画像を用いて特徴量を解析する機能を備えている。具体的には、例えば画像全体の特徴量が空間周波数である場合に、図５に示すように、計算された空間周波数が低い場合には、大きい周期でテクスチャが変化していると考えられるので、部分画像の大きさを３０画素×３０画素とし、空間周波数が高い場合には、短い周期でテクスチャが変化しているので、部分画像の大きさを２画素×２画素に変化させる。すなわち、空間周波数に反比例するように部分画像の大きさを調整する機能を備えている。
【００２４】
ここで、基準画像及び対応画像における位置（ｉ，ｊ）によっては、部分画像が散在的に存在する（顕著な例としては部分画像が存在しない）か、又は高密度に存在する（複数の部分画像が重複的に存在する）ことになる。得に、部分画像の大きさを変化させた場合には、その密度の割合が変化することになる。そこで、解析部１２は、画像全体の特徴量に基づいて部分画像が選択される位置における部分画像の重複度を調整する機能も備えている。具体的には、図６に示すように、空間周波数が低い場合には、ある位置における部分画像の発生密度を小さくし、空間周波数が高い場合には、その位置における部分画像の発生密度を大きくする。
【００２５】
すなわち、選択する部分画像の大きさや位置を調整することにより、基準画像及び対応画像における全ての領域の画像特徴量をすみずみまで用いることなく、部分画像を高速に対応付けをすることが可能となる。なお、解析部１２は、部分画像の大きさの変化のみを処理してもよいし、位置の調整のみを処理してもよい。又は、画像の大きさの変化と位置の調整との両方を処理することも可能である。
【００２６】
対応付け部１３は、解析された特徴量を用いて、基準画像の各部分画像と、対応画像の各部分画像との類似度を順次計算し、その類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける機能を備えている。類似度の一定基準が例えば４５である場合に、図７に示すように、基準画像における部分画像＃１と対応画像における部分画像＃１との類似度を計算し、その類似度が２０なので、次に基準画像における部分画像＃１と対応画像における部分画像＃２との類似度を計算する。同様に類似度の計算を繰り返し行い、対応画像における部分画像が＃３の場合には類似度が５０（≧４５（一定基準））なので、基準画像における部分画像＃１と対応画像における部分画像＃３とを対応部分画像とする。なお、類似度の計算については、例えば式（１）を用いて説明した正規化相互相関法を用いることが可能である。
【００２７】
また、対応付け部１３は、ダイナミック・プログラミング・マッチング法（ＤＰマッチング法：非特許文献３参照）を用いて類似度を計算する機能も備えている。対応画像内に撮像されている対象の変化が非常に大きく、図８に示すように基準画像における部分画像のヒストグラム分布と対応画像における部分画像のヒストグラム分布とが局所的に異なっている場合には、部分画像を確実に対応付けることができない場合がある。なお、図８の（ａ）と（ｂ）は、ヒストグラム分布における横軸のサイズが大きく又は小さくなっている。そこで、音声信号の認識等で広くしようされているＤＰマッチング法を用いて、例えば図８（ａ）に示すヒストグラム分布を左方向に縮めたり、図８（ｂ）に示すヒストグラム分布を右方向に伸ばしたりした伸縮写像を用いて類似度を計算することができる。その場合、色彩，エッジ，空間周波数に関するヒストグラム分布についてそれぞれＤＰマッチング法を適用して類似度をそれぞれ計算し、３種類の類似度の合計値が最も大きな部分画像の組み合わせを対応部分画像として対応付けることも可能である。
【００２８】
表示部１４は、図９に示すように、対応部分画像を用いて対応する部分を表示する機能を備えている。従来法では、２つの画像間で変形が生じた場合には、うまく対応付けを行うことが困難であったが、本実施の形態によれば、撮影された対象の形状や輝度値の変化に対して良好に対応付けを行うことが可能となる。
【００２９】
続いて、本実施の形態に係る部分画像対応付け装置の処理フローについて説明する。図１０は、本実施の形態に係る部分画像対応付け装置の処理フローを示すフロー図である。最初に、入力部１１が、基準画像と対応画像との入力を受け付ける（ステップＳ１０１）。次に、蓄積部３１が、入力された基準画像及び対応画像を一旦蓄積する（ステップＳ１０２）。
【００３０】
続いて、解析部１２が、基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する（ステップＳ１０３）。ここで、解析部１２は、輝度値に対する特徴量のヒストグラム分布を求め、このヒストグラム分布の勾配情報を各部分画像の特徴量とすることも可能である。また、解析部１２は、基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、この画像全体の特徴量に基づいて部分画像の大きさを変化させると共に、画像全体の特徴量に基づいて部分画像が選択される位置における部分画像の重複度を調整し、変化後及び調整後の部分画像を用いて特徴量を解析することも可能である。
【００３１】
その後、対応付け部１３が、解析された特徴量を用いて、基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算し、計算された類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける（ステップＳ１０４）。ここで、対応付け部１３は、ＤＰマッチング法を用いてヒストグラム分布を伸縮させて、上記類似度を順次計算することも可能である。
【００３２】
最後に、表示部１４が、対応部分画像を用いて対応する部分を表示する（ステップＳ１０５）。
【００３３】
本実施の形態によれば、基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析し、解析された部分画像に対する特徴量を用いて基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算するので、類似度に係る膨大な演算を回避することができ、部分画像を確実に対応付けることが可能となる。
【００３４】
本実施の形態によれば、基準画像及び対応画像における画像全体の特徴量をそれぞれ計算し、この画像全体に対する特徴量に基づいて部分画像の大きさを変化させ、及び／又は、部分画像が選択される位置における部分画像の重複度を調整し、変化後及び／又は調整後の部分画像を用いて特徴量を解析するので、基準画像及び対応画像における全ての領域の画像特徴量をすみずみまで用いることなく、部分画像を高速に対応付けをすることが可能となる。
【００３５】
本実施の形態によれば、ＤＰマッチング法を用いてヒストグラム分布を伸縮させて類似度を順次計算するので、大きな変形や変位を伴った画像同士であっても、より確実に対応付けを行うことが可能となる。
【００３６】
最後に、各実施の形態で説明した部分画像対応付け装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した部分画像対応付け装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を部分画像対応付け装置として機能させることができるのは勿論である。
【００３７】
なお、本実施の形態で説明した部分画像対応付け装置は、特にマルチメディア分野，符号化分野，通信分野，映像監視分野の技術分野において応用可能であることを付言しておく。
【図面の簡単な説明】
【００３８】
【図１】本実施の形態に係る部分画像対応付け装置の構成を示す構成図である。
【図２】基準画像の一例を示す図である。
【図３】対応画像の一例を示す図である。
【図４】輝度値に対する特徴量の一例を示す図である。
【図５】空間周波数の高低に基づいて大きさが異なる複数の部分画像を示す図である。
【図６】空間周波数の高低に基づいて位置における部分画像の重複度が調整された複数の部分画像を示す図である。
【図７】基準画像における部分画像と対応画像における部分画像との類似度を求める状態を示す図である。
【図８】基準画像における部分画像のヒストグラム分布と対応画像における部分画像のヒストグラム分布との変化が著しい状態を示す図である。
【図９】対応する部分が表示された状態を示す図である。
【図１０】本実施の形態に係る部分画像対応付け装置の処理フローを示すフロー図である。
【図１１】従来における画像間の類似性を評価している状態を示す図である。
【符号の説明】
【００３９】
１１…入力部
１２…解析部
１３…対応付け部
１４…表示部
３１…蓄積部
Ｓ１０１〜Ｓ１０５…ステップ
【技術分野】
【０００１】
本発明は、撮影位置や照明環境が異なる２つの画像間や、撮影された対象に変形や変移が生じた２つの画像間での部分画像を対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムの技術に関する。
【背景技術】
【０００２】
画像同士を対応付ける方法は、画像データベースから対象画像を検索する際に用いる基本的な技術として非常に重要なものとなっている。最も広く用いられている方法の一つに相互相関法があり、画像輝度値（画像濃淡値と同義）を用いて２枚の画像間における部分画像間の類似性を評価し、この類似度の高低に対応する相関係数（類似度が最高：１，類似度が最低：０）を計算することにより、類似度の高い画像を画像データベースから検索することを可能とする技術である。また、その部分画像間の類似性を求める基準として、正規化相互相関法を用いることも可能となっている。
【０００３】
具体的には、図１１に示すような２枚の画像（基準画像と対応画像）を構成している各画素の輝度値（０〜２５５の８ビット）をＩ，Ｔとし、画素の位置を（ｉ，ｊ）で表現し、部分画像を構成する画素の範囲をＮ×Ｍとした場合には、部分画像間の類似度を式（１）を用いて評価することができる。なお、ＩとＴの上に−（バー）が付されたものは、２枚の画像における平均輝度値である。
【０００４】
【数１】
そして、式（１）のＲの値が最大となるものを対応部分画像として対応づけることになる。
【非特許文献１】田村 秀行 監修、“コンピュータ画像処理入門 第５章 画像の特徴抽出と解析・認識”、総研出版、1985年、p.118-125
【非特許文献２】“ＨＳＶ色空間”、［online］、［平成20年10月15日検索］、インターネット＜URL : http://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93＞
【非特許文献３】“ＤＰマッチング”、［online］、［平成20年10月15日検索］、インターネット＜URL : http://sail.i.ishikawa-nct.ac.jp/pattern/dp/dp.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば同じ景観を撮影した画像であっても、撮影位置や照明環境が異なることで構図が著しく変化（その他、撮影対象の拡大縮小，テクスチャの変化，形状の変化等）した場合には、類似度の計算に係る時間が膨大となるため、部分画像の対応付けが困難になるという問題がある。なお、このような問題について、２枚の画像を用いた動き推定法（オプティカルフロー法）を適用することも考えられるが、輝度の変位や撮影対象の変形が著しく、撮影対象が急峻に見え隠れするような場合には、同様に部分画像の対応付けが困難である。
【０００６】
本発明は、上記を鑑みてなされたものであり、部分画像を確実に対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
第１の請求項に係る発明は、ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する入力手段と、入力された前記基準画像及び前記対応画像を蓄積しておく蓄積手段と、前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する解析手段と、前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける対応付け手段と、を有することを要旨とする。
【０００８】
第２の請求項に係る発明は、前記解析手段が、前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを要旨とする。
【０００９】
第３の請求項に係る発明は、前記解析手段が、前記解析手段が、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させることを要旨とする。
【００１０】
第４の請求項に係る発明は、前記解析手段が、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを要旨とする。
【００１１】
第５の請求項に係る発明は、前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、前記対応付け手段は、ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを要旨とする。
【００１２】
第６の請求項に係る発明は、ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する第１のステップと、入力された前記基準画像及び前記対応画像を蓄積手段に蓄積しておく第２のステップと、前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する第３のステップと、前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける第４のステップと、を有することを要旨とする。
【００１３】
第７の請求項に係る発明は、前記第３のステップが、前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを要旨とする。
【００１４】
第８の請求項に係る発明は、前記第３のステップが、前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させ、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを要旨とする。
【００１５】
第９の請求項に係る発明は、前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、前記第４のステップは、ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを要旨とする。
【００１６】
第１０の請求項に係る発明は、請求項６乃至９のいずれか１項に記載の部分画像対応付け方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１７】
本発明によれば、部分画像を確実に対応付ける部分画像対応付け装置、部分画像対応付け方法及び部分画像対応付けプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
図１は、本実施の形態に係る部分画像対応付け装置の構成を示す構成図である。この部分画像対応付け装置は、入力部１１と、解析部１２と、対応付け部１３と、表示部１４と、蓄積部３１とを備えた構成である。
【００１９】
入力部１１は、所定の対象が撮影された複数の画像の入力を受け付ける機能を備えている。本実施の形態では、基準となる基準画像（図２参照）と、この基準画像に対応する画像としての対応画像（図３参照）の２つの画像を用いて説明を続けるものとする。基準画像の中央には星状の対象が撮像されており、対応画像には、その星状の対象の色や形状が変形し、その大きさが小さくなり、右上に移動しているものとして説明する。なお、この２つの画像とは、時系列に連続する撮影画像から選別した任意の画像であってもよく、時系列に関係のない２枚の画像であってもよい。
【００２０】
蓄積部３１は、入力部１１で入力された基準画像及び対応画像を一端蓄積しておく機能を備えている。このような蓄積部としては、例えば、メモリ、ハードディスク等の記録媒体を用いて実現することができる。
【００２１】
解析部１２は、蓄積部３１から基準画像及び対応画像を読み出して、基準画像から複数の部分画像を選択すると共に、対応画像からも複数の部分画像を選択し、基準画像及び対応画像を構成している各画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する機能を備えている。ここで、特徴量の一例として、例えば、色彩，エッジ，空間周波数を用いることができる。エッジとは、輝度が大きく変化する部分であって、撮影された対象の輪郭線やテクスチャ等にみられる視覚的な変動が著しい部分である。また、空間周波数とは、例えば、部分画像における一辺あたりの輝度変化の周期性に関する量である。
【００２２】
また、解析部１２は、図４に示すように、輝度値に対する色彩，エッジ，空間周波数のヒストグラム分布（横軸：輝度値（０〜２５５），縦軸：部分画像における各特徴量の生起分布［％］等）をそれぞれ求め、このヒストグラム分布の形状や、ヒストグラム分布の一次微分からなる勾配情報をも特徴量として用いることができる。例えば、特徴量が色彩である場合には、画素の輝度値で表現されるＲＧＢカラーモデルを、色相，彩度，明度からなるＨＳＶモデルに変換（非特許文献２参照）し、色相のみのヒストグラムを一旦生成し、このヒストグラム分布の勾配値を計算した後に勾配値についてのヒストグラムを生成する。生成されたヒストグラムは、色度が０〜３６０度の範囲で画素がどの程度あるかを示す分布となる。なお、勾配値の計算については、例えば隣り合う角度の間での一次微分を計算することで求めることができる。
【００２３】
更に、解析部１２は、基準画像及び対応画像における画像全体の特徴量をそれぞれ計算し、この特徴量に基づいて部分画像の大きさを変化させ、大きさが変化した後の部分画像を用いて特徴量を解析する機能を備えている。具体的には、例えば画像全体の特徴量が空間周波数である場合に、図５に示すように、計算された空間周波数が低い場合には、大きい周期でテクスチャが変化していると考えられるので、部分画像の大きさを３０画素×３０画素とし、空間周波数が高い場合には、短い周期でテクスチャが変化しているので、部分画像の大きさを２画素×２画素に変化させる。すなわち、空間周波数に反比例するように部分画像の大きさを調整する機能を備えている。
【００２４】
ここで、基準画像及び対応画像における位置（ｉ，ｊ）によっては、部分画像が散在的に存在する（顕著な例としては部分画像が存在しない）か、又は高密度に存在する（複数の部分画像が重複的に存在する）ことになる。得に、部分画像の大きさを変化させた場合には、その密度の割合が変化することになる。そこで、解析部１２は、画像全体の特徴量に基づいて部分画像が選択される位置における部分画像の重複度を調整する機能も備えている。具体的には、図６に示すように、空間周波数が低い場合には、ある位置における部分画像の発生密度を小さくし、空間周波数が高い場合には、その位置における部分画像の発生密度を大きくする。
【００２５】
すなわち、選択する部分画像の大きさや位置を調整することにより、基準画像及び対応画像における全ての領域の画像特徴量をすみずみまで用いることなく、部分画像を高速に対応付けをすることが可能となる。なお、解析部１２は、部分画像の大きさの変化のみを処理してもよいし、位置の調整のみを処理してもよい。又は、画像の大きさの変化と位置の調整との両方を処理することも可能である。
【００２６】
対応付け部１３は、解析された特徴量を用いて、基準画像の各部分画像と、対応画像の各部分画像との類似度を順次計算し、その類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける機能を備えている。類似度の一定基準が例えば４５である場合に、図７に示すように、基準画像における部分画像＃１と対応画像における部分画像＃１との類似度を計算し、その類似度が２０なので、次に基準画像における部分画像＃１と対応画像における部分画像＃２との類似度を計算する。同様に類似度の計算を繰り返し行い、対応画像における部分画像が＃３の場合には類似度が５０（≧４５（一定基準））なので、基準画像における部分画像＃１と対応画像における部分画像＃３とを対応部分画像とする。なお、類似度の計算については、例えば式（１）を用いて説明した正規化相互相関法を用いることが可能である。
【００２７】
また、対応付け部１３は、ダイナミック・プログラミング・マッチング法（ＤＰマッチング法：非特許文献３参照）を用いて類似度を計算する機能も備えている。対応画像内に撮像されている対象の変化が非常に大きく、図８に示すように基準画像における部分画像のヒストグラム分布と対応画像における部分画像のヒストグラム分布とが局所的に異なっている場合には、部分画像を確実に対応付けることができない場合がある。なお、図８の（ａ）と（ｂ）は、ヒストグラム分布における横軸のサイズが大きく又は小さくなっている。そこで、音声信号の認識等で広くしようされているＤＰマッチング法を用いて、例えば図８（ａ）に示すヒストグラム分布を左方向に縮めたり、図８（ｂ）に示すヒストグラム分布を右方向に伸ばしたりした伸縮写像を用いて類似度を計算することができる。その場合、色彩，エッジ，空間周波数に関するヒストグラム分布についてそれぞれＤＰマッチング法を適用して類似度をそれぞれ計算し、３種類の類似度の合計値が最も大きな部分画像の組み合わせを対応部分画像として対応付けることも可能である。
【００２８】
表示部１４は、図９に示すように、対応部分画像を用いて対応する部分を表示する機能を備えている。従来法では、２つの画像間で変形が生じた場合には、うまく対応付けを行うことが困難であったが、本実施の形態によれば、撮影された対象の形状や輝度値の変化に対して良好に対応付けを行うことが可能となる。
【００２９】
続いて、本実施の形態に係る部分画像対応付け装置の処理フローについて説明する。図１０は、本実施の形態に係る部分画像対応付け装置の処理フローを示すフロー図である。最初に、入力部１１が、基準画像と対応画像との入力を受け付ける（ステップＳ１０１）。次に、蓄積部３１が、入力された基準画像及び対応画像を一旦蓄積する（ステップＳ１０２）。
【００３０】
続いて、解析部１２が、基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する（ステップＳ１０３）。ここで、解析部１２は、輝度値に対する特徴量のヒストグラム分布を求め、このヒストグラム分布の勾配情報を各部分画像の特徴量とすることも可能である。また、解析部１２は、基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、この画像全体の特徴量に基づいて部分画像の大きさを変化させると共に、画像全体の特徴量に基づいて部分画像が選択される位置における部分画像の重複度を調整し、変化後及び調整後の部分画像を用いて特徴量を解析することも可能である。
【００３１】
その後、対応付け部１３が、解析された特徴量を用いて、基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算し、計算された類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける（ステップＳ１０４）。ここで、対応付け部１３は、ＤＰマッチング法を用いてヒストグラム分布を伸縮させて、上記類似度を順次計算することも可能である。
【００３２】
最後に、表示部１４が、対応部分画像を用いて対応する部分を表示する（ステップＳ１０５）。
【００３３】
本実施の形態によれば、基準画像及び対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析し、解析された部分画像に対する特徴量を用いて基準画像の各部分画像と対応画像の各部分画像との類似度を順次計算するので、類似度に係る膨大な演算を回避することができ、部分画像を確実に対応付けることが可能となる。
【００３４】
本実施の形態によれば、基準画像及び対応画像における画像全体の特徴量をそれぞれ計算し、この画像全体に対する特徴量に基づいて部分画像の大きさを変化させ、及び／又は、部分画像が選択される位置における部分画像の重複度を調整し、変化後及び／又は調整後の部分画像を用いて特徴量を解析するので、基準画像及び対応画像における全ての領域の画像特徴量をすみずみまで用いることなく、部分画像を高速に対応付けをすることが可能となる。
【００３５】
本実施の形態によれば、ＤＰマッチング法を用いてヒストグラム分布を伸縮させて類似度を順次計算するので、大きな変形や変位を伴った画像同士であっても、より確実に対応付けを行うことが可能となる。
【００３６】
最後に、各実施の形態で説明した部分画像対応付け装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した部分画像対応付け装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を部分画像対応付け装置として機能させることができるのは勿論である。
【００３７】
なお、本実施の形態で説明した部分画像対応付け装置は、特にマルチメディア分野，符号化分野，通信分野，映像監視分野の技術分野において応用可能であることを付言しておく。
【図面の簡単な説明】
【００３８】
【図１】本実施の形態に係る部分画像対応付け装置の構成を示す構成図である。
【図２】基準画像の一例を示す図である。
【図３】対応画像の一例を示す図である。
【図４】輝度値に対する特徴量の一例を示す図である。
【図５】空間周波数の高低に基づいて大きさが異なる複数の部分画像を示す図である。
【図６】空間周波数の高低に基づいて位置における部分画像の重複度が調整された複数の部分画像を示す図である。
【図７】基準画像における部分画像と対応画像における部分画像との類似度を求める状態を示す図である。
【図８】基準画像における部分画像のヒストグラム分布と対応画像における部分画像のヒストグラム分布との変化が著しい状態を示す図である。
【図９】対応する部分が表示された状態を示す図である。
【図１０】本実施の形態に係る部分画像対応付け装置の処理フローを示すフロー図である。
【図１１】従来における画像間の類似性を評価している状態を示す図である。
【符号の説明】
【００３９】
１１…入力部
１２…解析部
１３…対応付け部
１４…表示部
３１…蓄積部
Ｓ１０１〜Ｓ１０５…ステップ
【特許請求の範囲】
【請求項１】
ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する入力手段と、
入力された前記基準画像及び前記対応画像を蓄積しておく蓄積手段と、
前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する解析手段と、
前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける対応付け手段と、
を有することを特徴とする部分画像対応付け装置。
【請求項２】
前記解析手段は、
前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを特徴とする請求項１に記載の部分画像対応付け装置。
【請求項３】
前記解析手段は、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させることを特徴とする請求項１又は２に記載の部分画像対応付け装置。
【請求項４】
前記解析手段は、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを特徴とする請求項１乃至３のいずれか１項に記載の部分画像対応付け装置。
【請求項５】
前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、
前記対応付け手段は、
ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを特徴とする請求項１乃至４のいずれか１項に記載の部分画像対応付け装置。
【請求項６】
ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する第１のステップと、
入力された前記基準画像及び前記対応画像を蓄積手段に蓄積しておく第２のステップと、
前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する第３のステップと、
前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける第４のステップと、
を有することを特徴とする部分画像対応付け方法。
【請求項７】
前記第３のステップは、
前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを特徴とする請求項６に記載の部分画像対応付け方法。
【請求項８】
前記第３のステップは、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させ、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを特徴とする請求項６又は７に記載の部分画像対応付け方法。
【請求項９】
前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、
前記第４のステップは、
ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを特徴とする請求項６乃至８のいずれか１項に記載の部分画像対応付け方法。
【請求項１０】
請求項６乃至９のいずれか１項に記載の部分画像対応付け方法における各ステップをコンピュータによって実行させることを特徴とする部分画像対応付けプログラム。
【請求項１】
ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する入力手段と、
入力された前記基準画像及び前記対応画像を蓄積しておく蓄積手段と、
前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する解析手段と、
前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける対応付け手段と、
を有することを特徴とする部分画像対応付け装置。
【請求項２】
前記解析手段は、
前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを特徴とする請求項１に記載の部分画像対応付け装置。
【請求項３】
前記解析手段は、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させることを特徴とする請求項１又は２に記載の部分画像対応付け装置。
【請求項４】
前記解析手段は、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを特徴とする請求項１乃至３のいずれか１項に記載の部分画像対応付け装置。
【請求項５】
前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、
前記対応付け手段は、
ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを特徴とする請求項１乃至４のいずれか１項に記載の部分画像対応付け装置。
【請求項６】
ある対象を撮影した基準画像と、前記対象に所定の変化が生じた対応画像とを入力する第１のステップと、
入力された前記基準画像及び前記対応画像を蓄積手段に蓄積しておく第２のステップと、
前記蓄積手段から前記基準画像及び前記対応画像を読み出して、当該基準画像及び当該対応画像から複数の部分画像をそれぞれ選択し、画素の輝度値を用いて各部分画像の特徴量をそれぞれ解析する第３のステップと、
前記特徴量を用いて前記基準画像の各部分画像と前記対応画像の各部分画像との類似度を順次計算し、当該類似度が一定基準に到達した部分画像の組み合わせを対応部分画像として対応付ける第４のステップと、
を有することを特徴とする部分画像対応付け方法。
【請求項７】
前記第３のステップは、
前記輝度値に対する前記特徴量のヒストグラム分布を求め、当該ヒストグラム分布の勾配情報を前記各部分画像の特徴量とすることを特徴とする請求項６に記載の部分画像対応付け方法。
【請求項８】
前記第３のステップは、
前記基準画像及び前記対応画像における画像全体の特徴量をそれぞれ計算し、当該特徴量に基づいて前記部分画像の大きさを変化させ、当該特徴量に基づいて前記部分画像が選択される位置における部分画像の重複度を調整することを特徴とする請求項６又は７に記載の部分画像対応付け方法。
【請求項９】
前記特徴量は前記輝度値に対するヒストグラム分布で表現されるものであって、
前記第４のステップは、
ダイナミック・プログラミング・マッチング法を用いて当該ヒストグラム分布を伸縮させて前記類似度を順次計算することを特徴とする請求項６乃至８のいずれか１項に記載の部分画像対応付け方法。
【請求項１０】
請求項６乃至９のいずれか１項に記載の部分画像対応付け方法における各ステップをコンピュータによって実行させることを特徴とする部分画像対応付けプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１０２３８４（Ｐ２０１０−１０２３８４Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７０８９９（Ｐ２００８−２７０８９９）
【出願日】平成２０年１０月２１日（２００８．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２１日（２００８．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]