画像マッチング装置及び画像マッチングプログラム
【課題】特徴ベースの画像マッチングにおいて、特徴箇所の減少を防ぐことができる画像マッチング装置を提供する。
【解決手段】入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、クエリ画像群の特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、統合結果特徴データと、検索対象画像の特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えた。
【解決手段】入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、クエリ画像群の特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、統合結果特徴データと、検索対象画像の特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴対応に基づく画像マッチング技術を用いた画像マッチング装置及び画像マッチングプログラムに関する。
【背景技術】
【０００２】
近年、画像処理・コンピュータビジョン・パターン認識などの幅広い分野において、画像マッチングの研究が盛んに行われている。画像マッチングとは、ユーザによって入力された１枚のクエリ画像と、検索対象として１枚もしくは複数の画像を有するデータベースが存在するときに、この検索対象データベース内画像群からクエリ画像と同様、もしくは類似した画像を求める技術である。この画像マッチングはその閾値の設定によって、検索対象データベース内にクエリ画像と同様もしくは類似した画像が存在するか否かの判定にも利用することができる。
【０００３】
画像マッチングのアプローチは領域ベースのものと特徴ベースのものに大別される。領域ベースのマッチング手法は、２枚の画像間の相違度および類似度に基づきマッチングを行う。具体的にはクエリ画像もしくはクエリ画像中のオブジェクト部分をテンプレート画像として、検索対象データベース内の画像に対してこのテンプレート画像を少しずつずらしながら比較を行い、この処理を検索対象データベース内の全ての画像に対して行うことで画像マッチングを実現する。比較の際は例えばＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Differences）といった手法を用いてクエリ画像と検索対象データベース内画像間の相違度が最小となる画像やその位置を求める方法、もしくはＮＣＣ（Normalized Cross Correlation）やＰＯＣ（Phase-Only Correlation）といった手法を用いてクエリ画像と検索対象データベース内画像間の類似度が最大となる画像やその位置を求める方法がある（例えば、非特許文献１参照）。しかし、これらの領域ベースのアプローチは画像マッチングに要する計算時間が多くなり、また大きな画像変形に弱いといった問題がある。
【０００４】
そこで近年、特徴ベースの画像マッチング手法が盛んに研究されている。特徴ベースのマッチングは、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、局所記述子同士を比較することで実現する。具体的には、クエリ画像から取得した全ての特徴箇所に対して、検索対象データベース内の画像に含まれる特徴箇所の全てと局所記述子の比較を行い、クエリ画像の各特徴箇所の最近傍となる特徴箇所を算出し、この特徴箇所を含む検索対象データベース内画像に票を投じ、投票結果の得票数が最大となる画像をクエリ画像とのマッチング結果画像として出力する（例えば、非特許文献２参照）。
【０００５】
なお、特徴点や特徴領域の抽出にはHarris-Affine region、Hessian-Affine region,Difference of Gaussians（ＤｏＧ） region、Maximally Stable Extremal Regions（ＭＳＥＲ）といった手法があり、局所記述子としてＳＩＦＴ（Scale-Invariant Feature Transform）やＧＬＯＨ（Gradient Location-Orientation Histogram）が提案されている。また、ＳＩＦＴを改良した手法として、ＰＣＡ （Principal Component Analysis）−ＳＩＦＴ、ＳＵＲＦ（Supeeded-Up Robust Features）、ＡＳＩＦＴ（Affine-SIFT）なども提案されている（例えば、非特許文献１参照）。特徴ベースのマッチング手法は領域ベースのマッチング手法と比較して計算時間が少ないこと、さらに画像変形にロバストであることから大量の画像を対象としてマッチングするような応用に適した手法である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】伊藤康一，高橋徹，青木孝文，“高精度な画像マッチング手法の検討”，第２５回信号処理シンポジウム，Ｎｏ．Ｃ５−１，ｐｐ．５４７−５５２，２０１０．
【非特許文献２】本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特徴ベースの画像マッチング手法では、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、この局所記述子同士を比較することで実現している。そのため被写体の撮影条件や配置、被写体自体の形状によって発生する画像上のぼけや部分的な隠ぺいにより、本来抽出されるべき特徴箇所がうまく抽出できないことがある。これによって画像マッチングの結果としてふさわしい画像に対応づけられる特徴箇所数が少なくなり、画像マッチングが正しく行えないという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、特徴ベースの画像マッチングにおいて、特徴箇所の減少を防ぐことができる画像マッチング装置及び画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えたことを特徴とする。
【００１０】
本発明は、入力画像を元に、画素を間引いて生成した複数の画像をクエリ画像群として出力する間引き画像生成手段と、クエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えたことを特徴とする。
【００１１】
本発明は、前記特徴統合手段は、前記特徴データの全てもしくは特徴要素の値に応じてその一部を選択し、選ばれた特徴データを統合結果特徴データとすることを特徴とする。
【００１２】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が所定の閾値より大きい特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする。
【００１３】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が大きい順に所定数分の特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする。
【００１４】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内で特徴要素を比較することで代表特徴データを選定し、全ての座標における選定結果を前記統合結果特徴データとすることを特徴とする。
【００１５】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内でＨｅｓｓｉａｎ値を比較することで、Ｈｅｓｓｉａｎ値が大きい特徴データを算出し、全ての座標における算出結果を前記統合結果特徴データすることを特徴とする。
【００１６】
本発明は、コンピュータを前記画像マッチング装置として機能させるための画像マッチングプログラムである。
【発明の効果】
【００１７】
本発明によれば、特徴ベースの画像マッチングにおいて、特徴箇所の減少を防ぐことができ、画像マッチングの精度向上を実現することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】間引き処理を示す説明図である。
【図４】図１に示す装置の動作を示すフローチャートである。
【図５】図１に示す装置の動作を示すフローチャートである。
【図６】図１に示す装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態における装置の動作を示すフローチャートである。
【図８】本発明の第３の実施形態の構成を示すブロック図である。
【図９】図８に示す装置の動作を示すフローチャートである。
【図１０】入力データから特徴量を抽出して保存する動作を示すフローチャートである。
【図１１】サンプリング視点群の設定方法を示す説明図である。
【図１２】サンプリング視点群の設定方法を示す説明図である。
【図１３】テクスチャデータを抽出する処理を示す説明図である。
【図１４】２次元展開画像を生成する処理を示す説明図である。
【図１５】特徴点データの一例を示す説明図である。
【図１６】ぼけの発生要因と解決策を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の一実施形態による画像マッチング装置を説明する。始めに、図１０〜図１５を参照して、被写体の３次元形状情報とテクスチャ情報から２次元展開画像を得る動作を説明する。図１０は、クエリとして入力した入力データ（３次元形状情報とテクスチャ情報）から特徴量を抽出して保存する動作を示すフローチャートである。
【００２０】
まず、ユーザが入力部を操作して、クエリとして３次元情報入力を指示すると、対象の被写体の３次元形状データとテクスチャデータを入力する（ステップＳ６１）。次に、入力した３次元形状データで定義される３次元形状の中心位置を決定する（ステップＳ６２）。中心位置は３次元形状内部であれば、任意の点で良く、中心位置の決定は例えば、３次元形状を構成する全点の３次元座標情報から重心位置（Ｘｇ，Ｙｇ，Ｚｇ）を算出し、その点を中心位置とすればよい。重心位置は（１）式によって算出する。なお、（１）式においてｎは３次元形状として記録された点の総数を示す。ｎは形状を表現するのに十分な数であればよく、この点は複雑形状であれば多く必要であり、単純形状であれば少数でよい。例えば立方体ならｎ＝８で表現できる。
【数１】
【００２１】
次に、設定した３次元形状の中心位置を中心座標とした球体を設定し、この球体を視点球とする。なお、視点球の半径は３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとする。続いて、視点球の表面上にサンプリング視点群を設定する（ステップＳ６３）。サンプリング視点群の設定方法は、図１１に示すように、ある距離毎に平行する複数の平面と、平面群に直交しかつ所定距離毎に平行する複数の平面が視点球の表面上で交わる箇所としてもよい。また、図１２に示すように、ある直交する２軸周りを、３次元形状の中心位置から角度が一定となるように配置してもよい。
【００２２】
なお、３次元形状の中心位置に対し視点球を構成する２軸は任意でよい。例えば、視点球を構成する２軸をそれぞれｓＸ軸，ｓＹ軸としたとき、ｘ軸，ｙ軸，ｚ軸で構成されるオブジェクト座標系のｘ軸とｓＸ軸を一致させ、またオブジェクト座標系のｙ軸とｓＹ軸を一致させてもよい。また部分的な３次元形状データやテクスチャデータに対して、部分的にサンプリング視点群を設定してもよい。例えば、球状にある任意の点をｓＸ軸を回転の軸として０°〜１８０°まで１°ずつ変化させ、その各々の角度にある点からｓＹ軸まわりを１回転し１°ずつサンプリング視点を設定してもよい。サンプリング視点を設定する角度は１°でなくてもよいが、小さく設定した方がサンプリング数が増え、角度を大きく設定するとサンプリング数が減る。
【００２３】
次に、サンプリング視点と３次元形状の中心位置を結ぶ線である視線を決定し（ステップＳ６４）、決定した視線と３次元形状の交点のテクスチャデータを抽出する。この時、図１３に示すように、視線と３次元形状の交点うち、サンプリング視点に近い方のテクスチャデータを抽出する。テクスチャデータとして、例えば画素のＲＧＢ値を抽出する。
【００２４】
なお、テクスチャデータは交点のテクスチャデータのみではなく、交点に隣接する数画素のテクスチャデータや、交点のデプス情報をともに抽出するようにしてもよい。また、サンプリング視点の観測の角度や、各サンプリング視点の密度を関連付けて抽出してもよい。抽出方法は、例えばコンピュータグラフィクスで使われるピッキング技術を用いることで実現する。そして、視線の決定（ステップＳ６４）と、視線と３次元形状の交点のテクスチャ情報の抽出処理（ステップＳ１５）を、全サンプリング視点数分繰り返し実行する。
【００２５】
次に、抽出したテクスチャデータ群の２次元展開画像を生成し出力する（ステップＳ６６）。２次元展開画像の縦横のサイズは、例えば図１２で示すサンプリング視点の設定において、サンプリング角度を一定としたとき、２次元展開画像の縦のピクセル数をＨ、横のピクセル数をＷとおくと、ＨとＷはそれぞれ（２）式によって算出できる。
【数２】
【００２６】
なお、（２）式において、Δｄｘ，Δｄｙはそれぞれ視点球を構成するｓＸ軸、ｓＹ軸を回転の軸としたときのサンプリング角度を示す。抽出処理結果の２次元展開画像上の位置は、図１４に示すように２次元展開画像左下を原点とし、ｓＸ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｘ毎角度が大きくなるとともに２次元展開画像のｙ軸方向に順に、またｓＹ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｙ毎回転角度が大きくなるとともにｘ軸方向に順に、それぞれ交点のテクスチャデータの抽出処理結果を展開することで実現する。
【００２７】
最後に、２次元展開画像の特徴量を抽出し（ステップＳ６７）、得られた特徴量を識別可能な特徴点番号と関係付けて記憶部に保存する（ステップＳ６８）。図１５に、記憶部に２次元展開画像の特徴量抽出結果データとして保存した特徴量データを示す。これにより、記憶部には、入力した３次元形状データとテクスチャデータとから得た２次元展開画像の特徴量が記憶されることになる。
【００２８】
しかし、図１０に示す処理動作によって、被写体の３次元形状情報とテクスチャ情報から２次元展開画像を得る場合において、部分的にぼけが発生することがある。これは図１６に示すように各仮想視点から被写体表面までの距離や被写体の形状によって、各視点から取得するテクスチャ情報が重複することによる。この問題を解決するためには２次元展開画像生成時に配置する仮想視点の間隔を調節する必要があるが、多くの被写体において各視線と物体表面が為す角度は一定では無いため、この視点間隔は一定値に設定することができない。そこで視点間隔を複数設定し、異なる視点間隔で取得した複数の２次元展開画像の特徴箇所を統合することでこのような問題を解決する方法について以下で説明する。
【００２９】
＜第１の実施形態＞
図１は本実施形態の構成を示すブロック図である。画像マッチング装置はコンピュータ装置によって構成する。図１において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００３０】
符号１１は、画像入力部２を介して入力した２次元展開画像をもとに画像を生成しクエリ画像群として保存する間引き画像生成部である。符号１２は、間引き画像生成部で保存したクエリ画像群と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部である。符号１３は特徴表現部で保存した特徴箇所の記述子のうちクエリ画像群から抽出した特徴箇所の記述子を統合して統合結果特徴データとして記憶部３に保存する特徴統合部である。符号１４はクエリ画像群の特徴データである統合結果特徴データと前記検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する照合部である。
【００３１】
次に、図２を参照して、図１に示す間引き画像生成部１１の動作を説明する。ここでは、図１０に示す処理動作によって被写体の３次元形状情報とテクスチャ情報をもとに生成した１枚の２次元展開画像を入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとする。図２は、画像入力部２から２次元展開画像を入力し、この間引き間隔でクエリ画像を複数生成する動作を示すフローチャートである。間引き間隔がａ（ａ≧０）の場合、縦（ａ＋１）×横（ａ＋１）の正方形毎に画像を分割し、この分割画素の中で同じ位置の１画素を選択し、（ａ＋１）（ａ＋１）枚の画像を生成する。入力した展開画像中の各画素（ｘ，ｙ）の、分類式（生成画像番号ｎ（ｎ：１≦ｎ≦（ａ＋１）（ａ＋１）））および分類後の生成画像中での座標値（ｘｎ，ｙｎ）は、それぞれ（３）式、（４）式を用いて求めることができる。
【数３】
画像ｎにおけるｉとｊの値をｉｎ，ｊｎとする。
【数４】
【００３２】
例えば、間引き間隔が１の場合、図３に示す通り画像を縦２×横２の正方形毎に区切り、分割された画像中で同じ位置（図３中の（１）／（２）／（３）／（４））の１画素ずつを選択していき、４枚の画像を生成する。上記（３）式、（４）式を適用すると（５）式を導くことができる。
【数５】
【００３３】
間引き間隔を複数指定した場合は、前述した画像生成処理を繰り返す。その場合、画像番号は重複を避けるため通し番号を用いる。最後に、生成された全ての画像をクエリ画像群として記憶部３に保存する。
【００３４】
なお、ここでは２次元展開画像が事前に生成されているものとし、この画像を入力し画素を間引いた画像を複数生成することで疑似的にテクスチャ情報を取得する視点間隔を変化させたクエリ画像を複数取得したが、図１０に示す処理動作によって２次元展開画像を生成する際、同時に視点間隔を変えた複数の展開画像を出力してもよい。
【００３５】
次に図４を参照して、図１に示す特徴表現部１２が間引き画像生成部１１によって記憶部３に保存したクエリ画像群と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を説明する。図４は、間引き画像生成部１１により生成し記憶部３に保存したクエリ画像群と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を示すフローチャートである。
【００３６】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１２は画像入力部２からクエリ画像群と検索対象データベース内画像を２次元画像データとして入力する（ステップＳ１１）。この２次元画像データはユーザ入力の２次元展開画像をもとに間引き画像生成部で生成したクエリ画像群と、記憶部３に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。
【００３７】
そして、特徴表現部１２は入力した２次元画像データから特徴箇所を抽出し（ステップＳ１２）、抽出した全ての特徴箇所で局所記述子を算出する（ステップＳ１３）。なお特徴抽出処理は、例えば非特許文献１に記載の方法であるHarris-Affine region、Hessian-Affine region、Difference of Gaussians（ＤＯＧ）やMaximally Stable Extremal Regions（ＭＳＥＲ）等の方法を用いて実行する。また、局所記述子は例えば非特許文献１に記載の方法であるＳＩＦＴ、ＧＬＯＨ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦやＡＳＩＦＴ等の方法を用いて実行する。ここでは以降ＳＵＲＦを用いるものとして説明する。ＳＵＲＦでは、キーポイントとスケールの検出のために、近似的にＨｅｓｓｉａｎを求めている。Ｈｅｓｓｉａｎ値はエッジの強度を表し、Ｈｅｓｓｉａｎ値が大きいことはすなわちエッジが強いことを表す。画像マッチング精度劣化の原因として示した画像上のぼけは、Ｈｅｓｓｉａｎ値を指標とすることで、発生が少ない箇所の特徴量を選択利用することが可能となる。最後に、特徴表現部１２は、２次元画像データの画像番号もしくは画像ファイル名と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けて特徴データとして記憶部３に保存する（ステップＳ１４）。
【００３８】
次に、図５を参照して、図１に示す特徴統合部１３が、特徴表現部１２によりクエリ画像群から算出して保存した特徴箇所を統合する動作を説明する。図５は、複数のクエリ画像から特徴表現部１２において算出し保存した特徴箇所を統合する動作を示すフローチャートである。まず、特徴統合部１３は、クエリ画像群から取得した特徴箇所のみ特徴データを読み出す（ステップＳ２１）。続いて、特徴統合部１３は、保存対象の選定を行う（ステップＳ２２）。保存対象の選定では、Ｈｅｓｓｉａｎ値の大きい順に特徴データをソートし、上位からユーザが設定した特徴データ数分を統合結果特徴データとして保存する。保存対象の選定をすることによって照合に用いる特徴数を制御して計算量を減らすことができるが、保存対象の選定を実施せずに全ての特徴データを保存してもよい。また保存対象の選定時に特徴データ数を設定するのではなく、Ｈｅｓｓｉａｎ値の大きさで閾値を設定しこの閾値より大きいもののみを保存対象とするのでもよい。最後に、特徴統合部１３は、保存対象に選定された特徴データについて、特徴表現部１２によって保存した全てのデータ（２次元画像データの画像番号と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けた特徴データ）を統合結果特徴データとして記憶部３に保存する（ステップＳ２３）。
【００３９】
次に、図６を参照して、図１に示す照合部１４が、クエリ画像群の特徴データである統合結果特徴データと検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する動作を説明する。図６は、照合部１４が、クエリ画像群の特徴データである統合結果特徴データと検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する動作を示すフローチャートである。
【００４０】
まず、照合部１４は、記憶部３からクエリ群の特徴データを統合した統合結果特徴データと検索対象データベース内画像の特徴データを読み出す（ステップＳ３１）。続いて、照合部１４は、読み出した統合結果特徴データと検索対象データベース内画像の特徴データとを照合する。照合は、読み出した特徴データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出し（ステップＳ３２）、検索対象データベース内画像の特徴データの中で統合結果特徴データとの距離が予め定めた閾値より小さくなる組を求め、この該当する画像に対して投票を行う（ステップＳ３３）。ここで投票対象は事前に設定した近傍数Ｋ（Ｋ≧１）分行う。また、投票は、求めた距離が事前に設定した一定の閾値以下のものに対して行ってもよいし、近傍間での距離値が一定以上の差がつくまで投票を繰り返してもよい。
【００４１】
次に、照合部１４は、統合結果特徴データの全ての特徴箇所において照合を行った結果から、投票数が最も多いものを最短距離の対象の画像であると決定し、画像ＩＤを表示部６に出力する（ステップＳ３４）。なお、ここでは特徴箇所間の対応数から投票結果を求めたが、特徴箇所間の類似度に重みづけをするため画像に対する投票時に特徴箇所間の距離が小さくなる組に対し距離値に応じた得点を投票してもよい。またベクトル間距離以外の指標を用いて類似度を算出し、その類似度に基づく得点を投票してもよい。このとき出力する画像マッチング結果は、最多得票数の画像だけでなく、投票数のランキングを出力してもよい。
【００４２】
以上説明したように、クエリ画像やクエリ画像内のオブジェクトと、検索対象データベース内画像とで画像マッチングを実施する際、クエリデータと検索対象データベース内画像の照合に用いる特徴量のデータとして、３次元被写体を展開した２次元展開画像から複数のクエリ画像を作成し、そこから抽出した特徴箇所を統合することにより、２次元展開画像上のぼけを原因とした特徴箇所の減少や特徴量の変化による対応付けの悪化を防ぐことができる。これにより画像マッチング精度向上を実現することが可能となる。
【００４３】
＜第２の実施形態＞
第１の実施形態を適用したとき、特徴統合部１３においてＨｅｓｓｉａｎ値等の特徴量に基づいた閾値により保存対象を選定すると、間引き間隔を変えた複数のクエリ画像において同じ箇所を示す画素から複数の特徴データが出力されることがあり、出力される統合結果特徴データの座標値の片寄りを招く可能性がある。正解として最終的に選ばれるべき検索対象データベース内画像が撮影された被写体の３次元的な部位は事前に分からないため、照合に利用するクエリ画像群の特徴箇所の座標値が片寄ることによって検索対象データベース内画像に写っている部位の２次元展開画像上の特徴データが失われてしまい、最終的に照合を実施する際に精度の劣化を招くことがある。また、もし保存対象の選定を行わなかった場合は、統合結果特徴データ数が大きくなるため、照合処理の計算量が大きくなるという問題がある。これらの問題を解決するため第２の実施形態では、座標値を考慮した特徴データの選定方法を適用する。
【００４４】
第２の実施形態における画像マッチング装置の構成は、図１に示す構成と同じであるので、ここでは詳細な説明を省略する。第２の実施形態における画像マッチング装置が、第１の実施形態における画像マッチング装置と異なる点は、特徴統合部１３の処理動作であるので、図７を参照して、第２の実施形態における特徴統合部１３の処理動作を説明する。図７は、特徴統合部１３が、複数のクエリ画像から特徴表現部１２で算出し保存した特徴箇所を統合する動作を示すフローチャートである。
【００４５】
まず、特徴統合部１３は、特徴表現部１２により保存した特徴データの中から、クエリ画像群の特徴データを読み出す（ステップＳ４１）。続いて、特徴統合部１３は、クエリ画像群は画像サイズが異なる画像群なので、元の２次元展開画像のサイズ（もしくは間引き間隔ａ（ａ≧０）が一番小さい画像サイズ）に合わせて元画像上の座標変換を行い、座標値を復元する（ステップＳ４２）。この時、間引き画像生成部１１により保存した座標値変換用データ（画像番号ｎとその間引き間隔ａおよびｉｎ，ｊｎ）を記憶部３より読み出し、（６）式を用いて変換後の座標値を算出する。なお、変換前の画像番号ｎにおける座標を（ｘｎ，ｙｎ）、変換後の座標を（ｘ，ｙ）とする。
【数６】
【００４６】
次に、特徴統合部１３は、調整済の前記特徴データを座標値でソートする（ステップＳ４３）。そして、ソート順にｉ番目の特徴である特徴（ｉ）とｊ番目の特徴である特徴（ｊ）の座標（それぞれ座標（ｉ）＝（ｘｉ，ｙｉ）と座標（ｊ））が一致するか否か判定する（ステップＳ４５）。このときｉ＝０よりスタートし、ｊはｉ＋１以降を示す。なお座標の一致判定を行う際は（７）式を用い、座標間の距離が事前に設定した閾値Ｒ（０≦Ｒ）より小さければ一致しているとみなす。このときＲが大きければ一致する特徴が多くなり、最終的に出力される統合結果特徴データ数は少なくなる。
【数７】
【００４７】
次に、特徴統合部１３は、一致判定の結果、特徴（ｉ）と特徴（ｊ）が（７）式を満たした場合、最大特徴である特徴（Ｍａｘ）と特徴比較を行い（ステップＳ４６）、特徴（Ｍａｘ）更新処理を実施する（ステップＳ４７）。なお特徴（Ｍａｘ）の初期値は特徴（ｉ）である（ステップＳ４４）。比較する特徴要素Ｄは特徴箇所のＨｅｓｓｉａｎ値を用いてもよい。例えば特徴（ｉ）と特徴（ｊ）のうちＨｅｓｓｉａｎ値の大きい方を特徴（ｌ）として、特徴（ｌ）のＨｅｓｓｉａｎ値を特徴要素Ｄ（ｌ）と特徴（Ｍａｘ）のＨｅｓｓｉａｎ値Ｄ（Ｍａｘ）を比較し、判別式である（８）式を満たした場合、特徴（Ｍａｘ）を特徴（ｌ）に上書き更新する。（８）式を満たさない場合特徴（Ｍａｘ）の更新は行わない。この特徴（Ｍａｘ）更新処理を、（７）式を満たさなくなるまでｊの値を１ずつ加算して繰り返し実施する（ただしｊ＜全特徴箇所）。
【数８】
【００４８】
（７）式を満たさなくなった時点での特徴（Ｍａｘ）を、一致する座標値を持つ特徴の中で最大の特徴を有する特徴として、統合結果特徴データとして保存する（ステップＳ４８）。そして引き続きｊの次の特徴から処理を実施するため、ｉ＝ｊ＋１にｉの値を更新して繰り返し処理を行う（ただしｉ＜（全特徴箇所−１））。
【００４９】
なお、図７を参照して説明した特徴統合部１３を除いた間引きが像生成部１１、特徴表現部１２及び照合部１４の処理動作は、第１の実施形態と同様であるので、ここでは詳細な説明を省略する。
【００５０】
以上説明したように第２の実施形態では、第１の実施形態と同様に２次元展開画像上のぼけを原因とした特徴箇所の減少や特徴量の変化による対応付けの悪化を防ぐことができる。その上で、第１の実施形態の問題を解消することが可能である。これにより処理速度を落とさずに画像マッチング精度向上を実現することが可能となる。
【００５１】
＜第３の実施形態＞
第１の実施例と第２の実施例は前記特願記載の方法により得た被写体の２次元展開画像上のぼけの影響を緩和する方法を説明したが、本発明の特徴統合による方法は撮影画像に適用することもできる。例えばクエリ画像を撮影するカメラから最近傍の被写体と最遠の被写体とが為す距離が、カメラの被写界深度よりも大きいとき、得られる画像は一部にしかピントが合っていないためクエリ画像中にぼけが発生する。これはＦ値の明るいレンズを使用して高速シャッターを切る必要がある場合や、極めて小さく、かつ激しい凹凸のある被写体を撮影（接写）する場合に起こりやすい事象である。ぼけの発生箇所は特徴抽出が困難であり、この困難性が招く特徴点数の減少が特徴点対応に基づく画像マッチング手法の問題点とされている。そこで第３の実施形態では焦点距離を変えた複数のクエリ画像を取得し、複数クエリ画像間で特徴箇所を統合することにより、この問題を解決する方法について説明する。
【００５２】
以下、図面を参照して、本発明の第３の実施形態による画像マッチング装置を説明する。図８は本実施形態の構成を示すブロック図である。図８に示す画像マッチング部１の構成は、図１に示す画像マッチング部１の間引き画像生成部１１を省き、画像入力部２の出力を特徴表現部１２に入力するようにした点である。図８において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００５３】
符号１２は、画像入力部２を介して入力したクエリ画像と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部である。符号１３は、特徴表現部１２で算出した特徴箇所の局所記述子を複数画像分まとめる特徴統合部である。符号１４は特徴表現部１２で算出し特徴統合部１３で統合した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する照合部である。
【００５４】
次に、図８に示す画像マッチング装置の処理動作を説明する。ここではクエリとして固定カメラから焦点を変えながら被写体を撮影した複数の２次元画像を複数入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。
【００５５】
次に、図８に示す特徴表現部１２が画像入力部２から入力したクエリ画像と、記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を説明する。図８に示す特徴表現部１２の動作は、図４に示す動作と同様であるので、ここでは簡単に説明する。
【００５６】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１２は画像入力部２から２次元画像データを入力する。この２次元画像データはユーザ入力のクエリ画像と記憶部に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。そして、特徴表現部１２は入力した画像から特徴箇所を抽出し、抽出した全ての特徴箇所で局所記述子を算出する。最後に２次元画像データの画像ファイル名と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けて特徴データとして記憶部３に保存する。
【００５７】
次に、図９を参照して、図８に示す特徴統合部１２が、特徴表現部１２で複数のクエリ画像から算出し保存した特徴箇所を統合する動作を説明する。図９は複数のクエリ画像から特徴表現部１２で算出し保存した特徴箇所を統合する動作を示すフローチャートである。まず、特徴統合部１２は、特徴表現部１２により保存した特徴データの中から、クエリ画像群の特徴データを読み出す（ステップＳ５１）。続いて、特徴統合部１２は、この特徴データを座標値でソートする（ステップＳ５２）。そして、ソート順にｉ番目の特徴である特徴（ｉ）とｊ番目の特徴である特徴（ｊ）の座標（それぞれ座標（ｉ）＝（ｘｉ，ｙｉ）と座標（ｊ））が一致するか否か判定する（ステップＳ５４）。このときｉ＝０よりスタートしｊはｉ＋１以降を示す。なお座標の一致判定を行う際は（７）式を用い、座標間の距離が事前に設定した閾値Ｒ（０≦Ｒ）より小さければ一致しているとみなす。このときＲが大きければ一致する特徴が多くなり、最終的に出力される統合結果特徴データ数は少なくなる。
【００５８】
次に、特徴統合部１３は、一致判定結果、特徴（ｉ）と特徴（ｊ）が（７）式を満たした場合、最大特徴である特徴（Ｍａｘ）と特徴比較を行い（ステップＳ５５）、特徴（Ｍａｘ）更新処理を実施する（ステップＳ５６）。なお特徴（Ｍａｘ）の初期値は特徴（ｉ）である（ステップＳ５３）。比較する特徴要素Ｄは特徴箇所のＨｅｓｓｉａｎ値を用いてもよい。例えば特徴（ｉ）と特徴（ｊ）のうちＨｅｓｓｉａｎ値の大きい方を特徴（ｌ）として、特徴（ｌ）のＨｅｓｓｉａｎ値を特徴要素Ｄ（ｌ）と特徴（Ｍａｘ）のＨｅｓｓｉａｎ値Ｄ（Ｍａｘ）を比較し、判別式である（８）式を満たした場合、特徴（Ｍａｘ）を特徴（ｌ）に上書き更新する。一方、（８）式を満たさない場合特徴（Ｍａｘ）の更新は行わない。
【００５９】
この特徴（Ｍａｘ）更新処理を、（７）式を満たさなくなるまでｊの値を１ずつ加算して繰り返し実施する（ただしｊ＜全特徴箇所）。そして、（７）式を満たさなくなった時点での特徴（Ｍａｘ）を、一致する座標値を持つ特徴の中で最大の特徴を有する特徴として、統合結果特徴データとして保存する（ステップＳ５７）。そして、引き続きｊの次の特徴から処理を実施するため、ｉ＝ｊ＋１にｉの値を更新して繰り返し処理を行う（ただしｉ＜（全特徴箇所−１））。
【００６０】
次に、図８に示す照合部１４が、特徴表現部１２で算出し特徴統合部１２で保存した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する動作を説明する。図８に示す照合部１４の動作は、図６に示す動作と同様であるので、ここでは簡単に説明する。
【００６１】
まず、照合部１４は記憶部３からクエリ群の特徴データを統合した統合結果特徴データと検索対象データベース内画像の特徴データを読み出す。続いて、照合部１４は、読み出した統合結果特徴データと検索対象データベース内画像の特徴データとを照合する。照合は、読み出した特徴データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出し、検索対象データベース内画像の特徴データの中で統合結果特徴データとの距離が予め定めた閾値より小さくなる組を求め、この該当する画像に対して投票を行う。ここで投票対象は事前に設定した近傍数Ｋ（Ｋ≧１）分行う。この距離が事前に設定した一定の閾値以下のものに対して行ってもよいし、近傍間での距離値が一定以上の差がつくまで投票を繰り返してもよい。
【００６２】
次に、照合部１４は、統合結果特徴データの全ての特徴箇所において照合を行った結果から、投票数が最も多いものを最短距離の対象の被写体であると決定し、画像ＩＤを表示部６に出力する。なお、ここでは特徴箇所間の対応数から投票結果を求めたが、特徴箇所間の類似度に重みづけをするため画像に対する投票時に特徴箇所間の距離が小さくなる組に対し距離値に応じた得点を投票してもよい。またベクトル間距離以外の指標を用いて類似度を算出し、その類似度に基づく得点を投票してもよい。
【００６３】
なお、前述した説明では複数画像から特徴を抽出しこの特徴を統合したが、複数画像から予め多焦点合成を行い疑似的に被写界深度の深い画像を取得することで、特徴箇所の減少を防ぐことも可能である。ただし多焦点合成を行う際に画像のコントラスト情報等を元に各画像から焦点の合っている部分を抽出しこの抽出箇所を合成しており、特徴箇所対応による照合を行う場合処理が冗長となる。前述した構成では画像合成およびその後再度特徴抽出を行う手間がないため、予め多焦点合成を実施するよりも高速な処理が実現可能である。
【００６４】
また、前述した特徴統合部では座標値毎に特徴を選定したが第１の実施形態で示したように、クエリ画像群の特徴データ全てを統合結果特徴データとして用いてもよい。ただしこの場合、計算量がかかるため、前述した構成では座標値毎に特徴を選定している。
【００６５】
なお、前述した全ての実施形態においてクエリ画像側で特徴箇所の統合を行ったが、検索対象データベース内画像側の処理において特徴箇所の統合を実施するようにしてもよい。
【００６６】
以上説明したように、クエリ画像やクエリ画像内のオブジェクトと、検索対象データベース内画像とで画像マッチングを実施する際、クエリデータと検索対象データベース内画像の照合に用いる特徴量のデータとして、同じ被写体を撮影した複数のクエリ画像で特徴箇所を統合することにより、抽出する特徴箇所の減少による対応付けの悪化を防ぐことができる。これにより画像マッチング精度向上を実現することが可能となる。
【００６７】
なお、図１および図８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像マッチング処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６９】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００７０】
特徴対応に基づく画像マッチング技術を用いて画像マッチングを行うことが不可欠な用途に適用できる。
【符号の説明】
【００７１】
１・・・画像マッチング部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部、１１・・・間引き画像生成部、１２・・・特徴表現部、１３・・・特徴統合部、１４・・・照合部
【技術分野】
【０００１】
本発明は、特徴対応に基づく画像マッチング技術を用いた画像マッチング装置及び画像マッチングプログラムに関する。
【背景技術】
【０００２】
近年、画像処理・コンピュータビジョン・パターン認識などの幅広い分野において、画像マッチングの研究が盛んに行われている。画像マッチングとは、ユーザによって入力された１枚のクエリ画像と、検索対象として１枚もしくは複数の画像を有するデータベースが存在するときに、この検索対象データベース内画像群からクエリ画像と同様、もしくは類似した画像を求める技術である。この画像マッチングはその閾値の設定によって、検索対象データベース内にクエリ画像と同様もしくは類似した画像が存在するか否かの判定にも利用することができる。
【０００３】
画像マッチングのアプローチは領域ベースのものと特徴ベースのものに大別される。領域ベースのマッチング手法は、２枚の画像間の相違度および類似度に基づきマッチングを行う。具体的にはクエリ画像もしくはクエリ画像中のオブジェクト部分をテンプレート画像として、検索対象データベース内の画像に対してこのテンプレート画像を少しずつずらしながら比較を行い、この処理を検索対象データベース内の全ての画像に対して行うことで画像マッチングを実現する。比較の際は例えばＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Differences）といった手法を用いてクエリ画像と検索対象データベース内画像間の相違度が最小となる画像やその位置を求める方法、もしくはＮＣＣ（Normalized Cross Correlation）やＰＯＣ（Phase-Only Correlation）といった手法を用いてクエリ画像と検索対象データベース内画像間の類似度が最大となる画像やその位置を求める方法がある（例えば、非特許文献１参照）。しかし、これらの領域ベースのアプローチは画像マッチングに要する計算時間が多くなり、また大きな画像変形に弱いといった問題がある。
【０００４】
そこで近年、特徴ベースの画像マッチング手法が盛んに研究されている。特徴ベースのマッチングは、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、局所記述子同士を比較することで実現する。具体的には、クエリ画像から取得した全ての特徴箇所に対して、検索対象データベース内の画像に含まれる特徴箇所の全てと局所記述子の比較を行い、クエリ画像の各特徴箇所の最近傍となる特徴箇所を算出し、この特徴箇所を含む検索対象データベース内画像に票を投じ、投票結果の得票数が最大となる画像をクエリ画像とのマッチング結果画像として出力する（例えば、非特許文献２参照）。
【０００５】
なお、特徴点や特徴領域の抽出にはHarris-Affine region、Hessian-Affine region,Difference of Gaussians（ＤｏＧ） region、Maximally Stable Extremal Regions（ＭＳＥＲ）といった手法があり、局所記述子としてＳＩＦＴ（Scale-Invariant Feature Transform）やＧＬＯＨ（Gradient Location-Orientation Histogram）が提案されている。また、ＳＩＦＴを改良した手法として、ＰＣＡ （Principal Component Analysis）−ＳＩＦＴ、ＳＵＲＦ（Supeeded-Up Robust Features）、ＡＳＩＦＴ（Affine-SIFT）なども提案されている（例えば、非特許文献１参照）。特徴ベースのマッチング手法は領域ベースのマッチング手法と比較して計算時間が少ないこと、さらに画像変形にロバストであることから大量の画像を対象としてマッチングするような応用に適した手法である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】伊藤康一，高橋徹，青木孝文，“高精度な画像マッチング手法の検討”，第２５回信号処理シンポジウム，Ｎｏ．Ｃ５−１，ｐｐ．５４７−５５２，２０１０．
【非特許文献２】本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特徴ベースの画像マッチング手法では、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、この局所記述子同士を比較することで実現している。そのため被写体の撮影条件や配置、被写体自体の形状によって発生する画像上のぼけや部分的な隠ぺいにより、本来抽出されるべき特徴箇所がうまく抽出できないことがある。これによって画像マッチングの結果としてふさわしい画像に対応づけられる特徴箇所数が少なくなり、画像マッチングが正しく行えないという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、特徴ベースの画像マッチングにおいて、特徴箇所の減少を防ぐことができる画像マッチング装置及び画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えたことを特徴とする。
【００１０】
本発明は、入力画像を元に、画素を間引いて生成した複数の画像をクエリ画像群として出力する間引き画像生成手段と、クエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段とを備えたことを特徴とする。
【００１１】
本発明は、前記特徴統合手段は、前記特徴データの全てもしくは特徴要素の値に応じてその一部を選択し、選ばれた特徴データを統合結果特徴データとすることを特徴とする。
【００１２】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が所定の閾値より大きい特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする。
【００１３】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が大きい順に所定数分の特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする。
【００１４】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内で特徴要素を比較することで代表特徴データを選定し、全ての座標における選定結果を前記統合結果特徴データとすることを特徴とする。
【００１５】
本発明は、前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内でＨｅｓｓｉａｎ値を比較することで、Ｈｅｓｓｉａｎ値が大きい特徴データを算出し、全ての座標における算出結果を前記統合結果特徴データすることを特徴とする。
【００１６】
本発明は、コンピュータを前記画像マッチング装置として機能させるための画像マッチングプログラムである。
【発明の効果】
【００１７】
本発明によれば、特徴ベースの画像マッチングにおいて、特徴箇所の減少を防ぐことができ、画像マッチングの精度向上を実現することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】間引き処理を示す説明図である。
【図４】図１に示す装置の動作を示すフローチャートである。
【図５】図１に示す装置の動作を示すフローチャートである。
【図６】図１に示す装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態における装置の動作を示すフローチャートである。
【図８】本発明の第３の実施形態の構成を示すブロック図である。
【図９】図８に示す装置の動作を示すフローチャートである。
【図１０】入力データから特徴量を抽出して保存する動作を示すフローチャートである。
【図１１】サンプリング視点群の設定方法を示す説明図である。
【図１２】サンプリング視点群の設定方法を示す説明図である。
【図１３】テクスチャデータを抽出する処理を示す説明図である。
【図１４】２次元展開画像を生成する処理を示す説明図である。
【図１５】特徴点データの一例を示す説明図である。
【図１６】ぼけの発生要因と解決策を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の一実施形態による画像マッチング装置を説明する。始めに、図１０〜図１５を参照して、被写体の３次元形状情報とテクスチャ情報から２次元展開画像を得る動作を説明する。図１０は、クエリとして入力した入力データ（３次元形状情報とテクスチャ情報）から特徴量を抽出して保存する動作を示すフローチャートである。
【００２０】
まず、ユーザが入力部を操作して、クエリとして３次元情報入力を指示すると、対象の被写体の３次元形状データとテクスチャデータを入力する（ステップＳ６１）。次に、入力した３次元形状データで定義される３次元形状の中心位置を決定する（ステップＳ６２）。中心位置は３次元形状内部であれば、任意の点で良く、中心位置の決定は例えば、３次元形状を構成する全点の３次元座標情報から重心位置（Ｘｇ，Ｙｇ，Ｚｇ）を算出し、その点を中心位置とすればよい。重心位置は（１）式によって算出する。なお、（１）式においてｎは３次元形状として記録された点の総数を示す。ｎは形状を表現するのに十分な数であればよく、この点は複雑形状であれば多く必要であり、単純形状であれば少数でよい。例えば立方体ならｎ＝８で表現できる。
【数１】
【００２１】
次に、設定した３次元形状の中心位置を中心座標とした球体を設定し、この球体を視点球とする。なお、視点球の半径は３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとする。続いて、視点球の表面上にサンプリング視点群を設定する（ステップＳ６３）。サンプリング視点群の設定方法は、図１１に示すように、ある距離毎に平行する複数の平面と、平面群に直交しかつ所定距離毎に平行する複数の平面が視点球の表面上で交わる箇所としてもよい。また、図１２に示すように、ある直交する２軸周りを、３次元形状の中心位置から角度が一定となるように配置してもよい。
【００２２】
なお、３次元形状の中心位置に対し視点球を構成する２軸は任意でよい。例えば、視点球を構成する２軸をそれぞれｓＸ軸，ｓＹ軸としたとき、ｘ軸，ｙ軸，ｚ軸で構成されるオブジェクト座標系のｘ軸とｓＸ軸を一致させ、またオブジェクト座標系のｙ軸とｓＹ軸を一致させてもよい。また部分的な３次元形状データやテクスチャデータに対して、部分的にサンプリング視点群を設定してもよい。例えば、球状にある任意の点をｓＸ軸を回転の軸として０°〜１８０°まで１°ずつ変化させ、その各々の角度にある点からｓＹ軸まわりを１回転し１°ずつサンプリング視点を設定してもよい。サンプリング視点を設定する角度は１°でなくてもよいが、小さく設定した方がサンプリング数が増え、角度を大きく設定するとサンプリング数が減る。
【００２３】
次に、サンプリング視点と３次元形状の中心位置を結ぶ線である視線を決定し（ステップＳ６４）、決定した視線と３次元形状の交点のテクスチャデータを抽出する。この時、図１３に示すように、視線と３次元形状の交点うち、サンプリング視点に近い方のテクスチャデータを抽出する。テクスチャデータとして、例えば画素のＲＧＢ値を抽出する。
【００２４】
なお、テクスチャデータは交点のテクスチャデータのみではなく、交点に隣接する数画素のテクスチャデータや、交点のデプス情報をともに抽出するようにしてもよい。また、サンプリング視点の観測の角度や、各サンプリング視点の密度を関連付けて抽出してもよい。抽出方法は、例えばコンピュータグラフィクスで使われるピッキング技術を用いることで実現する。そして、視線の決定（ステップＳ６４）と、視線と３次元形状の交点のテクスチャ情報の抽出処理（ステップＳ１５）を、全サンプリング視点数分繰り返し実行する。
【００２５】
次に、抽出したテクスチャデータ群の２次元展開画像を生成し出力する（ステップＳ６６）。２次元展開画像の縦横のサイズは、例えば図１２で示すサンプリング視点の設定において、サンプリング角度を一定としたとき、２次元展開画像の縦のピクセル数をＨ、横のピクセル数をＷとおくと、ＨとＷはそれぞれ（２）式によって算出できる。
【数２】
【００２６】
なお、（２）式において、Δｄｘ，Δｄｙはそれぞれ視点球を構成するｓＸ軸、ｓＹ軸を回転の軸としたときのサンプリング角度を示す。抽出処理結果の２次元展開画像上の位置は、図１４に示すように２次元展開画像左下を原点とし、ｓＸ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｘ毎角度が大きくなるとともに２次元展開画像のｙ軸方向に順に、またｓＹ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｙ毎回転角度が大きくなるとともにｘ軸方向に順に、それぞれ交点のテクスチャデータの抽出処理結果を展開することで実現する。
【００２７】
最後に、２次元展開画像の特徴量を抽出し（ステップＳ６７）、得られた特徴量を識別可能な特徴点番号と関係付けて記憶部に保存する（ステップＳ６８）。図１５に、記憶部に２次元展開画像の特徴量抽出結果データとして保存した特徴量データを示す。これにより、記憶部には、入力した３次元形状データとテクスチャデータとから得た２次元展開画像の特徴量が記憶されることになる。
【００２８】
しかし、図１０に示す処理動作によって、被写体の３次元形状情報とテクスチャ情報から２次元展開画像を得る場合において、部分的にぼけが発生することがある。これは図１６に示すように各仮想視点から被写体表面までの距離や被写体の形状によって、各視点から取得するテクスチャ情報が重複することによる。この問題を解決するためには２次元展開画像生成時に配置する仮想視点の間隔を調節する必要があるが、多くの被写体において各視線と物体表面が為す角度は一定では無いため、この視点間隔は一定値に設定することができない。そこで視点間隔を複数設定し、異なる視点間隔で取得した複数の２次元展開画像の特徴箇所を統合することでこのような問題を解決する方法について以下で説明する。
【００２９】
＜第１の実施形態＞
図１は本実施形態の構成を示すブロック図である。画像マッチング装置はコンピュータ装置によって構成する。図１において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００３０】
符号１１は、画像入力部２を介して入力した２次元展開画像をもとに画像を生成しクエリ画像群として保存する間引き画像生成部である。符号１２は、間引き画像生成部で保存したクエリ画像群と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部である。符号１３は特徴表現部で保存した特徴箇所の記述子のうちクエリ画像群から抽出した特徴箇所の記述子を統合して統合結果特徴データとして記憶部３に保存する特徴統合部である。符号１４はクエリ画像群の特徴データである統合結果特徴データと前記検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する照合部である。
【００３１】
次に、図２を参照して、図１に示す間引き画像生成部１１の動作を説明する。ここでは、図１０に示す処理動作によって被写体の３次元形状情報とテクスチャ情報をもとに生成した１枚の２次元展開画像を入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとする。図２は、画像入力部２から２次元展開画像を入力し、この間引き間隔でクエリ画像を複数生成する動作を示すフローチャートである。間引き間隔がａ（ａ≧０）の場合、縦（ａ＋１）×横（ａ＋１）の正方形毎に画像を分割し、この分割画素の中で同じ位置の１画素を選択し、（ａ＋１）（ａ＋１）枚の画像を生成する。入力した展開画像中の各画素（ｘ，ｙ）の、分類式（生成画像番号ｎ（ｎ：１≦ｎ≦（ａ＋１）（ａ＋１）））および分類後の生成画像中での座標値（ｘｎ，ｙｎ）は、それぞれ（３）式、（４）式を用いて求めることができる。
【数３】
画像ｎにおけるｉとｊの値をｉｎ，ｊｎとする。
【数４】
【００３２】
例えば、間引き間隔が１の場合、図３に示す通り画像を縦２×横２の正方形毎に区切り、分割された画像中で同じ位置（図３中の（１）／（２）／（３）／（４））の１画素ずつを選択していき、４枚の画像を生成する。上記（３）式、（４）式を適用すると（５）式を導くことができる。
【数５】
【００３３】
間引き間隔を複数指定した場合は、前述した画像生成処理を繰り返す。その場合、画像番号は重複を避けるため通し番号を用いる。最後に、生成された全ての画像をクエリ画像群として記憶部３に保存する。
【００３４】
なお、ここでは２次元展開画像が事前に生成されているものとし、この画像を入力し画素を間引いた画像を複数生成することで疑似的にテクスチャ情報を取得する視点間隔を変化させたクエリ画像を複数取得したが、図１０に示す処理動作によって２次元展開画像を生成する際、同時に視点間隔を変えた複数の展開画像を出力してもよい。
【００３５】
次に図４を参照して、図１に示す特徴表現部１２が間引き画像生成部１１によって記憶部３に保存したクエリ画像群と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を説明する。図４は、間引き画像生成部１１により生成し記憶部３に保存したクエリ画像群と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を示すフローチャートである。
【００３６】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１２は画像入力部２からクエリ画像群と検索対象データベース内画像を２次元画像データとして入力する（ステップＳ１１）。この２次元画像データはユーザ入力の２次元展開画像をもとに間引き画像生成部で生成したクエリ画像群と、記憶部３に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。
【００３７】
そして、特徴表現部１２は入力した２次元画像データから特徴箇所を抽出し（ステップＳ１２）、抽出した全ての特徴箇所で局所記述子を算出する（ステップＳ１３）。なお特徴抽出処理は、例えば非特許文献１に記載の方法であるHarris-Affine region、Hessian-Affine region、Difference of Gaussians（ＤＯＧ）やMaximally Stable Extremal Regions（ＭＳＥＲ）等の方法を用いて実行する。また、局所記述子は例えば非特許文献１に記載の方法であるＳＩＦＴ、ＧＬＯＨ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦやＡＳＩＦＴ等の方法を用いて実行する。ここでは以降ＳＵＲＦを用いるものとして説明する。ＳＵＲＦでは、キーポイントとスケールの検出のために、近似的にＨｅｓｓｉａｎを求めている。Ｈｅｓｓｉａｎ値はエッジの強度を表し、Ｈｅｓｓｉａｎ値が大きいことはすなわちエッジが強いことを表す。画像マッチング精度劣化の原因として示した画像上のぼけは、Ｈｅｓｓｉａｎ値を指標とすることで、発生が少ない箇所の特徴量を選択利用することが可能となる。最後に、特徴表現部１２は、２次元画像データの画像番号もしくは画像ファイル名と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けて特徴データとして記憶部３に保存する（ステップＳ１４）。
【００３８】
次に、図５を参照して、図１に示す特徴統合部１３が、特徴表現部１２によりクエリ画像群から算出して保存した特徴箇所を統合する動作を説明する。図５は、複数のクエリ画像から特徴表現部１２において算出し保存した特徴箇所を統合する動作を示すフローチャートである。まず、特徴統合部１３は、クエリ画像群から取得した特徴箇所のみ特徴データを読み出す（ステップＳ２１）。続いて、特徴統合部１３は、保存対象の選定を行う（ステップＳ２２）。保存対象の選定では、Ｈｅｓｓｉａｎ値の大きい順に特徴データをソートし、上位からユーザが設定した特徴データ数分を統合結果特徴データとして保存する。保存対象の選定をすることによって照合に用いる特徴数を制御して計算量を減らすことができるが、保存対象の選定を実施せずに全ての特徴データを保存してもよい。また保存対象の選定時に特徴データ数を設定するのではなく、Ｈｅｓｓｉａｎ値の大きさで閾値を設定しこの閾値より大きいもののみを保存対象とするのでもよい。最後に、特徴統合部１３は、保存対象に選定された特徴データについて、特徴表現部１２によって保存した全てのデータ（２次元画像データの画像番号と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けた特徴データ）を統合結果特徴データとして記憶部３に保存する（ステップＳ２３）。
【００３９】
次に、図６を参照して、図１に示す照合部１４が、クエリ画像群の特徴データである統合結果特徴データと検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する動作を説明する。図６は、照合部１４が、クエリ画像群の特徴データである統合結果特徴データと検索対象データベース内画像の特徴箇所間で局所記述子を比較し、投票の上画像マッチング結果を出力する動作を示すフローチャートである。
【００４０】
まず、照合部１４は、記憶部３からクエリ群の特徴データを統合した統合結果特徴データと検索対象データベース内画像の特徴データを読み出す（ステップＳ３１）。続いて、照合部１４は、読み出した統合結果特徴データと検索対象データベース内画像の特徴データとを照合する。照合は、読み出した特徴データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出し（ステップＳ３２）、検索対象データベース内画像の特徴データの中で統合結果特徴データとの距離が予め定めた閾値より小さくなる組を求め、この該当する画像に対して投票を行う（ステップＳ３３）。ここで投票対象は事前に設定した近傍数Ｋ（Ｋ≧１）分行う。また、投票は、求めた距離が事前に設定した一定の閾値以下のものに対して行ってもよいし、近傍間での距離値が一定以上の差がつくまで投票を繰り返してもよい。
【００４１】
次に、照合部１４は、統合結果特徴データの全ての特徴箇所において照合を行った結果から、投票数が最も多いものを最短距離の対象の画像であると決定し、画像ＩＤを表示部６に出力する（ステップＳ３４）。なお、ここでは特徴箇所間の対応数から投票結果を求めたが、特徴箇所間の類似度に重みづけをするため画像に対する投票時に特徴箇所間の距離が小さくなる組に対し距離値に応じた得点を投票してもよい。またベクトル間距離以外の指標を用いて類似度を算出し、その類似度に基づく得点を投票してもよい。このとき出力する画像マッチング結果は、最多得票数の画像だけでなく、投票数のランキングを出力してもよい。
【００４２】
以上説明したように、クエリ画像やクエリ画像内のオブジェクトと、検索対象データベース内画像とで画像マッチングを実施する際、クエリデータと検索対象データベース内画像の照合に用いる特徴量のデータとして、３次元被写体を展開した２次元展開画像から複数のクエリ画像を作成し、そこから抽出した特徴箇所を統合することにより、２次元展開画像上のぼけを原因とした特徴箇所の減少や特徴量の変化による対応付けの悪化を防ぐことができる。これにより画像マッチング精度向上を実現することが可能となる。
【００４３】
＜第２の実施形態＞
第１の実施形態を適用したとき、特徴統合部１３においてＨｅｓｓｉａｎ値等の特徴量に基づいた閾値により保存対象を選定すると、間引き間隔を変えた複数のクエリ画像において同じ箇所を示す画素から複数の特徴データが出力されることがあり、出力される統合結果特徴データの座標値の片寄りを招く可能性がある。正解として最終的に選ばれるべき検索対象データベース内画像が撮影された被写体の３次元的な部位は事前に分からないため、照合に利用するクエリ画像群の特徴箇所の座標値が片寄ることによって検索対象データベース内画像に写っている部位の２次元展開画像上の特徴データが失われてしまい、最終的に照合を実施する際に精度の劣化を招くことがある。また、もし保存対象の選定を行わなかった場合は、統合結果特徴データ数が大きくなるため、照合処理の計算量が大きくなるという問題がある。これらの問題を解決するため第２の実施形態では、座標値を考慮した特徴データの選定方法を適用する。
【００４４】
第２の実施形態における画像マッチング装置の構成は、図１に示す構成と同じであるので、ここでは詳細な説明を省略する。第２の実施形態における画像マッチング装置が、第１の実施形態における画像マッチング装置と異なる点は、特徴統合部１３の処理動作であるので、図７を参照して、第２の実施形態における特徴統合部１３の処理動作を説明する。図７は、特徴統合部１３が、複数のクエリ画像から特徴表現部１２で算出し保存した特徴箇所を統合する動作を示すフローチャートである。
【００４５】
まず、特徴統合部１３は、特徴表現部１２により保存した特徴データの中から、クエリ画像群の特徴データを読み出す（ステップＳ４１）。続いて、特徴統合部１３は、クエリ画像群は画像サイズが異なる画像群なので、元の２次元展開画像のサイズ（もしくは間引き間隔ａ（ａ≧０）が一番小さい画像サイズ）に合わせて元画像上の座標変換を行い、座標値を復元する（ステップＳ４２）。この時、間引き画像生成部１１により保存した座標値変換用データ（画像番号ｎとその間引き間隔ａおよびｉｎ，ｊｎ）を記憶部３より読み出し、（６）式を用いて変換後の座標値を算出する。なお、変換前の画像番号ｎにおける座標を（ｘｎ，ｙｎ）、変換後の座標を（ｘ，ｙ）とする。
【数６】
【００４６】
次に、特徴統合部１３は、調整済の前記特徴データを座標値でソートする（ステップＳ４３）。そして、ソート順にｉ番目の特徴である特徴（ｉ）とｊ番目の特徴である特徴（ｊ）の座標（それぞれ座標（ｉ）＝（ｘｉ，ｙｉ）と座標（ｊ））が一致するか否か判定する（ステップＳ４５）。このときｉ＝０よりスタートし、ｊはｉ＋１以降を示す。なお座標の一致判定を行う際は（７）式を用い、座標間の距離が事前に設定した閾値Ｒ（０≦Ｒ）より小さければ一致しているとみなす。このときＲが大きければ一致する特徴が多くなり、最終的に出力される統合結果特徴データ数は少なくなる。
【数７】
【００４７】
次に、特徴統合部１３は、一致判定の結果、特徴（ｉ）と特徴（ｊ）が（７）式を満たした場合、最大特徴である特徴（Ｍａｘ）と特徴比較を行い（ステップＳ４６）、特徴（Ｍａｘ）更新処理を実施する（ステップＳ４７）。なお特徴（Ｍａｘ）の初期値は特徴（ｉ）である（ステップＳ４４）。比較する特徴要素Ｄは特徴箇所のＨｅｓｓｉａｎ値を用いてもよい。例えば特徴（ｉ）と特徴（ｊ）のうちＨｅｓｓｉａｎ値の大きい方を特徴（ｌ）として、特徴（ｌ）のＨｅｓｓｉａｎ値を特徴要素Ｄ（ｌ）と特徴（Ｍａｘ）のＨｅｓｓｉａｎ値Ｄ（Ｍａｘ）を比較し、判別式である（８）式を満たした場合、特徴（Ｍａｘ）を特徴（ｌ）に上書き更新する。（８）式を満たさない場合特徴（Ｍａｘ）の更新は行わない。この特徴（Ｍａｘ）更新処理を、（７）式を満たさなくなるまでｊの値を１ずつ加算して繰り返し実施する（ただしｊ＜全特徴箇所）。
【数８】
【００４８】
（７）式を満たさなくなった時点での特徴（Ｍａｘ）を、一致する座標値を持つ特徴の中で最大の特徴を有する特徴として、統合結果特徴データとして保存する（ステップＳ４８）。そして引き続きｊの次の特徴から処理を実施するため、ｉ＝ｊ＋１にｉの値を更新して繰り返し処理を行う（ただしｉ＜（全特徴箇所−１））。
【００４９】
なお、図７を参照して説明した特徴統合部１３を除いた間引きが像生成部１１、特徴表現部１２及び照合部１４の処理動作は、第１の実施形態と同様であるので、ここでは詳細な説明を省略する。
【００５０】
以上説明したように第２の実施形態では、第１の実施形態と同様に２次元展開画像上のぼけを原因とした特徴箇所の減少や特徴量の変化による対応付けの悪化を防ぐことができる。その上で、第１の実施形態の問題を解消することが可能である。これにより処理速度を落とさずに画像マッチング精度向上を実現することが可能となる。
【００５１】
＜第３の実施形態＞
第１の実施例と第２の実施例は前記特願記載の方法により得た被写体の２次元展開画像上のぼけの影響を緩和する方法を説明したが、本発明の特徴統合による方法は撮影画像に適用することもできる。例えばクエリ画像を撮影するカメラから最近傍の被写体と最遠の被写体とが為す距離が、カメラの被写界深度よりも大きいとき、得られる画像は一部にしかピントが合っていないためクエリ画像中にぼけが発生する。これはＦ値の明るいレンズを使用して高速シャッターを切る必要がある場合や、極めて小さく、かつ激しい凹凸のある被写体を撮影（接写）する場合に起こりやすい事象である。ぼけの発生箇所は特徴抽出が困難であり、この困難性が招く特徴点数の減少が特徴点対応に基づく画像マッチング手法の問題点とされている。そこで第３の実施形態では焦点距離を変えた複数のクエリ画像を取得し、複数クエリ画像間で特徴箇所を統合することにより、この問題を解決する方法について説明する。
【００５２】
以下、図面を参照して、本発明の第３の実施形態による画像マッチング装置を説明する。図８は本実施形態の構成を示すブロック図である。図８に示す画像マッチング部１の構成は、図１に示す画像マッチング部１の間引き画像生成部１１を省き、画像入力部２の出力を特徴表現部１２に入力するようにした点である。図８において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００５３】
符号１２は、画像入力部２を介して入力したクエリ画像と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部である。符号１３は、特徴表現部１２で算出した特徴箇所の局所記述子を複数画像分まとめる特徴統合部である。符号１４は特徴表現部１２で算出し特徴統合部１３で統合した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する照合部である。
【００５４】
次に、図８に示す画像マッチング装置の処理動作を説明する。ここではクエリとして固定カメラから焦点を変えながら被写体を撮影した複数の２次元画像を複数入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。
【００５５】
次に、図８に示す特徴表現部１２が画像入力部２から入力したクエリ画像と、記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出しこの特徴箇所毎に局所記述子を算出し保存する動作を説明する。図８に示す特徴表現部１２の動作は、図４に示す動作と同様であるので、ここでは簡単に説明する。
【００５６】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１２は画像入力部２から２次元画像データを入力する。この２次元画像データはユーザ入力のクエリ画像と記憶部に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。そして、特徴表現部１２は入力した画像から特徴箇所を抽出し、抽出した全ての特徴箇所で局所記述子を算出する。最後に２次元画像データの画像ファイル名と、各々の画像から得られた特徴箇所の位置と局所記述子とを関連付けて特徴データとして記憶部３に保存する。
【００５７】
次に、図９を参照して、図８に示す特徴統合部１２が、特徴表現部１２で複数のクエリ画像から算出し保存した特徴箇所を統合する動作を説明する。図９は複数のクエリ画像から特徴表現部１２で算出し保存した特徴箇所を統合する動作を示すフローチャートである。まず、特徴統合部１２は、特徴表現部１２により保存した特徴データの中から、クエリ画像群の特徴データを読み出す（ステップＳ５１）。続いて、特徴統合部１２は、この特徴データを座標値でソートする（ステップＳ５２）。そして、ソート順にｉ番目の特徴である特徴（ｉ）とｊ番目の特徴である特徴（ｊ）の座標（それぞれ座標（ｉ）＝（ｘｉ，ｙｉ）と座標（ｊ））が一致するか否か判定する（ステップＳ５４）。このときｉ＝０よりスタートしｊはｉ＋１以降を示す。なお座標の一致判定を行う際は（７）式を用い、座標間の距離が事前に設定した閾値Ｒ（０≦Ｒ）より小さければ一致しているとみなす。このときＲが大きければ一致する特徴が多くなり、最終的に出力される統合結果特徴データ数は少なくなる。
【００５８】
次に、特徴統合部１３は、一致判定結果、特徴（ｉ）と特徴（ｊ）が（７）式を満たした場合、最大特徴である特徴（Ｍａｘ）と特徴比較を行い（ステップＳ５５）、特徴（Ｍａｘ）更新処理を実施する（ステップＳ５６）。なお特徴（Ｍａｘ）の初期値は特徴（ｉ）である（ステップＳ５３）。比較する特徴要素Ｄは特徴箇所のＨｅｓｓｉａｎ値を用いてもよい。例えば特徴（ｉ）と特徴（ｊ）のうちＨｅｓｓｉａｎ値の大きい方を特徴（ｌ）として、特徴（ｌ）のＨｅｓｓｉａｎ値を特徴要素Ｄ（ｌ）と特徴（Ｍａｘ）のＨｅｓｓｉａｎ値Ｄ（Ｍａｘ）を比較し、判別式である（８）式を満たした場合、特徴（Ｍａｘ）を特徴（ｌ）に上書き更新する。一方、（８）式を満たさない場合特徴（Ｍａｘ）の更新は行わない。
【００５９】
この特徴（Ｍａｘ）更新処理を、（７）式を満たさなくなるまでｊの値を１ずつ加算して繰り返し実施する（ただしｊ＜全特徴箇所）。そして、（７）式を満たさなくなった時点での特徴（Ｍａｘ）を、一致する座標値を持つ特徴の中で最大の特徴を有する特徴として、統合結果特徴データとして保存する（ステップＳ５７）。そして、引き続きｊの次の特徴から処理を実施するため、ｉ＝ｊ＋１にｉの値を更新して繰り返し処理を行う（ただしｉ＜（全特徴箇所−１））。
【００６０】
次に、図８に示す照合部１４が、特徴表現部１２で算出し特徴統合部１２で保存した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する動作を説明する。図８に示す照合部１４の動作は、図６に示す動作と同様であるので、ここでは簡単に説明する。
【００６１】
まず、照合部１４は記憶部３からクエリ群の特徴データを統合した統合結果特徴データと検索対象データベース内画像の特徴データを読み出す。続いて、照合部１４は、読み出した統合結果特徴データと検索対象データベース内画像の特徴データとを照合する。照合は、読み出した特徴データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出し、検索対象データベース内画像の特徴データの中で統合結果特徴データとの距離が予め定めた閾値より小さくなる組を求め、この該当する画像に対して投票を行う。ここで投票対象は事前に設定した近傍数Ｋ（Ｋ≧１）分行う。この距離が事前に設定した一定の閾値以下のものに対して行ってもよいし、近傍間での距離値が一定以上の差がつくまで投票を繰り返してもよい。
【００６２】
次に、照合部１４は、統合結果特徴データの全ての特徴箇所において照合を行った結果から、投票数が最も多いものを最短距離の対象の被写体であると決定し、画像ＩＤを表示部６に出力する。なお、ここでは特徴箇所間の対応数から投票結果を求めたが、特徴箇所間の類似度に重みづけをするため画像に対する投票時に特徴箇所間の距離が小さくなる組に対し距離値に応じた得点を投票してもよい。またベクトル間距離以外の指標を用いて類似度を算出し、その類似度に基づく得点を投票してもよい。
【００６３】
なお、前述した説明では複数画像から特徴を抽出しこの特徴を統合したが、複数画像から予め多焦点合成を行い疑似的に被写界深度の深い画像を取得することで、特徴箇所の減少を防ぐことも可能である。ただし多焦点合成を行う際に画像のコントラスト情報等を元に各画像から焦点の合っている部分を抽出しこの抽出箇所を合成しており、特徴箇所対応による照合を行う場合処理が冗長となる。前述した構成では画像合成およびその後再度特徴抽出を行う手間がないため、予め多焦点合成を実施するよりも高速な処理が実現可能である。
【００６４】
また、前述した特徴統合部では座標値毎に特徴を選定したが第１の実施形態で示したように、クエリ画像群の特徴データ全てを統合結果特徴データとして用いてもよい。ただしこの場合、計算量がかかるため、前述した構成では座標値毎に特徴を選定している。
【００６５】
なお、前述した全ての実施形態においてクエリ画像側で特徴箇所の統合を行ったが、検索対象データベース内画像側の処理において特徴箇所の統合を実施するようにしてもよい。
【００６６】
以上説明したように、クエリ画像やクエリ画像内のオブジェクトと、検索対象データベース内画像とで画像マッチングを実施する際、クエリデータと検索対象データベース内画像の照合に用いる特徴量のデータとして、同じ被写体を撮影した複数のクエリ画像で特徴箇所を統合することにより、抽出する特徴箇所の減少による対応付けの悪化を防ぐことができる。これにより画像マッチング精度向上を実現することが可能となる。
【００６７】
なお、図１および図８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像マッチング処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６９】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００７０】
特徴対応に基づく画像マッチング技術を用いて画像マッチングを行うことが不可欠な用途に適用できる。
【符号の説明】
【００７１】
１・・・画像マッチング部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部、１１・・・間引き画像生成部、１２・・・特徴表現部、１３・・・特徴統合部、１４・・・照合部
【特許請求の範囲】
【請求項１】
入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、
前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、
前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段と
を備えたことを特徴とする画像マッチング装置。
【請求項２】
入力画像を元に、画素を間引いて生成した複数の画像をクエリ画像群として出力する間引き画像生成手段と、
クエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、
前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、
前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段と
を備えたことを特徴とする画像マッチング装置。
【請求項３】
前記特徴統合手段は、前記特徴データの全てもしくは特徴要素の値に応じてその一部を選択し、選ばれた特徴データを統合結果特徴データとすることを特徴とする請求項１または２に記載の画像マッチング装置。
【請求項４】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が所定の閾値より大きい特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項５】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が大きい順に所定数分の特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項６】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内で特徴要素を比較することで代表特徴データを選定し、全ての座標における選定結果を前記統合結果特徴データとすることを特徴とする請求項１に記載の画像マッチング装置。
【請求項７】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内でＨｅｓｓｉａｎ値を比較することで、Ｈｅｓｓｉａｎ値が大きい特徴データを算出し、全ての座標における算出結果を前記統合結果特徴データすることを特徴とする請求項１に記載の画像マッチング装置。
【請求項８】
コンピュータを請求項１から７のいずれかに記載の画像マッチング装置として機能させるための画像マッチングプログラム。
【請求項１】
入力したクエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、
前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、
前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段と
を備えたことを特徴とする画像マッチング装置。
【請求項２】
入力画像を元に、画素を間引いて生成した複数の画像をクエリ画像群として出力する間引き画像生成手段と、
クエリ画像群と、予め保存されている検索対象画像とのそれぞれから特徴箇所を抽出し、抽出した前記特徴箇所毎に局所記述子を算出して特徴データとして出力する特徴表現手段と、
前記クエリ画像群の前記特徴データを統合し、統合結果特徴データとして出力する特徴統合手段と、
前記統合結果特徴データと、前記検索対象画像の前記特徴データとの間で各々の特徴箇所の局所記述子のベクトル間距離値に基づくスコア値を算出し、クエリ画像の特徴箇所に対応する検索対象画像のスコア値に基づきマッチング画像を出力する照合手段と
を備えたことを特徴とする画像マッチング装置。
【請求項３】
前記特徴統合手段は、前記特徴データの全てもしくは特徴要素の値に応じてその一部を選択し、選ばれた特徴データを統合結果特徴データとすることを特徴とする請求項１または２に記載の画像マッチング装置。
【請求項４】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が所定の閾値より大きい特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項５】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、Ｈｅｓｓｉａｎ値が大きい順に所定数分の特徴データを選定し、選ばれた全ての特徴データを前記統合結果特徴データとすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項６】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内で特徴要素を比較することで代表特徴データを選定し、全ての座標における選定結果を前記統合結果特徴データとすることを特徴とする請求項１に記載の画像マッチング装置。
【請求項７】
前記特徴統合手段は、前記クエリ画像群の特徴データのうち、各特徴データの特徴箇所の座標値を元画像上の座標値に変換し、座標値が一致する特徴データ内でＨｅｓｓｉａｎ値を比較することで、Ｈｅｓｓｉａｎ値が大きい特徴データを算出し、全ての座標における算出結果を前記統合結果特徴データすることを特徴とする請求項１に記載の画像マッチング装置。
【請求項８】
コンピュータを請求項１から７のいずれかに記載の画像マッチング装置として機能させるための画像マッチングプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１０１４２３（Ｐ２０１３−１０１４２３Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３６０３（Ｐ２０１１−２４３６０３）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]