画像マッチング装置及び画像マッチングプログラム
【課題】特徴ベースの画像マッチングにおいて、誤対応付けの影響を減らすことができる画像マッチング装置を提供する。
【解決手段】クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、クエリ画像と、保存画像間において、特徴表現手段により算出した特徴量からスコアを算出し、クエリ画像の特徴箇所に対応する保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段とを備えた画像マッチング装置であって、照合手段は、クエリ画像と保存画像間において特徴箇所の対応付けの確からしさを示すスコアを投票し、スコア投票結果に基づき画像マッチングを行って、クエリ画像とマッチングする保存画像を求める。
【解決手段】クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、クエリ画像と、保存画像間において、特徴表現手段により算出した特徴量からスコアを算出し、クエリ画像の特徴箇所に対応する保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段とを備えた画像マッチング装置であって、照合手段は、クエリ画像と保存画像間において特徴箇所の対応付けの確からしさを示すスコアを投票し、スコア投票結果に基づき画像マッチングを行って、クエリ画像とマッチングする保存画像を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴対応に基づく画像マッチングを行う画像マッチング装置及び画像マッチングプログラムに関する。
【背景技術】
【０００２】
近年、画像処理・コンピュータビジョン・パターン認識などの幅広い分野において、画像マッチングの研究が盛んに行われている。画像マッチングとは、ユーザによって入力された１枚のクエリ画像と、検索対象として１枚もしくは複数の画像を有するデータベースが存在するときに、検索対象データベース内画像群からクエリ画像と同様、もしくは類似した画像を求める技術である。画像マッチングはその閾値の設定によって、検索対象データベース内にクエリ画像と同様もしくは類似した画像が存在するか否かの判定にも利用することができる。
【０００３】
画像マッチングのアプローチは領域ベースのものと特徴ベースのものに大別される。領域ベースのマッチング手法は、２枚の画像間の相違度および類似度に基づきマッチングを行う。具体的にはクエリ画像もしくはクエリ画像中のオブジェクト部分をテンプレート画像として、検索対象データベース内の画像に対して該テンプレート画像を少しずつずらしながら比較を行い、この処理をすべての検索対象データベース内画像に対して行うことで画像マッチングを実現する。比較の際は例えばＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Differences）といった手法を用いてクエリ画像と検索対象データベース内画像間の相違度が最小となる画像やその位置を求める方法、もしくはＮＣＣ（Normalized Cross Correlation）やＰＯＣ（Phase-Only Correlation）といった手法を用いてクエリ画像と検索対象データベース内画像間の類似度が最大となる画像やその位置を求める方法がある（例えば、非特許文献１参照）。
【０００４】
しかし、これらの領域ベースのアプローチは画像マッチングに要する計算時間が多くなり、また大きな画像変形に弱いといった問題がある。そこで近年、特徴ベースの画像マッチング手法が盛んに研究されている。特徴ベースのマッチングは、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、局所記述子同士を比較することで実現する。具体的には、クエリ画像から取得したすべての特徴箇所に対して、検索対象データベース内の画像に含まれる特徴箇所のすべてと局所記述子の比較を行い、クエリ画像の各特徴箇所の最近傍となる特徴箇所を算出し、特徴箇所を含む検索対象データベース内画像に票を投じ、投票結果の得票数が最大となる画像をクエリ画像とのマッチング結果画像として出力する（例えば、非特許文献２参照）。
【０００５】
なお、特徴点や特徴領域の抽出にはHarris-Affine region、Hessian-Affine region, Differenceof Gaussians（ＤｏＧ） region、Maximally Stable Extremal Regions（ＭＳＥＲ）といった手法があり、局所記述子としてＳＩＦＴ （Scale-Invariant Feature Transform）やＧＬＯＨ（Gradient Location-Orientation Histogram）が提案されている。また、ＳＩＦＴを改良した手法として、ＰＣＡ（Principal Component Analysis）−ＳＩＦＴ、ＳＵＲＦ（Supeeded-Up Robust Features）、ＡＳＩＦＴ（Affine-SIFT）なども提案されている（非特許文献１参照）。これらの特徴ベースのマッチング手法は領域ベースのマッチング手法と比較して計算時間が少ないこと、さらに画像変形にロバストであることから大量の画像を対象としてマッチングするような応用に適した手法である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】伊藤康一，高橋徹，青木孝文，“高精度な画像マッチング手法の検討”，第２５回信号処理シンポジウム，Ｎｏ．Ｃ５−１，ｐｐ．５４７−５５２，２０１０．
【非特許文献２】本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、非特許文献２に記載の方法では、照合の際、各検索対象データベース内画像中に存在する特徴箇所の中で、クエリ画像の特徴箇所に対応する特徴箇所の個数を、各検索対象データベース内画像の得票数として比較している。すなわちクエリ画像の特徴箇所と対応する特徴箇所を有する検索対象データベース内画像のすべてに対して、同等の１票が対応数分投じられている。
【０００８】
このため、検索対象データベース内画像において、クエリ画像との画像マッチングの結果としてふさわしい画像以外の画像が有する特徴箇所が、クエリ画像が有する特徴箇所の最近傍として算出されるという誤対応付けが発生することがある。誤対応付けは主に、クエリ画像の特徴箇所に対する正しい対応箇所が撮影角度の変化によって存在しない、他の物体等によって隠ぺいされている、撮影環境の変化によって画像特徴が異なるなどが原因となり発生する。この誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題を解決するために、特徴ベースの画像マッチングにおいて、誤対応付けの影響を減らすことができる画像マッチング装置及び画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、前記クエリ画像と、前記保存画像間において、前記特徴表現手段により算出した前記特徴量からスコアを算出し、前記クエリ画像の前記特徴箇所に対応する前記保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段とを備えた画像マッチング装置であって、前記照合手段は、前記クエリ画像と前記保存画像間において前記特徴箇所の対応付けの確からしさを示すスコアを投票し、前記スコア投票結果に基づき前記画像マッチングを行って、前記クエリ画像とマッチングする前記保存画像を求めることを特徴とする。
【００１１】
本発明は、前記照合手段は、前記スコア投票結果を前記検索対象データベース内の前記保存画像中の特徴箇所数で正規化した値に基づき前記画像マッチングを行うことを特徴とする。
【００１２】
本発明は、前記特徴表現手段は、前記クエリ画像と、前記保存画像を画像サイズに応じて正規化してから、前記特徴箇所を抽出することを特徴とする。
【００１３】
本発明は、前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所と対応する特徴箇所のＨｅｓｓｉａｎ値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする。
【００１４】
本発明は、前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所とのベクトル間距離値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする。
【００１５】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が最短となる特徴箇所を含む前記保存画像に対してスコアを投票することを特徴とする。
【００１６】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定数の特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする。
【００１７】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定の条件を満たす特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする。
【００１８】
本発明は、コンピュータを前記の画像マッチング装置として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像マッチングの精度向上を実現できるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す特徴表現部１１の処理動作を示すフローチャートである。
【図３】本発明の第１の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【図４】本発明の第２の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【図５】本発明の第３の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像マッチング装置を説明する。図１は本実施形態の構成を示すブロック図である。画像マッチング装置はコンピュータ装置によって構成する。図１において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、カメラ等で撮影して得られた２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００２２】
符号１１は、画像入力部２を介して入力したクエリ画像と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部であり、正規化処理部１１１と特徴抽出部１１２とから構成する。符号１２は、特徴表現部１１で算出した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する照合部であり、スコア重みづけ部１２１と正規化処理部１２２とから構成する。
【００２３】
次に、図２を参照して、図１に示す画像マッチング装置の処理動作を説明する。ここではクエリとして２次元画像を入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。ここでは、図１に示す特徴表現部１１が画像入力部２から入力したクエリ画像と、記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出し、この特徴箇所ごとに局所記述子を算出し保存する動作を説明する。図２は、画像入力部２から入力したクエリ画像と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出し、この特徴箇所ごとに局所記述子を算出し保存する動作を示すフローチャートである。
【００２４】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１１は画像入力部２から２次元画像データを入力する（ステップＳ１）。入力した２次元画像データはユーザ入力のクエリ画像と記憶部３に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、正規化処理部１１１が画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。
【００２５】
次に、特徴抽出部１１２は入力した画像から特徴箇所を抽出し（ステップＳ２）、抽出したすべての特徴箇所で局所記述子を算出する（ステップＳ３）。なお特徴抽出処理は例えば非特許文献１に記載の方法であるHarris-Affine region、Hessian-Affine region、Difference of Gaussians（ＤＯＧ）やMaximally Stable Extremal Regions（ＭＳＥＲ）等の方法を用いて実行する。また局所記述子は例えば非特許文献１に記載の方法であるＳＩＦＴ、ＧＬＯＨ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦやＡＳＩＦＴ等の方法を用いて実行する。特徴抽出部１１２は、入力したすべての２次元画像データに対して特徴箇所抽出処理および局所記述子算出処理を行う。最後に２次元画像データの画像ファイル名と、各々の画像から得られた特徴箇所の局所記述子を関連付けて特徴データとして記憶部３に保存する（ステップＳ４）。
【００２６】
次に、図３を参照して図１に示す照合部１２が、特徴表現部１１が記憶部３に保存した特徴データをもとに、クエリ画像と検索対象データベース内画像間において特徴箇所の局所記述子の比較を行い、画像マッチング結果を出力する動作を説明する。図３は、クエリ画像内の特徴箇所の局所記述子を、検索対象データベース内画像中の特徴箇所の局所記述子と比較し、最近傍となる特徴箇所を有する検索対象データベース内画像に投票を行い、クエリ画像の特徴箇所の最近傍となる特徴箇所を多く有する検索対象データベース内画像を特定し、この画像や各検索対象データベース内画像の投票結果ランキングを画像マッチング結果として出力する動作を示すフローチャートである。
【００２７】
まず、照合部１２は記憶部３からクエリ画像と検索対象データベース内画像の各々から抽出した特徴箇所の局所記述子が保存されている特徴データを読み出す（ステップＳ１１）。そして、照合部１２は読み出した特徴データのうち、クエリ画像の局所記述子群と検索対象データベース内画像の局所記述子群とを比較する。比較処理ではまずクエリ画像の特徴箇所の局所記述子をベクトル表現し、クエリ特徴ベクトルとする。この処理をクエリ画像の特徴箇所すべてに対して実施し、クエリ特徴ベクトル群を算出する。同じように検索対象データベース内画像のすべての特徴箇所の局所記述子をベクトル表現し、検索対象特徴ベクトル群を算出する。
【００２８】
次に、クエリ画像のｍ番目の特徴箇所の特徴ベクトルに対して、検索対象特徴ベクトル群の各々のベクトルとのベクトル間距離を計算し（ステップＳ１２）、このベクトル間距離が最も小さくなる検索対象特徴ベクトルを探索し、この検索対象特徴ベクトルを有する検索対象データベース内画像に対して投票を行う（ステップＳ１３）。なお、ベクトル間距離は、特徴箇所の類似度の確からしさを表し、対象となる２つのｎ次ベクトルｘ＝（ｘ１，ｘ２，．．．，ｘｎ）Ｔ、ｙ＝（ｙ１，ｙ２，．．．，ｙｎ）Ｔのユークリッド距離ｄＥｍを求める（１）式によって求めることができる。
【００２９】
なお、ベクトル間距離の算出方法は、マンハッタン距離など他の公知の方法を用いてもよい。投票時は、特徴箇所の対応付けの確からしさの指標として、スコア重みづけ部１２１が、上記で求めたベクトル間距離や特徴表現部で算出した特徴箇所の特徴強度（Ｈｅｓｓｉａｎ値）等の値を用いて、スコア値を算出してもよい。この確からしさはベクトル間距離に反比例し、Ｈｅｓｓｉａｎ値に比例する。例えばクエリ画像中のｍ番目の特徴箇所において、（２）式のようにベクトル間距離値とｏｆｆｓｅｔ値を加算した値の逆数をスコア値Ｓｍとして投票する。また、このｏｆｆｓｅｔ値は、ベクトル間距離値が０のときに逆数が存在しないために設定する調整値であるため、投票に影響を与えない程度に小さい数値を設定するのが良い。例えば０．０００１を設定する。Ｈｅｓｓｉａｎ値を指標とする場合は、対応する検索対象データベース内画像中の特徴箇所のＨｅｓｓｉａｎ値そのものをスコア値としてもよい。この処理をすべてのクエリ画像の特徴箇所に対して実施する。
【数１】
【００３０】
最後に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。この正規化は各検索対象データベース内画像における特徴箇所のうち、どれだけ多くの特徴箇所がクエリ画像の特徴箇所と対応づいているかを求めるもので、最終的に特徴箇所の対応付けを行う際にこの対応付けの確からしさを向上させる効果がある。続いて合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ１４）。
【００３１】
以上説明したように照合時に、クエリ画像と検索対象データベース内画像群の特徴箇所の対応付けの後、対応付けの確からしさを重みとした投票を実施することにより、投票時に重みづけを行わない従来手法と比較し、誤対応が発生した際の影響を削減することが可能となる。
【００３２】
＜第２の実施形態＞
次に、図４を参照して、本発明の第２の実施形態による画像マッチング装置を説明する。第１の実施形態では照合時の投票処理において、検索対象特徴ベクトルの中からクエリ画像の各特徴ベクトルに対する最近傍の特徴箇所を求め、対応するベクトル間のベクトル間距離値からスコア値を算出し投票を行った。第２の実施形態以降では、投票処理においてクエリ画像の各特徴ベクトルに対して、最近傍のみならず第２近傍以降のベクトル間距離情報を用いることで、類似する複数画像を求めることができ、精度を向上させることができる画像マッチング装置について説明する。
【００３３】
まず、特徴データを読み出した（ステップＳ２１）後の照合時の投票処理において、クエリ画像の特徴箇所の特徴ベクトルに対して検索対象特徴ベクトル群の各々のベクトルとベクトル間距離を計算し（ステップＳ２２）、このベクトル間距離が小さい順に検索対象特徴ベクトルのランキングを生成する。次にこのランキングにおいて、予め設定した投票対象数Ｋ番目までに該当する検索対象特徴ベクトルを有する検索対象データベース内画像に対して投票を行う（ステップＳ２３）。投票対象数Ｋは例えば５を設定するとクエリ画像の各特徴箇所に対して、検索対象データベース内画像の特徴箇所の中で、最近傍から第５近傍となる特徴箇所にそれぞれ投票を行う。投票時はクエリ画像中のｍ番目の特徴箇所における第ｋ近傍（１≦ｋ≦５）におけるベクトル間距離をｄＥｍｋとすると、スコア値Ｓｍｋを（３）式のように前記ベクトル間距離値とｏｆｆｓｅｔ値を加算した値の逆数として算出し、該当する検索対象データベース内画像にそれぞれ投票する。なお、第２の実施形態においても、特徴箇所の対応付けの確からしさの指標として、スコア重みづけ部１２１が、上記で求めたベクトル間距離や特徴表現部で算出した特徴箇所の特徴強度（Ｈｅｓｓｉａｎ値）等の値を用いて、スコア値を算出してもよい。この投票処理をすべてのクエリ画像の特徴箇所に対して実施する。
【数２】
【００３４】
最後に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。そのあと合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ２４）。
【００３５】
以上説明したように照合時に、クエリ画像の特徴箇所に対応する検索対象データベース内画像群の特徴箇所をＫ近傍まで対応付けした後、クエリ画像の各々の特徴箇所に対してベクトル間距離値を重みとした投票をＫ近傍まで実施することにより、第１の実施形態と比較し精度向上が実現できる。特に検索対象データベース中にクエリ画像の特徴箇所と類似する特徴箇所を多く含むときに、ベクトル間距離に有意差の無い近傍間において、重みづけに差がでないような投票スコア付けをすることができ精度の向上が可能となる。
【００３６】
＜第３の実施形態＞
次に、図５を参照して、本発明の第３の実施形態による画像マッチング装置を説明する。第２の実施形態では投票対象となる近傍数Ｋを事前に指定し投票を実施した。第３の実施形態では近傍間の投票スコアに有意差が発生した時点で自動的に投票を打ち切ることで、高速かつ高精度な画像マッチングを実現する画像マッチング装置について説明する。
【００３７】
まず、特徴データを読み出した（ステップＳ３１）後の照合時の投票処理において、クエリ画像のｍ番目の特徴箇所の特徴ベクトルに対して検索対象特徴ベクトル群の各々のベクトルとベクトル間距離を計算し（ステップＳ３２）、このベクトル間距離が小さい順に検索対象データベース内画像のランキングを生成する。次に投票処理を行うが、予め設定した閾値係数をＲとしたとき、ｌ近傍の投票を判別式である（４）式を満たすか満たさないか（ステップＳ３３）によって投票処理の実施の有無を決定する。Ｒは例えば０．５に設定する。なお、Ｒの値は大きければ大きいほど投票対象数が少なくなり、小さければ小さいほど投票対象数が多くなる。この判別式を満たさない（＝０）場合は投票処理を実施し、次の近傍である（ｌ＋１）近傍における判別式にかける。判別式を満たしたら投票処理を行わず、クエリ画像の（ｍ＋１）番目の特徴箇所の特徴ベクトルに対する処理に移る。
【数３】
【００３８】
このようにしてクエリ画像の特徴箇所ごとに投票対象数を変更しながら、クエリ画像のすべての特徴箇所に対応する検索対象データベース内画像に投票を実施する（ステップＳ３４）。各投票スコアの算出方法は実施形態２と同様である。
【００３９】
最後に第２の実施形態と同様に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。そのあと合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ３５）。
【００４０】
このように、照合時において、クエリ画像と検索対象データベース内画像群の特徴箇所の対応付けの後、各々のベクトル間距離を重みとした投票を複数候補に対して実施することにより、第１の実施形態と比較し、特に検索対象データベース中にクエリ画像の特徴箇所と類似する特徴箇所を多く含むときに、有意差の無い近傍間で重みづけに差がでないような投票スコア付けすることができ精度の向上が可能となる。さらに投票対象数を固定せずクエリ画像の特徴箇所ごとに近傍間の差を確認しながら投票対票数を自動的に割り当てて実施するため、無駄な投票を防ぐことができ、第２の実施形態と比較し、高速かつ高精度な画像マッチングを実現できる。
【００４１】
なお、すべての実施形態において、図１の特徴表現部における画像サイズに応じた正規化、および照合部における各検索対象データベース内画像の合計スコア値の特徴箇所数に応じた正規化は各々実施しても実施しなくてもよい。
【００４２】
以上説明したように、画像マッチング時に投票スコア値に重みづけを行い、この投票スコア値の確からしさを向上させるために、特徴表現部１１において画像サイズに応じた正規化処理を行った後に特徴抽出を行うようにした。また照合部１２において重みづけをした対応付けの後に合計スコア値を各検索対象データベース内画像群の特徴箇所数に応じて正規化するようにした。これにより、画像マッチングの精度向上を実現することができる。
【００４３】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像マッチング処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４５】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を減縮する様に解すべきではない。また、本発明の各部の構成は、上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【産業上の利用可能性】
【００４６】
誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題を解決するために、特徴ベースの画像マッチングにおいて、誤対応付けの影響を減らすことが不可欠な用途に適用できる。
【符号の説明】
【００４７】
１・・・画像マッチング部、１１・・・特徴表現部、１１１・・・正規化処理部、１１２・・・特徴抽出部、１２・・・照合部、１２１・・・スコア重みづけ部、１２２・・・正規化処理部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部
【技術分野】
【０００１】
本発明は、特徴対応に基づく画像マッチングを行う画像マッチング装置及び画像マッチングプログラムに関する。
【背景技術】
【０００２】
近年、画像処理・コンピュータビジョン・パターン認識などの幅広い分野において、画像マッチングの研究が盛んに行われている。画像マッチングとは、ユーザによって入力された１枚のクエリ画像と、検索対象として１枚もしくは複数の画像を有するデータベースが存在するときに、検索対象データベース内画像群からクエリ画像と同様、もしくは類似した画像を求める技術である。画像マッチングはその閾値の設定によって、検索対象データベース内にクエリ画像と同様もしくは類似した画像が存在するか否かの判定にも利用することができる。
【０００３】
画像マッチングのアプローチは領域ベースのものと特徴ベースのものに大別される。領域ベースのマッチング手法は、２枚の画像間の相違度および類似度に基づきマッチングを行う。具体的にはクエリ画像もしくはクエリ画像中のオブジェクト部分をテンプレート画像として、検索対象データベース内の画像に対して該テンプレート画像を少しずつずらしながら比較を行い、この処理をすべての検索対象データベース内画像に対して行うことで画像マッチングを実現する。比較の際は例えばＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Differences）といった手法を用いてクエリ画像と検索対象データベース内画像間の相違度が最小となる画像やその位置を求める方法、もしくはＮＣＣ（Normalized Cross Correlation）やＰＯＣ（Phase-Only Correlation）といった手法を用いてクエリ画像と検索対象データベース内画像間の類似度が最大となる画像やその位置を求める方法がある（例えば、非特許文献１参照）。
【０００４】
しかし、これらの領域ベースのアプローチは画像マッチングに要する計算時間が多くなり、また大きな画像変形に弱いといった問題がある。そこで近年、特徴ベースの画像マッチング手法が盛んに研究されている。特徴ベースのマッチングは、クエリ画像と検索対象データベース内画像において、各画像からコーナーのように画素の濃淡値の変化が大きい特徴箇所（特徴点や特徴領域）を抽出し、その周囲の局所領域に対して局所記述子（特徴量）を算出し、局所記述子同士を比較することで実現する。具体的には、クエリ画像から取得したすべての特徴箇所に対して、検索対象データベース内の画像に含まれる特徴箇所のすべてと局所記述子の比較を行い、クエリ画像の各特徴箇所の最近傍となる特徴箇所を算出し、特徴箇所を含む検索対象データベース内画像に票を投じ、投票結果の得票数が最大となる画像をクエリ画像とのマッチング結果画像として出力する（例えば、非特許文献２参照）。
【０００５】
なお、特徴点や特徴領域の抽出にはHarris-Affine region、Hessian-Affine region, Differenceof Gaussians（ＤｏＧ） region、Maximally Stable Extremal Regions（ＭＳＥＲ）といった手法があり、局所記述子としてＳＩＦＴ （Scale-Invariant Feature Transform）やＧＬＯＨ（Gradient Location-Orientation Histogram）が提案されている。また、ＳＩＦＴを改良した手法として、ＰＣＡ（Principal Component Analysis）−ＳＩＦＴ、ＳＵＲＦ（Supeeded-Up Robust Features）、ＡＳＩＦＴ（Affine-SIFT）なども提案されている（非特許文献１参照）。これらの特徴ベースのマッチング手法は領域ベースのマッチング手法と比較して計算時間が少ないこと、さらに画像変形にロバストであることから大量の画像を対象としてマッチングするような応用に適した手法である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】伊藤康一，高橋徹，青木孝文，“高精度な画像マッチング手法の検討”，第２５回信号処理シンポジウム，Ｎｏ．Ｃ５−１，ｐｐ．５４７−５５２，２０１０．
【非特許文献２】本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、非特許文献２に記載の方法では、照合の際、各検索対象データベース内画像中に存在する特徴箇所の中で、クエリ画像の特徴箇所に対応する特徴箇所の個数を、各検索対象データベース内画像の得票数として比較している。すなわちクエリ画像の特徴箇所と対応する特徴箇所を有する検索対象データベース内画像のすべてに対して、同等の１票が対応数分投じられている。
【０００８】
このため、検索対象データベース内画像において、クエリ画像との画像マッチングの結果としてふさわしい画像以外の画像が有する特徴箇所が、クエリ画像が有する特徴箇所の最近傍として算出されるという誤対応付けが発生することがある。誤対応付けは主に、クエリ画像の特徴箇所に対する正しい対応箇所が撮影角度の変化によって存在しない、他の物体等によって隠ぺいされている、撮影環境の変化によって画像特徴が異なるなどが原因となり発生する。この誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題を解決するために、特徴ベースの画像マッチングにおいて、誤対応付けの影響を減らすことができる画像マッチング装置及び画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、前記クエリ画像と、前記保存画像間において、前記特徴表現手段により算出した前記特徴量からスコアを算出し、前記クエリ画像の前記特徴箇所に対応する前記保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段とを備えた画像マッチング装置であって、前記照合手段は、前記クエリ画像と前記保存画像間において前記特徴箇所の対応付けの確からしさを示すスコアを投票し、前記スコア投票結果に基づき前記画像マッチングを行って、前記クエリ画像とマッチングする前記保存画像を求めることを特徴とする。
【００１１】
本発明は、前記照合手段は、前記スコア投票結果を前記検索対象データベース内の前記保存画像中の特徴箇所数で正規化した値に基づき前記画像マッチングを行うことを特徴とする。
【００１２】
本発明は、前記特徴表現手段は、前記クエリ画像と、前記保存画像を画像サイズに応じて正規化してから、前記特徴箇所を抽出することを特徴とする。
【００１３】
本発明は、前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所と対応する特徴箇所のＨｅｓｓｉａｎ値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする。
【００１４】
本発明は、前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所とのベクトル間距離値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする。
【００１５】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が最短となる特徴箇所を含む前記保存画像に対してスコアを投票することを特徴とする。
【００１６】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定数の特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする。
【００１７】
本発明は、前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定の条件を満たす特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする。
【００１８】
本発明は、コンピュータを前記の画像マッチング装置として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像マッチングの精度向上を実現できるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す特徴表現部１１の処理動作を示すフローチャートである。
【図３】本発明の第１の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【図４】本発明の第２の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【図５】本発明の第３の実施形態における図１に示す照合部１２の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像マッチング装置を説明する。図１は本実施形態の構成を示すブロック図である。画像マッチング装置はコンピュータ装置によって構成する。図１において、符号１は画像マッチング処理を行う画像マッチング部である。符号２は、カメラ等で撮影して得られた２次元画像データを入力する画像入力部である。符号３は、画像マッチング処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００２２】
符号１１は、画像入力部２を介して入力したクエリ画像と記憶部３に予め用意してある検索対象データベース内画像の特徴箇所を抽出し、特徴箇所の局所記述子を算出する特徴表現部であり、正規化処理部１１１と特徴抽出部１１２とから構成する。符号１２は、特徴表現部１１で算出した各特徴箇所の局所記述子を、画像入力部２によって入力された画像と記憶部３に用意されている画像の特徴箇所間で比較し、投票の上画像マッチング結果を出力する照合部であり、スコア重みづけ部１２１と正規化処理部１２２とから構成する。
【００２３】
次に、図２を参照して、図１に示す画像マッチング装置の処理動作を説明する。ここではクエリとして２次元画像を入力し、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。ここでは、図１に示す特徴表現部１１が画像入力部２から入力したクエリ画像と、記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出し、この特徴箇所ごとに局所記述子を算出し保存する動作を説明する。図２は、画像入力部２から入力したクエリ画像と記憶部３に予め保存した検索対象データベース内画像から、特徴箇所を抽出し、この特徴箇所ごとに局所記述子を算出し保存する動作を示すフローチャートである。
【００２４】
まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、特徴表現部１１は画像入力部２から２次元画像データを入力する（ステップＳ１）。入力した２次元画像データはユーザ入力のクエリ画像と記憶部３に予め保存した検索対象データベース内の画像とする。なお検索対象データベース内画像の画像サイズが異なる場合は、正規化処理部１１１が画像サイズを正規化して入力する。この正規化は画像サイズによって特徴箇所検出時に検出される特徴箇所数を公平に保つ意味を持ち、最終的に特徴箇所の対応付けを行う際、この対応付けの確からしさを向上させる効果がある。
【００２５】
次に、特徴抽出部１１２は入力した画像から特徴箇所を抽出し（ステップＳ２）、抽出したすべての特徴箇所で局所記述子を算出する（ステップＳ３）。なお特徴抽出処理は例えば非特許文献１に記載の方法であるHarris-Affine region、Hessian-Affine region、Difference of Gaussians（ＤＯＧ）やMaximally Stable Extremal Regions（ＭＳＥＲ）等の方法を用いて実行する。また局所記述子は例えば非特許文献１に記載の方法であるＳＩＦＴ、ＧＬＯＨ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦやＡＳＩＦＴ等の方法を用いて実行する。特徴抽出部１１２は、入力したすべての２次元画像データに対して特徴箇所抽出処理および局所記述子算出処理を行う。最後に２次元画像データの画像ファイル名と、各々の画像から得られた特徴箇所の局所記述子を関連付けて特徴データとして記憶部３に保存する（ステップＳ４）。
【００２６】
次に、図３を参照して図１に示す照合部１２が、特徴表現部１１が記憶部３に保存した特徴データをもとに、クエリ画像と検索対象データベース内画像間において特徴箇所の局所記述子の比較を行い、画像マッチング結果を出力する動作を説明する。図３は、クエリ画像内の特徴箇所の局所記述子を、検索対象データベース内画像中の特徴箇所の局所記述子と比較し、最近傍となる特徴箇所を有する検索対象データベース内画像に投票を行い、クエリ画像の特徴箇所の最近傍となる特徴箇所を多く有する検索対象データベース内画像を特定し、この画像や各検索対象データベース内画像の投票結果ランキングを画像マッチング結果として出力する動作を示すフローチャートである。
【００２７】
まず、照合部１２は記憶部３からクエリ画像と検索対象データベース内画像の各々から抽出した特徴箇所の局所記述子が保存されている特徴データを読み出す（ステップＳ１１）。そして、照合部１２は読み出した特徴データのうち、クエリ画像の局所記述子群と検索対象データベース内画像の局所記述子群とを比較する。比較処理ではまずクエリ画像の特徴箇所の局所記述子をベクトル表現し、クエリ特徴ベクトルとする。この処理をクエリ画像の特徴箇所すべてに対して実施し、クエリ特徴ベクトル群を算出する。同じように検索対象データベース内画像のすべての特徴箇所の局所記述子をベクトル表現し、検索対象特徴ベクトル群を算出する。
【００２８】
次に、クエリ画像のｍ番目の特徴箇所の特徴ベクトルに対して、検索対象特徴ベクトル群の各々のベクトルとのベクトル間距離を計算し（ステップＳ１２）、このベクトル間距離が最も小さくなる検索対象特徴ベクトルを探索し、この検索対象特徴ベクトルを有する検索対象データベース内画像に対して投票を行う（ステップＳ１３）。なお、ベクトル間距離は、特徴箇所の類似度の確からしさを表し、対象となる２つのｎ次ベクトルｘ＝（ｘ１，ｘ２，．．．，ｘｎ）Ｔ、ｙ＝（ｙ１，ｙ２，．．．，ｙｎ）Ｔのユークリッド距離ｄＥｍを求める（１）式によって求めることができる。
【００２９】
なお、ベクトル間距離の算出方法は、マンハッタン距離など他の公知の方法を用いてもよい。投票時は、特徴箇所の対応付けの確からしさの指標として、スコア重みづけ部１２１が、上記で求めたベクトル間距離や特徴表現部で算出した特徴箇所の特徴強度（Ｈｅｓｓｉａｎ値）等の値を用いて、スコア値を算出してもよい。この確からしさはベクトル間距離に反比例し、Ｈｅｓｓｉａｎ値に比例する。例えばクエリ画像中のｍ番目の特徴箇所において、（２）式のようにベクトル間距離値とｏｆｆｓｅｔ値を加算した値の逆数をスコア値Ｓｍとして投票する。また、このｏｆｆｓｅｔ値は、ベクトル間距離値が０のときに逆数が存在しないために設定する調整値であるため、投票に影響を与えない程度に小さい数値を設定するのが良い。例えば０．０００１を設定する。Ｈｅｓｓｉａｎ値を指標とする場合は、対応する検索対象データベース内画像中の特徴箇所のＨｅｓｓｉａｎ値そのものをスコア値としてもよい。この処理をすべてのクエリ画像の特徴箇所に対して実施する。
【数１】
【００３０】
最後に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。この正規化は各検索対象データベース内画像における特徴箇所のうち、どれだけ多くの特徴箇所がクエリ画像の特徴箇所と対応づいているかを求めるもので、最終的に特徴箇所の対応付けを行う際にこの対応付けの確からしさを向上させる効果がある。続いて合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ１４）。
【００３１】
以上説明したように照合時に、クエリ画像と検索対象データベース内画像群の特徴箇所の対応付けの後、対応付けの確からしさを重みとした投票を実施することにより、投票時に重みづけを行わない従来手法と比較し、誤対応が発生した際の影響を削減することが可能となる。
【００３２】
＜第２の実施形態＞
次に、図４を参照して、本発明の第２の実施形態による画像マッチング装置を説明する。第１の実施形態では照合時の投票処理において、検索対象特徴ベクトルの中からクエリ画像の各特徴ベクトルに対する最近傍の特徴箇所を求め、対応するベクトル間のベクトル間距離値からスコア値を算出し投票を行った。第２の実施形態以降では、投票処理においてクエリ画像の各特徴ベクトルに対して、最近傍のみならず第２近傍以降のベクトル間距離情報を用いることで、類似する複数画像を求めることができ、精度を向上させることができる画像マッチング装置について説明する。
【００３３】
まず、特徴データを読み出した（ステップＳ２１）後の照合時の投票処理において、クエリ画像の特徴箇所の特徴ベクトルに対して検索対象特徴ベクトル群の各々のベクトルとベクトル間距離を計算し（ステップＳ２２）、このベクトル間距離が小さい順に検索対象特徴ベクトルのランキングを生成する。次にこのランキングにおいて、予め設定した投票対象数Ｋ番目までに該当する検索対象特徴ベクトルを有する検索対象データベース内画像に対して投票を行う（ステップＳ２３）。投票対象数Ｋは例えば５を設定するとクエリ画像の各特徴箇所に対して、検索対象データベース内画像の特徴箇所の中で、最近傍から第５近傍となる特徴箇所にそれぞれ投票を行う。投票時はクエリ画像中のｍ番目の特徴箇所における第ｋ近傍（１≦ｋ≦５）におけるベクトル間距離をｄＥｍｋとすると、スコア値Ｓｍｋを（３）式のように前記ベクトル間距離値とｏｆｆｓｅｔ値を加算した値の逆数として算出し、該当する検索対象データベース内画像にそれぞれ投票する。なお、第２の実施形態においても、特徴箇所の対応付けの確からしさの指標として、スコア重みづけ部１２１が、上記で求めたベクトル間距離や特徴表現部で算出した特徴箇所の特徴強度（Ｈｅｓｓｉａｎ値）等の値を用いて、スコア値を算出してもよい。この投票処理をすべてのクエリ画像の特徴箇所に対して実施する。
【数２】
【００３４】
最後に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。そのあと合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ２４）。
【００３５】
以上説明したように照合時に、クエリ画像の特徴箇所に対応する検索対象データベース内画像群の特徴箇所をＫ近傍まで対応付けした後、クエリ画像の各々の特徴箇所に対してベクトル間距離値を重みとした投票をＫ近傍まで実施することにより、第１の実施形態と比較し精度向上が実現できる。特に検索対象データベース中にクエリ画像の特徴箇所と類似する特徴箇所を多く含むときに、ベクトル間距離に有意差の無い近傍間において、重みづけに差がでないような投票スコア付けをすることができ精度の向上が可能となる。
【００３６】
＜第３の実施形態＞
次に、図５を参照して、本発明の第３の実施形態による画像マッチング装置を説明する。第２の実施形態では投票対象となる近傍数Ｋを事前に指定し投票を実施した。第３の実施形態では近傍間の投票スコアに有意差が発生した時点で自動的に投票を打ち切ることで、高速かつ高精度な画像マッチングを実現する画像マッチング装置について説明する。
【００３７】
まず、特徴データを読み出した（ステップＳ３１）後の照合時の投票処理において、クエリ画像のｍ番目の特徴箇所の特徴ベクトルに対して検索対象特徴ベクトル群の各々のベクトルとベクトル間距離を計算し（ステップＳ３２）、このベクトル間距離が小さい順に検索対象データベース内画像のランキングを生成する。次に投票処理を行うが、予め設定した閾値係数をＲとしたとき、ｌ近傍の投票を判別式である（４）式を満たすか満たさないか（ステップＳ３３）によって投票処理の実施の有無を決定する。Ｒは例えば０．５に設定する。なお、Ｒの値は大きければ大きいほど投票対象数が少なくなり、小さければ小さいほど投票対象数が多くなる。この判別式を満たさない（＝０）場合は投票処理を実施し、次の近傍である（ｌ＋１）近傍における判別式にかける。判別式を満たしたら投票処理を行わず、クエリ画像の（ｍ＋１）番目の特徴箇所の特徴ベクトルに対する処理に移る。
【数３】
【００３８】
このようにしてクエリ画像の特徴箇所ごとに投票対象数を変更しながら、クエリ画像のすべての特徴箇所に対応する検索対象データベース内画像に投票を実施する（ステップＳ３４）。各投票スコアの算出方法は実施形態２と同様である。
【００３９】
最後に第２の実施形態と同様に開票処理として、正規化処理部１２２が、すべての検索対象データベース内画像において合計スコア値を各画像の有する特徴箇所合計数に応じて正規化する。そのあと合計スコア値が最大となる画像を求め、もしくは合計スコア値によってランキング化し、マッチング結果として出力する（ステップＳ３５）。
【００４０】
このように、照合時において、クエリ画像と検索対象データベース内画像群の特徴箇所の対応付けの後、各々のベクトル間距離を重みとした投票を複数候補に対して実施することにより、第１の実施形態と比較し、特に検索対象データベース中にクエリ画像の特徴箇所と類似する特徴箇所を多く含むときに、有意差の無い近傍間で重みづけに差がでないような投票スコア付けすることができ精度の向上が可能となる。さらに投票対象数を固定せずクエリ画像の特徴箇所ごとに近傍間の差を確認しながら投票対票数を自動的に割り当てて実施するため、無駄な投票を防ぐことができ、第２の実施形態と比較し、高速かつ高精度な画像マッチングを実現できる。
【００４１】
なお、すべての実施形態において、図１の特徴表現部における画像サイズに応じた正規化、および照合部における各検索対象データベース内画像の合計スコア値の特徴箇所数に応じた正規化は各々実施しても実施しなくてもよい。
【００４２】
以上説明したように、画像マッチング時に投票スコア値に重みづけを行い、この投票スコア値の確からしさを向上させるために、特徴表現部１１において画像サイズに応じた正規化処理を行った後に特徴抽出を行うようにした。また照合部１２において重みづけをした対応付けの後に合計スコア値を各検索対象データベース内画像群の特徴箇所数に応じて正規化するようにした。これにより、画像マッチングの精度向上を実現することができる。
【００４３】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像マッチング処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４５】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を減縮する様に解すべきではない。また、本発明の各部の構成は、上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【産業上の利用可能性】
【００４６】
誤対応付けが多く発生すると、画像マッチングの結果としてふさわしい画像の得票数が少なくなり、画像マッチングが正しく行えないという問題を解決するために、特徴ベースの画像マッチングにおいて、誤対応付けの影響を減らすことが不可欠な用途に適用できる。
【符号の説明】
【００４７】
１・・・画像マッチング部、１１・・・特徴表現部、１１１・・・正規化処理部、１１２・・・特徴抽出部、１２・・・照合部、１２１・・・スコア重みづけ部、１２２・・・正規化処理部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部
【特許請求の範囲】
【請求項１】
クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、
前記クエリ画像と、前記保存画像間において、前記特徴表現手段により算出した前記特徴量からスコアを算出し、前記クエリ画像の前記特徴箇所に対応する前記保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段と
を備えた画像マッチング装置であって、
前記照合手段は、前記クエリ画像と前記保存画像間において前記特徴箇所の対応付けの確からしさを示すスコアを投票し、前記スコア投票結果に基づき前記画像マッチングを行って、前記クエリ画像とマッチングする前記保存画像を求めることを特徴とする画像マッチング装置。
【請求項２】
前記照合手段は、前記スコア投票結果を前記検索対象データベース内の前記保存画像中の特徴箇所数で正規化した値に基づき前記画像マッチングを行うことを特徴とする請求項１に記載の画像マッチング装置。
【請求項３】
前記特徴表現手段は、前記クエリ画像と、前記保存画像を画像サイズに応じて正規化してから、前記特徴箇所を抽出することを特徴とする請求項１または２に記載の画像マッチング装置。
【請求項４】
前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所と対応する特徴箇所のＨｅｓｓｉａｎ値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項５】
前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所とのベクトル間距離値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項６】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が最短となる特徴箇所を含む前記保存画像に対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項７】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定数の特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項８】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定の条件を満たす特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項９】
コンピュータを請求項１〜８に記載の画像マッチング装置として機能させることを特徴とする画像マッチングプログラム。
【請求項１】
クエリ画像と、検索対象データベース内に予め保存された保存画像のそれぞれから抽出した特徴箇所毎に特徴量を算出する特徴表現手段と、
前記クエリ画像と、前記保存画像間において、前記特徴表現手段により算出した前記特徴量からスコアを算出し、前記クエリ画像の前記特徴箇所に対応する前記保存画像へのスコア投票結果に基づき画像マッチングを行う照合手段と
を備えた画像マッチング装置であって、
前記照合手段は、前記クエリ画像と前記保存画像間において前記特徴箇所の対応付けの確からしさを示すスコアを投票し、前記スコア投票結果に基づき前記画像マッチングを行って、前記クエリ画像とマッチングする前記保存画像を求めることを特徴とする画像マッチング装置。
【請求項２】
前記照合手段は、前記スコア投票結果を前記検索対象データベース内の前記保存画像中の特徴箇所数で正規化した値に基づき前記画像マッチングを行うことを特徴とする請求項１に記載の画像マッチング装置。
【請求項３】
前記特徴表現手段は、前記クエリ画像と、前記保存画像を画像サイズに応じて正規化してから、前記特徴箇所を抽出することを特徴とする請求項１または２に記載の画像マッチング装置。
【請求項４】
前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所と対応する特徴箇所のＨｅｓｓｉａｎ値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項５】
前記照合手段は、前記クエリ画像とマッチングする前記保存画像を求める際に、前記検索対象データベース内の前記保存画像に対して、前記クエリ画像の特徴箇所とのベクトル間距離値に基づいたスコア投票を行うことにより前記画像マッチングすることを特徴とする請求項１から３のいずれかに記載の画像マッチング装置。
【請求項６】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が最短となる特徴箇所を含む前記保存画像に対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項７】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定数の特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項８】
前記照合手段は、前記検索対象データベース内の前記保存画像の特徴箇所の中で、前記クエリ画像の特徴箇所との前記ベクトル間距離値が小さい順から所定の条件を満たす特徴箇所を含む前記保存画像それぞれに対してスコアを投票することを特徴とする請求項５に記載の画像マッチング装置。
【請求項９】
コンピュータを請求項１〜８に記載の画像マッチング装置として機能させることを特徴とする画像マッチングプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−７３３３３（Ｐ２０１３−７３３３３Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０６４７（Ｐ２０１１−２１０６４７）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]