画像検索方法およびシステム
【課題】クエリ画像および検索対象画像の類似性を、各特徴点の局所特徴量の類似性のみならず、被写体が同一であるか否かも考慮して判定できる画像検索システムを提供する。
【解決手段】クエリ画像および各検索対象画像の特徴点の局所特徴量を比較してNベストの対応点を抽出するNベスト抽出部２と、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域のスケールおよびオリエンテーションの相違に関する分布を算出する相違分布算出部３と、相違分布に基づいて対応点候補を抽出する対応点候補抽出部４と、対応点候補およびクエリ画像の対応する特徴点の位置座標を正規化する正規化部５と、正規化された位置座標同士を比較して相対位置分布を算出する相対位置分布算出部６と、相対位置分布に基づいて対応点を抽出する対応点抽出部７と、抽出された対応点に基づいて検索対象画像を決定する類似画像決定部８とを具備した。
【解決手段】クエリ画像および各検索対象画像の特徴点の局所特徴量を比較してNベストの対応点を抽出するNベスト抽出部２と、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域のスケールおよびオリエンテーションの相違に関する分布を算出する相違分布算出部３と、相違分布に基づいて対応点候補を抽出する対応点候補抽出部４と、対応点候補およびクエリ画像の対応する特徴点の位置座標を正規化する正規化部５と、正規化された位置座標同士を比較して相対位置分布を算出する相対位置分布算出部６と、相対位置分布に基づいて対応点を抽出する対応点抽出部７と、抽出された対応点に基づいて検索対象画像を決定する類似画像決定部８とを具備した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クエリ画像に類似した画像を多数の検索対象画像の中から検索する画像検索方法およびシステムに係り、特に各画像の局所特徴量同士を比較して対応点を求め、その個数に基づいて画像間の類似性を判断する画像検索方法およびシステムに関する。
【背景技術】
【０００２】
建物など剛体の画像をロバストに検出する手法の一つとして、非特許文献１にSIFT(Scale Invariant Feature Transform)が開示されている。このSIFTでは、クエリ画像および検索対象画像の双方から予め局所特徴量が抽出され、各画像の局所特徴量間のユークリッド距離Lに基づいて最近傍探索が実行される。そして、距離の近い局所特徴量同士が対応点ペアとされ、最終的に対応点ペアの多い検索対象画像が検索結果とされる。このとき、最近傍の特徴点の対応点マッチング精度を高めるために、最も近い距離L1のみならず２番目に近い距離L2も求められ、両者の比(L1/L2：ratio of distances)が所定の閾値t以下であれば対応点とされるが、閾値tよりも大きければ対応点とされない。
【０００３】
非特許文献１では、予備実験においてt=0.85で急激な誤対応点増加が確認されたことからt=0.8としている。しかしながら、閾値tを小さな値に設定すれば、対応点の精度は高くなる傾向を示すものの、対応点ペアが少なくなるので検索精度を高くできるとは限らない。すなわち、非特許文献１では閾値tを適正値に設定することが難しかった。
【０００４】
このような技術課題に対して、特許文献１には、所定数の対応点ペアが得られるように、対応点ペアが少なければ閾値tを段階的に上げ、多ければ閾値tを段階的に下げるといったように、抽出される対応点ペアの個数に応じて閾値tを適応的に変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４０６１３号公報
【非特許文献】
【０００６】
【非特許文献１】David G. Lowe，"Distinctive image features from scale-invariant keypoints" International Journal of Computer Vision, 60, 2 (2004), pp.91-110.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の従来技術では、所定の閾値tで得られる対応点ペアが少ないと、閾値tが適応的に上昇するので対応点ペアが増える。しかしながら、もともと同一物体が画像内に含まれていないために対応点ペアが少ないクエリ画像および検索対象画像のペアについても閾値tが上げられてしまうので、本来であれば対応点ペアとされない特徴点同士までもが対応点ペアとされてしまうという問題があった。
【０００８】
また、上記の従来技術では、特徴点ごとに、その局所特徴量の類似性のみに基づいて対応点が決定されていたため、例えば建物の画像における窓やチェーン展開している店の看板のように、類似した形状の被写体がクエリ画像および検索対象画像のそれぞれに含まれていると、類似度の高い多数の特徴点が対応点として誤って抽出されてしまうという問題があった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、クエリ画像および検索対象画像の類似性を、各特徴点の局所特徴量の類似性のみならず、被写体が同一であるか否かも考慮して判定できる画像検索方法およびシステムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索システムにおいて、クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する局所特徴量抽出手段と、クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出するNベスト抽出手段と、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する相違分布算出手段と、相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する対応点候補抽出手段と、対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する正規化手段と、前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する相対位置分布算出手段と、相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する対応点抽出手段と、前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する類似画像決定手段とを具備したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特徴点の局所特徴量に基づいて対応点を抽出する際に、従来のように特徴点同士の個々の類似性に基づいて厳しい抽出条件で少数の対応点を抽出するのではなく、初めは抽出条件を緩めて多数の対応点候補を抽出し、次いで、この多数の対応点候補の局所特徴量の相対的な関係に基づいて尤度の高い対応点を抽出するようにした。したがって、建物画像の窓やチェーン展開している店の看板を含む画像のように、被写体が異なるにもかかわらず局所特徴量が類似する特徴点が数多く存在する画像同士の比較でも、これらの特徴点が対応点として誤抽出されにくくなる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画像検索システムのブロック図である。
【図２】相違分布の算出方法を模式的に示した図である。
【図３】相違分布の一例を示した図である。
【図４】対応点候補の抽出方法の一例を示した図である。
【図５】正規化および相対位置分布の算出方法を模式的に示した図である。
【図６】相対位置分布の一例を示した図である。
【図７】対応点の抽出方法の一例を示した図である。
【図８】本発明の一実施形態の動作を示したメインフローである。
【図９】対応点候補抽出処理の手順を示したフローチャートである。
【図１０】対応点抽出処理の手順を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態に係る画像検索システムの主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１４】
局所特徴量抽出部１は、クエリ画像Iqおよび多数の検索対象画像Iw(k)の各特徴点を基準にして局所特徴量fq(i)，fw(k,j)を抽出する。なお、符号kは検索対象画像の識別子である。本実施形態では、SIFTを利用して特徴点の抽出および対応付けが行われる。すなわち、局所領域の特定には、非特許文献１に開示されているDifference of Gaussian (DoG)によるスケールスペース内の極値に基づく特徴点抽出が用いられる。この特徴点抽出の結果、特徴点の位置およびその局所領域の範囲が算出され、この局所領域の特徴記述子として、輝度勾配の方向ヒストグラムが用いられる。
【００１５】
このような方向ヒストグラムは、特徴領域の各ピクセルの輝度勾配を算出し、それに重みを付けてヒストグラムを生成し、最も多いbin領域の方向を基準にして、その方向に特徴領域の回転（オリエンテーション）を行い、再度輝度方向の方向ヒストグラムを作成し、さらに前記ヒストグラムをブロックに分割し、各ブロック内で方向ヒストグラムを算出し、これを正規化してベクトル化することにより得られる。本実施形態では、ブロック内の輝度方向を８方向、対象領域内を１６分割しているため、一つの特徴記述子は８＊１６＝１２８次元となる。
【００１６】
これら特徴記述子の特徴として、局所領域の特徴を生成するのでオクルージョンに耐性があり、特徴点に対してスケールを決定するので画像サイズに不変であり、また輝度勾配に基づき画像平面内でオリエンテーションを行うので、画像平面に対する回転に不変であることなどが挙げられる。さらに、エッジ成分を利用しているので輝度変化に耐性がある。このような特徴点検出が画像の全てのピクセルに対して行われるが、ある特徴点が極値を取った場合でも特徴点として不適な場合は特徴領域から除外される。
【００１７】
本実施形態では、クエリ画像Iqの各局所特徴量fq(i)が次式(1)で表される。pq(i)は同次座標で表した特徴点の位置、op(i)は特徴点のオリエンテーション、σq(i)は特徴点が発見されたスケール、dq(i)は特徴記述子であり、符号iはクエリ画像Iqの特徴点識別子である。
【００１８】
fq(i)＝｛pq(i)，op(i), σq(i)，dq(i)｝ ・・・(1)
【００１９】
同様に、各検索対象画像Iw(k)の局所特徴量fw(k,j)は次式(2)で表される。pw(k,j)は同次座標で表した特徴点の位置、ow(k,j)は特徴点のオリエンテーション、σw(k,j)は特徴点が発見されたスケール、dw(k,j)は特徴記述子であり、符号jは検索対象画像Iw(k)の特徴点識別子である。
【００２０】
fw(k,j)＝｛pw(k,j)，ow(k,j),σw(k,j)，dw(k,j)｝ ・・・(2)
【００２１】
Nベスト抽出部２は、クエリ画像Iqの各特徴点の局所特徴量と全ての検索対象画像Iw(k)の各特徴点の局所特徴量とを比較し、抽出条件を従来技術よりも緩めて、クエリ画像Iqの特徴点ごとに、各検索対象画像Iw(k)から局所特徴量の類似度が高い上位N個の特徴点をNベスト対応点として抽出する。したがって、クエリ画像Iqにm個の特徴点が設定されていれば、(m×N)個のNベスト対応点が全ての検索対象画像Iw(k)から抽出されることになる。
【００２２】
本実施形態では、クエリ画像Iqの各特徴点について、全ての検索対象画像Iw(k)の各特徴点を対象に局所特徴量の最近傍探索を行い、検索対象画像ごとに、局所特徴量間の距離に基づいて類似度を算出する。本実施形態では、各特徴点の局所特徴量fq(i)，fw(k,j)間の類似度が、次式(3)で与えられる各特徴記述子dq(i)，dw(k,j)間のユークリッド距離Lで代表される。
【００２３】
L＝|dq(i)−dw(k,j)| ・・・(3)
【００２４】
相違分布算出部３は、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の相違に関する分布を算出する。本実施形態では、局所領域のスケール比（または差）、およびオリエンテーションの角度差（または角度比）に関する分布を算出する。本実施形態では、図２に一例を示したように、Nベスト対応点ごとに、その局所特徴量とクエリ画像Iqの対応する局所特徴量との局所領域（スケール）のサイズ比およびオリエンテーションの角度差を算出して対応付け、これを全てのNベスト対応点について実施してプロットすることにより、図３に一例を示した相違分布を算出する。
【００２５】
対応点候補抽出部４は、前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する。図４は、対応点候補の抽出方法の一例を示した図であり、本実施形態では、分布密度の最も高い位置を中心に所定の範囲内に存在するNベスト対応点が対応点候補とされ、それ以外のNベスト対応点はノイズとして除去される。
【００２６】
正規化部５は、前記対応点候補の局所特徴量、特に局所領域のサイズに基づいて、各検索対象画像およびクエリ画像の一方を他方に合わせて拡縮することで両者の位置座標を正規化する。本実施形態では、前記分布密度の最も高い位置の対応点に基づいてクエリ画像Iqのサイズと検索対象画像Iw(k)のサイズとの差を算出し、これに基づいて前記各対応点候補の位置座標が変換される。
【００２７】
相対位置分布算出部６は、前記正規化された対応点候補の位置座標とクエリ画像の対応する特徴点の位置座標との相対的な位置関係の分布を算出する。
【００２８】
図５は、前記正規化および分布算出の一例を模式的に表現した図であり、本実施形態では、正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標のX方向およびY方向に関する相対位置の差を求め、これを全ての対応点候補について実施してプロットすることにより、図６に一例を示した相対位置分布を算出する。
【００２９】
対応点抽出部７は、前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する。図７は、対応点の抽出方法の一例を示した図であり、本実施形態では、分布密度の最も高い位置を中心に所定の範囲内に存在する対応点候補が対応点とされ、それ以外の対応点候補はノイズとして除去される。また、クエリ画像Iqの各特徴点に複数の対応点が抽出されていると、最尤の対応点以外は除去される。
【００３０】
類似画像決定部８は、対応点が最も多い検索対象画像Iw(k)を抽出し、これを検索結果として出力する。あるいは更に、前記抽出された複数の対応点を利用して射影変換を行い、このうち、射影変換できた対応点の個数が最も多い検索対象画像Iw(k)を検索結果とするようにしても良い。
【００３１】
次いで、フローチャートを参照して本発明の一実施形態の動作を詳細に説明する。図８は、本発明の一実施形態の動作を示したメインフローである。
【００３２】
ステップＳ１では、局所特徴量抽出部１において、クエリ画像Iqから各特徴点を基準にした局所領域の特徴量fq(i)が抽出され、さらに全ての検索対象画像Iw(k)から各特徴点を基準にした局所領域の特徴量fw(k,j)が抽出される。ステップＳ２では、検索対象画像Iw(k)の一つが、今回の比較対照として選択される。ステップＳ３では、クエリ画像Iqの各特徴点と局所特徴量が一致または類似する検索対象画像Iw(k)の特徴点を対応点候補として抽出する対応点候補抽出処理が実行される。
【００３３】
図９は、前記ステップＳ３で実行される対応点候補抽出処理の手順を示したフローチャートであり、ステップＳ１０１では、クエリ画像Iqから抽出された多数の特徴点の中の一つの局所特徴量fq(i)が選択される。ステップＳ１０２では、今回の検索対象画像Iw(k)の全ての特徴点の局所特徴量fwとクエリ画像Iqの今回の局所特徴量fq(i)との類似度が、各特徴量間の距離（ユークリッド距離）として算出される。ステップＳ１０３では、局所特徴量の距離が近い上位N個の対応点（Nベスト対応点）が抽出される。ステップＳ１０４では、クエリ画像Iqの全ての特徴点についてNベスト対応点の抽出が完了したか否かが判定され、完了するまではステップＳ１０１へ戻って上記の各処理が繰り返される。
【００３４】
ステップＳ１０５では、抽出されたNベスト対応点の一つと、これに対応するクエリ画像Iqの特徴点とのペアが取得される。ステップＳ１０６では、前記取得されたペアの局所特徴量同士が比較され、そのサイズ比およびオリエンテーションの角度差が算出される。ステップＳ１０７では、前記図２を参照して説明したように、今回のNベスト対応点が、前記サイズ比およびオリエンテーション角度差に基づいてプロットされる。ステップＳ１０８では、全てのNベスト対応点に関してプロットが完了したか否かが判定される。完了していなければステップＳ１０５へ戻り、残りのNベスト対応点について同様の手順が繰り返される。
【００３５】
全てのNベスト対応点に関してプロットが完了して前記図３の位相分布が完成するとステップＳ１０９へ進み、分布密度の最大位置が検出される。ステップＳ１１０では、前記図４に示したように、前記最大位置から所定の範囲内のNベスト対応点が対応点候補とされ、それ以外のNベスト対応点はノイズとして破棄される。
【００３６】
図８へ戻り、ステップＳ４では、前記対応点候補の中から対応点を抽出する対応点抽出処理が実行される。図１０は、この対応点抽出処理の手順を示したフローチャートである。
【００３７】
ステップＳ２０１では、前記分布密度の最大位置の局所特徴量と、この最大位置と対応するクエリ画像Iqの特徴点の局所特徴量とが比較され、両者のスケールに基づいてクエリ画像Iqに対する検索対象画像Iw(k)の拡縮倍率が算出される。ステップＳ２０２では、クエリ画像Iqに合わせて検索対象画像Iw(k)の位置座標を正規化すべく、前記対応点候補の位置座標が前記拡縮倍率に基づいて変換される。
【００３８】
ステップＳ２０３では、対応点候補の一つに注目し、前記図５を参照して説明したように、その正規化後の位置座標と、これに対応するクエリ画像Iqの特徴点の位置座標とのズレ量が、X方向およびY方向に関して算出される。ステップＳ２０４では、前記X方向およびY方向のズレ量がプロットされる。ステップＳ２０５では、全ての対応点候補に関してプロットが完了したか否かが判定される。完了していなければステップＳ２０３へ戻り、残りの対応点候補について同様の手順が繰り返される。
【００３９】
全ての対応点候補に関してプロットが完了し、前記図６に示した相対位置分布が完成するとステップＳ２０６へ進み、前記図７に示したように、分布密度が最大となる位置を中心に所定の抽出範囲が設定される。ステップＳ２０７では、前記抽出範囲内の対応点候補が対応点とされ、それ以外の対応点候補はノイズとして破棄される。
【００４０】
図８へ戻り、ステップＳ５では、全ての検索対象画像Iw(k)に関して上記の対応点抽出処理が完了したか否かが判定される。完了していなければステップＳ２へ戻り、注目する検索対象画像Iw(k)を切り換えながら上記の各処理が繰り返される。ステップＳ６では、前記類似画像決定部８において、検索対象画像Iw(k)が前記対応点の個数でソートされ、対応点数が最多である唯一の検索対象画像、あるいは対応点数が上位の複数の検索対象画像が検索結果として出力される。
【００４１】
なお、以上のようにして抽出された対応点を用いて、検索対象画像Iw(k)ごとにクエリ画像Iqからの射影変換を実施し、射影変換行列の構築に実際に利用できた対応点の個数が最多である唯一あるいは上位の複数の検索対象画像が検索結果として出力されるようにしても良い。
【符号の説明】
【００４２】
１…局所特徴量抽出部，２…Nベスト抽出部，３…相違分布算出部，４…対応点候補抽出部，５…正規化部，６…相対位置分布算出部，７…対応点抽出部，８…類似画像決定部
【技術分野】
【０００１】
本発明は、クエリ画像に類似した画像を多数の検索対象画像の中から検索する画像検索方法およびシステムに係り、特に各画像の局所特徴量同士を比較して対応点を求め、その個数に基づいて画像間の類似性を判断する画像検索方法およびシステムに関する。
【背景技術】
【０００２】
建物など剛体の画像をロバストに検出する手法の一つとして、非特許文献１にSIFT(Scale Invariant Feature Transform)が開示されている。このSIFTでは、クエリ画像および検索対象画像の双方から予め局所特徴量が抽出され、各画像の局所特徴量間のユークリッド距離Lに基づいて最近傍探索が実行される。そして、距離の近い局所特徴量同士が対応点ペアとされ、最終的に対応点ペアの多い検索対象画像が検索結果とされる。このとき、最近傍の特徴点の対応点マッチング精度を高めるために、最も近い距離L1のみならず２番目に近い距離L2も求められ、両者の比(L1/L2：ratio of distances)が所定の閾値t以下であれば対応点とされるが、閾値tよりも大きければ対応点とされない。
【０００３】
非特許文献１では、予備実験においてt=0.85で急激な誤対応点増加が確認されたことからt=0.8としている。しかしながら、閾値tを小さな値に設定すれば、対応点の精度は高くなる傾向を示すものの、対応点ペアが少なくなるので検索精度を高くできるとは限らない。すなわち、非特許文献１では閾値tを適正値に設定することが難しかった。
【０００４】
このような技術課題に対して、特許文献１には、所定数の対応点ペアが得られるように、対応点ペアが少なければ閾値tを段階的に上げ、多ければ閾値tを段階的に下げるといったように、抽出される対応点ペアの個数に応じて閾値tを適応的に変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４０６１３号公報
【非特許文献】
【０００６】
【非特許文献１】David G. Lowe，"Distinctive image features from scale-invariant keypoints" International Journal of Computer Vision, 60, 2 (2004), pp.91-110.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の従来技術では、所定の閾値tで得られる対応点ペアが少ないと、閾値tが適応的に上昇するので対応点ペアが増える。しかしながら、もともと同一物体が画像内に含まれていないために対応点ペアが少ないクエリ画像および検索対象画像のペアについても閾値tが上げられてしまうので、本来であれば対応点ペアとされない特徴点同士までもが対応点ペアとされてしまうという問題があった。
【０００８】
また、上記の従来技術では、特徴点ごとに、その局所特徴量の類似性のみに基づいて対応点が決定されていたため、例えば建物の画像における窓やチェーン展開している店の看板のように、類似した形状の被写体がクエリ画像および検索対象画像のそれぞれに含まれていると、類似度の高い多数の特徴点が対応点として誤って抽出されてしまうという問題があった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、クエリ画像および検索対象画像の類似性を、各特徴点の局所特徴量の類似性のみならず、被写体が同一であるか否かも考慮して判定できる画像検索方法およびシステムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索システムにおいて、クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する局所特徴量抽出手段と、クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出するNベスト抽出手段と、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する相違分布算出手段と、相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する対応点候補抽出手段と、対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する正規化手段と、前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する相対位置分布算出手段と、相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する対応点抽出手段と、前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する類似画像決定手段とを具備したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特徴点の局所特徴量に基づいて対応点を抽出する際に、従来のように特徴点同士の個々の類似性に基づいて厳しい抽出条件で少数の対応点を抽出するのではなく、初めは抽出条件を緩めて多数の対応点候補を抽出し、次いで、この多数の対応点候補の局所特徴量の相対的な関係に基づいて尤度の高い対応点を抽出するようにした。したがって、建物画像の窓やチェーン展開している店の看板を含む画像のように、被写体が異なるにもかかわらず局所特徴量が類似する特徴点が数多く存在する画像同士の比較でも、これらの特徴点が対応点として誤抽出されにくくなる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画像検索システムのブロック図である。
【図２】相違分布の算出方法を模式的に示した図である。
【図３】相違分布の一例を示した図である。
【図４】対応点候補の抽出方法の一例を示した図である。
【図５】正規化および相対位置分布の算出方法を模式的に示した図である。
【図６】相対位置分布の一例を示した図である。
【図７】対応点の抽出方法の一例を示した図である。
【図８】本発明の一実施形態の動作を示したメインフローである。
【図９】対応点候補抽出処理の手順を示したフローチャートである。
【図１０】対応点抽出処理の手順を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態に係る画像検索システムの主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１４】
局所特徴量抽出部１は、クエリ画像Iqおよび多数の検索対象画像Iw(k)の各特徴点を基準にして局所特徴量fq(i)，fw(k,j)を抽出する。なお、符号kは検索対象画像の識別子である。本実施形態では、SIFTを利用して特徴点の抽出および対応付けが行われる。すなわち、局所領域の特定には、非特許文献１に開示されているDifference of Gaussian (DoG)によるスケールスペース内の極値に基づく特徴点抽出が用いられる。この特徴点抽出の結果、特徴点の位置およびその局所領域の範囲が算出され、この局所領域の特徴記述子として、輝度勾配の方向ヒストグラムが用いられる。
【００１５】
このような方向ヒストグラムは、特徴領域の各ピクセルの輝度勾配を算出し、それに重みを付けてヒストグラムを生成し、最も多いbin領域の方向を基準にして、その方向に特徴領域の回転（オリエンテーション）を行い、再度輝度方向の方向ヒストグラムを作成し、さらに前記ヒストグラムをブロックに分割し、各ブロック内で方向ヒストグラムを算出し、これを正規化してベクトル化することにより得られる。本実施形態では、ブロック内の輝度方向を８方向、対象領域内を１６分割しているため、一つの特徴記述子は８＊１６＝１２８次元となる。
【００１６】
これら特徴記述子の特徴として、局所領域の特徴を生成するのでオクルージョンに耐性があり、特徴点に対してスケールを決定するので画像サイズに不変であり、また輝度勾配に基づき画像平面内でオリエンテーションを行うので、画像平面に対する回転に不変であることなどが挙げられる。さらに、エッジ成分を利用しているので輝度変化に耐性がある。このような特徴点検出が画像の全てのピクセルに対して行われるが、ある特徴点が極値を取った場合でも特徴点として不適な場合は特徴領域から除外される。
【００１７】
本実施形態では、クエリ画像Iqの各局所特徴量fq(i)が次式(1)で表される。pq(i)は同次座標で表した特徴点の位置、op(i)は特徴点のオリエンテーション、σq(i)は特徴点が発見されたスケール、dq(i)は特徴記述子であり、符号iはクエリ画像Iqの特徴点識別子である。
【００１８】
fq(i)＝｛pq(i)，op(i), σq(i)，dq(i)｝ ・・・(1)
【００１９】
同様に、各検索対象画像Iw(k)の局所特徴量fw(k,j)は次式(2)で表される。pw(k,j)は同次座標で表した特徴点の位置、ow(k,j)は特徴点のオリエンテーション、σw(k,j)は特徴点が発見されたスケール、dw(k,j)は特徴記述子であり、符号jは検索対象画像Iw(k)の特徴点識別子である。
【００２０】
fw(k,j)＝｛pw(k,j)，ow(k,j),σw(k,j)，dw(k,j)｝ ・・・(2)
【００２１】
Nベスト抽出部２は、クエリ画像Iqの各特徴点の局所特徴量と全ての検索対象画像Iw(k)の各特徴点の局所特徴量とを比較し、抽出条件を従来技術よりも緩めて、クエリ画像Iqの特徴点ごとに、各検索対象画像Iw(k)から局所特徴量の類似度が高い上位N個の特徴点をNベスト対応点として抽出する。したがって、クエリ画像Iqにm個の特徴点が設定されていれば、(m×N)個のNベスト対応点が全ての検索対象画像Iw(k)から抽出されることになる。
【００２２】
本実施形態では、クエリ画像Iqの各特徴点について、全ての検索対象画像Iw(k)の各特徴点を対象に局所特徴量の最近傍探索を行い、検索対象画像ごとに、局所特徴量間の距離に基づいて類似度を算出する。本実施形態では、各特徴点の局所特徴量fq(i)，fw(k,j)間の類似度が、次式(3)で与えられる各特徴記述子dq(i)，dw(k,j)間のユークリッド距離Lで代表される。
【００２３】
L＝|dq(i)−dw(k,j)| ・・・(3)
【００２４】
相違分布算出部３は、Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の相違に関する分布を算出する。本実施形態では、局所領域のスケール比（または差）、およびオリエンテーションの角度差（または角度比）に関する分布を算出する。本実施形態では、図２に一例を示したように、Nベスト対応点ごとに、その局所特徴量とクエリ画像Iqの対応する局所特徴量との局所領域（スケール）のサイズ比およびオリエンテーションの角度差を算出して対応付け、これを全てのNベスト対応点について実施してプロットすることにより、図３に一例を示した相違分布を算出する。
【００２５】
対応点候補抽出部４は、前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する。図４は、対応点候補の抽出方法の一例を示した図であり、本実施形態では、分布密度の最も高い位置を中心に所定の範囲内に存在するNベスト対応点が対応点候補とされ、それ以外のNベスト対応点はノイズとして除去される。
【００２６】
正規化部５は、前記対応点候補の局所特徴量、特に局所領域のサイズに基づいて、各検索対象画像およびクエリ画像の一方を他方に合わせて拡縮することで両者の位置座標を正規化する。本実施形態では、前記分布密度の最も高い位置の対応点に基づいてクエリ画像Iqのサイズと検索対象画像Iw(k)のサイズとの差を算出し、これに基づいて前記各対応点候補の位置座標が変換される。
【００２７】
相対位置分布算出部６は、前記正規化された対応点候補の位置座標とクエリ画像の対応する特徴点の位置座標との相対的な位置関係の分布を算出する。
【００２８】
図５は、前記正規化および分布算出の一例を模式的に表現した図であり、本実施形態では、正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標のX方向およびY方向に関する相対位置の差を求め、これを全ての対応点候補について実施してプロットすることにより、図６に一例を示した相対位置分布を算出する。
【００２９】
対応点抽出部７は、前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する。図７は、対応点の抽出方法の一例を示した図であり、本実施形態では、分布密度の最も高い位置を中心に所定の範囲内に存在する対応点候補が対応点とされ、それ以外の対応点候補はノイズとして除去される。また、クエリ画像Iqの各特徴点に複数の対応点が抽出されていると、最尤の対応点以外は除去される。
【００３０】
類似画像決定部８は、対応点が最も多い検索対象画像Iw(k)を抽出し、これを検索結果として出力する。あるいは更に、前記抽出された複数の対応点を利用して射影変換を行い、このうち、射影変換できた対応点の個数が最も多い検索対象画像Iw(k)を検索結果とするようにしても良い。
【００３１】
次いで、フローチャートを参照して本発明の一実施形態の動作を詳細に説明する。図８は、本発明の一実施形態の動作を示したメインフローである。
【００３２】
ステップＳ１では、局所特徴量抽出部１において、クエリ画像Iqから各特徴点を基準にした局所領域の特徴量fq(i)が抽出され、さらに全ての検索対象画像Iw(k)から各特徴点を基準にした局所領域の特徴量fw(k,j)が抽出される。ステップＳ２では、検索対象画像Iw(k)の一つが、今回の比較対照として選択される。ステップＳ３では、クエリ画像Iqの各特徴点と局所特徴量が一致または類似する検索対象画像Iw(k)の特徴点を対応点候補として抽出する対応点候補抽出処理が実行される。
【００３３】
図９は、前記ステップＳ３で実行される対応点候補抽出処理の手順を示したフローチャートであり、ステップＳ１０１では、クエリ画像Iqから抽出された多数の特徴点の中の一つの局所特徴量fq(i)が選択される。ステップＳ１０２では、今回の検索対象画像Iw(k)の全ての特徴点の局所特徴量fwとクエリ画像Iqの今回の局所特徴量fq(i)との類似度が、各特徴量間の距離（ユークリッド距離）として算出される。ステップＳ１０３では、局所特徴量の距離が近い上位N個の対応点（Nベスト対応点）が抽出される。ステップＳ１０４では、クエリ画像Iqの全ての特徴点についてNベスト対応点の抽出が完了したか否かが判定され、完了するまではステップＳ１０１へ戻って上記の各処理が繰り返される。
【００３４】
ステップＳ１０５では、抽出されたNベスト対応点の一つと、これに対応するクエリ画像Iqの特徴点とのペアが取得される。ステップＳ１０６では、前記取得されたペアの局所特徴量同士が比較され、そのサイズ比およびオリエンテーションの角度差が算出される。ステップＳ１０７では、前記図２を参照して説明したように、今回のNベスト対応点が、前記サイズ比およびオリエンテーション角度差に基づいてプロットされる。ステップＳ１０８では、全てのNベスト対応点に関してプロットが完了したか否かが判定される。完了していなければステップＳ１０５へ戻り、残りのNベスト対応点について同様の手順が繰り返される。
【００３５】
全てのNベスト対応点に関してプロットが完了して前記図３の位相分布が完成するとステップＳ１０９へ進み、分布密度の最大位置が検出される。ステップＳ１１０では、前記図４に示したように、前記最大位置から所定の範囲内のNベスト対応点が対応点候補とされ、それ以外のNベスト対応点はノイズとして破棄される。
【００３６】
図８へ戻り、ステップＳ４では、前記対応点候補の中から対応点を抽出する対応点抽出処理が実行される。図１０は、この対応点抽出処理の手順を示したフローチャートである。
【００３７】
ステップＳ２０１では、前記分布密度の最大位置の局所特徴量と、この最大位置と対応するクエリ画像Iqの特徴点の局所特徴量とが比較され、両者のスケールに基づいてクエリ画像Iqに対する検索対象画像Iw(k)の拡縮倍率が算出される。ステップＳ２０２では、クエリ画像Iqに合わせて検索対象画像Iw(k)の位置座標を正規化すべく、前記対応点候補の位置座標が前記拡縮倍率に基づいて変換される。
【００３８】
ステップＳ２０３では、対応点候補の一つに注目し、前記図５を参照して説明したように、その正規化後の位置座標と、これに対応するクエリ画像Iqの特徴点の位置座標とのズレ量が、X方向およびY方向に関して算出される。ステップＳ２０４では、前記X方向およびY方向のズレ量がプロットされる。ステップＳ２０５では、全ての対応点候補に関してプロットが完了したか否かが判定される。完了していなければステップＳ２０３へ戻り、残りの対応点候補について同様の手順が繰り返される。
【００３９】
全ての対応点候補に関してプロットが完了し、前記図６に示した相対位置分布が完成するとステップＳ２０６へ進み、前記図７に示したように、分布密度が最大となる位置を中心に所定の抽出範囲が設定される。ステップＳ２０７では、前記抽出範囲内の対応点候補が対応点とされ、それ以外の対応点候補はノイズとして破棄される。
【００４０】
図８へ戻り、ステップＳ５では、全ての検索対象画像Iw(k)に関して上記の対応点抽出処理が完了したか否かが判定される。完了していなければステップＳ２へ戻り、注目する検索対象画像Iw(k)を切り換えながら上記の各処理が繰り返される。ステップＳ６では、前記類似画像決定部８において、検索対象画像Iw(k)が前記対応点の個数でソートされ、対応点数が最多である唯一の検索対象画像、あるいは対応点数が上位の複数の検索対象画像が検索結果として出力される。
【００４１】
なお、以上のようにして抽出された対応点を用いて、検索対象画像Iw(k)ごとにクエリ画像Iqからの射影変換を実施し、射影変換行列の構築に実際に利用できた対応点の個数が最多である唯一あるいは上位の複数の検索対象画像が検索結果として出力されるようにしても良い。
【符号の説明】
【００４２】
１…局所特徴量抽出部，２…Nベスト抽出部，３…相違分布算出部，４…対応点候補抽出部，５…正規化部，６…相対位置分布算出部，７…対応点抽出部，８…類似画像決定部
【特許請求の範囲】
【請求項１】
クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索システムにおいて、
クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する局所特徴量抽出手段と、
クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出するNベスト抽出手段と、
前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する相違分布算出手段と、
前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する対応点候補抽出手段と、
前記対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する正規化手段と、
前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する相対位置分布算出手段と、
前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する対応点抽出手段と、
前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する類似画像決定手段とを具備したことを特徴とする画像検索システム。
【請求項２】
前記相違分布算出手段は、前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域のスケールおよびオリエンテーションの相違に関する分布を算出することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記相対位置分布算出手段は、前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標のX方向およびY方向に関する位置ズレの分布を算出することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記類似画像決定手段は、前記抽出された複数の対応点に基づいて、クエリ画像と各検索対象画像との射影変換を行い、射影変換に用いられた対応点に基づいて、クエリ画像に類似した検索対象画像を決定することを特徴とする請求項１ないし３のいずれかに記載の画像検索システム。
【請求項５】
クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索方法において、
クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する手順と、
クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出する手順と、
前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する手順と、
前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する手順と、
前記対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する手順と、
前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する手順と、
前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する手順と、
前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する手順とを具備したことを特徴とする画像検索方法。
【請求項１】
クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索システムにおいて、
クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する局所特徴量抽出手段と、
クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出するNベスト抽出手段と、
前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する相違分布算出手段と、
前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する対応点候補抽出手段と、
前記対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する正規化手段と、
前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する相対位置分布算出手段と、
前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する対応点抽出手段と、
前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する類似画像決定手段とを具備したことを特徴とする画像検索システム。
【請求項２】
前記相違分布算出手段は、前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域のスケールおよびオリエンテーションの相違に関する分布を算出することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記相対位置分布算出手段は、前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標のX方向およびY方向に関する位置ズレの分布を算出することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記類似画像決定手段は、前記抽出された複数の対応点に基づいて、クエリ画像と各検索対象画像との射影変換を行い、射影変換に用いられた対応点に基づいて、クエリ画像に類似した検索対象画像を決定することを特徴とする請求項１ないし３のいずれかに記載の画像検索システム。
【請求項５】
クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索方法において、
クエリ画像および各検索対象画像の特徴点から局所特徴量を抽出する手順と、
クエリ画像および検索対象画像の各特徴点から抽出した局所特徴量を比較し、クエリ画像の特徴点ごとに、類似度が上位Nベストの対応点を抽出する手順と、
前記Nベスト対応点の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、両者の局所領域の相違に関する分布を算出する手順と、
前記相違分布に基づいて、対応点としての尤度が高い複数の対応点候補を抽出する手順と、
前記対応点候補の局所特徴量をクエリ画像の対応する特徴点の局所特徴量と比較し、各局所領域の位置座標を正規化する手順と、
前記正規化された対応点候補の位置座標をクエリ画像の対応する特徴点の位置座標と比較し、各位置座標の相対的な位置関係の分布を算出する手順と、
前記相対位置分布に基づいて、対応点としての尤度が高い複数の対応点を抽出する手順と、
前記抽出された対応点に基づいて、クエリ画像に類似した検索対象画像を決定する手順とを具備したことを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−８５０７（Ｐ２０１１−８５０７Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５１０２０（Ｐ２００９−１５１０２０）
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]