複数の画像の記述的情報を取得する方法及び装置、並びに画像マッチング方法
【課題】複数の画像の記述的情報を取得する方法及び装置並びに画像マッチング方法を提供する。
【解決手段】複数の画像の各画像に関して特徴点検出を実行して複数の特徴点が取得され、複数の画像の第０レベル記述的情報が取得される。各画像の第０レベル記述的情報は、該画像の複数の特徴点から得られる該画像の複数の第１ローカル特徴記述子と複数の画像の複数の第１ローカル特徴記述子から得られる複数の第１ビジュアルワードとに従って生成される。ｎ＝２，３，・・・，Ｋ＋１且つＫは正整数として、各画像に関して、画像分割を（ｎ−１）回実行して複数の第（ｎ−１）レベルサブ画像が取得され、第（ｎ−１）レベル記述的情報が、複数の特徴点に基づき且つそれぞれの特徴点が位置する第（ｎ−１）レベルサブ画像から得られる複数の第ｎローカル特徴記述子と複数の第ｎローカル特徴記述子から得られる複数の第ｎビジュアルワードとに従って生成される。
【解決手段】複数の画像の各画像に関して特徴点検出を実行して複数の特徴点が取得され、複数の画像の第０レベル記述的情報が取得される。各画像の第０レベル記述的情報は、該画像の複数の特徴点から得られる該画像の複数の第１ローカル特徴記述子と複数の画像の複数の第１ローカル特徴記述子から得られる複数の第１ビジュアルワードとに従って生成される。ｎ＝２，３，・・・，Ｋ＋１且つＫは正整数として、各画像に関して、画像分割を（ｎ−１）回実行して複数の第（ｎ−１）レベルサブ画像が取得され、第（ｎ−１）レベル記述的情報が、複数の特徴点に基づき且つそれぞれの特徴点が位置する第（ｎ−１）レベルサブ画像から得られる複数の第ｎローカル特徴記述子と複数の第ｎローカル特徴記述子から得られる複数の第ｎビジュアルワードとに従って生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して画像処理の分野に関し、特に、画像の記述的情報を取得する方法及び装置に関する。
【背景技術】
【０００２】
情報技術の発展に伴い、例えば画像ファイル管理、産業画像／ビデオ監視、医療画像診断などのマルチメディアアプリケーションの分野で、大規模データベースがますます見受けられるようになっている。従って、大規模データベースに関する迅速な画像検索及び画像認識が今日の重要な課題となっている。
【０００３】
“単語（ワード）バッグ（bag of words）”に基づく伝統的な画像記述方法は、この課題を達成するのに良好に機能するものとして広く適用されてきた。例えば、そのような単語バッグに基づく画像記述方法は、非特許文献１にて紹介されており、そこでは、画像の多数の局所的特徴から代表的な“ビジュアルワード（視覚語）”が抽出され、それらのビジュアルワードがその画像内で現れる頻度が、その画像を記述するために使用される。また、空間的な情報に関する特徴の記述が限られていることを解決するために、マルチレイヤ（複数層）の画像空間構造に基づく記述方法も提案されている。さらに、非特許文献２には、空間的なピラミッドの形態で画像を記述する方法が開示されている。しかしながら、これらの方法においては、各特徴点に対して１つの局所的特徴記述子が計算されるのみであり、そのため、生成されるものは静的な固定のビジュアルワードと見なし得るものであり、そのような静的ビジュアルワードは、異なる空間レイヤにある画像特徴の記述には適用可能でないことがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】C．Wallraven等、「Recognition with local features：the kernel recipe」、Proc．ICCV、2003年、第1巻、pp.257-264
【非特許文献２】K．Grauman等、「Pyramid match kernel：Discriminative classification with sets of image features」、Proc．ICCV、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術における上述の問題に鑑み、開示の技術は、複数の異なる空間レイヤで画像を正確に記述することが可能な動的単語（ダイナミックワード）バッグに基づく新たなマルチレイヤ画像記述方法を提供する。
【０００６】
開示の技術はまた、画像を柔軟にマッチングすることが可能な画像マッチング方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、複数の画像の記述的情報を取得する方法が提供される。当該方法は、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、を含む。
【０００８】
本発明の他の一態様によれば、画像マッチング方法が提供される。当該方法は、入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを含み、各画像に関する類似度の取得は、Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、前記複数の合致度の加重和に従って該類似度を取得することとを有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、本発明に係る方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される。
【０００９】
本発明の他の一態様によれば、複数の画像の記述的情報を取得する装置が提供される。当該装置は、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、を含む。
【００１０】
本発明の更なる他の一態様によれば、機械読み取り可能命令コードを有するプログラムが提供される。該命令コードは、機械によって読み取られて実行されるときに、本発明の実施形態に係る複数の画像の記述的情報を取得する方法を実行することができる。
【００１１】
本発明の更なる一態様によれば、上述のプログラムを担持した記憶媒体が提供される。
【発明の効果】
【００１２】
本発明の実施形態は、各特徴点に対して１つのローカル特徴記述子が得られるのみの伝統的な方法と異なり、各特徴点に対して一連の記述子を生成する。故に、画像を異なる複数の空間レイヤで正確に記述することができる。
【００１３】
また、粗いレイヤから精細なレイヤまでのシーケンスで画像をマッチングすることができる。そして、画像は、第ｍ−１レイヤで所定の閾値を上回る程度に別の画像と合致する場合にのみ、第ｍレイヤでマッチングされる。故に、画像のマッチングを柔軟性高く行うことができる。
【図面の簡単な説明】
【００１４】
以下の図面を参照しての本発明の実施形態の詳細な説明により、本発明の上述及びその他の目的、態様及び利点が更に明らかになるであろう。図面において、同一あるいは同様の技術的特徴若しくは構成要素は、同一あるいは類似の参照符号を用いて表記することとする。
【図１】本発明の一実施形態に係る複数の画像の記述的情報を取得する方法を示すフローチャートである。
【図２】図１に示した第ｎ取得ステップを実行する一具体例を示すフローチャートである。
【図３】画像の２レベル記述的情報を例示する模式図である。
【図４】本発明の一実施形態に係る画像マッチング方法を示すフローチャートである。
【図５】本発明の一実施形態に係る複数の画像の記述的情報を取得する装置を示す模式ブロック図である。
【図６】本発明の実施形態に係る方法及び装置が具現化され得るコンピュータを示す模式ブロック図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態を説明する。図面中の１つの図又は本発明の１つの実施形態にて説明される要素及び特徴が、１つ以上のその他の図又は実施形態にて説明される要素及び特徴と組み合わされてもよい。図面及び以下の説明において、本発明に特に関連せず且つ当業者に周知の要素及び処理については、明瞭さのため、その表示及び説明を省略することとする。
【００１６】
本発明に一実施形態において、十分な画像特徴情報を収集するため、画像は複数のレイヤに分割され、それぞれの空間レイヤでローカル画像記述子が計算され、粗いレイヤから精細なレイヤまでのそれぞれの空間レイヤに関して、それぞれのビジュアルワードが、対応するローカル特徴記述子から生成され、そして、それぞれの空間レイヤにおいて、対応するビジュアルワードから、該画像の妥当なマルチレイヤ記述子が取得される。
【００１７】
図１は、本発明の一実施形態に係る複数の画像の記述的情報を取得する方法１００を示す簡略化したフローチャートである。図１に示すように、先ず、検出ステップＳ１１０にて、複数の画像の各画像に関して特徴点検出が実行され、各画像の複数の特徴点が取得される。特徴点の数は、例えば、画像の特性や、記述的情報を用いて画像の検索及び認識を行うプロセッサの性能などに依存する。特徴点の数は、ユーザによって、メニューから、あるいは用途の要求に応じて選択されることができる。他の例では、記述的情報を取得する時間の長さがユーザの許容範囲に入るように、記述的情報を用いるプロセッサの性能に応じて、また、サンプル抽出及びテストを介して、特徴点の妥当な数が決定され得る。特徴点は、例えばハリス（Harris）のコーナー検出器やエッジ画素のサンプリングなどの周知の方法で検出することができる。
【００１８】
次に、第１取得ステップＳ１３０にて、複数の画像の第０レベルの記述的情報が取得される。具体的には、複数の画像の各画像の第０レベル記述的情報が、該画像の複数の特徴点に基づいて得られる該画像の複数のローカル特徴記述子（第１ローカル特徴記述子）と、複数の画像それぞれのローカル特徴記述子に基づいて得られるビジュアルワードのライブラリ（複数の第１ビジュアルワード）とに従って生成される。
【００１９】
一実施形態において、画像の複数の特徴点の各々に対して１つのローカル特徴記述子が計算されて、該画像の複数のローカル特徴記述子が得られる。例えば、スケール不変特徴変換（Scale Invariant Feature Transform；ＳＩＦＴ）抽出法でＳＩＦＴ特徴点を抽出し、該特徴点の形状コンテキスト記述子を計算することができる。あるいは、画像内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。そして、それぞれの画像のローカル特徴記述子がまとめられて、ビジュアルワードのライブラリが生成される。ビジュアルワードのライブラリは、例えば、ｋ平均クラスタリング法で取得することができる。例えば、画像のそれぞれの特徴点のローカル特徴記述子がｋ平均クラスタリングされ、各クラスタ中心の値が１つのビジュアルワードに対応し、ｋ個のクラスタ中心の値及び対応するビジュアルワードのシリアル番号がビジュアルワードのライブラリとして格納される。ただし、ｋは、典型的に５００から１０００の範囲の自然数である。次に、画像の複数のローカル特徴記述子が、ビジュアルワードのライブラリ内の対応するビジュアルワードにそれぞれ対応付けられ、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該画像内に現れる頻度の統計を生成することによって該画像の第０レベルの記述的情報が生成される。各画像にビジュアルワードマッピング法を適用して、該画像のそれぞれの特徴点のローカル特徴記述子を対応するビジュアルワードにマッピングすることができる。例えば、特徴点ごとに、該特徴点のローカル特徴記述子とビジュアルワードライブラリ内のそれぞれのビジュアルワードに対応するそれぞれのクラスタ中心の値との間のユークリッド距離を計算して、該特徴点を表す最小のユークリッド距離を有するビジュアルワードのシリアル番号を見出し、且つ、それぞれのビジュアルワードのシリアル番号がその画像内に現れる回数の統計を生成することで、該画像がビジュアルワードのヒストグラムを用いて記述される。
【００２０】
処理は第ｎ取得ステップＳ１５０へと進み、上記複数の画像の第（ｎ−１）レベルの記述的情報が取得される。ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である。具体的には、各画像に対して以下のステップが実行される。すなわち、該画像の（ｎ−１）回目の分割を実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する（ｎ−１）番目の分割サブステップと、該画像の第（ｎ−１）レベルの記述的情報が、該画像の複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と複数の画像の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成されるｎ番目の取得サブステップと、が実行される。ただし、該画像の第ｎローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる。
【００２１】
続いて、図２を参照して、図１の第ｎ取得ステップＳ１５０（ｎ＝２，３，・・・，Ｋ＋１）を達成する一具体例Ｓ２５０の簡略化したフローチャートを説明する。すなわち、具体例Ｓ２５０は、第２取得ステップから第（Ｋ＋１）取得ステップまでのＫステップを含む。図２に示すように、ステップＳ２５２にて、各画像は、第１グリッドレベルから第ＫグリッドレベルのＫ組のグリッド要素（サブ画像）を取得するよう、Ｋ回にわたって、一連の徐々細かくなる空間グリッドへと繰り返し分割される。分割する回数は、ユーザによって決定されてもよいし、実際の用途に従って決定されてもよい。例えば、４×４の長方形グリッド又は円形グリッドが１つの空間グリッドとして使用され得る。次に、ステップＳ２５４にて、各グリッドレベルにて、該グリッドレベルのそれぞれの画像のローカル特徴記述子を取得するため、各特徴点に対応するローカル特徴記述子が、該特徴点が位置するグリッド要素から計算される。例えば、特徴点の形状コンテキスト記述子をグリッド要素内で計算することができ、あるいは、グリッド要素内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。
【００２２】
好適な一実施形態において、第２取得ステップから第（Ｋ＋１）取得ステップまでの一部の取得ステップで、より正確に画像を記述するための、更なる特徴点を検出する追加検出ステップがステップＳ２５２の前に追加され得る。
【００２３】
処理はステップＳ２５６へと進み、同じグリッドレベルの全ての画像のローカル特徴記述子をクラスタ化（集合化；例えば、ｋ平均クラスタリングなど）し、該グリッドレベルのビジュアルワードのライブラリを生成する。故に、異なるグリッドレベルでは異なるビジュアルワードのライブラリが存在する。
【００２４】
そして、ステップＳ２５８にて、各画像に関して、第１から第Ｋレベルの画像記述子が、それぞれのグリッドレベルでの該画像のローカル特徴記述子とビジュアルワードのライブラリとから生成される。具体的には、各グリッドレベルにて、該グリッドレベルの画像のローカル特徴記述子がそれぞれ、該グリッドレベルのビジュアルワードのライブラリ内の対応するビジュアルワードに対応付けられる。例えば、そのグリッドレベルの画像のローカル特徴記述子が、ビジュアルワードマッピング法にて、該グリッドレベルのビジュアルワードのライブラリ内の対応するビジュアルワードにマッピングされる。次に、そのグリッドレベルの画像の各グリッド要素に関して、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該グリッド要素内で現れる頻度の統計を生成することによって、該グリッド要素の記述的情報（例えば、ビジュアルワードのヒストグラムなど）が生成される。そして、そのグリッドレベルの全てのグリッド要素の記述的情報が結合され（例えば、該全てのグリッド要素それぞれのビジュアルワードのヒストグラムが、１つの長いヒストグラムへと順次接続され）、該グリッドレベルの画像の記述的情報が取得される。他の例では、そのグリッドレベルの画像の記述的情報は、該レベルのビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該画像内に現れる頻度の統計を直接的に生成することによって生成され得る。
【００２５】
図３は、画像の２レベル記述的情報を例示する模式図である。図３において、円内の記述的情報は、１つのグリッド要素（サブ画像）のビジュアルワードのヒストグラムである。
【００２６】
一方、本発明の他の一実施形態は更に、入力画像を複数の画像内のそれぞれの画像とマッチングする方法を提供する。図４は、方法４００の簡略化したフローチャートを示している。図４に示すように、ステップＳ４１０にて、複数の画像の各々の第０レベルから第Ｋレベルの記述的情報と入力画像とが取得される。複数の画像の各々の記述的情報は、図１に示した方法で得ることができる。
【００２７】
その一方で、入力画像に含まれる複数の特徴点に基づいて得られる入力画像の複数の第０レベルのローカル特徴記述子と図１の第１取得ステップＳ１３０にて得られたビジュアルワードのライブラリとに従って、入力画像の第０レベル記述的情報を取得することができる。一実施形態において、入力画像の複数の特徴点の各々に対して１つのローカル特徴記述子が計算されて、入力画像の複数の第０レベルローカル特徴記述子が取得される。例えば、スケール不変特徴変換（ＳＩＦＴ）抽出法でＳＩＦＴ特徴点を抽出し、該特徴点の形状コンテキスト記述子を計算することができる。あるいは、入力画像内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。そして、入力画像の複数の第０レベルローカル特徴記述子が、ビジュアルワードのライブラリ内の対応するビジュアルワードにそれぞれ対応付けられ、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが入力画像内に現れる頻度の統計を生成することによって入力画像の第０レベルの記述的情報が生成される。
【００２８】
さらに、ｎ＝２，３，・・・，Ｋ＋１として、入力画像に以下のステップを実行することによって、入力画像の第（ｎ−１）レベルの記述的情報が取得される。すなわち、入力画像が（ｎ−１）回にわたって分割されて、複数の第（ｎ−１）レベルサブ画像が取得され、且つ、入力画像の第（ｎ−１）レベルの記述的情報が、入力画像の複数の特徴点に基づいて得られる入力画像の複数の第ｎローカル特徴記述子と図１の第ｎ取得ステップＳ１５０にて得られる複数の第ｎビジュアルワードとに従って生成される。ただし、複数の第ｎローカル特徴記述子の各々は、それぞれの特徴点が位置する入力画像の対応する第（ｎ−１）レベルサブ画像に従って得られる。一実施形態において、入力画像は、第１グリッドレベルから第ＫグリッドレベルのＫ組のグリッド要素（サブ画像）を取得するよう、Ｋ回にわたって、一連の徐々細かくなる空間グリッドへと繰り返し分割される。さらに、各グリッドレベルにて、該グリッドレベルの入力画像のローカル特徴記述子を取得するため、各グリッド要素に含まれる特徴点のローカル特徴記述子が該グリッド要素から計算される。次に、各グリッドレベルにて、該グリッドレベルにおける入力画像の記述的情報が、該グリッドレベルの入力画像のローカル特徴記述子と図１の第ｎ取得ステップＳ１５０で得られた同じグリッドレベルのビジュアルワードのライブラリとから生成される。
【００２９】
処理はステップＳ４３０へと進み、複数の画像の各々の第０レベルから第Ｋレベルの記述的情報が、それぞれ、入力画像の第０レベルから第Ｋレベルの記述的情報と比較され、第０レベルから第Ｋレベルの合致（マッチング）度が取得される。
【００３０】
そして、ステップＳ４５０にて、複数の画像の各々に関して、第０レベルから第Ｋレベルの合致度の加重和が計算され、該画像の入力画像に対する類似度が取得される。それぞれのレベルの重み係数は、それぞれのレベルの重要度に従って割り当てられ得る。
【００３１】
方法４００において、第１レベルの記述的情報の比較は、第０レベルの合致度が所定の閾値以上のときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベルの合致度が所定の閾値以上のときにのみ実行される。
【００３２】
本発明の実施形態に係る画像マッチング方法において、画像は、粗いレイヤから精細なレイヤまでのシーケンスにて柔軟にマッチングされることができ、（ｍ−１）番目のレイヤにおける他の画像との合致度が所定の閾値より大きい場合にのみｍ番目のレイヤでマッチングされることになる。
【００３３】
図５は、本発明の一実施形態に係る複数の画像の記述的情報を取得する装置５００を示す簡略化したブロック図である。図５に示すように、装置５００は、検出ユニット５１０と、第１取得ユニット５３０と、第２取得ユニット５５０１から第（Ｋ＋１）取得ユニット５５０Ｋまでとを含んでいる。具体的には、第２取得ユニット５５０１から第（Ｋ＋１）取得ユニット５５０Ｋまでの各々は、対応する分割サブユニットと取得サブユニットとを含んでいる。図５に示すように、第２取得ユニット５５０１は、第１分割サブユニット５５０１Ａと第２取得サブユニット５５０１Ｂとを含み、第（Ｋ＋１）取得ユニット５５０Ｋは、第Ｋ分割サブユニット５５０ＫＡと第（Ｋ＋１）取得サブユニット５５０ＫＢとを含んでいる。動作時、検出ユニット５１０は、入力された複数の画像に関して特徴点検出を実行し、これらの画像の各々に関して複数の特徴点を抽出する。第１取得ユニット５３０は、入力された複数の画像の各々に関して該画像の抽出された特徴点に従ってのローカル特徴記述子を取得し、それぞれの画像のローカル特徴記述子に従って複数の第１ビジュアルワードを取得し、且つ、各画像に関して、該画像のローカル特徴記述子と複数の第１ビジュアルワードとに従って該画像の第０レベルの記述的情報を生成する。第１分割サブユニット５５０１Ａから第Ｋ分割サブユニット５５０ＫＡの各々は入力された複数の画像を分割し、それにより、各画像が複数の第１レベルから第Ｋレベルのサブ画像に分割される。第２取得サブユニット５５０１Ｂから第（Ｋ＋１）取得サブユニット５５０ＫＢの各々は、検出ユニット５１０によって抽出された特徴点を受信する。第２取得サブユニット５５０１Ｂは、第１分割サブユニット５５０１Ａから第１レベルサブ画像を受信する。同様に、第（Ｋ＋１）取得サブユニット５５０ＫＢは、第Ｋ分割サブユニット５５０ＫＡから第Ｋレベルサブ画像を受信する。各画像に関して、第２取得サブユニット５５０１Ｂは、受信した該画像の特徴点と該画像の第１レベルサブ画像とに従って、該画像の第１レベルのローカル特徴記述子を取得する。そして、第２取得サブユニット５５０１Ｂは、それぞれの画像の第１レベルローカル特徴記述子に従って複数の第２ビジュアルワードを取得し、各画像に関して、該画像の第１レベルローカル特徴記述子と複数の第２ビジュアルワードとに従って該画像の第１レベルの記述的情報を生成する。同様に、第（Ｋ＋１）取得サブユニット５５０ＫＢは、複数の画像の第Ｋレベルの記述的情報を取得する。
【００３４】
図５に示した装置５００、及びそれに含まれるそれぞれのユニット５１０乃至５５０は、図１及び図２を参照して説明した様々な処理を実行するように構成され得る。これらの処理の更なる詳細については、上述のそれぞれの実施形態、実装例及び例を参照することができ、ここでは繰り返しての説明は省略する。
【００３５】
以上のブロック図、フローチャート及び／又は実施形態の詳細な説明にて、本発明の実施形態に係る装置及び／又は方法の様々な実装例を説明した。１つ以上の機能及び／又は処理がこれらのブロック図、フローチャート及び／又は実施形態に含まれるとき、当業者は、これらのブロック図、フローチャート及び／又は実施形態におけるそれぞれの機能及び／又は処理が、様々なハードウェア、ソフトウェア、ファームウェア、又は実質的にそれらの組み合わせにて、別々に、且つ／或いは組み合わせて具現化され得ることを認識するであろう。一実装例において、本明細書に記載された事項の一部は、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）又はその他の集積形態にて具現化され得る。しかしながら、当業者に認識されるように、本明細書に記載された一部の態様の実装例は全体的あるいは部分的に事実上、１つ以上のコンピュータ上で実行される１つ以上のコンピュータプログラムの形態（例えば、１つ以上のコンピュータシステム上で実行される１つ以上のコンピュータプログラムの形態）、１つ以上のプロセッサ上で実行される１つ以上のプログラムの形態（例えば、１つ以上のマイクロプロセッサ上で実行される１つ以上のプログラムの形態）、ファームウェアの形態、又は実質的にそれらの組み合わせの形態、をした集積回路にて具現化され得る。また、当業者は、本明細書中の開示を受けて、本開示に係る回路を設計し、且つ／或いは本開示に係るソフトウェア及び／又はファームウェアのコードを記述することができるであろう。
【００３６】
例えば、上述の装置５００、及びそれぞれの構成モジュール、ユニット及びサブユニットは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせにて構成されることができる。ソフトウェア又はファームウェアにて具現化される場合、そのソフトウェアを構成するプログラムが、記憶媒体又はネットワークから、専用のハードウェア構成を有するコンピュータ（例えば、図６に例示する汎用コンピュータ６００など）にインストールされることができ、該コンピュータは、様々なプログラムをインストールされるとき、様々な機能を実行することができる。
【００３７】
図６は、本発明の実施形態に係る方法及び装置が具現化されることが可能なコンピュータの模式ブロック図を示している。
【００３８】
図６において、中央処理装置（ＣＰＵ）６０１は、読み出し専用メモリ（ＲＯＭ）６０２に格納されたプログラム、又は記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って様々な処理を実行する。ＲＡＭ６０３にはまた、必要に応じて、ＣＰＵ６０１が様々な処理を実行するのに必要なデータが格納され得る。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４によって互いに接続されている。バス６０４にはまた、入力／出力インタフェース６０５が接続されている。
【００３９】
入力／出力（Ｉ／Ｏ）インタフェース６０５には、入力部６０６（キーボードやマウスなどを含む）、出力部６０７（例えば陰極線管（ＣＲＴ）若しくは液晶ディスプレイ（ＬＣＤ）などの表示装置やスピーカなどを含む）、記憶部６０８（ハードディスクなどを含む）、及び通信部６０９（例えばＬＡＮカードやモデムなどのネットワークインタフェースカードを含む）が接続されている。通信部６０９は、例えばインターネットなどのネットワーク上での通信処理を実行する。ドライバ６１０も入力／出力インタフェース６０５に接続され得る。ドライバ６１０には、必要に応じて、例えば磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリなどの、リムーバブルメディア（取り外し可能媒体）６１１が取り付けられることができ、それにより、必要に応じて、それから読み出されたコンピュータプログラムが記憶部６０８にインストールされる。
【００４０】
上述の一連の処理がソフトウェアにて実行される場合、該ソフトウェアを構成するプログラムが、例えばインターネットなどのネットワーク又は例えばリムーバブルメディア６１１などの記憶媒体からインストールされる。
【００４１】
当業者に認識されるように、記憶媒体は、プログラムが格納され且つ該プログラムをユーザに提供するために装置とは別に配布される図６に示したリムーバブルメディア６１１に限定されない。リムーバブルメディア６１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）及びデジタル多用途ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標）を含む）、及び半導体メモリが含まれる。代替的に、記憶媒体は、プログラムが格納され且つ当該記憶媒体を含んだ装置とともにユーザに配布される、ＲＯＭ６０２、又は記憶部６０８に含まれるハードディスクであってもよい。
【００４２】
故に、本発明によって更に、機械読み取り可能な命令コードが格納されたプログラムが提案される。該命令コードは、機械によって読み出されて実行されるときに、上述の本発明の実施形態に係る様々な方法を実行することが可能である。従って、そのようなプログラムを担持する様々な記憶媒体も本発明の開示に包含される。
【００４３】
以上の本発明の実施形態の説明において、１つの実施形態に関して説明／図示された特徴は、同一あるいは同様のようにして１つ以上のその他の実施形態で使用されてもよいし、その他の実施形態の特徴と組み合わされてもよいし、あるいはその他の実施形態の特徴を置き換えるように使用されてもよい。
【００４４】
なお、文脈中の用語“含む／有する”及びそれらの如何なる変形も、特徴、要素、ステップ又は構成要素の存在を意味するものであり、１つ以上のその他の特徴、要素、ステップ又は構成要素の存在若しくは付加を排除するものではない。
【００４５】
また、本発明に係る方法は、本明細書に記載された時系列で実行されるのみでなく、その他の時系列に従って、並行して、あるいは別々に実行されてもよい。故に、本発明の範囲は、本明細書に記載された方法の実行順序に限定されるものではない。
【００４６】
以上の本発明の実施形態の説明にて本発明を開示したが、認識されるように、当業者は、本発明の精神及び範囲を逸脱することなく、本発明に関する様々な変更、適応又は均等物を考え出し得る。それらの変更、適応又は均等物も、本発明の範囲に入るものとして見なされるべきである。
【００４７】
以上の説明に関し、更に以下の付記を開示する。
【００４８】
（付記１）
複数の画像の記述的情報を取得する方法であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、
を有する方法。
（付記２）
各画像の前記第０レベルの記述的情報の生成は、
該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブステップと、
該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブステップと、
を有する、付記１に記載の方法。
（付記３）
各画像に関する前記第ｎ取得サブステップは、
該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に基づいて計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブステップと、
該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブステップと、
を有する、付記１又は２に記載の方法。
（付記４）
前記複数の第１ビジュアルワードを得ることは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することを含み、前記複数の第ｎビジュアルワードを得ることは、前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することを含む、付記１乃至３の何れか一項に記載の方法。
（付記５）
前記複数の第１ローカル特徴記述子及び前記複数の第ｎローカル特徴記述子は、スケール不変特徴変換（ＳＩＦＴ）記述子、形状コンテキスト記述子、及び相対位置・角度関係行列記述子のうちの１つを含む、付記１乃至４の何れか一項に記載の方法。
（付記６）
入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを有する画像マッチング方法であって、
各画像に関する類似度の取得は、
Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、
前記複数の合致度の加重和に従って該類似度を取得することと
を有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、付記１乃至５の何れか一項に記載の方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
画像マッチング方法。
（付記７）
前記入力画像の前記第０レベルの記述的情報の取得は、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成することと、
を有し、
前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算し、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成することと、
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成することと
を有する、
付記６に記載の方法。
（付記８）
複数の画像の記述的情報を取得する装置であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、
を有する装置。
（付記９）
前記第１取得ユニットは、
各画像に関して、該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブユニットと、
各画像に関して、該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブユニットと、
を有する、付記８に記載の装置。
（付記１０）
前記第ｎ取得サブユニットは、
各画像に関して、該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に従って計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブユニットと、
各画像に関して、該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像の記述的情報を、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブユニットと、
を有する、付記８又は９に記載の装置。
（付記１１）
前記第１取得ユニットは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することによって前記複数の第１ビジュアルワードを取得するように構成され、前記第ｎ取得ユニットは、前前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することによって前記複数の第ｎビジュアルワードを取得するように構成される、付記８乃至１０の何れか一項に記載の装置。
（付記１２）
前記複数の第１ローカル特徴記述子及び前記複数の第ｎローカル特徴記述子は、スケール不変特徴変換（ＳＩＦＴ）記述子、形状コンテキスト記述子、及び相対位置・角度関係行列記述子のうちの１つを含む、付記８乃至１１の何れか一項に記載の装置。
（付記１３）
入力画像の第０レベルの記述的情報を取得する第１情報取得ユニットであり、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って前記入力画像の前記第０レベルの記述的情報を取得するように構成された第１情報取得ユニットと、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ情報取得ユニットであり、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に従って得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する第ｎ情報生成サブユニットであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ情報生成サブユニット、
を有する第ｎ情報取得ユニットと
前記入力画像を前記複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得する画像マッチングユニットであり、
前記複数の画像の各画像に関して、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得する比較サブユニットと、
各画像の類似度を、該画像の前記複数の合致度の加重和に従って取得する類似度生成サブユニットと
を有する画像マッチングユニットと、
を更に有し、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
付記８乃至１２の何れか一項に記載の装置。
（付記１４）
前記第１情報取得ユニットは、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得し、且つ
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成する、
ように構成され、
前記第ｎ情報生成サブユニットは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算して、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得し、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像の記述的情報を、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して生成し、且つ
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する、
ように構成される、
付記１３に記載の装置。
（付記１５）
機械読み取り可能命令コードを有するプログラムであり、該命令コードは、機械によって読み取られて実行されるときに、付記１−７の何れか一項に記載の方法を実行する、プログラム。
（付記１６）
付記１５に記載のプログラムを格納した記憶媒体。
【符号の説明】
【００４９】
５００ 記述的情報取得装置
５１０ 検出ユニット
５３０ 第１取得ユニット
５５０１ 第２取得ユニット
５５０１Ａ 第１分割サブユニット
５５０１Ｂ 第２取得サブユニット
５５０Ｋ 第（Ｋ＋１）取得ユニット
５５０ＫＡ 第Ｋ分割サブユニット
５５０ＫＢ 第（Ｋ＋１）取得サブユニット
【技術分野】
【０００１】
本発明は概して画像処理の分野に関し、特に、画像の記述的情報を取得する方法及び装置に関する。
【背景技術】
【０００２】
情報技術の発展に伴い、例えば画像ファイル管理、産業画像／ビデオ監視、医療画像診断などのマルチメディアアプリケーションの分野で、大規模データベースがますます見受けられるようになっている。従って、大規模データベースに関する迅速な画像検索及び画像認識が今日の重要な課題となっている。
【０００３】
“単語（ワード）バッグ（bag of words）”に基づく伝統的な画像記述方法は、この課題を達成するのに良好に機能するものとして広く適用されてきた。例えば、そのような単語バッグに基づく画像記述方法は、非特許文献１にて紹介されており、そこでは、画像の多数の局所的特徴から代表的な“ビジュアルワード（視覚語）”が抽出され、それらのビジュアルワードがその画像内で現れる頻度が、その画像を記述するために使用される。また、空間的な情報に関する特徴の記述が限られていることを解決するために、マルチレイヤ（複数層）の画像空間構造に基づく記述方法も提案されている。さらに、非特許文献２には、空間的なピラミッドの形態で画像を記述する方法が開示されている。しかしながら、これらの方法においては、各特徴点に対して１つの局所的特徴記述子が計算されるのみであり、そのため、生成されるものは静的な固定のビジュアルワードと見なし得るものであり、そのような静的ビジュアルワードは、異なる空間レイヤにある画像特徴の記述には適用可能でないことがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】C．Wallraven等、「Recognition with local features：the kernel recipe」、Proc．ICCV、2003年、第1巻、pp.257-264
【非特許文献２】K．Grauman等、「Pyramid match kernel：Discriminative classification with sets of image features」、Proc．ICCV、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術における上述の問題に鑑み、開示の技術は、複数の異なる空間レイヤで画像を正確に記述することが可能な動的単語（ダイナミックワード）バッグに基づく新たなマルチレイヤ画像記述方法を提供する。
【０００６】
開示の技術はまた、画像を柔軟にマッチングすることが可能な画像マッチング方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、複数の画像の記述的情報を取得する方法が提供される。当該方法は、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、を含む。
【０００８】
本発明の他の一態様によれば、画像マッチング方法が提供される。当該方法は、入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを含み、各画像に関する類似度の取得は、Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、前記複数の合致度の加重和に従って該類似度を取得することとを有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、本発明に係る方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される。
【０００９】
本発明の他の一態様によれば、複数の画像の記述的情報を取得する装置が提供される。当該装置は、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、を含む。
【００１０】
本発明の更なる他の一態様によれば、機械読み取り可能命令コードを有するプログラムが提供される。該命令コードは、機械によって読み取られて実行されるときに、本発明の実施形態に係る複数の画像の記述的情報を取得する方法を実行することができる。
【００１１】
本発明の更なる一態様によれば、上述のプログラムを担持した記憶媒体が提供される。
【発明の効果】
【００１２】
本発明の実施形態は、各特徴点に対して１つのローカル特徴記述子が得られるのみの伝統的な方法と異なり、各特徴点に対して一連の記述子を生成する。故に、画像を異なる複数の空間レイヤで正確に記述することができる。
【００１３】
また、粗いレイヤから精細なレイヤまでのシーケンスで画像をマッチングすることができる。そして、画像は、第ｍ−１レイヤで所定の閾値を上回る程度に別の画像と合致する場合にのみ、第ｍレイヤでマッチングされる。故に、画像のマッチングを柔軟性高く行うことができる。
【図面の簡単な説明】
【００１４】
以下の図面を参照しての本発明の実施形態の詳細な説明により、本発明の上述及びその他の目的、態様及び利点が更に明らかになるであろう。図面において、同一あるいは同様の技術的特徴若しくは構成要素は、同一あるいは類似の参照符号を用いて表記することとする。
【図１】本発明の一実施形態に係る複数の画像の記述的情報を取得する方法を示すフローチャートである。
【図２】図１に示した第ｎ取得ステップを実行する一具体例を示すフローチャートである。
【図３】画像の２レベル記述的情報を例示する模式図である。
【図４】本発明の一実施形態に係る画像マッチング方法を示すフローチャートである。
【図５】本発明の一実施形態に係る複数の画像の記述的情報を取得する装置を示す模式ブロック図である。
【図６】本発明の実施形態に係る方法及び装置が具現化され得るコンピュータを示す模式ブロック図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態を説明する。図面中の１つの図又は本発明の１つの実施形態にて説明される要素及び特徴が、１つ以上のその他の図又は実施形態にて説明される要素及び特徴と組み合わされてもよい。図面及び以下の説明において、本発明に特に関連せず且つ当業者に周知の要素及び処理については、明瞭さのため、その表示及び説明を省略することとする。
【００１６】
本発明に一実施形態において、十分な画像特徴情報を収集するため、画像は複数のレイヤに分割され、それぞれの空間レイヤでローカル画像記述子が計算され、粗いレイヤから精細なレイヤまでのそれぞれの空間レイヤに関して、それぞれのビジュアルワードが、対応するローカル特徴記述子から生成され、そして、それぞれの空間レイヤにおいて、対応するビジュアルワードから、該画像の妥当なマルチレイヤ記述子が取得される。
【００１７】
図１は、本発明の一実施形態に係る複数の画像の記述的情報を取得する方法１００を示す簡略化したフローチャートである。図１に示すように、先ず、検出ステップＳ１１０にて、複数の画像の各画像に関して特徴点検出が実行され、各画像の複数の特徴点が取得される。特徴点の数は、例えば、画像の特性や、記述的情報を用いて画像の検索及び認識を行うプロセッサの性能などに依存する。特徴点の数は、ユーザによって、メニューから、あるいは用途の要求に応じて選択されることができる。他の例では、記述的情報を取得する時間の長さがユーザの許容範囲に入るように、記述的情報を用いるプロセッサの性能に応じて、また、サンプル抽出及びテストを介して、特徴点の妥当な数が決定され得る。特徴点は、例えばハリス（Harris）のコーナー検出器やエッジ画素のサンプリングなどの周知の方法で検出することができる。
【００１８】
次に、第１取得ステップＳ１３０にて、複数の画像の第０レベルの記述的情報が取得される。具体的には、複数の画像の各画像の第０レベル記述的情報が、該画像の複数の特徴点に基づいて得られる該画像の複数のローカル特徴記述子（第１ローカル特徴記述子）と、複数の画像それぞれのローカル特徴記述子に基づいて得られるビジュアルワードのライブラリ（複数の第１ビジュアルワード）とに従って生成される。
【００１９】
一実施形態において、画像の複数の特徴点の各々に対して１つのローカル特徴記述子が計算されて、該画像の複数のローカル特徴記述子が得られる。例えば、スケール不変特徴変換（Scale Invariant Feature Transform；ＳＩＦＴ）抽出法でＳＩＦＴ特徴点を抽出し、該特徴点の形状コンテキスト記述子を計算することができる。あるいは、画像内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。そして、それぞれの画像のローカル特徴記述子がまとめられて、ビジュアルワードのライブラリが生成される。ビジュアルワードのライブラリは、例えば、ｋ平均クラスタリング法で取得することができる。例えば、画像のそれぞれの特徴点のローカル特徴記述子がｋ平均クラスタリングされ、各クラスタ中心の値が１つのビジュアルワードに対応し、ｋ個のクラスタ中心の値及び対応するビジュアルワードのシリアル番号がビジュアルワードのライブラリとして格納される。ただし、ｋは、典型的に５００から１０００の範囲の自然数である。次に、画像の複数のローカル特徴記述子が、ビジュアルワードのライブラリ内の対応するビジュアルワードにそれぞれ対応付けられ、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該画像内に現れる頻度の統計を生成することによって該画像の第０レベルの記述的情報が生成される。各画像にビジュアルワードマッピング法を適用して、該画像のそれぞれの特徴点のローカル特徴記述子を対応するビジュアルワードにマッピングすることができる。例えば、特徴点ごとに、該特徴点のローカル特徴記述子とビジュアルワードライブラリ内のそれぞれのビジュアルワードに対応するそれぞれのクラスタ中心の値との間のユークリッド距離を計算して、該特徴点を表す最小のユークリッド距離を有するビジュアルワードのシリアル番号を見出し、且つ、それぞれのビジュアルワードのシリアル番号がその画像内に現れる回数の統計を生成することで、該画像がビジュアルワードのヒストグラムを用いて記述される。
【００２０】
処理は第ｎ取得ステップＳ１５０へと進み、上記複数の画像の第（ｎ−１）レベルの記述的情報が取得される。ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である。具体的には、各画像に対して以下のステップが実行される。すなわち、該画像の（ｎ−１）回目の分割を実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する（ｎ−１）番目の分割サブステップと、該画像の第（ｎ−１）レベルの記述的情報が、該画像の複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と複数の画像の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成されるｎ番目の取得サブステップと、が実行される。ただし、該画像の第ｎローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる。
【００２１】
続いて、図２を参照して、図１の第ｎ取得ステップＳ１５０（ｎ＝２，３，・・・，Ｋ＋１）を達成する一具体例Ｓ２５０の簡略化したフローチャートを説明する。すなわち、具体例Ｓ２５０は、第２取得ステップから第（Ｋ＋１）取得ステップまでのＫステップを含む。図２に示すように、ステップＳ２５２にて、各画像は、第１グリッドレベルから第ＫグリッドレベルのＫ組のグリッド要素（サブ画像）を取得するよう、Ｋ回にわたって、一連の徐々細かくなる空間グリッドへと繰り返し分割される。分割する回数は、ユーザによって決定されてもよいし、実際の用途に従って決定されてもよい。例えば、４×４の長方形グリッド又は円形グリッドが１つの空間グリッドとして使用され得る。次に、ステップＳ２５４にて、各グリッドレベルにて、該グリッドレベルのそれぞれの画像のローカル特徴記述子を取得するため、各特徴点に対応するローカル特徴記述子が、該特徴点が位置するグリッド要素から計算される。例えば、特徴点の形状コンテキスト記述子をグリッド要素内で計算することができ、あるいは、グリッド要素内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。
【００２２】
好適な一実施形態において、第２取得ステップから第（Ｋ＋１）取得ステップまでの一部の取得ステップで、より正確に画像を記述するための、更なる特徴点を検出する追加検出ステップがステップＳ２５２の前に追加され得る。
【００２３】
処理はステップＳ２５６へと進み、同じグリッドレベルの全ての画像のローカル特徴記述子をクラスタ化（集合化；例えば、ｋ平均クラスタリングなど）し、該グリッドレベルのビジュアルワードのライブラリを生成する。故に、異なるグリッドレベルでは異なるビジュアルワードのライブラリが存在する。
【００２４】
そして、ステップＳ２５８にて、各画像に関して、第１から第Ｋレベルの画像記述子が、それぞれのグリッドレベルでの該画像のローカル特徴記述子とビジュアルワードのライブラリとから生成される。具体的には、各グリッドレベルにて、該グリッドレベルの画像のローカル特徴記述子がそれぞれ、該グリッドレベルのビジュアルワードのライブラリ内の対応するビジュアルワードに対応付けられる。例えば、そのグリッドレベルの画像のローカル特徴記述子が、ビジュアルワードマッピング法にて、該グリッドレベルのビジュアルワードのライブラリ内の対応するビジュアルワードにマッピングされる。次に、そのグリッドレベルの画像の各グリッド要素に関して、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該グリッド要素内で現れる頻度の統計を生成することによって、該グリッド要素の記述的情報（例えば、ビジュアルワードのヒストグラムなど）が生成される。そして、そのグリッドレベルの全てのグリッド要素の記述的情報が結合され（例えば、該全てのグリッド要素それぞれのビジュアルワードのヒストグラムが、１つの長いヒストグラムへと順次接続され）、該グリッドレベルの画像の記述的情報が取得される。他の例では、そのグリッドレベルの画像の記述的情報は、該レベルのビジュアルワードのライブラリ内のそれぞれのビジュアルワードが該画像内に現れる頻度の統計を直接的に生成することによって生成され得る。
【００２５】
図３は、画像の２レベル記述的情報を例示する模式図である。図３において、円内の記述的情報は、１つのグリッド要素（サブ画像）のビジュアルワードのヒストグラムである。
【００２６】
一方、本発明の他の一実施形態は更に、入力画像を複数の画像内のそれぞれの画像とマッチングする方法を提供する。図４は、方法４００の簡略化したフローチャートを示している。図４に示すように、ステップＳ４１０にて、複数の画像の各々の第０レベルから第Ｋレベルの記述的情報と入力画像とが取得される。複数の画像の各々の記述的情報は、図１に示した方法で得ることができる。
【００２７】
その一方で、入力画像に含まれる複数の特徴点に基づいて得られる入力画像の複数の第０レベルのローカル特徴記述子と図１の第１取得ステップＳ１３０にて得られたビジュアルワードのライブラリとに従って、入力画像の第０レベル記述的情報を取得することができる。一実施形態において、入力画像の複数の特徴点の各々に対して１つのローカル特徴記述子が計算されて、入力画像の複数の第０レベルローカル特徴記述子が取得される。例えば、スケール不変特徴変換（ＳＩＦＴ）抽出法でＳＩＦＴ特徴点を抽出し、該特徴点の形状コンテキスト記述子を計算することができる。あるいは、入力画像内の特徴点とその他の画素点との間の相対的な位置・角度関係の行列の統計量を生成することができる。そして、入力画像の複数の第０レベルローカル特徴記述子が、ビジュアルワードのライブラリ内の対応するビジュアルワードにそれぞれ対応付けられ、ビジュアルワードのライブラリ内のそれぞれのビジュアルワードが入力画像内に現れる頻度の統計を生成することによって入力画像の第０レベルの記述的情報が生成される。
【００２８】
さらに、ｎ＝２，３，・・・，Ｋ＋１として、入力画像に以下のステップを実行することによって、入力画像の第（ｎ−１）レベルの記述的情報が取得される。すなわち、入力画像が（ｎ−１）回にわたって分割されて、複数の第（ｎ−１）レベルサブ画像が取得され、且つ、入力画像の第（ｎ−１）レベルの記述的情報が、入力画像の複数の特徴点に基づいて得られる入力画像の複数の第ｎローカル特徴記述子と図１の第ｎ取得ステップＳ１５０にて得られる複数の第ｎビジュアルワードとに従って生成される。ただし、複数の第ｎローカル特徴記述子の各々は、それぞれの特徴点が位置する入力画像の対応する第（ｎ−１）レベルサブ画像に従って得られる。一実施形態において、入力画像は、第１グリッドレベルから第ＫグリッドレベルのＫ組のグリッド要素（サブ画像）を取得するよう、Ｋ回にわたって、一連の徐々細かくなる空間グリッドへと繰り返し分割される。さらに、各グリッドレベルにて、該グリッドレベルの入力画像のローカル特徴記述子を取得するため、各グリッド要素に含まれる特徴点のローカル特徴記述子が該グリッド要素から計算される。次に、各グリッドレベルにて、該グリッドレベルにおける入力画像の記述的情報が、該グリッドレベルの入力画像のローカル特徴記述子と図１の第ｎ取得ステップＳ１５０で得られた同じグリッドレベルのビジュアルワードのライブラリとから生成される。
【００２９】
処理はステップＳ４３０へと進み、複数の画像の各々の第０レベルから第Ｋレベルの記述的情報が、それぞれ、入力画像の第０レベルから第Ｋレベルの記述的情報と比較され、第０レベルから第Ｋレベルの合致（マッチング）度が取得される。
【００３０】
そして、ステップＳ４５０にて、複数の画像の各々に関して、第０レベルから第Ｋレベルの合致度の加重和が計算され、該画像の入力画像に対する類似度が取得される。それぞれのレベルの重み係数は、それぞれのレベルの重要度に従って割り当てられ得る。
【００３１】
方法４００において、第１レベルの記述的情報の比較は、第０レベルの合致度が所定の閾値以上のときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベルの合致度が所定の閾値以上のときにのみ実行される。
【００３２】
本発明の実施形態に係る画像マッチング方法において、画像は、粗いレイヤから精細なレイヤまでのシーケンスにて柔軟にマッチングされることができ、（ｍ−１）番目のレイヤにおける他の画像との合致度が所定の閾値より大きい場合にのみｍ番目のレイヤでマッチングされることになる。
【００３３】
図５は、本発明の一実施形態に係る複数の画像の記述的情報を取得する装置５００を示す簡略化したブロック図である。図５に示すように、装置５００は、検出ユニット５１０と、第１取得ユニット５３０と、第２取得ユニット５５０１から第（Ｋ＋１）取得ユニット５５０Ｋまでとを含んでいる。具体的には、第２取得ユニット５５０１から第（Ｋ＋１）取得ユニット５５０Ｋまでの各々は、対応する分割サブユニットと取得サブユニットとを含んでいる。図５に示すように、第２取得ユニット５５０１は、第１分割サブユニット５５０１Ａと第２取得サブユニット５５０１Ｂとを含み、第（Ｋ＋１）取得ユニット５５０Ｋは、第Ｋ分割サブユニット５５０ＫＡと第（Ｋ＋１）取得サブユニット５５０ＫＢとを含んでいる。動作時、検出ユニット５１０は、入力された複数の画像に関して特徴点検出を実行し、これらの画像の各々に関して複数の特徴点を抽出する。第１取得ユニット５３０は、入力された複数の画像の各々に関して該画像の抽出された特徴点に従ってのローカル特徴記述子を取得し、それぞれの画像のローカル特徴記述子に従って複数の第１ビジュアルワードを取得し、且つ、各画像に関して、該画像のローカル特徴記述子と複数の第１ビジュアルワードとに従って該画像の第０レベルの記述的情報を生成する。第１分割サブユニット５５０１Ａから第Ｋ分割サブユニット５５０ＫＡの各々は入力された複数の画像を分割し、それにより、各画像が複数の第１レベルから第Ｋレベルのサブ画像に分割される。第２取得サブユニット５５０１Ｂから第（Ｋ＋１）取得サブユニット５５０ＫＢの各々は、検出ユニット５１０によって抽出された特徴点を受信する。第２取得サブユニット５５０１Ｂは、第１分割サブユニット５５０１Ａから第１レベルサブ画像を受信する。同様に、第（Ｋ＋１）取得サブユニット５５０ＫＢは、第Ｋ分割サブユニット５５０ＫＡから第Ｋレベルサブ画像を受信する。各画像に関して、第２取得サブユニット５５０１Ｂは、受信した該画像の特徴点と該画像の第１レベルサブ画像とに従って、該画像の第１レベルのローカル特徴記述子を取得する。そして、第２取得サブユニット５５０１Ｂは、それぞれの画像の第１レベルローカル特徴記述子に従って複数の第２ビジュアルワードを取得し、各画像に関して、該画像の第１レベルローカル特徴記述子と複数の第２ビジュアルワードとに従って該画像の第１レベルの記述的情報を生成する。同様に、第（Ｋ＋１）取得サブユニット５５０ＫＢは、複数の画像の第Ｋレベルの記述的情報を取得する。
【００３４】
図５に示した装置５００、及びそれに含まれるそれぞれのユニット５１０乃至５５０は、図１及び図２を参照して説明した様々な処理を実行するように構成され得る。これらの処理の更なる詳細については、上述のそれぞれの実施形態、実装例及び例を参照することができ、ここでは繰り返しての説明は省略する。
【００３５】
以上のブロック図、フローチャート及び／又は実施形態の詳細な説明にて、本発明の実施形態に係る装置及び／又は方法の様々な実装例を説明した。１つ以上の機能及び／又は処理がこれらのブロック図、フローチャート及び／又は実施形態に含まれるとき、当業者は、これらのブロック図、フローチャート及び／又は実施形態におけるそれぞれの機能及び／又は処理が、様々なハードウェア、ソフトウェア、ファームウェア、又は実質的にそれらの組み合わせにて、別々に、且つ／或いは組み合わせて具現化され得ることを認識するであろう。一実装例において、本明細書に記載された事項の一部は、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）又はその他の集積形態にて具現化され得る。しかしながら、当業者に認識されるように、本明細書に記載された一部の態様の実装例は全体的あるいは部分的に事実上、１つ以上のコンピュータ上で実行される１つ以上のコンピュータプログラムの形態（例えば、１つ以上のコンピュータシステム上で実行される１つ以上のコンピュータプログラムの形態）、１つ以上のプロセッサ上で実行される１つ以上のプログラムの形態（例えば、１つ以上のマイクロプロセッサ上で実行される１つ以上のプログラムの形態）、ファームウェアの形態、又は実質的にそれらの組み合わせの形態、をした集積回路にて具現化され得る。また、当業者は、本明細書中の開示を受けて、本開示に係る回路を設計し、且つ／或いは本開示に係るソフトウェア及び／又はファームウェアのコードを記述することができるであろう。
【００３６】
例えば、上述の装置５００、及びそれぞれの構成モジュール、ユニット及びサブユニットは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせにて構成されることができる。ソフトウェア又はファームウェアにて具現化される場合、そのソフトウェアを構成するプログラムが、記憶媒体又はネットワークから、専用のハードウェア構成を有するコンピュータ（例えば、図６に例示する汎用コンピュータ６００など）にインストールされることができ、該コンピュータは、様々なプログラムをインストールされるとき、様々な機能を実行することができる。
【００３７】
図６は、本発明の実施形態に係る方法及び装置が具現化されることが可能なコンピュータの模式ブロック図を示している。
【００３８】
図６において、中央処理装置（ＣＰＵ）６０１は、読み出し専用メモリ（ＲＯＭ）６０２に格納されたプログラム、又は記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って様々な処理を実行する。ＲＡＭ６０３にはまた、必要に応じて、ＣＰＵ６０１が様々な処理を実行するのに必要なデータが格納され得る。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４によって互いに接続されている。バス６０４にはまた、入力／出力インタフェース６０５が接続されている。
【００３９】
入力／出力（Ｉ／Ｏ）インタフェース６０５には、入力部６０６（キーボードやマウスなどを含む）、出力部６０７（例えば陰極線管（ＣＲＴ）若しくは液晶ディスプレイ（ＬＣＤ）などの表示装置やスピーカなどを含む）、記憶部６０８（ハードディスクなどを含む）、及び通信部６０９（例えばＬＡＮカードやモデムなどのネットワークインタフェースカードを含む）が接続されている。通信部６０９は、例えばインターネットなどのネットワーク上での通信処理を実行する。ドライバ６１０も入力／出力インタフェース６０５に接続され得る。ドライバ６１０には、必要に応じて、例えば磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリなどの、リムーバブルメディア（取り外し可能媒体）６１１が取り付けられることができ、それにより、必要に応じて、それから読み出されたコンピュータプログラムが記憶部６０８にインストールされる。
【００４０】
上述の一連の処理がソフトウェアにて実行される場合、該ソフトウェアを構成するプログラムが、例えばインターネットなどのネットワーク又は例えばリムーバブルメディア６１１などの記憶媒体からインストールされる。
【００４１】
当業者に認識されるように、記憶媒体は、プログラムが格納され且つ該プログラムをユーザに提供するために装置とは別に配布される図６に示したリムーバブルメディア６１１に限定されない。リムーバブルメディア６１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）及びデジタル多用途ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標）を含む）、及び半導体メモリが含まれる。代替的に、記憶媒体は、プログラムが格納され且つ当該記憶媒体を含んだ装置とともにユーザに配布される、ＲＯＭ６０２、又は記憶部６０８に含まれるハードディスクであってもよい。
【００４２】
故に、本発明によって更に、機械読み取り可能な命令コードが格納されたプログラムが提案される。該命令コードは、機械によって読み出されて実行されるときに、上述の本発明の実施形態に係る様々な方法を実行することが可能である。従って、そのようなプログラムを担持する様々な記憶媒体も本発明の開示に包含される。
【００４３】
以上の本発明の実施形態の説明において、１つの実施形態に関して説明／図示された特徴は、同一あるいは同様のようにして１つ以上のその他の実施形態で使用されてもよいし、その他の実施形態の特徴と組み合わされてもよいし、あるいはその他の実施形態の特徴を置き換えるように使用されてもよい。
【００４４】
なお、文脈中の用語“含む／有する”及びそれらの如何なる変形も、特徴、要素、ステップ又は構成要素の存在を意味するものであり、１つ以上のその他の特徴、要素、ステップ又は構成要素の存在若しくは付加を排除するものではない。
【００４５】
また、本発明に係る方法は、本明細書に記載された時系列で実行されるのみでなく、その他の時系列に従って、並行して、あるいは別々に実行されてもよい。故に、本発明の範囲は、本明細書に記載された方法の実行順序に限定されるものではない。
【００４６】
以上の本発明の実施形態の説明にて本発明を開示したが、認識されるように、当業者は、本発明の精神及び範囲を逸脱することなく、本発明に関する様々な変更、適応又は均等物を考え出し得る。それらの変更、適応又は均等物も、本発明の範囲に入るものとして見なされるべきである。
【００４７】
以上の説明に関し、更に以下の付記を開示する。
【００４８】
（付記１）
複数の画像の記述的情報を取得する方法であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、
を有する方法。
（付記２）
各画像の前記第０レベルの記述的情報の生成は、
該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブステップと、
該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブステップと、
を有する、付記１に記載の方法。
（付記３）
各画像に関する前記第ｎ取得サブステップは、
該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に基づいて計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブステップと、
該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブステップと、
を有する、付記１又は２に記載の方法。
（付記４）
前記複数の第１ビジュアルワードを得ることは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することを含み、前記複数の第ｎビジュアルワードを得ることは、前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することを含む、付記１乃至３の何れか一項に記載の方法。
（付記５）
前記複数の第１ローカル特徴記述子及び前記複数の第ｎローカル特徴記述子は、スケール不変特徴変換（ＳＩＦＴ）記述子、形状コンテキスト記述子、及び相対位置・角度関係行列記述子のうちの１つを含む、付記１乃至４の何れか一項に記載の方法。
（付記６）
入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを有する画像マッチング方法であって、
各画像に関する類似度の取得は、
Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、
前記複数の合致度の加重和に従って該類似度を取得することと
を有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、付記１乃至５の何れか一項に記載の方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
画像マッチング方法。
（付記７）
前記入力画像の前記第０レベルの記述的情報の取得は、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成することと、
を有し、
前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算し、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成することと、
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成することと
を有する、
付記６に記載の方法。
（付記８）
複数の画像の記述的情報を取得する装置であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、
を有する装置。
（付記９）
前記第１取得ユニットは、
各画像に関して、該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブユニットと、
各画像に関して、該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブユニットと、
を有する、付記８に記載の装置。
（付記１０）
前記第ｎ取得サブユニットは、
各画像に関して、該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に従って計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブユニットと、
各画像に関して、該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像の記述的情報を、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブユニットと、
を有する、付記８又は９に記載の装置。
（付記１１）
前記第１取得ユニットは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することによって前記複数の第１ビジュアルワードを取得するように構成され、前記第ｎ取得ユニットは、前前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することによって前記複数の第ｎビジュアルワードを取得するように構成される、付記８乃至１０の何れか一項に記載の装置。
（付記１２）
前記複数の第１ローカル特徴記述子及び前記複数の第ｎローカル特徴記述子は、スケール不変特徴変換（ＳＩＦＴ）記述子、形状コンテキスト記述子、及び相対位置・角度関係行列記述子のうちの１つを含む、付記８乃至１１の何れか一項に記載の装置。
（付記１３）
入力画像の第０レベルの記述的情報を取得する第１情報取得ユニットであり、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って前記入力画像の前記第０レベルの記述的情報を取得するように構成された第１情報取得ユニットと、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ情報取得ユニットであり、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に従って得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する第ｎ情報生成サブユニットであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ情報生成サブユニット、
を有する第ｎ情報取得ユニットと
前記入力画像を前記複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得する画像マッチングユニットであり、
前記複数の画像の各画像に関して、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得する比較サブユニットと、
各画像の類似度を、該画像の前記複数の合致度の加重和に従って取得する類似度生成サブユニットと
を有する画像マッチングユニットと、
を更に有し、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
付記８乃至１２の何れか一項に記載の装置。
（付記１４）
前記第１情報取得ユニットは、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得し、且つ
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成する、
ように構成され、
前記第ｎ情報生成サブユニットは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算して、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得し、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像の記述的情報を、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して生成し、且つ
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する、
ように構成される、
付記１３に記載の装置。
（付記１５）
機械読み取り可能命令コードを有するプログラムであり、該命令コードは、機械によって読み取られて実行されるときに、付記１−７の何れか一項に記載の方法を実行する、プログラム。
（付記１６）
付記１５に記載のプログラムを格納した記憶媒体。
【符号の説明】
【００４９】
５００ 記述的情報取得装置
５１０ 検出ユニット
５３０ 第１取得ユニット
５５０１ 第２取得ユニット
５５０１Ａ 第１分割サブユニット
５５０１Ｂ 第２取得サブユニット
５５０Ｋ 第（Ｋ＋１）取得ユニット
５５０ＫＡ 第Ｋ分割サブユニット
５５０ＫＢ 第（Ｋ＋１）取得サブユニット
【特許請求の範囲】
【請求項１】
複数の画像の記述的情報を取得する方法であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、
を有する方法。
【請求項２】
各画像の前記第０レベルの記述的情報の生成は、
該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブステップと、
該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブステップと、
を有する、請求項１に記載の方法。
【請求項３】
各画像に関する前記第ｎ取得サブステップは、
該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に基づいて計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブステップと、
該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブステップと、
を有する、請求項１又は２に記載の方法。
【請求項４】
前記複数の第１ビジュアルワードを得ることは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することを含み、前記複数の第ｎビジュアルワードを得ることは、前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することを含む、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを有する画像マッチング方法であって、
各画像に関する類似度の取得は、
Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、
前記複数の合致度の加重和に従って該類似度を取得することと
を有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、請求項１乃至４の何れか一項に記載の方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
画像マッチング方法。
【請求項６】
前記入力画像の前記第０レベルの記述的情報の取得は、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成することと、
を有し、
前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算し、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成することと、
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成することと
を有する、
請求項５に記載の方法。
【請求項７】
複数の画像の記述的情報を取得する装置であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、
を有する装置。
【請求項８】
入力画像の第０レベルの記述的情報を取得する第１情報取得ユニットであり、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って前記入力画像の前記第０レベルの記述的情報を取得するように構成された第１情報取得ユニットと、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ情報取得ユニットであり、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に従って得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する第ｎ情報生成サブユニットであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ情報生成サブユニット、
を有する第ｎ情報取得ユニットと
前記入力画像を前記複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得する画像マッチングユニットであり、
前記複数の画像の各画像に関して、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得する比較サブユニットと、
各画像の類似度を、該画像の前記複数の合致度の加重和に従って取得する類似度生成サブユニットと
を有する画像マッチングユニットと、
を更に有し、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
請求項７に記載の装置。
【請求項９】
機械読み取り可能命令コードを有するプログラムであり、該命令コードは、機械によって読み取られて実行されるときに、請求項１−７の何れか一項に記載の方法を実行する、プログラム。
【請求項１０】
請求項９に記載のプログラムを格納した記憶媒体。
【請求項１】
複数の画像の記述的情報を取得する方法であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ステップと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ステップであり、前記複数の画像の各画像の第０レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って生成される、第１取得ステップと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ステップであり、各画像に関して、
該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブステップ、及び
該画像の第（ｎ−１）レベルの記述的情報が、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第ｎローカル特徴記述子と、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる複数の第ｎビジュアルワードとに従って生成され、該画像の前記第ｎローカル特徴記述子は、それぞれの前記特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ取得サブステップ、
が実行され、ただし、ｎ＝２，３，・・・，Ｋ＋１であり、Ｋは正の整数である、第ｎ取得ステップと、
を有する方法。
【請求項２】
各画像の前記第０レベルの記述的情報の生成は、
該画像の前記複数の特徴点の各々に関して１つの第１ローカル特徴記述子を計算し、該画像の前記複数の第１ローカル特徴記述子を取得する第１計算サブステップと、
該画像の前記複数の第１ローカル特徴記述子をそれぞれ、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の該画像内での出現頻度の統計を介して該画像の前記第０レベルの記述的情報を生成する第１記述的情報生成サブステップと、
を有する、請求項１に記載の方法。
【請求項３】
各画像に関する前記第ｎ取得サブステップは、
該画像の前記複数の特徴点の各特徴点に関して１つの第ｎローカル特徴記述子を、該特徴点が位置する第（ｎ−１）レベルサブ画像に基づいて計算し、該画像の前記複数の第ｎローカル特徴記述子を取得する第ｎ計算サブステップと、
該画像の前記複数の特徴点の各々の前記第ｎローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、該画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成し、且つ、前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、該画像の前記第（ｎ−１）レベルの記述的情報を生成する、第ｎ記述的情報生成サブステップと、
を有する、請求項１又は２に記載の方法。
【請求項４】
前記複数の第１ビジュアルワードを得ることは、前記複数の画像の前記複数の第１ローカル特徴記述子を集合化することを含み、前記複数の第ｎビジュアルワードを得ることは、前記複数の画像の前記複数の第ｎローカル特徴記述子を集合化することを含む、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
入力画像を複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得することを有する画像マッチング方法であって、
各画像に関する類似度の取得は、
Ｋは正の整数であるとして、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得することと、
前記複数の合致度の加重和に従って該類似度を取得することと
を有し、
前記複数の画像の各画像の前記第０レベルの記述的情報から第Ｋレベルの記述的情報は、請求項１乃至４の何れか一項に記載の方法によって取得され、
前記入力画像の前記第０レベルの記述的情報は、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って取得され、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報は、前記入力画像に関して、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得するステップと、
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に基づいて得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、ステップと、
を実行することによって取得され、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
画像マッチング方法。
【請求項６】
前記入力画像の前記第０レベルの記述的情報の取得は、
前記入力画像に含まれる前記複数の特徴点の各々に関して１つの第０レベルローカル特徴記述子を計算し、前記入力画像の前記複数の第０レベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の第０レベルローカル特徴記述子を、前記複数の第１ビジュアルワードのうちの対応する第１ビジュアルワードに対応付け、前記複数の第１ビジュアルワードの各々の前記入力画像内での出現頻度の統計を介して前記入力画像の前記第０レベルの記述的情報を生成することと、
を有し、
前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成するステップは、
前記入力画像の前記複数の特徴点の各特徴点に関して１つの第ｎレベルローカル特徴記述子を、該特徴点が位置する前記第（ｎ−１）レベルサブ画像に基づいて計算し、前記入力画像の前記複数の第ｎレベルローカル特徴記述子を取得することと、
前記入力画像の前記複数の特徴点の各々の前記第ｎレベルローカル特徴記述子を、前記複数の第ｎビジュアルワードのうちの対応する第ｎビジュアルワードに対応付け、前記入力画像の各第（ｎ−１）レベルサブ画像に関して、前記複数の第ｎビジュアルワードの各々の該第（ｎ−１）レベルサブ画像内での出現頻度の統計を介して該第（ｎ−１）レベルサブ画像の記述的情報を生成することと、
前記複数の第（ｎ−１）レベルサブ画像の記述的情報を結合して、前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成することと
を有する、
請求項５に記載の方法。
【請求項７】
複数の画像の記述的情報を取得する装置であって、
前記複数の画像の各画像に関して特徴点検出を実行し、各画像の複数の特徴点を取得する検出ユニットと、
前記複数の画像の第０レベルの記述的情報を取得する第１取得ユニットであり、各画像に関して、該画像の前記複数の特徴点に基づいて得られる該画像の複数の第１ローカル特徴記述子と、前記複数の画像の前記複数の第１ローカル特徴記述子に基づいて得られる複数の第１ビジュアルワードとに従って、該画像の前記第０レベルの記述的情報を生成する第１取得ユニットと、
前記複数の画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ取得ユニットであり、ｎ＝２，３，・・・，Ｋ＋１、且つＫは正の整数として、
各画像に関して、該画像の分割を（ｎ−１）回実行し、該画像の複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
各画像に関して、該画像の複数の第ｎローカル特徴記述子と複数の第ｎビジュアルワードとに従って該画像の第（ｎ−１）レベルの記述的情報を生成する第ｎ取得サブユニットであり、前記複数の第ｎローカル特徴記述子の各々は、該画像のそれぞれの特徴点と該それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像とに基づいて得られ、前記複数の第ｎビジュアルワードは、前記複数の画像の前記複数の第ｎローカル特徴記述子に基づいて得られる、第ｎ取得サブユニット、
を有する、第ｎ取得ユニットと、
を有する装置。
【請求項８】
入力画像の第０レベルの記述的情報を取得する第１情報取得ユニットであり、前記入力画像に含まれる複数の特徴点に基づいて得られる前記入力画像の複数の第０レベルローカル特徴記述子と前記複数の第１ビジュアルワードとに従って前記入力画像の前記第０レベルの記述的情報を取得するように構成された第１情報取得ユニットと、
ｎ＝２，３，・・・，Ｋ＋１として、前記入力画像の第（ｎ−１）レベルの記述的情報を取得する第ｎ情報取得ユニットであり、
前記入力画像を（ｎ−１）回分割し、複数の第（ｎ−１）レベルサブ画像を取得する第（ｎ−１）分割サブユニット、及び
前記複数の第ｎビジュアルワードと、前記入力画像の前記複数の特徴点に従って得られる前記入力画像の複数の第ｎレベルローカル特徴記述子と、に従って前記入力画像の前記第（ｎ−１）レベルの記述的情報を生成する第ｎ情報生成サブユニットであり、前記複数の第ｎレベルローカル特徴記述子の各々は、それぞれの特徴点が位置する対応する第（ｎ−１）レベルサブ画像に従って得られる、第ｎ情報生成サブユニット、
を有する第ｎ情報取得ユニットと
前記入力画像を前記複数の画像の各々とそれぞれマッチングすることによって複数の類似度を取得する画像マッチングユニットであり、
前記複数の画像の各画像に関して、前記入力画像の第０レベルの記述的情報から第Ｋレベルの記述的情報を、それぞれ、該画像の第０レベルの記述的情報から第Ｋレベルの記述的情報と比較し、第０レベル合致度から第Ｋレベル合致度を含む複数の合致度を取得する比較サブユニットと、
各画像の類似度を、該画像の前記複数の合致度の加重和に従って取得する類似度生成サブユニットと
を有する画像マッチングユニットと、
を更に有し、
第１レベルの記述的情報の比較は、前記第０レベル合致度が所定の閾値以上であるときにのみ実行され、第ｎレベルの記述的情報の比較は、第（ｎ−１）レベル合致度が前記所定の閾値以上であるときにのみ実行される、
請求項７に記載の装置。
【請求項９】
機械読み取り可能命令コードを有するプログラムであり、該命令コードは、機械によって読み取られて実行されるときに、請求項１−７の何れか一項に記載の方法を実行する、プログラム。
【請求項１０】
請求項９に記載のプログラムを格納した記憶媒体。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２０１２−２１６２０７（Ｐ２０１２−２１６２０７Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−７７５３５（Ｐ２０１２−７７５３５）
【出願日】平成２４年３月２９日（２０１２．３．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２４年３月２９日（２０１２．３．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]