画像検索装置、画像検索方法、画像検索プログラム、記録媒体、及び画像類似度算出プログラム
【課題】解像度、構図、画質等の画像を変容させる要因の影響を受けにくい類似度に基づいた画像検索装置等を提供する。
【解決手段】第１の画像における第１の特徴点を抽出し、検索クエリ画像として第２の画像の入力を受け付け（Ｓ２０）、第２の画像から第２の特徴点を抽出し（Ｓ２１）、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し（Ｓ２３）、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出し（Ｓ２４）、記対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出し（Ｓ２５）、画像類似度に基づき、第１の画像を選択し（Ｓ２６）、選択された第１の画像を検索結果として出力する（Ｓ２７）。
【解決手段】第１の画像における第１の特徴点を抽出し、検索クエリ画像として第２の画像の入力を受け付け（Ｓ２０）、第２の画像から第２の特徴点を抽出し（Ｓ２１）、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し（Ｓ２３）、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出し（Ｓ２４）、記対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出し（Ｓ２５）、画像類似度に基づき、第１の画像を選択し（Ｓ２６）、選択された第１の画像を検索結果として出力する（Ｓ２７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の類似度を利用して画像を検索する技術分野に関する。
【背景技術】
【０００２】
画像の検索方法においては、タグと呼ばれるテキスト情報を付加して画像を記憶したり、画像の特徴量に関連付けて画像を記憶したりして、検索データベースが構築されている。検索の際、この検索データベースが参照され、タグを利用して検索キーワードにより画像検索が行われたり、検索クエリ画像の特徴量の類似度に基づき、画像検索が行われたりしている。
【０００３】
これら画像の検索方法において、画像検索の精度を向上させ、ユーザが探している画像に的確にヒットさせるために様々な工夫がなされている。例えば、特許文献１には、画像検索のための基本クエリ画像を受け付け、基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成し、基本クエリ画像及び疑似クエリ画像の両方について、それぞれ、複数の対象画像から、類似画像を検索することにより、仮検索結果を得て、仮検索結果を統合して、全体的な順位付けを行うことにより、出力用検索結果を得る画像検索技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６１２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、インターネット等のネットワーク上にある画像においては、画像の解像度の違い、画像における構図の違い、画像の画質の違い等、画像を変容させる画像変容要因が様々あるため、上記技術等の従来技術では、人間の主観的評価に近い適切な類似度を算出することが難しかった。そのため、画像検索において、類似な画像を取りこぼすという問題があった。また、画質の評価において、基準画像と、評価対象画像との類似度に基づき、画像変容要因の影響を受けにくい画質評価をすることが難しかった。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、その目的は、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい類似度に基づいた画像検索装置、画像検索方法、画像検索プログラム、記録媒体、及び画像類似度算出プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像検索装置は、第１の画像を記憶する第１画像記憶手段と、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段と、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段と、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段と、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段と、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段と、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出手段と、前記第１画像記憶手段を参照して、前記画像類似度に基づき、第１の画像を選択する選択手段と、前記選択された第１の画像を検索結果として出力する第１画像出力手段と、を備える。
【０００８】
本発明に係る画像検索装置において、前記特徴点に対して特徴点の選定を行う特徴点選定手段を更に備えるように構成する。
【０００９】
本発明に係る画像検索装置において、前記特徴点選定手段が、所定の閾値に基づき前記特徴点の選定を行うように構成する。
【００１０】
本発明に係る画像検索装置において、前記第１又は第２画像特徴点抽出手段が、前記画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる前記平滑化画像間での差分処理をして差分・平滑化画像を求め、前記差分・平滑化画像において、極値となる前記特徴点を抽出するように構成する。
【００１１】
本発明に係る画像検索装置において、前記特徴点の周辺領域における勾配情報を算出する勾配情報算出手段を更に備え、前記対応特徴点探索手段が、前記勾配情報に基づき、前記対応特徴点を探索するように構成する。
【００１２】
本発明に係る画像検索装置において、前記対応領域類似度算出手段が、各前記対応領域の画素値の平均及び分散と、前記対応領域の間における画素値の相互相関とに基づき、前記対応領域類似度を算出するように構成する。
【００１３】
本発明に係る画像検索装置において、前記対応領域類似度算出手段が、各前記対応領域の画素値の最大値と、前記対応領域の間における画素値の差とに基づき、前記対応領域類似度を算出するように構成する。
【００１４】
本発明に係る画像検索装置において、抽出された前記第１の特徴点を予め記憶する第１画像特徴点記憶手段を更に備えるように構成する。
【００１５】
上記課題を解決するために、本発明に係る画像検索方法は、画像の検索を行う画像検索装置の画像検索方法において、前記画像検索装置が、第１の画像を記憶する第１画像記憶ステップと、前記画像検索装置が、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を有する。
【００１６】
上記課題を解決するために、本発明に係る画像検索プログラムは、コンピュータに、第１の画像を記憶する第１画像記憶ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を実行させる。
【００１７】
上記課題を解決するために、本発明に係る記録媒体は、コンピュータに、第１の画像を記憶する第１画像記憶ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を実行させる画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１８】
上記課題を解決するために、本発明に係る画像類似度算出プログラムは、コンピュータを、第１の画像の入力を受け付ける第１画像入力ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、を実行させる。
【００１９】
上記課題を解決するために、本発明に係る記録媒体は、コンピュータを、第１の画像の入力を受け付ける第１画像入力ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、を実行させる画像類似度算出プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２０】
本発明によれば、第１の画像における第１の特徴点を抽出し、検索クエリ画像として第２の画像から第２の特徴点を抽出し、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出し、この画像類似度に基づき画像検索をすることにより、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい対応領域間の対応領域類似度を算出し、各対応特徴点における対応領域類似度から第１画像と第２画像との画像全体の画像類似度を算出して、この画像類似度に基づき画像検索を行っているので、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい画像検索ができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る画像検索システムの概要構成例を示す模式図である。
【図２】図１の画像検索サーバの概要構成の一例を示すブロック図である。
【図３】図２の画像関連情報データベースに記憶された画像関連情報テーブルの一例を示す模式図である。
【図４】図１の端末の概要構成の一例を示すブロック図である。
【図５】図１の画像検索システムにおけるデータベース構築の動作例を示すフローチャートである。
【図６】図２の画像データベースに保存されている画像の一例を示す模式図である。
【図７】図６の画像に対して特徴点を示した模式図である。
【図８】特徴点抽出のサブルーチンを示すフローチャートである。
【図９】図１の画像検索システムの動作例を示すフローチャートである。
【図１０】検索クエリ画像の一例を示す模式図である。
【図１１】検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。
【図１２】画像検索結果の一例を示す模式図である。
【図１３】検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。
【図１４】画像評価装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明を実施するための形態について説明する。
【００２３】
＜第１実施形態＞
まず、本発明の第１実施形態に係る画像検索システムについて説明する。
【００２４】
［１．画像検索システムの構成及び機能概要］
本発明の第１実施形態に係る画像検索システムの構成及び概要機能について、図１を用いて説明する。図１は、本実施形態に係る画像検索システム１の概要構成例を示す模式図である。
【００２５】
図１に示すように、画像検索システム１は、受信した検索クエリ画像に対する検索結果の画像を求める画像検索サーバ（画像検索装置の一例）１０と、検索クエリ画像を送信する端末２０（端末の一例）と、を備えている。
【００２６】
画像検索サーバ１０と、端末２０とは、ネットワーク３により接続され、通信プロトコル（例えば、ＴＣＰ／ＩＰ）により、データの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及び、ゲートウェイ等により構築されている。
【００２７】
また、画像検索サーバ１０は、ネットワーク３を通して、外部のウェブサーバ５に接続していて、ウェブサーバ５等から画像を収集してくる。そして、画像検索サーバ１０は、高速に画像検索を行うため、収集した画像から、画像の特徴点等の情報を抽出して、画像と共に予めデータベースを構築しておく。
【００２８】
［２．画像検索サーバ等の構成及び機能］
（２．１ 画像検索サーバ１０の構成及び機能）
次に、画像検索サーバ１０の構成及び機能について、図２及び図３を用いて説明する。図２は、画像検索サーバ１０の概要構成の一例を示すブロック図である。図３は、画像関連情報データベースに記憶された画像関連情報テーブルの一例を示す模式図である。
【００２９】
図２に示すように、コンピュータとして機能する画像検索サーバ１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００３０】
通信部１１は、ネットワーク３に接続して端末２０、ウェブサーバ５等との通信状態を制御し、データの送受信を行う。
【００３１】
記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステム及びサーバプログラム等の各種プログラムや、データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３２】
また、記憶部１２には、ウェブサーバ５等から収集した画像を記憶する画像データベース（ＤＢ）１２ａ（以下「画像ＤＢ」とする。）、画像関連情報データベース（ＤＢ）１２ａ（以下「画像関連情報ＤＢ」とする。）等が構築されている。
【００３３】
画像ＤＢ１２ａ（第１画像記憶手段の一例）には、ウェブサーバ５等から収集した画像（第１の画像の一例）が、割り当てられた画像ＩＤに関連付けられて記憶されている。
【００３４】
画像関連情報ＤＢ１２ｂ（第１画像特徴点記憶手段の一例）には、図３に示すように、画像関連情報テーブルには、画像ＩＤにより各画像に関連付けられ、画像のＵＲＬ（Uniform Resource Locator）情報、画像の解像度、画像の特徴点の座標、特徴点周辺の勾配情報、特徴点を選択する際の閾値（所定の閾値の一例）、画像に付されたタグ情報等が記憶されている。なお、特徴点、勾配情報、閾値に関する詳細は、後述する。
【００３５】
表示部１３は、例えば、液晶表示素子又はＥＬ（Electro Luminescence）素子等によって構成されている。
【００３６】
操作部１４は、例えば、キーボード及びマウス等によって構成されている。
【００３７】
次に、入出力インターフェース部１５は、通信部１１及び記憶部１２とシステム制御部１６との間のインターフェース処理を行う。
【００３８】
システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、画像から特徴点を抽出する処理等を行う。
【００３９】
（２．２ 端末２０の構成及び機能）
次に、端末２０の構成及び機能について、図４を用いて説明する。図４は、端末２０の概要構成の一例を示すブロック図である。
【００４０】
図４に示すように、コンピュータとして機能する端末２０は、例えば、パーソナルコンピュータや携帯型無線電話機やＰＤＡ等の携帯端末であり、通信部２１と、記憶部２２と、表示部２３と、操作部２４と、入出力インターフェース部２５と、システム制御部２６とを備えている。そして、システム制御部２６と入出力インターフェース部２５とは、システムバス２７を介して接続されている。
【００４１】
通信部２１は、ネットワーク３を通して、画像検索サーバ１０等と通信を制御する。なお、端末２０が携帯型無線電話機の場合、ネットワーク３の移動体通信網に接続するために、通信部２１は、無線通信機能を有する。
【００４２】
記憶部２２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、Ｗｅｂブラウザプログラム等の各種のプログラムを記憶する。なお、各種プログラムは、例えば、サーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００４３】
表示部２３は、例えば、液晶表示素子又はＥＬ素子等によって構成されている。表示部２３には、画像検索サーバ１０から取得した画像検索結果のウェブページ等が表示される。
【００４４】
操作部２４は、例えば、キーボード及びマウス等によって構成されている。ユーザは、操作部３４により画像を含む検索クエリ等を入力する。なお、表示部２３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部２４は、表示部２３の画面が押された箇所の位置情報を取得する。
【００４５】
入出力インターフェース部２５は、通信部２１及び記憶部２２とシステム制御部２６とのインターフェースである。
【００４６】
システム制御部２６は、例えば、ＣＰＵ２６ａと、ＲＯＭ２６ｂと、ＲＡＭ２６ｃとを有する。
【００４７】
システム制御部２６は、ＣＰＵ２６ａが、ＲＯＭ２６ｂや、ＲＡＭ２６ｃや、記憶部２２に記憶された各種プログラムを読み出して実行する。
【００４８】
［３．画像検索システムの動作］
（３．１ 画像データベースの構築）
本発明の一実施形態に係る画像検索システム１における画像ＤＢ１２ａ及び画像関連情報ＤＢ１２ｂの構築について図５、図６、及び、図７を用いて説明する。図５は、画像検索システム１においてデータベース構築の手順を示すブロック図である。図６は、画像データベースに保存されているデータベース画像の一例を示す模式図である。図７は、データベース画像における特徴点を示した模式図である。
【００４９】
画像検索サーバ１０は、検索用のデータベース画像（ＤＢ画像）を取得する（ステップＳ１）。具体的には、画像検索サーバ１０のシステム制御部１６は、クローリング等によりウェブサーバ５等から収集したＤＢ画像（第１の画像の一例）を取得する。そして、画像検索サーバ１０のシステム制御部１６は、取得した画像に画像ＩＤを割り当て、画像ＩＤに関連付けて、図６に示すような複数のＤＢ画像３０を画像ＤＢ１２ａに記憶する。また、画像検索サーバ１０のシステム制御部１６は、取得した画像のＵＲＬ情報や画像の解像度、画像に付されたタグ等を、画像関連情報ＤＢ１２ｂに記憶する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像を記憶する第１画像記憶手段の一例として機能する。
【００５０】
次に、画像検索サーバ１０は、ＤＢ画像の特徴点を抽出する（ステップＳ２）。具体的には、画像検索サーバ１０のシステム制御部１６は、特徴点抽出サブルーチンにより、図７に示すように、ＤＢ画像から特徴点（第１の特徴点の一例）を抽出する。この特徴点抽出は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）の手法を用いて実行される。この特徴点は、ＳＩＦＴの場合、キーポイントと呼ばれる。なお、詳細は、後述する特徴点抽出サブルーチンにて説明する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段の一例として機能する。
【００５１】
次に、画像検索サーバ１０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３）。具体的には、まず画像検索サーバ１０のシステム制御部１６は、取得した画像の各特徴点におけるオリエンテーションを算出する。オリエンテーションは、後で算出する画像の特徴量が、回転に不変な特徴量となるように、特徴点のオリエンテーションを求め、オリエンテーションにより正規化するために利用される。
【００５２】
このオリエンテーションは、特徴点における方向を表し、特徴点に対して求めた重み付き勾配方向ヒストグラムによって決定される。例えば、システム制御部１６は、画像データＩ（ｘ，ｙ）に対してあるスケール（標準偏差σ）を有するガウシアンフィルタＧ（ｘ，ｙ，σ）を適用し、平滑化画像Ｌ（ｘ，ｙ）を得る。次に、システム制御部１６は、特徴点を中心とした局所領域における平滑化画像Ｌ（ｘ，ｙ）の勾配強度と勾配方向を求め、勾配強度と勾配方向とから、例えば３６方向に量子化した勾配方向ヒストグラムを算出する。なお、特徴点に近い領域の勾配をより強く反映させるため、システム制御部１６は、勾配強度に対して、特徴点を中心としたガウシアンウインドを被せて、重み付けされた勾配方向ヒストグラムを算出する。
【００５３】
そして、システム制御部１６は、この３６方向に対するヒストグラムの最大値をオリエンテーションとして割り当てる。なお、システム制御部１６は、この最大値を１００％とした場合における８０％以上となる方向も特徴点のオリエンテーションとして割り当ててもよい。
【００５４】
次に、システム制御部１６は、周辺領域の勾配情報として、算出したオリエンテーションに基づき１２８次元の特徴量を算出する。例えば、システム制御部１６は、算出したオリエンテーションに合わせて、特徴点の周辺領域を回転させる。この周辺領域を、１辺を４ブロックの計１６ブロックに分割し、特徴点のオリエンテーションを算出したように、各ブロックに対して８方向の勾配方向ヒストグラムを算出する。
【００５５】
システム制御部１６は、４×４＝１６ブロックに対して、各８方向の勾配方向ヒストグラムを作成するため、１２８次元の特徴ベクトルとして、特徴点の周辺領域の勾配情報を算出する。この勾配情報は、各特徴点が持つオリエンテーション方向に座標軸を合わせた領域で特徴を算出しているので、回転に不変な特徴量となる。また、勾配情報の一例である１２８次元の各特徴ベクトルの長さはベクトルの総和で正規化されるので、照明変化に対して影響の少ない特徴量となる。
【００５６】
次に、画像検索サーバ１０は、ＤＢ画像、特徴点、及び勾配情報を記憶する（ステップＳ４）。具体的には、画像検索サーバ１０のシステム制御部１６は、図３に示すように、ＤＢ画像の各特徴点、及び、各特徴点における勾配情報を画像ＩＤに関連付けて画像関連情報ＤＢ１２ｂに記憶する。このように画像検索サーバ１０のシステム制御部１６は、抽出された第１の特徴点を予め記憶する第１画像特徴点記憶手段の一例として機能する。
【００５７】
（３．２ 特徴点抽出のサブルーチン）
次に、特徴点抽出のサブルーチンについて、図８を用いて説明する。図８は、特徴点抽出のサブルーチンを示すフローチャートである。なお、この特徴点抽出のサブルーチンは、例えば、ＳＩＦＴの手法におけるキーポイントの検出及びキーポイントのローカライズに当たる。
【００５８】
図８に示すように、まず、画像検索サーバ１０は、取得したＤＢ画像に対して、所定のスケールの平滑化画像を求める（ステップＳ１０）。具体的には、画像検索サーバ１０のシステム制御部１６は、スケール（ガウス関数の標準偏差）の異なるガウシアンフィルタを用いて、取得したＤＢ画像に対する複数の平滑化画像を求める。更に具体的には、画像検索サーバ１０のシステム制御部１６は、ガウス関数Ｇ（ｘ，ｙ，σ）と入力画像の画像データＩ（ｕ，ｖ）を畳み込んで、平滑化画像Ｌ（ｕ，ｖ，σ）を求める。なお、ここでｘ、ｙは、注目画素からの距離、標準偏差σはガウシアンフィルタのスケール、ｕ及びｖは、注目画素を表す。
【００５９】
次に、画像検索サーバ１０は、スケールが異なる平滑化画像間のＤｏＧ画像（Difference-of-Gaussian 画像）を求める（ステップＳ１１）。具体的には、画像検索サーバ１０のシステム制御部１６は、スケールの異なるガウス関数で平滑化した２枚の平滑化画像の差分画像を求めることで、ＤｏＧ画像（差分・平滑化画像の一例）を求める。例えば、ガウシアンフィルタのスケールの初期値σ０、ガウシアンフィルタのスケールの増加率ｋとすると、画像検索サーバ１０のシステム制御部１６は、スケールの初期値σ０からｋ倍ずつ増加させたスケール（σ０、ｋσ０、ｋ２σ０、ｋ３σ０・・・）において、異なるスケール間（例えば、スケールｋσ０とスケールｋ２σ０との間）で、差分画像を求めることで、複数のＤｏＧ画像を求める。
【００６０】
次に、画像検索サーバ１０は、複数のＤｏＧ画像における極値を求める（ステップＳ１２）。具体的には、画像検索サーバ１０のシステム制御部１６は、ＤｏＧ画像３枚１組に対して、例えば、ＤｏＧ画像Ｄ(ｕ，ｖ，ｋ２σ０)の注目画素と、その周りの例えば２６近傍を比較し、極値を求める。この極値検出は、スケールの値の小さいＤｏＧ画像から順に行い、一度極値が検出された画素は、より大きなスケールで極値が検出されたとしても特徴点にしない。この処理をスケールの異なるＤｏＧ画像の全画素に対して行う。ここで、ＤｏＧ画像は、異なるスケールによる２枚の平滑化画像の差分からなる画像であるため、ＤｏＧ画像内のある座標の画素値が大きくなるスケールでは、スケールの変化領域にエッジ等の情報量を多く含んでいるといえる。そこで、ＤｏＧ画像から極値を検出し、特徴点（キーポイント）とスケールが決定される。なお、画像サイズが２倍となると、極値探索により検出された特徴点のスケールも比例して２倍となる。ＳＩＦＴ法は、特徴を最も含むスケールを自動的に決定するため、空間的に同範囲の領域から特徴量を記述することで、画像の拡大・縮小に対して不変な特徴量となる。
【００６１】
このように画像検索サーバ１０のシステム制御部１６は、画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる平滑化画像間での差分処理をして差分・平滑化画像を求め、差分・平滑化画像において、極値となる特徴点を抽出する第１又は第２画像特徴点抽出手段の一例として機能する。
【００６２】
次に、画像検索サーバ１０は、極値となった画素を特徴点とする（ステップＳ１３）。具体的には、画像検索サーバ１０のシステム制御部１６は、注目画素の周辺の近傍における値を比較し、極値であった場合には、その画素を特徴点として検出する。
【００６３】
次に、画像検索サーバ１０は、特徴点を選定する（ステップＳ１４）。この特徴点選定は、ＳＩＦＴの手法におけるキーポイントのローカライズに当たり、検出された特徴点のうち、特徴点として適切でない点が削除される。例えば、特徴点として適切でないものとしては開口問題に影響を受けやすいエッジ上の特徴点と、ノイズの影響を受けやすいＤｏＧ画像中の画素値が低い特徴点が挙げられる。エッジ上の特徴点は主曲率により、画素値が低い特徴点はコントラストを利用することにより、安定したキーポイントに絞り込む。
【００６４】
まず、画像検索サーバ１０のシステム制御部１６は、各特徴点におけるＤｏＧ画像の画素値の２次微分から２次元ヘッセ行列を計算し、主曲率を求める。そして、画像検索サーバ１０のシステム制御部１６は、ヘッセ行列の第１固有値と第２固有値との固有値の比率の関係式を、ヘッセ行列のトレース和と行列式とから求め、エッジ上にあるか否かを判定する。画像検索サーバ１０のシステム制御部１６は、固有値の比率が、所定の閾値より大きい場合、エッジ上に存在する不要な特徴点として、特徴点を削除する。
【００６５】
次に、画像検索サーバ１０のシステム制御部１６は、ＤｏＧ画像Ｄ（ｘ，ｙ，σ）の２次のテイラー展開に対し、点Ｘ＝（ｘ、ｙ、σ）に関する偏導関数を求め、その偏導関数が０となる点をサブピクセル位置Ｘ＾＝（ｘ＾，ｙ＾，σ＾）とする。
【００６６】
画像検索サーバ１０のシステム制御部１６は、サブピクセル位置Ｘ＾でのＤｏＧ画像の画素値の関係式より、サブピクセル位置Ｘ＾でのＤｏＧ画像の画素値を求め、この画素値の絶対値が、所定の閾値より小さい場合（コントラストが低い場合）、ノイズに影響されやすい特徴点であるため、この特徴点を削除する。このように画像検索サーバ１０のシステム制御部１６は、特徴点に対して特徴点の選定を行う特徴点選定手段の一例として機能する。また、画像検索サーバ１０のシステム制御部１６は、所定の閾値に基づき特徴点の選定を行う特徴点選定手段の一例として機能する。
【００６７】
これらの処理により、図７に示すように、各ＤＢ画像に対して、選定された特徴点が求まる。なお、所定の閾値は、図３に示すように、予め設定しておく。
【００６８】
（３．３ 画像検索）
次に、端末から受け付けた検索クエリ画像に基づき、画像検索をする動作について、図９〜図１３を用いて説明する。図９は、画像検索システム１の動作例を示すフローチャートである。図１０は、検索クエリ画像の一例を示す模式図である。図１１及び図１３は、検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。図１２は、画像検索結果の一例を示す模式図である。
【００６９】
まず、端末２０のシステム制御部２６は、ユーザにより画像データが添付された検索クエリを、画像検索サーバ１０に送信する。
【００７０】
次に、図９に示すように、画像検索サーバ１０は、検索クエリ画像の入力を受け付ける（ステップＳ２０）。具体的には、画像検索サーバ１０のシステム制御部１６は、通信部１１を通して、端末２０から検索クエリ画像（第２の画像の一例）を受信する。なお、図１０（Ａ）には人物像の検索クエリ画像３５、図１０（Ｂ）には、建物の検索クエリ画像３５、図１０（Ｃ）には、複数のオブジェクトが写っている検索クエリ画像３５が例示してある。このように画像検索サーバ１０のシステム制御部１６は、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段の一例として機能する。
【００７１】
次に、画像検索サーバ１０は、検索クエリ画像の特徴点を抽出する（ステップＳ２１）。具体的には、画像検索サーバ１０のシステム制御部１６は、図８に示した特徴点抽出のサブルーチンにより、ＤＢ画像の場合のステップＳ２と同様に、検索クエリ画像に対しても特徴点（第２の特徴点の一例）を抽出する。このように画像検索サーバ１０のシステム制御部１６は、第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段の一例として機能する。
【００７２】
次に、画像検索サーバ１０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ２２）。具体的には、画像検索サーバ１０のシステム制御部１６は、ＤＢ画像の場合のステップＳ３と同様に、検索クエリ画像の特徴点の周辺領域の勾配情報（１２８次元の特徴量）を算出する。このように画像検索サーバ１０のシステム制御部１６は、特徴点の周辺領域における勾配情報を算出する勾配情報算出手段の一例として機能する。
【００７３】
次に、画像検索サーバ１０は、勾配情報に基づき、検索クエリ画像の特徴点とＤＢ画像の特徴点との対応特徴点を探索する（ステップＳ２３）。具体的には、画像検索サーバ１０のシステム制御部１６は、まず、検索クエリ画像３５のある特徴点における勾配情報と、画像関連情報ＤＢ１２ｂを参照して、あるＤＢ画像３０におけるすべての特徴点の勾配情報との距離（例えば、ユークリッド距離）を算出する。そして、画像検索サーバ１０のシステム制御部１６は、これらの距離の最小値を求め、最小値を示すこのＤＢ画像３０の特徴点を特定する。次に、画像検索サーバ１０のシステム制御部１６は、この最小値が所定の閾値以下となった場合に、検索クエリ画像３５のある特徴点と、この特定されたＤＢ画像３０の特徴点とを、互いに対応する対応特徴点とする。
【００７４】
次に、画像検索サーバ１０のシステム制御部１６は、同様に、検索クエリ画像の他の特徴点に対しても対応特徴点を求める。図１１（Ａ）は、検索クエリ画像３５の対応特徴点と、あるＤＢ画像３０の対応特徴点とを直線により結んだ図である。
【００７５】
次に、図１１（Ｂ）及び図１１（Ｃ）に示すように、画像検索サーバ１０のシステム制御部１６は、画像関連情報ＤＢ１２ｂを参照して、他のＤＢ画像３０においても、対応特徴点を探索する。また、画像検索サーバ１０のシステム制御部１６は、対応特徴点の組の個数も算出する。なお、図１１（Ａ）は、ＤＢ画像３０が検索クエリ画像３５と同一の画像の場合で、図１１（Ｂ）の図１１（Ａ）の画像の一部からトリミングしたトリミング画像（ＤＢ画像３０）の場合で、図１１（Ｃ）は、図１１（Ａ）の画像（特に顔の部分）に歪みを加えた画像（ＤＢ画像３０）である。
【００７６】
これらのように画像検索サーバ１０のシステム制御部１６は、第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段の一例として機能する。また画像検索サーバ１０のシステム制御部１６は、勾配情報に基づき、対応特徴点を探索する対応特徴点探索手段の一例として機能する。
【００７７】
次に、画像検索サーバ１０は、各対応特徴点を含む各対応領域間の領域類似度を算出する（ステップＳ２４）。まず、画像検索サーバ１０のシステム制御部１６は、検索クエリ画像及びＤＢ画像のそれぞれに対して、対応特徴点を含む局所領域を対応領域として抽出する。そして、画像検索サーバ１０のシステム制御部１６は、ＳＳＩＭ（Structural SIMilarity）アルゴリズムにより、検索クエリ画像及びＤＢ画像において対応する対応領域間の領域類似度を算出する。画像検索サーバ１０のシステム制御部１６は、各対応領域間に対して領域類似度を算出する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段の一例として機能する。
【００７８】
ここで、ＳＳＩＭアルゴリズムは、２つの画像における画素値の平均値、分散、及び共分散（相互相関の一例）より、画像間の類似度を計測する。この類似度は、０〜１の数値で表現され，結果が１の場合には画像の完全な一致を表す。このように画像検索サーバ１０のシステム制御部１６は、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する対応領域類似度算出手段の一例として機能する。
【００７９】
次に、画像検索サーバ１０は、領域類似度に基づき、画像類似度を算出する（ステップＳ２５）。具体的には、画像検索サーバ１０のシステム制御部１６は、各領域類似度の合計（加算）し、対応特徴点の組の個数で割ることにより平均し、正規化された画像類似度を算出する。画像検索サーバ１０は、各ＤＢ画像に対して、画像類似度を算出し、この画像類似度を画像ＩＤに関連付けて、記憶部やＲＡＭ１６ｃ等に一時的に記憶する。このように画像検索サーバ１０のシステム制御部１６は、対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出する画像類似度算出手段の一例として機能する。
【００８０】
なお、正規化された画像類似度に検索クエリ画像の特徴点数に対するＤＢ画像の特徴点数の割合を考慮して決定して（例えば、正規化された画像類似度にこの割合を乗算する）、画像類似度を算出してもよい。この場合、検索対象のＤＢ画像が、検索クエリ画像の部分的な特徴を多く含む場合に、類似の評価が高くなり、人間が類似と感じやすい検索結果の画像の順位が高くなる。
【００８１】
次に、画像検索サーバ１０は、画像類似度に基づき検索クエリ画像に類似したＤＢ画像を選択する（ステップＳ２６）。具体的には、画像検索サーバ１０のシステム制御部１６は、画像ＤＢ１２ａや画像関連情報ＤＢ１２ｂから、画像類似度の高い順に、例えば、上位１０件の画像（画像ＩＤ）を選択する。このように画像検索サーバ１０のシステム制御部１６は、第１画像記憶手段を参照して、画像類似度に基づき、第１の画像を選択する選択手段の一例として機能する。
【００８２】
次に、画像検索サーバ１０は、選択した画像を出力する（ステップＳ２７）。具体的には、画像検索サーバ１０のシステム制御部１６は、選択した画像ＩＤに基づき、画像ＤＢ１２ａや画像関連情報ＤＢ１２ｂを参照して、選択した画像ＩＤに関連した画像やＵＲＬ情報やスニペット等を読み出す。そして、画像検索サーバ１０のシステム制御部１６は、図１２に示すように、検索結果が端末２０の表示部２３に表示されるように、ＨＴＭＬ（Hyper Text Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語によりファイルを生成し、端末２０に送信することにより、端末２０に出力する。このように画像検索サーバ１０のシステム制御部１６は、選択された第１の画像を検索結果として出力する第１画像出力手段の一例として機能する
【００８３】
次に、端末２０のシステム制御部２６は、通信部２１を通して、検索結果としてＨＴＭＬファイルのデータを受信し、表示部２３に画像を表示させる。
【００８４】
ここで、対応特徴点のシミュレーション結果について図１１及び図１３を用いて説明する。図１３は、他の検索クエリ画像の場合の対応特徴点の様子を示した場合である。
【００８５】
図１１（Ｂ）及び図１３（Ａ）に示すように、検索クエリ画像３５のトリミング画像の場合、トリミング画像（ＤＢ画像３０）の特徴点と、検索クエリ画像３５のトリミングされた部分の特徴点とが対応していることが分かる。また、図１３（Ｂ）に示すように、解像度が異なる画像（ＤＢ画像３０）の場合、対応特徴点の個数は減少するが、対応特徴点同士を結んだ直線の交差がほとんど無く、各対応特徴点同士の対応がよく取れていることが分かる。また、図１３（Ｄ）に示すように、検索クエリ画像３５に対してSeam Carvingの処理がされた画像（ＤＢ画像３０）の場合、画像内の各オブジェクトの特徴点同士が対応していることが分かる。また、図１１（Ｃ）に示すように、歪められた顔の部分に対応特徴点がほとんど無いことが分かる。また、画像が類似しなくなると、対応特徴点の組の個数が減少することも分かる。
【００８６】
以上、本実施形態によれば、ＤＢ画像３０を記憶し、ＤＢ画像３０の特徴点を抽出し、検索クエリ画像３５の入力を受け付け、検索クエリ画像３５の特徴点を抽出し、ＤＢ画像３０の特徴点と検索クエリ画像３５の特徴点とにおいて、互いに対応する対応特徴点を探索し、ＤＢ画像３０の対応特徴点を含む対応領域と、検索クエリ画像３５の対応特徴点を含む対応領域との対応領域類似度を算出し、対応領域類似度に基づき、ＤＢ画像３０と検索クエリ画像３５との画像類似度を算出し、画像類似度に基づき、ＤＢ画像３０を選択し、選択されたＤＢ画像３０を検索結果として出力することにより、解像度、構図、画質等の画像を変容させる要因が異なっても、人間の主観的評価に近い適切な類似度に基づいた画像検索結果を得ることができる。
【００８７】
また、ＤＢ画像３０からＤＢ画像３０の特徴点を選定し、検索クエリ画像３５から検索クエリ画像３５の特徴点を選定する場合、ステップＳ１４のように、特徴点として適切でない点が削除され、特徴点の数が減少するため、画像関連情報ＤＢ１２ｂの規模を小さくでき、かつ、画像検索が高速になる。また、画像を表す特徴量として適切な特徴点に選定されているため、画像検索の精度も向上する。
【００８８】
また、所定の閾値に基づき、ＤＢ画像３０からＤＢ画像３０の特徴点を選定する場合、又は、検索クエリ画像３５から検索クエリ画像３５の特徴点を選定する場合、閾値を調整することにより、例えば、閾値を高くすると、検索結果の候補が絞られ、ほぼ同一の画像を得ることができる。
【００８９】
また、ＤＢ画像３０又は検索クエリ画像３５に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる平滑化画像間での差分処理をして差分・平滑化画像（例えば、ＤｏＧ画像）を求め、差分・平滑化画像において、極値となる特徴点を抽出する場合、平滑化により雑音に対して頑健で、差分・平滑化画像により、画像の特徴的部分である画像値の極値となる部分を取り出すことができる。
【００９０】
また、特徴点の周辺領域における勾配情報を算出し、勾配情報に基づき、対応特徴点を探索する場合、特徴点の周辺領域の画像変化を表す勾配情報により、ＤＢ画像３０と検索クエリ画像３５において、互いに勾配情報が類似した特徴点を、対応特徴点として的確に見つけ出すことができる。
【００９１】
また、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する場合、対応領域間において、構造的類似度を算出しているため、人間の主観に近い類似度を算出できる。
【００９２】
また、ＤＢ画像３０から抽出された特徴点を予め記憶する場合、検索の速度が高速化できる。
【００９３】
なお、ステップＳ２４において、画像検索サーバ１０のシステム制御部１６は、対応領域類似度算出手段として、各対応領域の画素値の最大値と、対応領域の間における画素値の差とに基づき、対応領域類似度を算出してもよい。例えば、ＰＳＮＲ(Peak Signal to Noise Ratio)やＷＳＮＲ(Weighted SNR)等により、対応領域類似度が算出される。
【００９４】
この場合も、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい画像類似度を算出できる。
【００９５】
また、ステップＳ２やステップＳ２１の特徴点の抽出において、特徴点抽出のサブルーチンに示した方法以外でもよい。例えば、コーナーの検出や、エッジの強調やHough変換等による線・輪郭の抽出や、領域の抽出等が挙げられる。線や領域の場合は、ステップＳ１４の特徴点の選定により、特徴点を求める。
【００９６】
また、検索クエリ画像３５の特徴点における勾配情報と、ＤＢ画像３０における特徴点の勾配情報との距離は、ユークリッド距離の他に、マハラノビス距離等、特徴量空間における距離ならばよい。また領域類似度から画像類似度を求める際、領域類似度の算術平均の他に、幾何平均、調和平均、重み付け平均や、対応特徴点の組の個数を考慮して画像類似度が算出されてもよい。
【００９７】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像評価装置の概略構成、機能及び動作について、図１４を用いて説明する。なお、前記第１実施形態と同一又は対応する部分には、同一の符号を用いて異なる構成及び作用のみを説明する。その他の実施形態及び変形例も同様とする。
【００９８】
本実施形態は、画像評価装置の一例として端末２０が単独で動作し、記憶部２２に画像評価用の画像類似度算出プログラムが予め記憶されている。
【００９９】
図１４は、画像評価装置（画像類似度算出装置の一例）の動作例を示すフローチャートである。図１４に示すように、画像評価装置の一例の端末２０は、基準画像の入力を受け付ける（ステップＳ３０）。端末２０のシステム制御部２６は、画像評価を行う画像の基準となる基準画像（第１の画像の一例）の入力を、操作部２４の操作により受け付ける。例えば、システム制御部２６は、操作部２４の操作により選択された、記憶部２２に記憶してある基準画像をＲＡＭ２６ｃに読み込む。なお、この基準画像は、第１実施形態のＤＢ画像に対応する。
【０１００】
次に、端末２０は、基準画像の特徴点を抽出する（ステップＳ３１）。端末２０のシステム制御部２６は、ステップＳ２に対応して、特徴点抽出サブルーチンにより、基準画像から特徴点（第１の特徴点の一例）を抽出する。
【０１０１】
次に、端末２０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３２）。端末２０のシステム制御部２６は、ステップＳ３に対応して、取得した画像の各特徴点におけるオリエンテーションを算出し、勾配情報として算出したオリエンテーションに基づき１２８次元の特徴量を算出する。
【０１０２】
次に、端末２０は、評価対象画像の入力を受け付ける（ステップＳ３３）。端末２０のシステム制御部２６は、評価対象画像（第２の画像の一例）の入力を操作部２４により受け付ける。例えば、システム制御部２６は、操作部２４の操作により選択された、記憶部２２に記憶してある評価対象画像をＲＡＭ２６ｃに読み込む。なお、この評価対象画像は、第１実施形態のクエリ画像に対応し、このステップは、ステップＳ２０に対応する。
【０１０３】
次に、端末２０は、評価対象画像の特徴点を抽出する（ステップＳ３４）。端末２０のシステム制御部２６は、ステップＳ２１に対応して特徴点抽出のサブルーチンにより評価対象画像の特徴点を抽出する。
【０１０４】
次に、端末２０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３５）。端末２０のシステム制御部２６は、ステップＳ２２に対応して、評価対象画像の特徴点の周辺領域の勾配情報を算出する。
【０１０５】
次に、端末２０は、勾配情報に基づき、基準画像の特徴点と評価対象画像の特徴点との対応特徴点を探索する（ステップＳ３６）。端末２０のシステム制御部２６は、ステップＳ２３に対応して、対応特徴点を探索して求める。
【０１０６】
次に、端末２０は、各対応特徴点を含む各対応領域間の領域類似度を算出する（ステップＳ３７）。端末２０のシステム制御部２６は、ステップＳ２４に対応して、各対応領域間の領域類似度を算出する。
【０１０７】
次に、端末２０は、領域類似度に基づき、画像類似度（画質評価値）を算出する（ステップＳ３８）。端末２０のシステム制御部２６は、ステップＳ２５に対応して、各領域類似度を合計し、対応特徴点の組の個数で割ることにより平均し、正規化された画像類似度を算出して画質評価値とする。そして、端末２０のシステム制御部２６は、この画質評価値を表示部２３に表示させる。
【０１０８】
このように、基準画像（第１の画像の一例）の入力を受け付け、基準画像における第１の特徴点を抽出し、評価対象画像（第２の画像の一例）の入力を受け付け、評価対象画像から第２の特徴点を抽出し、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出し、対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出することにより、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい類似度を算出でき、画像の評価を行うことができる。
【０１０９】
特に、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する場合、対応領域間において、構造的類似度を算出しているため、人間の主観に近い画像評価を行うことができる。
【０１１０】
なお、画像検索サーバ１０に基準画像が入力されて、ＤＢ画像として記憶させておき、端末２０が、評価対象画像を画像検索サーバ１０に送信し、画像検索サーバ１０が、画質評価値として画像類似度を検索結果として応答を返すという構成でもよい。
【０１１１】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０１１２】
１：画像検索システム
１０：画像検索サーバ（画像検索装置）
２０：端末（画像類似度算出装置）
３０：ＤＢ画像（第１の画像）
３５：検索クエリ画像（第２の画像）
【技術分野】
【０００１】
本発明は、画像の類似度を利用して画像を検索する技術分野に関する。
【背景技術】
【０００２】
画像の検索方法においては、タグと呼ばれるテキスト情報を付加して画像を記憶したり、画像の特徴量に関連付けて画像を記憶したりして、検索データベースが構築されている。検索の際、この検索データベースが参照され、タグを利用して検索キーワードにより画像検索が行われたり、検索クエリ画像の特徴量の類似度に基づき、画像検索が行われたりしている。
【０００３】
これら画像の検索方法において、画像検索の精度を向上させ、ユーザが探している画像に的確にヒットさせるために様々な工夫がなされている。例えば、特許文献１には、画像検索のための基本クエリ画像を受け付け、基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成し、基本クエリ画像及び疑似クエリ画像の両方について、それぞれ、複数の対象画像から、類似画像を検索することにより、仮検索結果を得て、仮検索結果を統合して、全体的な順位付けを行うことにより、出力用検索結果を得る画像検索技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６１２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、インターネット等のネットワーク上にある画像においては、画像の解像度の違い、画像における構図の違い、画像の画質の違い等、画像を変容させる画像変容要因が様々あるため、上記技術等の従来技術では、人間の主観的評価に近い適切な類似度を算出することが難しかった。そのため、画像検索において、類似な画像を取りこぼすという問題があった。また、画質の評価において、基準画像と、評価対象画像との類似度に基づき、画像変容要因の影響を受けにくい画質評価をすることが難しかった。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、その目的は、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい類似度に基づいた画像検索装置、画像検索方法、画像検索プログラム、記録媒体、及び画像類似度算出プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像検索装置は、第１の画像を記憶する第１画像記憶手段と、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段と、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段と、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段と、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段と、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段と、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出手段と、前記第１画像記憶手段を参照して、前記画像類似度に基づき、第１の画像を選択する選択手段と、前記選択された第１の画像を検索結果として出力する第１画像出力手段と、を備える。
【０００８】
本発明に係る画像検索装置において、前記特徴点に対して特徴点の選定を行う特徴点選定手段を更に備えるように構成する。
【０００９】
本発明に係る画像検索装置において、前記特徴点選定手段が、所定の閾値に基づき前記特徴点の選定を行うように構成する。
【００１０】
本発明に係る画像検索装置において、前記第１又は第２画像特徴点抽出手段が、前記画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる前記平滑化画像間での差分処理をして差分・平滑化画像を求め、前記差分・平滑化画像において、極値となる前記特徴点を抽出するように構成する。
【００１１】
本発明に係る画像検索装置において、前記特徴点の周辺領域における勾配情報を算出する勾配情報算出手段を更に備え、前記対応特徴点探索手段が、前記勾配情報に基づき、前記対応特徴点を探索するように構成する。
【００１２】
本発明に係る画像検索装置において、前記対応領域類似度算出手段が、各前記対応領域の画素値の平均及び分散と、前記対応領域の間における画素値の相互相関とに基づき、前記対応領域類似度を算出するように構成する。
【００１３】
本発明に係る画像検索装置において、前記対応領域類似度算出手段が、各前記対応領域の画素値の最大値と、前記対応領域の間における画素値の差とに基づき、前記対応領域類似度を算出するように構成する。
【００１４】
本発明に係る画像検索装置において、抽出された前記第１の特徴点を予め記憶する第１画像特徴点記憶手段を更に備えるように構成する。
【００１５】
上記課題を解決するために、本発明に係る画像検索方法は、画像の検索を行う画像検索装置の画像検索方法において、前記画像検索装置が、第１の画像を記憶する第１画像記憶ステップと、前記画像検索装置が、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を有する。
【００１６】
上記課題を解決するために、本発明に係る画像検索プログラムは、コンピュータに、第１の画像を記憶する第１画像記憶ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を実行させる。
【００１７】
上記課題を解決するために、本発明に係る記録媒体は、コンピュータに、第１の画像を記憶する第１画像記憶ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、前記画像類似度に基づき、第１の画像を選択する選択ステップと、前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、を実行させる画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１８】
上記課題を解決するために、本発明に係る画像類似度算出プログラムは、コンピュータを、第１の画像の入力を受け付ける第１画像入力ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、を実行させる。
【００１９】
上記課題を解決するために、本発明に係る記録媒体は、コンピュータを、第１の画像の入力を受け付ける第１画像入力ステップと、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、第２の画像の入力を受け付ける第２画像入力ステップと、前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、を実行させる画像類似度算出プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２０】
本発明によれば、第１の画像における第１の特徴点を抽出し、検索クエリ画像として第２の画像から第２の特徴点を抽出し、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出し、この画像類似度に基づき画像検索をすることにより、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい対応領域間の対応領域類似度を算出し、各対応特徴点における対応領域類似度から第１画像と第２画像との画像全体の画像類似度を算出して、この画像類似度に基づき画像検索を行っているので、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい画像検索ができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る画像検索システムの概要構成例を示す模式図である。
【図２】図１の画像検索サーバの概要構成の一例を示すブロック図である。
【図３】図２の画像関連情報データベースに記憶された画像関連情報テーブルの一例を示す模式図である。
【図４】図１の端末の概要構成の一例を示すブロック図である。
【図５】図１の画像検索システムにおけるデータベース構築の動作例を示すフローチャートである。
【図６】図２の画像データベースに保存されている画像の一例を示す模式図である。
【図７】図６の画像に対して特徴点を示した模式図である。
【図８】特徴点抽出のサブルーチンを示すフローチャートである。
【図９】図１の画像検索システムの動作例を示すフローチャートである。
【図１０】検索クエリ画像の一例を示す模式図である。
【図１１】検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。
【図１２】画像検索結果の一例を示す模式図である。
【図１３】検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。
【図１４】画像評価装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明を実施するための形態について説明する。
【００２３】
＜第１実施形態＞
まず、本発明の第１実施形態に係る画像検索システムについて説明する。
【００２４】
［１．画像検索システムの構成及び機能概要］
本発明の第１実施形態に係る画像検索システムの構成及び概要機能について、図１を用いて説明する。図１は、本実施形態に係る画像検索システム１の概要構成例を示す模式図である。
【００２５】
図１に示すように、画像検索システム１は、受信した検索クエリ画像に対する検索結果の画像を求める画像検索サーバ（画像検索装置の一例）１０と、検索クエリ画像を送信する端末２０（端末の一例）と、を備えている。
【００２６】
画像検索サーバ１０と、端末２０とは、ネットワーク３により接続され、通信プロトコル（例えば、ＴＣＰ／ＩＰ）により、データの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及び、ゲートウェイ等により構築されている。
【００２７】
また、画像検索サーバ１０は、ネットワーク３を通して、外部のウェブサーバ５に接続していて、ウェブサーバ５等から画像を収集してくる。そして、画像検索サーバ１０は、高速に画像検索を行うため、収集した画像から、画像の特徴点等の情報を抽出して、画像と共に予めデータベースを構築しておく。
【００２８】
［２．画像検索サーバ等の構成及び機能］
（２．１ 画像検索サーバ１０の構成及び機能）
次に、画像検索サーバ１０の構成及び機能について、図２及び図３を用いて説明する。図２は、画像検索サーバ１０の概要構成の一例を示すブロック図である。図３は、画像関連情報データベースに記憶された画像関連情報テーブルの一例を示す模式図である。
【００２９】
図２に示すように、コンピュータとして機能する画像検索サーバ１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００３０】
通信部１１は、ネットワーク３に接続して端末２０、ウェブサーバ５等との通信状態を制御し、データの送受信を行う。
【００３１】
記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステム及びサーバプログラム等の各種プログラムや、データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３２】
また、記憶部１２には、ウェブサーバ５等から収集した画像を記憶する画像データベース（ＤＢ）１２ａ（以下「画像ＤＢ」とする。）、画像関連情報データベース（ＤＢ）１２ａ（以下「画像関連情報ＤＢ」とする。）等が構築されている。
【００３３】
画像ＤＢ１２ａ（第１画像記憶手段の一例）には、ウェブサーバ５等から収集した画像（第１の画像の一例）が、割り当てられた画像ＩＤに関連付けられて記憶されている。
【００３４】
画像関連情報ＤＢ１２ｂ（第１画像特徴点記憶手段の一例）には、図３に示すように、画像関連情報テーブルには、画像ＩＤにより各画像に関連付けられ、画像のＵＲＬ（Uniform Resource Locator）情報、画像の解像度、画像の特徴点の座標、特徴点周辺の勾配情報、特徴点を選択する際の閾値（所定の閾値の一例）、画像に付されたタグ情報等が記憶されている。なお、特徴点、勾配情報、閾値に関する詳細は、後述する。
【００３５】
表示部１３は、例えば、液晶表示素子又はＥＬ（Electro Luminescence）素子等によって構成されている。
【００３６】
操作部１４は、例えば、キーボード及びマウス等によって構成されている。
【００３７】
次に、入出力インターフェース部１５は、通信部１１及び記憶部１２とシステム制御部１６との間のインターフェース処理を行う。
【００３８】
システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、画像から特徴点を抽出する処理等を行う。
【００３９】
（２．２ 端末２０の構成及び機能）
次に、端末２０の構成及び機能について、図４を用いて説明する。図４は、端末２０の概要構成の一例を示すブロック図である。
【００４０】
図４に示すように、コンピュータとして機能する端末２０は、例えば、パーソナルコンピュータや携帯型無線電話機やＰＤＡ等の携帯端末であり、通信部２１と、記憶部２２と、表示部２３と、操作部２４と、入出力インターフェース部２５と、システム制御部２６とを備えている。そして、システム制御部２６と入出力インターフェース部２５とは、システムバス２７を介して接続されている。
【００４１】
通信部２１は、ネットワーク３を通して、画像検索サーバ１０等と通信を制御する。なお、端末２０が携帯型無線電話機の場合、ネットワーク３の移動体通信網に接続するために、通信部２１は、無線通信機能を有する。
【００４２】
記憶部２２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、Ｗｅｂブラウザプログラム等の各種のプログラムを記憶する。なお、各種プログラムは、例えば、サーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００４３】
表示部２３は、例えば、液晶表示素子又はＥＬ素子等によって構成されている。表示部２３には、画像検索サーバ１０から取得した画像検索結果のウェブページ等が表示される。
【００４４】
操作部２４は、例えば、キーボード及びマウス等によって構成されている。ユーザは、操作部３４により画像を含む検索クエリ等を入力する。なお、表示部２３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部２４は、表示部２３の画面が押された箇所の位置情報を取得する。
【００４５】
入出力インターフェース部２５は、通信部２１及び記憶部２２とシステム制御部２６とのインターフェースである。
【００４６】
システム制御部２６は、例えば、ＣＰＵ２６ａと、ＲＯＭ２６ｂと、ＲＡＭ２６ｃとを有する。
【００４７】
システム制御部２６は、ＣＰＵ２６ａが、ＲＯＭ２６ｂや、ＲＡＭ２６ｃや、記憶部２２に記憶された各種プログラムを読み出して実行する。
【００４８】
［３．画像検索システムの動作］
（３．１ 画像データベースの構築）
本発明の一実施形態に係る画像検索システム１における画像ＤＢ１２ａ及び画像関連情報ＤＢ１２ｂの構築について図５、図６、及び、図７を用いて説明する。図５は、画像検索システム１においてデータベース構築の手順を示すブロック図である。図６は、画像データベースに保存されているデータベース画像の一例を示す模式図である。図７は、データベース画像における特徴点を示した模式図である。
【００４９】
画像検索サーバ１０は、検索用のデータベース画像（ＤＢ画像）を取得する（ステップＳ１）。具体的には、画像検索サーバ１０のシステム制御部１６は、クローリング等によりウェブサーバ５等から収集したＤＢ画像（第１の画像の一例）を取得する。そして、画像検索サーバ１０のシステム制御部１６は、取得した画像に画像ＩＤを割り当て、画像ＩＤに関連付けて、図６に示すような複数のＤＢ画像３０を画像ＤＢ１２ａに記憶する。また、画像検索サーバ１０のシステム制御部１６は、取得した画像のＵＲＬ情報や画像の解像度、画像に付されたタグ等を、画像関連情報ＤＢ１２ｂに記憶する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像を記憶する第１画像記憶手段の一例として機能する。
【００５０】
次に、画像検索サーバ１０は、ＤＢ画像の特徴点を抽出する（ステップＳ２）。具体的には、画像検索サーバ１０のシステム制御部１６は、特徴点抽出サブルーチンにより、図７に示すように、ＤＢ画像から特徴点（第１の特徴点の一例）を抽出する。この特徴点抽出は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）の手法を用いて実行される。この特徴点は、ＳＩＦＴの場合、キーポイントと呼ばれる。なお、詳細は、後述する特徴点抽出サブルーチンにて説明する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段の一例として機能する。
【００５１】
次に、画像検索サーバ１０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３）。具体的には、まず画像検索サーバ１０のシステム制御部１６は、取得した画像の各特徴点におけるオリエンテーションを算出する。オリエンテーションは、後で算出する画像の特徴量が、回転に不変な特徴量となるように、特徴点のオリエンテーションを求め、オリエンテーションにより正規化するために利用される。
【００５２】
このオリエンテーションは、特徴点における方向を表し、特徴点に対して求めた重み付き勾配方向ヒストグラムによって決定される。例えば、システム制御部１６は、画像データＩ（ｘ，ｙ）に対してあるスケール（標準偏差σ）を有するガウシアンフィルタＧ（ｘ，ｙ，σ）を適用し、平滑化画像Ｌ（ｘ，ｙ）を得る。次に、システム制御部１６は、特徴点を中心とした局所領域における平滑化画像Ｌ（ｘ，ｙ）の勾配強度と勾配方向を求め、勾配強度と勾配方向とから、例えば３６方向に量子化した勾配方向ヒストグラムを算出する。なお、特徴点に近い領域の勾配をより強く反映させるため、システム制御部１６は、勾配強度に対して、特徴点を中心としたガウシアンウインドを被せて、重み付けされた勾配方向ヒストグラムを算出する。
【００５３】
そして、システム制御部１６は、この３６方向に対するヒストグラムの最大値をオリエンテーションとして割り当てる。なお、システム制御部１６は、この最大値を１００％とした場合における８０％以上となる方向も特徴点のオリエンテーションとして割り当ててもよい。
【００５４】
次に、システム制御部１６は、周辺領域の勾配情報として、算出したオリエンテーションに基づき１２８次元の特徴量を算出する。例えば、システム制御部１６は、算出したオリエンテーションに合わせて、特徴点の周辺領域を回転させる。この周辺領域を、１辺を４ブロックの計１６ブロックに分割し、特徴点のオリエンテーションを算出したように、各ブロックに対して８方向の勾配方向ヒストグラムを算出する。
【００５５】
システム制御部１６は、４×４＝１６ブロックに対して、各８方向の勾配方向ヒストグラムを作成するため、１２８次元の特徴ベクトルとして、特徴点の周辺領域の勾配情報を算出する。この勾配情報は、各特徴点が持つオリエンテーション方向に座標軸を合わせた領域で特徴を算出しているので、回転に不変な特徴量となる。また、勾配情報の一例である１２８次元の各特徴ベクトルの長さはベクトルの総和で正規化されるので、照明変化に対して影響の少ない特徴量となる。
【００５６】
次に、画像検索サーバ１０は、ＤＢ画像、特徴点、及び勾配情報を記憶する（ステップＳ４）。具体的には、画像検索サーバ１０のシステム制御部１６は、図３に示すように、ＤＢ画像の各特徴点、及び、各特徴点における勾配情報を画像ＩＤに関連付けて画像関連情報ＤＢ１２ｂに記憶する。このように画像検索サーバ１０のシステム制御部１６は、抽出された第１の特徴点を予め記憶する第１画像特徴点記憶手段の一例として機能する。
【００５７】
（３．２ 特徴点抽出のサブルーチン）
次に、特徴点抽出のサブルーチンについて、図８を用いて説明する。図８は、特徴点抽出のサブルーチンを示すフローチャートである。なお、この特徴点抽出のサブルーチンは、例えば、ＳＩＦＴの手法におけるキーポイントの検出及びキーポイントのローカライズに当たる。
【００５８】
図８に示すように、まず、画像検索サーバ１０は、取得したＤＢ画像に対して、所定のスケールの平滑化画像を求める（ステップＳ１０）。具体的には、画像検索サーバ１０のシステム制御部１６は、スケール（ガウス関数の標準偏差）の異なるガウシアンフィルタを用いて、取得したＤＢ画像に対する複数の平滑化画像を求める。更に具体的には、画像検索サーバ１０のシステム制御部１６は、ガウス関数Ｇ（ｘ，ｙ，σ）と入力画像の画像データＩ（ｕ，ｖ）を畳み込んで、平滑化画像Ｌ（ｕ，ｖ，σ）を求める。なお、ここでｘ、ｙは、注目画素からの距離、標準偏差σはガウシアンフィルタのスケール、ｕ及びｖは、注目画素を表す。
【００５９】
次に、画像検索サーバ１０は、スケールが異なる平滑化画像間のＤｏＧ画像（Difference-of-Gaussian 画像）を求める（ステップＳ１１）。具体的には、画像検索サーバ１０のシステム制御部１６は、スケールの異なるガウス関数で平滑化した２枚の平滑化画像の差分画像を求めることで、ＤｏＧ画像（差分・平滑化画像の一例）を求める。例えば、ガウシアンフィルタのスケールの初期値σ０、ガウシアンフィルタのスケールの増加率ｋとすると、画像検索サーバ１０のシステム制御部１６は、スケールの初期値σ０からｋ倍ずつ増加させたスケール（σ０、ｋσ０、ｋ２σ０、ｋ３σ０・・・）において、異なるスケール間（例えば、スケールｋσ０とスケールｋ２σ０との間）で、差分画像を求めることで、複数のＤｏＧ画像を求める。
【００６０】
次に、画像検索サーバ１０は、複数のＤｏＧ画像における極値を求める（ステップＳ１２）。具体的には、画像検索サーバ１０のシステム制御部１６は、ＤｏＧ画像３枚１組に対して、例えば、ＤｏＧ画像Ｄ(ｕ，ｖ，ｋ２σ０)の注目画素と、その周りの例えば２６近傍を比較し、極値を求める。この極値検出は、スケールの値の小さいＤｏＧ画像から順に行い、一度極値が検出された画素は、より大きなスケールで極値が検出されたとしても特徴点にしない。この処理をスケールの異なるＤｏＧ画像の全画素に対して行う。ここで、ＤｏＧ画像は、異なるスケールによる２枚の平滑化画像の差分からなる画像であるため、ＤｏＧ画像内のある座標の画素値が大きくなるスケールでは、スケールの変化領域にエッジ等の情報量を多く含んでいるといえる。そこで、ＤｏＧ画像から極値を検出し、特徴点（キーポイント）とスケールが決定される。なお、画像サイズが２倍となると、極値探索により検出された特徴点のスケールも比例して２倍となる。ＳＩＦＴ法は、特徴を最も含むスケールを自動的に決定するため、空間的に同範囲の領域から特徴量を記述することで、画像の拡大・縮小に対して不変な特徴量となる。
【００６１】
このように画像検索サーバ１０のシステム制御部１６は、画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる平滑化画像間での差分処理をして差分・平滑化画像を求め、差分・平滑化画像において、極値となる特徴点を抽出する第１又は第２画像特徴点抽出手段の一例として機能する。
【００６２】
次に、画像検索サーバ１０は、極値となった画素を特徴点とする（ステップＳ１３）。具体的には、画像検索サーバ１０のシステム制御部１６は、注目画素の周辺の近傍における値を比較し、極値であった場合には、その画素を特徴点として検出する。
【００６３】
次に、画像検索サーバ１０は、特徴点を選定する（ステップＳ１４）。この特徴点選定は、ＳＩＦＴの手法におけるキーポイントのローカライズに当たり、検出された特徴点のうち、特徴点として適切でない点が削除される。例えば、特徴点として適切でないものとしては開口問題に影響を受けやすいエッジ上の特徴点と、ノイズの影響を受けやすいＤｏＧ画像中の画素値が低い特徴点が挙げられる。エッジ上の特徴点は主曲率により、画素値が低い特徴点はコントラストを利用することにより、安定したキーポイントに絞り込む。
【００６４】
まず、画像検索サーバ１０のシステム制御部１６は、各特徴点におけるＤｏＧ画像の画素値の２次微分から２次元ヘッセ行列を計算し、主曲率を求める。そして、画像検索サーバ１０のシステム制御部１６は、ヘッセ行列の第１固有値と第２固有値との固有値の比率の関係式を、ヘッセ行列のトレース和と行列式とから求め、エッジ上にあるか否かを判定する。画像検索サーバ１０のシステム制御部１６は、固有値の比率が、所定の閾値より大きい場合、エッジ上に存在する不要な特徴点として、特徴点を削除する。
【００６５】
次に、画像検索サーバ１０のシステム制御部１６は、ＤｏＧ画像Ｄ（ｘ，ｙ，σ）の２次のテイラー展開に対し、点Ｘ＝（ｘ、ｙ、σ）に関する偏導関数を求め、その偏導関数が０となる点をサブピクセル位置Ｘ＾＝（ｘ＾，ｙ＾，σ＾）とする。
【００６６】
画像検索サーバ１０のシステム制御部１６は、サブピクセル位置Ｘ＾でのＤｏＧ画像の画素値の関係式より、サブピクセル位置Ｘ＾でのＤｏＧ画像の画素値を求め、この画素値の絶対値が、所定の閾値より小さい場合（コントラストが低い場合）、ノイズに影響されやすい特徴点であるため、この特徴点を削除する。このように画像検索サーバ１０のシステム制御部１６は、特徴点に対して特徴点の選定を行う特徴点選定手段の一例として機能する。また、画像検索サーバ１０のシステム制御部１６は、所定の閾値に基づき特徴点の選定を行う特徴点選定手段の一例として機能する。
【００６７】
これらの処理により、図７に示すように、各ＤＢ画像に対して、選定された特徴点が求まる。なお、所定の閾値は、図３に示すように、予め設定しておく。
【００６８】
（３．３ 画像検索）
次に、端末から受け付けた検索クエリ画像に基づき、画像検索をする動作について、図９〜図１３を用いて説明する。図９は、画像検索システム１の動作例を示すフローチャートである。図１０は、検索クエリ画像の一例を示す模式図である。図１１及び図１３は、検索クエリ画像とデータベース中の画像との間で対応する特徴点を示す模式図である。図１２は、画像検索結果の一例を示す模式図である。
【００６９】
まず、端末２０のシステム制御部２６は、ユーザにより画像データが添付された検索クエリを、画像検索サーバ１０に送信する。
【００７０】
次に、図９に示すように、画像検索サーバ１０は、検索クエリ画像の入力を受け付ける（ステップＳ２０）。具体的には、画像検索サーバ１０のシステム制御部１６は、通信部１１を通して、端末２０から検索クエリ画像（第２の画像の一例）を受信する。なお、図１０（Ａ）には人物像の検索クエリ画像３５、図１０（Ｂ）には、建物の検索クエリ画像３５、図１０（Ｃ）には、複数のオブジェクトが写っている検索クエリ画像３５が例示してある。このように画像検索サーバ１０のシステム制御部１６は、検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段の一例として機能する。
【００７１】
次に、画像検索サーバ１０は、検索クエリ画像の特徴点を抽出する（ステップＳ２１）。具体的には、画像検索サーバ１０のシステム制御部１６は、図８に示した特徴点抽出のサブルーチンにより、ＤＢ画像の場合のステップＳ２と同様に、検索クエリ画像に対しても特徴点（第２の特徴点の一例）を抽出する。このように画像検索サーバ１０のシステム制御部１６は、第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段の一例として機能する。
【００７２】
次に、画像検索サーバ１０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ２２）。具体的には、画像検索サーバ１０のシステム制御部１６は、ＤＢ画像の場合のステップＳ３と同様に、検索クエリ画像の特徴点の周辺領域の勾配情報（１２８次元の特徴量）を算出する。このように画像検索サーバ１０のシステム制御部１６は、特徴点の周辺領域における勾配情報を算出する勾配情報算出手段の一例として機能する。
【００７３】
次に、画像検索サーバ１０は、勾配情報に基づき、検索クエリ画像の特徴点とＤＢ画像の特徴点との対応特徴点を探索する（ステップＳ２３）。具体的には、画像検索サーバ１０のシステム制御部１６は、まず、検索クエリ画像３５のある特徴点における勾配情報と、画像関連情報ＤＢ１２ｂを参照して、あるＤＢ画像３０におけるすべての特徴点の勾配情報との距離（例えば、ユークリッド距離）を算出する。そして、画像検索サーバ１０のシステム制御部１６は、これらの距離の最小値を求め、最小値を示すこのＤＢ画像３０の特徴点を特定する。次に、画像検索サーバ１０のシステム制御部１６は、この最小値が所定の閾値以下となった場合に、検索クエリ画像３５のある特徴点と、この特定されたＤＢ画像３０の特徴点とを、互いに対応する対応特徴点とする。
【００７４】
次に、画像検索サーバ１０のシステム制御部１６は、同様に、検索クエリ画像の他の特徴点に対しても対応特徴点を求める。図１１（Ａ）は、検索クエリ画像３５の対応特徴点と、あるＤＢ画像３０の対応特徴点とを直線により結んだ図である。
【００７５】
次に、図１１（Ｂ）及び図１１（Ｃ）に示すように、画像検索サーバ１０のシステム制御部１６は、画像関連情報ＤＢ１２ｂを参照して、他のＤＢ画像３０においても、対応特徴点を探索する。また、画像検索サーバ１０のシステム制御部１６は、対応特徴点の組の個数も算出する。なお、図１１（Ａ）は、ＤＢ画像３０が検索クエリ画像３５と同一の画像の場合で、図１１（Ｂ）の図１１（Ａ）の画像の一部からトリミングしたトリミング画像（ＤＢ画像３０）の場合で、図１１（Ｃ）は、図１１（Ａ）の画像（特に顔の部分）に歪みを加えた画像（ＤＢ画像３０）である。
【００７６】
これらのように画像検索サーバ１０のシステム制御部１６は、第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段の一例として機能する。また画像検索サーバ１０のシステム制御部１６は、勾配情報に基づき、対応特徴点を探索する対応特徴点探索手段の一例として機能する。
【００７７】
次に、画像検索サーバ１０は、各対応特徴点を含む各対応領域間の領域類似度を算出する（ステップＳ２４）。まず、画像検索サーバ１０のシステム制御部１６は、検索クエリ画像及びＤＢ画像のそれぞれに対して、対応特徴点を含む局所領域を対応領域として抽出する。そして、画像検索サーバ１０のシステム制御部１６は、ＳＳＩＭ（Structural SIMilarity）アルゴリズムにより、検索クエリ画像及びＤＢ画像において対応する対応領域間の領域類似度を算出する。画像検索サーバ１０のシステム制御部１６は、各対応領域間に対して領域類似度を算出する。このように画像検索サーバ１０のシステム制御部１６は、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段の一例として機能する。
【００７８】
ここで、ＳＳＩＭアルゴリズムは、２つの画像における画素値の平均値、分散、及び共分散（相互相関の一例）より、画像間の類似度を計測する。この類似度は、０〜１の数値で表現され，結果が１の場合には画像の完全な一致を表す。このように画像検索サーバ１０のシステム制御部１６は、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する対応領域類似度算出手段の一例として機能する。
【００７９】
次に、画像検索サーバ１０は、領域類似度に基づき、画像類似度を算出する（ステップＳ２５）。具体的には、画像検索サーバ１０のシステム制御部１６は、各領域類似度の合計（加算）し、対応特徴点の組の個数で割ることにより平均し、正規化された画像類似度を算出する。画像検索サーバ１０は、各ＤＢ画像に対して、画像類似度を算出し、この画像類似度を画像ＩＤに関連付けて、記憶部やＲＡＭ１６ｃ等に一時的に記憶する。このように画像検索サーバ１０のシステム制御部１６は、対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出する画像類似度算出手段の一例として機能する。
【００８０】
なお、正規化された画像類似度に検索クエリ画像の特徴点数に対するＤＢ画像の特徴点数の割合を考慮して決定して（例えば、正規化された画像類似度にこの割合を乗算する）、画像類似度を算出してもよい。この場合、検索対象のＤＢ画像が、検索クエリ画像の部分的な特徴を多く含む場合に、類似の評価が高くなり、人間が類似と感じやすい検索結果の画像の順位が高くなる。
【００８１】
次に、画像検索サーバ１０は、画像類似度に基づき検索クエリ画像に類似したＤＢ画像を選択する（ステップＳ２６）。具体的には、画像検索サーバ１０のシステム制御部１６は、画像ＤＢ１２ａや画像関連情報ＤＢ１２ｂから、画像類似度の高い順に、例えば、上位１０件の画像（画像ＩＤ）を選択する。このように画像検索サーバ１０のシステム制御部１６は、第１画像記憶手段を参照して、画像類似度に基づき、第１の画像を選択する選択手段の一例として機能する。
【００８２】
次に、画像検索サーバ１０は、選択した画像を出力する（ステップＳ２７）。具体的には、画像検索サーバ１０のシステム制御部１６は、選択した画像ＩＤに基づき、画像ＤＢ１２ａや画像関連情報ＤＢ１２ｂを参照して、選択した画像ＩＤに関連した画像やＵＲＬ情報やスニペット等を読み出す。そして、画像検索サーバ１０のシステム制御部１６は、図１２に示すように、検索結果が端末２０の表示部２３に表示されるように、ＨＴＭＬ（Hyper Text Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語によりファイルを生成し、端末２０に送信することにより、端末２０に出力する。このように画像検索サーバ１０のシステム制御部１６は、選択された第１の画像を検索結果として出力する第１画像出力手段の一例として機能する
【００８３】
次に、端末２０のシステム制御部２６は、通信部２１を通して、検索結果としてＨＴＭＬファイルのデータを受信し、表示部２３に画像を表示させる。
【００８４】
ここで、対応特徴点のシミュレーション結果について図１１及び図１３を用いて説明する。図１３は、他の検索クエリ画像の場合の対応特徴点の様子を示した場合である。
【００８５】
図１１（Ｂ）及び図１３（Ａ）に示すように、検索クエリ画像３５のトリミング画像の場合、トリミング画像（ＤＢ画像３０）の特徴点と、検索クエリ画像３５のトリミングされた部分の特徴点とが対応していることが分かる。また、図１３（Ｂ）に示すように、解像度が異なる画像（ＤＢ画像３０）の場合、対応特徴点の個数は減少するが、対応特徴点同士を結んだ直線の交差がほとんど無く、各対応特徴点同士の対応がよく取れていることが分かる。また、図１３（Ｄ）に示すように、検索クエリ画像３５に対してSeam Carvingの処理がされた画像（ＤＢ画像３０）の場合、画像内の各オブジェクトの特徴点同士が対応していることが分かる。また、図１１（Ｃ）に示すように、歪められた顔の部分に対応特徴点がほとんど無いことが分かる。また、画像が類似しなくなると、対応特徴点の組の個数が減少することも分かる。
【００８６】
以上、本実施形態によれば、ＤＢ画像３０を記憶し、ＤＢ画像３０の特徴点を抽出し、検索クエリ画像３５の入力を受け付け、検索クエリ画像３５の特徴点を抽出し、ＤＢ画像３０の特徴点と検索クエリ画像３５の特徴点とにおいて、互いに対応する対応特徴点を探索し、ＤＢ画像３０の対応特徴点を含む対応領域と、検索クエリ画像３５の対応特徴点を含む対応領域との対応領域類似度を算出し、対応領域類似度に基づき、ＤＢ画像３０と検索クエリ画像３５との画像類似度を算出し、画像類似度に基づき、ＤＢ画像３０を選択し、選択されたＤＢ画像３０を検索結果として出力することにより、解像度、構図、画質等の画像を変容させる要因が異なっても、人間の主観的評価に近い適切な類似度に基づいた画像検索結果を得ることができる。
【００８７】
また、ＤＢ画像３０からＤＢ画像３０の特徴点を選定し、検索クエリ画像３５から検索クエリ画像３５の特徴点を選定する場合、ステップＳ１４のように、特徴点として適切でない点が削除され、特徴点の数が減少するため、画像関連情報ＤＢ１２ｂの規模を小さくでき、かつ、画像検索が高速になる。また、画像を表す特徴量として適切な特徴点に選定されているため、画像検索の精度も向上する。
【００８８】
また、所定の閾値に基づき、ＤＢ画像３０からＤＢ画像３０の特徴点を選定する場合、又は、検索クエリ画像３５から検索クエリ画像３５の特徴点を選定する場合、閾値を調整することにより、例えば、閾値を高くすると、検索結果の候補が絞られ、ほぼ同一の画像を得ることができる。
【００８９】
また、ＤＢ画像３０又は検索クエリ画像３５に対して所定のスケールにより平滑化処理して平滑化画像を求め、スケールの異なる平滑化画像間での差分処理をして差分・平滑化画像（例えば、ＤｏＧ画像）を求め、差分・平滑化画像において、極値となる特徴点を抽出する場合、平滑化により雑音に対して頑健で、差分・平滑化画像により、画像の特徴的部分である画像値の極値となる部分を取り出すことができる。
【００９０】
また、特徴点の周辺領域における勾配情報を算出し、勾配情報に基づき、対応特徴点を探索する場合、特徴点の周辺領域の画像変化を表す勾配情報により、ＤＢ画像３０と検索クエリ画像３５において、互いに勾配情報が類似した特徴点を、対応特徴点として的確に見つけ出すことができる。
【００９１】
また、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する場合、対応領域間において、構造的類似度を算出しているため、人間の主観に近い類似度を算出できる。
【００９２】
また、ＤＢ画像３０から抽出された特徴点を予め記憶する場合、検索の速度が高速化できる。
【００９３】
なお、ステップＳ２４において、画像検索サーバ１０のシステム制御部１６は、対応領域類似度算出手段として、各対応領域の画素値の最大値と、対応領域の間における画素値の差とに基づき、対応領域類似度を算出してもよい。例えば、ＰＳＮＲ(Peak Signal to Noise Ratio)やＷＳＮＲ(Weighted SNR)等により、対応領域類似度が算出される。
【００９４】
この場合も、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい画像類似度を算出できる。
【００９５】
また、ステップＳ２やステップＳ２１の特徴点の抽出において、特徴点抽出のサブルーチンに示した方法以外でもよい。例えば、コーナーの検出や、エッジの強調やHough変換等による線・輪郭の抽出や、領域の抽出等が挙げられる。線や領域の場合は、ステップＳ１４の特徴点の選定により、特徴点を求める。
【００９６】
また、検索クエリ画像３５の特徴点における勾配情報と、ＤＢ画像３０における特徴点の勾配情報との距離は、ユークリッド距離の他に、マハラノビス距離等、特徴量空間における距離ならばよい。また領域類似度から画像類似度を求める際、領域類似度の算術平均の他に、幾何平均、調和平均、重み付け平均や、対応特徴点の組の個数を考慮して画像類似度が算出されてもよい。
【００９７】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像評価装置の概略構成、機能及び動作について、図１４を用いて説明する。なお、前記第１実施形態と同一又は対応する部分には、同一の符号を用いて異なる構成及び作用のみを説明する。その他の実施形態及び変形例も同様とする。
【００９８】
本実施形態は、画像評価装置の一例として端末２０が単独で動作し、記憶部２２に画像評価用の画像類似度算出プログラムが予め記憶されている。
【００９９】
図１４は、画像評価装置（画像類似度算出装置の一例）の動作例を示すフローチャートである。図１４に示すように、画像評価装置の一例の端末２０は、基準画像の入力を受け付ける（ステップＳ３０）。端末２０のシステム制御部２６は、画像評価を行う画像の基準となる基準画像（第１の画像の一例）の入力を、操作部２４の操作により受け付ける。例えば、システム制御部２６は、操作部２４の操作により選択された、記憶部２２に記憶してある基準画像をＲＡＭ２６ｃに読み込む。なお、この基準画像は、第１実施形態のＤＢ画像に対応する。
【０１００】
次に、端末２０は、基準画像の特徴点を抽出する（ステップＳ３１）。端末２０のシステム制御部２６は、ステップＳ２に対応して、特徴点抽出サブルーチンにより、基準画像から特徴点（第１の特徴点の一例）を抽出する。
【０１０１】
次に、端末２０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３２）。端末２０のシステム制御部２６は、ステップＳ３に対応して、取得した画像の各特徴点におけるオリエンテーションを算出し、勾配情報として算出したオリエンテーションに基づき１２８次元の特徴量を算出する。
【０１０２】
次に、端末２０は、評価対象画像の入力を受け付ける（ステップＳ３３）。端末２０のシステム制御部２６は、評価対象画像（第２の画像の一例）の入力を操作部２４により受け付ける。例えば、システム制御部２６は、操作部２４の操作により選択された、記憶部２２に記憶してある評価対象画像をＲＡＭ２６ｃに読み込む。なお、この評価対象画像は、第１実施形態のクエリ画像に対応し、このステップは、ステップＳ２０に対応する。
【０１０３】
次に、端末２０は、評価対象画像の特徴点を抽出する（ステップＳ３４）。端末２０のシステム制御部２６は、ステップＳ２１に対応して特徴点抽出のサブルーチンにより評価対象画像の特徴点を抽出する。
【０１０４】
次に、端末２０は、特徴点の周辺領域の勾配情報を算出する（ステップＳ３５）。端末２０のシステム制御部２６は、ステップＳ２２に対応して、評価対象画像の特徴点の周辺領域の勾配情報を算出する。
【０１０５】
次に、端末２０は、勾配情報に基づき、基準画像の特徴点と評価対象画像の特徴点との対応特徴点を探索する（ステップＳ３６）。端末２０のシステム制御部２６は、ステップＳ２３に対応して、対応特徴点を探索して求める。
【０１０６】
次に、端末２０は、各対応特徴点を含む各対応領域間の領域類似度を算出する（ステップＳ３７）。端末２０のシステム制御部２６は、ステップＳ２４に対応して、各対応領域間の領域類似度を算出する。
【０１０７】
次に、端末２０は、領域類似度に基づき、画像類似度（画質評価値）を算出する（ステップＳ３８）。端末２０のシステム制御部２６は、ステップＳ２５に対応して、各領域類似度を合計し、対応特徴点の組の個数で割ることにより平均し、正規化された画像類似度を算出して画質評価値とする。そして、端末２０のシステム制御部２６は、この画質評価値を表示部２３に表示させる。
【０１０８】
このように、基準画像（第１の画像の一例）の入力を受け付け、基準画像における第１の特徴点を抽出し、評価対象画像（第２の画像の一例）の入力を受け付け、評価対象画像から第２の特徴点を抽出し、第１の特徴点と第２の特徴点とにおいて、互いに対応する対応特徴点を探索し、第１の画像の対応特徴点を含む対応領域と、第２の画像の対応特徴点を含む対応領域との対応領域類似度を算出し、対応領域類似度に基づき、第１の画像と第２の画像との画像類似度を算出することにより、解像度、構図、画質等の画像を変容させる要因の影響を受けにくい類似度を算出でき、画像の評価を行うことができる。
【０１０９】
特に、各対応領域の画素値の平均及び分散と、対応領域の間における画素値の相互相関とに基づき、対応領域類似度を算出する場合、対応領域間において、構造的類似度を算出しているため、人間の主観に近い画像評価を行うことができる。
【０１１０】
なお、画像検索サーバ１０に基準画像が入力されて、ＤＢ画像として記憶させておき、端末２０が、評価対象画像を画像検索サーバ１０に送信し、画像検索サーバ１０が、画質評価値として画像類似度を検索結果として応答を返すという構成でもよい。
【０１１１】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０１１２】
１：画像検索システム
１０：画像検索サーバ（画像検索装置）
２０：端末（画像類似度算出装置）
３０：ＤＢ画像（第１の画像）
３５：検索クエリ画像（第２の画像）
【特許請求の範囲】
【請求項１】
第１の画像を記憶する第１画像記憶手段と、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段と、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段と、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段と、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段と、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段と、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出手段と、
前記第１画像記憶手段を参照して、前記画像類似度に基づき、第１の画像を選択する選択手段と、
前記選択された第１の画像を検索結果として出力する第１画像出力手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記特徴点に対して特徴点の選定を行う特徴点選定手段を更に備えたことを特徴とする画像検索装置。
【請求項３】
請求項２に記載の画像検索装置において、
前記特徴点選定手段が、所定の閾値に基づき前記特徴点の選定を行うことを特徴とする画像検索装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像検索装置において、
前記第１又は第２画像特徴点抽出手段が、
前記画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、
スケールの異なる前記平滑化画像間での差分処理をして差分・平滑化画像を求め、
前記差分・平滑化画像において、極値となる前記特徴点を抽出することを特徴とする画像検索装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像検索装置において、
前記特徴点の周辺領域における勾配情報を算出する勾配情報算出手段を更に備え、
前記対応特徴点探索手段が、前記勾配情報に基づき、前記対応特徴点を探索することを特徴とする画像検索装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像検索装置において、
前記対応領域類似度算出手段が、各前記対応領域の画素値の平均及び分散と、前記対応領域の間における画素値の相互相関とに基づき、前記対応領域類似度を算出することを特徴とする画像検索装置。
【請求項７】
請求項１から請求項５のいずれか１項に記載の画像検索装置において、
前記対応領域類似度算出手段が、各前記対応領域の画素値の最大値と、前記対応領域の間における画素値の差とに基づき、前記対応領域類似度を算出することを特徴とする画像検索装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像検索装置において、
抽出された前記第１の特徴点を予め記憶する第１画像特徴点記憶手段を更に備えたことを特徴とする画像検索装置。
【請求項９】
画像の検索を行う画像検索装置の画像検索方法において、
前記画像検索装置が、第１の画像を記憶する第１画像記憶ステップと、
前記画像検索装置が、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を有することを特徴とする画像検索方法。
【請求項１０】
コンピュータに、
第１の画像を記憶する第１画像記憶ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を実行させることを特徴とする画像検索プログラム。
【請求項１１】
コンピュータに、
第１の画像を記憶する第１画像記憶ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を実行させる画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
コンピュータを、
第１の画像の入力を受け付ける第１画像入力ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
を実行させることを特徴とする画像類似度算出プログラム。
【請求項１３】
コンピュータを、
第１の画像の入力を受け付ける第１画像入力ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
を実行させる画像類似度算出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
第１の画像を記憶する第１画像記憶手段と、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出手段と、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力手段と、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出手段と、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索手段と、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出手段と、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出手段と、
前記第１画像記憶手段を参照して、前記画像類似度に基づき、第１の画像を選択する選択手段と、
前記選択された第１の画像を検索結果として出力する第１画像出力手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記特徴点に対して特徴点の選定を行う特徴点選定手段を更に備えたことを特徴とする画像検索装置。
【請求項３】
請求項２に記載の画像検索装置において、
前記特徴点選定手段が、所定の閾値に基づき前記特徴点の選定を行うことを特徴とする画像検索装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像検索装置において、
前記第１又は第２画像特徴点抽出手段が、
前記画像に対して所定のスケールにより平滑化処理して平滑化画像を求め、
スケールの異なる前記平滑化画像間での差分処理をして差分・平滑化画像を求め、
前記差分・平滑化画像において、極値となる前記特徴点を抽出することを特徴とする画像検索装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像検索装置において、
前記特徴点の周辺領域における勾配情報を算出する勾配情報算出手段を更に備え、
前記対応特徴点探索手段が、前記勾配情報に基づき、前記対応特徴点を探索することを特徴とする画像検索装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像検索装置において、
前記対応領域類似度算出手段が、各前記対応領域の画素値の平均及び分散と、前記対応領域の間における画素値の相互相関とに基づき、前記対応領域類似度を算出することを特徴とする画像検索装置。
【請求項７】
請求項１から請求項５のいずれか１項に記載の画像検索装置において、
前記対応領域類似度算出手段が、各前記対応領域の画素値の最大値と、前記対応領域の間における画素値の差とに基づき、前記対応領域類似度を算出することを特徴とする画像検索装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像検索装置において、
抽出された前記第１の特徴点を予め記憶する第１画像特徴点記憶手段を更に備えたことを特徴とする画像検索装置。
【請求項９】
画像の検索を行う画像検索装置の画像検索方法において、
前記画像検索装置が、第１の画像を記憶する第１画像記憶ステップと、
前記画像検索装置が、前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を有することを特徴とする画像検索方法。
【請求項１０】
コンピュータに、
第１の画像を記憶する第１画像記憶ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を実行させることを特徴とする画像検索プログラム。
【請求項１１】
コンピュータに、
第１の画像を記憶する第１画像記憶ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
検索クエリ画像として第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
前記画像類似度に基づき、第１の画像を選択する選択ステップと、
前記選択された第１の画像を検索結果として出力する第１画像出力ステップと、
を実行させる画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
コンピュータを、
第１の画像の入力を受け付ける第１画像入力ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
を実行させることを特徴とする画像類似度算出プログラム。
【請求項１３】
コンピュータを、
第１の画像の入力を受け付ける第１画像入力ステップと、
前記第１の画像における第１の特徴点を抽出する第１画像特徴点抽出ステップと、
第２の画像の入力を受け付ける第２画像入力ステップと、
前記第２の画像から第２の特徴点を抽出する第２画像特徴点抽出ステップと、
前記第１の特徴点と前記第２の特徴点とにおいて、互いに対応する対応特徴点を探索する対応特徴点探索ステップと、
前記第１の画像の前記対応特徴点を含む対応領域と、前記第２の画像の前記対応特徴点を含む対応領域との対応領域類似度を算出する対応領域類似度算出ステップと、
前記対応領域類似度に基づき、前記第１の画像と前記第２の画像との画像類似度を算出する画像類似度算出ステップと、
を実行させる画像類似度算出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−８３８７３（Ｐ２０１２−８３８７３Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２８１１０（Ｐ２０１０−２２８１１０）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
[ Back to top ]