情報処理装置、及びその制御方法、プログラム
【課題】 利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索すること。
【解決手段】 検索画像の複数の特徴量と検索対象画像の複数の特徴量との近似度と、複数の特徴量に対する重みを示す重み情報とに従って、マップ上に表示する位置を示す配置情報を生成し、生成された配置情報の位置に該検索対象画像を表示する。そして、ユーザの操作により、マップ上に表示された検索対象画像の位置の変更を受け付けると、当該変更を受け付けた検索対象画像の配置情報と、当該算出された近似度とに従って重み情報を生成し、該近似度と、当該生成された重み情報とに従って、検索対象画像の配置情報を再生成する。
【解決手段】 検索画像の複数の特徴量と検索対象画像の複数の特徴量との近似度と、複数の特徴量に対する重みを示す重み情報とに従って、マップ上に表示する位置を示す配置情報を生成し、生成された配置情報の位置に該検索対象画像を表示する。そして、ユーザの操作により、マップ上に表示された検索対象画像の位置の変更を受け付けると、当該変更を受け付けた検索対象画像の配置情報と、当該算出された近似度とに従って重み情報を生成し、該近似度と、当該生成された重み情報とに従って、検索対象画像の配置情報を再生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、近似画像検索技術に関するものである。
【背景技術】
【０００２】
インターネット上から文書情報を探し出すためにキーワード（文字情報）を元にした検索システム（全文検索システムと呼ばれる）は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。それに対して文字列情報ではない画像情報に関しては、その検索手法は全文検索システムほど確立しておらず、様々な手法が研究されている段階にある。
【０００３】
現在普及している手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に全文検索システムと同じ手法で検索するものがある。また、近年では、探したい画像の元となる画像（クエリー画像と呼ばれる）を提示し、このクエリー画像に近い画像を検索する仕組みが提供されるようになってきた。このシステムでは、クエリー画像の特徴量と類似する特徴量をもつ画像を検索する。
【０００４】
また、一般にキーワードによる検索システムでは、文書が単に検索文字列（クエリーキーワード）そのもの、または同義語、もしくは類義語を、含むか否かを検索結果の妥当性の指標として用いることができる。これに対して画像を元に類似画像を探す類似画像検索システムの場合は、どのような指標（画像のどの特徴量）に基づいてクエリー画像と検索対象の画像が類似すると判定していいのか、を一意に決定することが困難である。
【０００５】
たとえば、ある利用者がＡという写真を元に検索する場合は、該利用者はＡの風景と同じような風景が写っている写真を結果として期待しているケースが考えられる。また、別の利用者は同じＡという写真を元にして写真に写っているオブジェクト（例えば椅子）と同じようなオブジェクトが写っている写真を結果として期待しているケースも考えられる。このようにあるクエリー画像から利用者が期待する結果を一意に決定すること、つまりクエリー画像のどの特徴に着目して類似性を判断すればよいのかを決定することが難しい。
【０００６】
特許文献１の画像検索システムでは、検索に利用する特徴量として複数の種類を組み合わせて利用することができるようになっている。また、複数の特徴量を用いて検索する場合は、それらの重みを利用者が指定することができるようになっている。さらに、検索結果を利用者が把握し易くするために、検索結果となった画像を３次元上に配置して表示することができる。各次元には検索に使用した特徴量を対応させている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−１７５５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１では、利用者が明示的に検索に利用する特徴量の種別を指定しなければならない。
そのため、利用者は、自身がクエリー画像に着目している特徴についての特徴量の種別を認識し、その種別を指定しなければならないばかりでなく、検索に利用する各特徴量の配分（重み）についても指定しなければならず、その確認作業、及び、その指定が煩雑であった。また、適切に、特徴量の種別、及び重みを指定しなければ類似する画像を検索することはできず、利用者は、一目で直感的に画像を検索することが困難であった。
【０００９】
さらに、上記特許文献１では、検索結果の表示画面において利用することができる特徴量は３つまでに制限されている。これは、Ｘ，Ｙ，Ｚの最大３つの軸でしか表示することが出来ない為、特徴量の座標軸は３つまでに制限されてしまっている。
【００１０】
そのため、４つ目以上の特徴量については表示画面に表すことができず、クエリー画像に類似した画像を見落としてしまうおそれも考えられる。
【００１１】
そこで、本発明の目的は、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索する仕組みを提供することである。
【課題を解決するための手段】
【００１２】
本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置であって、前記複数の検索対象画像を記憶する記憶手段と、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段と、を備え、前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【００１３】
また、本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置における制御方法であって、前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、前記情報処理装置の算出手段が、前記受付工程により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出工程と、前記情報処理装置の生成手段が、前記算出工程により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成工程と、前記情報処理装置の表示手段が、前記生成工程により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示工程と、前記情報処理装置の変更受付手段が、ユーザの操作により、前記表示工程で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付工程と、前記情報処理装置の重み情報生成手段が、前記変更受付工程により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出工程により算出された近似度とに従って、重み情報を生成する重み情報生成工程と、を備え、前記生成工程は、更に、前記算出工程により算出された近似度と、前記重み情報生成工程により生成された重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【００１４】
また、本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置が読み取り実行可能なプログラムであって、前記情報処理装置を、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段として機能させ、前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像検索システムの構成の一例を示すシステム構成図である。
【図２】図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【図３】図１に示した利用者端末１０１、画像検索装置１０２の機能ブロックの構成を表す図である。
【図４】図３に示した特徴量抽出部５０３の内部の機能ブロックを表す図である。
【図５】図３に示した特徴量データベース５０５における特徴量テーブルの一例を示す図である。
【図６】本発明における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。
【図７】本発明における画像検索システムにおける検索処理の手順を示すフローチャートである。
【図８】本発明における画像検索システムにおける検索結果の更新処理の手順を示すフローチャートである。
【図９】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１０】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１１】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１２】本発明における画像検索システムにおける類似画像の近似度ベクトルを座標ベクトルへ変換する式の一例を示す図である。
【図１３】本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。
【図１４】本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。
【図１５】本発明の画像検索システムの構成の一例を示すシステム構成図である。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞
図１は、本発明の画像検索システムの構成の一例を示すシステム構成図である。
【００１８】
図１は、ひとつ又は複数の利用者端末１０１と、画像検索装置１０２とがローカルエリアネットワーク（ＬＡＮ）１０３を介して相互に通信可能に接続される構成となっている。
【００１９】
利用者端末１０１は、画像の検索を行う利用者が使用する情報処理装置であって、検索要求を発信する機能と検索結果を受信して表示する機能を有する。
【００２０】
画像検索装置１０２は、検索の対象となる複数の画像を記憶しており、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行い、検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する手段を備えている。画像検索装置１０２は、本発明の情報処理装置の適用例である。
【００２１】
以下、図２を用いて、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成について説明する。
【００２２】
図２は、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【００２３】
図２において、２０１はＣＰＵであり、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて情報処理装置全体の制御を行うと共に、情報処理装置行う後述の各処理を実行する。
【００２４】
２０２はＲＡＭであり、ＨＤＤ２０４や記録媒体ドライブ２０６からロードされたプログラムやデータ、ネットワークＩ／Ｆ（インターフェース）２０５を介して受信したデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行する際に使用するワークエリーアを備える。
【００２５】
２０３はＲＯＭであり、情報処理装置の設定データやブートプログラムなどを格納する。
【００２６】
２０４はＨＤＤであり、ここにＯＳ（オペレーティングシステム）や、情報処理装置が行う後述の各処理をＣＰＵ２０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータの一部もしくは全部はＣＰＵ２０１による制御に従ってＲＡＭ２０２にロードされ、これを用いてＣＰＵ２０１が処理を行うことで、情報処理装置は以下説明する各処理を実行することになる。
【００２７】
２０５はネットワークＩ／Ｆで、情報処理装置をネットワーク１０３に接続するためのものであり、このネットワークＩ／Ｆ２０５を介して情報処理装置は外部機器とデータ通信を行うことができる。
【００２８】
２０６は記録媒体ドライブであり、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ―ＲＯＭ、ＤＶＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＡＭ等の記憶媒体に記録されたプログラムやデータを読み出し、ＲＡＭ２０２に出力する。この読み出し動作はＣＰＵ２０１によって制御される。
【００２９】
２０７はキーボードであり、各種の指示をＣＰＵ２０１に対して入力することができる。２０８はマウス等のポインティングデバイスであり、各種の指示をＣＰＵ２０１に対して入力することができる。
【００３０】
２０９はビデオＩ／Ｆ（インターフェース）であり、ディスプレイ装置２１０に表示すべき画像を信号としてディスプレイ装置２１０に供給するためのＩ／Ｆとして機能するものである。
【００３１】
２１０はディスプレイ装置であり、ＣＲＴや液晶画面等により構成されており、ＣＰＵ２０１による処理結果を画像や文字等でもって表示することができる。
【００３２】
２１１は周辺機器Ｉ／Ｆであり、ＵＳＢポートやＩＥＥＥ１３９４ポート等によって構成されており、この周辺機器Ｉ／Ｆ２１１を介して周辺機器との接続することが可能である。周辺機器との接続形態は有線／無線を問わない。２１２は上述の各部を繋ぐバスである。
【００３３】
次に、図３を用いて、本発明の画像検索システムの機能ブロックの構成について説明する。
【００３４】
画像検索システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。
【００３５】
利用者端末１０１は、画像検索装置１０２に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末１０１は、検索クエリー部３０１と、マップ表示部３０２と、配置指示部３０３と、から構成される。
【００３６】
検索クエリー部３０１は、利用者から検索要求としてのクエリー画像を受け付ける入力手段を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する手段をもつ機能処理部である。
【００３７】
マップ表示部３０２は、画像検索装置１０２から応答される検索結果を受信する手段と、該検索結果を表示する手段を有する機能処理部である。図９、図１０、図１１に表示画面の例を示す。
【００３８】
配置指示部３０３は、マップ表示部３０２に検索結果として表示された座標平面上の類似画像の配置を、利用者がマウス等のデバイスを使用して変更した際の該変更情報を収集する手段と、該変更情報を画像検索装置１０２の変換行列計算部５０７へ送信する手段を有する機能処理部である。
【００３９】
画像検索装置１０２は、利用者端末１０１から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末１０１へ送信する情報処理装置である。画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、特徴量近似度計算部５０４と、次元圧縮部５０５と、マップ生成部５０６と、変換行列計算部５０７と、画像データベース５０８と、特徴量データベース５０９と、から構成される。
【００４０】
画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース５０９へ保存し、当該画像データ自体を画像データベース５０８へ保存する機能を有する。
【００４１】
特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。図４は、特徴量抽出部５０２の内部の機能ブロックの一例を示す図である。図４で示されるように、特徴量抽出部５０２は、複数の特徴量抽出部から構成される。図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの特徴量を抽出する実装をそれぞれに当てはめることが考えられる。また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。
【００４２】
すなわち、画像の特徴量としては、例えば、色（色相、彩度、明度等から構成される）に関する統計量、模様（テクスチャー）、局所的な領域の濃度変化特徴、写っているオブジェクトの形状、撮影日時、撮影場所などの様々の種類のものがあるため、このような種々の特徴量を、特徴量抽出部５０２は、抽出するように実装することもできる。
【００４３】
検索処理部５０３は、検索要求としてクエリー画像の受け付け、当該画像データの特徴量抽出処理を特徴量抽出部５０２へ指示し、その結果として受け取る特徴量情報を、特徴量近似度計算部５０４へ渡し、蓄積された画像との近似度ベクトルの算出を指示し、その近似度ベクトルデータを次元圧縮部５０５へ渡し、位置ベクトル群の生成を指示する、機能処理部である。
【００４４】
特徴量近似度計算部５０４は、検索処理部５０３からある画像に関する複数種類の画像特徴量を受け取り、当該画像特徴量と特徴量データベース５０９の中に保存されている特徴量を比較して各々との近似度を計算し近似度ベクトルを生成する機能処理部である。
【００４５】
次元圧縮部５０５は、検索処理部５０３から検索結果となる画像群の近似度ベクトルデータを受け取り、該データへ主成分分析を適用し、該データ（近似度ベクトル）をマップ生成部５０６で表現可能な次元数へ次元縮小した位置ベクトル（配置情報）を生成する機能処理部である。
【００４６】
マップ生成部５０６は、検索結果である画像群の配置情報を受け取り、それを２次元座標平面上に配置し視覚化したイメージ情報（検索結果マップ情報）を生成し、利用者端末１０１のマップ表示部３０２へ送信する機能処理部である。
【００４７】
すなわち、画像検索装置１０２は、クエリー画像（検索画像）と共に、クエリー画像（検索画像）に基づき検索される対象の画像である複数の検索対象画像の近似の関係を示すマップ（図９、図１０、図１１）（検索結果マップ情報）上に検索対象画像を表示する。
【００４８】
変換行列計算部５０７は、利用者端末１０１の配置指示部３０３から、画像の配置情報の変更情報（配置変更情報）を受け付け、該配置変更情報を反映する変換行列（近似度ベクトルから位置ベクトルを算出する関数）を算出する機能処理部である。
【００４９】
画像データベース５０８は、検索対象となる画像データ（検索対象画像）群を保存する記憶領域である。保存された画像データはＩＤ（識別子）によって直接アクセスできる手段を有する。画像データベース５０８は、複数の検索対象画像を記憶する記憶手段の適用例である。
【００５０】
特徴量データベース５０９は、検索対象となる画像データの各種特徴量のデータ（図５）を保存する記憶領域である。その特徴量データは図５で例示されるテーブルで管理されている。
【００５１】
図５のテーブルは、１行が画像データベース５０８に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子）（画像ＮＯとも言う）とともに特徴量Ａから特徴量Ｄの列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。
【００５２】
画像ソース６００は、本画像検索システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上のＦｌｉｃｋｒやＦａｃｅｂｏｏｋ等の写真共有機能を有するサイトであったり、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。
【００５３】
次に、図６を用いて、検索対象となる画像データを本画像検索システムへ登録する処理を説明する。
【００５４】
図６に示す各ステップは、画像検索装置１０２のＣＰＵ２０１により実行される。
【００５５】
以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。
【００５６】
ステップＳ６０１では、画像登録部５０１は、画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データを受信する。
【００５７】
ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを解析して、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて当該画像データのＡからＤの特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（ＡからＤの４つ）を、画像登録部５０１へ入力する。
【００５８】
ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で取得した特徴量データを、特徴量データベース５０９へ登録する。特徴量データは、図５で例示されるようなテーブル構造で保存される。
【００５９】
図５を用いて特徴量データを保存するテーブル構造（特徴量データベース５０９）を説明する。
【００６０】
既に説明したように、ある１つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値（整数や浮動小数点）の多次元ベクトルで表現される。例えば、局所特徴量の１つであるＳＩＦＴ特徴量は、浮動小数点の１２８次元ベクトルとして表現されている。この実施例で説明する画像検索システムでは、図４で示しているように特徴量Ａから特徴量Ｄまでの４つの種類の画像特徴量を取得するものとする。図５のテーブルは、１つの行が１つの検索対象画像に関する特徴量データを格納している。列名が特徴量Ａから特徴量Ｄまでの各々のカラムに各特徴量データが格納されている。それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。
【００６１】
ステップＳ６０４では、画像登録部５０１は、前記受信した画像データを画像データベース５０８に保存する。
【００６２】
以上で、画像登録の処理は終了する。
【００６３】
次に、図７を用いて、画像検索における処理のフローを説明する。
【００６４】
ステップＳ７０１では、検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信されるクエリー画像を受信する。
【００６５】
すなわち、ステップＳ７０１では、利用者端末１０１を操作する利用者（ユーザ）による操作により、クエリー画像（検索画像）の入力を受け付ける（受付手段）。ここでは、クエリー画像自体を利用者端末１０１から受信して入力を受け付けても良いし、画像データベース５０８に記憶されている画像から、クエリー画像としてユーザに選択されたクエリー画像の入力を受け付けてもよい。
【００６６】
ステップＳ７０２では、検索処理部５０３は、クエリー画像データを解析して、特徴量抽出部５０２へ入力し、該画像の特徴量データ（この実施例では４つの特徴量ベクトル）を取得する。
【００６７】
ステップＳ７０３では、検索処理部５０３は、ステップＳ７０２で取得した特徴量データを、特徴量近似度計算部５０４に入力する。特徴量近似度計算部５０４は受け取った特徴量データを、特徴量データベース５０９に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれとの近似度を算出する。１つの特徴量に関する近似度は、例えば数値ベクトル間のユーグリッド距離で表現される。検索対象画像１つに対するクエリー画像の近似度は、特徴量種類（この実施例ではＡからＤ）毎のユーグリッド距離の配列、つまり多次元数値ベクトルとして表現される。特徴量近似度計算部５０４は、検索対象画像全てに対してクエリー画像との近似度を表す多次元数値ベクトル（以降近似度ベクトルと呼ぶ）を生成し、該近似度ベクトル群を検索処理部５０３へ応答する。
【００６８】
すなわち、ステップＳ７０３では、ステップＳ７０１で受け付けたクエリー画像の複数の特徴量と、画像データベース５０８に記憶されている各画像の複数の特徴量との近似度をそれぞれ算出する（算出手段）。
【００６９】
ステップＳ７０４では、検索処理部５０３は、ステップＳ７０３で取得した近似度ベクトル群を、次元圧縮部５０５へ入力する。次元圧縮部５０５は、前記近似度ベクトル群に対して主成分分析処理を行い、近似度ベクトル群のそれぞれの次元を２次元に圧縮する。２次元化した近似度ベクトルを以降配置情報と呼ぶ。
【００７０】
すなわち、ステップＳ７０４では、ステップＳ７０３で算出された各近似度を図１２の１２０３に代入し、図１２の変換行列１２０２（初期値）と演算して、配置情報１２０１を算出して生成する。ここで、図１２の変換行列１２０２は、本発明における重み情報の適用例であって、複数種類の特徴量における各近似度を合成すると共に複数種類の特徴量に対する重みを示す情報である。また、ここで生成される配置情報は、算出された各近似度が算出された検索対象画像をマップ上に表示する位置を示す情報である。
【００７１】
このように、ステップＳ７０４では、算出された複数種類の特徴量における各近似度を合成して、当該複数の特徴量の種類よりも少ない数の次元のマップ上に表示する位置を示す配置情報を生成する。
【００７２】
（次元圧縮の手段について）
図１２にこの次元圧縮を行うベクトル変換の式を示す。１２０３で指示されるベクトルがクエリー画像と検索対象画像との近似度ベクトルを表す。Ｆ０、Ｆ１、Ｆ２、Ｆ３の値はそれぞれ特徴量Ａから特徴量Ｄに関するクエリー画像と検索対象画像との距離（差）を表している。１２０２で指示される行列は、上記の主成分分析処理において算出されるもので、変換行列（次元圧縮関数）を表す。この変換行列の１行目（Ｔ００、Ｔ０１、Ｔ０２、Ｔ０３）の値は第１主成分を表し、２行目（Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３）の値は第２主成分を表している。１２０１で指示されるベクトルは近似度ベクトルが２次元化された配置情報（位置ベクトル）を表している。１２０１のＸ、Ｙの値はどちらも、複数の（この実施例ではＦ０からＦ３の）画像特徴量の距離の線形合成になっている。
【００７３】
複数の特徴量の近似度からなる多次元数値ベクトルデータ（近似度ベクトル）を主成分分析により２次元化することによって、類似性が高い検索対象画像の集合（近似度ベクトル空間において原点に近い画像セット）を、それらの特徴が効率良く表現された配置で（情報量がなるべく落ちないように次元削減された表現で）視覚化することができる。２次元データのそれぞれの成分は各種特徴量の近似度を結合した値を表すが、各成分は互いに独立した類似度表現を表す尺度になっている。
【００７４】
ステップＳ７０５では、次元圧縮部５０５は、ステップＳ７０４で算出した配置情報群を、マップ生成部５０６へ入力する。マップ生成部５０６は、配置情報群のうち原点から一定の範囲内の距離にある配置情報を対象に、その配置情報に対応する画像のサムネイル画像（類似画像のサムネイル）を２次元座標平面上に配置した視覚化情報（マップとも言う）を作成する。この視覚化情報は図９の９００で指示される領域で例示される。以降、この視覚化情報を類似画像マップと呼び、２次元座標平面上に表示された画像を類似画像と呼ぶ。
【００７５】
ステップＳ７０５において、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に配置するため、ステップＳ７０６では、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に表示するべく出力する。
【００７６】
ステップＳ７０６では、マップ生成部５０６は作成された類似画像マップを、利用者端末１０１のマップ表示部３０２へ送信する。
【００７７】
すなわち、ステップＳ７０６では、生成された配置情報に示される類似画像マップ（単にマップとも言う）上の位置に該検索対象画像を表示するべく出力する。
【００７８】
以上で、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。
【００７９】
次に、図８を用いて利用者の指示によって検索結果を改善する処理のフローを説明する。
【００８０】
ステップＳ８０１では、Ｓ７０６においてマップ生成部５０６から送信された類似画像マップを、利用者端末１０１のマップ表示部３０２において受信する。
【００８１】
ステップＳ８０２では、類似画像マップをマップ表示部３０２において表示する。
【００８２】
（図９の説明）
図９は、類似画像マップを表示しているマップ表示部３０２の画面例である。９００で指示される領域に類似画像マップが表示されている。類似画像マップは２次元座標平面上にクエリー画像と類似すると計算された画像（類似画像）のサムネイルが配置されたものである。９０１で指示しているオブジェクトはクエリー画像のサムネイルを表しており、座標平面の原点に配置されている。９０４から９０９で指示されるオブジェクトは類似画像のサムネイルを表しており、ステップＳ７０４で算出された配置情報の座標に表示されている。
【００８３】
類似画像の配置場所はクエリー画像と各々の類似画像との各種特徴量の距離（差）を２次元座標化したものであるので、クエリー画像と類似性が高い類似画像ほど原点の近くに配置される。
【００８４】
９０２は、利用者が類似画像の位置をドラッグするなどして変更した場合に、その更新内容を含む更新情報を、画像検索装置１０２へ送出するためのボタンを表している。また、９０３は、利用者が類似画像の配置に関して、これ以上変更の余地はないことを画像検索装置１０２へ通知するためのボタンを表している。
【００８５】
（類似画像の配置の変更について）
利用者は、ステップＳ８０２の後、利用者端末１０１のマップ表示部３０２に表示された類似画像マップを視認し、９０４から９０９で指示されるようなサムネイルを、９０１のクエリー画像のサムネイルと見比べて、該サムネイルの配置場所をマウスでドラッグするなどの操作で変更する。
【００８６】
すなわち、９０１のクエリー画像のサムネイルと類似していると利用者が判断した検索対象画像のサムネイルの配置場所を、利用者がマウスでドラッグするなどの操作を行い、類似していると判断した検索対象画像のサムネイルの配置場所を変更する。具体的には、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）に近くなるように、近似している判断する度合に応じた距離を移動する。一方、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）から離れるように、近似していない判断する度合に応じた距離を移動する。
【００８７】
このように、利用者端末１０１は、ユーザの操作により、マップ上に表示された検索対象画像の位置の変更を受け付ける（変更受付手段）。
【００８８】
上述したようにサムネイルの配置の各軸は、各特徴量に関する距離成分の線形合成された値を表すものである。前記線形合成のパラメータ（図１２の変換行列１２０２）の初期値は、主成分分析によって導出され、次元圧縮に際してできるだけ情報量が減らないように決定されるようにする。すなわち、ステップＳ７０３で算出された各近似度ベクトル（本実施例では、５０２１、５０２２、５０２３、５０２４のそれぞれの部で抽出された特徴量Ａ、特徴量Ｂ、特徴量Ｃ、特徴量Ｄについての近似度ベクトル）について、主成分分析を行い、各近似度ベクトル（本実施例では４つの近似度ベクトル）を２つの成分（次元）になるよう合成して図１２の変換行列１２０２（初期値）を算出して生成する。ここで、主成分分析による２次元への次元圧縮では、近似度ベクトル群の情報量をできるだけ落とさないように成分（次元）が２つ選択される。
【００８９】
このようにして決定された座標系上の類似画像群に対して、利用者はそれらの相対的位置関係と原点からの距離を考慮して、位置調整を実施する。この結果、線形合成のパラメータが、利用者が画像の類似性に期待する各種特徴量の重みを近づくものと考えられる。
【００９０】
配置の変更手段に関しては、各類似画像を利用者が画像を確認し易くするため９０４から９０９のサムネイルをクリックするとより大きなサイズの画像がその場で表示されるといった工夫があってもよい。
【００９１】
サムネイルの配置位置を更新したマップ表示部３０２の例を図１０に示す。
【００９２】
図１０では、利用者が、画像Ｂを９０５で指示される場所（配置位置）から９１０で指示される場所（配置位置）へ移動し、画像Ｃを９０６で指示される場所（配置位置）から９１１で指示される場所（配置位置）へ移動し、画像Ｅを９０８で指示される場所（配置位置）から９１２で指示される場所（配置位置）へ移動し、画像Ｆを９０９で指示される場所（配置位置）から９１３で指示される場所（配置位置）へ移動したことを表している。
【００９３】
ステップＳ８０３では、マップ表示部３０２が利用者によって９０３で指示される更新なしボタン９０３が押下されたことを検知した場合は処理を終了する。マップ表示部３０２が９０２で指示される更新ボタン９０２の押下を検知した場合はステップＳ８０４へ進む。
【００９４】
ステップＳ８０４では、配置指示部３０３は、マップ表示部３０２で変更されたサムネイル画像の位置を示す変更情報（配置変更情報）を２０３で指示されるＲＡＭの中に蓄積させる。上記の例で説明すると、画像Ｂ、画像Ｃ、画像Ｅ、画像Ｆの新しい位置情報を位置ベクトルデータとしてＲＡＭ２０２の中に保存する。
【００９５】
ステップＳ８０５では、配置指示部３０３は、ステップＳ８０４で保存した複数の位置ベクトルデータ（配置変更情報）を、画像検索装置１０２の変換行列計算部５０７へ送信する。
【００９６】
ステップＳ８０６では、画像検索装置１０２の変換行列計算部５０７は、ステップＳ８０５で送信された位置ベクトルデータ（配置変更情報）を受信する。
【００９７】
すなわち、画像検索装置１０２は、ユーザの操作により、マップ上に表示された検索対象画像の位置が変更された内容として配置変更情報を受け付ける。配置変更情報は、変更された検索対象画像の位置を示す配置情報である。
【００９８】
（位置更新情報からの変換行列の計算）
ステップＳ８０７では、変換行列計算部５０７は、位置ベクトルデータ（配置変更情報）を入力して次元圧縮行列を計算する。これは、ステップＳ７０４の処理を説明した際に出てきた図１２の１２０２で指示される変換行列を、１２０１の位置ベクトルと１２０３の近似度ベクトルを元にして、求める処理となる。例えば、位置ベクトルデータが４つあった場合には、それらと新しい変換行列Ｔ’の関係は、図１３の式で表わされる。これは４つの配置情報の変換式を１つにまとめた式である。
【００９９】
図１３において１３０１から１３０４の部分は、それぞれが利用者が移動した類似画像の配置情報（位置ベクトルデータ）を表している。また、１３０５から１３０８の部分は、１３０１から１３０４に対応する画像の前記クエリー画像との近似度ベクトル（ステップＳ７０３において生成されている値）を表している。例えば、１３０１で指示された部分は図１０において利用者が移動したＢの画像の新しい位置（９１０）のデータ（配置情報（位置ベクトル））を表し、その時の１３０５で指示される部分は１３０１に対応する画像Ｂの近似度ベクトルを表している。１３０２から１３０４と１３０５から１３０８も同様にぞれぞれ新しい位置ベクトルデータとそれに対応する画像の近似度ベクトルデータを表している。
【０１００】
この式を変形してＴ’について解くことによって、変換行列Ｔ’を算出できる。図１３の式の両辺の右から、１３１０で指示される行列の逆行列を掛けることによって、図１４で表わされる式に変形し、Ｔ’を計算する。この場合、１３０１から１３０４までの位置ベクトルデータは、必ずしも利用者が位置を変更した画像のものでなくてよい。位置を変更した画像に加え、位置を変更しなかった画像でも利用者がその位置を重視することを示している画像の位置ベクトルデータをこの式に利用すればよい。
【０１０１】
上記のように計算されたＴ’は、利用者がクエリー画像と検索対象画像群との類似度の計算に、どの特徴量をどれ位重み付けするかが表現されたもの（特徴量重み付け行列）になっている。
【０１０２】
このように、ステップＳ８０７では、変更された検索対象画像の位置を示す配置情報と、ステップＳ７０３で算出された近似度とに従って、変換行列（重み情報）を生成する（重み情報生成手段）。
【０１０３】
ステップＳ８０８では、変換行列生成部５０７は、図１２に示す式を用いて、ステップＳ７０３において生成していた近似度ベクトル群のそれぞれに対して、ステップＳ８０７で生成した変換行列を適用して、新たな位置ベクトル群（配置情報）をそれぞれ生成する。
【０１０４】
すなわち、ステップＳ８０８では、ステップＳ７０３で算出された近似度と、ステップＳ８０７で生成された変換行列とに従って、該近似度が算出された検索対象画像の配置情報を生成する。
【０１０５】
具体的には、ステップＳ７０３で算出される近似度ベクトルは、クエリー画像の特徴量データと、特徴量データベース５０９に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれ算出されたものであり、これら全ての近似度ベクトルのそれぞれを１２０３に代入し、更に、ステップＳ８０７で生成した変換行列を１２０２に代入し、画像データベース５０８に記憶されている画像全てについての新たな配置情報（位置ベクトル）１２０１を算出する。
【０１０６】
この新たな位置ベクトルは、利用者が期待する各検索対象画像の類似度をより正確に２次元座標空間上に表現するものとなっている。
【０１０７】
すなわち、ここでは、ユーザの操作（画像の配置位置の変更指示）により、どの特徴量についてどれ位重み付けするかを示す値が加味された配置情報が生成される。
【０１０８】
ステップＳ８０９では、変換行列生成部５０７は、ステップＳ８０８で算出した各検索対象画像の配置情報を、マップ生成部５０６へ入力する。マップ生成部５０６では、原点から一定の範囲内の距離にある画像を対象にして、それらの画像のサムネイル画像を２次元座標平面上に配置した新しい類似画像マップを作成する。
【０１０９】
（更新された類似画像マップの説明）
図１１で例示されている類似画像マップを使って、更新された検索結果について説明する。図１０において示されているように、場所を変更した画像は、Ｂ、Ｃ、Ｅ、Ｆである。これら４つの画像に関しては、図１１においてほぼ変更した場所に近い位置に配置されている。ただし、画像Ｅに関しては領域外へ移動されている。また、変換行列を算出する際に勘案されなかった画像、例えば画像Ａについては図１１では領域に表示されていない。これは画像Ａの近似度ベクトルへ新しい変換行列を適用した後の位置が原点に対して一定距離の中に出現しなったことを意味する。また、画像Ｄに関しては、図１０の時点の位置より原点に近づいている。さらに、図１１の座標平面では、新しい画像Ｇと画像Ｈが領域内に出現している。どちらも新しい変換行列によって各種特徴量毎の近似度への重みが変更された結果、よりクエリー画像に近いと判定された結果を示している。
【０１１０】
上記のＳ８０７で説明したような逆行列を使って変換行列を算出した場合には、計算に使用した新しい位置は変更位置と厳密に一致するように計算されるが、必ずしもそうする必要はなく、新しいパラメータを乱数などを用いて複数回試行し、複数の位置の変更が最もバランスよく実現されるものを選択するなどの異なる手法をとってもよい。図１１では、このような計算によって算出された場合の結果を表している。
【０１１１】
ステップＳ８１０では、マップ生成部５０６は前記類似画像マップを、利用者端末１０１のマップ表示部３０２へ送信する。
【０１１２】
ステップＳ８１０の後は、利用者端末１０１においてステップＳ８０１の処理へ続く。
【０１１３】
以上図８を用いて説明したように、２次元座標平面上に表示される類似画像に対して、利用者が自らの意図を反映するよう位置の変更を繰り返すことによって、利用者が期待する特徴を備えたクエリー画像と類似する画像を取得することが可能となる。
【０１１４】
このようにして、一度、マップ上に表示された画像の配置位置を変更することで、類似の画像を、画像データベース５０８に記憶されている画像の中から絞り込んで検索することが可能となる。
【０１１５】
以上、図８を用いて説明した手順により、視覚的に表現された各検索対象画像の類似度を、利用者の指示で更新することにより、各種特徴量の近似度を合成する時のパラメータ（変換行列）を逆算し、これにより利用者がより自分の期待する近似度表現を生成することが可能となる。
【０１１６】
すなわち、上述のように、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）に近くなるように、近似している判断する度合に応じた距離だけ移動し、また、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）から離れるように、近似していない判断する度合に応じた距離だけ移動し、再度、検索を行うことで、移動された検索対象画像のサムネイルの配置場所（配置位置）に応じて、クエリー画像のどの特徴に着目して類似性を判断すればよいのかを自動的に判断して、その判断結果を反映するように、各特徴量の重み（変換行列）を自動的に最適化して、類似の画像を再検索するため、煩雑な操作を軽減することが可能となる。
【０１１７】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。
【０１１８】
図１５に実施例２の画像検索システムの機能ブロック図を示す。図１５は図３で示される第１の実施形態の構成に５１０で指示される変換行列蓄積部を追加したものである。
【０１１９】
変換行列蓄積部５１０は、クエリー画像の各種特徴量データと変換行列の値とを対で保存する記憶部である。
【０１２０】
変換行列蓄積部５１０は、本発明の情報記憶手段の適用例である。すなわち、変換行列蓄積部５１０は、ステップＳ８０７で生成された変換行列（重み情報）と、ステップＳ７０１で受け付けた検索画像の複数の特徴量とを関連付けて記憶する記憶部である。
【０１２１】
第２の実施形態では、第１の実施形態と異なる処理のみを下記に説明する。すなわち、第２の実施形態では、第１の実施形態と同様の構成については、説明を省略する。
【０１２２】
（クエリー画像の特徴量データと変換行列の蓄積処理）
図８のフローチャートのステップＳ８０３において、更新なしの指示が利用者からあった場合に、配置指示部３０３は変換行列が確定したことを画像検索装置１０２の変換行列計算部５０７へ通知し、変換行列計算部５０７は、クエリー画像の各種特徴量データと、ステップＳ８０７で最終的に算出された変換行列のデータを、変換行列蓄積部５１０へ保存する。
【０１２３】
（変換行列の初期値の算出）
第２の実施形態では、図７のフローチャートのステップＳ７０４において、第１の実施形態で主成分分析によって変換行列を求めている処理を、前述した変換行列蓄積部５１０に保存されている変換行列の値を利用するように変更する。
【０１２４】
具体的には、次元圧縮部５０５は、クエリー画像の各種特徴量データセット（各特徴量）と最も近い特徴量データセットをもつエントリを変換行列蓄積部５１０から検索し、該エントリの変換行列のデータを用いて配置情報の生成処理を実施する。
【０１２５】
すなわち、ステップＳ７０４では、ステップＳ７０１で新たに受け付けた検索画像から取得された複数の特徴量に最も類似（近似）する複数の特徴量に関連付けられて変換行列蓄積部５１０により記憶されている変換行列（重み情報）を特定する（特定手段）。変換行列蓄積部５１０には、前回（過去）に検索を行った際に用いられた、前回（過去）のクエリー画像の各種特徴量データと、前回（過去）のステップＳ８０７で最終的に算出された変換行列のデータとが関連付けられて記憶されているため、ステップＳ７０１で新たにクエリー画像（検索画像）を受け付けた際には、該検索画像から取得された複数の特徴量に最も類似（近似）する複数の特徴量に関連付けられて変換行列蓄積部５１０により記憶されている変換行列（重み情報）を特定することができる。
【０１２６】
そして、ステップＳ７０３で算出された近似度と、当該特定された重み情報とを、それぞれ図１２の１２０３、１２０２に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する（ステップＳ７０４）。
【０１２７】
ただし、クエリー画像の各種特徴量データセットに対して距離がある範囲内にあるエントリがなかった場合は、第１の実施形態と同様に主成分分析によって変換行列を算出するものとする。
すなわち、ステップＳ７０４により生成された配置情報に従って、マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定し（画像数判定手段）、あると判定された場合には、ステップＳ７０３で算出された近似度と、ステップＳ７０４で特定された変換行列を、それぞれ図１２の１２０３、１２０２に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する。
【０１２８】
一方、マップ上の所定の範囲内に所定数の検索対象画像がないと判定された場合には、第１の実施形態で説明した通り、ステップＳ７０３で算出された近似度と、初期値の変換行列（重み情報）とをそれぞれ図１２の１２０３、１２０２に代入することで、配置情報を生成する。
【０１２９】
ここで、初期値の変換行列（重み情報）は、上述した通り、主成分分析を行うことで得られる変換行列であって、ステップＳ７０３で算出された複数の特徴量についての近似度に従って、当該複数の特徴量に対する重みを示す変換行列（重み情報）を決定した（決定手段）ものである。
【０１３０】
以上の変更を加えることによって、過去に同じような特徴量を有するクエリー画像の検索があった場合は、その際に作成された変換行列を再利用することによって、利用者の配置変更作業の負担を省略することができ、効率的に類似画像を見つけることができる。
【０１３１】
すなわち、クエリー画像の特徴量と、該クエリー画像に類似した画像を検索するために適した変換行列とを学習することで、効率的に、且つ迅速に類似画像を見つけることが可能となる。
【０１３２】
＜第３の実施形態＞
第１の実施形態、及び、第２の実施形態では、利用者端末１０１と画像検索装置１０２とを別々の筐体で記載しているが、これらを合体して１つの情報処理装置として構成することが可能である。すなわち、後述する利用者端末１０１が備える検索クエリー部３０１と、配置指示部３０３と、マップ表示部３０２とが、画像検索装置１０２内に含めて、画像検索装置１０２を１つの情報処理装置として構成することができる。
【０１３３】
以上、本発明によれば、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索することが可能になる。
【０１３４】
また、本発明によれば、利用者が明示的に検索に利用する特徴量を指定することなく、検索された画像を確認して、直感的に、その画像の位置を移動するだけで、各特徴量の重みを自動的に最適化して、類似の画像を検索するため、煩雑な操作を軽減することが可能となる。
【０１３５】
また、本発明によれば、結果表示に利用される特徴量は３つに制限されることなく、４つ目以上の特徴量についても考慮された座標軸（複数の特徴量の重みを織り込まれている２次元の座標軸）を含むマップに、検索された結果、得られた画像が表示されるため、クエリー画像に類似した画像を見落としてしまうおそれも低減可能となる。
【０１３６】
また、本発明によれば、類似性の指標を利用者が明示的に指定することなく、また複数の指標を用いる場合においても、利用者との相互作用を通じて、各指標の重みを自動的に最適化することが可能な画像検索の仕組みを提供することである。
【０１３７】
また、本発明によれば、大量の画像の中から、利用者が所望する特徴を備えた画像を、迅速に、効率的に、検索し、発見することが可能になる。
【０１３８】
以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、装置で読み取り実行可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。上述した実施例では、利用者端末１０１と、画像検索装置１０２とをそれぞれ別の筐体として説明したが、利用者端末１０１と、画像検索装置１０２と組み合わせて１つの情報処理装置とすることができる。すなわち、このように、利用者端末１０１と、画像検索装置１０２と組み合わせて１つの情報処理装置とした場合でも、本発明の範囲内にあることは言うまでもない。
【０１３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１４０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のカード、ＲＯＭ等を用いることができる。
【０１４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【０１４４】
１０１ 利用者端末
１０２ 画像検索装置
１０３ ＬＡＮ
３０１ 検索クエリー部
３０２ マップ表示部
３０３ 配置指示部
５０１ 画像登録部
５０２ 特徴量抽出部
５０３ 検索処理部
５０４ 特徴量近似度計算部
５０５ 次元圧縮部
５０６ マップ生成部
５０７ 変換行列計算部
５０８ 画像データベース
５０９ 特徴量データベース
５１０ 変換行列蓄積部
６００ 画像ソース
【技術分野】
【０００１】
本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、近似画像検索技術に関するものである。
【背景技術】
【０００２】
インターネット上から文書情報を探し出すためにキーワード（文字情報）を元にした検索システム（全文検索システムと呼ばれる）は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。それに対して文字列情報ではない画像情報に関しては、その検索手法は全文検索システムほど確立しておらず、様々な手法が研究されている段階にある。
【０００３】
現在普及している手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に全文検索システムと同じ手法で検索するものがある。また、近年では、探したい画像の元となる画像（クエリー画像と呼ばれる）を提示し、このクエリー画像に近い画像を検索する仕組みが提供されるようになってきた。このシステムでは、クエリー画像の特徴量と類似する特徴量をもつ画像を検索する。
【０００４】
また、一般にキーワードによる検索システムでは、文書が単に検索文字列（クエリーキーワード）そのもの、または同義語、もしくは類義語を、含むか否かを検索結果の妥当性の指標として用いることができる。これに対して画像を元に類似画像を探す類似画像検索システムの場合は、どのような指標（画像のどの特徴量）に基づいてクエリー画像と検索対象の画像が類似すると判定していいのか、を一意に決定することが困難である。
【０００５】
たとえば、ある利用者がＡという写真を元に検索する場合は、該利用者はＡの風景と同じような風景が写っている写真を結果として期待しているケースが考えられる。また、別の利用者は同じＡという写真を元にして写真に写っているオブジェクト（例えば椅子）と同じようなオブジェクトが写っている写真を結果として期待しているケースも考えられる。このようにあるクエリー画像から利用者が期待する結果を一意に決定すること、つまりクエリー画像のどの特徴に着目して類似性を判断すればよいのかを決定することが難しい。
【０００６】
特許文献１の画像検索システムでは、検索に利用する特徴量として複数の種類を組み合わせて利用することができるようになっている。また、複数の特徴量を用いて検索する場合は、それらの重みを利用者が指定することができるようになっている。さらに、検索結果を利用者が把握し易くするために、検索結果となった画像を３次元上に配置して表示することができる。各次元には検索に使用した特徴量を対応させている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−１７５５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１では、利用者が明示的に検索に利用する特徴量の種別を指定しなければならない。
そのため、利用者は、自身がクエリー画像に着目している特徴についての特徴量の種別を認識し、その種別を指定しなければならないばかりでなく、検索に利用する各特徴量の配分（重み）についても指定しなければならず、その確認作業、及び、その指定が煩雑であった。また、適切に、特徴量の種別、及び重みを指定しなければ類似する画像を検索することはできず、利用者は、一目で直感的に画像を検索することが困難であった。
【０００９】
さらに、上記特許文献１では、検索結果の表示画面において利用することができる特徴量は３つまでに制限されている。これは、Ｘ，Ｙ，Ｚの最大３つの軸でしか表示することが出来ない為、特徴量の座標軸は３つまでに制限されてしまっている。
【００１０】
そのため、４つ目以上の特徴量については表示画面に表すことができず、クエリー画像に類似した画像を見落としてしまうおそれも考えられる。
【００１１】
そこで、本発明の目的は、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索する仕組みを提供することである。
【課題を解決するための手段】
【００１２】
本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置であって、前記複数の検索対象画像を記憶する記憶手段と、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段と、を備え、前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【００１３】
また、本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置における制御方法であって、前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、前記情報処理装置の算出手段が、前記受付工程により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出工程と、前記情報処理装置の生成手段が、前記算出工程により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成工程と、前記情報処理装置の表示手段が、前記生成工程により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示工程と、前記情報処理装置の変更受付手段が、ユーザの操作により、前記表示工程で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付工程と、前記情報処理装置の重み情報生成手段が、前記変更受付工程により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出工程により算出された近似度とに従って、重み情報を生成する重み情報生成工程と、を備え、前記生成工程は、更に、前記算出工程により算出された近似度と、前記重み情報生成工程により生成された重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【００１４】
また、本発明は、検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置が読み取り実行可能なプログラムであって、前記情報処理装置を、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段として機能させ、前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像検索システムの構成の一例を示すシステム構成図である。
【図２】図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【図３】図１に示した利用者端末１０１、画像検索装置１０２の機能ブロックの構成を表す図である。
【図４】図３に示した特徴量抽出部５０３の内部の機能ブロックを表す図である。
【図５】図３に示した特徴量データベース５０５における特徴量テーブルの一例を示す図である。
【図６】本発明における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。
【図７】本発明における画像検索システムにおける検索処理の手順を示すフローチャートである。
【図８】本発明における画像検索システムにおける検索結果の更新処理の手順を示すフローチャートである。
【図９】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１０】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１１】本発明における画像検索システムにおける検索結果の利用者端末１０１のマップ表示部３０２における表示画面の一例を示す図である。
【図１２】本発明における画像検索システムにおける類似画像の近似度ベクトルを座標ベクトルへ変換する式の一例を示す図である。
【図１３】本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。
【図１４】本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。
【図１５】本発明の画像検索システムの構成の一例を示すシステム構成図である。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞
図１は、本発明の画像検索システムの構成の一例を示すシステム構成図である。
【００１８】
図１は、ひとつ又は複数の利用者端末１０１と、画像検索装置１０２とがローカルエリアネットワーク（ＬＡＮ）１０３を介して相互に通信可能に接続される構成となっている。
【００１９】
利用者端末１０１は、画像の検索を行う利用者が使用する情報処理装置であって、検索要求を発信する機能と検索結果を受信して表示する機能を有する。
【００２０】
画像検索装置１０２は、検索の対象となる複数の画像を記憶しており、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行い、検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する手段を備えている。画像検索装置１０２は、本発明の情報処理装置の適用例である。
【００２１】
以下、図２を用いて、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成について説明する。
【００２２】
図２は、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【００２３】
図２において、２０１はＣＰＵであり、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて情報処理装置全体の制御を行うと共に、情報処理装置行う後述の各処理を実行する。
【００２４】
２０２はＲＡＭであり、ＨＤＤ２０４や記録媒体ドライブ２０６からロードされたプログラムやデータ、ネットワークＩ／Ｆ（インターフェース）２０５を介して受信したデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行する際に使用するワークエリーアを備える。
【００２５】
２０３はＲＯＭであり、情報処理装置の設定データやブートプログラムなどを格納する。
【００２６】
２０４はＨＤＤであり、ここにＯＳ（オペレーティングシステム）や、情報処理装置が行う後述の各処理をＣＰＵ２０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータの一部もしくは全部はＣＰＵ２０１による制御に従ってＲＡＭ２０２にロードされ、これを用いてＣＰＵ２０１が処理を行うことで、情報処理装置は以下説明する各処理を実行することになる。
【００２７】
２０５はネットワークＩ／Ｆで、情報処理装置をネットワーク１０３に接続するためのものであり、このネットワークＩ／Ｆ２０５を介して情報処理装置は外部機器とデータ通信を行うことができる。
【００２８】
２０６は記録媒体ドライブであり、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ―ＲＯＭ、ＤＶＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＡＭ等の記憶媒体に記録されたプログラムやデータを読み出し、ＲＡＭ２０２に出力する。この読み出し動作はＣＰＵ２０１によって制御される。
【００２９】
２０７はキーボードであり、各種の指示をＣＰＵ２０１に対して入力することができる。２０８はマウス等のポインティングデバイスであり、各種の指示をＣＰＵ２０１に対して入力することができる。
【００３０】
２０９はビデオＩ／Ｆ（インターフェース）であり、ディスプレイ装置２１０に表示すべき画像を信号としてディスプレイ装置２１０に供給するためのＩ／Ｆとして機能するものである。
【００３１】
２１０はディスプレイ装置であり、ＣＲＴや液晶画面等により構成されており、ＣＰＵ２０１による処理結果を画像や文字等でもって表示することができる。
【００３２】
２１１は周辺機器Ｉ／Ｆであり、ＵＳＢポートやＩＥＥＥ１３９４ポート等によって構成されており、この周辺機器Ｉ／Ｆ２１１を介して周辺機器との接続することが可能である。周辺機器との接続形態は有線／無線を問わない。２１２は上述の各部を繋ぐバスである。
【００３３】
次に、図３を用いて、本発明の画像検索システムの機能ブロックの構成について説明する。
【００３４】
画像検索システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。
【００３５】
利用者端末１０１は、画像検索装置１０２に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末１０１は、検索クエリー部３０１と、マップ表示部３０２と、配置指示部３０３と、から構成される。
【００３６】
検索クエリー部３０１は、利用者から検索要求としてのクエリー画像を受け付ける入力手段を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する手段をもつ機能処理部である。
【００３７】
マップ表示部３０２は、画像検索装置１０２から応答される検索結果を受信する手段と、該検索結果を表示する手段を有する機能処理部である。図９、図１０、図１１に表示画面の例を示す。
【００３８】
配置指示部３０３は、マップ表示部３０２に検索結果として表示された座標平面上の類似画像の配置を、利用者がマウス等のデバイスを使用して変更した際の該変更情報を収集する手段と、該変更情報を画像検索装置１０２の変換行列計算部５０７へ送信する手段を有する機能処理部である。
【００３９】
画像検索装置１０２は、利用者端末１０１から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末１０１へ送信する情報処理装置である。画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、特徴量近似度計算部５０４と、次元圧縮部５０５と、マップ生成部５０６と、変換行列計算部５０７と、画像データベース５０８と、特徴量データベース５０９と、から構成される。
【００４０】
画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース５０９へ保存し、当該画像データ自体を画像データベース５０８へ保存する機能を有する。
【００４１】
特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。図４は、特徴量抽出部５０２の内部の機能ブロックの一例を示す図である。図４で示されるように、特徴量抽出部５０２は、複数の特徴量抽出部から構成される。図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの特徴量を抽出する実装をそれぞれに当てはめることが考えられる。また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。
【００４２】
すなわち、画像の特徴量としては、例えば、色（色相、彩度、明度等から構成される）に関する統計量、模様（テクスチャー）、局所的な領域の濃度変化特徴、写っているオブジェクトの形状、撮影日時、撮影場所などの様々の種類のものがあるため、このような種々の特徴量を、特徴量抽出部５０２は、抽出するように実装することもできる。
【００４３】
検索処理部５０３は、検索要求としてクエリー画像の受け付け、当該画像データの特徴量抽出処理を特徴量抽出部５０２へ指示し、その結果として受け取る特徴量情報を、特徴量近似度計算部５０４へ渡し、蓄積された画像との近似度ベクトルの算出を指示し、その近似度ベクトルデータを次元圧縮部５０５へ渡し、位置ベクトル群の生成を指示する、機能処理部である。
【００４４】
特徴量近似度計算部５０４は、検索処理部５０３からある画像に関する複数種類の画像特徴量を受け取り、当該画像特徴量と特徴量データベース５０９の中に保存されている特徴量を比較して各々との近似度を計算し近似度ベクトルを生成する機能処理部である。
【００４５】
次元圧縮部５０５は、検索処理部５０３から検索結果となる画像群の近似度ベクトルデータを受け取り、該データへ主成分分析を適用し、該データ（近似度ベクトル）をマップ生成部５０６で表現可能な次元数へ次元縮小した位置ベクトル（配置情報）を生成する機能処理部である。
【００４６】
マップ生成部５０６は、検索結果である画像群の配置情報を受け取り、それを２次元座標平面上に配置し視覚化したイメージ情報（検索結果マップ情報）を生成し、利用者端末１０１のマップ表示部３０２へ送信する機能処理部である。
【００４７】
すなわち、画像検索装置１０２は、クエリー画像（検索画像）と共に、クエリー画像（検索画像）に基づき検索される対象の画像である複数の検索対象画像の近似の関係を示すマップ（図９、図１０、図１１）（検索結果マップ情報）上に検索対象画像を表示する。
【００４８】
変換行列計算部５０７は、利用者端末１０１の配置指示部３０３から、画像の配置情報の変更情報（配置変更情報）を受け付け、該配置変更情報を反映する変換行列（近似度ベクトルから位置ベクトルを算出する関数）を算出する機能処理部である。
【００４９】
画像データベース５０８は、検索対象となる画像データ（検索対象画像）群を保存する記憶領域である。保存された画像データはＩＤ（識別子）によって直接アクセスできる手段を有する。画像データベース５０８は、複数の検索対象画像を記憶する記憶手段の適用例である。
【００５０】
特徴量データベース５０９は、検索対象となる画像データの各種特徴量のデータ（図５）を保存する記憶領域である。その特徴量データは図５で例示されるテーブルで管理されている。
【００５１】
図５のテーブルは、１行が画像データベース５０８に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子）（画像ＮＯとも言う）とともに特徴量Ａから特徴量Ｄの列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。
【００５２】
画像ソース６００は、本画像検索システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上のＦｌｉｃｋｒやＦａｃｅｂｏｏｋ等の写真共有機能を有するサイトであったり、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。
【００５３】
次に、図６を用いて、検索対象となる画像データを本画像検索システムへ登録する処理を説明する。
【００５４】
図６に示す各ステップは、画像検索装置１０２のＣＰＵ２０１により実行される。
【００５５】
以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。
【００５６】
ステップＳ６０１では、画像登録部５０１は、画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データを受信する。
【００５７】
ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを解析して、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて当該画像データのＡからＤの特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（ＡからＤの４つ）を、画像登録部５０１へ入力する。
【００５８】
ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で取得した特徴量データを、特徴量データベース５０９へ登録する。特徴量データは、図５で例示されるようなテーブル構造で保存される。
【００５９】
図５を用いて特徴量データを保存するテーブル構造（特徴量データベース５０９）を説明する。
【００６０】
既に説明したように、ある１つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値（整数や浮動小数点）の多次元ベクトルで表現される。例えば、局所特徴量の１つであるＳＩＦＴ特徴量は、浮動小数点の１２８次元ベクトルとして表現されている。この実施例で説明する画像検索システムでは、図４で示しているように特徴量Ａから特徴量Ｄまでの４つの種類の画像特徴量を取得するものとする。図５のテーブルは、１つの行が１つの検索対象画像に関する特徴量データを格納している。列名が特徴量Ａから特徴量Ｄまでの各々のカラムに各特徴量データが格納されている。それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。
【００６１】
ステップＳ６０４では、画像登録部５０１は、前記受信した画像データを画像データベース５０８に保存する。
【００６２】
以上で、画像登録の処理は終了する。
【００６３】
次に、図７を用いて、画像検索における処理のフローを説明する。
【００６４】
ステップＳ７０１では、検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信されるクエリー画像を受信する。
【００６５】
すなわち、ステップＳ７０１では、利用者端末１０１を操作する利用者（ユーザ）による操作により、クエリー画像（検索画像）の入力を受け付ける（受付手段）。ここでは、クエリー画像自体を利用者端末１０１から受信して入力を受け付けても良いし、画像データベース５０８に記憶されている画像から、クエリー画像としてユーザに選択されたクエリー画像の入力を受け付けてもよい。
【００６６】
ステップＳ７０２では、検索処理部５０３は、クエリー画像データを解析して、特徴量抽出部５０２へ入力し、該画像の特徴量データ（この実施例では４つの特徴量ベクトル）を取得する。
【００６７】
ステップＳ７０３では、検索処理部５０３は、ステップＳ７０２で取得した特徴量データを、特徴量近似度計算部５０４に入力する。特徴量近似度計算部５０４は受け取った特徴量データを、特徴量データベース５０９に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれとの近似度を算出する。１つの特徴量に関する近似度は、例えば数値ベクトル間のユーグリッド距離で表現される。検索対象画像１つに対するクエリー画像の近似度は、特徴量種類（この実施例ではＡからＤ）毎のユーグリッド距離の配列、つまり多次元数値ベクトルとして表現される。特徴量近似度計算部５０４は、検索対象画像全てに対してクエリー画像との近似度を表す多次元数値ベクトル（以降近似度ベクトルと呼ぶ）を生成し、該近似度ベクトル群を検索処理部５０３へ応答する。
【００６８】
すなわち、ステップＳ７０３では、ステップＳ７０１で受け付けたクエリー画像の複数の特徴量と、画像データベース５０８に記憶されている各画像の複数の特徴量との近似度をそれぞれ算出する（算出手段）。
【００６９】
ステップＳ７０４では、検索処理部５０３は、ステップＳ７０３で取得した近似度ベクトル群を、次元圧縮部５０５へ入力する。次元圧縮部５０５は、前記近似度ベクトル群に対して主成分分析処理を行い、近似度ベクトル群のそれぞれの次元を２次元に圧縮する。２次元化した近似度ベクトルを以降配置情報と呼ぶ。
【００７０】
すなわち、ステップＳ７０４では、ステップＳ７０３で算出された各近似度を図１２の１２０３に代入し、図１２の変換行列１２０２（初期値）と演算して、配置情報１２０１を算出して生成する。ここで、図１２の変換行列１２０２は、本発明における重み情報の適用例であって、複数種類の特徴量における各近似度を合成すると共に複数種類の特徴量に対する重みを示す情報である。また、ここで生成される配置情報は、算出された各近似度が算出された検索対象画像をマップ上に表示する位置を示す情報である。
【００７１】
このように、ステップＳ７０４では、算出された複数種類の特徴量における各近似度を合成して、当該複数の特徴量の種類よりも少ない数の次元のマップ上に表示する位置を示す配置情報を生成する。
【００７２】
（次元圧縮の手段について）
図１２にこの次元圧縮を行うベクトル変換の式を示す。１２０３で指示されるベクトルがクエリー画像と検索対象画像との近似度ベクトルを表す。Ｆ０、Ｆ１、Ｆ２、Ｆ３の値はそれぞれ特徴量Ａから特徴量Ｄに関するクエリー画像と検索対象画像との距離（差）を表している。１２０２で指示される行列は、上記の主成分分析処理において算出されるもので、変換行列（次元圧縮関数）を表す。この変換行列の１行目（Ｔ００、Ｔ０１、Ｔ０２、Ｔ０３）の値は第１主成分を表し、２行目（Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３）の値は第２主成分を表している。１２０１で指示されるベクトルは近似度ベクトルが２次元化された配置情報（位置ベクトル）を表している。１２０１のＸ、Ｙの値はどちらも、複数の（この実施例ではＦ０からＦ３の）画像特徴量の距離の線形合成になっている。
【００７３】
複数の特徴量の近似度からなる多次元数値ベクトルデータ（近似度ベクトル）を主成分分析により２次元化することによって、類似性が高い検索対象画像の集合（近似度ベクトル空間において原点に近い画像セット）を、それらの特徴が効率良く表現された配置で（情報量がなるべく落ちないように次元削減された表現で）視覚化することができる。２次元データのそれぞれの成分は各種特徴量の近似度を結合した値を表すが、各成分は互いに独立した類似度表現を表す尺度になっている。
【００７４】
ステップＳ７０５では、次元圧縮部５０５は、ステップＳ７０４で算出した配置情報群を、マップ生成部５０６へ入力する。マップ生成部５０６は、配置情報群のうち原点から一定の範囲内の距離にある配置情報を対象に、その配置情報に対応する画像のサムネイル画像（類似画像のサムネイル）を２次元座標平面上に配置した視覚化情報（マップとも言う）を作成する。この視覚化情報は図９の９００で指示される領域で例示される。以降、この視覚化情報を類似画像マップと呼び、２次元座標平面上に表示された画像を類似画像と呼ぶ。
【００７５】
ステップＳ７０５において、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に配置するため、ステップＳ７０６では、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に表示するべく出力する。
【００７６】
ステップＳ７０６では、マップ生成部５０６は作成された類似画像マップを、利用者端末１０１のマップ表示部３０２へ送信する。
【００７７】
すなわち、ステップＳ７０６では、生成された配置情報に示される類似画像マップ（単にマップとも言う）上の位置に該検索対象画像を表示するべく出力する。
【００７８】
以上で、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。
【００７９】
次に、図８を用いて利用者の指示によって検索結果を改善する処理のフローを説明する。
【００８０】
ステップＳ８０１では、Ｓ７０６においてマップ生成部５０６から送信された類似画像マップを、利用者端末１０１のマップ表示部３０２において受信する。
【００８１】
ステップＳ８０２では、類似画像マップをマップ表示部３０２において表示する。
【００８２】
（図９の説明）
図９は、類似画像マップを表示しているマップ表示部３０２の画面例である。９００で指示される領域に類似画像マップが表示されている。類似画像マップは２次元座標平面上にクエリー画像と類似すると計算された画像（類似画像）のサムネイルが配置されたものである。９０１で指示しているオブジェクトはクエリー画像のサムネイルを表しており、座標平面の原点に配置されている。９０４から９０９で指示されるオブジェクトは類似画像のサムネイルを表しており、ステップＳ７０４で算出された配置情報の座標に表示されている。
【００８３】
類似画像の配置場所はクエリー画像と各々の類似画像との各種特徴量の距離（差）を２次元座標化したものであるので、クエリー画像と類似性が高い類似画像ほど原点の近くに配置される。
【００８４】
９０２は、利用者が類似画像の位置をドラッグするなどして変更した場合に、その更新内容を含む更新情報を、画像検索装置１０２へ送出するためのボタンを表している。また、９０３は、利用者が類似画像の配置に関して、これ以上変更の余地はないことを画像検索装置１０２へ通知するためのボタンを表している。
【００８５】
（類似画像の配置の変更について）
利用者は、ステップＳ８０２の後、利用者端末１０１のマップ表示部３０２に表示された類似画像マップを視認し、９０４から９０９で指示されるようなサムネイルを、９０１のクエリー画像のサムネイルと見比べて、該サムネイルの配置場所をマウスでドラッグするなどの操作で変更する。
【００８６】
すなわち、９０１のクエリー画像のサムネイルと類似していると利用者が判断した検索対象画像のサムネイルの配置場所を、利用者がマウスでドラッグするなどの操作を行い、類似していると判断した検索対象画像のサムネイルの配置場所を変更する。具体的には、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）に近くなるように、近似している判断する度合に応じた距離を移動する。一方、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）から離れるように、近似していない判断する度合に応じた距離を移動する。
【００８７】
このように、利用者端末１０１は、ユーザの操作により、マップ上に表示された検索対象画像の位置の変更を受け付ける（変更受付手段）。
【００８８】
上述したようにサムネイルの配置の各軸は、各特徴量に関する距離成分の線形合成された値を表すものである。前記線形合成のパラメータ（図１２の変換行列１２０２）の初期値は、主成分分析によって導出され、次元圧縮に際してできるだけ情報量が減らないように決定されるようにする。すなわち、ステップＳ７０３で算出された各近似度ベクトル（本実施例では、５０２１、５０２２、５０２３、５０２４のそれぞれの部で抽出された特徴量Ａ、特徴量Ｂ、特徴量Ｃ、特徴量Ｄについての近似度ベクトル）について、主成分分析を行い、各近似度ベクトル（本実施例では４つの近似度ベクトル）を２つの成分（次元）になるよう合成して図１２の変換行列１２０２（初期値）を算出して生成する。ここで、主成分分析による２次元への次元圧縮では、近似度ベクトル群の情報量をできるだけ落とさないように成分（次元）が２つ選択される。
【００８９】
このようにして決定された座標系上の類似画像群に対して、利用者はそれらの相対的位置関係と原点からの距離を考慮して、位置調整を実施する。この結果、線形合成のパラメータが、利用者が画像の類似性に期待する各種特徴量の重みを近づくものと考えられる。
【００９０】
配置の変更手段に関しては、各類似画像を利用者が画像を確認し易くするため９０４から９０９のサムネイルをクリックするとより大きなサイズの画像がその場で表示されるといった工夫があってもよい。
【００９１】
サムネイルの配置位置を更新したマップ表示部３０２の例を図１０に示す。
【００９２】
図１０では、利用者が、画像Ｂを９０５で指示される場所（配置位置）から９１０で指示される場所（配置位置）へ移動し、画像Ｃを９０６で指示される場所（配置位置）から９１１で指示される場所（配置位置）へ移動し、画像Ｅを９０８で指示される場所（配置位置）から９１２で指示される場所（配置位置）へ移動し、画像Ｆを９０９で指示される場所（配置位置）から９１３で指示される場所（配置位置）へ移動したことを表している。
【００９３】
ステップＳ８０３では、マップ表示部３０２が利用者によって９０３で指示される更新なしボタン９０３が押下されたことを検知した場合は処理を終了する。マップ表示部３０２が９０２で指示される更新ボタン９０２の押下を検知した場合はステップＳ８０４へ進む。
【００９４】
ステップＳ８０４では、配置指示部３０３は、マップ表示部３０２で変更されたサムネイル画像の位置を示す変更情報（配置変更情報）を２０３で指示されるＲＡＭの中に蓄積させる。上記の例で説明すると、画像Ｂ、画像Ｃ、画像Ｅ、画像Ｆの新しい位置情報を位置ベクトルデータとしてＲＡＭ２０２の中に保存する。
【００９５】
ステップＳ８０５では、配置指示部３０３は、ステップＳ８０４で保存した複数の位置ベクトルデータ（配置変更情報）を、画像検索装置１０２の変換行列計算部５０７へ送信する。
【００９６】
ステップＳ８０６では、画像検索装置１０２の変換行列計算部５０７は、ステップＳ８０５で送信された位置ベクトルデータ（配置変更情報）を受信する。
【００９７】
すなわち、画像検索装置１０２は、ユーザの操作により、マップ上に表示された検索対象画像の位置が変更された内容として配置変更情報を受け付ける。配置変更情報は、変更された検索対象画像の位置を示す配置情報である。
【００９８】
（位置更新情報からの変換行列の計算）
ステップＳ８０７では、変換行列計算部５０７は、位置ベクトルデータ（配置変更情報）を入力して次元圧縮行列を計算する。これは、ステップＳ７０４の処理を説明した際に出てきた図１２の１２０２で指示される変換行列を、１２０１の位置ベクトルと１２０３の近似度ベクトルを元にして、求める処理となる。例えば、位置ベクトルデータが４つあった場合には、それらと新しい変換行列Ｔ’の関係は、図１３の式で表わされる。これは４つの配置情報の変換式を１つにまとめた式である。
【００９９】
図１３において１３０１から１３０４の部分は、それぞれが利用者が移動した類似画像の配置情報（位置ベクトルデータ）を表している。また、１３０５から１３０８の部分は、１３０１から１３０４に対応する画像の前記クエリー画像との近似度ベクトル（ステップＳ７０３において生成されている値）を表している。例えば、１３０１で指示された部分は図１０において利用者が移動したＢの画像の新しい位置（９１０）のデータ（配置情報（位置ベクトル））を表し、その時の１３０５で指示される部分は１３０１に対応する画像Ｂの近似度ベクトルを表している。１３０２から１３０４と１３０５から１３０８も同様にぞれぞれ新しい位置ベクトルデータとそれに対応する画像の近似度ベクトルデータを表している。
【０１００】
この式を変形してＴ’について解くことによって、変換行列Ｔ’を算出できる。図１３の式の両辺の右から、１３１０で指示される行列の逆行列を掛けることによって、図１４で表わされる式に変形し、Ｔ’を計算する。この場合、１３０１から１３０４までの位置ベクトルデータは、必ずしも利用者が位置を変更した画像のものでなくてよい。位置を変更した画像に加え、位置を変更しなかった画像でも利用者がその位置を重視することを示している画像の位置ベクトルデータをこの式に利用すればよい。
【０１０１】
上記のように計算されたＴ’は、利用者がクエリー画像と検索対象画像群との類似度の計算に、どの特徴量をどれ位重み付けするかが表現されたもの（特徴量重み付け行列）になっている。
【０１０２】
このように、ステップＳ８０７では、変更された検索対象画像の位置を示す配置情報と、ステップＳ７０３で算出された近似度とに従って、変換行列（重み情報）を生成する（重み情報生成手段）。
【０１０３】
ステップＳ８０８では、変換行列生成部５０７は、図１２に示す式を用いて、ステップＳ７０３において生成していた近似度ベクトル群のそれぞれに対して、ステップＳ８０７で生成した変換行列を適用して、新たな位置ベクトル群（配置情報）をそれぞれ生成する。
【０１０４】
すなわち、ステップＳ８０８では、ステップＳ７０３で算出された近似度と、ステップＳ８０７で生成された変換行列とに従って、該近似度が算出された検索対象画像の配置情報を生成する。
【０１０５】
具体的には、ステップＳ７０３で算出される近似度ベクトルは、クエリー画像の特徴量データと、特徴量データベース５０９に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれ算出されたものであり、これら全ての近似度ベクトルのそれぞれを１２０３に代入し、更に、ステップＳ８０７で生成した変換行列を１２０２に代入し、画像データベース５０８に記憶されている画像全てについての新たな配置情報（位置ベクトル）１２０１を算出する。
【０１０６】
この新たな位置ベクトルは、利用者が期待する各検索対象画像の類似度をより正確に２次元座標空間上に表現するものとなっている。
【０１０７】
すなわち、ここでは、ユーザの操作（画像の配置位置の変更指示）により、どの特徴量についてどれ位重み付けするかを示す値が加味された配置情報が生成される。
【０１０８】
ステップＳ８０９では、変換行列生成部５０７は、ステップＳ８０８で算出した各検索対象画像の配置情報を、マップ生成部５０６へ入力する。マップ生成部５０６では、原点から一定の範囲内の距離にある画像を対象にして、それらの画像のサムネイル画像を２次元座標平面上に配置した新しい類似画像マップを作成する。
【０１０９】
（更新された類似画像マップの説明）
図１１で例示されている類似画像マップを使って、更新された検索結果について説明する。図１０において示されているように、場所を変更した画像は、Ｂ、Ｃ、Ｅ、Ｆである。これら４つの画像に関しては、図１１においてほぼ変更した場所に近い位置に配置されている。ただし、画像Ｅに関しては領域外へ移動されている。また、変換行列を算出する際に勘案されなかった画像、例えば画像Ａについては図１１では領域に表示されていない。これは画像Ａの近似度ベクトルへ新しい変換行列を適用した後の位置が原点に対して一定距離の中に出現しなったことを意味する。また、画像Ｄに関しては、図１０の時点の位置より原点に近づいている。さらに、図１１の座標平面では、新しい画像Ｇと画像Ｈが領域内に出現している。どちらも新しい変換行列によって各種特徴量毎の近似度への重みが変更された結果、よりクエリー画像に近いと判定された結果を示している。
【０１１０】
上記のＳ８０７で説明したような逆行列を使って変換行列を算出した場合には、計算に使用した新しい位置は変更位置と厳密に一致するように計算されるが、必ずしもそうする必要はなく、新しいパラメータを乱数などを用いて複数回試行し、複数の位置の変更が最もバランスよく実現されるものを選択するなどの異なる手法をとってもよい。図１１では、このような計算によって算出された場合の結果を表している。
【０１１１】
ステップＳ８１０では、マップ生成部５０６は前記類似画像マップを、利用者端末１０１のマップ表示部３０２へ送信する。
【０１１２】
ステップＳ８１０の後は、利用者端末１０１においてステップＳ８０１の処理へ続く。
【０１１３】
以上図８を用いて説明したように、２次元座標平面上に表示される類似画像に対して、利用者が自らの意図を反映するよう位置の変更を繰り返すことによって、利用者が期待する特徴を備えたクエリー画像と類似する画像を取得することが可能となる。
【０１１４】
このようにして、一度、マップ上に表示された画像の配置位置を変更することで、類似の画像を、画像データベース５０８に記憶されている画像の中から絞り込んで検索することが可能となる。
【０１１５】
以上、図８を用いて説明した手順により、視覚的に表現された各検索対象画像の類似度を、利用者の指示で更新することにより、各種特徴量の近似度を合成する時のパラメータ（変換行列）を逆算し、これにより利用者がより自分の期待する近似度表現を生成することが可能となる。
【０１１６】
すなわち、上述のように、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）に近くなるように、近似している判断する度合に応じた距離だけ移動し、また、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心（クエリー画像のサムネイルが配置されている２つの座標軸の原点）から離れるように、近似していない判断する度合に応じた距離だけ移動し、再度、検索を行うことで、移動された検索対象画像のサムネイルの配置場所（配置位置）に応じて、クエリー画像のどの特徴に着目して類似性を判断すればよいのかを自動的に判断して、その判断結果を反映するように、各特徴量の重み（変換行列）を自動的に最適化して、類似の画像を再検索するため、煩雑な操作を軽減することが可能となる。
【０１１７】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。
【０１１８】
図１５に実施例２の画像検索システムの機能ブロック図を示す。図１５は図３で示される第１の実施形態の構成に５１０で指示される変換行列蓄積部を追加したものである。
【０１１９】
変換行列蓄積部５１０は、クエリー画像の各種特徴量データと変換行列の値とを対で保存する記憶部である。
【０１２０】
変換行列蓄積部５１０は、本発明の情報記憶手段の適用例である。すなわち、変換行列蓄積部５１０は、ステップＳ８０７で生成された変換行列（重み情報）と、ステップＳ７０１で受け付けた検索画像の複数の特徴量とを関連付けて記憶する記憶部である。
【０１２１】
第２の実施形態では、第１の実施形態と異なる処理のみを下記に説明する。すなわち、第２の実施形態では、第１の実施形態と同様の構成については、説明を省略する。
【０１２２】
（クエリー画像の特徴量データと変換行列の蓄積処理）
図８のフローチャートのステップＳ８０３において、更新なしの指示が利用者からあった場合に、配置指示部３０３は変換行列が確定したことを画像検索装置１０２の変換行列計算部５０７へ通知し、変換行列計算部５０７は、クエリー画像の各種特徴量データと、ステップＳ８０７で最終的に算出された変換行列のデータを、変換行列蓄積部５１０へ保存する。
【０１２３】
（変換行列の初期値の算出）
第２の実施形態では、図７のフローチャートのステップＳ７０４において、第１の実施形態で主成分分析によって変換行列を求めている処理を、前述した変換行列蓄積部５１０に保存されている変換行列の値を利用するように変更する。
【０１２４】
具体的には、次元圧縮部５０５は、クエリー画像の各種特徴量データセット（各特徴量）と最も近い特徴量データセットをもつエントリを変換行列蓄積部５１０から検索し、該エントリの変換行列のデータを用いて配置情報の生成処理を実施する。
【０１２５】
すなわち、ステップＳ７０４では、ステップＳ７０１で新たに受け付けた検索画像から取得された複数の特徴量に最も類似（近似）する複数の特徴量に関連付けられて変換行列蓄積部５１０により記憶されている変換行列（重み情報）を特定する（特定手段）。変換行列蓄積部５１０には、前回（過去）に検索を行った際に用いられた、前回（過去）のクエリー画像の各種特徴量データと、前回（過去）のステップＳ８０７で最終的に算出された変換行列のデータとが関連付けられて記憶されているため、ステップＳ７０１で新たにクエリー画像（検索画像）を受け付けた際には、該検索画像から取得された複数の特徴量に最も類似（近似）する複数の特徴量に関連付けられて変換行列蓄積部５１０により記憶されている変換行列（重み情報）を特定することができる。
【０１２６】
そして、ステップＳ７０３で算出された近似度と、当該特定された重み情報とを、それぞれ図１２の１２０３、１２０２に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する（ステップＳ７０４）。
【０１２７】
ただし、クエリー画像の各種特徴量データセットに対して距離がある範囲内にあるエントリがなかった場合は、第１の実施形態と同様に主成分分析によって変換行列を算出するものとする。
すなわち、ステップＳ７０４により生成された配置情報に従って、マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定し（画像数判定手段）、あると判定された場合には、ステップＳ７０３で算出された近似度と、ステップＳ７０４で特定された変換行列を、それぞれ図１２の１２０３、１２０２に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する。
【０１２８】
一方、マップ上の所定の範囲内に所定数の検索対象画像がないと判定された場合には、第１の実施形態で説明した通り、ステップＳ７０３で算出された近似度と、初期値の変換行列（重み情報）とをそれぞれ図１２の１２０３、１２０２に代入することで、配置情報を生成する。
【０１２９】
ここで、初期値の変換行列（重み情報）は、上述した通り、主成分分析を行うことで得られる変換行列であって、ステップＳ７０３で算出された複数の特徴量についての近似度に従って、当該複数の特徴量に対する重みを示す変換行列（重み情報）を決定した（決定手段）ものである。
【０１３０】
以上の変更を加えることによって、過去に同じような特徴量を有するクエリー画像の検索があった場合は、その際に作成された変換行列を再利用することによって、利用者の配置変更作業の負担を省略することができ、効率的に類似画像を見つけることができる。
【０１３１】
すなわち、クエリー画像の特徴量と、該クエリー画像に類似した画像を検索するために適した変換行列とを学習することで、効率的に、且つ迅速に類似画像を見つけることが可能となる。
【０１３２】
＜第３の実施形態＞
第１の実施形態、及び、第２の実施形態では、利用者端末１０１と画像検索装置１０２とを別々の筐体で記載しているが、これらを合体して１つの情報処理装置として構成することが可能である。すなわち、後述する利用者端末１０１が備える検索クエリー部３０１と、配置指示部３０３と、マップ表示部３０２とが、画像検索装置１０２内に含めて、画像検索装置１０２を１つの情報処理装置として構成することができる。
【０１３３】
以上、本発明によれば、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索することが可能になる。
【０１３４】
また、本発明によれば、利用者が明示的に検索に利用する特徴量を指定することなく、検索された画像を確認して、直感的に、その画像の位置を移動するだけで、各特徴量の重みを自動的に最適化して、類似の画像を検索するため、煩雑な操作を軽減することが可能となる。
【０１３５】
また、本発明によれば、結果表示に利用される特徴量は３つに制限されることなく、４つ目以上の特徴量についても考慮された座標軸（複数の特徴量の重みを織り込まれている２次元の座標軸）を含むマップに、検索された結果、得られた画像が表示されるため、クエリー画像に類似した画像を見落としてしまうおそれも低減可能となる。
【０１３６】
また、本発明によれば、類似性の指標を利用者が明示的に指定することなく、また複数の指標を用いる場合においても、利用者との相互作用を通じて、各指標の重みを自動的に最適化することが可能な画像検索の仕組みを提供することである。
【０１３７】
また、本発明によれば、大量の画像の中から、利用者が所望する特徴を備えた画像を、迅速に、効率的に、検索し、発見することが可能になる。
【０１３８】
以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、装置で読み取り実行可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。上述した実施例では、利用者端末１０１と、画像検索装置１０２とをそれぞれ別の筐体として説明したが、利用者端末１０１と、画像検索装置１０２と組み合わせて１つの情報処理装置とすることができる。すなわち、このように、利用者端末１０１と、画像検索装置１０２と組み合わせて１つの情報処理装置とした場合でも、本発明の範囲内にあることは言うまでもない。
【０１３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１４０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のカード、ＲＯＭ等を用いることができる。
【０１４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【０１４４】
１０１ 利用者端末
１０２ 画像検索装置
１０３ ＬＡＮ
３０１ 検索クエリー部
３０２ マップ表示部
３０３ 配置指示部
５０１ 画像登録部
５０２ 特徴量抽出部
５０３ 検索処理部
５０４ 特徴量近似度計算部
５０５ 次元圧縮部
５０６ マップ生成部
５０７ 変換行列計算部
５０８ 画像データベース
５０９ 特徴量データベース
５１０ 変換行列蓄積部
６００ 画像ソース
【特許請求の範囲】
【請求項１】
検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置であって、
前記複数の検索対象画像を記憶する記憶手段と、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、
前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、
前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、
ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段と、
を備え、
前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする情報処理装置。
【請求項２】
前記算出手段は、前記受付手段により受け付けた検索画像の複数種類の特徴量と、前記記憶手段に記憶されている検索対象画像の複数種類の特徴量との近似度をそれぞれ算出し、
前記生成手段は、前記複数種類の特徴量における各近似度を合成すると共に前記複数種類の特徴量に対する重みを示す重み情報に従って、前記算出手段により算出された前記複数種類の特徴量における各近似度を合成して、当該複数の特徴量の種類よりも少ない数の次元の前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記重み情報生成手段により生成された重み情報と、前記受付手段により受け付けた検索画像の複数の特徴量とを関連付けて記憶する情報記憶手段と、
前記受付手段により受け付けた新たに受け付けた検索画像の複数の特徴量に類似する複数の特徴量に関連付けられて前記情報記憶手段により記憶されている重み情報を特定する特定手段と、
を更に備え、
前記生成手段は、前記算出手段により算出された近似度と、前記特定手段により特定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示手段は、前記マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみを前記マップ上に表示するべく出力することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記生成手段により生成された配置情報に従って、前記マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定する画像数判定手段を更に備え、
前記生成手段は、前記画像数判定手段により、前記マップ上の所定の範囲内に所定数の検索対象画像があると判定された場合には、前記算出手段により算出された近似度と、前記特定手段により特定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記算出手段により算出された、前記複数の特徴量についての近似度に従って、前記複数の特徴量に対する重みを示す重み情報を決定する決定手段を更に備え、
前記画像数判定手段により、前記マップ上の所定の範囲内に所定数の検索対象画像がないと判定された場合には、前記生成手段は、前記算出手段により算出された近似度と、前記決定手段により決定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置における制御方法であって、
前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、
前記情報処理装置の算出手段が、前記受付工程により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出工程と、
前記情報処理装置の生成手段が、前記算出工程により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成工程と、
前記情報処理装置の表示手段が、前記生成工程により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示工程と、
前記情報処理装置の変更受付手段が、ユーザの操作により、前記表示工程で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付工程と、
前記情報処理装置の重み情報生成手段が、前記変更受付工程により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出工程により算出された近似度とに従って、重み情報を生成する重み情報生成工程と、
を備え、
前記生成工程は、更に、前記算出工程により算出された近似度と、前記重み情報生成工程により生成された重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする制御方法。
【請求項８】
検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置が読み取り実行可能なプログラムであって、
前記情報処理装置を、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、
前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、
前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、
ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段として機能させ、
前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とするプログラム。
【請求項１】
検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置であって、
前記複数の検索対象画像を記憶する記憶手段と、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、
前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、
前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、
ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段と、
を備え、
前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする情報処理装置。
【請求項２】
前記算出手段は、前記受付手段により受け付けた検索画像の複数種類の特徴量と、前記記憶手段に記憶されている検索対象画像の複数種類の特徴量との近似度をそれぞれ算出し、
前記生成手段は、前記複数種類の特徴量における各近似度を合成すると共に前記複数種類の特徴量に対する重みを示す重み情報に従って、前記算出手段により算出された前記複数種類の特徴量における各近似度を合成して、当該複数の特徴量の種類よりも少ない数の次元の前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記重み情報生成手段により生成された重み情報と、前記受付手段により受け付けた検索画像の複数の特徴量とを関連付けて記憶する情報記憶手段と、
前記受付手段により受け付けた新たに受け付けた検索画像の複数の特徴量に類似する複数の特徴量に関連付けられて前記情報記憶手段により記憶されている重み情報を特定する特定手段と、
を更に備え、
前記生成手段は、前記算出手段により算出された近似度と、前記特定手段により特定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示手段は、前記マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみを前記マップ上に表示するべく出力することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記生成手段により生成された配置情報に従って、前記マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定する画像数判定手段を更に備え、
前記生成手段は、前記画像数判定手段により、前記マップ上の所定の範囲内に所定数の検索対象画像があると判定された場合には、前記算出手段により算出された近似度と、前記特定手段により特定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記算出手段により算出された、前記複数の特徴量についての近似度に従って、前記複数の特徴量に対する重みを示す重み情報を決定する決定手段を更に備え、
前記画像数判定手段により、前記マップ上の所定の範囲内に所定数の検索対象画像がないと判定された場合には、前記生成手段は、前記算出手段により算出された近似度と、前記決定手段により決定された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置における制御方法であって、
前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、
前記情報処理装置の算出手段が、前記受付工程により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出工程と、
前記情報処理装置の生成手段が、前記算出工程により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成工程と、
前記情報処理装置の表示手段が、前記生成工程により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示工程と、
前記情報処理装置の変更受付手段が、ユーザの操作により、前記表示工程で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付工程と、
前記情報処理装置の重み情報生成手段が、前記変更受付工程により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出工程により算出された近似度とに従って、重み情報を生成する重み情報生成工程と、
を備え、
前記生成工程は、更に、前記算出工程により算出された近似度と、前記重み情報生成工程により生成された重み情報とに従って、前記算出工程により該近似度が算出された検索対象画像の配置情報を生成することを特徴とする制御方法。
【請求項８】
検索画像に基づき検索される対象の画像である複数の検索対象画像を記憶する記憶手段を備え、前記複数の検索対象画像の関係を示すマップ上に前記検索対象画像を表示する情報処理装置が読み取り実行可能なプログラムであって、
前記情報処理装置を、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像の複数の特徴量と、前記記憶手段に記憶されている検索対象画像の複数の特徴量との近似度をそれぞれ算出する算出手段と、
前記算出手段により算出された近似度と、前記複数の特徴量に対する重みを示す重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像を前記マップ上に表示する位置を示す配置情報を生成する生成手段と、
前記生成手段により生成された配置情報に示される前記マップ上の位置に該検索対象画像を表示するべく出力する表示手段と、
ユーザの操作により、前記表示手段で前記マップ上に表示された検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた検索対象画像の位置を示す配置情報と、前記算出手段により算出された近似度とに従って、重み情報を生成する重み情報生成手段として機能させ、
前記生成手段は、更に、前記算出手段により算出された近似度と、前記重み情報生成手段により生成された重み情報とに従って、前記算出手段により該近似度が算出された検索対象画像の配置情報を生成することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−１１４５９７（Ｐ２０１３−１１４５９７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２５６７（Ｐ２０１１−２６２５６７）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（５９２１３５２０３）キヤノンＩＴソリューションズ株式会社 (528)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（５９２１３５２０３）キヤノンＩＴソリューションズ株式会社 (528)
【Ｆターム（参考）】
[ Back to top ]