特徴情報作成装置、方法及びプログラム
【課題】画像をキーとして類似画像検索を行う際の検索精度の低下を防止する。
【解決手段】既存のウェブ検索エンジンＥを活用し、ウェブ検索エンジンにキーワードを渡して得る検索結果に基づいてウェブサーバＧＳから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【解決手段】既存のウェブ検索エンジンＥを活用し、ウェブ検索エンジンにキーワードを渡して得る検索結果に基づいてウェブサーバＧＳから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をキーとした類似画像検索に関する。
【背景技術】
【０００２】
従来、ウェブ上におけるコンテンツの充実や多様化に伴い、インターネット上で公開されている様々な情報を検索する手法が増加しつつある。基本的な手法として、指定されるキーワードを検索キー（クエリ）とするキーワード検索が知られ、その他にも、検索で指定される画像（「クエリ画像」などと呼ばれる）を検索キーとしてそれに類似する画像を検索して表示する、いわゆる類似画像検索が知られている（例えば、非特許文献１参照）。
【０００３】
類似画像検索では、画像ごとの色や形状など視覚的な特徴をデータ化した特徴量と呼ぶ情報同士を画像同士で比較することにより、クエリ画像に類似する画像を検索して表示する。ここで、検索結果の候補として、クエリ画像と比較される側の多数の画像を以下「候補画像」と呼ぶこととするが、上記のような類似画像検索をシステムなどで実現するためには、多数の候補画像に、その画像データから抽出した色や形状などを表す特徴量を関連付け、データベースなどとして予め用意しておく必要がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】グーグル株式会社、「Google Similar Images」、［online］、［2010年３月17日検索］、インターネット〈URL: http://similar-images.googlelabs.com/ >
【特許文献】
【０００５】
【特許文献１】特開２００８−１６０５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、検索に関連して画像を登録する従来技術の例として、ユーザが入力したキーワードに関する画像をインターネットの検索エンジンで検索し、ヒットした画像を登録する例はあるが（特許文献１参照）、この種の検索で取得できる画像はサムネイル画像やキャッシュ画像であり、類似画像検索用の特徴量抽出に適したオリジナルの画像データを取得できるものではなかった。
【０００７】
この点、ウェブ上から任意のデータを網羅的に得る技術としては、クローラによるクローリングがある。クローリングは、クローラと呼ぶコンピュータ・プログラムにより、ウェブページ間のハイパーリンクやＵＲＬの階層構造などを基に、ウェブ上を巡回（クロール）するようにアクセスして情報を収集する処理である。
【０００８】
このクローリングで画像を収集することも理論上は考えられるが、クロールのスケジュール管理、収集した情報から検索用データ（いわゆるインデックスデータ）を生成するインデクシング処理、情報間の優先順位を判断するランキング処理など、クローラの作成や運用はコストなどの負荷が大きい。このため、従来では、ウェブ上の画像を検索可能にする類似画像検索システムの実現は容易ではなかった。
【０００９】
上記の課題に対し本発明の目的は、独自にクローラを用意する大きな負荷無しで類似画像検索用データを作成し類似画像検索システムを実現することである。
【課題を解決するための手段】
【００１０】
上記の目的をふまえ、本発明の一態様（１）は、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、を有することを特徴とする。
【００１１】
本発明の他の態様（５）は、上記態様を方法のカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、を含むことを特徴とする。
【００１２】
本発明の他の態様（６）は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、そのプログラムはコンピュータを制御することにより、ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させることを特徴とする。
【００１３】
このように、既存のウェブ検索エンジンを活用し、ウェブ検索エンジンにキーワードを渡して得る検索結果に基づいてウェブサーバから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。
【００１４】
本発明の他の態様（２）は、上記いずれかの態様において、前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする。
【００１５】
このように、前記ウェブ検索エンジンとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。
【００１６】
本発明の他の態様（３）は、上記いずれかの態様において、前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする。
【００１７】
このように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【００１８】
本発明の他の態様（４）は、上記いずれかの態様において、類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる、判別制御手段を有することを特徴とする。
【００１９】
このように、類似画像検索で指定された画像の画像特徴量が未記憶の場合、画像を取得し画像特徴量の抽出と記憶を行うことにより、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。
【００２０】
なお、上記の各態様とは異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。
【発明の効果】
【００２１】
本発明によれば、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態で用いる情報（データ）を例示する図。
【図３】本発明の実施形態における特徴情報作成の処理手順を示すフローチャート。
【図４】本発明の実施形態における類似画像検索の処理手順を示すフローチャート。
【図５】本発明の実施形態において、テキストから画像を検索するための画面例を示す図。
【図６】本発明の実施形態において類似画像検索のために画像を選定する画面例を示す図。
【図７】本発明の実施形態における重み付けの一例を示す概念図。
【図８】本発明の実施形態における重み付けの一例を示す概念図。
【図９】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１０】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１１】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【発明を実施するための形態】
【００２３】
次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。
【００２４】
〔１．構成〕
本実施形態は、本発明の特徴情報作成装置を図１の検索サーバ１（以下「サーバ」又は「サーバ１」と呼ぶ）に適用した例であり、サーバ１は、端末Ｔ（図１右下寄り）から通信ネットワークＮ経由で指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段２１を作成する機能と、作成された特徴記憶手段２１を用いて端末Ｔからの要求に応じて類似画像の検索サービスを提供する機能と、を有する。
【００２５】
サーバ１は、一般的なコンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、外部記憶装置（ＨＤＤ等）や主メモリ等の記憶装置７と、通信ネットワークＮ（インターネット、携帯電話網、ＬＡＮなど）との通信手段８（ＬＡＮアダプタや通信ゲートウェイなど）と、を有する。なお、図１で通信ネットワークＮを２つ示しているが、両者は互いに同一でも異なってもよい。また、端末Ｔは、パーソナル・コンピュータ（ＰＣ）、スマートフォンや携帯電話端末装置など、ユーザがクライアント・システムとして用いる情報処理装置で、図１は模式的なものであり、実際には多数存在する。
【００２６】
そして、サーバ１では、それぞれ、記憶装置７に予め記憶（インストール）した図示しない所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（１１，１２，１３…，２１，２２，２３…など）を実現する。これら各要素のうち、情報の記憶手段は、記憶装置７において各種のファイルやデータベース（「ＤＢ」とも表す）、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。
【００２７】
このような記憶手段のうち、特徴記憶手段２１は、指定されたクエリ画像と類似する画像を検索するために、検索対象となる候補画像ごとの画像特徴量を記憶するための手段で（例えば図２。後述）、サーバ１のうち特徴情報作成装置としての構成は、特徴記憶手段２１にそのような画像特徴量を記憶させるものである。なお、特徴情報作成装置の構成と、類似画像を検索する類似画像検索装置の構成は、一体に限らず別々でもよい。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。
【００２８】
〔２．特徴情報作成の作用〕
上記のように構成した本実施形態では、予め決められた所定のウェブ検索エンジンＥにキーワードを送信し、得られる検索結果に基づいて特徴記憶手段２１を作成する。この際に用いるキーワードは、検索エンジンなどで頻繁に用いられる語やウェブページで多く用いられる語などをキーワードリストＤなどとして予め用意しておき、その内容を順次処理対象とする。このようなキーワードリストＤを用いて特徴量を記憶させることで特徴記憶手段２１を作成する処理（仮に「特徴情報作成」と呼ぶ）の手順を図３のフローチャートに示す。
【００２９】
〔２−１．検索結果に基づく画像の取得〕
すなわち、検索アクセス手段１２は、キーワードリストＤに未処理のキーワードが残っていれば（ステップＳ１０）、その未処理のキーワードをキーワードリストＤから一つ取り出してウェブ検索エンジンＥに検索要求として送信し、送信したキーワードに関する検索結果を受信する（ステップＳ１１）。ウェブ検索エンジンＥとしては、本実施形態においては、キーワードに基づいて画像を検索する既存の画像検索エンジンを用いる。
【００３０】
このウェブ検索エンジンＥは、サーバなどのハードウェア上に実現されるサービスであり、ＷＷＷ（ワールド・ワイド・ウェブ）などのウェブ空間をクロールすることにより、キーワードごとに関連する画像を紐付けた検索用のインデックスデータをインデックス記憶手段１１に予め記憶し、アクセス元から検索要求で指定されたキーワードに対応する画像の検索結果をウェブページとしてアクセス元へ送信するものである。
【００３１】
そして、画像取得手段１３は、検索アクセス手段１２が受信した検索結果に含まれる情報の識別情報（例えば、画像ごとのＵＲＬとファイル名など）に基づいて、画像を提供しているウェブサーバである画像サーバＧＳにアクセスすることで画像データを取得する（ステップＳ１２）。画像取得手段１３は、例えば、検索結果の画面にサムネイルとして列挙されている画像に対応するＵＲＬに一つずつ順次ｈｔｔｐアクセスすることにより、各画像のファイルを画像データとして取得する。
【００３２】
〔２−２．特徴量の抽出〕
続いて、画像取得手段１３が取得した画像データから、特徴量抽出手段１４が画像特徴量を抽出し、その画像特徴量を識別情報と対応付けて所定の特徴記憶手段２１に記憶させる（ステップＳ１３）。ここで、画像特徴量は、画像に含まれる色や形状など視覚的特徴（輪郭線、模様やパターンなどでもよい）を表すデータで、実際の要素や表現形式は自由であるが、説明のため単純化して模式的な例を示せば、図２の「画像特徴量」の欄に例示するように、画像に含まれる形状や色彩などの要素を大きい順、目立つ順などでデータ化したものである。
【００３３】
また、本実施形態では、特徴量抽出手段１４は、画像に関連するテキスト（文字列）に基づくテキスト特徴量として、検索アクセス手段１２によりウェブ検索エンジンＥに送信されたキーワードテキストに基づくテキスト特徴量（図２）を、更に画像特徴量ないし識別情報と対応付けて、候補画像ごとに特徴記憶手段２１に記憶させる（ステップＳ１４）。ここで、テキスト特徴量は、その画像に関連する一又は二以上のテキストについて、図２に例示するように、そのテキストとその画像との関連の深さを表す重みと、を対応付けたものである。
【００３４】
このように画像に関連するテキストは、画像に写っている対象物、情景、テーマ、時間帯などのキーワードで（以下「タグ」とも呼ぶ）、その典型的な出所（取得源）としては、その画像が掲載されていたウェブページから抽出したり、又はそのようなウェブページでその画像にキャプションやその他のタグ記述などの形で関連付けられていたものなど自由である。例えば、ウェブページで画像に一以上のタグが付与されていれば、類似テキスト検索における一般的な手法であるベクトル空間モデルにより、画像特徴量と同様にテキスト特徴量が抽出可能である。また、各画像を取得する基礎となったキーワードを基に、そのキーワード自体や、その上位概念や下位概念その他の関連語をテキスト特徴量とすることもできる。
【００３５】
このようなテキスト特徴量を画像特徴量と共に特徴記憶手段２１で記憶しておくことにより、本実施形態では、テキスト特徴量を加味した類似画像検索が可能となる。但し、テキスト特徴量の出所は自由で、上記のようなウェブページからの抽出に限らないので、例えば、管理者やユーザなどが画像ごとに予め入力してもよい。
【００３６】
〔３．類似画像検索の作用〕
続いて、上記のように作成した構成した特徴記憶手段２１を用いて、画像特徴量とテキスト特徴量を併用して類似画像検索を行う処理手順を図４のフローチャートに示す。この処理手順は、クエリ画像の受付、類似画像の検索、検索結果の表示、を含む。
【００３７】
〔３−１．クエリ画像の受付〕
すなわち、まず、受付手段２２が、クエリ画像の指定を伴う類似画像検索の要求指示を、端末Ｔと通信ネットワークＮを介して、端末Ｔを使用するユーザから受け付ける（ステップＳ２９）。ここで、クエリ画像の指定に至る画面遷移の一例を示す。例えば、図５に例示するような画面で、文字列入力欄Ｆ（いわゆるテキストボックス）に所望のテキストＸ１を入力し検索ボタンＢ１をマウスポインタＰで操作した結果、この入力されたテキスト（「指定テキスト」と呼ぶこととする）を基にＷｅｂ画像検索ＡＰＩなどを介した画像検索の結果が、図６に例示するように一覧表示されたとする。Ｗｅｂ画像検索ＡＰＩを用いることで、テキスト検索については網羅的な結果が得られる。
【００３８】
図６の一覧表示では、検索でヒットした複数の画像Ｇごとに所定の類似検索ボタンＢ２が表示され、受付手段２２は、マウスポインタＰなどで操作された類似検索ボタンＢ２に対応する画像をクエリ画像として要求指示を受け付ける。なお、画像の指定を受け付けるユーザインタフェースの構成は自由で、図５、図６の例のように検索が指定テキストから出発することは必須ではなく、例えば、お薦め画像集や話題の画像コーナーのような画像一覧からクエリ画像の指定を受け付けるだけでもよい。
【００３９】
また、図５のようなキーワード指定に基づく画像検索結果を図６のように一覧表示するには、ウェブ検索エンジンＥを利用することができる。例えば、図５のような画面で指定を受け付けたキーワードをウェブ検索エンジンＥに転送し、検索結果に含まれる画像ごとに、類似検索ボタンＢ２を添えて図６のような画面表示を行えば、図５から図６へ遷移させる際の類似画像検索の処理負荷が軽減できる。
【００４０】
〔３−２．未登録画像の登録〕
図６の画面での操作などによりクエリ画像が指定されると（ステップＳ３０）、まず、判別制御手段１５は、類似画像検索手段２３が受けた検索要求で指定されたクエリ画像の識別情報（ＵＲＬなど）に基づいて、画像特徴量が特徴記憶手段２１に記憶されているか否かを判断すると共に（ステップＳ３０）、未だ記憶されていない（ステップＳ３０：「ＮＯ」）と判断された画像について、画像データを画像取得手段１３に取得させ、その画像特徴量を特徴量抽出手段１４に抽出させたうえ特徴記憶手段２１に記憶させる（ステップＳ３１）。
【００４１】
〔３−３．類似画像の検索〕
続いて、後述する重み設定の処理（ステップＳ３２〜Ｓ３５）に続き、類似画像検索手段２３が、検索される側の多数の候補画像について特徴記憶手段２１を参照することにより、要求指示に際し指定されたクエリ画像に対する画像特徴量の類似度（「画像類似度」とも呼ぶこととする）と、クエリ画像に関連付けられたタグなどのテキスト（「基準テキスト」とも呼ぶこととする）に対するテキスト特徴量の類似度（「テキスト類似度」とも呼ぶこととする）と、に基づいて類似画像を検索する（ステップＳ３６）。
【００４２】
この際、指定テキストに基づいて検索された画像群からクエリ画像が指定されていた場合（例えば図５、図６）、類似画像検索手段２３は、指定されたクエリ画像に関連付けられた基準テキストとして、少なくとも指定テキストを用い、画像に関連付けられているタグがあれば、そのタグと指定テキストを合わせて基準テキストとする。なお、指定テキストからの画像検索を経ず、クエリ画像の選択から類似画像検索を行う場合は、選択したクエリ画像に関連付けられているタグなどのテキストのみを基準テキストとして用いればよい。
【００４３】
上記のような類似画像の検索において、画像類似度及びテキスト類似度を計算する基準やアルゴリズムは自由であるが、例えば、画像特徴量同士、テキスト特徴量同士をそれぞれ多次元ベクトルデータとしてその距離を算出し比較するなどが一般的と考えられる。より具体的には、例えば、クエリ画像と各候補画像の間について、画像類似度を示す距離関数（特徴量空間上における距離算出に関する関数。以下同じ）と、テキスト類似度を示す距離関数が、同一の距離式、例えばユークリッド距離であれば、一般の多次元空間インデックスで高速な検索が可能であるが、異なる距離空間やユークリッド距離ではない場合には、ｖｐ−ｔｒｅｅに代表される距離空間インデックスを用いて検索してもよい。
【００４４】
なお、類似画像検索手段２３は、画像特徴量の類似度とテキスト特徴の類似度とを、加算や乗算などで総合評価するので、その総合評価における計算基準の設定に応じ、画像類似度とテキスト類似度について、少なくともいずれか一方が優れた候補画像や、どちらも大きく劣ることが無い候補画像が類似検索結果の上位として優先される。
【００４５】
〔３−４．類似画像検索における重み付け〕
なお、指定されたクエリ画像や候補画像に関連付けられた複数のテキストを用いてテキスト特徴量の類似度を計算する場合、重み付け手段２４が、計算に用いるそれら複数のテキスト間で所定の重み付けを行う。ここでは、テキストへの重みの設定と、設定した重みを用いた類似度の計算に分けて説明する。重みの設定は、各候補画像の側についての重み（例えば図２）の設定と、クエリ画像の基準テキストの側についての重みの設定が考えられ、一方でも足りるが、ここでは双方に重みを設定する例を示す。
【００４６】
候補画像の側についての重みの設定は、その画像の内容や、その画像を含んでいたウェブページの内容や、そのウェブページでその画像に対応付けられてキャプションの内容、そのウェブページの例えばＸＭＬ記述などによりその画像に対応付けられていたタグ間の優先順位などに基づいて、特徴記憶手段２１に予め記憶させておく。基準テキストへの重みの設定は、類似度の計算を候補画像ごとに繰り返す際に行ってもよいが、ここではそれら計算に先立って行う例を示す。
【００４７】
例えば、まず、指定テキストが存在する場合、指定テキストと、指定テキストで検索された画像に付与されているタグは一致するとは限らず、画像特徴量の類似性が高い場合には全く異なるタグが付与された画像が検索される場合もあるし、検索結果に含まれる画像に付与されている複数のタグの一部が指定テキストと一致している場合もある。
【００４８】
そこで、指定テキストに表れている検索者の意図をより反映させるため、指定テキストに関連して次のような重みを与える。まず、図７（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２）のなかにテキストＸ１と一致するものが無い場合、重み付け手段２４は、図７（２）に例示するように、クエリ画像Ｇのタグに加えて、指定テキストＸ１を基準テキストに加え、その重みは他のタグＸ２の重み（例えば「１」）より相対的に大きい所定の重み（例えば「５」）とする。
【００４９】
一方、図８（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２，Ｘ３）のなかにテキストＸ１と一致するもの（関連タグＸ３「山」）がある場合は、図８（２）に例示するように、その一致するタグの重み（例えば「１」）に、上記のような大きい所定の重み（例えば「５」）を加えて例えば「６」にする。なお、一致するタグの重みを、そのような大きい所定の重みに置き換え（例えば「１」→「５」）てもよい。
【００５０】
上記のように指定テキストに基づく基準テキストの重み付けを実現するため、図４の処理手順では、指定テキストがある場合（ステップＳ３２：「ＹＥＳ」）、クエリ画像のタグに指定テキストが無ければ（ステップＳ３３：「ＮＯ」）、クエリ画像のタグに加え指定テキストも基準テキストとしたうえで（ステップＳ３４）、基準テキスト内の指定テキストの重みに所定値（上記の例では「５」）を加算する（ステップＳ３５）。
【００５１】
以上のように候補画像のテキスト側及びクエリ画像の基準テキスト側の双方に設定した重みを、類似画像検索（ステップＳ３６）における類似度の計算に反映させることにより、画像クエリの基準テキストと重要なテキストが一致している候補画像が高い優先順位でヒットすることとなる。例えば、テキスト特徴量の類似度が最も高くなるのは、クエリ画像側で重みの大きい基準テキストと、候補画像側で大きい重みを持つテキストと、が一致している場合である。
【００５２】
〔３−５．検索結果の表示〕
そして、以上のような重みを反映した類似画像の検索結果を、結果表示手段２５が画面表示する（ステップＳ３７）。この際、類似度表示手段２６が、検索された画像について、クエリ画像に対する画像特徴量の類似の有無又は類似度と、クエリ画像に関連付けられた基準テキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する。ここでは、画像類似度とテキスト類似度を表示するものとし、その一例を図９に示す。この例は、類似画像検索結果の表示画面例で、画面上部が検索条件の表示欄Ｊであり、下部がその条件による類似画像検索結果の表示欄Ｋとなっているが、表示欄Ｋのうち検索結果の画像ごとの類似度表示欄Ｒ１で、画像類似度とテキスト類似度それぞれを数値表示している。
【００５３】
類似度表示の他の例として、図１０に示す類似度表示欄Ｒ２のように、画像ごとに、画像類似度とテキスト類似度を棒グラフの黒い部分の長さで示すようにすれば、一見して視覚的に把握できる利点がある。さらに他の例として、図１１に示す類似度表示欄Ｒ３では、画像類似度とテキスト類似度それぞれの高さを相対的に帯グラフで示しているので、二種の類似度が重視された相対的な割合を簡明な表示形態で容易に把握することができる。
【００５４】
〔４．主な効果〕
以上のように、本実施形態では、既存のウェブ検索エンジンＥを活用し、ウェブ検索エンジンＥにキーワードを渡して得る検索結果に基づいてウェブサーバ（画像サーバ）ＧＳから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。
【００５５】
特に、本実施形態では、上記のように、ウェブ検索エンジンＥとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。
【００５６】
また、本実施形態では、上記のように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索（図２、図３）に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【００５７】
加えて、本実施形態では、上記のように、類似画像検索で指定された画像の画像特徴量が未記憶の場合（図４のステップＳ３０）、画像を取得し画像特徴量の抽出と記憶を行うことにより（ステップＳ３１）、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。
【００５８】
〔５．その他の効果〕
また、本実施形態では、以上のように、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量（例えば図２）に係る類似度に基づく類似画像の絞込みも併用することにより（図４のステップＳ３６）、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００５９】
特に、以上の本実施形態では、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け（例えば図５）、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより（図４のステップＳ３２〜Ｓ３４、図７（１）（２））、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００６０】
また、以上の本実施形態では、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくする（図４のステップＳ３５）など所定の重み付けを行うことにより（図７（１）（２））、ユーザの意向に適合した高精度な検索結果が実現できる。
【００６１】
さらに、以上の本実施形態では、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより（例えば図９〜図１１）、検索結果の把握が容易になる。
【００６２】
〔６．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、画像ごとの情報として画像特徴量やテキスト特徴量以外に、画像データ自体など任意の情報を、特徴記憶手段２１又は他の記憶手段に記憶しておいて、新たな基準による特徴量抽出など適宜な用途に活用してもよい。
【００６３】
また、類似画像検索時に用いる指定テキストは、キーボードなどからのタイプ入力に限らず、例えば注目のキーワード群の羅列表示から選択するなどにより指定されるものでもよい。また、上記実施形態はサーバ１と端末Ｔからなるクライアント・サーバ・システム（図１）を前提としたが、本装置はスタンドアロンの装置として実現してもよい。
【００６４】
また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。
【符号の説明】
【００６５】
１ 検索サーバ
６ 演算制御部
７ 記憶装置
８ 通信手段
１１ インデックス記憶手段
１２ 検索アクセス手段
１３ 画像取得手段
１４ 特徴量抽出手段
１５ 判別制御手段
２１ 特徴記憶手段
２２ 受付手段
２３ 類似画像検索手段
２４ 重み付け手段
２５ 結果表示手段
２６ 類似度表示手段
Ｂ１ 検索ボタン
Ｂ２ 類似検索ボタン
Ｄ キーワードリスト
Ｅ ウェブ検索エンジン
Ｆ 文字列入力欄
Ｇ クエリ画像
ＧＳ 画像サーバ
Ｊ，Ｋ 条件表示欄
Ｎ 通信ネットワーク
Ｐ マウスポインタ
Ｒ１，Ｒ２，Ｒ３ 類似度表示欄
Ｔ 端末
Ｘ（Ｘ１〜Ｘ３） テキスト
Ｘ２，Ｘ３ タグ
【技術分野】
【０００１】
本発明は、画像をキーとした類似画像検索に関する。
【背景技術】
【０００２】
従来、ウェブ上におけるコンテンツの充実や多様化に伴い、インターネット上で公開されている様々な情報を検索する手法が増加しつつある。基本的な手法として、指定されるキーワードを検索キー（クエリ）とするキーワード検索が知られ、その他にも、検索で指定される画像（「クエリ画像」などと呼ばれる）を検索キーとしてそれに類似する画像を検索して表示する、いわゆる類似画像検索が知られている（例えば、非特許文献１参照）。
【０００３】
類似画像検索では、画像ごとの色や形状など視覚的な特徴をデータ化した特徴量と呼ぶ情報同士を画像同士で比較することにより、クエリ画像に類似する画像を検索して表示する。ここで、検索結果の候補として、クエリ画像と比較される側の多数の画像を以下「候補画像」と呼ぶこととするが、上記のような類似画像検索をシステムなどで実現するためには、多数の候補画像に、その画像データから抽出した色や形状などを表す特徴量を関連付け、データベースなどとして予め用意しておく必要がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】グーグル株式会社、「Google Similar Images」、［online］、［2010年３月17日検索］、インターネット〈URL: http://similar-images.googlelabs.com/ >
【特許文献】
【０００５】
【特許文献１】特開２００８−１６０５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、検索に関連して画像を登録する従来技術の例として、ユーザが入力したキーワードに関する画像をインターネットの検索エンジンで検索し、ヒットした画像を登録する例はあるが（特許文献１参照）、この種の検索で取得できる画像はサムネイル画像やキャッシュ画像であり、類似画像検索用の特徴量抽出に適したオリジナルの画像データを取得できるものではなかった。
【０００７】
この点、ウェブ上から任意のデータを網羅的に得る技術としては、クローラによるクローリングがある。クローリングは、クローラと呼ぶコンピュータ・プログラムにより、ウェブページ間のハイパーリンクやＵＲＬの階層構造などを基に、ウェブ上を巡回（クロール）するようにアクセスして情報を収集する処理である。
【０００８】
このクローリングで画像を収集することも理論上は考えられるが、クロールのスケジュール管理、収集した情報から検索用データ（いわゆるインデックスデータ）を生成するインデクシング処理、情報間の優先順位を判断するランキング処理など、クローラの作成や運用はコストなどの負荷が大きい。このため、従来では、ウェブ上の画像を検索可能にする類似画像検索システムの実現は容易ではなかった。
【０００９】
上記の課題に対し本発明の目的は、独自にクローラを用意する大きな負荷無しで類似画像検索用データを作成し類似画像検索システムを実現することである。
【課題を解決するための手段】
【００１０】
上記の目的をふまえ、本発明の一態様（１）は、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、を有することを特徴とする。
【００１１】
本発明の他の態様（５）は、上記態様を方法のカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、を含むことを特徴とする。
【００１２】
本発明の他の態様（６）は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、そのプログラムはコンピュータを制御することにより、ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させることを特徴とする。
【００１３】
このように、既存のウェブ検索エンジンを活用し、ウェブ検索エンジンにキーワードを渡して得る検索結果に基づいてウェブサーバから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。
【００１４】
本発明の他の態様（２）は、上記いずれかの態様において、前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする。
【００１５】
このように、前記ウェブ検索エンジンとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。
【００１６】
本発明の他の態様（３）は、上記いずれかの態様において、前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする。
【００１７】
このように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【００１８】
本発明の他の態様（４）は、上記いずれかの態様において、類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる、判別制御手段を有することを特徴とする。
【００１９】
このように、類似画像検索で指定された画像の画像特徴量が未記憶の場合、画像を取得し画像特徴量の抽出と記憶を行うことにより、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。
【００２０】
なお、上記の各態様とは異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。
【発明の効果】
【００２１】
本発明によれば、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態で用いる情報（データ）を例示する図。
【図３】本発明の実施形態における特徴情報作成の処理手順を示すフローチャート。
【図４】本発明の実施形態における類似画像検索の処理手順を示すフローチャート。
【図５】本発明の実施形態において、テキストから画像を検索するための画面例を示す図。
【図６】本発明の実施形態において類似画像検索のために画像を選定する画面例を示す図。
【図７】本発明の実施形態における重み付けの一例を示す概念図。
【図８】本発明の実施形態における重み付けの一例を示す概念図。
【図９】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１０】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１１】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【発明を実施するための形態】
【００２３】
次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。
【００２４】
〔１．構成〕
本実施形態は、本発明の特徴情報作成装置を図１の検索サーバ１（以下「サーバ」又は「サーバ１」と呼ぶ）に適用した例であり、サーバ１は、端末Ｔ（図１右下寄り）から通信ネットワークＮ経由で指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段２１を作成する機能と、作成された特徴記憶手段２１を用いて端末Ｔからの要求に応じて類似画像の検索サービスを提供する機能と、を有する。
【００２５】
サーバ１は、一般的なコンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、外部記憶装置（ＨＤＤ等）や主メモリ等の記憶装置７と、通信ネットワークＮ（インターネット、携帯電話網、ＬＡＮなど）との通信手段８（ＬＡＮアダプタや通信ゲートウェイなど）と、を有する。なお、図１で通信ネットワークＮを２つ示しているが、両者は互いに同一でも異なってもよい。また、端末Ｔは、パーソナル・コンピュータ（ＰＣ）、スマートフォンや携帯電話端末装置など、ユーザがクライアント・システムとして用いる情報処理装置で、図１は模式的なものであり、実際には多数存在する。
【００２６】
そして、サーバ１では、それぞれ、記憶装置７に予め記憶（インストール）した図示しない所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（１１，１２，１３…，２１，２２，２３…など）を実現する。これら各要素のうち、情報の記憶手段は、記憶装置７において各種のファイルやデータベース（「ＤＢ」とも表す）、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。
【００２７】
このような記憶手段のうち、特徴記憶手段２１は、指定されたクエリ画像と類似する画像を検索するために、検索対象となる候補画像ごとの画像特徴量を記憶するための手段で（例えば図２。後述）、サーバ１のうち特徴情報作成装置としての構成は、特徴記憶手段２１にそのような画像特徴量を記憶させるものである。なお、特徴情報作成装置の構成と、類似画像を検索する類似画像検索装置の構成は、一体に限らず別々でもよい。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。
【００２８】
〔２．特徴情報作成の作用〕
上記のように構成した本実施形態では、予め決められた所定のウェブ検索エンジンＥにキーワードを送信し、得られる検索結果に基づいて特徴記憶手段２１を作成する。この際に用いるキーワードは、検索エンジンなどで頻繁に用いられる語やウェブページで多く用いられる語などをキーワードリストＤなどとして予め用意しておき、その内容を順次処理対象とする。このようなキーワードリストＤを用いて特徴量を記憶させることで特徴記憶手段２１を作成する処理（仮に「特徴情報作成」と呼ぶ）の手順を図３のフローチャートに示す。
【００２９】
〔２−１．検索結果に基づく画像の取得〕
すなわち、検索アクセス手段１２は、キーワードリストＤに未処理のキーワードが残っていれば（ステップＳ１０）、その未処理のキーワードをキーワードリストＤから一つ取り出してウェブ検索エンジンＥに検索要求として送信し、送信したキーワードに関する検索結果を受信する（ステップＳ１１）。ウェブ検索エンジンＥとしては、本実施形態においては、キーワードに基づいて画像を検索する既存の画像検索エンジンを用いる。
【００３０】
このウェブ検索エンジンＥは、サーバなどのハードウェア上に実現されるサービスであり、ＷＷＷ（ワールド・ワイド・ウェブ）などのウェブ空間をクロールすることにより、キーワードごとに関連する画像を紐付けた検索用のインデックスデータをインデックス記憶手段１１に予め記憶し、アクセス元から検索要求で指定されたキーワードに対応する画像の検索結果をウェブページとしてアクセス元へ送信するものである。
【００３１】
そして、画像取得手段１３は、検索アクセス手段１２が受信した検索結果に含まれる情報の識別情報（例えば、画像ごとのＵＲＬとファイル名など）に基づいて、画像を提供しているウェブサーバである画像サーバＧＳにアクセスすることで画像データを取得する（ステップＳ１２）。画像取得手段１３は、例えば、検索結果の画面にサムネイルとして列挙されている画像に対応するＵＲＬに一つずつ順次ｈｔｔｐアクセスすることにより、各画像のファイルを画像データとして取得する。
【００３２】
〔２−２．特徴量の抽出〕
続いて、画像取得手段１３が取得した画像データから、特徴量抽出手段１４が画像特徴量を抽出し、その画像特徴量を識別情報と対応付けて所定の特徴記憶手段２１に記憶させる（ステップＳ１３）。ここで、画像特徴量は、画像に含まれる色や形状など視覚的特徴（輪郭線、模様やパターンなどでもよい）を表すデータで、実際の要素や表現形式は自由であるが、説明のため単純化して模式的な例を示せば、図２の「画像特徴量」の欄に例示するように、画像に含まれる形状や色彩などの要素を大きい順、目立つ順などでデータ化したものである。
【００３３】
また、本実施形態では、特徴量抽出手段１４は、画像に関連するテキスト（文字列）に基づくテキスト特徴量として、検索アクセス手段１２によりウェブ検索エンジンＥに送信されたキーワードテキストに基づくテキスト特徴量（図２）を、更に画像特徴量ないし識別情報と対応付けて、候補画像ごとに特徴記憶手段２１に記憶させる（ステップＳ１４）。ここで、テキスト特徴量は、その画像に関連する一又は二以上のテキストについて、図２に例示するように、そのテキストとその画像との関連の深さを表す重みと、を対応付けたものである。
【００３４】
このように画像に関連するテキストは、画像に写っている対象物、情景、テーマ、時間帯などのキーワードで（以下「タグ」とも呼ぶ）、その典型的な出所（取得源）としては、その画像が掲載されていたウェブページから抽出したり、又はそのようなウェブページでその画像にキャプションやその他のタグ記述などの形で関連付けられていたものなど自由である。例えば、ウェブページで画像に一以上のタグが付与されていれば、類似テキスト検索における一般的な手法であるベクトル空間モデルにより、画像特徴量と同様にテキスト特徴量が抽出可能である。また、各画像を取得する基礎となったキーワードを基に、そのキーワード自体や、その上位概念や下位概念その他の関連語をテキスト特徴量とすることもできる。
【００３５】
このようなテキスト特徴量を画像特徴量と共に特徴記憶手段２１で記憶しておくことにより、本実施形態では、テキスト特徴量を加味した類似画像検索が可能となる。但し、テキスト特徴量の出所は自由で、上記のようなウェブページからの抽出に限らないので、例えば、管理者やユーザなどが画像ごとに予め入力してもよい。
【００３６】
〔３．類似画像検索の作用〕
続いて、上記のように作成した構成した特徴記憶手段２１を用いて、画像特徴量とテキスト特徴量を併用して類似画像検索を行う処理手順を図４のフローチャートに示す。この処理手順は、クエリ画像の受付、類似画像の検索、検索結果の表示、を含む。
【００３７】
〔３−１．クエリ画像の受付〕
すなわち、まず、受付手段２２が、クエリ画像の指定を伴う類似画像検索の要求指示を、端末Ｔと通信ネットワークＮを介して、端末Ｔを使用するユーザから受け付ける（ステップＳ２９）。ここで、クエリ画像の指定に至る画面遷移の一例を示す。例えば、図５に例示するような画面で、文字列入力欄Ｆ（いわゆるテキストボックス）に所望のテキストＸ１を入力し検索ボタンＢ１をマウスポインタＰで操作した結果、この入力されたテキスト（「指定テキスト」と呼ぶこととする）を基にＷｅｂ画像検索ＡＰＩなどを介した画像検索の結果が、図６に例示するように一覧表示されたとする。Ｗｅｂ画像検索ＡＰＩを用いることで、テキスト検索については網羅的な結果が得られる。
【００３８】
図６の一覧表示では、検索でヒットした複数の画像Ｇごとに所定の類似検索ボタンＢ２が表示され、受付手段２２は、マウスポインタＰなどで操作された類似検索ボタンＢ２に対応する画像をクエリ画像として要求指示を受け付ける。なお、画像の指定を受け付けるユーザインタフェースの構成は自由で、図５、図６の例のように検索が指定テキストから出発することは必須ではなく、例えば、お薦め画像集や話題の画像コーナーのような画像一覧からクエリ画像の指定を受け付けるだけでもよい。
【００３９】
また、図５のようなキーワード指定に基づく画像検索結果を図６のように一覧表示するには、ウェブ検索エンジンＥを利用することができる。例えば、図５のような画面で指定を受け付けたキーワードをウェブ検索エンジンＥに転送し、検索結果に含まれる画像ごとに、類似検索ボタンＢ２を添えて図６のような画面表示を行えば、図５から図６へ遷移させる際の類似画像検索の処理負荷が軽減できる。
【００４０】
〔３−２．未登録画像の登録〕
図６の画面での操作などによりクエリ画像が指定されると（ステップＳ３０）、まず、判別制御手段１５は、類似画像検索手段２３が受けた検索要求で指定されたクエリ画像の識別情報（ＵＲＬなど）に基づいて、画像特徴量が特徴記憶手段２１に記憶されているか否かを判断すると共に（ステップＳ３０）、未だ記憶されていない（ステップＳ３０：「ＮＯ」）と判断された画像について、画像データを画像取得手段１３に取得させ、その画像特徴量を特徴量抽出手段１４に抽出させたうえ特徴記憶手段２１に記憶させる（ステップＳ３１）。
【００４１】
〔３−３．類似画像の検索〕
続いて、後述する重み設定の処理（ステップＳ３２〜Ｓ３５）に続き、類似画像検索手段２３が、検索される側の多数の候補画像について特徴記憶手段２１を参照することにより、要求指示に際し指定されたクエリ画像に対する画像特徴量の類似度（「画像類似度」とも呼ぶこととする）と、クエリ画像に関連付けられたタグなどのテキスト（「基準テキスト」とも呼ぶこととする）に対するテキスト特徴量の類似度（「テキスト類似度」とも呼ぶこととする）と、に基づいて類似画像を検索する（ステップＳ３６）。
【００４２】
この際、指定テキストに基づいて検索された画像群からクエリ画像が指定されていた場合（例えば図５、図６）、類似画像検索手段２３は、指定されたクエリ画像に関連付けられた基準テキストとして、少なくとも指定テキストを用い、画像に関連付けられているタグがあれば、そのタグと指定テキストを合わせて基準テキストとする。なお、指定テキストからの画像検索を経ず、クエリ画像の選択から類似画像検索を行う場合は、選択したクエリ画像に関連付けられているタグなどのテキストのみを基準テキストとして用いればよい。
【００４３】
上記のような類似画像の検索において、画像類似度及びテキスト類似度を計算する基準やアルゴリズムは自由であるが、例えば、画像特徴量同士、テキスト特徴量同士をそれぞれ多次元ベクトルデータとしてその距離を算出し比較するなどが一般的と考えられる。より具体的には、例えば、クエリ画像と各候補画像の間について、画像類似度を示す距離関数（特徴量空間上における距離算出に関する関数。以下同じ）と、テキスト類似度を示す距離関数が、同一の距離式、例えばユークリッド距離であれば、一般の多次元空間インデックスで高速な検索が可能であるが、異なる距離空間やユークリッド距離ではない場合には、ｖｐ−ｔｒｅｅに代表される距離空間インデックスを用いて検索してもよい。
【００４４】
なお、類似画像検索手段２３は、画像特徴量の類似度とテキスト特徴の類似度とを、加算や乗算などで総合評価するので、その総合評価における計算基準の設定に応じ、画像類似度とテキスト類似度について、少なくともいずれか一方が優れた候補画像や、どちらも大きく劣ることが無い候補画像が類似検索結果の上位として優先される。
【００４５】
〔３−４．類似画像検索における重み付け〕
なお、指定されたクエリ画像や候補画像に関連付けられた複数のテキストを用いてテキスト特徴量の類似度を計算する場合、重み付け手段２４が、計算に用いるそれら複数のテキスト間で所定の重み付けを行う。ここでは、テキストへの重みの設定と、設定した重みを用いた類似度の計算に分けて説明する。重みの設定は、各候補画像の側についての重み（例えば図２）の設定と、クエリ画像の基準テキストの側についての重みの設定が考えられ、一方でも足りるが、ここでは双方に重みを設定する例を示す。
【００４６】
候補画像の側についての重みの設定は、その画像の内容や、その画像を含んでいたウェブページの内容や、そのウェブページでその画像に対応付けられてキャプションの内容、そのウェブページの例えばＸＭＬ記述などによりその画像に対応付けられていたタグ間の優先順位などに基づいて、特徴記憶手段２１に予め記憶させておく。基準テキストへの重みの設定は、類似度の計算を候補画像ごとに繰り返す際に行ってもよいが、ここではそれら計算に先立って行う例を示す。
【００４７】
例えば、まず、指定テキストが存在する場合、指定テキストと、指定テキストで検索された画像に付与されているタグは一致するとは限らず、画像特徴量の類似性が高い場合には全く異なるタグが付与された画像が検索される場合もあるし、検索結果に含まれる画像に付与されている複数のタグの一部が指定テキストと一致している場合もある。
【００４８】
そこで、指定テキストに表れている検索者の意図をより反映させるため、指定テキストに関連して次のような重みを与える。まず、図７（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２）のなかにテキストＸ１と一致するものが無い場合、重み付け手段２４は、図７（２）に例示するように、クエリ画像Ｇのタグに加えて、指定テキストＸ１を基準テキストに加え、その重みは他のタグＸ２の重み（例えば「１」）より相対的に大きい所定の重み（例えば「５」）とする。
【００４９】
一方、図８（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２，Ｘ３）のなかにテキストＸ１と一致するもの（関連タグＸ３「山」）がある場合は、図８（２）に例示するように、その一致するタグの重み（例えば「１」）に、上記のような大きい所定の重み（例えば「５」）を加えて例えば「６」にする。なお、一致するタグの重みを、そのような大きい所定の重みに置き換え（例えば「１」→「５」）てもよい。
【００５０】
上記のように指定テキストに基づく基準テキストの重み付けを実現するため、図４の処理手順では、指定テキストがある場合（ステップＳ３２：「ＹＥＳ」）、クエリ画像のタグに指定テキストが無ければ（ステップＳ３３：「ＮＯ」）、クエリ画像のタグに加え指定テキストも基準テキストとしたうえで（ステップＳ３４）、基準テキスト内の指定テキストの重みに所定値（上記の例では「５」）を加算する（ステップＳ３５）。
【００５１】
以上のように候補画像のテキスト側及びクエリ画像の基準テキスト側の双方に設定した重みを、類似画像検索（ステップＳ３６）における類似度の計算に反映させることにより、画像クエリの基準テキストと重要なテキストが一致している候補画像が高い優先順位でヒットすることとなる。例えば、テキスト特徴量の類似度が最も高くなるのは、クエリ画像側で重みの大きい基準テキストと、候補画像側で大きい重みを持つテキストと、が一致している場合である。
【００５２】
〔３−５．検索結果の表示〕
そして、以上のような重みを反映した類似画像の検索結果を、結果表示手段２５が画面表示する（ステップＳ３７）。この際、類似度表示手段２６が、検索された画像について、クエリ画像に対する画像特徴量の類似の有無又は類似度と、クエリ画像に関連付けられた基準テキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する。ここでは、画像類似度とテキスト類似度を表示するものとし、その一例を図９に示す。この例は、類似画像検索結果の表示画面例で、画面上部が検索条件の表示欄Ｊであり、下部がその条件による類似画像検索結果の表示欄Ｋとなっているが、表示欄Ｋのうち検索結果の画像ごとの類似度表示欄Ｒ１で、画像類似度とテキスト類似度それぞれを数値表示している。
【００５３】
類似度表示の他の例として、図１０に示す類似度表示欄Ｒ２のように、画像ごとに、画像類似度とテキスト類似度を棒グラフの黒い部分の長さで示すようにすれば、一見して視覚的に把握できる利点がある。さらに他の例として、図１１に示す類似度表示欄Ｒ３では、画像類似度とテキスト類似度それぞれの高さを相対的に帯グラフで示しているので、二種の類似度が重視された相対的な割合を簡明な表示形態で容易に把握することができる。
【００５４】
〔４．主な効果〕
以上のように、本実施形態では、既存のウェブ検索エンジンＥを活用し、ウェブ検索エンジンＥにキーワードを渡して得る検索結果に基づいてウェブサーバ（画像サーバ）ＧＳから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。
【００５５】
特に、本実施形態では、上記のように、ウェブ検索エンジンＥとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。
【００５６】
また、本実施形態では、上記のように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索（図２、図３）に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。
【００５７】
加えて、本実施形態では、上記のように、類似画像検索で指定された画像の画像特徴量が未記憶の場合（図４のステップＳ３０）、画像を取得し画像特徴量の抽出と記憶を行うことにより（ステップＳ３１）、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。
【００５８】
〔５．その他の効果〕
また、本実施形態では、以上のように、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量（例えば図２）に係る類似度に基づく類似画像の絞込みも併用することにより（図４のステップＳ３６）、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００５９】
特に、以上の本実施形態では、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け（例えば図５）、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより（図４のステップＳ３２〜Ｓ３４、図７（１）（２））、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００６０】
また、以上の本実施形態では、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくする（図４のステップＳ３５）など所定の重み付けを行うことにより（図７（１）（２））、ユーザの意向に適合した高精度な検索結果が実現できる。
【００６１】
さらに、以上の本実施形態では、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより（例えば図９〜図１１）、検索結果の把握が容易になる。
【００６２】
〔６．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、画像ごとの情報として画像特徴量やテキスト特徴量以外に、画像データ自体など任意の情報を、特徴記憶手段２１又は他の記憶手段に記憶しておいて、新たな基準による特徴量抽出など適宜な用途に活用してもよい。
【００６３】
また、類似画像検索時に用いる指定テキストは、キーボードなどからのタイプ入力に限らず、例えば注目のキーワード群の羅列表示から選択するなどにより指定されるものでもよい。また、上記実施形態はサーバ１と端末Ｔからなるクライアント・サーバ・システム（図１）を前提としたが、本装置はスタンドアロンの装置として実現してもよい。
【００６４】
また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。
【符号の説明】
【００６５】
１ 検索サーバ
６ 演算制御部
７ 記憶装置
８ 通信手段
１１ インデックス記憶手段
１２ 検索アクセス手段
１３ 画像取得手段
１４ 特徴量抽出手段
１５ 判別制御手段
２１ 特徴記憶手段
２２ 受付手段
２３ 類似画像検索手段
２４ 重み付け手段
２５ 結果表示手段
２６ 類似度表示手段
Ｂ１ 検索ボタン
Ｂ２ 類似検索ボタン
Ｄ キーワードリスト
Ｅ ウェブ検索エンジン
Ｆ 文字列入力欄
Ｇ クエリ画像
ＧＳ 画像サーバ
Ｊ，Ｋ 条件表示欄
Ｎ 通信ネットワーク
Ｐ マウスポインタ
Ｒ１，Ｒ２，Ｒ３ 類似度表示欄
Ｔ 端末
Ｘ（Ｘ１〜Ｘ３） テキスト
Ｘ２，Ｘ３ タグ
【特許請求の範囲】
【請求項１】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、
ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、
を有することを特徴とする特徴情報作成装置。
【請求項２】
前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする請求項１記載の特徴情報作成装置。
【請求項３】
前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする請求項１又は２のいずれか一項に記載の特徴情報作成装置。
【請求項４】
類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる判別制御手段を有することを特徴とする請求項１から３のいずれか一項に記載の特徴情報作成装置。
【請求項５】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、
コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、
コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、
コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、
を含むことを特徴とする特徴情報作成方法。
【請求項６】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、
そのプログラムはコンピュータを制御することにより、
ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる
ことを特徴とする特徴情報作成プログラム。
【請求項１】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、
ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、
を有することを特徴とする特徴情報作成装置。
【請求項２】
前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする請求項１記載の特徴情報作成装置。
【請求項３】
前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする請求項１又は２のいずれか一項に記載の特徴情報作成装置。
【請求項４】
類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる判別制御手段を有することを特徴とする請求項１から３のいずれか一項に記載の特徴情報作成装置。
【請求項５】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、
コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、
コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、
コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、
を含むことを特徴とする特徴情報作成方法。
【請求項６】
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、
そのプログラムはコンピュータを制御することにより、
ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる
ことを特徴とする特徴情報作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−３３５７（Ｐ２０１２−３３５７Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５６４２（Ｐ２０１０−１３５６４２）
【出願日】平成２２年６月１５日（２０１０．６．１５）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１５日（２０１０．６．１５）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]