類似画像検索装置、方法及びプログラム
【課題】画像をキーとして類似画像検索を行う際の検索精度の低下を防止する。
【解決手段】画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を特徴記憶手段に記憶する。ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける。検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索し、類似画像の検索結果を表示する。
【解決手段】画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を特徴記憶手段に記憶する。ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける。検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索し、類似画像の検索結果を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をキーとした類似画像検索に関する。
【背景技術】
【０００２】
従来、インターネット上で公開されている様々な情報を検索する手法として、指定されるキーワードを検索キー（クエリ）とするキーワード検索の他に、指定された画像を検索キー（「クエリ画像」）として類似する画像を検索する、いわゆる類似画像検索が知られている（例えば、非特許文献１参照）。類似画像検索では、画像ごとの配色、輪郭線、模様やパターン等の特徴をデータ化した特徴量と呼ぶ情報同士を画像同士で比較することにより、クエリ画像に類似する画像を検索して表示する。
【０００３】
また、類似画像検索の分野ではないが、検索した情報をユーザに提示するユーザインタフェースに関する提案として、特許文献１では、検索対象となる複数のコンテンツを画面表示する際、関連するキーワードが類似するコンテンツ同士をリンク線で連結する。このようにすれば、表示される多数のコンテンツの類似関係が容易に把握でき、所望のコンテンツを効率よく辿って検索できる。仮にこれに準じ、類似画像も画像の類似関係に応じてリンク表示すれば、リンクを辿って類似画像を容易に検索できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】グーグル株式会社、「Google Similar Images」、［online］、［2010年３月17日検索］、インターネット〈URL: http://similar-images.googlelabs.com/ >
【特許文献】
【０００５】
【特許文献１】特開２００８−１２９９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、画像の色や形状といった視覚上の特徴のみに基いて類似画像を検索すると、基の画像からかけ離れた画像となって検索精度が低下するという問題があった。
【０００７】
上記の課題に対し、本発明の目的は、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することである。
【課題を解決するための手段】
【０００８】
上記の目的をふまえ、本発明の一態様（１）である類似画像検索装置は、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段と、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付手段と、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索手段と、類似画像の検索結果を表示する結果表示手段と、を有することを特徴とする。
【０００９】
本発明の他の態様（５）は、上記態様を方法のカテゴリで捉えたもので、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段を有するコンピュータが類似画像検索を行う類似画像検索方法であって、コンピュータが、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付ステップと、コンピュータが、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索ステップと、コンピュータが、類似画像の検索結果を表示する結果表示ステップと、を含むことを特徴とする。
【００１０】
本発明の他の態様（６）は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、コンピュータに、類似画像検索を行わせる類似画像検索プログラムであって、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段をコンピュータに実現させ、コンピュータに、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付けさせ、コンピュータに、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索させ、コンピュータに、類似画像の検索結果を表示させることを特徴とする。
【００１１】
以上のように、本発明では、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量に係る類似度に基づく類似画像の絞込みも併用することにより、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００１２】
本発明の他の態様（２）は、上記いずれかの態様において、前記受付手段は、指定されたテキストに基づいて検索された画像のなかから、類似画像検索のクエリとする画像の指定を受け付け、前記類似画像検索手段は、前記指定された画像に関連付けられたテキストとして、前記指定されたテキストを用いることを特徴とする。
【００１３】
このように、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００１４】
本発明の他の態様（３）は、上記いずれかの態様において、前記指定された画像に関連付けられた複数のテキストを用いて前記テキスト特徴量の類似度を計算する場合に、計算に用いるそれら複数のテキスト間で所定の重み付けを行う重み付け手段を有することを特徴とする。
【００１５】
このように、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくするなど所定の重み付けを行うことにより、ユーザの意向に適合した高精度な検索結果が実現できる。
【００１６】
本発明の他の態様（４）は、上記いずれかの態様において、検索された画像について、前記指定された画像に対する画像特徴量の類似の有無又は類似度と、前記指定された画像に関連付けられたテキストに対するに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する類似度表示手段を有することを特徴とする。
【００１７】
このように、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより、検索結果の把握が容易になる。
【００１８】
なお、上記の各態様とは異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。
【発明の効果】
【００１９】
本発明によれば、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態で用いる情報（データ）を例示する図。
【図３】本発明の実施形態における処理手順を示すフローチャート。
【図４】本発明の実施形態において、テキストから画像を検索するための画面例を示す図。
【図５】本発明の実施形態において類似画像検索のために画像を制定する画面例を示す図。
【図６】本発明の実施形態における重み付けの一例を示す概念図。
【図７】本発明の実施形態における重み付けの一例を示す概念図。
【図８】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図９】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１０】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【発明を実施するための形態】
【００２１】
次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。
【００２２】
〔１．構成〕
本実施形態は、図１に示すように、通信ネットワークＮ経由で端末Ｔからの要求に応じて類似画像の検索サービスを提供する類似画像検索装置１（以下「本装置１」又は「本装置」と呼ぶ）に関する。本装置１は、一般的なコンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、外部記憶装置（ＨＤＤ等）や主メモリ等の記憶装置７と、通信ネットワークＮ（インターネット、携帯電話網、ＬＡＮなど）との通信手段８（ＬＡＮアダプタなど）と、を有する。また、端末Ｔは、パーソナル・コンピュータ（ＰＣ）、スマートフォンや携帯電話端末装置など、ユーザの用いる情報処理装置で、図１では模式的に一つを示すが、実際にはさらに多数からのアクセスを前提とする。
【００２３】
そして、本装置１では、記憶装置７に予め記憶（インストール）した図示しない所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（１１，１２，１３など）を実現する。これら各要素のうち、情報の記憶手段は、記憶装置７において各種のファイルやデータベース（「ＤＢ」とも表す）、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。
【００２４】
このような記憶手段のうち、特徴記憶手段１１は、図２に例示するように、クエリとなる画像（「クエリ画像」とも呼ぶ）と比較され検索される側の画像（図２の例では、画像ファイ名などの識別情報で識別している。以下「候補画像」と呼ぶこととする）ごとに、画像特徴量と、画像に関連するテキスト（文字列）に基づくテキスト特徴量と、を記憶する手段である。ここで、画像特徴量の例は、画像に含まれる形状や色彩などに基づく説明のため単純化した例であり、実際の要素や表現形式は自由である。また、テキスト特徴量は、その画像に関連する一又は二以上のテキストについて、そのテキストとその画像との関連の深さを表す重みと、を対応付けたものである。
【００２５】
このように画像に関連するテキストは、画像に写っている対象物、情景、テーマ、時間帯などのキーワードで（以下「タグ」とも呼ぶ）、典型的な出所（取得源）としては、その画像が掲載されていたウェブページから抽出したり、又はそのようなウェブページでその画像に関連付けられていたものなどである。例えば、ウェブページで画像に一以上のタグが付与されていれば、類似テキスト検索における一般的な手法であるベクトル空間モデルにより、画像特徴量と同様にテキスト特徴量が抽出可能である。
【００２６】
このようなテキスト特徴量を画像特徴量と共に特徴記憶手段１１で記憶しておくことにより、本実施形態では、テキスト特徴量を加味した類似画像検索が可能となる。但し、テキスト特徴量の出所は自由で、上記のようなウェブページからの抽出に限らないので、例えば、管理者やユーザなどが画像ごとに予め入力してもよい。なお、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。
【００２７】
〔２．作用〕
上記のように構成した本装置１において、類似画像検索に関する処理手順を図３のフローチャートに示す。この処理手順は、クエリ画像の受付、類似画像の検索、検索結果の表示、を含む。
【００２８】
〔２−１．クエリ画像の受付〕
すなわち、まず、受付手段１２が、クエリ画像の指定を伴う類似画像検索の要求指示を、端末Ｔと通信ネットワークＮを介して、端末Ｔを使用するユーザから受け付ける（ステップＳ３１）。ここで、クエリ画像の指定に至る画面遷移の一例を示す。例えば、図４に例示するような画面で、文字列入力欄Ｆ（いわゆるテキストボックス）に所望のテキストＸ１を入力し検索ボタンＢ１をマウスポインタＰで操作した結果、この入力されたテキスト（「指定テキスト」と呼ぶこととする）を基にＷｅｂ画像検索ＡＰＩなどを介した画像検索の結果が、図５に例示するように一覧表示されたとする。
【００２９】
この一覧表示（図５）では、検索でヒットした複数のクエリ画像Ｇごとに所定の類似検索ボタンＢ２が表示され、受付手段１２は、マウスポインタＰなどで操作された類似検索ボタンＢ２に対応する画像をクエリ画像として要求指示を受け付ける。なお、画像の指定を受け付けるユーザインタフェースの構成は自由で、図４、図５の例のように検索が指定テキストから出発することは必須ではなく、例えば、お薦め画像集や話題の画像コーナーのような画像一覧からクエリ画像の指定を受け付けるだけでもよい。
【００３０】
〔２−２．類似画像の検索〕
上記のようにクエリ画像が指定されると（ステップＳ３１）、後述する重み設定の処理（ステップＳ３２〜Ｓ３５）に続き、類似画像検索手段１３が、検索される側の多数の候補画像について特徴記憶手段１１を参照することにより、要求指示に際し指定されたクエリ画像に対する画像特徴量の類似度（「画像類似度」とも呼ぶこととする）と、クエリ画像に関連付けられたタグなどのテキスト（「基準テキスト」とも呼ぶこととする）に対するテキスト特徴量の類似度（「テキスト類似度」とも呼ぶこととする）と、に基づいて類似画像を検索する（ステップＳ３６）。
【００３１】
この際、指定テキストに基づいて検索された画像群からクエリ画像が指定されていた場合（例えば図４、図５）、類似画像検索手段１３は、指定されたクエリ画像に関連付けられた基準テキストとして、少なくとも指定テキストを用い、画像に関連付けられているタグがあれば、そのタグと指定テキストを合わせて基準テキストとする。なお、指定テキストからの画像検索を経ず、クエリ画像の選択から類似画像検索を行う場合は、選択したクエリ画像に関連付けられているタグなどのテキストのみを基準テキストとして用いればよい。
【００３２】
上記のような類似画像の検索において、画像類似度とテキスト類似度とを計算する基準やアルゴリズムは自由であるが、例えば、画像特徴量同士、テキスト特徴量同士をそれぞれ多次元ベクトルデータとしてその距離を算出し比較するなどが一般的と考えられる。より具体的には、例えば、クエリ画像と各候補画像の間について、画像類似度を示す距離関数（特徴量空間上における距離算出に関する関数。以下同じ）と、テキスト類似度を示す距離関数が、同一の距離式、例えばユークリッド距離であれば、一般の多次元空間インデックスで高速な検索が可能であるが、異なる距離空間やユークリッド距離ではない場合には、グラフインデックスに代表される距離空間インデックスを用いて検索してもよい。
【００３３】
なお、類似画像検索手段１３は、画像特徴量の類似度とテキスト特徴の類似度とを、加算や乗算などで総合評価するので、その総合評価における計算基準の設定に応じ、画像類似度とテキスト類似度について、少なくともいずれか一方が優れた候補画像や、どちらも大きく劣ることが無い候補画像が類似検索結果の上位として優先される。
【００３４】
〔２−３．類似画像検索における重み付け〕
なお、指定されたクエリ画像や候補画像に関連付けられた複数のテキストを用いてテキスト特徴量の類似度を計算する場合、重み付け手段１４が、計算に用いるそれら複数のテキスト間で所定の重み付けを行う。ここでは、テキストへの重みの設定と、設定した重みを用いた類似度の計算に分けて説明する。重みの設定は、各候補画像の側についての重み（例えば図２）の設定と、クエリ画像の基準テキストの側についての重みの設定が考えられ、一方でも足りるが、ここでは双方に重みを設定する例を示す。
【００３５】
候補画像の側についての重みの設定は、その画像の内容や、その画像を含んでいたウェブページの内容や、そのウェブページでその画像に対応付けられたキャプションの内容、そのウェブページの例えばＸＭＬ記述などによりその画像に対応付けられていたタグ間の優先順位などに基づいて、特徴記憶手段１１に予め記憶させておく。基準テキストへの重みの設定は、類似度の計算を候補画像ごとに繰り返す際に行ってもよいが、ここではそれら計算に先立って行う例を示す。
【００３６】
例えば、まず、指定テキストが存在する場合、指定テキストと、指定テキストで検索された画像に付与されているタグは一致するとは限らず、画像特徴量の類似性が高い場合には全く異なるタグが付与された画像が検索される場合もあるし、検索結果に含まれる画像に付与されている複数のタグの一部が指定テキストと一致している場合もある。
【００３７】
そこで、指定テキストに表れている検索者の意図をより反映させるため、指定テキストに関連して次のような重みを与える。まず、図６（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２）のなかにテキストＸ１と一致するものが無い場合、重み付け手段１４は、図６（２）に例示するように、クエリ画像Ｇのタグに加えて、指定テキストＸ１を基準テキストに加え、その重みは他のタグＸ２の重み（例えば「１」）より相対的に大きい所定の重み（例えば「５」）とする。
【００３８】
一方、図７（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２，Ｘ３）のなかにテキストＸ１と一致するもの（関連タグＸ３「山」）がある場合は、図７（２）に例示するように、その一致するタグの重み（例えば「１」）に、上記のような大きい所定の重み（例えば「５」）を加えて例えば「６」にする。なお、一致するタグの重みを、そのような大きい所定の重みに置き換え（例えば「１」→「５」）てもよい。
【００３９】
上記のように指定テキストに基づく基準テキストの重み付けを実現するため、図３の処理手順では、指定テキストがある場合（ステップＳ３２：「ＹＥＳ」）、クエリ画像のタグに指定テキストが無ければ（ステップＳ３３：「ＮＯ」）クエリ画像のタグに加え指定テキストも基準テキストとしたうえで（ステップＳ３４）、基準テキスト内の指定テキストの重みに所定値（上記の例では「５」）を加算する（ステップＳ３５）。
【００４０】
以上のように候補画像のテキスト側及びクエリ画像の基準テキスト側の双方に設定した重みを、類似画像検索（ステップＳ３６）における類似度の計算に反映させることにより、画像クエリの基準テキストと重要なテキストが一致している候補画像が高い優先順位でヒットすることとなる。例えば、テキスト特徴量の類似度が最も高くなるのは、画像クエリ側で重みの大きい基準テキストと、候補画像側で大きい重みを持つテキストと、が一致している場合である。
【００４１】
〔２−４．検索結果の表示〕
そして、以上のような重みを反映した類似画像の検索結果を、結果表示手段１５が画面表示する（ステップＳ３７）。この際、類似度表示手段１６が、検索された画像について、クエリ画像に対する画像特徴量の類似の有無又は類似度と、クエリ画像に関連付けられた基準テキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する。ここでは、画像類似度とテキスト類似度を表示するものとし、その一例を図８に示す。この例は、類似画像検索結果の表示画面例で、画面上部が検索条件の表示欄Ｊであり、下部がその条件による類似画像検索結果の表示欄Ｋとなっているが、表示欄Ｋのうち検索結果の画像ごとの類似度表示欄Ｒ１で、画像類似度とテキスト類似度それぞれを数値表示している。
【００４２】
類似度表示の他の例として、図９に示す類似度表示欄Ｒ２のように、画像ごとに、画像類似度とテキスト類似度を棒グラフの黒い部分の長さで示すようにすれば、一見して視覚的に把握できる利点がある。さらに他の例として、図１０に示す類似度表示欄Ｒ３では、画像類似度とテキスト類似度それぞれの高さを相対的に帯グラフで示しているので、二種の類似度が重視された相対的な割合を簡明な表示形態で容易に把握することができる。
【００４３】
〔３．効果〕
本実施形態では、以上のように、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量（例えば図２）に係る類似度に基づく類似画像の絞込みも併用することにより（図３のステップＳ３６）、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００４４】
特に、以上の本実施形態では、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け（例えば図４）、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより（図３のステップＳ３２〜Ｓ３４、図６（１）（２））、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００４５】
また、以上の本実施形態では、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくする（図３のステップＳ３５）など所定の重み付けを行うことにより（図６（１）（２））、ユーザの意向に適合した高精度な検索結果が実現できる。
【００４６】
さらに、以上の本実施形態では、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより（例えば図８〜図１０）、検索結果の把握が容易になる。
【００４７】
〔４．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、指定テキストは、キーボードなどからのタイプ入力に限らず、例えば注目のキーワード群の羅列表示から選択するなどにより指定されるものでもよい。また、上記実施形態は類似画像検索装置１と端末Ｔからなるクライアント・サーバ・システム（図１）を前提としたが、本装置はスタンドアロンの装置として実現してもよい。
【００４８】
また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。
【符号の説明】
【００４９】
１ 類似画像検索装置
６ 演算制御部
７ 記憶装置
８ 通信手段
１１ 特徴記憶手段
１２ 受付手段
１３ 類似画像検索手段
１４ 重み付け手段
１５ 結果表示手段
１６ 類似度表示手段
Ｂ１ 検索ボタン
Ｂ２ 類似検索ボタン
Ｆ 文字列入力欄
Ｇ クエリ画像
Ｊ，Ｋ 条件表示欄
Ｎ 通信ネットワーク
Ｐ マウスポインタ
Ｒ１，Ｒ２，Ｒ３ 類似度表示欄
Ｔ 端末
【技術分野】
【０００１】
本発明は、画像をキーとした類似画像検索に関する。
【背景技術】
【０００２】
従来、インターネット上で公開されている様々な情報を検索する手法として、指定されるキーワードを検索キー（クエリ）とするキーワード検索の他に、指定された画像を検索キー（「クエリ画像」）として類似する画像を検索する、いわゆる類似画像検索が知られている（例えば、非特許文献１参照）。類似画像検索では、画像ごとの配色、輪郭線、模様やパターン等の特徴をデータ化した特徴量と呼ぶ情報同士を画像同士で比較することにより、クエリ画像に類似する画像を検索して表示する。
【０００３】
また、類似画像検索の分野ではないが、検索した情報をユーザに提示するユーザインタフェースに関する提案として、特許文献１では、検索対象となる複数のコンテンツを画面表示する際、関連するキーワードが類似するコンテンツ同士をリンク線で連結する。このようにすれば、表示される多数のコンテンツの類似関係が容易に把握でき、所望のコンテンツを効率よく辿って検索できる。仮にこれに準じ、類似画像も画像の類似関係に応じてリンク表示すれば、リンクを辿って類似画像を容易に検索できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】グーグル株式会社、「Google Similar Images」、［online］、［2010年３月17日検索］、インターネット〈URL: http://similar-images.googlelabs.com/ >
【特許文献】
【０００５】
【特許文献１】特開２００８−１２９９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、画像の色や形状といった視覚上の特徴のみに基いて類似画像を検索すると、基の画像からかけ離れた画像となって検索精度が低下するという問題があった。
【０００７】
上記の課題に対し、本発明の目的は、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することである。
【課題を解決するための手段】
【０００８】
上記の目的をふまえ、本発明の一態様（１）である類似画像検索装置は、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段と、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付手段と、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索手段と、類似画像の検索結果を表示する結果表示手段と、を有することを特徴とする。
【０００９】
本発明の他の態様（５）は、上記態様を方法のカテゴリで捉えたもので、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段を有するコンピュータが類似画像検索を行う類似画像検索方法であって、コンピュータが、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付ステップと、コンピュータが、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索ステップと、コンピュータが、類似画像の検索結果を表示する結果表示ステップと、を含むことを特徴とする。
【００１０】
本発明の他の態様（６）は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、コンピュータに、類似画像検索を行わせる類似画像検索プログラムであって、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段をコンピュータに実現させ、コンピュータに、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付けさせ、コンピュータに、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索させ、コンピュータに、類似画像の検索結果を表示させることを特徴とする。
【００１１】
以上のように、本発明では、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量に係る類似度に基づく類似画像の絞込みも併用することにより、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００１２】
本発明の他の態様（２）は、上記いずれかの態様において、前記受付手段は、指定されたテキストに基づいて検索された画像のなかから、類似画像検索のクエリとする画像の指定を受け付け、前記類似画像検索手段は、前記指定された画像に関連付けられたテキストとして、前記指定されたテキストを用いることを特徴とする。
【００１３】
このように、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００１４】
本発明の他の態様（３）は、上記いずれかの態様において、前記指定された画像に関連付けられた複数のテキストを用いて前記テキスト特徴量の類似度を計算する場合に、計算に用いるそれら複数のテキスト間で所定の重み付けを行う重み付け手段を有することを特徴とする。
【００１５】
このように、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくするなど所定の重み付けを行うことにより、ユーザの意向に適合した高精度な検索結果が実現できる。
【００１６】
本発明の他の態様（４）は、上記いずれかの態様において、検索された画像について、前記指定された画像に対する画像特徴量の類似の有無又は類似度と、前記指定された画像に関連付けられたテキストに対するに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する類似度表示手段を有することを特徴とする。
【００１７】
このように、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより、検索結果の把握が容易になる。
【００１８】
なお、上記の各態様とは異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。
【発明の効果】
【００１９】
本発明によれば、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態で用いる情報（データ）を例示する図。
【図３】本発明の実施形態における処理手順を示すフローチャート。
【図４】本発明の実施形態において、テキストから画像を検索するための画面例を示す図。
【図５】本発明の実施形態において類似画像検索のために画像を制定する画面例を示す図。
【図６】本発明の実施形態における重み付けの一例を示す概念図。
【図７】本発明の実施形態における重み付けの一例を示す概念図。
【図８】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図９】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【図１０】本発明の実施形態における類似画像検索結果の画面表示例を示す図。
【発明を実施するための形態】
【００２１】
次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。
【００２２】
〔１．構成〕
本実施形態は、図１に示すように、通信ネットワークＮ経由で端末Ｔからの要求に応じて類似画像の検索サービスを提供する類似画像検索装置１（以下「本装置１」又は「本装置」と呼ぶ）に関する。本装置１は、一般的なコンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、外部記憶装置（ＨＤＤ等）や主メモリ等の記憶装置７と、通信ネットワークＮ（インターネット、携帯電話網、ＬＡＮなど）との通信手段８（ＬＡＮアダプタなど）と、を有する。また、端末Ｔは、パーソナル・コンピュータ（ＰＣ）、スマートフォンや携帯電話端末装置など、ユーザの用いる情報処理装置で、図１では模式的に一つを示すが、実際にはさらに多数からのアクセスを前提とする。
【００２３】
そして、本装置１では、記憶装置７に予め記憶（インストール）した図示しない所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（１１，１２，１３など）を実現する。これら各要素のうち、情報の記憶手段は、記憶装置７において各種のファイルやデータベース（「ＤＢ」とも表す）、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。
【００２４】
このような記憶手段のうち、特徴記憶手段１１は、図２に例示するように、クエリとなる画像（「クエリ画像」とも呼ぶ）と比較され検索される側の画像（図２の例では、画像ファイ名などの識別情報で識別している。以下「候補画像」と呼ぶこととする）ごとに、画像特徴量と、画像に関連するテキスト（文字列）に基づくテキスト特徴量と、を記憶する手段である。ここで、画像特徴量の例は、画像に含まれる形状や色彩などに基づく説明のため単純化した例であり、実際の要素や表現形式は自由である。また、テキスト特徴量は、その画像に関連する一又は二以上のテキストについて、そのテキストとその画像との関連の深さを表す重みと、を対応付けたものである。
【００２５】
このように画像に関連するテキストは、画像に写っている対象物、情景、テーマ、時間帯などのキーワードで（以下「タグ」とも呼ぶ）、典型的な出所（取得源）としては、その画像が掲載されていたウェブページから抽出したり、又はそのようなウェブページでその画像に関連付けられていたものなどである。例えば、ウェブページで画像に一以上のタグが付与されていれば、類似テキスト検索における一般的な手法であるベクトル空間モデルにより、画像特徴量と同様にテキスト特徴量が抽出可能である。
【００２６】
このようなテキスト特徴量を画像特徴量と共に特徴記憶手段１１で記憶しておくことにより、本実施形態では、テキスト特徴量を加味した類似画像検索が可能となる。但し、テキスト特徴量の出所は自由で、上記のようなウェブページからの抽出に限らないので、例えば、管理者やユーザなどが画像ごとに予め入力してもよい。なお、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。
【００２７】
〔２．作用〕
上記のように構成した本装置１において、類似画像検索に関する処理手順を図３のフローチャートに示す。この処理手順は、クエリ画像の受付、類似画像の検索、検索結果の表示、を含む。
【００２８】
〔２−１．クエリ画像の受付〕
すなわち、まず、受付手段１２が、クエリ画像の指定を伴う類似画像検索の要求指示を、端末Ｔと通信ネットワークＮを介して、端末Ｔを使用するユーザから受け付ける（ステップＳ３１）。ここで、クエリ画像の指定に至る画面遷移の一例を示す。例えば、図４に例示するような画面で、文字列入力欄Ｆ（いわゆるテキストボックス）に所望のテキストＸ１を入力し検索ボタンＢ１をマウスポインタＰで操作した結果、この入力されたテキスト（「指定テキスト」と呼ぶこととする）を基にＷｅｂ画像検索ＡＰＩなどを介した画像検索の結果が、図５に例示するように一覧表示されたとする。
【００２９】
この一覧表示（図５）では、検索でヒットした複数のクエリ画像Ｇごとに所定の類似検索ボタンＢ２が表示され、受付手段１２は、マウスポインタＰなどで操作された類似検索ボタンＢ２に対応する画像をクエリ画像として要求指示を受け付ける。なお、画像の指定を受け付けるユーザインタフェースの構成は自由で、図４、図５の例のように検索が指定テキストから出発することは必須ではなく、例えば、お薦め画像集や話題の画像コーナーのような画像一覧からクエリ画像の指定を受け付けるだけでもよい。
【００３０】
〔２−２．類似画像の検索〕
上記のようにクエリ画像が指定されると（ステップＳ３１）、後述する重み設定の処理（ステップＳ３２〜Ｓ３５）に続き、類似画像検索手段１３が、検索される側の多数の候補画像について特徴記憶手段１１を参照することにより、要求指示に際し指定されたクエリ画像に対する画像特徴量の類似度（「画像類似度」とも呼ぶこととする）と、クエリ画像に関連付けられたタグなどのテキスト（「基準テキスト」とも呼ぶこととする）に対するテキスト特徴量の類似度（「テキスト類似度」とも呼ぶこととする）と、に基づいて類似画像を検索する（ステップＳ３６）。
【００３１】
この際、指定テキストに基づいて検索された画像群からクエリ画像が指定されていた場合（例えば図４、図５）、類似画像検索手段１３は、指定されたクエリ画像に関連付けられた基準テキストとして、少なくとも指定テキストを用い、画像に関連付けられているタグがあれば、そのタグと指定テキストを合わせて基準テキストとする。なお、指定テキストからの画像検索を経ず、クエリ画像の選択から類似画像検索を行う場合は、選択したクエリ画像に関連付けられているタグなどのテキストのみを基準テキストとして用いればよい。
【００３２】
上記のような類似画像の検索において、画像類似度とテキスト類似度とを計算する基準やアルゴリズムは自由であるが、例えば、画像特徴量同士、テキスト特徴量同士をそれぞれ多次元ベクトルデータとしてその距離を算出し比較するなどが一般的と考えられる。より具体的には、例えば、クエリ画像と各候補画像の間について、画像類似度を示す距離関数（特徴量空間上における距離算出に関する関数。以下同じ）と、テキスト類似度を示す距離関数が、同一の距離式、例えばユークリッド距離であれば、一般の多次元空間インデックスで高速な検索が可能であるが、異なる距離空間やユークリッド距離ではない場合には、グラフインデックスに代表される距離空間インデックスを用いて検索してもよい。
【００３３】
なお、類似画像検索手段１３は、画像特徴量の類似度とテキスト特徴の類似度とを、加算や乗算などで総合評価するので、その総合評価における計算基準の設定に応じ、画像類似度とテキスト類似度について、少なくともいずれか一方が優れた候補画像や、どちらも大きく劣ることが無い候補画像が類似検索結果の上位として優先される。
【００３４】
〔２−３．類似画像検索における重み付け〕
なお、指定されたクエリ画像や候補画像に関連付けられた複数のテキストを用いてテキスト特徴量の類似度を計算する場合、重み付け手段１４が、計算に用いるそれら複数のテキスト間で所定の重み付けを行う。ここでは、テキストへの重みの設定と、設定した重みを用いた類似度の計算に分けて説明する。重みの設定は、各候補画像の側についての重み（例えば図２）の設定と、クエリ画像の基準テキストの側についての重みの設定が考えられ、一方でも足りるが、ここでは双方に重みを設定する例を示す。
【００３５】
候補画像の側についての重みの設定は、その画像の内容や、その画像を含んでいたウェブページの内容や、そのウェブページでその画像に対応付けられたキャプションの内容、そのウェブページの例えばＸＭＬ記述などによりその画像に対応付けられていたタグ間の優先順位などに基づいて、特徴記憶手段１１に予め記憶させておく。基準テキストへの重みの設定は、類似度の計算を候補画像ごとに繰り返す際に行ってもよいが、ここではそれら計算に先立って行う例を示す。
【００３６】
例えば、まず、指定テキストが存在する場合、指定テキストと、指定テキストで検索された画像に付与されているタグは一致するとは限らず、画像特徴量の類似性が高い場合には全く異なるタグが付与された画像が検索される場合もあるし、検索結果に含まれる画像に付与されている複数のタグの一部が指定テキストと一致している場合もある。
【００３７】
そこで、指定テキストに表れている検索者の意図をより反映させるため、指定テキストに関連して次のような重みを与える。まず、図６（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２）のなかにテキストＸ１と一致するものが無い場合、重み付け手段１４は、図６（２）に例示するように、クエリ画像Ｇのタグに加えて、指定テキストＸ１を基準テキストに加え、その重みは他のタグＸ２の重み（例えば「１」）より相対的に大きい所定の重み（例えば「５」）とする。
【００３８】
一方、図７（１）に例示するように、指定テキストＸ１（例えば「山」）に基づく検索結果から指定されたクエリ画像Ｇに付与されているタグ（例えばＸ２，Ｘ３）のなかにテキストＸ１と一致するもの（関連タグＸ３「山」）がある場合は、図７（２）に例示するように、その一致するタグの重み（例えば「１」）に、上記のような大きい所定の重み（例えば「５」）を加えて例えば「６」にする。なお、一致するタグの重みを、そのような大きい所定の重みに置き換え（例えば「１」→「５」）てもよい。
【００３９】
上記のように指定テキストに基づく基準テキストの重み付けを実現するため、図３の処理手順では、指定テキストがある場合（ステップＳ３２：「ＹＥＳ」）、クエリ画像のタグに指定テキストが無ければ（ステップＳ３３：「ＮＯ」）クエリ画像のタグに加え指定テキストも基準テキストとしたうえで（ステップＳ３４）、基準テキスト内の指定テキストの重みに所定値（上記の例では「５」）を加算する（ステップＳ３５）。
【００４０】
以上のように候補画像のテキスト側及びクエリ画像の基準テキスト側の双方に設定した重みを、類似画像検索（ステップＳ３６）における類似度の計算に反映させることにより、画像クエリの基準テキストと重要なテキストが一致している候補画像が高い優先順位でヒットすることとなる。例えば、テキスト特徴量の類似度が最も高くなるのは、画像クエリ側で重みの大きい基準テキストと、候補画像側で大きい重みを持つテキストと、が一致している場合である。
【００４１】
〔２−４．検索結果の表示〕
そして、以上のような重みを反映した類似画像の検索結果を、結果表示手段１５が画面表示する（ステップＳ３７）。この際、類似度表示手段１６が、検索された画像について、クエリ画像に対する画像特徴量の類似の有無又は類似度と、クエリ画像に関連付けられた基準テキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する。ここでは、画像類似度とテキスト類似度を表示するものとし、その一例を図８に示す。この例は、類似画像検索結果の表示画面例で、画面上部が検索条件の表示欄Ｊであり、下部がその条件による類似画像検索結果の表示欄Ｋとなっているが、表示欄Ｋのうち検索結果の画像ごとの類似度表示欄Ｒ１で、画像類似度とテキスト類似度それぞれを数値表示している。
【００４２】
類似度表示の他の例として、図９に示す類似度表示欄Ｒ２のように、画像ごとに、画像類似度とテキスト類似度を棒グラフの黒い部分の長さで示すようにすれば、一見して視覚的に把握できる利点がある。さらに他の例として、図１０に示す類似度表示欄Ｒ３では、画像類似度とテキスト類似度それぞれの高さを相対的に帯グラフで示しているので、二種の類似度が重視された相対的な割合を簡明な表示形態で容易に把握することができる。
【００４３】
〔３．効果〕
本実施形態では、以上のように、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量（例えば図２）に係る類似度に基づく類似画像の絞込みも併用することにより（図３のステップＳ３６）、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
【００４４】
特に、以上の本実施形態では、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け（例えば図４）、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより（図３のステップＳ３２〜Ｓ３４、図６（１）（２））、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。
【００４５】
また、以上の本実施形態では、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくする（図３のステップＳ３５）など所定の重み付けを行うことにより（図６（１）（２））、ユーザの意向に適合した高精度な検索結果が実現できる。
【００４６】
さらに、以上の本実施形態では、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより（例えば図８〜図１０）、検索結果の把握が容易になる。
【００４７】
〔４．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、指定テキストは、キーボードなどからのタイプ入力に限らず、例えば注目のキーワード群の羅列表示から選択するなどにより指定されるものでもよい。また、上記実施形態は類似画像検索装置１と端末Ｔからなるクライアント・サーバ・システム（図１）を前提としたが、本装置はスタンドアロンの装置として実現してもよい。
【００４８】
また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。
【符号の説明】
【００４９】
１ 類似画像検索装置
６ 演算制御部
７ 記憶装置
８ 通信手段
１１ 特徴記憶手段
１２ 受付手段
１３ 類似画像検索手段
１４ 重み付け手段
１５ 結果表示手段
１６ 類似度表示手段
Ｂ１ 検索ボタン
Ｂ２ 類似検索ボタン
Ｆ 文字列入力欄
Ｇ クエリ画像
Ｊ，Ｋ 条件表示欄
Ｎ 通信ネットワーク
Ｐ マウスポインタ
Ｒ１，Ｒ２，Ｒ３ 類似度表示欄
Ｔ 端末
【特許請求の範囲】
【請求項１】
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段と、
ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付手段と、
検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索手段と、
類似画像の検索結果を表示する結果表示手段と、
を有することを特徴とする類似画像検索装置。
【請求項２】
前記受付手段は、指定されたテキストに基づいて検索された画像のなかから、類似画像検索のクエリとする画像の指定を受け付け、
前記類似画像検索手段は、前記指定された画像に関連付けられたテキストとして、前記指定されたテキストを用いる
ことを特徴とする請求項１記載の類似画像検索装置。
【請求項３】
前記指定された画像に関連付けられた複数のテキストを用いて前記テキスト特徴量の類似度を計算する場合に、計算に用いるそれら複数のテキスト間で所定の重み付けを行う重み付け手段を有する
ことを特徴とする請求項１又は２記載の類似画像検索装置。
【請求項４】
検索された画像について、前記指定された画像に対する画像特徴量の類似の有無又は類似度と、前記指定された画像に関連付けられたテキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する類似度表示手段を有することを特徴とする請求項１から３のいずれか一項に記載の類似画像検索装置。
【請求項５】
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段を有するコンピュータが類似画像検索を行う類似画像検索方法であって、
コンピュータが、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付ステップと、
コンピュータが、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索ステップと、
コンピュータが、類似画像の検索結果を表示する結果表示ステップと、
を含むことを特徴とする類似画像検索方法。
【請求項６】
コンピュータに、類似画像検索を行わせる類似画像検索プログラムであって、
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段をコンピュータに実現させ、
コンピュータに、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付けさせ、
コンピュータに、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索させ、
コンピュータに、類似画像の検索結果を表示させる
ことを特徴とする類似画像検索プログラム。
【請求項１】
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段と、
ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付手段と、
検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索手段と、
類似画像の検索結果を表示する結果表示手段と、
を有することを特徴とする類似画像検索装置。
【請求項２】
前記受付手段は、指定されたテキストに基づいて検索された画像のなかから、類似画像検索のクエリとする画像の指定を受け付け、
前記類似画像検索手段は、前記指定された画像に関連付けられたテキストとして、前記指定されたテキストを用いる
ことを特徴とする請求項１記載の類似画像検索装置。
【請求項３】
前記指定された画像に関連付けられた複数のテキストを用いて前記テキスト特徴量の類似度を計算する場合に、計算に用いるそれら複数のテキスト間で所定の重み付けを行う重み付け手段を有する
ことを特徴とする請求項１又は２記載の類似画像検索装置。
【請求項４】
検索された画像について、前記指定された画像に対する画像特徴量の類似の有無又は類似度と、前記指定された画像に関連付けられたテキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する類似度表示手段を有することを特徴とする請求項１から３のいずれか一項に記載の類似画像検索装置。
【請求項５】
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段を有するコンピュータが類似画像検索を行う類似画像検索方法であって、
コンピュータが、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付ける受付ステップと、
コンピュータが、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索する類似画像検索ステップと、
コンピュータが、類似画像の検索結果を表示する結果表示ステップと、
を含むことを特徴とする類似画像検索方法。
【請求項６】
コンピュータに、類似画像検索を行わせる類似画像検索プログラムであって、
画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を記憶する特徴記憶手段をコンピュータに実現させ、
コンピュータに、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付けさせ、
コンピュータに、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度と、に基づいて類似画像を検索させ、
コンピュータに、類似画像の検索結果を表示させる
ことを特徴とする類似画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２０３７７６（Ｐ２０１１−２０３７７６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６７７５５（Ｐ２０１０−６７７５５）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]