広告表示制御装置、広告表示制御方法、およびプログラム
【課題】画像検索結果として抽出された複数の画像データに基づいて効果的に広告を表示させる。
【解決手段】クライアント端末２からの画像検索の処理要求に応じて出力される検索結果画像データを特定し、広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、検索結果画像データの特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を検索結果画像データと共に表示させる広告として決定し、検索結果画像データの表示態様に応じて広告の表示位置を決定し、クライアント端末２に表示させるサーバー１（広告表示制御装置）とする。
【解決手段】クライアント端末２からの画像検索の処理要求に応じて出力される検索結果画像データを特定し、広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、検索結果画像データの特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を検索結果画像データと共に表示させる広告として決定し、検索結果画像データの表示態様に応じて広告の表示位置を決定し、クライアント端末２に表示させるサーバー１（広告表示制御装置）とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広告表示制御装置、広告表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
個人、または共通の嗜好を持つ複数の者が所持している複数の画像データを検索クエリとして設定し、類似画像データの検索を行う際に、検索結果として抽出された複数の画像データの共通要素を抽出して、その共通要素に対応した広告を広告データベース内から選択して表示させる広告表示方法が知られている（たとえば、特許文献１）。
【０００３】
特許文献１に示される広告表示方法によれば、単体の画像データからでは得ることができない、複数の画像データの共通要素を抽出し、その抽出した共通要素を個人、または複数の者の間で共通している嗜好と類推して効果的な広告の表示を実現させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０６４０４号公報（要約、段落０００３など）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示される広告表示方法は、個人または共通の嗜好を持つ複数の者で所有している画像データを検索対象とし、表示広告とその広告の特徴との対応付けは１対１の関係となるように設定されている。ところで、インターネットなどで類似する画像データを検索する際には、不特定多数の者が所持している画像データが検索対象に含まれる。そのため、様々な嗜好が含まれる画像データを対象として画像検索をした場合、検索結果の画像データに表れる共通要素が必ずしも検索者の嗜好と一致するとは限らない。そのため、特許文献１に開示される広告表示方法によって、インターネットなどで類似する画像データを検索する場合には、検索者の嗜好が反映された広告が表示されるとは限らず、効果的な広告の表示を実現させることができるかは不明である。
【０００６】
また、特許文献１に開示される広告表示方法では、広告とその広告の特徴との対応付けは１対１の関係となるように設定されているので、広告に対応付けされている１つの特徴が複数の画像データ間の共通要素として一致した場合以外に広告が表示される機会はない。つまり、上述のように検索結果画像に共通する要素が検索者の嗜好と一致しているか不明であるにもかかわらず、広告の表示機会は非常に限定されることになる。
【０００７】
さらに、特許文献１に開示される広告表示方法によると、画像検索結果の表示領域に余裕がある場合に共通要素の値が大きいほど表示する広告を大きくするようにしているが、検索結果として表示される画像データと同一画面内に表示される広告とのそれぞれの位置関係によっては、必ずしも効果的な広告表示とならない場合がある。
【０００８】
本発明は、上述した課題の少なくとも１つを鑑みてなされたものであり、画像検索結果として抽出された複数の画像データに基づいて効果的に広告を表示させる広告表示制御装置、広告表示制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面としての広告表示制御装置は、画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、検索結果画像特定手段により特定された複数の検索結果画像データの特徴量を算出する特徴量算出手段と、広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、複数の検索結果画像データの表示態様に応じて、表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、表示広告決定手段により決定された広告を、表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段とを備えるものである。
【００１０】
広告表示制御装置を上述の構成とすることで、検索結果として抽出された複数の画像データの特徴量に対応した広告を選択し、かつ検索結果画像の表示態様を考慮した位置にその広告を表示させることができる。また、広告には複数の特徴量が関連付けられているため、それらのうちの一つの特徴量が検索結果画像データの特徴量と共通する場合には、表示させる広告として選択される可能性があり、広告主に対して新たな広告表示機会を提供することができる。
【００１１】
また、広告データベースには、特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データの特徴量から平均特徴量を算出し、表示広告決定手段は、広告データベースを参照して、平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１２】
広告表示制御装置を上述の構成とすることで、検索結果画像データから得られる複数の特徴量を平均化させた値が含まれる特徴ベクトル空間に関連付けられている広告が選択されるため、視覚的に共通する要素を有する商品または役務の広告を表示させることが可能となる。これにより、たとえば、検索結果画像データのカラーヒストグラム、テクスチャー、形状、エッジ特徴などの視覚的な特徴が共通する商品または役務が写っている画像データによる広告が検索画像結果と共に表示された場合、ユーザ自身がその視覚的な特徴を特に意識していなくても、表示広告に対して自然と視線が誘導されやすくなり、より効果的な広告表示を実現させることができる。
【００１３】
また、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、表示広告決定手段は、広告データベースを参照して、特徴量算出手段により最も多く集計されたメタデータと一致するキーワード情報に関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１４】
広告表示制御装置を上述の構成とすることで、複数の検索結果画像データから得られたメタデータを集計して、最も出現回数の多いメタデータと一致するキーワードに関連付けられた広告が表示されるので、複数の検索結果画像データに最も関連すると推測されるキーワードと共通する商品または役務の広告を表示させることが可能となる。
【００１５】
また、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、表示広告決定手段は、特徴量算出手段による各メタデータの集計数に応じて、各メタデータと一致するキーワード情報を選択し、広告データベースを参照して、その選択されたキーワード情報と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１６】
広告表示制御装置を上述の構成とすることで、複数の検索結果画像データから得られるメタデータを集計して、メタデータの集計数に応じたキーワードに関連付けられた広告を表示させるので、メタデータの集計数に応じたキーワードが適宜選択されて、その選択されたキーワードと関係があると推測される商品または役務の広告を表示させることが可能となる。
【００１７】
また、前記画像データの検索処理要求は、ユーザが指定したキーワード情報および検索画像データの組み合わせによる類似画像検索処理要求であり、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、検索結果画像特定手段は、類似画像検索処理要求に応じた検索結果として出力される複数の検索結果画像データを特定し、特徴量算出手段は、検索結果画像データに関連付けられているキーワード情報をすべて抽出して集計すると共に、ユーザが指定したキーワード情報に対しては、所定の重み付けをした数値を加算し、表示広告決定手段は、特徴量算出手段による各メタデータの集計値およびユーザが指定したキーワード情報の所定の重み付けがなされた数値が加算されたもののうちで最大のものを、広告を選択する際のキーワード情報として決定し、広告データベースを参照して、その決定されたキーワード情報が関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１８】
広告表示制御装置を上述の構成とすることで、検索条件としてユーザにより設定された検索キーワードについても所定の重み付けがなされ、表示広告を選択する際の判断材料として用いられるため、ユーザの興味がある商品または役務の広告がより選択されて表示されやすくなるという効果がある。
【００１９】
また、本発明は、広告表示制御装置のみならず、広告表示制御装置を構成する各手段が実行する各工程を有する広告表示制御方法においても実現することができる。さらに、広告表示制御装置を構成する各手段に相当する機能をコンピューターに実行させるプログラムにおいても本発明を実現することができる。そのため、本発明の一側面である広告表示制御方法、プログラムについても、上述した広告表示制御装置と同様の効果を奏することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係るサーバーとクライアント端末の概略構成を示す説明図である。
【図２】図１に示すサーバーの内部構成の機能を機能ブロック図にて模式的に示す説明図である。
【図３】図２に示す画像データベースに記憶されている情報の一例を示す図である。
【図４】図２に示す画像データベース内に生成されるクラスタの概念を説明する図である。
【図５】図２に示す広告データベースに記憶されている情報の一例を示す図である。
【図６】図１に示すサーバーが備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。
【図７】図６に示す広告検索モジュールの詳細を示す説明図である。
【図８】図１に示すクライアント端末の内部構成を機能ブロック図にて模式的に示す説明図である。
【図９】図１に示すクライアント端末が備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。
【図１０】図１に示すクライアント端末およびサーバー間において実行される画像検索処理を示すフローチャートである。
【図１１】図１０のステップＳ１６に示す広告マッチング処理および表示位置制御処理の詳細を示すフローチャートである。
【図１２】図１１に示すマッチング処理を概念的に示す説明図である。
【図１３】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１４】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１５】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１６】本発明の第２実施形態における広告マッチング処理を示すフローチャートである。
【図１７】図１６に示す広告マッチング処理を概念的に示した図である。
【図１８】本発明の第３実施形態における広告マッチング処理を示すフローチャートである。
【図１９】本発明の第４実施形態における画像検索処理を示すフローチャートである。
【図２０】図１９に示すステップＳ５６に示す広告マッチング処理の詳細を示すフローチャートである。
【図２１】図２０に示す広告マッチング処理を概念的に示した図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る広告表示制御装置、広告表示制御方法およびプログラムについて、図面を参照しつつ、各実施の形態に基づいて説明する。なお、本発明に係る広告表示制御方法については広告表示制御装置の動作を例として説明し、本発明に係るプログラムについては、広告表示制御装置にインストールされているプログラムを例として説明する。
【００２２】
〔第１実施形態〕
図１は、本発明の第１実施形態に係るサーバー１とクライアント端末２の概略構成を示す説明図である。サーバー１と、クライアント端末２とはネットワーク３を介して双方向通信可能に接続されている。ネットワーク３は、インターネット、イントラネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）などのいずれであってもよい。
【００２３】
サーバー１は、ネットワーク３を介して接続されたコンピューター上に存在する数多くの画像データを格納し、クライアント端末２からの検索要求に応じて類似の画像データの検索を実行すると共に、検索結果として抽出された画像データと、その画像データに適した広告データを選択して送信する、広告表示制御装置の一例である。なお、本実施の形態のサーバー１では、画像検索処理機能と広告マッチング処理機能すべてを有する装置としているが、画像検索処理機能については、別のコンピューターにより実現するようにしてもよい。
【００２４】
（サーバー１の構成）
図２は、図１に示すサーバー１の内部構成の機能を機能ブロック図にて模式的に示す説明図である。
【００２５】
図２に示すように、サーバー１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリー１２、記憶装置１３、および入出力インターフェース１４を備えている。
【００２６】
ＣＰＵ１１は、メモリー１２に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。
【００２７】
メモリー１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー１２としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。
【００２８】
記憶装置１３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、画像データベース１３Ａと広告データベース１３Ｂとが構築されている。
【００２９】
画像データベース１３Ａは、画像データの検索に要する時間を短縮させるために、画像インデックスがクラスタリングにより構築されており、複数の画像データ、所属クラスタ、各画像データの複数の特徴量が関連付けられて構成されている。ここで、画像データの複数の特徴量とは、たとえば、画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれるオブジェクト（商品、図形、動物、人物の顔など）のサイズ、位置といった複数種類の値から構成される。なお、これらの特徴量は、当業者にとって周知の方法で取得することが可能であるから説明を省略する。
【００３０】
図３は、図２に示す画像データベース１３Ａに記憶されている情報の一例を示す図である。図３に示すように、画像データ毎に所属する所属クラスタおよび、画像特徴量が記憶されている。なお、図示していないが、各クラスタには各画像データの画像特徴量の代表値（たとえば、各画像データの特徴量の平均値）が関連付けられており、画像検索の際に、まず代表値の単位で画像検索が行われ、その後に類似する代表値に属する各画像データとの比較が行われるようになっている。
【００３１】
図４は、図２に示す画像データベース１３Ａ内に生成されるクラスタの概念を説明する図である。図４に示す例では、正規化された画像特徴量に基づいて画像データに顔が含まれるか否かによって画像データが分類される。顔を含むクラスタについては、顔の大きさを示す正規化された特徴量が所定値以上（図４では顔サイズ大）であるか所定値未満（図４では顔サイズ小）であるかに基づいてさらに分類される。顔サイズ大のクラスタについては、顔が子供の顔であるか大人の顔であるか（図４では年齢）を、たとえば、顔の器官位置に関する特徴量に基づいてさらに分類される。顔サイズ小のクラスタについては、風景シーンであるか否かを、青または緑の色相を示す正規化された特徴量が所定値以上であるかに基づいてさらに分類される。そして、風景シーンのクラスタについては、色相が青を示すか否かに基づきさらに分類され、色相が青でないクラスタについては色相が緑を示すか否かに基づきさらに分類される。顔を含まないクラスタについては、風景であるか否かに基づいて分類され、風景シーンでないクラスタについては、彩度が所定値以上（彩度大）であるか所定値未満（彩度小）であるかに基づいてさらに分類される。なお、図４に示すクラスタの構成及び分類はあくまでも一例であり、これに限定されるものではなく、複数のクラスタを構成したり、図４とは異なる分類としてもよい。
【００３２】
クラスタリングは、画像データベース１３Ａに対して画像インデックスを作成する最初のタイミングにて、あるいは、画像データベース１３Ａに所定量の新規な画像データが追加されたタイミングにてサーバー１によって実行される。なお、クラスタリングの手法としては、上述したような階層型クラスタリング手法の他、Ｋ−平均法、自己組織化マップ（ＳＯＭ）などの非階層型クラスタリング手法なども知られているが、それらのいずれを採用してもよい。
【００３３】
広告データベース１３Ｂには、広告データ、広告データの複数の特徴量が関連付けられて構築されている。ここで、広告データの複数の特徴量とは上述した画像データベース１３Ａと同様に、たとえば、広告の商品、役務を示す画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれるオブジェクト（商品、図形、動物、人物の顔など）のサイズ、位置といった複数種類の値のほか、広告の商品、役務に関連するキーワード情報などから構成される。なお、広告データの複数の特徴量は、広告の表示条件になるため、必ずしも広告の商品、役務を示す画像データの特徴量から導き出されるものではなくてもよく、広告主が指定、設定した値、もしくはキーワードなどとしてもよい。
【００３４】
図５は、図２に示す広告データベース１３Ｂに記憶されている情報の一例を示す図である。図５に示すように、広告データ毎に、複数の特徴量として、ベクトル空間特徴量、キーワード１、キーワード２が関連付けられている。ベクトル空間特徴量は、たとえば、広告の商品、役務を示す画像データに含まれるオブジェクトを抽出して、オブジェクトの画像特徴量を導出したものである。たとえば、オブジェクト中の色や明るさの分布状態、輪郭線の方向、平均色や平均明度、色相や明度等のヒストグラムなどを数値で示したものであり、１つのオブジェクトに対して複数の数値の組合せ（ベクトル）で表現したものである。キーワード１は、たとえば、広告の商品、役務を示す画像データに含まれるオブジェクトの名称、または画像データに関連付けられているタグ情報として含まれている文字情報などが格納されている。キーワード２は、たとえば、広告の商品、役務を取り扱っている具体的な店名情報などが格納されている。なお、図５に示す例では、広告データは画像データのみ表示しているが、テキストデータ（文字情報）であっても構わない。
【００３５】
記憶装置１３は、複数の画像データおよび広告データのみを格納するデータ格納部として機能してもよい。この場合には、記憶装置１３に格納されている各画像データの特徴量、各広告データの特徴量はメモリー１２に格納される。
【００３６】
さらに、本実施の形態では、記憶装置１３が画像データ、広告データおよびそれらの特徴量を単に格納するデータベースを例として説明しているが、記憶装置１３に検索処理機能と、広告マッチング処理機能を備える制御部を備えさせて、外部からの検索処理要求に応じて検索結果の画像データと共に広告データを出力する独立型のデータベースシステムとしてもよい。この場合には、サーバー１の外部にデータベースシステムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメモリー１２に格納され、ＣＰＵ１１によって実行される。
【００３７】
入出力インターフェース１４は、外部装置、たとえば、クライアント端末２との間で、周知の通信プロトコルに従って検索要求の受信および検索結果の送信を実行する。なお、図示しないが、入出力インターフェース１４は、キーボードなどの操作部としての機能、ディスプレイなどの表示部としての機能を有するものであってもよい。
【００３８】
図６は、図１に示すサーバー１が備えるメモリー１２に格納されている各種プログラム、モジュールを示す説明図である。図６に示すように、メモリー１２には画像検索プログラムＳＰ２と、広告マッチングプログラムＳＰ３とが格納されている。
【００３９】
画像検索プログラムＳＰ２は、記憶装置１３から画像データを検索するプログラムであり、検索画像データ取得モジュールＳＭ２１、画像検索モジュールＳＭ２２を備えている。
【００４０】
検索画像データ取得モジュールＳＭ２１は、クライアント端末２からネットワーク３を介して送信されてきた、検索条件として設定されている検索画像データを取得するモジュールである。
【００４１】
画像検索モジュールＳＭ２２は、検索画像データ取得モジュールＳＭ２１により取得した検索画像データを用いて、画像データベース１３Ａから検索画像データに類似または一致する画像データを検索するモジュールである。
【００４２】
図７は、図６に示す広告検索モジュールＳＭ２２の詳細を示す説明図である。図７に示すように、画像検索モジュールＳＭ２２は、サブモジュールとして検索画像特徴量取得モジュールＳＭ２３、類似度算出モジュールＳＭ２４をさらに備えている。
【００４３】
検索画像特徴量取得モジュールＳＭ２３は、検索画像データ取得モジュールＳＭ２１により取得した検索画像データの特徴量を取得するモジュールである。
【００４４】
類似度算出モジュールＳＭ２４は、検索画像特徴量取得モジュールＳＭ２３が取得した検索画像データの特徴量と、画像データベース１３Ａに格納されている各クラスタの代表値および各クラスタに属する画像データの画像特徴量とを用いて検索画像データと検索対象となる画像データ（つまり、記憶装置１３に格納されている画像データ）との類似度を算出するモジュールである。
【００４５】
広告マッチングプログラムＳＰ３は、画像検索プログラムＳＰ２の画像検索結果に応じて表示させる広告データを決定するプログラムであり、広告取得モジュールＳＭ３１、広告検索モジュールＳＭ３２、表示位置制御モジュールＳＭ３３を備えている。
【００４６】
広告取得モジュールＳＭ３１は、広告主から取得した広告用のデータ（画像データ、テキストデータ）を取得するために実行されるモジュールである。なお、広告主から取得した広告用のデータは、ネットワーク３を介して接続される不図示のコンピューターから受信して取得するようにしてもよいし、外部記憶媒体をサーバー１に接続して取得するようにしてもよい。
【００４７】
広告検索モジュールＳＭ３２は、広告として表示させる広告データを検索して、決定するモジュールであり、サブモジュールとして、検索結果画像特定モジュールＳＭ３４、検索結果画像特徴量算出モジュールＳＭ３５、広告特徴量取得モジュールＳＭ３６、適合度算出モジュールＳＭ３７をさらに備えている。
【００４８】
検索結果画像特定モジュールＳＭ３４は、画像検索プログラムＳＰ２によって検索結果として出力される１または複数の画像データを特定するモジュールである。なお、検索結果画像特定モジュールＳＭ３４は、請求項の検索結果画像特定手段の一例である。
【００４９】
検索結果画像特徴量算出モジュールＳＭ３５は、検索結果画像特定モジュールＳＭ３４により特定された画像データの特徴量を用いて広告データとマッチングさせる際の特徴量を算出するモジュールである。なお、検索結果画像特徴量算出モジュールＳＭ３５は、請求項の特徴量算出手段の一例である。
【００５０】
広告データ特徴量取得モジュールＳＭ３６は、広告データベース１３Ｂに格納された広告データの複数の特徴量を取得するモジュールである。
【００５１】
適合度算出モジュールＳＭ３７は、検索結果画像特徴量算出モジュールＳＭ３４により算出された特徴量と、広告データ特徴量取得モジュールＳＭ３５によって取得した広告データの特徴量とを用いて検索画像データと広告データとの適合度を算出して表示させる広告を決定するモジュールである。なお、適合度算出モジュールＳＭ３７は、請求項の表示広告決定手段の一例である。
【００５２】
表示位置制御モジュールＳＭ３３は、画像検索プログラムＳＰ２によって検索された画像検索結果に対して、適合度算出モジュールＳＭ３７によって決定された広告の表示位置を制御して決定するモジュールである。なお、表示位置制御モジュールＳＭ３３は、請求項の広告表示制御手段の一例である。
【００５３】
（クライアント端末２の構成）
図８は、図１に示すクライアント端末２の内部構成を機能ブロック図にて模式的に示す説明図である。
【００５４】
クライアント端末２は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１、メモリー２２、記憶装置２３、および入出力インターフェース２４を備えている。
【００５５】
ＣＰＵ２１は、メモリー２１に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。
【００５６】
メモリー２１は、ＣＰＵ２１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー２１としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。
【００５７】
記憶装置２３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、ユーザが検索条件として設定する画像データが記憶されている。
【００５８】
入出力インターフェース２４は、外部装置、たとえば、サーバー１との間で、周知の通信プロトコルに従って検索要求の送信、検索結果の受信を実行する機能を有する。また、図示しないが、入出力インターフェース２４は、サーバー１に対してユーザが画像検索指示を入力するための操作部としての機能を有し、たとえば、ボタン、ホイールによって実現され得る。また、入出力インターフェース２４には、表示部としての機能を有し、ユーザに対して検索した画像データおよび広告データに基づく画像の表示、ユーザに対する各種情報の表示を行う。
【００５９】
図９は、図１に示すクライアント端末２が備えるメモリー２２に格納されている各種プログラム、モジュールを示す説明図である。
【００６０】
メモリー２１は、画像検索要求プログラムＣＰ１と、ＷｅｂブラウザプログラムＣＰ２とを備える。
【００６１】
画像検索要求プログラムＣＰ１は、サーバー１に対して画像検索処理を要求するためのプログラムであり、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３を備えている。
【００６２】
画像データ特定モジュールＣＭ１１は、検索対象となる画像データを特定するモジュールである。
【００６３】
検索要求モジュールＣＭ１２は、画像データ特定モジュールＣＭ１１により特定された画像データと検索要求をサーバー１に対して送信するモジュールである。
【００６４】
検索結果取得モジュールＣＭ１３は、サーバー１から検索結果として一または複数の画像データと広告データを取得するモジュールである。
【００６５】
ＷｅｂブラウザプログラムＣＰ２は、検索結果取得モジュールＣＭ１３が取得したデータを用いて表示部に検索結果を表示させるプログラムである。
【００６６】
（画像検索処理）
図１０は、図１に示すクライアント端末２およびサーバー１間において実行される画像検索処理を示すフローチャートである。
【００６７】
クライアント端末２のＣＰＵ２１は、ユーザによって特定された画像（検索画像）が選択されると（ＳＴＡＲＴ）、その検索画像に対応する検索画像データを特定する（ステップＳ１０）。検索画像データは、たとえば、記憶装置１３に格納されている画像データＤであり、ユーザによって不図示の操作部を介して選択される。
【００６８】
ＣＰＵ２１は、検索処理要求（検索クエリー）として、検索画像データをサーバー１に送信する（ステップＳ１１）。具体的には、入出力インターフェース２４、ネットワーク３を介してサーバー１に送信される。
【００６９】
サーバー１のＣＰＵ１１は、ステップＳ１１の検索画像データに基づく画像検索処理要求をクライアント端末２から受信すると、画像データ取得モジュールＳＭ２１を実行して、検索画像データを取得する（ステップＳ１２）。具体的には、入出力インターフェース１４を介して検索画像データがサーバー１内に取り込まれ、メモリー１２に格納される。
【００７０】
ＣＰＵ１１は、ステップＳ１２で検索画像データを取得すると、検索画像特徴量取得モジュールＳＭ２３を実行して、検索画像データの複数の特徴量を取得する（ステップＳ１３）。
【００７１】
ＣＰＵ１１は、ステップＳ１３が完了すると、類似度算出モジュールＳＭ２４を実行して、画像データベース１３Ａから検索画像データに類似・一致する複数のクラスタを検索し、類似・一致するクラスタが検索されると、検索によって得られたクラスタに属する複数の画像データから、検索画像データに一致または類似する画像データを検索する（ステップＳ１４）。
【００７２】
具体的には、取得した検索画像データの各特徴量の値と、各クラスタに対応付けられている属性（各特徴量の代表値）とを用いて類似度が算出される。類似度は、たとえば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された、検索画像データの特徴量と、各クラスタに対応付けられている代表値との間の距離、すなわち、検索画像データの特徴量と各クラスタの代表値によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。そして、類似していると判断されたクラスタに属する各画像データの各特徴量と検索画像データの各特徴量とを用いて、上述の類似度を再度算出することによって行われる。
【００７３】
なお、複数の画像データの選択方法としては、閾値としての距離を予め決めておいて、その閾値に含まれる画像データを選択する、あるいは、選択画像データ数を予め設定しておき、類似である画像データの上位から順番に選択画像データ数までを選択するようにしてもよい。なお、これら類似度を算出するための各距離の算出手法および内積の演算式は当業者にとって周知であるから説明を省略する。
【００７４】
ＣＰＵ１１は、ステップＳ１４で類似・一致する画像データの検索が完了すると、広告マッチングプログラムＳＰ３を実行して、広告マッチング処理および、表示制御処理を実行する（ステップＳ１５）。なお、広告マッチング処理、表示制御処理の詳細は後述する。
【００７５】
ＣＰＵ１１は、ステップＳ１４およびステップＳ１５において検索した複数の画像データおよび広告データを、検索要求の送信元であるクライアント端末２に対して送信する（ステップＳ１６）。
【００７６】
クライアント端末２のＣＰＵ２１は、ステップＳ１６の送信によって複数の画像データおよび広告データを受信すると、検索結果取得モジュールＣＭ１３を実行して、メモリー２１に格納する（ステップＳ１７）。
【００７７】
ＣＰＵ２１は、ステップＳ１７を完了すると、ＷｅｂブラウザプログラムＣＰ２を実行して、メモリー２１に格納されている画像データを表示部に表示させて（ステップＳ１８）、画像検索処理を終了する（ＥＮＤ）。
【００７８】
（広告マッチング処理および表示位置制御処理）
図１１は、図１０のステップＳ１６に示す広告マッチング処理および表示位置制御処理の詳細を示すフローチャートである。
【００７９】
ＣＰＵ１１は、図１０のステップＳ１４が完了すると、特徴量取得モジュールＳＭ１２を実行して、検索画像データと類似する画像データとして選択された検索結果画像データの複数の特徴量をそれぞれ取得する（ステップＳ２１）。
【００８０】
本実施の形態において用いられる特徴量は、たとえば、画像データの輝度または画像データの一部の領域における輝度のヒストグラム、テクスチャー、オブジェクトの有無、オブジェクトの大きさ、色相などであり、複数の特徴量が用いられる。輝度のヒストグラムからは、平均輝度値、最高輝度値、最小輝度値が取得され、色相としては、画像データにおけるＲ、Ｇ、Ｂ各成分の平均値、または、画像データを構成する全画素数に占める所定値以上のＲ、Ｇ、Ｂ成分画素数の割合が取得される。輝度のヒストグラム、色相、テクスチャーを特徴量として取得する方法は当業者にとって周知の方法であるから説明を省略する。また、オブジェクトの有無、すなわちオブジェクト検出、およびオブジェクトの大きさの検出は、たとえば、モデル形状を用いたパターンマッチング法、オブジェクト特有の色の色相領域を特定する方法、オブジェクトの特徴を検出する方法がそれぞれ単独または組み合わせて用いられ得る。
【００８１】
ＣＰＵ１１は、検索結果として出力される全ての画像データから特徴量を取得するまで（ステップＳ２２：Ｎｏ）、ステップＳ２１を繰り返し実行する。ＣＰＵ１１は、全ての画像データに対する特徴量の取得が終了すると（ステップＳ２２：Ｙｅｓ）、各画像データの各特徴量の平均値を求める（ステップＳ２３）。
【００８２】
ＣＰＵ１１は、検索結果として出力される全ての画像データから各特徴量の平均値を求めるまで（ステップＳ２４：Ｎｏ）、ステップＳ２３を繰り返し実行する。ＣＰＵ１１は、検索結果として出力される全ての画像データから各特徴量の平均値の算出が終了すると（ステップＳ２４：Ｙｅｓ）、画像データの平均値と広告データの特徴量とのマッチング処理を行う（ステップＳ２５）。なお、マッチングして選択する広告データの数は、類似画像の検索結果画面の表示態様に応じて適合度の高い順番で決定すればよい。
【００８３】
ステップＳ２５のマッチング処理は、上述した画像検索処理の一部と同様に行うことができる。具体的には、取得した検索結果画像データから算出された各特徴量の平均値と、広告データの各特徴量の値とを用いてマッチング処理を行う。マッチング処理は、たとえば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された、検索画像データの各特徴量の平均値と、広告データの各特徴量の値との間の距離、すなわち、検索画像データの特徴量と広告データの各特徴量の値によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど表示広告として適合していると判断される。あるいは、検索画像データの各特徴量の平均値および広告データの各特徴量の値をウェーブレット変換などにより周波数分解して抽出された多元ベクトルとし、これらの多元ベクトルの内積を求めて判断するようにしてもよい。この場合には、内積の値が１に近いほど検索結果画像データに対する表示広告として適合していると判断することができる。なお、これら適合度を算出するための各距離の算出手法および内積の演算式は当業者にとって周知であるから説明を省略する。
【００８４】
ＣＰＵ１１は、ステップＳ２５において検索結果画像に適合した広告データを決定すると、検索結果画像の表示位置に応じて、広告データの表示位置の制御を行って表示位置を決定する（ステップＳ２６）。なお、表示位置制御がなされた表示例については後述する。ＣＰＵ１１は、図１１のステップＳ２６が完了すると、図１０のステップＳ１６の処理へ移行する。
【００８５】
図１２は、図１１に示すマッチング処理を概念的に示す説明図である。図１２に示す例では、検索画像データとしてりんごの画像データが設定されている。そして、上述した図１０および図１１画像検索処理に基づいて複数の類似画像データが抽出されると、これらの特徴量をウェーブレット変換などにより周波数分解を行い、ベクトル空間上にそれぞれの特徴量を表す。なお、図１２に示す例では２つの特徴量（仮に特徴量Ａおよび特徴量Ｂとする）で模式的に示しているが、正確には２次元以上で行われる。そして、これらのすべての特徴ベクトルの平均値を求め、広告データベース１３Ｂから適合する広告データを検索する。その結果、広告表示領域に適合した広告データが選択されて表示される。
【００８６】
図１３〜図１５は、図１０に示す処理によって表示される広告表示の一例を示す図である。図１３に示すように、特定の広告表示領域１００には、３つの広告（広告Ｃ１、広告Ｃ２、広告Ｃ３）が表示されている。これは、検索結果画像データの平均特徴量から適合度の高いと判断された複数の広告が、適合度の高い順番で上から順番に所定数（図１３の場合は３つ）表示させるという表示制御を行っている。
【００８７】
また、図１４に示すような表示制御を行うようにしてもよい。たとえば、検索結果画像データが表示されている各行において、同数の類似する画像データが表示されているような場合がある。図１４において領域Ａと領域Ｂには、りんごの画像といちごの画像が同数表示されている。このような場合、左側に表示されている画像の方が右側に表示されている画像よりは検索画像との類似度が高いので、左側に表示されている画像データの特徴量と適合する広告を、同様の高さに表示させる。これにより、検索画像データと類似度が高い画像に対応した広告が同様の高さに表示されることになるので、検索を行ったユーザの嗜好に合致した広告が表示される可能性がより高くなる。
【００８８】
また、図１５に示すような表示制御を行うようにしてもよい。すなわち、表示広告と関連性がある検索結果画像データを点線（図１５では点線ａ、点線ｂ、点線ｃ）で囲み、それらに関係する広告が特定の広告表示領域１００に表示されていることを強調するようにしてもよい。その場合、検索結果画像データを囲んでいる各点線の色とその点線で囲まれた検索結果画像に関連する各広告表示の文字の色を同じ色とするようにしてもよい。また、図示しないが、広告表示が画像で表示される場合にはその画像を同じ色の線で画像自体を囲むようにしてもよい。
【００８９】
以上、図１３〜図１５に示したような広告の表示位置制御方法は、検索結果画像を表示させる際にJava（登録商標）scriptなどにより表示位置または表示態様を変更させたＷｅｂページを作成することで実現可能である。なお、図１３〜図１５に示した広告はテキスト情報のみであったが、広告する商品、または役務を示す画像が表示されるものであってもよい。
【００９０】
（第１実施形態の効果）
以上のように、第１実施形態におけるサーバー１のＣＰＵ１１は、画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定し、特定された複数の検索結果画像データの特徴量を算出し、広告データベース１３Ｂを参照して、算出された特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定し、複数の検索結果画像データの表示態様に応じて、広告の表示位置を決定している。
【００９１】
そのため、検索結果として抽出された複数の画像データの特徴量に対応した広告を選択し、かつ検索結果画像の表示態様を考慮した位置にその広告を表示させることができる。また、広告には複数の特徴量が関連付けられているため、それらのうちの一つの特徴量が検索結果画像データの特徴量と共通する場合には、表示させる広告として選択される可能性があり、広告主に対して新たな広告表示機会を提供することができる。
【００９２】
特に、サーバー１の広告データベース１３Ｂには、特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が広告情報毎に関連付けられている。そして、サーバー１の検索結果画像特徴量算出モジュールＳＭ３５が、複数の検索結果画像データの特徴量から平均特徴量を算出し、広告検索モジュールＳＭ３２が、平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている広告情報を、複数の検索結果画像データと共に表示させる広告として決定している。
【００９３】
そのため、複数の検索結果画像データから得られる特徴量を平均化させ、その平均化させた特徴量が含まれる特徴ベクトル空間を示す領域情報に関連付けられている広告を表示させることができるので、検索結果として表示する複数の画像データに適合した広告を表示させることが可能となる。
【００９４】
〔第２実施形態〕
上述した第１実施形態では、検索結果として抽出された画像データの特徴量を平均化させて広告マッチング処理を行ったが、第２実施形態では、画像データの特徴量としてメタデータを集計し、最も多いメタデータと一致する広告を選択する。なお、ここでいうメタデータとは、たとえばＥＸＩＦ（Exchangeable Image File Format）形式の画像データの場合に画像データに含まれているタグ情報などである。第２実施形態の各装置の構成は、第１実施形態の各装置の構成と同様であるため図示は省略するが、画像データと画像データに含まれているメタデータとの関連付けが画像データベースにおいてなされていると共に、広告データとその広告に掲載する商品、役務に関連するキーワード情報（商品の色、形を表す文字情報など）との関連付けが広告データベースにおいて少なくともなされている。すなわち、第２実施形態における画像データベースには、画像データの特徴量として、画像データのメタデータが画像データ毎に１または複数関連付けられており、広告データベースには、広告の特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に１または複数関連付けられている。
【００９５】
図１６は、本発明の第２実施形態における広告マッチング処理を示すフローチャートである。図１６に示す広告マッチング処理は、第１実施形態の広告マッチング処理（図１１）と同様であるが、次の点で異なる。
【００９６】
すなわち、図１１のステップＳ２１に相当する処理では、第２実施形態における検索結果画像特徴量算出モジュールが、画像データの特徴量としてメタデータを取得し（ステップＳ３１）、図１１のステップＳ２２に相当する処理では全画像データからメタデータの取得が完了したか否かを判定し（ステップＳ３２）、図１１のステップＳ２３およびステップＳ２４に相当する処理では取得したメタデータから最も多く集計されたメタデータを特定している（ステップＳ３３）。
【００９７】
そして、図１１のステップＳ２５に相当する処理では、第２実施形態における広告検索モジュールが、ステップＳ３３で最も多く集計されたメタデータと一致するキーワード情報と関連付けられている広告データを特定し（ステップＳ３４）、図１１のステップＳ２６に相当する表示位置の制御処理を行う（ステップＳ３５）。
【００９８】
図１７は、本発明の第２実施形態における画像検索における広告表示を概念的に説明した図である。図１７に示す例では、検索画像データとしてりんごの画像データが設定されている。そして、上述した画像検索処理に基づいて複数の類似画像データが抽出されると、これらの各画像に関連付けられているタグ情報を集計し、最も多く集計されたタグ情報をキーワード情報として設定して、広告データベースを参照して、適合する広告を表示させている。図１７に示す例ではＴシャツというタグが最も多かったため、Ｔシャツに関連する広告データが選択されて表示される。
【００９９】
このように、第２実施形態の検索結果画像特徴量算出モジュールは、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、第２実施形態における広告検索モジュールは、検索結果画像特徴量算出モジュールにより最も多く集計されたメタデータと一致するキーワード情報が関連付けられている広告情報を複数の検索結果画像データと共に表示させる広告として決定するようにしているため、複数の検索結果画像データに最も多く現れるキーワードに対応する広告を表示させることが可能となる。
【０１００】
〔第３実施形態〕
上述した第２実施形態では、画像データのメタデータを集計し、最も多いメタデータと一致する広告を選択する処理を行ったが、第３実施形態では、メタデータの集計数に応じて広告マッチング処理を行う。なお、第３実施形態の各装置の構成は、第１実施形態および第２実施形態の各装置の構成と同様であり、第３実施形態における画像データベースおよび広告データベースのデータの持ち方は、第２実施形態における画像データベースおよび広告データベースと同様であるため、図示は省略する。
【０１０１】
図１８は、本発明の第３実施形態における広告マッチング処理を示すフローチャートである。図１７に示す処理は、第２実施形態に示す広告マッチング処理（図１６）と同様であるが、次の点で異なる。
【０１０２】
すなわち、図１６のステップＳ３２に相当する処理では、第３実施形態における検索結果画像特徴量算出モジュールが、取得したメタデータの集計数に応じてメタデータを選択している（ステップＳ４３）。そして、図１６のステップＳ３４に相当する処理では、第３実施形態における広告検索モジュールが、ステップＳ４３で選択したメタデータと一致するキーワード情報と関連付けられている広告情報を特定している（ステップＳ４４）。
【０１０３】
このように、第３実施形態における検索結果画像特徴量算出モジュールが、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、広告検索モジュールが、第３実施形態における検索結果画像特徴量算出モジュールによる各メタデータの集計数に応じたキーワード情報と関連付けられている広告情報を選択し、複数の検索結果画像データと共に表示させる広告として決定するようにしている。
【０１０４】
なお、「各メタデータの集計数に応じた」とは、たとえば、集計数の上位２つのキーワード情報を選択するものであったり、２以上の集計値であるキーワード情報はすべて選択するなどの、集計数に応じた自由な設定が可能であることを意図している。そのため、複数の検索結果画像データから得られるキーワードの頻出数に応じた広告を表示させることが可能となる。
【０１０５】
〔第４実施形態〕
上述した第１〜第３実施形態における画像検索処理要求は画像データを検索条件として指定することを前提としていたが、第４実施形態では、ユーザが指定したキーワード情報および検索画像データの２つの組み合わせにより類似画像検索処理を行う。なお、第４実施形態における各装置の構成、画像データベースおよび広告データベース内のデータの持ち方は、第３実施形態と同様であるため図示は省略する。
【０１０６】
図１９は、本発明の第４実施形態における画像検索処理を示すフローチャートである。図１８に示す処理は、第１実施形態に示す画像検索処理（図９）と同様であるが、次の点で異なる。
【０１０７】
すなわち、図１０のステップＳ１０に相当する処理において、ユーザによって特定された検索画像に対応する検索画像データと検索キーワード情報が特定され（ステップＳ５０）、ステップＳ１１に相当する処理において索処理要求（検索クエリー）として、検索画像データと検索キーワード情報がサーバー１に送信される（ステップＳ５１）。
【０１０８】
サーバー１のＣＰＵ１１は、図１０のステップＳ１２に相当する処理において、ステップＳ５１の検索画像データおよび検索キーワード情報に基づく画像検索処理要求をクライアント端末２から受信すると、第４実施形態における画像データ取得モジュールを実行して、検索画像データおよび検索キーワード情報を取得する（ステップＳ５２）。具体的には、入出力インターフェース１４を介して検索画像データおよび検索キーワード情報がサーバー１内に取り込まれ、メモリー１２に格納される。
【０１０９】
ＣＰＵ１１は、図１０のステップＳ１３に相当する処理において、ステップＳ５２で検索画像データおよび検索キーワード情報を取得すると、第４実施形態における検索画像特徴量取得モジュールを実行して、検索画像データの複数の特徴量を取得する（ステップＳ５３）。
【０１１０】
ＣＰＵ１１は、図１０のステップＳ１４に相当する処理において、ステップＳ５３が完了すると、第４実施形態における類似度算出モジュールを実行して、画像データベース１３Ａから検索画像データおよび検索キーワード情報の組み合わせに類似・一致する複数のクラスタと、検索によって得られたクラスタに属する複数の画像データから検索画像データおよび検索キーワードに一致または類似する画像データを検索する（ステップＳ５４）。なお、類似または一致の判断は、検索画像データの各特徴量と各クラスタに属する各画像データの各特徴量との類似度に加えて、キーワードの一致、不一致について判断される。なお、キーワードは、類似度の補助的な役割であり、基本的に、類似度の数値が高いほど類似・一致していると判断し、仮に同一の類似度である複数の画像データが抽出された場合に、キーワードの有無などで類似度の順位を決定する。
【０１１１】
ＣＰＵ１１は、図１０のステップＳ１６に相当するステップにおいて、ステップＳ５５で画像データの検索が完了すると、第４実施形態における広告マッチングプログラムを実行して、広告マッチング処理、表示位置制御処理を行う（ステップＳ５５）。なお、図１０のステップＳ１６〜Ｓ１８に相当する処理としてステップＳ５６〜Ｓ５８の処理が行われるが、同様であるため、説明を省略する。
【０１１２】
図２０は、図１９に示すステップＳ５６に示す広告マッチング処理の詳細を示すフローチャートである。図１９に示す処理は、第３実施形態に示す広告マッチング処理（図１７）と同様であるが、次の点で異なる。
【０１１３】
すなわち、図１７のステップＳ４２に相当する処理では、第４実施形態における検索結果画像特徴量算出モジュールが、取得したメタデータの集計数と、検索キーワード情報に所定の重み付けをした値とをすべて比較してキーワードを選択している（ステップＳ６２）。そして、図１７のステップＳ４３に相当する処理では、第４実施形態における広告検索モジュールが、ステップＳ６２で選択したキーワードと一致するキーワード情報と関連付けられている広告情報を特定している（ステップＳ６３）。
【０１１４】
図２１は、図２０に示すマッチング処理を概念的に示した図である。図２１に示す例では、検索画像データとして水槽の画像データと、検索キーワードとして、「水槽」が設定されている。そして、上述した画像検索処理に基づいて複数の類似画像データが抽出されると、これらの各画像に関連付けられているタグ情報が集計される。図２１に示す例では、タグ情報として、「水槽」が２件、「水草」が３件、「フナ」が１件抽出された。ここで、ユーザの関心があるキーワードとして、「水槽」が選択されているにもかかわらず、検索画像として設定されている画像データに水草が大きく表示されていたため、検索結果画像から抽出されたタグ情報として「水草」が多くカウントされる結果となった。しかしながら、本実施形態では、検索キーワードとして設定された「水槽」については所定の重み付けとして、１．５が加算されるため、最終的に最も多く集計されたタグ情報として「水槽」が選択される。その結果、ユーザの関心があるキーワードから導き出される広告が表示させることができる。すなわち、検索画像データの特徴量によっては、ユーザの関心があるキーワードとは別の観点によるキーワードが広告データを決定する際に選択されるという問題があるが、そのような場合であってもユーザの関心があるキーワードについては他のキーワードより優先して選択されるように、所定の重み付けを加算することで、このような問題を解消している。
【０１１５】
（請求項５に対応する実施形態の効果）
このように、第４実施形態における検索結果画像特定モジュールが、ユーザの検索キーワード情報および画像データの組み合わせによる類似画像検索処理要求に応じて検索結果として出力される複数の検索結果画像データを特定し、第４実施形態における検索結果画像特徴量算出モジュールが、検索キーワード情報に対して所定の重み付けを行うと共に、検索結果画像データに関連付けられているメタデータを集計し、第４実施形態における広告検索モジュールが、第４実施形態における検索結果画像特徴量算出モジュールによる各メタデータの集計数および検索キーワード情報に対して所定の重み付けがなされた後の値をすべて比較して、広告情報を選択する際のキーワード情報を決定し、その決定されたキーワード情報が関連付けられている広告情報を第４実施形態における広告データベースから選択し、複数の検索結果画像データと共に表示させる広告として決定するようにしているため、検索条件としてユーザにより設定された検索キーワードについて、検索結果画像から得られたキーワードより重みを持たせることで、ユーザの興味がある商品または役務の広告がより表示されやすくなるという効果がある。
【０１１６】
〔他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。たとえば、第２実施形態および第４実施形態では最多のタグ情報と一致するキーワード情報に関連付けられている広告データが選択されて表示させたが、最多のタグ情報だけでなく、上位３件、５件、１０件など所定の順位まで表示させるようにしてもよい。
【０１１７】
また、広告データベース１３Ｂに含まれる広告データを、広告データベース１３Ｂに構築されるクラスタ毎に予めマッピングしておき（どのクラスタにマッピングされているのかがわかる情報を関連付けさせておき）、検索画像データの画像検索処理時に、類似・一致するクラスタが抽出された際に、そのクラスタにマッピングされた広告データを表示広告として決定するようにしてもよい。これにより画像検索処理と一体化して広告マッチング処理を行うことが可能となるため、より効率的な広告表示を行うことが可能となる。
【０１１８】
また、上記各実施形態では、検索処理要求（検索クエリー）として画像データが入力されることを前提としていたが、キーワードによる検索処理要求の検索結果画像データに対する広告表示制御としても適用可能である。
【０１１９】
また、本発明は、上述した各実施形態及び他の実施形態の中で開示した各機能を相互に置換した構成、組み合わせを変更した構成なども含まれるものである。
【符号の説明】
【０１２０】
１…サーバー（広告表示制御装置の一例）
１１…ＣＰＵ
１２…メモリー
１３…記憶装置
１３Ａ…画像データベース
１３Ｂ…広告データベース
１４…入出力インターフェース
２…クライアント端末
２１…ＣＰＵ
２２…メモリー
２３…記憶装置
２４…入出力インターフェース
ＣＰ１…画像検索要求プログラム
ＣＰ２…Ｗｅｂブラウザプログラム
ＣＭ１１…画像データ特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
ＳＰ２…画像検索プログラム
ＳＭ２１…検索画像データ取得モジュール
ＳＭ２２…画像検索モジュール
ＳＭ２３…検索画像特徴量取得モジュール
ＳＭ２４…類似度算出モジュール
ＳＰ３…広告マッチングプログラム（プログラムの一例）
ＳＭ３１…広告取得モジュール
ＳＭ３２…広告検索モジュール
ＳＭ３３…表示位置制御モジュール（広告表示制御手段の一例）
ＳＭ３４…検索結果画像特定モジュール（検索結果画像特定手段の一例）
ＳＭ３５…検索結果画像特徴量算出モジュール（特徴量算出手段の一例）
ＳＭ３６…広告特徴量取得モジュール
ＳＭ３７…適合度算出モジュール（表示広告決定手段の一例）
【技術分野】
【０００１】
本発明は広告表示制御装置、広告表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
個人、または共通の嗜好を持つ複数の者が所持している複数の画像データを検索クエリとして設定し、類似画像データの検索を行う際に、検索結果として抽出された複数の画像データの共通要素を抽出して、その共通要素に対応した広告を広告データベース内から選択して表示させる広告表示方法が知られている（たとえば、特許文献１）。
【０００３】
特許文献１に示される広告表示方法によれば、単体の画像データからでは得ることができない、複数の画像データの共通要素を抽出し、その抽出した共通要素を個人、または複数の者の間で共通している嗜好と類推して効果的な広告の表示を実現させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０６４０４号公報（要約、段落０００３など）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示される広告表示方法は、個人または共通の嗜好を持つ複数の者で所有している画像データを検索対象とし、表示広告とその広告の特徴との対応付けは１対１の関係となるように設定されている。ところで、インターネットなどで類似する画像データを検索する際には、不特定多数の者が所持している画像データが検索対象に含まれる。そのため、様々な嗜好が含まれる画像データを対象として画像検索をした場合、検索結果の画像データに表れる共通要素が必ずしも検索者の嗜好と一致するとは限らない。そのため、特許文献１に開示される広告表示方法によって、インターネットなどで類似する画像データを検索する場合には、検索者の嗜好が反映された広告が表示されるとは限らず、効果的な広告の表示を実現させることができるかは不明である。
【０００６】
また、特許文献１に開示される広告表示方法では、広告とその広告の特徴との対応付けは１対１の関係となるように設定されているので、広告に対応付けされている１つの特徴が複数の画像データ間の共通要素として一致した場合以外に広告が表示される機会はない。つまり、上述のように検索結果画像に共通する要素が検索者の嗜好と一致しているか不明であるにもかかわらず、広告の表示機会は非常に限定されることになる。
【０００７】
さらに、特許文献１に開示される広告表示方法によると、画像検索結果の表示領域に余裕がある場合に共通要素の値が大きいほど表示する広告を大きくするようにしているが、検索結果として表示される画像データと同一画面内に表示される広告とのそれぞれの位置関係によっては、必ずしも効果的な広告表示とならない場合がある。
【０００８】
本発明は、上述した課題の少なくとも１つを鑑みてなされたものであり、画像検索結果として抽出された複数の画像データに基づいて効果的に広告を表示させる広告表示制御装置、広告表示制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面としての広告表示制御装置は、画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、検索結果画像特定手段により特定された複数の検索結果画像データの特徴量を算出する特徴量算出手段と、広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、複数の検索結果画像データの表示態様に応じて、表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、表示広告決定手段により決定された広告を、表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段とを備えるものである。
【００１０】
広告表示制御装置を上述の構成とすることで、検索結果として抽出された複数の画像データの特徴量に対応した広告を選択し、かつ検索結果画像の表示態様を考慮した位置にその広告を表示させることができる。また、広告には複数の特徴量が関連付けられているため、それらのうちの一つの特徴量が検索結果画像データの特徴量と共通する場合には、表示させる広告として選択される可能性があり、広告主に対して新たな広告表示機会を提供することができる。
【００１１】
また、広告データベースには、特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データの特徴量から平均特徴量を算出し、表示広告決定手段は、広告データベースを参照して、平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１２】
広告表示制御装置を上述の構成とすることで、検索結果画像データから得られる複数の特徴量を平均化させた値が含まれる特徴ベクトル空間に関連付けられている広告が選択されるため、視覚的に共通する要素を有する商品または役務の広告を表示させることが可能となる。これにより、たとえば、検索結果画像データのカラーヒストグラム、テクスチャー、形状、エッジ特徴などの視覚的な特徴が共通する商品または役務が写っている画像データによる広告が検索画像結果と共に表示された場合、ユーザ自身がその視覚的な特徴を特に意識していなくても、表示広告に対して自然と視線が誘導されやすくなり、より効果的な広告表示を実現させることができる。
【００１３】
また、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、表示広告決定手段は、広告データベースを参照して、特徴量算出手段により最も多く集計されたメタデータと一致するキーワード情報に関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１４】
広告表示制御装置を上述の構成とすることで、複数の検索結果画像データから得られたメタデータを集計して、最も出現回数の多いメタデータと一致するキーワードに関連付けられた広告が表示されるので、複数の検索結果画像データに最も関連すると推測されるキーワードと共通する商品または役務の広告を表示させることが可能となる。
【００１５】
また、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、特徴量算出手段は、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、表示広告決定手段は、特徴量算出手段による各メタデータの集計数に応じて、各メタデータと一致するキーワード情報を選択し、広告データベースを参照して、その選択されたキーワード情報と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１６】
広告表示制御装置を上述の構成とすることで、複数の検索結果画像データから得られるメタデータを集計して、メタデータの集計数に応じたキーワードに関連付けられた広告を表示させるので、メタデータの集計数に応じたキーワードが適宜選択されて、その選択されたキーワードと関係があると推測される商品または役務の広告を表示させることが可能となる。
【００１７】
また、前記画像データの検索処理要求は、ユーザが指定したキーワード情報および検索画像データの組み合わせによる類似画像検索処理要求であり、広告データベースには、特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に関連付けられており、検索結果画像特定手段は、類似画像検索処理要求に応じた検索結果として出力される複数の検索結果画像データを特定し、特徴量算出手段は、検索結果画像データに関連付けられているキーワード情報をすべて抽出して集計すると共に、ユーザが指定したキーワード情報に対しては、所定の重み付けをした数値を加算し、表示広告決定手段は、特徴量算出手段による各メタデータの集計値およびユーザが指定したキーワード情報の所定の重み付けがなされた数値が加算されたもののうちで最大のものを、広告を選択する際のキーワード情報として決定し、広告データベースを参照して、その決定されたキーワード情報が関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定することが好ましい。
【００１８】
広告表示制御装置を上述の構成とすることで、検索条件としてユーザにより設定された検索キーワードについても所定の重み付けがなされ、表示広告を選択する際の判断材料として用いられるため、ユーザの興味がある商品または役務の広告がより選択されて表示されやすくなるという効果がある。
【００１９】
また、本発明は、広告表示制御装置のみならず、広告表示制御装置を構成する各手段が実行する各工程を有する広告表示制御方法においても実現することができる。さらに、広告表示制御装置を構成する各手段に相当する機能をコンピューターに実行させるプログラムにおいても本発明を実現することができる。そのため、本発明の一側面である広告表示制御方法、プログラムについても、上述した広告表示制御装置と同様の効果を奏することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係るサーバーとクライアント端末の概略構成を示す説明図である。
【図２】図１に示すサーバーの内部構成の機能を機能ブロック図にて模式的に示す説明図である。
【図３】図２に示す画像データベースに記憶されている情報の一例を示す図である。
【図４】図２に示す画像データベース内に生成されるクラスタの概念を説明する図である。
【図５】図２に示す広告データベースに記憶されている情報の一例を示す図である。
【図６】図１に示すサーバーが備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。
【図７】図６に示す広告検索モジュールの詳細を示す説明図である。
【図８】図１に示すクライアント端末の内部構成を機能ブロック図にて模式的に示す説明図である。
【図９】図１に示すクライアント端末が備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。
【図１０】図１に示すクライアント端末およびサーバー間において実行される画像検索処理を示すフローチャートである。
【図１１】図１０のステップＳ１６に示す広告マッチング処理および表示位置制御処理の詳細を示すフローチャートである。
【図１２】図１１に示すマッチング処理を概念的に示す説明図である。
【図１３】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１４】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１５】図１０に示す処理によって表示される広告表示の一例を示す図である。
【図１６】本発明の第２実施形態における広告マッチング処理を示すフローチャートである。
【図１７】図１６に示す広告マッチング処理を概念的に示した図である。
【図１８】本発明の第３実施形態における広告マッチング処理を示すフローチャートである。
【図１９】本発明の第４実施形態における画像検索処理を示すフローチャートである。
【図２０】図１９に示すステップＳ５６に示す広告マッチング処理の詳細を示すフローチャートである。
【図２１】図２０に示す広告マッチング処理を概念的に示した図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る広告表示制御装置、広告表示制御方法およびプログラムについて、図面を参照しつつ、各実施の形態に基づいて説明する。なお、本発明に係る広告表示制御方法については広告表示制御装置の動作を例として説明し、本発明に係るプログラムについては、広告表示制御装置にインストールされているプログラムを例として説明する。
【００２２】
〔第１実施形態〕
図１は、本発明の第１実施形態に係るサーバー１とクライアント端末２の概略構成を示す説明図である。サーバー１と、クライアント端末２とはネットワーク３を介して双方向通信可能に接続されている。ネットワーク３は、インターネット、イントラネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）などのいずれであってもよい。
【００２３】
サーバー１は、ネットワーク３を介して接続されたコンピューター上に存在する数多くの画像データを格納し、クライアント端末２からの検索要求に応じて類似の画像データの検索を実行すると共に、検索結果として抽出された画像データと、その画像データに適した広告データを選択して送信する、広告表示制御装置の一例である。なお、本実施の形態のサーバー１では、画像検索処理機能と広告マッチング処理機能すべてを有する装置としているが、画像検索処理機能については、別のコンピューターにより実現するようにしてもよい。
【００２４】
（サーバー１の構成）
図２は、図１に示すサーバー１の内部構成の機能を機能ブロック図にて模式的に示す説明図である。
【００２５】
図２に示すように、サーバー１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリー１２、記憶装置１３、および入出力インターフェース１４を備えている。
【００２６】
ＣＰＵ１１は、メモリー１２に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。
【００２７】
メモリー１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー１２としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。
【００２８】
記憶装置１３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、画像データベース１３Ａと広告データベース１３Ｂとが構築されている。
【００２９】
画像データベース１３Ａは、画像データの検索に要する時間を短縮させるために、画像インデックスがクラスタリングにより構築されており、複数の画像データ、所属クラスタ、各画像データの複数の特徴量が関連付けられて構成されている。ここで、画像データの複数の特徴量とは、たとえば、画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれるオブジェクト（商品、図形、動物、人物の顔など）のサイズ、位置といった複数種類の値から構成される。なお、これらの特徴量は、当業者にとって周知の方法で取得することが可能であるから説明を省略する。
【００３０】
図３は、図２に示す画像データベース１３Ａに記憶されている情報の一例を示す図である。図３に示すように、画像データ毎に所属する所属クラスタおよび、画像特徴量が記憶されている。なお、図示していないが、各クラスタには各画像データの画像特徴量の代表値（たとえば、各画像データの特徴量の平均値）が関連付けられており、画像検索の際に、まず代表値の単位で画像検索が行われ、その後に類似する代表値に属する各画像データとの比較が行われるようになっている。
【００３１】
図４は、図２に示す画像データベース１３Ａ内に生成されるクラスタの概念を説明する図である。図４に示す例では、正規化された画像特徴量に基づいて画像データに顔が含まれるか否かによって画像データが分類される。顔を含むクラスタについては、顔の大きさを示す正規化された特徴量が所定値以上（図４では顔サイズ大）であるか所定値未満（図４では顔サイズ小）であるかに基づいてさらに分類される。顔サイズ大のクラスタについては、顔が子供の顔であるか大人の顔であるか（図４では年齢）を、たとえば、顔の器官位置に関する特徴量に基づいてさらに分類される。顔サイズ小のクラスタについては、風景シーンであるか否かを、青または緑の色相を示す正規化された特徴量が所定値以上であるかに基づいてさらに分類される。そして、風景シーンのクラスタについては、色相が青を示すか否かに基づきさらに分類され、色相が青でないクラスタについては色相が緑を示すか否かに基づきさらに分類される。顔を含まないクラスタについては、風景であるか否かに基づいて分類され、風景シーンでないクラスタについては、彩度が所定値以上（彩度大）であるか所定値未満（彩度小）であるかに基づいてさらに分類される。なお、図４に示すクラスタの構成及び分類はあくまでも一例であり、これに限定されるものではなく、複数のクラスタを構成したり、図４とは異なる分類としてもよい。
【００３２】
クラスタリングは、画像データベース１３Ａに対して画像インデックスを作成する最初のタイミングにて、あるいは、画像データベース１３Ａに所定量の新規な画像データが追加されたタイミングにてサーバー１によって実行される。なお、クラスタリングの手法としては、上述したような階層型クラスタリング手法の他、Ｋ−平均法、自己組織化マップ（ＳＯＭ）などの非階層型クラスタリング手法なども知られているが、それらのいずれを採用してもよい。
【００３３】
広告データベース１３Ｂには、広告データ、広告データの複数の特徴量が関連付けられて構築されている。ここで、広告データの複数の特徴量とは上述した画像データベース１３Ａと同様に、たとえば、広告の商品、役務を示す画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれるオブジェクト（商品、図形、動物、人物の顔など）のサイズ、位置といった複数種類の値のほか、広告の商品、役務に関連するキーワード情報などから構成される。なお、広告データの複数の特徴量は、広告の表示条件になるため、必ずしも広告の商品、役務を示す画像データの特徴量から導き出されるものではなくてもよく、広告主が指定、設定した値、もしくはキーワードなどとしてもよい。
【００３４】
図５は、図２に示す広告データベース１３Ｂに記憶されている情報の一例を示す図である。図５に示すように、広告データ毎に、複数の特徴量として、ベクトル空間特徴量、キーワード１、キーワード２が関連付けられている。ベクトル空間特徴量は、たとえば、広告の商品、役務を示す画像データに含まれるオブジェクトを抽出して、オブジェクトの画像特徴量を導出したものである。たとえば、オブジェクト中の色や明るさの分布状態、輪郭線の方向、平均色や平均明度、色相や明度等のヒストグラムなどを数値で示したものであり、１つのオブジェクトに対して複数の数値の組合せ（ベクトル）で表現したものである。キーワード１は、たとえば、広告の商品、役務を示す画像データに含まれるオブジェクトの名称、または画像データに関連付けられているタグ情報として含まれている文字情報などが格納されている。キーワード２は、たとえば、広告の商品、役務を取り扱っている具体的な店名情報などが格納されている。なお、図５に示す例では、広告データは画像データのみ表示しているが、テキストデータ（文字情報）であっても構わない。
【００３５】
記憶装置１３は、複数の画像データおよび広告データのみを格納するデータ格納部として機能してもよい。この場合には、記憶装置１３に格納されている各画像データの特徴量、各広告データの特徴量はメモリー１２に格納される。
【００３６】
さらに、本実施の形態では、記憶装置１３が画像データ、広告データおよびそれらの特徴量を単に格納するデータベースを例として説明しているが、記憶装置１３に検索処理機能と、広告マッチング処理機能を備える制御部を備えさせて、外部からの検索処理要求に応じて検索結果の画像データと共に広告データを出力する独立型のデータベースシステムとしてもよい。この場合には、サーバー１の外部にデータベースシステムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメモリー１２に格納され、ＣＰＵ１１によって実行される。
【００３７】
入出力インターフェース１４は、外部装置、たとえば、クライアント端末２との間で、周知の通信プロトコルに従って検索要求の受信および検索結果の送信を実行する。なお、図示しないが、入出力インターフェース１４は、キーボードなどの操作部としての機能、ディスプレイなどの表示部としての機能を有するものであってもよい。
【００３８】
図６は、図１に示すサーバー１が備えるメモリー１２に格納されている各種プログラム、モジュールを示す説明図である。図６に示すように、メモリー１２には画像検索プログラムＳＰ２と、広告マッチングプログラムＳＰ３とが格納されている。
【００３９】
画像検索プログラムＳＰ２は、記憶装置１３から画像データを検索するプログラムであり、検索画像データ取得モジュールＳＭ２１、画像検索モジュールＳＭ２２を備えている。
【００４０】
検索画像データ取得モジュールＳＭ２１は、クライアント端末２からネットワーク３を介して送信されてきた、検索条件として設定されている検索画像データを取得するモジュールである。
【００４１】
画像検索モジュールＳＭ２２は、検索画像データ取得モジュールＳＭ２１により取得した検索画像データを用いて、画像データベース１３Ａから検索画像データに類似または一致する画像データを検索するモジュールである。
【００４２】
図７は、図６に示す広告検索モジュールＳＭ２２の詳細を示す説明図である。図７に示すように、画像検索モジュールＳＭ２２は、サブモジュールとして検索画像特徴量取得モジュールＳＭ２３、類似度算出モジュールＳＭ２４をさらに備えている。
【００４３】
検索画像特徴量取得モジュールＳＭ２３は、検索画像データ取得モジュールＳＭ２１により取得した検索画像データの特徴量を取得するモジュールである。
【００４４】
類似度算出モジュールＳＭ２４は、検索画像特徴量取得モジュールＳＭ２３が取得した検索画像データの特徴量と、画像データベース１３Ａに格納されている各クラスタの代表値および各クラスタに属する画像データの画像特徴量とを用いて検索画像データと検索対象となる画像データ（つまり、記憶装置１３に格納されている画像データ）との類似度を算出するモジュールである。
【００４５】
広告マッチングプログラムＳＰ３は、画像検索プログラムＳＰ２の画像検索結果に応じて表示させる広告データを決定するプログラムであり、広告取得モジュールＳＭ３１、広告検索モジュールＳＭ３２、表示位置制御モジュールＳＭ３３を備えている。
【００４６】
広告取得モジュールＳＭ３１は、広告主から取得した広告用のデータ（画像データ、テキストデータ）を取得するために実行されるモジュールである。なお、広告主から取得した広告用のデータは、ネットワーク３を介して接続される不図示のコンピューターから受信して取得するようにしてもよいし、外部記憶媒体をサーバー１に接続して取得するようにしてもよい。
【００４７】
広告検索モジュールＳＭ３２は、広告として表示させる広告データを検索して、決定するモジュールであり、サブモジュールとして、検索結果画像特定モジュールＳＭ３４、検索結果画像特徴量算出モジュールＳＭ３５、広告特徴量取得モジュールＳＭ３６、適合度算出モジュールＳＭ３７をさらに備えている。
【００４８】
検索結果画像特定モジュールＳＭ３４は、画像検索プログラムＳＰ２によって検索結果として出力される１または複数の画像データを特定するモジュールである。なお、検索結果画像特定モジュールＳＭ３４は、請求項の検索結果画像特定手段の一例である。
【００４９】
検索結果画像特徴量算出モジュールＳＭ３５は、検索結果画像特定モジュールＳＭ３４により特定された画像データの特徴量を用いて広告データとマッチングさせる際の特徴量を算出するモジュールである。なお、検索結果画像特徴量算出モジュールＳＭ３５は、請求項の特徴量算出手段の一例である。
【００５０】
広告データ特徴量取得モジュールＳＭ３６は、広告データベース１３Ｂに格納された広告データの複数の特徴量を取得するモジュールである。
【００５１】
適合度算出モジュールＳＭ３７は、検索結果画像特徴量算出モジュールＳＭ３４により算出された特徴量と、広告データ特徴量取得モジュールＳＭ３５によって取得した広告データの特徴量とを用いて検索画像データと広告データとの適合度を算出して表示させる広告を決定するモジュールである。なお、適合度算出モジュールＳＭ３７は、請求項の表示広告決定手段の一例である。
【００５２】
表示位置制御モジュールＳＭ３３は、画像検索プログラムＳＰ２によって検索された画像検索結果に対して、適合度算出モジュールＳＭ３７によって決定された広告の表示位置を制御して決定するモジュールである。なお、表示位置制御モジュールＳＭ３３は、請求項の広告表示制御手段の一例である。
【００５３】
（クライアント端末２の構成）
図８は、図１に示すクライアント端末２の内部構成を機能ブロック図にて模式的に示す説明図である。
【００５４】
クライアント端末２は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１、メモリー２２、記憶装置２３、および入出力インターフェース２４を備えている。
【００５５】
ＣＰＵ２１は、メモリー２１に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。
【００５６】
メモリー２１は、ＣＰＵ２１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー２１としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。
【００５７】
記憶装置２３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、ユーザが検索条件として設定する画像データが記憶されている。
【００５８】
入出力インターフェース２４は、外部装置、たとえば、サーバー１との間で、周知の通信プロトコルに従って検索要求の送信、検索結果の受信を実行する機能を有する。また、図示しないが、入出力インターフェース２４は、サーバー１に対してユーザが画像検索指示を入力するための操作部としての機能を有し、たとえば、ボタン、ホイールによって実現され得る。また、入出力インターフェース２４には、表示部としての機能を有し、ユーザに対して検索した画像データおよび広告データに基づく画像の表示、ユーザに対する各種情報の表示を行う。
【００５９】
図９は、図１に示すクライアント端末２が備えるメモリー２２に格納されている各種プログラム、モジュールを示す説明図である。
【００６０】
メモリー２１は、画像検索要求プログラムＣＰ１と、ＷｅｂブラウザプログラムＣＰ２とを備える。
【００６１】
画像検索要求プログラムＣＰ１は、サーバー１に対して画像検索処理を要求するためのプログラムであり、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３を備えている。
【００６２】
画像データ特定モジュールＣＭ１１は、検索対象となる画像データを特定するモジュールである。
【００６３】
検索要求モジュールＣＭ１２は、画像データ特定モジュールＣＭ１１により特定された画像データと検索要求をサーバー１に対して送信するモジュールである。
【００６４】
検索結果取得モジュールＣＭ１３は、サーバー１から検索結果として一または複数の画像データと広告データを取得するモジュールである。
【００６５】
ＷｅｂブラウザプログラムＣＰ２は、検索結果取得モジュールＣＭ１３が取得したデータを用いて表示部に検索結果を表示させるプログラムである。
【００６６】
（画像検索処理）
図１０は、図１に示すクライアント端末２およびサーバー１間において実行される画像検索処理を示すフローチャートである。
【００６７】
クライアント端末２のＣＰＵ２１は、ユーザによって特定された画像（検索画像）が選択されると（ＳＴＡＲＴ）、その検索画像に対応する検索画像データを特定する（ステップＳ１０）。検索画像データは、たとえば、記憶装置１３に格納されている画像データＤであり、ユーザによって不図示の操作部を介して選択される。
【００６８】
ＣＰＵ２１は、検索処理要求（検索クエリー）として、検索画像データをサーバー１に送信する（ステップＳ１１）。具体的には、入出力インターフェース２４、ネットワーク３を介してサーバー１に送信される。
【００６９】
サーバー１のＣＰＵ１１は、ステップＳ１１の検索画像データに基づく画像検索処理要求をクライアント端末２から受信すると、画像データ取得モジュールＳＭ２１を実行して、検索画像データを取得する（ステップＳ１２）。具体的には、入出力インターフェース１４を介して検索画像データがサーバー１内に取り込まれ、メモリー１２に格納される。
【００７０】
ＣＰＵ１１は、ステップＳ１２で検索画像データを取得すると、検索画像特徴量取得モジュールＳＭ２３を実行して、検索画像データの複数の特徴量を取得する（ステップＳ１３）。
【００７１】
ＣＰＵ１１は、ステップＳ１３が完了すると、類似度算出モジュールＳＭ２４を実行して、画像データベース１３Ａから検索画像データに類似・一致する複数のクラスタを検索し、類似・一致するクラスタが検索されると、検索によって得られたクラスタに属する複数の画像データから、検索画像データに一致または類似する画像データを検索する（ステップＳ１４）。
【００７２】
具体的には、取得した検索画像データの各特徴量の値と、各クラスタに対応付けられている属性（各特徴量の代表値）とを用いて類似度が算出される。類似度は、たとえば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された、検索画像データの特徴量と、各クラスタに対応付けられている代表値との間の距離、すなわち、検索画像データの特徴量と各クラスタの代表値によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。そして、類似していると判断されたクラスタに属する各画像データの各特徴量と検索画像データの各特徴量とを用いて、上述の類似度を再度算出することによって行われる。
【００７３】
なお、複数の画像データの選択方法としては、閾値としての距離を予め決めておいて、その閾値に含まれる画像データを選択する、あるいは、選択画像データ数を予め設定しておき、類似である画像データの上位から順番に選択画像データ数までを選択するようにしてもよい。なお、これら類似度を算出するための各距離の算出手法および内積の演算式は当業者にとって周知であるから説明を省略する。
【００７４】
ＣＰＵ１１は、ステップＳ１４で類似・一致する画像データの検索が完了すると、広告マッチングプログラムＳＰ３を実行して、広告マッチング処理および、表示制御処理を実行する（ステップＳ１５）。なお、広告マッチング処理、表示制御処理の詳細は後述する。
【００７５】
ＣＰＵ１１は、ステップＳ１４およびステップＳ１５において検索した複数の画像データおよび広告データを、検索要求の送信元であるクライアント端末２に対して送信する（ステップＳ１６）。
【００７６】
クライアント端末２のＣＰＵ２１は、ステップＳ１６の送信によって複数の画像データおよび広告データを受信すると、検索結果取得モジュールＣＭ１３を実行して、メモリー２１に格納する（ステップＳ１７）。
【００７７】
ＣＰＵ２１は、ステップＳ１７を完了すると、ＷｅｂブラウザプログラムＣＰ２を実行して、メモリー２１に格納されている画像データを表示部に表示させて（ステップＳ１８）、画像検索処理を終了する（ＥＮＤ）。
【００７８】
（広告マッチング処理および表示位置制御処理）
図１１は、図１０のステップＳ１６に示す広告マッチング処理および表示位置制御処理の詳細を示すフローチャートである。
【００７９】
ＣＰＵ１１は、図１０のステップＳ１４が完了すると、特徴量取得モジュールＳＭ１２を実行して、検索画像データと類似する画像データとして選択された検索結果画像データの複数の特徴量をそれぞれ取得する（ステップＳ２１）。
【００８０】
本実施の形態において用いられる特徴量は、たとえば、画像データの輝度または画像データの一部の領域における輝度のヒストグラム、テクスチャー、オブジェクトの有無、オブジェクトの大きさ、色相などであり、複数の特徴量が用いられる。輝度のヒストグラムからは、平均輝度値、最高輝度値、最小輝度値が取得され、色相としては、画像データにおけるＲ、Ｇ、Ｂ各成分の平均値、または、画像データを構成する全画素数に占める所定値以上のＲ、Ｇ、Ｂ成分画素数の割合が取得される。輝度のヒストグラム、色相、テクスチャーを特徴量として取得する方法は当業者にとって周知の方法であるから説明を省略する。また、オブジェクトの有無、すなわちオブジェクト検出、およびオブジェクトの大きさの検出は、たとえば、モデル形状を用いたパターンマッチング法、オブジェクト特有の色の色相領域を特定する方法、オブジェクトの特徴を検出する方法がそれぞれ単独または組み合わせて用いられ得る。
【００８１】
ＣＰＵ１１は、検索結果として出力される全ての画像データから特徴量を取得するまで（ステップＳ２２：Ｎｏ）、ステップＳ２１を繰り返し実行する。ＣＰＵ１１は、全ての画像データに対する特徴量の取得が終了すると（ステップＳ２２：Ｙｅｓ）、各画像データの各特徴量の平均値を求める（ステップＳ２３）。
【００８２】
ＣＰＵ１１は、検索結果として出力される全ての画像データから各特徴量の平均値を求めるまで（ステップＳ２４：Ｎｏ）、ステップＳ２３を繰り返し実行する。ＣＰＵ１１は、検索結果として出力される全ての画像データから各特徴量の平均値の算出が終了すると（ステップＳ２４：Ｙｅｓ）、画像データの平均値と広告データの特徴量とのマッチング処理を行う（ステップＳ２５）。なお、マッチングして選択する広告データの数は、類似画像の検索結果画面の表示態様に応じて適合度の高い順番で決定すればよい。
【００８３】
ステップＳ２５のマッチング処理は、上述した画像検索処理の一部と同様に行うことができる。具体的には、取得した検索結果画像データから算出された各特徴量の平均値と、広告データの各特徴量の値とを用いてマッチング処理を行う。マッチング処理は、たとえば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された、検索画像データの各特徴量の平均値と、広告データの各特徴量の値との間の距離、すなわち、検索画像データの特徴量と広告データの各特徴量の値によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど表示広告として適合していると判断される。あるいは、検索画像データの各特徴量の平均値および広告データの各特徴量の値をウェーブレット変換などにより周波数分解して抽出された多元ベクトルとし、これらの多元ベクトルの内積を求めて判断するようにしてもよい。この場合には、内積の値が１に近いほど検索結果画像データに対する表示広告として適合していると判断することができる。なお、これら適合度を算出するための各距離の算出手法および内積の演算式は当業者にとって周知であるから説明を省略する。
【００８４】
ＣＰＵ１１は、ステップＳ２５において検索結果画像に適合した広告データを決定すると、検索結果画像の表示位置に応じて、広告データの表示位置の制御を行って表示位置を決定する（ステップＳ２６）。なお、表示位置制御がなされた表示例については後述する。ＣＰＵ１１は、図１１のステップＳ２６が完了すると、図１０のステップＳ１６の処理へ移行する。
【００８５】
図１２は、図１１に示すマッチング処理を概念的に示す説明図である。図１２に示す例では、検索画像データとしてりんごの画像データが設定されている。そして、上述した図１０および図１１画像検索処理に基づいて複数の類似画像データが抽出されると、これらの特徴量をウェーブレット変換などにより周波数分解を行い、ベクトル空間上にそれぞれの特徴量を表す。なお、図１２に示す例では２つの特徴量（仮に特徴量Ａおよび特徴量Ｂとする）で模式的に示しているが、正確には２次元以上で行われる。そして、これらのすべての特徴ベクトルの平均値を求め、広告データベース１３Ｂから適合する広告データを検索する。その結果、広告表示領域に適合した広告データが選択されて表示される。
【００８６】
図１３〜図１５は、図１０に示す処理によって表示される広告表示の一例を示す図である。図１３に示すように、特定の広告表示領域１００には、３つの広告（広告Ｃ１、広告Ｃ２、広告Ｃ３）が表示されている。これは、検索結果画像データの平均特徴量から適合度の高いと判断された複数の広告が、適合度の高い順番で上から順番に所定数（図１３の場合は３つ）表示させるという表示制御を行っている。
【００８７】
また、図１４に示すような表示制御を行うようにしてもよい。たとえば、検索結果画像データが表示されている各行において、同数の類似する画像データが表示されているような場合がある。図１４において領域Ａと領域Ｂには、りんごの画像といちごの画像が同数表示されている。このような場合、左側に表示されている画像の方が右側に表示されている画像よりは検索画像との類似度が高いので、左側に表示されている画像データの特徴量と適合する広告を、同様の高さに表示させる。これにより、検索画像データと類似度が高い画像に対応した広告が同様の高さに表示されることになるので、検索を行ったユーザの嗜好に合致した広告が表示される可能性がより高くなる。
【００８８】
また、図１５に示すような表示制御を行うようにしてもよい。すなわち、表示広告と関連性がある検索結果画像データを点線（図１５では点線ａ、点線ｂ、点線ｃ）で囲み、それらに関係する広告が特定の広告表示領域１００に表示されていることを強調するようにしてもよい。その場合、検索結果画像データを囲んでいる各点線の色とその点線で囲まれた検索結果画像に関連する各広告表示の文字の色を同じ色とするようにしてもよい。また、図示しないが、広告表示が画像で表示される場合にはその画像を同じ色の線で画像自体を囲むようにしてもよい。
【００８９】
以上、図１３〜図１５に示したような広告の表示位置制御方法は、検索結果画像を表示させる際にJava（登録商標）scriptなどにより表示位置または表示態様を変更させたＷｅｂページを作成することで実現可能である。なお、図１３〜図１５に示した広告はテキスト情報のみであったが、広告する商品、または役務を示す画像が表示されるものであってもよい。
【００９０】
（第１実施形態の効果）
以上のように、第１実施形態におけるサーバー１のＣＰＵ１１は、画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定し、特定された複数の検索結果画像データの特徴量を算出し、広告データベース１３Ｂを参照して、算出された特徴量と合致する特徴量と関連付けられている広告情報を検索し、検索された広告情報を複数の検索結果画像データと共に表示させる広告として決定し、複数の検索結果画像データの表示態様に応じて、広告の表示位置を決定している。
【００９１】
そのため、検索結果として抽出された複数の画像データの特徴量に対応した広告を選択し、かつ検索結果画像の表示態様を考慮した位置にその広告を表示させることができる。また、広告には複数の特徴量が関連付けられているため、それらのうちの一つの特徴量が検索結果画像データの特徴量と共通する場合には、表示させる広告として選択される可能性があり、広告主に対して新たな広告表示機会を提供することができる。
【００９２】
特に、サーバー１の広告データベース１３Ｂには、特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が広告情報毎に関連付けられている。そして、サーバー１の検索結果画像特徴量算出モジュールＳＭ３５が、複数の検索結果画像データの特徴量から平均特徴量を算出し、広告検索モジュールＳＭ３２が、平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている広告情報を、複数の検索結果画像データと共に表示させる広告として決定している。
【００９３】
そのため、複数の検索結果画像データから得られる特徴量を平均化させ、その平均化させた特徴量が含まれる特徴ベクトル空間を示す領域情報に関連付けられている広告を表示させることができるので、検索結果として表示する複数の画像データに適合した広告を表示させることが可能となる。
【００９４】
〔第２実施形態〕
上述した第１実施形態では、検索結果として抽出された画像データの特徴量を平均化させて広告マッチング処理を行ったが、第２実施形態では、画像データの特徴量としてメタデータを集計し、最も多いメタデータと一致する広告を選択する。なお、ここでいうメタデータとは、たとえばＥＸＩＦ（Exchangeable Image File Format）形式の画像データの場合に画像データに含まれているタグ情報などである。第２実施形態の各装置の構成は、第１実施形態の各装置の構成と同様であるため図示は省略するが、画像データと画像データに含まれているメタデータとの関連付けが画像データベースにおいてなされていると共に、広告データとその広告に掲載する商品、役務に関連するキーワード情報（商品の色、形を表す文字情報など）との関連付けが広告データベースにおいて少なくともなされている。すなわち、第２実施形態における画像データベースには、画像データの特徴量として、画像データのメタデータが画像データ毎に１または複数関連付けられており、広告データベースには、広告の特徴量として、広告主の商品、または役務に関係するキーワード情報が広告情報毎に１または複数関連付けられている。
【００９５】
図１６は、本発明の第２実施形態における広告マッチング処理を示すフローチャートである。図１６に示す広告マッチング処理は、第１実施形態の広告マッチング処理（図１１）と同様であるが、次の点で異なる。
【００９６】
すなわち、図１１のステップＳ２１に相当する処理では、第２実施形態における検索結果画像特徴量算出モジュールが、画像データの特徴量としてメタデータを取得し（ステップＳ３１）、図１１のステップＳ２２に相当する処理では全画像データからメタデータの取得が完了したか否かを判定し（ステップＳ３２）、図１１のステップＳ２３およびステップＳ２４に相当する処理では取得したメタデータから最も多く集計されたメタデータを特定している（ステップＳ３３）。
【００９７】
そして、図１１のステップＳ２５に相当する処理では、第２実施形態における広告検索モジュールが、ステップＳ３３で最も多く集計されたメタデータと一致するキーワード情報と関連付けられている広告データを特定し（ステップＳ３４）、図１１のステップＳ２６に相当する表示位置の制御処理を行う（ステップＳ３５）。
【００９８】
図１７は、本発明の第２実施形態における画像検索における広告表示を概念的に説明した図である。図１７に示す例では、検索画像データとしてりんごの画像データが設定されている。そして、上述した画像検索処理に基づいて複数の類似画像データが抽出されると、これらの各画像に関連付けられているタグ情報を集計し、最も多く集計されたタグ情報をキーワード情報として設定して、広告データベースを参照して、適合する広告を表示させている。図１７に示す例ではＴシャツというタグが最も多かったため、Ｔシャツに関連する広告データが選択されて表示される。
【００９９】
このように、第２実施形態の検索結果画像特徴量算出モジュールは、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、第２実施形態における広告検索モジュールは、検索結果画像特徴量算出モジュールにより最も多く集計されたメタデータと一致するキーワード情報が関連付けられている広告情報を複数の検索結果画像データと共に表示させる広告として決定するようにしているため、複数の検索結果画像データに最も多く現れるキーワードに対応する広告を表示させることが可能となる。
【０１００】
〔第３実施形態〕
上述した第２実施形態では、画像データのメタデータを集計し、最も多いメタデータと一致する広告を選択する処理を行ったが、第３実施形態では、メタデータの集計数に応じて広告マッチング処理を行う。なお、第３実施形態の各装置の構成は、第１実施形態および第２実施形態の各装置の構成と同様であり、第３実施形態における画像データベースおよび広告データベースのデータの持ち方は、第２実施形態における画像データベースおよび広告データベースと同様であるため、図示は省略する。
【０１０１】
図１８は、本発明の第３実施形態における広告マッチング処理を示すフローチャートである。図１７に示す処理は、第２実施形態に示す広告マッチング処理（図１６）と同様であるが、次の点で異なる。
【０１０２】
すなわち、図１６のステップＳ３２に相当する処理では、第３実施形態における検索結果画像特徴量算出モジュールが、取得したメタデータの集計数に応じてメタデータを選択している（ステップＳ４３）。そして、図１６のステップＳ３４に相当する処理では、第３実施形態における広告検索モジュールが、ステップＳ４３で選択したメタデータと一致するキーワード情報と関連付けられている広告情報を特定している（ステップＳ４４）。
【０１０３】
このように、第３実施形態における検索結果画像特徴量算出モジュールが、複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、広告検索モジュールが、第３実施形態における検索結果画像特徴量算出モジュールによる各メタデータの集計数に応じたキーワード情報と関連付けられている広告情報を選択し、複数の検索結果画像データと共に表示させる広告として決定するようにしている。
【０１０４】
なお、「各メタデータの集計数に応じた」とは、たとえば、集計数の上位２つのキーワード情報を選択するものであったり、２以上の集計値であるキーワード情報はすべて選択するなどの、集計数に応じた自由な設定が可能であることを意図している。そのため、複数の検索結果画像データから得られるキーワードの頻出数に応じた広告を表示させることが可能となる。
【０１０５】
〔第４実施形態〕
上述した第１〜第３実施形態における画像検索処理要求は画像データを検索条件として指定することを前提としていたが、第４実施形態では、ユーザが指定したキーワード情報および検索画像データの２つの組み合わせにより類似画像検索処理を行う。なお、第４実施形態における各装置の構成、画像データベースおよび広告データベース内のデータの持ち方は、第３実施形態と同様であるため図示は省略する。
【０１０６】
図１９は、本発明の第４実施形態における画像検索処理を示すフローチャートである。図１８に示す処理は、第１実施形態に示す画像検索処理（図９）と同様であるが、次の点で異なる。
【０１０７】
すなわち、図１０のステップＳ１０に相当する処理において、ユーザによって特定された検索画像に対応する検索画像データと検索キーワード情報が特定され（ステップＳ５０）、ステップＳ１１に相当する処理において索処理要求（検索クエリー）として、検索画像データと検索キーワード情報がサーバー１に送信される（ステップＳ５１）。
【０１０８】
サーバー１のＣＰＵ１１は、図１０のステップＳ１２に相当する処理において、ステップＳ５１の検索画像データおよび検索キーワード情報に基づく画像検索処理要求をクライアント端末２から受信すると、第４実施形態における画像データ取得モジュールを実行して、検索画像データおよび検索キーワード情報を取得する（ステップＳ５２）。具体的には、入出力インターフェース１４を介して検索画像データおよび検索キーワード情報がサーバー１内に取り込まれ、メモリー１２に格納される。
【０１０９】
ＣＰＵ１１は、図１０のステップＳ１３に相当する処理において、ステップＳ５２で検索画像データおよび検索キーワード情報を取得すると、第４実施形態における検索画像特徴量取得モジュールを実行して、検索画像データの複数の特徴量を取得する（ステップＳ５３）。
【０１１０】
ＣＰＵ１１は、図１０のステップＳ１４に相当する処理において、ステップＳ５３が完了すると、第４実施形態における類似度算出モジュールを実行して、画像データベース１３Ａから検索画像データおよび検索キーワード情報の組み合わせに類似・一致する複数のクラスタと、検索によって得られたクラスタに属する複数の画像データから検索画像データおよび検索キーワードに一致または類似する画像データを検索する（ステップＳ５４）。なお、類似または一致の判断は、検索画像データの各特徴量と各クラスタに属する各画像データの各特徴量との類似度に加えて、キーワードの一致、不一致について判断される。なお、キーワードは、類似度の補助的な役割であり、基本的に、類似度の数値が高いほど類似・一致していると判断し、仮に同一の類似度である複数の画像データが抽出された場合に、キーワードの有無などで類似度の順位を決定する。
【０１１１】
ＣＰＵ１１は、図１０のステップＳ１６に相当するステップにおいて、ステップＳ５５で画像データの検索が完了すると、第４実施形態における広告マッチングプログラムを実行して、広告マッチング処理、表示位置制御処理を行う（ステップＳ５５）。なお、図１０のステップＳ１６〜Ｓ１８に相当する処理としてステップＳ５６〜Ｓ５８の処理が行われるが、同様であるため、説明を省略する。
【０１１２】
図２０は、図１９に示すステップＳ５６に示す広告マッチング処理の詳細を示すフローチャートである。図１９に示す処理は、第３実施形態に示す広告マッチング処理（図１７）と同様であるが、次の点で異なる。
【０１１３】
すなわち、図１７のステップＳ４２に相当する処理では、第４実施形態における検索結果画像特徴量算出モジュールが、取得したメタデータの集計数と、検索キーワード情報に所定の重み付けをした値とをすべて比較してキーワードを選択している（ステップＳ６２）。そして、図１７のステップＳ４３に相当する処理では、第４実施形態における広告検索モジュールが、ステップＳ６２で選択したキーワードと一致するキーワード情報と関連付けられている広告情報を特定している（ステップＳ６３）。
【０１１４】
図２１は、図２０に示すマッチング処理を概念的に示した図である。図２１に示す例では、検索画像データとして水槽の画像データと、検索キーワードとして、「水槽」が設定されている。そして、上述した画像検索処理に基づいて複数の類似画像データが抽出されると、これらの各画像に関連付けられているタグ情報が集計される。図２１に示す例では、タグ情報として、「水槽」が２件、「水草」が３件、「フナ」が１件抽出された。ここで、ユーザの関心があるキーワードとして、「水槽」が選択されているにもかかわらず、検索画像として設定されている画像データに水草が大きく表示されていたため、検索結果画像から抽出されたタグ情報として「水草」が多くカウントされる結果となった。しかしながら、本実施形態では、検索キーワードとして設定された「水槽」については所定の重み付けとして、１．５が加算されるため、最終的に最も多く集計されたタグ情報として「水槽」が選択される。その結果、ユーザの関心があるキーワードから導き出される広告が表示させることができる。すなわち、検索画像データの特徴量によっては、ユーザの関心があるキーワードとは別の観点によるキーワードが広告データを決定する際に選択されるという問題があるが、そのような場合であってもユーザの関心があるキーワードについては他のキーワードより優先して選択されるように、所定の重み付けを加算することで、このような問題を解消している。
【０１１５】
（請求項５に対応する実施形態の効果）
このように、第４実施形態における検索結果画像特定モジュールが、ユーザの検索キーワード情報および画像データの組み合わせによる類似画像検索処理要求に応じて検索結果として出力される複数の検索結果画像データを特定し、第４実施形態における検索結果画像特徴量算出モジュールが、検索キーワード情報に対して所定の重み付けを行うと共に、検索結果画像データに関連付けられているメタデータを集計し、第４実施形態における広告検索モジュールが、第４実施形態における検索結果画像特徴量算出モジュールによる各メタデータの集計数および検索キーワード情報に対して所定の重み付けがなされた後の値をすべて比較して、広告情報を選択する際のキーワード情報を決定し、その決定されたキーワード情報が関連付けられている広告情報を第４実施形態における広告データベースから選択し、複数の検索結果画像データと共に表示させる広告として決定するようにしているため、検索条件としてユーザにより設定された検索キーワードについて、検索結果画像から得られたキーワードより重みを持たせることで、ユーザの興味がある商品または役務の広告がより表示されやすくなるという効果がある。
【０１１６】
〔他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。たとえば、第２実施形態および第４実施形態では最多のタグ情報と一致するキーワード情報に関連付けられている広告データが選択されて表示させたが、最多のタグ情報だけでなく、上位３件、５件、１０件など所定の順位まで表示させるようにしてもよい。
【０１１７】
また、広告データベース１３Ｂに含まれる広告データを、広告データベース１３Ｂに構築されるクラスタ毎に予めマッピングしておき（どのクラスタにマッピングされているのかがわかる情報を関連付けさせておき）、検索画像データの画像検索処理時に、類似・一致するクラスタが抽出された際に、そのクラスタにマッピングされた広告データを表示広告として決定するようにしてもよい。これにより画像検索処理と一体化して広告マッチング処理を行うことが可能となるため、より効率的な広告表示を行うことが可能となる。
【０１１８】
また、上記各実施形態では、検索処理要求（検索クエリー）として画像データが入力されることを前提としていたが、キーワードによる検索処理要求の検索結果画像データに対する広告表示制御としても適用可能である。
【０１１９】
また、本発明は、上述した各実施形態及び他の実施形態の中で開示した各機能を相互に置換した構成、組み合わせを変更した構成なども含まれるものである。
【符号の説明】
【０１２０】
１…サーバー（広告表示制御装置の一例）
１１…ＣＰＵ
１２…メモリー
１３…記憶装置
１３Ａ…画像データベース
１３Ｂ…広告データベース
１４…入出力インターフェース
２…クライアント端末
２１…ＣＰＵ
２２…メモリー
２３…記憶装置
２４…入出力インターフェース
ＣＰ１…画像検索要求プログラム
ＣＰ２…Ｗｅｂブラウザプログラム
ＣＭ１１…画像データ特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
ＳＰ２…画像検索プログラム
ＳＭ２１…検索画像データ取得モジュール
ＳＭ２２…画像検索モジュール
ＳＭ２３…検索画像特徴量取得モジュール
ＳＭ２４…類似度算出モジュール
ＳＰ３…広告マッチングプログラム（プログラムの一例）
ＳＭ３１…広告取得モジュール
ＳＭ３２…広告検索モジュール
ＳＭ３３…表示位置制御モジュール（広告表示制御手段の一例）
ＳＭ３４…検索結果画像特定モジュール（検索結果画像特定手段の一例）
ＳＭ３５…検索結果画像特徴量算出モジュール（特徴量算出手段の一例）
ＳＭ３６…広告特徴量取得モジュール
ＳＭ３７…適合度算出モジュール（表示広告決定手段の一例）
【特許請求の範囲】
【請求項１】
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、
前記検索結果画像特定手段により特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出手段と、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、
前記表示広告決定手段により決定された広告を、前記表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段と、
を備えることを特徴とする広告表示制御装置。
【請求項２】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データの特徴量から平均特徴量を算出し、
前記表示広告決定手段は、
前記広告データベースを参照して、前記平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項３】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、
前記表示広告決定手段は、
前記広告データベースを参照して、前記特徴量算出手段により最も多く集計されたメタデータと一致する前記キーワード情報に関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項４】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、
前記表示広告決定手段は、
前記特徴量算出手段による各メタデータの集計数に応じて、各メタデータと一致するキーワード情報を選択し、
前記広告データベースを参照して、その選択されたキーワード情報と関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項５】
請求項１に記載の広告表示制御装置であって、
前記画像データの検索処理要求は、ユーザが指定したキーワード情報および検索画像データの組み合わせによる類似画像検索処理要求であり、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記検索結果画像特定手段は、
前記類似画像検索処理要求に応じた検索結果として出力される複数の検索結果画像データを特定し、
前記特徴量算出手段は、
前記検索結果画像データに関連付けられているキーワード情報をすべて抽出して集計すると共に、前記ユーザが指定したキーワード情報に対しては、所定の重み付けをした数値を加算し、
前記表示広告決定手段は、
前記特徴量算出手段による各メタデータの集計値および前記ユーザが指定したキーワード情報の所定の重み付けがなされた数値が加算されたもののうちで最大のものを、広告を選択する際のキーワード情報として決定し、
前記広告データベースを参照して、その決定されたキーワード情報が関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項６】
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定ステップと、
前記検索結果画像特定ステップにより特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出ステップと、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出ステップにより算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定ステップと、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定ステップにより決定された広告の表示位置を決定する表示位置決定ステップと、
前記表示広告決定ステップにより決定された広告を、前記表示位置決定ステップによって決定された表示位置に表示させる広告表示制御ステップと、
を有することを特徴とする広告表示制御方法。
【請求項７】
コンピューターを、
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、
前記検索結果画像特定手段により特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出手段と、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、
前記表示広告決定手段により決定された広告を、前記表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段、
として機能させるためのプログラム。
【請求項１】
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、
前記検索結果画像特定手段により特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出手段と、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、
前記表示広告決定手段により決定された広告を、前記表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段と、
を備えることを特徴とする広告表示制御装置。
【請求項２】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告掲載する商品、または役務に応じた特徴ベクトル空間を示す領域情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データの特徴量から平均特徴量を算出し、
前記表示広告決定手段は、
前記広告データベースを参照して、前記平均特徴量が含まれる特徴ベクトル空間を示す領域情報が関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項３】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、
前記表示広告決定手段は、
前記広告データベースを参照して、前記特徴量算出手段により最も多く集計されたメタデータと一致する前記キーワード情報に関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項４】
請求項１に記載の広告表示制御装置であって、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記特徴量算出手段は、
前記複数の検索結果画像データそれぞれに関連付けられているメタデータを集計し、
前記表示広告決定手段は、
前記特徴量算出手段による各メタデータの集計数に応じて、各メタデータと一致するキーワード情報を選択し、
前記広告データベースを参照して、その選択されたキーワード情報と関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項５】
請求項１に記載の広告表示制御装置であって、
前記画像データの検索処理要求は、ユーザが指定したキーワード情報および検索画像データの組み合わせによる類似画像検索処理要求であり、
前記広告データベースには、前記特徴量として、広告主の商品、または役務に関係するキーワード情報が前記広告情報毎に関連付けられており、
前記検索結果画像特定手段は、
前記類似画像検索処理要求に応じた検索結果として出力される複数の検索結果画像データを特定し、
前記特徴量算出手段は、
前記検索結果画像データに関連付けられているキーワード情報をすべて抽出して集計すると共に、前記ユーザが指定したキーワード情報に対しては、所定の重み付けをした数値を加算し、
前記表示広告決定手段は、
前記特徴量算出手段による各メタデータの集計値および前記ユーザが指定したキーワード情報の所定の重み付けがなされた数値が加算されたもののうちで最大のものを、広告を選択する際のキーワード情報として決定し、
前記広告データベースを参照して、その決定されたキーワード情報が関連付けられている広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する、
ことを特徴とする広告表示制御装置。
【請求項６】
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定ステップと、
前記検索結果画像特定ステップにより特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出ステップと、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出ステップにより算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定ステップと、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定ステップにより決定された広告の表示位置を決定する表示位置決定ステップと、
前記表示広告決定ステップにより決定された広告を、前記表示位置決定ステップによって決定された表示位置に表示させる広告表示制御ステップと、
を有することを特徴とする広告表示制御方法。
【請求項７】
コンピューターを、
画像データの検索処理要求に応じて出力される複数の検索結果画像データを特定する検索結果画像特定手段と、
前記検索結果画像特定手段により特定された前記複数の検索結果画像データの特徴量を算出する特徴量算出手段と、
広告情報と複数の特徴量が関連付けられて記憶されている広告データベースを参照し、前記特徴量算出手段により算出された特徴量と合致する特徴量と関連付けられている前記広告情報を検索し、検索された広告情報を前記複数の検索結果画像データと共に表示させる広告として決定する表示広告決定手段と、
前記複数の検索結果画像データの表示態様に応じて、前記表示広告決定手段により決定された広告の表示位置を決定する表示位置決定手段と、
前記表示広告決定手段により決定された広告を、前記表示位置決定手段によって決定された表示位置に表示させる広告表示制御手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−５０５０２（Ｐ２０１３−５０５０２Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８６９６２（Ｐ２０１１−１８６９６２）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
[ Back to top ]