広告表示方法及び装置、並びに広告表示プログラム
【課題】入力された画像だけを元に広告を表示する。
【解決手段】特徴量取得部３６は、サーバ１１に入力された入力画像の特徴量を取得する。キーワード取得部３７は、入力画像の特徴量に基づいて、入力画像のキーワードを取得する。関連画像取得部３８は、入力画像のキーワードに基づいて、関連画像を取得する。特徴量取得部３６は、関連画像の特徴量を取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、関連画像のキーワードを取得する。広告取得部３９は、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告を取得する。入力画像、そのキーワード、関連画像、そのキーワード、及び広告は、通信Ｉ／Ｆ３５に読み出され、サーバ１１から出力される。
【解決手段】特徴量取得部３６は、サーバ１１に入力された入力画像の特徴量を取得する。キーワード取得部３７は、入力画像の特徴量に基づいて、入力画像のキーワードを取得する。関連画像取得部３８は、入力画像のキーワードに基づいて、関連画像を取得する。特徴量取得部３６は、関連画像の特徴量を取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、関連画像のキーワードを取得する。広告取得部３９は、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告を取得する。入力画像、そのキーワード、関連画像、そのキーワード、及び広告は、通信Ｉ／Ｆ３５に読み出され、サーバ１１から出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索した画像とともにその画像に関連する広告を表示する広告表示方法及び装置、並びに広告表示プログラムに関する。
【背景技術】
【０００２】
インターネット上の広告として、キーワード広告が普及している。キーワード広告とは、キーワードが入力された際にそのキーワードに関連して表示する広告のことであり、Yahoo!（登録商標）やGoogle（登録商標）などの検索サイトで採用されている。検索サイトでは、検索キーワードに関連するキーワード広告を、検索結果とともに表示する。なお、キーワード広告は、リアルタイムにメッセージの遣り取りをするチャットサイトに採用することも可能である（例えば、特許文献１参照）など、種々の使用態様がある。特許文献１の発明では、入力されたメッセージに含まれるキーワードに関連するキーワード広告を、チャット画面に表示する。
【０００３】
キーワード広告の他には、ＧＰＳ情報を元に表示する、観光地などの地域に特化した広告が存在する（例えば、特許文献２参照）。特許文献２の発明では、入力された画像のＧＰＳ情報を取得して、取得したＧＰＳ情報を元に広告を表示する。
【０００４】
ところで、画像の検索を行う場合、上述したキーワード検索の他に、画像をキーとして検索を行うこともある（例えば、特許文献３、４参照）。特許文献３、４の発明では、入力された画像からその特徴量を抽出し、抽出した特徴量を元に画像を検索する。
【特許文献１】特開２０００−１９４７２８号公報
【特許文献２】特開２００２−３２９１９１号公報
【特許文献３】特開平０８−２４９４６７号公報
【特許文献４】特開平１１−０９６３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の発明のように、キーワード広告を表示する場合には、キーワードの入力が条件となる。つまり、キーワードの入力がない場合には、広告を表示することができない。
【０００６】
特許文献２の発明のように、広告を表示する場合には、画像にＧＰＳ情報が付されていることが条件となる。しかし、ＧＰＳ情報が付されている画像の普及率は低く、また、ＧＰＳ情報が付されている画像であってもそのＧＰＳ情報が損失することも少なくないため、特許文献２の発明のように広告を表示する方法は、ロバスト性に欠ける。
【０００７】
特許文献３、４の発明のように、画像をキーとしてその特徴量を元に検索を行う場合、キーワード入力を伴っていないので、このままでは広告を表示することができない。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、入力された画像だけを元に広告を表示する広告表示方法及び装置、並びに広告表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の広告表示装置は、入力部を介して入力された画像の特徴量を取得する特徴量取得部と、前記画像に関連する関連画像を取得する関連画像取得部と、前記特徴量を元に、広告を取得する広告取得部と、前記広告を、前記関連画像とともにモニタに出力する出力部とを備えている。
【００１０】
請求項２に記載の発明では、前記特徴量を元に、前記画像に関連するキーワードを取得するキーワード取得部を備え、前記広告取得部は、前記キーワードを元に、広告を取得する。
【００１１】
請求項３に記載の発明では、前記特徴量取得部は、前記関連画像の特徴量を取得し、前記キーワード取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に、キーワードを取得し、前記広告取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得する。
【００１２】
請求項４に記載の発明では、前記特徴量取得部は、前記関連画像の特徴量を取得し、前記キーワード取得部は、前記関連画像の特徴量を元に、キーワードを取得し、前記広告取得部は、前記入力部を介して入力された画像の特徴量を元に取得されたキーワード、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得する。
【００１３】
請求項５に記載の発明では、前記特徴量取得部が抽出する特徴量は、被写体である。
【００１４】
請求項６に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、人物の顔である。請求項７に記載の発明では、前記キーワード取得部は、人物の顔とその名称とを関連付けて記憶した人物一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１５】
請求項８に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、商品である。請求項９に記載の発明では、前記キーワード取得部は、商品とその名称とを関連付けて記憶した商品一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１６】
請求項１０に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、文字である。
【００１７】
請求項１１に記載の発明では、前記特徴量取得部が抽出する特徴量は、複数の色の組合せであり、前記キーワード取得部は、複数の色の組合せと、その組合せから連想される色彩イメージの単語とを関連付けて記憶した色彩イメージ一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１８】
請求項１２に記載の発明では、前記広告取得部は、キーワードが付された広告を記憶した広告データベースにアクセスし、広告を取得する。
【００１９】
請求項１３に記載の発明では、前記関連画像取得部は、前記入力部を介して入力された画像の特徴量を元に、前記関連画像を取得する。
【００２０】
本発明の広告表示方法は、画像の特徴量を特徴量取得部で取得する特徴量取得ステップと、前記画像に関連する関連画像を関連画像取得部で取得する関連画像取得ステップと、前記特徴量を元に、広告を広告取得部で取得する広告取得ステップと、前記広告を、前記関連画像とともに出力部を介してモニタに出力する出力ステップとを備えている。
【００２１】
本発明の広告表示プログラムは、画像の特徴量を取得する特徴量取得ステップと、前記画像に関連する関連画像を取得する関連画像取得ステップと、前記特徴量を元に、広告を取得する広告取得ステップと、前記広告を、前記関連画像とともにモニタに出力する出力ステップとをコンピュータに実行させる。
【発明の効果】
【００２２】
本発明の広告表示方法及び装置、並びに広告表示プログラムによれば、入力された画像だけを元に広告を表示することができる。
【発明を実施するための最良の形態】
【００２３】
［第１実施形態］
図１において、第１実施形態における広告表示装置は、広告表示プログラム４０（図３参照）のインストールによってサーバ１１に構築される形式で実現される。広告表示装置は、画像の入力を受けて、その入力された画像（以下、「入力画像」ともいう。）に関連する画像（以下、「関連画像」ともいう。）を取得するとともに、入力画像の特徴量を元に広告を取得し、入力画像、関連画像、及び広告を、インターネット１２を介してクライアント端末１３に送信する。クライアント端末１３に送信された入力画像、関連画像、及び広告は、モニタ１５に表示される（図４参照）。
【００２４】
サーバ１１は、インターネット１２を介して接続されたクライアント端末１３とともに、ネットワークシステム１４を構成する。クライアント端末１３は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ１５と、操作信号を出力するマウス１６及びキーボード１７からなる操作部１８とを備えている。
【００２５】
クライアント端末１３には、デジタルカメラ１９で撮影して得られた画像や、メモリカードやＣＤ−Ｒなどの記録媒体２０に記録された画像が送信され、あるいは、インターネット１２を経由して画像が転送される。
【００２６】
デジタルカメラ１９は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや、無線ＬＡＮなどによりクライアント端末１３に接続され、クライアント端末１３とのデータの相互通信が可能となっている。また、記録媒体２０も同様に、専用のドライバを介してクライアント端末１３とのデータの遣り取りが可能となっている。
【００２７】
図２に示すように、クライアント端末１３を構成するＣＰＵ２１は、操作部１８から入力される操作信号などに従ってクライアント端末１３全体を統括的に制御する。ＣＰＵ２１には、操作部１８の他に、データバス２２を介して、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、通信インターフェース（通信Ｉ／Ｆ）２５、及びモニタ１５が接続されている。
【００２８】
ＲＡＭ２３は、ＣＰＵ２１が処理を実行するための作業用メモリである。ＨＤＤ２４には、クライアント端末１３を動作させるための各種プログラムやデータが記憶されている他に、デジタルカメラ１９、記録媒体２０、あるいは、インターネット１２から取り込まれた画像が記憶される。ＣＰＵ２１は、ＨＤＤ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。
【００２９】
通信Ｉ／Ｆ２５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。また、通信Ｉ／Ｆ２５は、デジタルカメラ１９や記録媒体２０などの外部機器とのデータ通信も行う。
【００３０】
図３に示すように、サーバ１１を構成するＣＰＵ３１は、インターネット１２を経由してクライアント端末１３から入力される操作信号に従ってサーバ１１全体を統括的に制御する。ＣＰＵ３１には、データバス３２を介して、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、通信インターフェース（通信Ｉ／Ｆ）３５、特徴量取得部３６、キーワード取得部３７、関連画像取得部３８、及び広告取得部３９が接続されている。
【００３１】
ＲＡＭ３３は、ＣＰＵ３１が処理を実行するための作業用メモリである。ＨＤＤ３４には、サーバ１１を動作させるための各種プログラムやデータが記憶されている。また、ＨＤＤ３４には、広告表示プログラム４０が記憶されている。ＣＰＵ３１は、ＨＤＤ３４からプログラムを読み出してＲＡＭ３３に展開し、読み出したプログラムを逐次処理する。
【００３２】
ＨＤＤ３４には、画像データベース（画像ＤＢ）４１と、広告データベース（広告ＤＢ）４２とが設けられている。画像ＤＢ４１には、複数の画像のデータとともに、画像一覧テーブル及びキーワード一覧テーブル（ともに図示省略）が格納されている。
【００３３】
画像一覧テーブルは、取込み時に自動的に付けられるＩＤ（取込み順に付した通し番号）を見出しとして、画像のファイル名を記憶している。キーワード一覧テーブルは、ＩＤを見出しとして、画像に付されたキーワードを記憶している。
【００３４】
画像に付されたキーワードには、画像に元々付されたもの、画像を取り込んだ際にファイルシステムなどの外部データベースから取得したもの（画像のタイトル・ジャンル・イメージなどをキーワードとしたもの）などがある。なお、画像一覧テーブルとキーワード一覧テーブルとを統合して、一つのデータテーブルとしてもよい。
【００３５】
広告ＤＢ４２には、複数の広告とともに、広告一覧テーブル及びキーワード一覧テーブル（ともに図示省略）が格納されている。広告は、画像やＵＲＬ（Uniform Resource Locator）などで構成される。広告一覧テーブルは、取込み時に自動的に付けられるＩＤ（取込み順に付した通り番号）を見出しとして、広告のファイル名を記憶している。キーワード一覧テーブルは、ＩＤを見出しとして、広告に付されたキーワードを記憶している。
【００３６】
広告に付されたキーワードには、広告に元々付されたもの、広告を取り込んだ際にファイルシステムなどの外部データベースから取得したもの（広告のタイトル・ジャンル・イメージなどをキーワードとしたもの）などがある。なお、広告一覧テーブルとキーワード一覧テーブルとを統合して、一つのデータテーブルとしてもよい。
【００３７】
通信Ｉ／Ｆ３５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。通信Ｉ／Ｆ３５は、画像が入力される入力部として機能し、また、サーバ１１で処理されたデータ（入力画像、関連画像、広告）をクライアント端末１３のモニタ１５に出力する出力部として機能する。通信Ｉ／Ｆ３５を介して入力されたデータは、ＲＡＭ３３に一時的に記憶される。
【００３８】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して人物の顔を抽出し、抽出した顔を特徴量として取得する。顔の抽出には、特開２００５−２６７５１２号公報で開示されている赤目検出を用いた方法などを利用する。詳しい説明は、特開２００５−２６７５１２号公報を参照されたい。なお、顔の抽出には、パターンマッチングや、肌色検出などの周知技術を利用してもよい。
【００３９】
また、特徴量取得部３６は、抽出された顔からその表情を認識し、認識した表情を特徴量として取得する。表情の認識には、特開平１０−２５５０４３号公報で開示されている隠れマルコフモデル（ＨＭＭ）を用いた技術などを利用する。なお、詳しい説明は、特開平１０−２５５０４３号公報を参照されたい。
【００４０】
さらに、特徴量取得部３６は、抽出された顔に関する事項、及びその他の事項（例えば、顔の大きさ、髪型、アクセサリなど）を特徴量として取得する。顔に関する事項、及びその他の事項の取得には、周知技術を用いるのであれば何でもよい。なお、詳しい説明は省略する。
【００４１】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された人物一覧テーブル（図示省略）を検索し、該当する人名を入力画像のキーワード（入力画像に関連するキーワード）として取得する。人物一覧テーブルには、特徴量取得部３６で取得される特徴量と、人名その他のキーワード（例えば、表情、顔の大きさ、髪型、アクセサリなど）とが関連付けて記録されている。
【００４２】
関連画像取得部３８は、キーワード取得部３７で取得されたキーワードに基づいて、画像ＤＢ４１を検索し、当該キーワードと関連付けて記憶されている画像を、関連画像として取得する。
【００４３】
特徴量取得部３６は、関連画像を解析して人物の顔を抽出し、抽出した顔を特徴量として取得する。また、特徴量取得部３６は、抽出された顔に関する事項、及びその他の事項（例えば、表情、顔の大きさ、髪型、アクセサリなど）を特徴量として取得する。
【００４４】
キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された人物一覧テーブル（図示省略）を検索し、該当する人名を関連画像のキーワード（関連画像に関連する）として取得する。
【００４５】
広告取得部３９は、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告ＤＢ４２を検索し、広告を取得する。具体的には、まず、入力画像のキーワードと一致するキーワードと関連付けて記憶されている広告を仮取得する。入力画像のキーワードが複数ある場合には、そのうちのいずれかのキーワードと一致するキーワードと関連付けて記憶されている広告を仮取得する。
【００４６】
複数の広告が仮取得された場合には、その中から、関連画像のキーワードのうち入力画像のキーワードと共通しないキーワード（例えば、関連画像のキーワードが「Ａ」、「Ｂ」及び「Ｃ」で、入力画像のキーワードが「Ａ」、「Ｂ」、「Ｄ」である場合は「Ｃ」）、と一致するキーワードと関連付けて記憶されている広告を取得する。
【００４７】
最終的に複数の広告が取得された場合には、一つの広告に絞り込む。広告の絞込みは、アクセス頻度あるいは投資金額に基づいて予め設定されたポイントが最も高いものとしたり、検索に最初にヒットしたものとしたりすればよい。なお、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告を取得されればよく、上記の方法に限定されるものではない。
【００４８】
入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告は、インターネット１２を介してクライアント端末１３に送信される。
【００４９】
クライアント端末１３は、入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告が送信されると、それらを検索結果画面５１（図４参照）としてモニタ１５に表示する。
【００５０】
図４に示す検索結果画面５１には、ウィンドウ５２が表示される。ウィンドウ５２には、入力画像５３、そのキーワード（「蛇原友里」、「アップ」、「へびちゃん」、「無表情」、「コサージュ」）５４、広告５５、及び関連画像５６が配置される。
【００５１】
ウィンドウ５２上には、選択操作に用いるポインタ５７が表示される。ポインタ５７は、マウス１６が操作されることでウィンドウ５２上を移動する。
【００５２】
広告５５は、画像５５ａ及びハイパーリンク５５ｂから構成されている。ハイパーリンク５５ｂには、リンク先のＵＲＬ（Uniform Resource Locator）が埋め込まれている。ハイパーリンク５５ｂにポインタ５７を合わせてマウス１６をクリックすることで、リンク先のウェブページがモニタ１５上に表示される。
【００５３】
関連画像５６は、左上のものから右下のものへ、入力画像５３と関連度合が高い順に配置されている。例えば、入力画像と関連画像のそれぞれとの関係において、一致するキーワードの個数が多いものほど関連度合が高いものとする。
【００５４】
関連画像５６にポインタ５７を合わせてクリックすることで、関連画像５６を入力画像とする処理（上記と同様の処理）が実行される。
【００５５】
ウィンドウ５２の右端には、画面をスクロール表示するためのスクロールバー５８が設けられている。スクロールバー５８は、マウス１６を操作して、ポインタ５７でドラッグすることにより、スクロールできるようになっている。画面がスクロールされることで、非表示状態であった関連画像を表示することができる。
【００５６】
次に、上記構成のサーバ１１（図１及び図３参照）が広告表示装置として機能したときの処理手順について、図５のフローチャートを参照しながら説明する。ユーザーは、クライアント端末１３の操作部を操作して、サーバ１１に画像を入力する。サーバ１１に入力された画像は、ＲＡＭ３３に記憶される。
【００５７】
サーバ１１に入力された画像は、ＲＡＭ３３から特徴量取得部３６に読み出される。特徴量取得部３６では、入力画像の特徴量が取得される。取得された入力画像の特徴量は、ＲＡＭ３３に記憶される。
【００５８】
特徴量取得部３６で取得された入力画像の特徴量は、ＲＡＭ３３からキーワード取得部３７に読み出される。キーワード取得部３７では、ＨＤＤ３４に格納された人物一覧テーブルが参照されつつ、入力画像の特徴量に基づいて、キーワードが取得される。取得されたキーワードは、ＲＡＭ３３に記憶される。
【００５９】
キーワード取得部３７で取得されたキーワードは、ＲＡＭ３３から関連画像取得部３８に読み出される。関連画像取得部３８では、画像ＤＢ４１にアクセスされつつ、キーワード取得部３７で取得されたキーワードに基づいて、関連画像が取得される。取得された関連画像は、ＲＡＭ３３に記憶される。
【００６０】
関連画像取得部３８で取得された関連画像は、ＲＡＭ３３から特徴量取得部３６に読み出される。特徴量取得部３６では、関連画像の特徴量が取得される。取得された関連画像の特徴量は、ＲＡＭ３３に記憶される。
【００６１】
特徴量取得部３６で取得された関連画像の特徴量は、ＲＡＭ３３からキーワード取得部３７に読み出される。キーワード取得部３７では、ＨＤＤ３４に格納された人物一覧テーブルが参照されつつ、関連画像の特徴量に基づいて、キーワードが取得される。取得されたキーワードは、ＲＡＭ３３に記憶される。
【００６２】
キーワード取得部３７で取得された入力画像のキーワード、及び関連画像のキーワードは、ＲＡＭ３３から広告取得部３９に読み出される。広告取得部３９では、広告ＤＢ４２にアクセスされつつ、キーワード取得部３７で取得された入力画像のキーワード、及び関連画像のキーワードに基づいて、広告が取得される。取得された広告は、ＲＡＭ３３に記憶される。
【００６３】
サーバ１１に入力された入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像取得部３８で取得された関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告は、ＲＡＭ３３から通信Ｉ／Ｆ３５に読み出され、サーバ１１から出力される。
【００６４】
サーバ１１から出力された入力画像、そのキーワード、関連画像、及び広告は、インターネット１２を介してクライアント端末１３に送信される。クライアント端末１３に送信された入力画像、そのキーワード、関連画像、及び広告は、ＲＡＭ２３に記憶される。
【００６５】
クライアント端末１３に送信された入力画像、そのキーワード、関連画像、及び広告は、所定の形式でモニタ１５に表示される（図４参照）。
【００６６】
以上説明したように、サーバ１１に入力された入力画像の特徴量を元に広告を取得する構成であるから、画像にキーワードが付されていない場合、すなわちキーワードの入力がない場合であっても、画像に関連する広告を表示することができる。また、画像から抽出される特徴量を元に広告を取得する構成であるから、ＧＰＳ情報その他の付帯情報を必要とせず、確実に広告を表示することができる。さらに、入力画像の特徴量だけでなく、関連画像の特徴量を元にして広告を取得しているから、関連画像の検索結果と違和感のない広告を表示することができる。
【００６７】
［第２実施形態］
上記第１実施形態の広告表示装置では、入力画像に写る人物の顔を元に取得した関連画像や広告を出力する場合を例に説明したが、次に説明する第２実施形態の広告表示装置のように、入力画像の構図を元に取得した関連画像や広告を出力するようにしてもよい。
【００６８】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して色・濃度差（エッジ）、すなわち構図を抽出し、抽出した構図を特徴量として取得する。色の抽出は、例えば、最も画素数の多い色、最も密度の高い色などを選択する。また、特開平１０−１４３６７９号公報に記載された発明のように、色味の出現頻度などに基づいて色を抽出してもよい。なお、抽出する色は１色に限定されず、複数の色を抽出してもよい。構図の抽出は、例えば、特開２００５−０９６３３４号公報に記載されている技術を利用する。なお、詳しい説明は、特開２００５−０９６３３４号公報を参照されたい。
【００６９】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された構図一覧テーブル（図示省略）を検索し、該当する構図名をキーワードとして取得する。構図一覧テーブルには、特徴量取得部３６で取得される特徴量と、構図名（例えば、海、夜空など）とが関連付けて記録されている。
【００７０】
特徴量取得部３６は、関連画像を解析して構図を抽出し、抽出した構図を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された構図一覧テーブル（図示省略）を検索し、該当する構図名をキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７１】
［第３実施形態］
また、次に説明する第３実施形態の広告表示装置のように、入力画像に写る商品を元に取得した関連画像や広告を出力するようにしてもよい。
【００７２】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して物品の形状・模様・色を抽出し、抽出した物品の形状・模様・色を特徴量として取得する。形状・模様の抽出には、パターンマッチングなどの周知技術を利用する。色の抽出は、先に抽出された形状の中について、第１実施形態と同様の処理を行う。
【００７３】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された商品一覧テーブル（図示省略）を検索し、該当する商品名をキーワードとして取得する。商品一覧テーブルには、特徴量取得部３６で取得される特徴量と、商品名（例えば、コカコーラ（登録商標）、サントリー烏龍茶（登録商標）など）とが関連付けて記録されている。
【００７４】
特徴量取得部３６は、関連画像を解析して物品の形状・模様・色を抽出し、抽出した物品の形状・模様・色を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された商品一覧テーブル（図示省略）を検索し、該当する商品名をキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７５】
［第４実施形態］
また、次に説明する第４実施形態の広告表示装置のように、入力画像の色彩イメージを元に関連画像や広告を出力するようにしてもよい。
【００７６】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して複数の色を抽出し、抽出した色の組合せを特徴量として取得する。色の抽出は、画素数の多い色から順に、あるいは密度の高い色から順に行う。また、特開平１０−１４３６７９号公報に記載された発明のように、色味の出現頻度順などに基づいて色を抽出してもよい。
【００７７】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された色彩イメージ一覧テーブル（図示省略）を検索し、該当する色彩イメージをキーワードとして取得する。色彩イメージ一覧テーブルには、特徴量取得部３６で取得される特徴量と、色彩イメージ（例えば、明度の低い赤系と青系との組合せに対する「格調高い」、中明度のグレイ系の組合せに対する「ナチュラル」又は「エコロジカル」など）とが関連付けて記録されている。
【００７８】
特徴量取得部３６は、関連画像を解析して複数の色を抽出し、抽出した色の組合せを特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された色彩イメージ一覧テーブル（図示省略）を検索し、該当する色彩イメージをキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７９】
［第５実施形態］
また、次に説明する第５実施形態の広告表示装置にように、入力画像に写る文字を元に取得した関連画像や広告を出力するようにしてもよい。
【００８０】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して文字を抽出し、抽出した文字を特徴量として取得する。文字の抽出は、まず、文字が書かれた部分を抜き出すレイアウト解析を行い、これにより抜き出された部分から文字を一つずつ切り出す。そして、一文字ずつエッジ、輪郭、方向寄与度などを抽出し、予め登録されている標準パターンと比較照合する。さらに、マッチした数種の標準パターンを候補として出力し、この候補から前後の文脈などを加味しながら誤認識を訂正して、最終的に残った候補をテキストデータに変換する。
【００８１】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納されたワード一覧テーブル（図示省略）を検索し、該当するテキストデータをキーワードとして取得する。ワード一覧テーブルには、特徴量取得部３６で取得される特徴量と、テキストデータとが関連付けて記録されている。
【００８２】
特徴量取得部３６は、関連画像を解析して文字を抽出し、抽出した文字を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納されたワード一覧テーブル（図示省略）を検索し、該当するテキストデータをキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００８３】
なお、上記各実施形態の広告表示装置では、一つの基準（第１実施形態の場合は、人物の顔）を元に取得した関連画像や広告を出力する場合を例にそれぞれ説明したが、これらを統合した広告表示装置としてもよい。この場合、複数の基準を、選択的に用いたり、総合的に用いたりすることとなる。選択的に用いる場合には、自動選択したり（例えば、ランダム）、操作部１８からの操作指示に基づいて選択したりすることとなる。
【００８４】
総合的に用いる場合には、各基準について、入力画像の特徴量が取得されるまで解析したりする。例えば、特徴量取得部３６は、顔が取得されない場合に構図の取得を試みる。さらに、構図も取得されない場合に物品の形状・模様・色の取得を試みる。そして、物品の形状・模様・色が取得された場合には、色の組合せや文字の取得は行わない。重要と位置づけられる基準の特徴量から順に取得するようにすることで、画像の特徴を的確に把握することができる。また、特徴量が取得されないケースを少なくすることができる。
【００８５】
なお、上記各実施形態では、広告取得部３９は、入力画像の特徴量を元に取得されたキーワード、及び関連画像の特徴量を元に取得されたキーワードを元に、広告を取得したが、入力画像の特徴量、及び関連画像の特徴量を元に取得されたキーワードを元に、広告を取得するようにしてもよい。この場合、キーワード取得部３７は、入力画像の特徴量、及び関連画像の特徴量を元に、キーワードを取得する。具体例としては、入力画像の特徴量を元に入力画像のキーワードを取得するとともに、関連画像の特徴量を元に関連画像のキーワードを取得する。そして、入力画像のキーワードと関連画像のキーワードとで一致するものを、最終的にキーワードとして取得する。
【００８６】
また、上記各実施形態では、特徴量取得部３６は、入力画像を解析し、特徴量（顔・表情・顔の大きさ・髪型・アクセサリ、構図、物品の形状・模様・色、色の組合せ、文字）を抽出したが、インターネット上のいわゆるフォトストックサービスで実現されているように、その特徴量が予め抽出されている場合には、予め抽出されているその特徴量を直接取得するものとしてもよい。
【００８７】
また、上記各実施形態では、インターネット１２に接続されたサーバ１１に広告表示装置が構築され、万人がアクセス可能である場合を例に説明したが、これに限定されるものではない。例えば、個人が使用するパーソナルコンピュータに広告表示装置が構築されるようにしてもよい。この場合、広告取得部は、広告データベースを備えた外部のサーバにアクセスし、広告を取得する。
【００８８】
また、上記各実施形態で示した広告表示装置は一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。
【図面の簡単な説明】
【００８９】
【図１】ネットワークシステムの構成を示す概略図である。
【図２】クライアント端末の内部構成を示すブロック図である。
【図３】サーバの内部構成を示すブロック図である。
【図４】検索結果表示画面を示す説明図である。
【図５】広告表示の処理手順を説明するフローチャートである。
【符号の説明】
【００９０】
１１ サーバ（広告表示装置）
１５ モニタ
３５ 通信インターフェース（通信Ｉ／Ｆ、入力部、出力部）
３６ 特徴量取得部
３７ キーワード取得部
３８ 関連画像取得部
３９ 広告取得部
４０ 広告表示プログラム
４２ 広告データベース（広告ＤＢ）
【技術分野】
【０００１】
本発明は、検索した画像とともにその画像に関連する広告を表示する広告表示方法及び装置、並びに広告表示プログラムに関する。
【背景技術】
【０００２】
インターネット上の広告として、キーワード広告が普及している。キーワード広告とは、キーワードが入力された際にそのキーワードに関連して表示する広告のことであり、Yahoo!（登録商標）やGoogle（登録商標）などの検索サイトで採用されている。検索サイトでは、検索キーワードに関連するキーワード広告を、検索結果とともに表示する。なお、キーワード広告は、リアルタイムにメッセージの遣り取りをするチャットサイトに採用することも可能である（例えば、特許文献１参照）など、種々の使用態様がある。特許文献１の発明では、入力されたメッセージに含まれるキーワードに関連するキーワード広告を、チャット画面に表示する。
【０００３】
キーワード広告の他には、ＧＰＳ情報を元に表示する、観光地などの地域に特化した広告が存在する（例えば、特許文献２参照）。特許文献２の発明では、入力された画像のＧＰＳ情報を取得して、取得したＧＰＳ情報を元に広告を表示する。
【０００４】
ところで、画像の検索を行う場合、上述したキーワード検索の他に、画像をキーとして検索を行うこともある（例えば、特許文献３、４参照）。特許文献３、４の発明では、入力された画像からその特徴量を抽出し、抽出した特徴量を元に画像を検索する。
【特許文献１】特開２０００−１９４７２８号公報
【特許文献２】特開２００２−３２９１９１号公報
【特許文献３】特開平０８−２４９４６７号公報
【特許文献４】特開平１１−０９６３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の発明のように、キーワード広告を表示する場合には、キーワードの入力が条件となる。つまり、キーワードの入力がない場合には、広告を表示することができない。
【０００６】
特許文献２の発明のように、広告を表示する場合には、画像にＧＰＳ情報が付されていることが条件となる。しかし、ＧＰＳ情報が付されている画像の普及率は低く、また、ＧＰＳ情報が付されている画像であってもそのＧＰＳ情報が損失することも少なくないため、特許文献２の発明のように広告を表示する方法は、ロバスト性に欠ける。
【０００７】
特許文献３、４の発明のように、画像をキーとしてその特徴量を元に検索を行う場合、キーワード入力を伴っていないので、このままでは広告を表示することができない。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、入力された画像だけを元に広告を表示する広告表示方法及び装置、並びに広告表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の広告表示装置は、入力部を介して入力された画像の特徴量を取得する特徴量取得部と、前記画像に関連する関連画像を取得する関連画像取得部と、前記特徴量を元に、広告を取得する広告取得部と、前記広告を、前記関連画像とともにモニタに出力する出力部とを備えている。
【００１０】
請求項２に記載の発明では、前記特徴量を元に、前記画像に関連するキーワードを取得するキーワード取得部を備え、前記広告取得部は、前記キーワードを元に、広告を取得する。
【００１１】
請求項３に記載の発明では、前記特徴量取得部は、前記関連画像の特徴量を取得し、前記キーワード取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に、キーワードを取得し、前記広告取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得する。
【００１２】
請求項４に記載の発明では、前記特徴量取得部は、前記関連画像の特徴量を取得し、前記キーワード取得部は、前記関連画像の特徴量を元に、キーワードを取得し、前記広告取得部は、前記入力部を介して入力された画像の特徴量を元に取得されたキーワード、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得する。
【００１３】
請求項５に記載の発明では、前記特徴量取得部が抽出する特徴量は、被写体である。
【００１４】
請求項６に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、人物の顔である。請求項７に記載の発明では、前記キーワード取得部は、人物の顔とその名称とを関連付けて記憶した人物一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１５】
請求項８に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、商品である。請求項９に記載の発明では、前記キーワード取得部は、商品とその名称とを関連付けて記憶した商品一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１６】
請求項１０に記載の発明では、前記特徴量取得部が特徴量として抽出する被写体は、文字である。
【００１７】
請求項１１に記載の発明では、前記特徴量取得部が抽出する特徴量は、複数の色の組合せであり、前記キーワード取得部は、複数の色の組合せと、その組合せから連想される色彩イメージの単語とを関連付けて記憶した色彩イメージ一覧テーブルを用いて、前記画像に関連するキーワードを取得する。
【００１８】
請求項１２に記載の発明では、前記広告取得部は、キーワードが付された広告を記憶した広告データベースにアクセスし、広告を取得する。
【００１９】
請求項１３に記載の発明では、前記関連画像取得部は、前記入力部を介して入力された画像の特徴量を元に、前記関連画像を取得する。
【００２０】
本発明の広告表示方法は、画像の特徴量を特徴量取得部で取得する特徴量取得ステップと、前記画像に関連する関連画像を関連画像取得部で取得する関連画像取得ステップと、前記特徴量を元に、広告を広告取得部で取得する広告取得ステップと、前記広告を、前記関連画像とともに出力部を介してモニタに出力する出力ステップとを備えている。
【００２１】
本発明の広告表示プログラムは、画像の特徴量を取得する特徴量取得ステップと、前記画像に関連する関連画像を取得する関連画像取得ステップと、前記特徴量を元に、広告を取得する広告取得ステップと、前記広告を、前記関連画像とともにモニタに出力する出力ステップとをコンピュータに実行させる。
【発明の効果】
【００２２】
本発明の広告表示方法及び装置、並びに広告表示プログラムによれば、入力された画像だけを元に広告を表示することができる。
【発明を実施するための最良の形態】
【００２３】
［第１実施形態］
図１において、第１実施形態における広告表示装置は、広告表示プログラム４０（図３参照）のインストールによってサーバ１１に構築される形式で実現される。広告表示装置は、画像の入力を受けて、その入力された画像（以下、「入力画像」ともいう。）に関連する画像（以下、「関連画像」ともいう。）を取得するとともに、入力画像の特徴量を元に広告を取得し、入力画像、関連画像、及び広告を、インターネット１２を介してクライアント端末１３に送信する。クライアント端末１３に送信された入力画像、関連画像、及び広告は、モニタ１５に表示される（図４参照）。
【００２４】
サーバ１１は、インターネット１２を介して接続されたクライアント端末１３とともに、ネットワークシステム１４を構成する。クライアント端末１３は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ１５と、操作信号を出力するマウス１６及びキーボード１７からなる操作部１８とを備えている。
【００２５】
クライアント端末１３には、デジタルカメラ１９で撮影して得られた画像や、メモリカードやＣＤ−Ｒなどの記録媒体２０に記録された画像が送信され、あるいは、インターネット１２を経由して画像が転送される。
【００２６】
デジタルカメラ１９は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや、無線ＬＡＮなどによりクライアント端末１３に接続され、クライアント端末１３とのデータの相互通信が可能となっている。また、記録媒体２０も同様に、専用のドライバを介してクライアント端末１３とのデータの遣り取りが可能となっている。
【００２７】
図２に示すように、クライアント端末１３を構成するＣＰＵ２１は、操作部１８から入力される操作信号などに従ってクライアント端末１３全体を統括的に制御する。ＣＰＵ２１には、操作部１８の他に、データバス２２を介して、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、通信インターフェース（通信Ｉ／Ｆ）２５、及びモニタ１５が接続されている。
【００２８】
ＲＡＭ２３は、ＣＰＵ２１が処理を実行するための作業用メモリである。ＨＤＤ２４には、クライアント端末１３を動作させるための各種プログラムやデータが記憶されている他に、デジタルカメラ１９、記録媒体２０、あるいは、インターネット１２から取り込まれた画像が記憶される。ＣＰＵ２１は、ＨＤＤ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。
【００２９】
通信Ｉ／Ｆ２５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。また、通信Ｉ／Ｆ２５は、デジタルカメラ１９や記録媒体２０などの外部機器とのデータ通信も行う。
【００３０】
図３に示すように、サーバ１１を構成するＣＰＵ３１は、インターネット１２を経由してクライアント端末１３から入力される操作信号に従ってサーバ１１全体を統括的に制御する。ＣＰＵ３１には、データバス３２を介して、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、通信インターフェース（通信Ｉ／Ｆ）３５、特徴量取得部３６、キーワード取得部３７、関連画像取得部３８、及び広告取得部３９が接続されている。
【００３１】
ＲＡＭ３３は、ＣＰＵ３１が処理を実行するための作業用メモリである。ＨＤＤ３４には、サーバ１１を動作させるための各種プログラムやデータが記憶されている。また、ＨＤＤ３４には、広告表示プログラム４０が記憶されている。ＣＰＵ３１は、ＨＤＤ３４からプログラムを読み出してＲＡＭ３３に展開し、読み出したプログラムを逐次処理する。
【００３２】
ＨＤＤ３４には、画像データベース（画像ＤＢ）４１と、広告データベース（広告ＤＢ）４２とが設けられている。画像ＤＢ４１には、複数の画像のデータとともに、画像一覧テーブル及びキーワード一覧テーブル（ともに図示省略）が格納されている。
【００３３】
画像一覧テーブルは、取込み時に自動的に付けられるＩＤ（取込み順に付した通し番号）を見出しとして、画像のファイル名を記憶している。キーワード一覧テーブルは、ＩＤを見出しとして、画像に付されたキーワードを記憶している。
【００３４】
画像に付されたキーワードには、画像に元々付されたもの、画像を取り込んだ際にファイルシステムなどの外部データベースから取得したもの（画像のタイトル・ジャンル・イメージなどをキーワードとしたもの）などがある。なお、画像一覧テーブルとキーワード一覧テーブルとを統合して、一つのデータテーブルとしてもよい。
【００３５】
広告ＤＢ４２には、複数の広告とともに、広告一覧テーブル及びキーワード一覧テーブル（ともに図示省略）が格納されている。広告は、画像やＵＲＬ（Uniform Resource Locator）などで構成される。広告一覧テーブルは、取込み時に自動的に付けられるＩＤ（取込み順に付した通り番号）を見出しとして、広告のファイル名を記憶している。キーワード一覧テーブルは、ＩＤを見出しとして、広告に付されたキーワードを記憶している。
【００３６】
広告に付されたキーワードには、広告に元々付されたもの、広告を取り込んだ際にファイルシステムなどの外部データベースから取得したもの（広告のタイトル・ジャンル・イメージなどをキーワードとしたもの）などがある。なお、広告一覧テーブルとキーワード一覧テーブルとを統合して、一つのデータテーブルとしてもよい。
【００３７】
通信Ｉ／Ｆ３５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。通信Ｉ／Ｆ３５は、画像が入力される入力部として機能し、また、サーバ１１で処理されたデータ（入力画像、関連画像、広告）をクライアント端末１３のモニタ１５に出力する出力部として機能する。通信Ｉ／Ｆ３５を介して入力されたデータは、ＲＡＭ３３に一時的に記憶される。
【００３８】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して人物の顔を抽出し、抽出した顔を特徴量として取得する。顔の抽出には、特開２００５−２６７５１２号公報で開示されている赤目検出を用いた方法などを利用する。詳しい説明は、特開２００５−２６７５１２号公報を参照されたい。なお、顔の抽出には、パターンマッチングや、肌色検出などの周知技術を利用してもよい。
【００３９】
また、特徴量取得部３６は、抽出された顔からその表情を認識し、認識した表情を特徴量として取得する。表情の認識には、特開平１０−２５５０４３号公報で開示されている隠れマルコフモデル（ＨＭＭ）を用いた技術などを利用する。なお、詳しい説明は、特開平１０−２５５０４３号公報を参照されたい。
【００４０】
さらに、特徴量取得部３６は、抽出された顔に関する事項、及びその他の事項（例えば、顔の大きさ、髪型、アクセサリなど）を特徴量として取得する。顔に関する事項、及びその他の事項の取得には、周知技術を用いるのであれば何でもよい。なお、詳しい説明は省略する。
【００４１】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された人物一覧テーブル（図示省略）を検索し、該当する人名を入力画像のキーワード（入力画像に関連するキーワード）として取得する。人物一覧テーブルには、特徴量取得部３６で取得される特徴量と、人名その他のキーワード（例えば、表情、顔の大きさ、髪型、アクセサリなど）とが関連付けて記録されている。
【００４２】
関連画像取得部３８は、キーワード取得部３７で取得されたキーワードに基づいて、画像ＤＢ４１を検索し、当該キーワードと関連付けて記憶されている画像を、関連画像として取得する。
【００４３】
特徴量取得部３６は、関連画像を解析して人物の顔を抽出し、抽出した顔を特徴量として取得する。また、特徴量取得部３６は、抽出された顔に関する事項、及びその他の事項（例えば、表情、顔の大きさ、髪型、アクセサリなど）を特徴量として取得する。
【００４４】
キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された人物一覧テーブル（図示省略）を検索し、該当する人名を関連画像のキーワード（関連画像に関連する）として取得する。
【００４５】
広告取得部３９は、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告ＤＢ４２を検索し、広告を取得する。具体的には、まず、入力画像のキーワードと一致するキーワードと関連付けて記憶されている広告を仮取得する。入力画像のキーワードが複数ある場合には、そのうちのいずれかのキーワードと一致するキーワードと関連付けて記憶されている広告を仮取得する。
【００４６】
複数の広告が仮取得された場合には、その中から、関連画像のキーワードのうち入力画像のキーワードと共通しないキーワード（例えば、関連画像のキーワードが「Ａ」、「Ｂ」及び「Ｃ」で、入力画像のキーワードが「Ａ」、「Ｂ」、「Ｄ」である場合は「Ｃ」）、と一致するキーワードと関連付けて記憶されている広告を取得する。
【００４７】
最終的に複数の広告が取得された場合には、一つの広告に絞り込む。広告の絞込みは、アクセス頻度あるいは投資金額に基づいて予め設定されたポイントが最も高いものとしたり、検索に最初にヒットしたものとしたりすればよい。なお、入力画像のキーワード、及び関連画像のキーワードに基づいて、広告を取得されればよく、上記の方法に限定されるものではない。
【００４８】
入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告は、インターネット１２を介してクライアント端末１３に送信される。
【００４９】
クライアント端末１３は、入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告が送信されると、それらを検索結果画面５１（図４参照）としてモニタ１５に表示する。
【００５０】
図４に示す検索結果画面５１には、ウィンドウ５２が表示される。ウィンドウ５２には、入力画像５３、そのキーワード（「蛇原友里」、「アップ」、「へびちゃん」、「無表情」、「コサージュ」）５４、広告５５、及び関連画像５６が配置される。
【００５１】
ウィンドウ５２上には、選択操作に用いるポインタ５７が表示される。ポインタ５７は、マウス１６が操作されることでウィンドウ５２上を移動する。
【００５２】
広告５５は、画像５５ａ及びハイパーリンク５５ｂから構成されている。ハイパーリンク５５ｂには、リンク先のＵＲＬ（Uniform Resource Locator）が埋め込まれている。ハイパーリンク５５ｂにポインタ５７を合わせてマウス１６をクリックすることで、リンク先のウェブページがモニタ１５上に表示される。
【００５３】
関連画像５６は、左上のものから右下のものへ、入力画像５３と関連度合が高い順に配置されている。例えば、入力画像と関連画像のそれぞれとの関係において、一致するキーワードの個数が多いものほど関連度合が高いものとする。
【００５４】
関連画像５６にポインタ５７を合わせてクリックすることで、関連画像５６を入力画像とする処理（上記と同様の処理）が実行される。
【００５５】
ウィンドウ５２の右端には、画面をスクロール表示するためのスクロールバー５８が設けられている。スクロールバー５８は、マウス１６を操作して、ポインタ５７でドラッグすることにより、スクロールできるようになっている。画面がスクロールされることで、非表示状態であった関連画像を表示することができる。
【００５６】
次に、上記構成のサーバ１１（図１及び図３参照）が広告表示装置として機能したときの処理手順について、図５のフローチャートを参照しながら説明する。ユーザーは、クライアント端末１３の操作部を操作して、サーバ１１に画像を入力する。サーバ１１に入力された画像は、ＲＡＭ３３に記憶される。
【００５７】
サーバ１１に入力された画像は、ＲＡＭ３３から特徴量取得部３６に読み出される。特徴量取得部３６では、入力画像の特徴量が取得される。取得された入力画像の特徴量は、ＲＡＭ３３に記憶される。
【００５８】
特徴量取得部３６で取得された入力画像の特徴量は、ＲＡＭ３３からキーワード取得部３７に読み出される。キーワード取得部３７では、ＨＤＤ３４に格納された人物一覧テーブルが参照されつつ、入力画像の特徴量に基づいて、キーワードが取得される。取得されたキーワードは、ＲＡＭ３３に記憶される。
【００５９】
キーワード取得部３７で取得されたキーワードは、ＲＡＭ３３から関連画像取得部３８に読み出される。関連画像取得部３８では、画像ＤＢ４１にアクセスされつつ、キーワード取得部３７で取得されたキーワードに基づいて、関連画像が取得される。取得された関連画像は、ＲＡＭ３３に記憶される。
【００６０】
関連画像取得部３８で取得された関連画像は、ＲＡＭ３３から特徴量取得部３６に読み出される。特徴量取得部３６では、関連画像の特徴量が取得される。取得された関連画像の特徴量は、ＲＡＭ３３に記憶される。
【００６１】
特徴量取得部３６で取得された関連画像の特徴量は、ＲＡＭ３３からキーワード取得部３７に読み出される。キーワード取得部３７では、ＨＤＤ３４に格納された人物一覧テーブルが参照されつつ、関連画像の特徴量に基づいて、キーワードが取得される。取得されたキーワードは、ＲＡＭ３３に記憶される。
【００６２】
キーワード取得部３７で取得された入力画像のキーワード、及び関連画像のキーワードは、ＲＡＭ３３から広告取得部３９に読み出される。広告取得部３９では、広告ＤＢ４２にアクセスされつつ、キーワード取得部３７で取得された入力画像のキーワード、及び関連画像のキーワードに基づいて、広告が取得される。取得された広告は、ＲＡＭ３３に記憶される。
【００６３】
サーバ１１に入力された入力画像、キーワード取得部３７で取得された入力画像のキーワード、関連画像取得部３８で取得された関連画像、キーワード取得部３７で取得された関連画像のキーワード、及び広告取得部３９で取得された広告は、ＲＡＭ３３から通信Ｉ／Ｆ３５に読み出され、サーバ１１から出力される。
【００６４】
サーバ１１から出力された入力画像、そのキーワード、関連画像、及び広告は、インターネット１２を介してクライアント端末１３に送信される。クライアント端末１３に送信された入力画像、そのキーワード、関連画像、及び広告は、ＲＡＭ２３に記憶される。
【００６５】
クライアント端末１３に送信された入力画像、そのキーワード、関連画像、及び広告は、所定の形式でモニタ１５に表示される（図４参照）。
【００６６】
以上説明したように、サーバ１１に入力された入力画像の特徴量を元に広告を取得する構成であるから、画像にキーワードが付されていない場合、すなわちキーワードの入力がない場合であっても、画像に関連する広告を表示することができる。また、画像から抽出される特徴量を元に広告を取得する構成であるから、ＧＰＳ情報その他の付帯情報を必要とせず、確実に広告を表示することができる。さらに、入力画像の特徴量だけでなく、関連画像の特徴量を元にして広告を取得しているから、関連画像の検索結果と違和感のない広告を表示することができる。
【００６７】
［第２実施形態］
上記第１実施形態の広告表示装置では、入力画像に写る人物の顔を元に取得した関連画像や広告を出力する場合を例に説明したが、次に説明する第２実施形態の広告表示装置のように、入力画像の構図を元に取得した関連画像や広告を出力するようにしてもよい。
【００６８】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して色・濃度差（エッジ）、すなわち構図を抽出し、抽出した構図を特徴量として取得する。色の抽出は、例えば、最も画素数の多い色、最も密度の高い色などを選択する。また、特開平１０−１４３６７９号公報に記載された発明のように、色味の出現頻度などに基づいて色を抽出してもよい。なお、抽出する色は１色に限定されず、複数の色を抽出してもよい。構図の抽出は、例えば、特開２００５−０９６３３４号公報に記載されている技術を利用する。なお、詳しい説明は、特開２００５−０９６３３４号公報を参照されたい。
【００６９】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された構図一覧テーブル（図示省略）を検索し、該当する構図名をキーワードとして取得する。構図一覧テーブルには、特徴量取得部３６で取得される特徴量と、構図名（例えば、海、夜空など）とが関連付けて記録されている。
【００７０】
特徴量取得部３６は、関連画像を解析して構図を抽出し、抽出した構図を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された構図一覧テーブル（図示省略）を検索し、該当する構図名をキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７１】
［第３実施形態］
また、次に説明する第３実施形態の広告表示装置のように、入力画像に写る商品を元に取得した関連画像や広告を出力するようにしてもよい。
【００７２】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して物品の形状・模様・色を抽出し、抽出した物品の形状・模様・色を特徴量として取得する。形状・模様の抽出には、パターンマッチングなどの周知技術を利用する。色の抽出は、先に抽出された形状の中について、第１実施形態と同様の処理を行う。
【００７３】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された商品一覧テーブル（図示省略）を検索し、該当する商品名をキーワードとして取得する。商品一覧テーブルには、特徴量取得部３６で取得される特徴量と、商品名（例えば、コカコーラ（登録商標）、サントリー烏龍茶（登録商標）など）とが関連付けて記録されている。
【００７４】
特徴量取得部３６は、関連画像を解析して物品の形状・模様・色を抽出し、抽出した物品の形状・模様・色を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された商品一覧テーブル（図示省略）を検索し、該当する商品名をキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７５】
［第４実施形態］
また、次に説明する第４実施形態の広告表示装置のように、入力画像の色彩イメージを元に関連画像や広告を出力するようにしてもよい。
【００７６】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して複数の色を抽出し、抽出した色の組合せを特徴量として取得する。色の抽出は、画素数の多い色から順に、あるいは密度の高い色から順に行う。また、特開平１０−１４３６７９号公報に記載された発明のように、色味の出現頻度順などに基づいて色を抽出してもよい。
【００７７】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納された色彩イメージ一覧テーブル（図示省略）を検索し、該当する色彩イメージをキーワードとして取得する。色彩イメージ一覧テーブルには、特徴量取得部３６で取得される特徴量と、色彩イメージ（例えば、明度の低い赤系と青系との組合せに対する「格調高い」、中明度のグレイ系の組合せに対する「ナチュラル」又は「エコロジカル」など）とが関連付けて記録されている。
【００７８】
特徴量取得部３６は、関連画像を解析して複数の色を抽出し、抽出した色の組合せを特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納された色彩イメージ一覧テーブル（図示省略）を検索し、該当する色彩イメージをキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００７９】
［第５実施形態］
また、次に説明する第５実施形態の広告表示装置にように、入力画像に写る文字を元に取得した関連画像や広告を出力するようにしてもよい。
【００８０】
特徴量取得部３６は、サーバ１１に画像が入力されると、その入力画像を解析して文字を抽出し、抽出した文字を特徴量として取得する。文字の抽出は、まず、文字が書かれた部分を抜き出すレイアウト解析を行い、これにより抜き出された部分から文字を一つずつ切り出す。そして、一文字ずつエッジ、輪郭、方向寄与度などを抽出し、予め登録されている標準パターンと比較照合する。さらに、マッチした数種の標準パターンを候補として出力し、この候補から前後の文脈などを加味しながら誤認識を訂正して、最終的に残った候補をテキストデータに変換する。
【００８１】
キーワード取得部３７は、入力画像の特徴量に基づいて、ＨＤＤ３４に格納されたワード一覧テーブル（図示省略）を検索し、該当するテキストデータをキーワードとして取得する。ワード一覧テーブルには、特徴量取得部３６で取得される特徴量と、テキストデータとが関連付けて記録されている。
【００８２】
特徴量取得部３６は、関連画像を解析して文字を抽出し、抽出した文字を特徴量として取得する。キーワード取得部３７は、関連画像の特徴量に基づいて、ＨＤＤ３４に格納されたワード一覧テーブル（図示省略）を検索し、該当するテキストデータをキーワードとして取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。また、上記第１実施形態と処理手順、及び効果は同様であり、その説明についても省略する。
【００８３】
なお、上記各実施形態の広告表示装置では、一つの基準（第１実施形態の場合は、人物の顔）を元に取得した関連画像や広告を出力する場合を例にそれぞれ説明したが、これらを統合した広告表示装置としてもよい。この場合、複数の基準を、選択的に用いたり、総合的に用いたりすることとなる。選択的に用いる場合には、自動選択したり（例えば、ランダム）、操作部１８からの操作指示に基づいて選択したりすることとなる。
【００８４】
総合的に用いる場合には、各基準について、入力画像の特徴量が取得されるまで解析したりする。例えば、特徴量取得部３６は、顔が取得されない場合に構図の取得を試みる。さらに、構図も取得されない場合に物品の形状・模様・色の取得を試みる。そして、物品の形状・模様・色が取得された場合には、色の組合せや文字の取得は行わない。重要と位置づけられる基準の特徴量から順に取得するようにすることで、画像の特徴を的確に把握することができる。また、特徴量が取得されないケースを少なくすることができる。
【００８５】
なお、上記各実施形態では、広告取得部３９は、入力画像の特徴量を元に取得されたキーワード、及び関連画像の特徴量を元に取得されたキーワードを元に、広告を取得したが、入力画像の特徴量、及び関連画像の特徴量を元に取得されたキーワードを元に、広告を取得するようにしてもよい。この場合、キーワード取得部３７は、入力画像の特徴量、及び関連画像の特徴量を元に、キーワードを取得する。具体例としては、入力画像の特徴量を元に入力画像のキーワードを取得するとともに、関連画像の特徴量を元に関連画像のキーワードを取得する。そして、入力画像のキーワードと関連画像のキーワードとで一致するものを、最終的にキーワードとして取得する。
【００８６】
また、上記各実施形態では、特徴量取得部３６は、入力画像を解析し、特徴量（顔・表情・顔の大きさ・髪型・アクセサリ、構図、物品の形状・模様・色、色の組合せ、文字）を抽出したが、インターネット上のいわゆるフォトストックサービスで実現されているように、その特徴量が予め抽出されている場合には、予め抽出されているその特徴量を直接取得するものとしてもよい。
【００８７】
また、上記各実施形態では、インターネット１２に接続されたサーバ１１に広告表示装置が構築され、万人がアクセス可能である場合を例に説明したが、これに限定されるものではない。例えば、個人が使用するパーソナルコンピュータに広告表示装置が構築されるようにしてもよい。この場合、広告取得部は、広告データベースを備えた外部のサーバにアクセスし、広告を取得する。
【００８８】
また、上記各実施形態で示した広告表示装置は一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。
【図面の簡単な説明】
【００８９】
【図１】ネットワークシステムの構成を示す概略図である。
【図２】クライアント端末の内部構成を示すブロック図である。
【図３】サーバの内部構成を示すブロック図である。
【図４】検索結果表示画面を示す説明図である。
【図５】広告表示の処理手順を説明するフローチャートである。
【符号の説明】
【００９０】
１１ サーバ（広告表示装置）
１５ モニタ
３５ 通信インターフェース（通信Ｉ／Ｆ、入力部、出力部）
３６ 特徴量取得部
３７ キーワード取得部
３８ 関連画像取得部
３９ 広告取得部
４０ 広告表示プログラム
４２ 広告データベース（広告ＤＢ）
【特許請求の範囲】
【請求項１】
入力部を介して入力された画像の特徴量を取得する特徴量取得部と、
前記画像に関連する関連画像を取得する関連画像取得部と、
前記特徴量を元に、広告を取得する広告取得部と、
前記広告を、前記関連画像とともにモニタに出力する出力部とを備えたことを特徴とする広告表示装置。
【請求項２】
前記特徴量を元に、前記画像に関連するキーワードを取得するキーワード取得部を備え、
前記広告取得部は、前記キーワードを元に、広告を取得することを特徴とする請求項１に記載の広告表示装置。
【請求項３】
前記特徴量取得部は、前記関連画像の特徴量を取得し、
前記キーワード取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に、キーワードを取得し、
前記広告取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得することを特徴とする請求項２に記載の広告表示装置。
【請求項４】
前記特徴量取得部は、前記関連画像の特徴量を取得し、
前記キーワード取得部は、前記関連画像の特徴量を元に、キーワードを取得し、
前記広告取得部は、前記入力部を介して入力された画像の特徴量を元に取得されたキーワード、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得することを特徴とする請求項２に記載の広告表示装置。
【請求項５】
前記特徴量取得部が抽出する特徴量は、被写体であることを特徴とする請求項２〜４のいずれかに記載の広告表示装置。
【請求項６】
前記特徴量取得部が特徴量として抽出する被写体は、人物の顔であることを特徴とする請求項５に記載の広告表示装置。
【請求項７】
前記キーワード取得部は、人物の顔とその名称とを関連付けて記憶した人物一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項６に記載の広告表示装置。
【請求項８】
前記特徴量取得部が特徴量として抽出する被写体は、商品であることを特徴とする請求項５〜７のいずれかに記載の広告表示装置。
【請求項９】
前記キーワード取得部は、商品とその名称とを関連付けて記憶した商品一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項８に記載の広告表示装置。
【請求項１０】
前記特徴量取得部が特徴量として抽出する被写体は、文字であることを特徴とする請求項５〜９のいずれかに記載の広告表示装置。
【請求項１１】
前記特徴量取得部が抽出する特徴量は、複数の色の組合せであり、
前記キーワード取得部は、複数の色の組合せと、その組合せから連想される色彩イメージの単語とを関連付けて記憶した色彩イメージ一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項２〜１０のいずれかに記載の広告表示装置。
【請求項１２】
前記広告取得部は、キーワードが付された広告を記憶した広告データベースにアクセスし、広告を取得することを特徴とする請求項１〜１１のいずれかに記載の広告表示装置。
【請求項１３】
前記関連画像取得部は、前記入力部を介して入力された画像の特徴量を元に、前記関連画像を取得することを特徴とする請求項１〜１２のいずれかに記載の広告表示装置。
【請求項１４】
画像の特徴量を特徴量取得部で取得する特徴量取得ステップと、
前記画像に関連する関連画像を関連画像取得部で取得する関連画像取得ステップと、
前記特徴量を元に、広告を広告取得部で取得する広告取得ステップと、
前記広告を、前記関連画像とともに出力部を介してモニタに出力する出力ステップとを備えたことを特徴とする広告表示方法。
【請求項１５】
画像の特徴量を取得する特徴量取得ステップと、
前記画像に関連する関連画像を取得する関連画像取得ステップと、
前記特徴量を元に、広告を取得する広告取得ステップと、
前記広告を、前記関連画像とともにモニタに出力する出力ステップとをコンピュータに実行させることを特徴とする広告表示プログラム。
【請求項１】
入力部を介して入力された画像の特徴量を取得する特徴量取得部と、
前記画像に関連する関連画像を取得する関連画像取得部と、
前記特徴量を元に、広告を取得する広告取得部と、
前記広告を、前記関連画像とともにモニタに出力する出力部とを備えたことを特徴とする広告表示装置。
【請求項２】
前記特徴量を元に、前記画像に関連するキーワードを取得するキーワード取得部を備え、
前記広告取得部は、前記キーワードを元に、広告を取得することを特徴とする請求項１に記載の広告表示装置。
【請求項３】
前記特徴量取得部は、前記関連画像の特徴量を取得し、
前記キーワード取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に、キーワードを取得し、
前記広告取得部は、前記入力部を介して入力された画像の特徴量、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得することを特徴とする請求項２に記載の広告表示装置。
【請求項４】
前記特徴量取得部は、前記関連画像の特徴量を取得し、
前記キーワード取得部は、前記関連画像の特徴量を元に、キーワードを取得し、
前記広告取得部は、前記入力部を介して入力された画像の特徴量を元に取得されたキーワード、及び前記関連画像の特徴量を元に取得されたキーワードを元に、広告を取得することを特徴とする請求項２に記載の広告表示装置。
【請求項５】
前記特徴量取得部が抽出する特徴量は、被写体であることを特徴とする請求項２〜４のいずれかに記載の広告表示装置。
【請求項６】
前記特徴量取得部が特徴量として抽出する被写体は、人物の顔であることを特徴とする請求項５に記載の広告表示装置。
【請求項７】
前記キーワード取得部は、人物の顔とその名称とを関連付けて記憶した人物一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項６に記載の広告表示装置。
【請求項８】
前記特徴量取得部が特徴量として抽出する被写体は、商品であることを特徴とする請求項５〜７のいずれかに記載の広告表示装置。
【請求項９】
前記キーワード取得部は、商品とその名称とを関連付けて記憶した商品一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項８に記載の広告表示装置。
【請求項１０】
前記特徴量取得部が特徴量として抽出する被写体は、文字であることを特徴とする請求項５〜９のいずれかに記載の広告表示装置。
【請求項１１】
前記特徴量取得部が抽出する特徴量は、複数の色の組合せであり、
前記キーワード取得部は、複数の色の組合せと、その組合せから連想される色彩イメージの単語とを関連付けて記憶した色彩イメージ一覧テーブルを用いて、前記画像に関連するキーワードを取得することを特徴とする請求項２〜１０のいずれかに記載の広告表示装置。
【請求項１２】
前記広告取得部は、キーワードが付された広告を記憶した広告データベースにアクセスし、広告を取得することを特徴とする請求項１〜１１のいずれかに記載の広告表示装置。
【請求項１３】
前記関連画像取得部は、前記入力部を介して入力された画像の特徴量を元に、前記関連画像を取得することを特徴とする請求項１〜１２のいずれかに記載の広告表示装置。
【請求項１４】
画像の特徴量を特徴量取得部で取得する特徴量取得ステップと、
前記画像に関連する関連画像を関連画像取得部で取得する関連画像取得ステップと、
前記特徴量を元に、広告を広告取得部で取得する広告取得ステップと、
前記広告を、前記関連画像とともに出力部を介してモニタに出力する出力ステップとを備えたことを特徴とする広告表示方法。
【請求項１５】
画像の特徴量を取得する特徴量取得ステップと、
前記画像に関連する関連画像を取得する関連画像取得ステップと、
前記特徴量を元に、広告を取得する広告取得ステップと、
前記広告を、前記関連画像とともにモニタに出力する出力ステップとをコンピュータに実行させることを特徴とする広告表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−８６３９２（Ｐ２０１０−８６３９２Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６２６０（Ｐ２００８−２５６２６０）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]