検索システム及び携帯端末
【課題】映像中の検索可能なオブジェクトを検索システムの利用者に提示することで、システムの利用者がメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも確実に取得する。
【解決手段】映像表示装置によって表示された特徴映像を撮像する撮像部と、撮像した前記特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、前記検索要求を検索サーバに送信する検索要求送信部と、前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と、前記特徴映像及び前記検索結果を表示する表示部とを有する。
【解決手段】映像表示装置によって表示された特徴映像を撮像する撮像部と、撮像した前記特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、前記検索要求を検索サーバに送信する検索要求送信部と、前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と、前記特徴映像及び前記検索結果を表示する表示部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれるオブジェクトに関する情報を検索する検索システム、及び携帯端末に関する。
【背景技術】
【０００２】
デジタルテレビが普及し、テレビ番組の視聴者はテレビ番組自体の映像や音声から得られる情報に加えて、データ通信チャンネルを流れるいわゆるメタデータから番組の内容や天気等に関する情報を得られるようになった。しかし、メタデータから得られる情報は簡素なものであり、テレビ番組を視聴しながらより詳しい情報を得たいという要求に対しては十分でないことも多く、テレビ番組の視聴中に携帯電話等の携帯情報端末を用いて検索サイトにアクセスし、気になる情報を検索する視聴者がいる。そのような視聴者を対象として、例えば、特許文献１において携帯端末を用いて気になる情報へ容易にアクセスできるようにする検索システムが開示されている。
【０００３】
特許文献１の検索システムの利用者は、テレビ画面に表示された二次元バーコードを携帯端末により撮像してメタデータを取得し、そのメタデータを含む検索要求を検索サーバに送信して応答を受信することで、そのメタデータに関連する情報にアクセスできる。
【０００４】
しかし、特許文献１の検索システムは、メタデータに利用者が知りたいと思う情報があらかじめ含まれていることを前提としており、その利用者はメタデータに知りたいと思う情報が含まれていない場合は所望の情報にアクセスできない。また、メタデータを含まない映像からは所望の情報にアクセスすることはできない。
【０００５】
そこで、メタデータを含まない映像からも所望の情報へのアクセスを容易にする検索システムとして、画像認識技術を用いて映像を解析し、解析結果から検索要求を生成して検索サーバに問い合わせ、検索結果を取得するシステムが考えられる。それに類似した検索システムが、例えば、特許文献２において開示されている。
【０００６】
特許文献２の検索システムの利用者は、特徴的なパターンを含む画像を携帯端末によって撮像し、画像認識技術によってそのパターンを抽出し、抽出したパターンから検索要求を生成して検索サーバに問い合わせることで上記パターンに関連した情報を取得できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１６６５３７号公報
【特許文献２】特開２００４−２３４４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２の検索システムは、検索要求の基となる画像は任意に撮像したものであり、撮像した映像に検索可能なオブジェクトが含まれず検索に失敗することがある。
【０００９】
そこで、本発明は上記の課題に鑑みてなされてものであり、本発明の検索システムは、映像中の検索可能なオブジェクトを検索システムの利用者に提示することで、システムの利用者がメタデータを含まない任意の映像中のオブジェクトに関する情報を精度よく取得できるための検索システム及び携帯端末を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明の検索システムの第１の特徴は、信号を入力する信号入力部と、信号から映像を生成するデコード部と、映像に含まれるオブジェクトを検出するオブジェクト検出部と、検出したオブジェクトの周囲に特徴画像が配置された特徴映像を生成するターゲット生成部と、ターゲット生成部で生成された特徴映像を表示する映像表示部とを有する映像表示装置と、映像表示装置によって表示された特徴映像を撮像する撮像部と、撮像した特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出したオブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、検索要求を検索サーバに送信する検索要求送信部と、検索要求に対する応答として検索結果を検索サーバから受信する検索結果受信部と、特徴映像及び検索結果を表示する表示部とを有する携帯端末と、検索キーと情報とを関連付けて記憶する情報記憶部を有する検索インデックスと、検索要求を受信する要求受信部と、検索要求に含まれる検索キーに関連付けられた情報を検索インデックスから取得する検索エンジン部と、検索キーに関連付けられた情報から検索結果を構成する検索結果構成部と、検索結果を検索要求に対する応答として携帯端末に送信する応答送信部とを有する検索サーバとを備えることを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも高い確率で容易に取得できる。
【００１１】
また、本発明の検索システムの第２の特徴は、第１の特徴の検索システムにおいて、検索サーバは、要求受信部において情報の有無を確認する目的で送信された検索キーを含む検索性確認要求を受信し、検索エンジン部において検索キーに関連付けられた情報を検索インデックスから取得し、検索結果構成部において情報の数に応じて情報の有無を表す検索性確認結果を構成し、応答送信部において検索性確認結果を応答する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報をさらに高い確率で容易に取得できる。
【００１２】
また、本発明の検索システムの第３の特徴は、第１の特徴のいずれかの検索システムにおいて、検索インデックスは、情報記憶部において検索キーと情報と情報の内容を表すキーワードとを関連付けて記憶し、検索サーバは、複数のキーワード間の類似度を計算する情報類似度計算部を有し、要求受信部において情報の有無を確認する目的で送信された検索キーを含む検索性確認要求を受信し、検索エンジン部において検索キーに関連付けられた複数の情報とキーワードを検索インデックスから取得し、情報類似度計算部において複数の情報に関連付けられたキーワードの類似度を計算し、検索結果構成部において類似度に応じて情報の有無を表す検索性確認結果を構成し、応答送信部において検索性確認結果を応答する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を精度良く取得できる。
【００１３】
また、本発明の検索システムの第４の特徴は、第２または３の特徴のいずれかの検索システムにおいて、映像表示装置は、オブジェクトを基に検索性確認要求を生成する検索性確認要求生成部と、検索性確認要求を検索サーバに送信する検索性確認要求送信部と、検索性確認要求に対する応答として検索性確認結果を検索サーバから受信する検索性確認結果受信部とを有し、ターゲット生成部において検索性確認結果に応じてオブジェクトの周囲に特徴画像が配置された特徴映像の生成の有無を制御する特徴を有しても良い。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を精度良く、さらに高い確率で容易に取得できる。
【００１４】
また、本発明の検索システムの第５の特徴は、第１から４の特徴のいずれかの検索システムにおいて、映像表示装置はオブジェクト検出部において同時に検出するオブジェクトの数を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は複数の検索対象候補から自身の興味にあった対象を選択して検索できるようになり、検索の自由度を高めることができる。
【００１５】
また、本発明の検索システムの第６の特徴は、第１から５の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示する頻度を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の頻繁な表示による目障りさを低減できる。
【００１６】
また、本発明の検索システムの第７の特徴は、第１から６の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示する時間を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の長時間の表示による目障りさを低減できる。
【００１７】
また、本発明の検索システムの第８の特徴は、第１から７の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示しない時間を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の頻繁な表示・非表示の切り替えによる目障りさを低減できる。
【００１８】
また、本発明の検索システムの第９の特徴は、第１から８の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部においてオブジェクトを強調する電子透かしを特徴画像が配置された特徴映像に埋め込む特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は携帯端末によるオブジェクトの検出が容易になり、所望の情報をさらに高い確率で容易に取得できるようになる。
【００１９】
また、本発明の検索システムの第１０の特徴は、第１から８の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部においてオブジェクトから生成された検索キーを、電子透かしとして特徴画像で囲われた特徴映像に埋め込み、携帯端末は、撮像部において電子透かしが埋め込まれた特徴映像を撮像し、ターゲット検出部において撮像した特徴映像から検索キーを検出し、検索要求生成部において検索キーを含む検索要求を生成する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は映像表示装置によって検索可能と判断された検索キーを用いて検索を行え、メタデータを含まない任意の映像中のオブジェクトに関する情報をさらに高い確率で容易に取得できるようになる。
【００２０】
また、本発明の携帯端末の特徴は、信号を入力する信号入力部に基づき、信号から映像を生成し、映像に含まれるオブジェクトを検出し、検出したオブジェクトの周囲に特徴画像が配置された特徴映像を生成し、特徴画像が配置された特徴映像が表示される映像表示装置の特徴映像を撮像する撮像部と、撮像した特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出したオブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、検索要求を検索サーバに送信する検索要求送信部と、検索要求に対する応答として検索結果を検索サーバから受信する検索結果受信部とを備えることを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも高い確率で容易に取得できる。
【発明の効果】
【００２１】
本発明によれば、システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも確実に取得できる。
また、映像表示装置においてオブジェクトに関する情報が検索可能であることを確認した後に特徴画像を表示することで、システムの利用者は所望の情報をさらに高い確率で容易に取得できる。
【００２２】
また、映像表示装置からの検索性確認要求に対し、検索サーバにおいて情報の類似度を計算することで、システムの利用者は所望の情報を高い精度で取得できる。
また、映像表示装置に表示する特徴画像の数・出現頻度・表示時間を制御することで、特徴画像の表示及び表示・非表示の切り替えによる目障りさを低減できる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態の概略を示す概略図である。
【図２】第１の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図３】第１の実施形態の映像表示装置の作用を示すフローチャート図である。
【図４】映像表示装置によって表示される映像の例を示す図である。
【図５】第１の実施形態の携帯端末の作用を示すフローチャート図である。
【図６】携帯端末によって表示される画像の例を示す図である。
【図７】検索キーの例を示す図である。
【図８】検索要求の例を示す図である。
【図９】第１の実施形態の検索サーバの作用を示すフローチャート図である。
【図１０】第１の実施形態の検索インデックスに記憶された情報管理テーブルの例である。
【図１１】検索結果の例を示す図である。
【図１２】第２の実施形態の概略を示す概略図である。
【図１３】第２の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図１４】第２の実施形態の映像表示装置の作用を示すフローチャート図である。
【図１５】検索性確認要求の例を示す図である。
【図１６】第２の実施形態の検索サーバの作用を示すフローチャート図である。
【図１７】第３の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図１８】第３の実施形態の検索サーバの作用を示すフローチャート図である。
【図１９】第３の実施形態の検索インデックスに記憶された情報管理テーブルの例である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は第１の実施形態の概略図である。検索システム１００は、映像表示装置１１０と、携帯端末１２０と、検索サーバ１３０と、検索インデックス１４０から成り立っている。映像表示装置１１０は、映像配信元Ｏから映像信号を受信し、受信した映像信号を加工して表示する。携帯端末は、映像表示装置１１０によって表示された映像を撮像し、撮像画像を加工して検索要求を生成し、検索サーバ１３０に送信し、検索結果を受信する。検索サーバ１３０は、受信した検索要求に従って検索インデックス１４０から情報を取得し、その情報を加工して検索結果を生成し、携帯端末１２０に送信する。以上の検索システム１００により、携帯端末１２０の利用者は、映像表示装置１１０に表示された映像を見ながら、その映像に関連する情報を検索し、取得できる。
【００２５】
（検索システムの構成）
以下、本実施形態の構成について図面を参照し説明する。図２は本実施形態の構成要素及び構成要素間の関係を示す構成図である。映像表示装置１１０は、信号入力部１１１と、デコード部１１２と、オブジェクト検出部１１３と、ターゲット生成部１１４と、映像表示部１１５を備える。信号入力部１１１は映像信号を受信する。デコード部１１２は上記映像信号をデコードして映像を生成する。オブジェクト検出部１１３は上記映像から検索対象となるオブジェクトを検出する。ターゲット生成部１１４は上記オブジェクトの周辺に特徴的な画像（本出願において「特徴画像」と呼ぶ）が配置された映像を生成する。映像表示部１１５は、ターゲット生成部１１４において生成された上記映像を表示する。
【００２６】
携帯端末１２０は、撮像部１２１と、ターゲット検出部１２２と、検索要求生成部１２３と、検索要求送信部１２４と、検索結果受信部１２５と表示部１２６を備える。撮像部１２１は、映像表示装置１１０の映像表示部１１５に表示された上記映像を撮像する。ターゲット検出部１２２は、撮像した画像から上記特徴画像が配置された周辺の画像を検出する。検索要求生成部１２３は、ターゲット検出部１２２において上記特徴画像が配置された周辺の画像の検出が成功した場合に、その画像を基に検索キーを生成し、その検索キーを含む検索要求を生成する。検索要求送信部１２４は、検索サーバ１３０に上記検索要求を送信する。検索結果受信部１２５は、検索サーバ１３０から検索結果を受信する。表示部１２６は、上記検索結果を表示し、また、ターゲット検出部１２２において上記特徴画像が配置された周辺の画像の検出が失敗した場合に、撮像部１２１において撮像した画像を表示する。
【００２７】
検索サーバ１３０は、要求受信部１３１と、検索エンジン部１３２と、検索結果構成部１３３と、応答送信部１３４を備える。要求受信部１３１は、携帯端末１２０の検索要求送信部１２４から送信された検索要求を受信する。検索エンジン部１３２は、検索インデックス１４０から上記検索要求に含まれる上記検索キーに関連した情報を取得する。検索結果構成部１３３は、上記情報を整形し検索結果を構成する。応答送信部１３４は、上記検索結果を携帯端末１２０に送信する。
【００２８】
検索インデックス１４０は、情報記憶部１４１を備える。情報記憶部１４１は、上記検索キーと上記情報を関連付けて記憶する。
【００２９】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。図３は、映像表示装置１１０の各構成要素の作用を示すフローチャートである。信号入力部１１１は、映像配信元Ｏから配信される映像信号を受信する（Ｓ１０１）。本実施形態に限らず本出願における映像信号は、テレビの放送信号の他、ＤＶＤプレーヤー・レコーダー、ＨＤＤレコーダー、ＢＤプレーヤー・レコーダー等の映像再生機器から入力される再生信号、ＦＴＴＨ、ｘＤＳＬ等の通信ケーブルから入力される動画像の信号、無線ＬＡＮ、Bluetooth等の無線通信により取得される動画像の信号を含んでいる。
【００３０】
デコード部１１２は、受信した映像信号をデコードして映像を生成する（Ｓ１０２）。この映像は、一般的に、複数の画像が連続して再生可能な形式になっていると見なすことができる。以下、単に画像と述べた場合、それは映像表示装置１１０に表示されるある時刻・瞬間における映像またはその一部を意味する。
【００３１】
オブジェクト検出部１１３は、画像から、その画像に特徴的な量（特徴量）を算出する。特徴量は、例えば、画像の輝度値や色、その局所的な勾配、またはそれらの時間的な変化量の他、局所的かつ幾何学的変形に強い点・量（例えば、D. G. Lowe，「Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision」，vol. 2，pp. 1150？1157，1999に示されているSIFTやH. Bay，A. Ess，T. Tuytelaars，L. V. Gool，「SURF: Speeded Up Robust Features」， Computer Vision and Image Understanding， Vol. 110， No. 3， pp. 346--359， 2008．に示されているSURF等）、クラスタリングによって上記の特徴量を整理・分類することで作成される特徴量（例えば、G. Csurka，C. R. Dance，C. Bray，and L. Fan，「Visual categorization with bags of keypoints」，Proc. Workshop on Statistical Learning in Computer Vision，pp.1-22，2004．に示されているBug of Keypointsのヒストグラム等）がある。本実施形態のオブジェクト検出部１１３においては、輝度値と色、輝度値にGaborフィルタを畳み込んで求められる局所的な方向（勾配）を特徴量として用いる。
【００３２】
また、オブジェクト検出部１１３は、それらの特徴量から画像の各座標の注目度を算出する（Ｓ１０４）。本実施形態においては、L. Itti，C. Koch，and E. Niebur，「A model of saliency-based visual attention for rapid scene analysis」，IEEE Patt. Anal. Mach. Intell.，Vol. 20，No. 11，pp. 1254？1259，1998．に示されているSaliency Map（顕著性マップ）を注目度として用いる。Saliency Mapは、画像中の各ピクセルが人の視覚注意を引く強さを表すマップであり、上記輝度値・色・局所的な方向から求めることができる。
【００３３】
さらに、オブジェクト検出部１１３は、Saliency Mapから最も高い注目度を見つけ、その周辺の領域を検出する（Ｓ１０５）。検出する領域は、注目度が最も高いピクセルを含み、注目度が閾値ａを越えるピクセルを含む領域とする。閾値ａは、例えば最も高い注目度の０．８倍の値である。領域の検出動作としては、上記の動作以外にも、例えば、注目度が最も高いピクセルを含み、注目度の勾配がある閾値を超えるエッジで囲われた領域を検出する動作、または、例えば、J. Shi，J.Malic，「Normalized Cuts and Image Segmentation」，IEEE Trans. PAMI，vol. 22，no. 8，2000．に示されているNormalized Cuts等の領域分割法を用いて得た領域から注目度が最も高いピクセルを含む領域を選択する動作等があり、注目度の高い領域を検出する動作であればどのような動作でもよい。
【００３４】
また、上記ではオブジェクト検出部１１３は１つの領域のみを検出するが、検出する領域は複数でもよい。その場合はSaliency Mapから上位複数の注目度を選出し、それらを含む周辺の領域を上記と同様に検出する。
【００３５】
また、上記ではオブジェクト検出部１１３は映像を構成する画像全てに対してSaliency Mapを計算し注目度が高い領域を検出しているが、上記領域を一度検出すると画面が切り替わるまでのしばらくの時間その領域周辺にオブジェクトが存在すると仮定し、画像の時間変化を計算してその領域の移動をトラッキングすることで上記領域を求めてもよい。その場合、上記トラッキングの最短時間・最長時間を決め、トラッキングを行う時間を制御してもよい。また、画面に大きく変化が生じた場合（上記領域の周辺における画像の時間差分の絶対値の総和が大きく変化した場合）は画面が切り替わったものとして、その直後からSaliency Mapを再度計算し直して上記領域を検出する。
【００３６】
ターゲット生成部１１４は、検出された領域内の注目度を全て足し合わせ、総注目度を求める。求めた総注目度を閾値αと比較し（Ｓ１０６）、総注目度の値が閾値αを超える場合は、検出した領域を包含する最小の矩形領域を求める（Ｓ１０７）。閾値αは、例えば最も高い注目度に映像の総画素数の０．１倍の数を掛けた値である。これにより、検出された上記領域が少なくとも映像中の総面積の１割以上を占める場合にのみ、上記矩形領域を求めるようになる。
【００３７】
その後、ターゲット生成部１１４は、上記矩形領域の周辺に特徴画像を配置した映像を生成する（Ｓ１０８）。上記特徴画像は、例えば、図４のＭ０１のような検出した領域Ｗ０１の周囲を囲う上記矩形領域の各頂点に配置された十字型の図形である。Ｍ０１のような図形以外にも、矩形領域の４頂点を細い線で結んだ枠等でもよく、オブジェクトＷ０１を包含して強調するものであればどのような図形・画像でもよい。
【００３８】
また、上記ではターゲット生成部１１４は１つの矩形領域の周辺のみに特徴画像を配置した映像を生成するが、オブジェクト検出部１１３において複数の領域を検出した場合は、その複数の領域を囲む複数の矩形領域の周辺に特徴画像を配置した映像を生成してもよい。
【００３９】
また、上記ではターゲット生成部１１４はオブジェクト検出部１１３において検出された領域の総注目度のみに着目して上記矩形領域を求め、特徴画像が配置された映像の生成の可否を制御したが、その他の基準により特徴画像が配置された映像の生成を制御してもよい。例えば、上記特徴画像の最短表示時間と最長表示時間を決め、最短表示時間を越えるまでは上記特徴画像を含む映像を生成し続け、最長表示時間を超えた場合は上記特徴画像を含む映像の生成を行わないといった具合に制御してもよい。また、特徴画像の生成が行われなくなった後、しばらくの間上記特徴画像を含む映像を生成しないように制御してもよい。また、上記特徴画像の単位時間あたりの生成回数に上限値を設け、その上限値を超えないように制御してもよい。
【００４０】
映像表示部１１５は、ターゲット生成部１１４で映像が生成された場合にはその映像を、それ以外の場合は、デコード部１１２で生成された映像を表示する（Ｓ１０９）。図４は表示された映像の例である。
【００４１】
図５は、携帯端末１２０の各構成要素の作用を示すフローチャートである。撮像部１２１は、映像表示装置１１０の映像表示部１１５に表示された映像を撮像する（Ｓ１１０）。ターゲット検出部１２２は、撮像された画像から上記特徴画像を探索し、上記矩形領域の４頂点を求めることで上記矩形領域を検出する。上記矩形領域の検出に成功したか確認し（Ｓ１１２）、失敗した場合は、表示部１２６が撮像された画像を表示する（Ｓ１１３）。上記矩形領域の検出に成功するか、または図示しない利用者からの入力等の割り込みにより停止されるまで、上記の撮像部１２１、ターゲット検出部１２２、表示部１２６による処理を繰り返す。上記矩形領域を検出する直前の表示部１２６の表示の例を図６に示す。図６において、Ｍ０２は特徴画像Ｍ０１を撮像した画像、Ｗ０２は同様にＷ０１を撮像した画像である。Ｆ０１は、携帯端末の表示部１２６に表示される枠であり、携帯端末の利用者が前記矩形領域の短辺（図６の上方の２つの特徴画像を結んだ辺）がこの枠で示される辺に合わさるように撮像することで前記矩形領域が検出される。
【００４２】
検索要求生成部１２３は、検出された上記矩形領域内の特徴量を算出する（Ｓ１１４）。ここで算出される特徴量は、上記で挙げた特徴量である。例えば、Bug of Keypointsを特徴量（特徴ベクトルのヒストグラム）として算出する。
【００４３】
その後、検索要求生成部１２３は、算出した特徴量を基に検索キーを生成する。検索キーは、例えば、上記のBug of Keypointsのヒストグラムをそのまま用い、図７のK０１のようになる。さらに、検索要求生成部１２３は、上記の検索キーを含む検索要求を生成する（Ｓ１１５）。その検索要求は、例えば図８のＱ１となる。ここで、検索キーはBug of Keypointsのヒストグラムを用いたが、上述のその他の特徴量を用いてもよく、複数の特徴量を組み合わせて用いてもよい。
【００４４】
検索要求送信部１２４は、検索サーバ１３０に上記検索要求を送信する（Ｓ１１６）。その後、検索結果受信部１２５が、検索サーバ１３０から検索結果を受信し（Ｓ１２２）、表示部１２６がその検索結果を表示する（Ｓ１２３）。
【００４５】
図９は、検索サーバ１３０の各構成要素の作用を示すフローチャートである。要求受信部１３１は、携帯端末１２０から検索要求を受信する（Ｓ１１７）。
【００４６】
検索エンジン部１３２は、上記検索要求から検索キーを取り出す（Ｓ１１８）。検索インデックス１４０の情報記憶部１４１は、例えば、図１０の情報管理テーブルＴ０１のような表により検索キーと情報を関連付けて記憶しており、検索エンジン部１３２は、そこから検索キーに対応する情報を検索し、取得する（Ｓ１１９）。その際、検索キー（一次元配列）の各要素を１０進数で表した際の１の位の値を無視して検索してもよい。また、検索キーを分割し、分割された各検索キーを含む情報を検索してもよい。
【００４７】
検索結果構成部１３３は、取得した上記情報を整形し、検索結果を構成する（Ｓ１２０）。検索結果は、例えば、図１１のＡ０１のようになる。
【００４８】
（検索システムの作用・効果）
以上のように、第１の実施形態は、映像表示装置によって人の視覚注意が向き易くコンピュータにとっても検知し易い（そのため検索インデックスを作成する際に情報が蓄え易い）領域の周辺にのみ特徴画像を表示する。その特徴画像は、検索システムの利用者に対して、その特徴画像周辺のオブジェクトに関する情報が検索可能であることを伝える目印である。検索システムの利用者はその特徴画像が表示されたとき、かつその特徴画像周辺のオブジェクトの情報を調べたいときのみ、所持している携帯端末により特徴画像周辺の映像を撮像することで、そこに写ったオブジェクトに関する情報を取得できる。
【００４９】
そのため、特徴画像が表示された場合は検索インデックス内にその周辺のオブジェクトに関する情報が蓄積されている可能性が高く、本実施形態に係る検索システムの利用者は所望の情報を高い確率で容易に取得できる。
【００５０】
また、周辺を特徴画像で囲われた領域を複数含む映像を表示する場合、本実施形態に係る検索システムの利用者は、複数の検索対象候補から自身の興味にあった対象を選択して検索できるようになり、検索の自由度が高まる。
【００５１】
また、ターゲット生成部１１４において特徴画像の生成を制御することで特徴画像を表示する時間、または表示しない時間、単位時間当たりの表示頻度のいずれかを制御する場合、特徴画像の頻繁な表示・非表示の切り替えが抑制されるため、本実施形態に係る検索システムの利用者に対して与える特徴画像の表示及び表示・非表示の切り替えによる目障りさを低減できる。さらに、特徴画像を表示する時間と単位時間当たりの表示頻度の両方、または、特徴画像を表示しない時間と単位時間当たりの表示頻度の両方を制御することで、より目障りさを低減できる。
【００５２】
（第２の実施形態）
以下、第２の実施形態について図面を参照し説明する。第１の実施形態と同様の構成で同様の作用を生じるものについては、同一記号を与え、説明を省略する。
【００５３】
図１２は、第２の実施形態の概略図である。第１の実施形態との違いは、映像表示装置２１０と、検索サーバ２３０にある。映像表示装置２１０は、映像を加工して検索性確認要求を生成し、検索サーバ２３０に送信する。そして、その応答に従って表示を制御する。検索サーバ２３０は、映像表示装置２１０から検索性確認要求を受信し、それに従って検索インデックスから情報を取得する。そして、取得した情報の件数に応じて、検索性確認結果を生成し、映像表示装置２１０に送信する。
【００５４】
（検索システムの構成）
以下、本実施形態の構成について図面を参照し説明する。図１３は本実施形態の構成要素及び構成要素間の関係を示す構成図である。
【００５５】
第１の実施形態との違いは、映像表示装置２１０については検索性確認要求生成部２１１と、検索性確認要求送信部２１２、検索性確認要求受信部２１３、ターゲット生成部２１４にあり、検索サーバ２３０については要求受信部２３１と、検索エンジン部２３２、検索結果構成部２３３、応答送信部２３４にある。
【００５６】
映像表示装置２１０の検索性確認要求生成部２１１はオブジェクト検出部１１３で検出された領域の画像に基づいて上記検索キーを生成し、その検索キーを含む検索性確認要求を生成する。検索性確認要求送信部２１２は検索サーバ２３０に上記検索性確認要求を送信する。検索性確認要求受信部２１３は検索サーバ２３０から検索性確認結果を受信する。ターゲット生成部２１４はオブジェクト検出部１１３で検出された領域と検索性確認結果に応じて上記領域の周辺に特徴画像が配置された映像を生成する。
【００５７】
検索サーバ２３０の要求受信部２３１は、第１の実施形態と同様に携帯端末１２０から検索要求を受信するだけでなく、映像表示装置２１０からも検索性確認要求を受信する。検索エンジン部２３２は、情報インデックス１４０から検索要求・検索性確認要求に含まれる上記検索キーに対応した情報を取得する。検索結果構成部２３３は、検索要求に対しては上記検索結果を構成し、検索性確認要求に対しては取得した上記情報の件数に応じて検索性確認結果を生成する。応答送信部２３４は、携帯端末１２０に検索結果を送信し、映像表示装置２１０に検索性確認結果を送信する。
【００５８】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。まず、映像表示装置２１０の各構成要素の作用について説明する。図１４は、映像表示装置２１０の各構成要素の作用を示すフローチャートである。検索性確認要求生成部２１１は、オブジェクト検出部１１３で検出された領域の特徴量を算出する。その特徴量は、携帯端末１２０の検索要求生成部１２３が算出するものと等しい種類の特徴量を算出する。そして、検索性確認要求生成部２１１は、算出された特徴量を基に携帯端末１２０の検索要求生成部１２３と等しい動作により検索キーを生成し、その検索キーを含む検索性確認要求を生成する（Ｓ２０１）。検索性確認要求は、例えば、図１５のＱ０２のようになる。この場合、検索要求生成部１２３が生成する検索要求との違いは、末尾に「；ｃｈｅｃｋ＝１」が含まれることである。この末尾の文字列は、検索性確認要求と一対一に対応付けられるものであればどのような文字列でもよく、末尾ではなく先頭に付加しても、判別可能な位置であればよい。また、文字列等のテキストデータではなくバイナリデータであってもよい。
【００５９】
検索性確認要求送信部２１２は、検索サーバ２３０に上記検索性確認要求を送信する（Ｓ２０２）。検索性確認結果受信部２１３は、検索サーバ２３０から上記検索性確認要求に対する応答として検索性確認結果を受信する（Ｓ２０３）。ターゲット生成部２１４は、まず検索性確認結果が検索可能を意味しているか確認する（Ｓ２０４）。検索性確認結果が検索可能を意味していれば、第１の実施形態と同様に検出した領域を包含する最小の矩形領域を求め（Ｓ１０７）、その矩形領域の周辺に特徴画像が配置された映像を生成する（Ｓ１０８）。検索確認結果が検索不能を意味していれば、映像に対して何も加工を施さない。
【００６０】
また、ターゲット生成部２１４は上記特徴画像の他に、上記矩形領域内に電子透かしを埋め込んだ映像を生成してもよい。上記電子透かしとして埋め込まれる情報には、上記矩形領域内の画像の特徴量を強調する（矩形領域内のオブジェクトを強調する）情報を用いてもよい。また、上記電子透かしとして埋め込まれる情報には、上記検索キーを用いてもよい。
【００６１】
次に、検索サーバ２３０の各構成要素の作用について説明する。なお、ここでは検索サーバ２３０の携帯端末１２０に対する作用は第１の実施形態と等しいため省略し、映像表示装置２１０に対する作用のみについて述べる。図１６は、検索サーバ２３０の各構成要素の作用を示すフローチャートである。要求受信部２３１は、映像表示装置２１０から検索性確認要求を受信する（Ｓ２０５）。
【００６２】
検索エンジン部２３２は、上記検索性確認要求から上記検索キーを取り出し（Ｓ２０６）、検索インデックス１４０から上記検索キーに対応する情報を取得する（Ｓ２０７）。
【００６３】
検索結果構成部２３３は、上記情報の件数とβを比較し（Ｓ２０８）、上記情報の件数がβを超えれば検索可能を意味する検索性確認結果を構成し（Ｓ２０９）、β以下であれば検索不能を意味する検索性確認結果を構成する（Ｓ２１０）。βは、検索インデックス１４０の規模にもよるが、例えば、β＝１００００や、検索インデックス１４０が記憶している情報の総数の１％以上の値等を設定する。
応答送信部２３４は、映像表示装置２１０に上記検索性確認結果を送信する。
【００６４】
（検索システムの作用・効果）
以上のように、第２の実施形態は、映像表示装置２１０がオブジェクト検出部１１３において検出した領域に含まれるオブジェクトに関する情報が検索可能であることを確認した後に特徴画像を表示する。そのため、特徴画像が表示された場合は検索インデックス内にその周辺のオブジェクトに関する情報が蓄積されている可能性が第１の実施形態よりも高く、本実施形態に係る検索システムの利用者は所望の情報をさらに高い確率で容易に取得できる。
【００６５】
また、特徴画像で囲われた矩形領域内にその矩形領域内の特徴量を強調する電子透かしを埋め込んだ場合、携帯端末１２０のターゲット検出部１２２によって特徴量の算出が容易になり、本実施形態に係る検索システムの利用者は所望の情報をさらに高い確率で容易に取得できるようになる。
【００６６】
また、特徴画像で囲われた矩形領域内に検索キーを電子透かしとして埋め込んだ場合、携帯端末１２０の検索要求生成部１２３においてその検索キーを読み出し、それを用いて検索要求を生成することで、本実施形態に係る検索システムの利用者は、映像表示装置２１０によって検索可能と判断された検索キーを用いて検索を行え、所望の情報をさらに高い確率で容易に取得できるようになる。
【００６７】
（第３の実施形態）
以下、第３の実施形態について図面を参照し説明する。上述の他の実施形態と同様の構成で同様の作用を生じるものについては、同一記号を与え、説明を省略する。
【００６８】
（検索システムの構成）
図１７は、第３の実施形態の構成要素及び構成要素間の関係を示す構成図である。上述の他の実施形態との違いは、検索サーバ３３０と検索インデックス３４０にある。検索サーバ３３０の上述の他の実施形態との違いは、検索エンジン部３３１と、情報類似度計算部３３２と、検索結果構成部３３３にある。検索インデックス３４０の上述の他の実施形態との違いは、情報記憶部３４１に記憶されている情報管理テーブルにある。
【００６９】
検索エンジン部３３１は、要求受信部２３１において受信した検索要求または検索性確認要求から検索キーを取り出し、検索インデックス３４０から上記検索キーに対応した情報を取得する。
【００７０】
情報類似度計算部３３２は、検索性確認要求に対しては、取得した上記情報の類似度を計算する。検索要求に対しては特に何も行わない。
【００７１】
検索結果構成部３３３は、検索性確認要求に対しては、上記類似度に応じて検索性確認結果を構成する。検索要求に対しては、上述の他の実施形態と同様に検索結果を構成する。
【００７２】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。図１８は、検索サーバ３３０の各構成要素の作用を示すフローチャートである。なお、ここでは検索サーバ３３０の携帯端末１２０に対する作用は上述の他の実施形態と等しいため省略し、映像表示装置２１０に対する作用のみについて述べる。検索エンジン部３３１は、上記検索性確認要求から上記検索キーを取り出し、検索インデックス３４０から上記検索キーに対応する情報とキーワードを取得する（Ｓ３０１）。ここで取得される情報とキーワードは、例えば、図１９の情報管理テーブルＴ０２に示すように検索インデックス３４０の情報記憶部３４１に検索キーに関連付けられて記憶されている。
【００７３】
情報類似度計算部３３２は、上記情報に関連付けられたキーワードから類似度を算出する。その算出動作は、例えば、キーワード毎に関連する情報の件数を数え、その件数が最も多いキーワードの当該件数が全体の件数に占める割合として算出する（Ｓ３０２）。この算出動作はあくまで例であり、その他の算出動作を用いてもよい。
【００７４】
検索結果構成部３３３は、上記類似度とγを比較し（Ｓ３０３）、上記類似度がγを超えれば検索可能を意味する検索性確認結果を構成し（Ｓ２０９）、γ以下であれば検索不能を意味する検索性確認結果を構成する（Ｓ２１０）。γは、例えば、γ＝０．５（５０％）といった値に設定する。ここで、類似度が０．５を超えるということは、上記検索キーに関連した情報の半数以上が同一の上記キーワードに関連することを意味する。
【００７５】
（検索システムの作用・効果）
以上のように、第３の実施形態は、検索サーバ３３０において情報の類似度を計算し、その値がある一定以上を示す場合に検索可能を意味する検索性確認結果を構成する。そのため、映像表示装置２１０が検索可能を意味する検索性確認結果を受信し、その結果として特徴画像が表示された場合は、検索インデックス内に蓄積されている上記特徴画像周辺のオブジェクトに関する情報は、特定のキーワードで識別されるオブジェクトに偏った情報である。よって、得られる情報は特徴画像で囲われた領域内のオブジェクトに真に関連する情報である可能性が高まり、本実施形態に係る検索システムの利用者は所望の情報を上述の他の実施形態と比較して高い精度で取得できる。
【００７６】
以上、この発明の実施形態について図面を参照して詳述してきたが、上記実施形態は本発明の単なる例示に過ぎず、要旨を逸脱しない範囲において変更が可能であり、本発明を何ら限定するものではない。
【符号の説明】
【００７７】
Ｏ 映像配信元
Ｋ０１ 検索キー
Ｑ０１ 検索要求
Ｑ０２ 検索性確認要求
Ｍ０１，Ｍ０２ 特徴画像
Ｗ０１，Ｗ０２ オブジェクト
Ｆ０１ 撮像フレーム
Ｔ０１，Ｔ０２ 情報管理テーブル
Ａ０１ 検索結果
１００，２００ 検索システム
１１０，２１０ 映像表示装置
１１１ 信号入力部
１１２ デコード部
１１３ オブジェクト検出部
１１４，２１４ ターゲット生成部
１１５ 映像表示部
１２０ 携帯端末
１２１ 撮像部
１２２ ターゲット検出部
１２３ 検索要求生成部
１２４ 検索要求送信部
１２５ 検索要求受信部
１２６ 表示部
１３０，２３０ 検索サーバ
１３１，２３１ 要求受信部
１３２，２３２，３３１ 検索エンジン部
１３３，２３３，３３３ 検索結果構成部
１３４，２３４ 応答送信部
１４０，３４０ 検索インデックス
１４１ 情報記憶部
３３２ 情報類似度計算部
【技術分野】
【０００１】
本発明は、画像中に含まれるオブジェクトに関する情報を検索する検索システム、及び携帯端末に関する。
【背景技術】
【０００２】
デジタルテレビが普及し、テレビ番組の視聴者はテレビ番組自体の映像や音声から得られる情報に加えて、データ通信チャンネルを流れるいわゆるメタデータから番組の内容や天気等に関する情報を得られるようになった。しかし、メタデータから得られる情報は簡素なものであり、テレビ番組を視聴しながらより詳しい情報を得たいという要求に対しては十分でないことも多く、テレビ番組の視聴中に携帯電話等の携帯情報端末を用いて検索サイトにアクセスし、気になる情報を検索する視聴者がいる。そのような視聴者を対象として、例えば、特許文献１において携帯端末を用いて気になる情報へ容易にアクセスできるようにする検索システムが開示されている。
【０００３】
特許文献１の検索システムの利用者は、テレビ画面に表示された二次元バーコードを携帯端末により撮像してメタデータを取得し、そのメタデータを含む検索要求を検索サーバに送信して応答を受信することで、そのメタデータに関連する情報にアクセスできる。
【０００４】
しかし、特許文献１の検索システムは、メタデータに利用者が知りたいと思う情報があらかじめ含まれていることを前提としており、その利用者はメタデータに知りたいと思う情報が含まれていない場合は所望の情報にアクセスできない。また、メタデータを含まない映像からは所望の情報にアクセスすることはできない。
【０００５】
そこで、メタデータを含まない映像からも所望の情報へのアクセスを容易にする検索システムとして、画像認識技術を用いて映像を解析し、解析結果から検索要求を生成して検索サーバに問い合わせ、検索結果を取得するシステムが考えられる。それに類似した検索システムが、例えば、特許文献２において開示されている。
【０００６】
特許文献２の検索システムの利用者は、特徴的なパターンを含む画像を携帯端末によって撮像し、画像認識技術によってそのパターンを抽出し、抽出したパターンから検索要求を生成して検索サーバに問い合わせることで上記パターンに関連した情報を取得できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１６６５３７号公報
【特許文献２】特開２００４−２３４４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２の検索システムは、検索要求の基となる画像は任意に撮像したものであり、撮像した映像に検索可能なオブジェクトが含まれず検索に失敗することがある。
【０００９】
そこで、本発明は上記の課題に鑑みてなされてものであり、本発明の検索システムは、映像中の検索可能なオブジェクトを検索システムの利用者に提示することで、システムの利用者がメタデータを含まない任意の映像中のオブジェクトに関する情報を精度よく取得できるための検索システム及び携帯端末を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明の検索システムの第１の特徴は、信号を入力する信号入力部と、信号から映像を生成するデコード部と、映像に含まれるオブジェクトを検出するオブジェクト検出部と、検出したオブジェクトの周囲に特徴画像が配置された特徴映像を生成するターゲット生成部と、ターゲット生成部で生成された特徴映像を表示する映像表示部とを有する映像表示装置と、映像表示装置によって表示された特徴映像を撮像する撮像部と、撮像した特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出したオブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、検索要求を検索サーバに送信する検索要求送信部と、検索要求に対する応答として検索結果を検索サーバから受信する検索結果受信部と、特徴映像及び検索結果を表示する表示部とを有する携帯端末と、検索キーと情報とを関連付けて記憶する情報記憶部を有する検索インデックスと、検索要求を受信する要求受信部と、検索要求に含まれる検索キーに関連付けられた情報を検索インデックスから取得する検索エンジン部と、検索キーに関連付けられた情報から検索結果を構成する検索結果構成部と、検索結果を検索要求に対する応答として携帯端末に送信する応答送信部とを有する検索サーバとを備えることを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも高い確率で容易に取得できる。
【００１１】
また、本発明の検索システムの第２の特徴は、第１の特徴の検索システムにおいて、検索サーバは、要求受信部において情報の有無を確認する目的で送信された検索キーを含む検索性確認要求を受信し、検索エンジン部において検索キーに関連付けられた情報を検索インデックスから取得し、検索結果構成部において情報の数に応じて情報の有無を表す検索性確認結果を構成し、応答送信部において検索性確認結果を応答する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報をさらに高い確率で容易に取得できる。
【００１２】
また、本発明の検索システムの第３の特徴は、第１の特徴のいずれかの検索システムにおいて、検索インデックスは、情報記憶部において検索キーと情報と情報の内容を表すキーワードとを関連付けて記憶し、検索サーバは、複数のキーワード間の類似度を計算する情報類似度計算部を有し、要求受信部において情報の有無を確認する目的で送信された検索キーを含む検索性確認要求を受信し、検索エンジン部において検索キーに関連付けられた複数の情報とキーワードを検索インデックスから取得し、情報類似度計算部において複数の情報に関連付けられたキーワードの類似度を計算し、検索結果構成部において類似度に応じて情報の有無を表す検索性確認結果を構成し、応答送信部において検索性確認結果を応答する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を精度良く取得できる。
【００１３】
また、本発明の検索システムの第４の特徴は、第２または３の特徴のいずれかの検索システムにおいて、映像表示装置は、オブジェクトを基に検索性確認要求を生成する検索性確認要求生成部と、検索性確認要求を検索サーバに送信する検索性確認要求送信部と、検索性確認要求に対する応答として検索性確認結果を検索サーバから受信する検索性確認結果受信部とを有し、ターゲット生成部において検索性確認結果に応じてオブジェクトの周囲に特徴画像が配置された特徴映像の生成の有無を制御する特徴を有しても良い。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を精度良く、さらに高い確率で容易に取得できる。
【００１４】
また、本発明の検索システムの第５の特徴は、第１から４の特徴のいずれかの検索システムにおいて、映像表示装置はオブジェクト検出部において同時に検出するオブジェクトの数を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は複数の検索対象候補から自身の興味にあった対象を選択して検索できるようになり、検索の自由度を高めることができる。
【００１５】
また、本発明の検索システムの第６の特徴は、第１から５の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示する頻度を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の頻繁な表示による目障りさを低減できる。
【００１６】
また、本発明の検索システムの第７の特徴は、第１から６の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示する時間を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の長時間の表示による目障りさを低減できる。
【００１７】
また、本発明の検索システムの第８の特徴は、第１から７の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部において特徴画像を表示しない時間を制御する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者に対して与える特徴画像の頻繁な表示・非表示の切り替えによる目障りさを低減できる。
【００１８】
また、本発明の検索システムの第９の特徴は、第１から８の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部においてオブジェクトを強調する電子透かしを特徴画像が配置された特徴映像に埋め込む特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は携帯端末によるオブジェクトの検出が容易になり、所望の情報をさらに高い確率で容易に取得できるようになる。
【００１９】
また、本発明の検索システムの第１０の特徴は、第１から８の特徴のいずれかの検索システムにおいて、映像表示装置は、ターゲット生成部においてオブジェクトから生成された検索キーを、電子透かしとして特徴画像で囲われた特徴映像に埋め込み、携帯端末は、撮像部において電子透かしが埋め込まれた特徴映像を撮像し、ターゲット検出部において撮像した特徴映像から検索キーを検出し、検索要求生成部において検索キーを含む検索要求を生成する特徴を有することを要旨とする。
かかる特徴によれば、検索システムの利用者は映像表示装置によって検索可能と判断された検索キーを用いて検索を行え、メタデータを含まない任意の映像中のオブジェクトに関する情報をさらに高い確率で容易に取得できるようになる。
【００２０】
また、本発明の携帯端末の特徴は、信号を入力する信号入力部に基づき、信号から映像を生成し、映像に含まれるオブジェクトを検出し、検出したオブジェクトの周囲に特徴画像が配置された特徴映像を生成し、特徴画像が配置された特徴映像が表示される映像表示装置の特徴映像を撮像する撮像部と、撮像した特徴映像から周囲に特徴画像が配置されたオブジェクトを検出するターゲット検出部と、検出したオブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、検索要求を検索サーバに送信する検索要求送信部と、検索要求に対する応答として検索結果を検索サーバから受信する検索結果受信部とを備えることを要旨とする。
かかる特徴によれば、検索システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも高い確率で容易に取得できる。
【発明の効果】
【００２１】
本発明によれば、システムの利用者はメタデータを含まない任意の映像中のオブジェクトに関する情報を従来よりも確実に取得できる。
また、映像表示装置においてオブジェクトに関する情報が検索可能であることを確認した後に特徴画像を表示することで、システムの利用者は所望の情報をさらに高い確率で容易に取得できる。
【００２２】
また、映像表示装置からの検索性確認要求に対し、検索サーバにおいて情報の類似度を計算することで、システムの利用者は所望の情報を高い精度で取得できる。
また、映像表示装置に表示する特徴画像の数・出現頻度・表示時間を制御することで、特徴画像の表示及び表示・非表示の切り替えによる目障りさを低減できる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態の概略を示す概略図である。
【図２】第１の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図３】第１の実施形態の映像表示装置の作用を示すフローチャート図である。
【図４】映像表示装置によって表示される映像の例を示す図である。
【図５】第１の実施形態の携帯端末の作用を示すフローチャート図である。
【図６】携帯端末によって表示される画像の例を示す図である。
【図７】検索キーの例を示す図である。
【図８】検索要求の例を示す図である。
【図９】第１の実施形態の検索サーバの作用を示すフローチャート図である。
【図１０】第１の実施形態の検索インデックスに記憶された情報管理テーブルの例である。
【図１１】検索結果の例を示す図である。
【図１２】第２の実施形態の概略を示す概略図である。
【図１３】第２の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図１４】第２の実施形態の映像表示装置の作用を示すフローチャート図である。
【図１５】検索性確認要求の例を示す図である。
【図１６】第２の実施形態の検索サーバの作用を示すフローチャート図である。
【図１７】第３の実施形態の構成要素と各構成要素間の関係を示す構成図である。
【図１８】第３の実施形態の検索サーバの作用を示すフローチャート図である。
【図１９】第３の実施形態の検索インデックスに記憶された情報管理テーブルの例である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は第１の実施形態の概略図である。検索システム１００は、映像表示装置１１０と、携帯端末１２０と、検索サーバ１３０と、検索インデックス１４０から成り立っている。映像表示装置１１０は、映像配信元Ｏから映像信号を受信し、受信した映像信号を加工して表示する。携帯端末は、映像表示装置１１０によって表示された映像を撮像し、撮像画像を加工して検索要求を生成し、検索サーバ１３０に送信し、検索結果を受信する。検索サーバ１３０は、受信した検索要求に従って検索インデックス１４０から情報を取得し、その情報を加工して検索結果を生成し、携帯端末１２０に送信する。以上の検索システム１００により、携帯端末１２０の利用者は、映像表示装置１１０に表示された映像を見ながら、その映像に関連する情報を検索し、取得できる。
【００２５】
（検索システムの構成）
以下、本実施形態の構成について図面を参照し説明する。図２は本実施形態の構成要素及び構成要素間の関係を示す構成図である。映像表示装置１１０は、信号入力部１１１と、デコード部１１２と、オブジェクト検出部１１３と、ターゲット生成部１１４と、映像表示部１１５を備える。信号入力部１１１は映像信号を受信する。デコード部１１２は上記映像信号をデコードして映像を生成する。オブジェクト検出部１１３は上記映像から検索対象となるオブジェクトを検出する。ターゲット生成部１１４は上記オブジェクトの周辺に特徴的な画像（本出願において「特徴画像」と呼ぶ）が配置された映像を生成する。映像表示部１１５は、ターゲット生成部１１４において生成された上記映像を表示する。
【００２６】
携帯端末１２０は、撮像部１２１と、ターゲット検出部１２２と、検索要求生成部１２３と、検索要求送信部１２４と、検索結果受信部１２５と表示部１２６を備える。撮像部１２１は、映像表示装置１１０の映像表示部１１５に表示された上記映像を撮像する。ターゲット検出部１２２は、撮像した画像から上記特徴画像が配置された周辺の画像を検出する。検索要求生成部１２３は、ターゲット検出部１２２において上記特徴画像が配置された周辺の画像の検出が成功した場合に、その画像を基に検索キーを生成し、その検索キーを含む検索要求を生成する。検索要求送信部１２４は、検索サーバ１３０に上記検索要求を送信する。検索結果受信部１２５は、検索サーバ１３０から検索結果を受信する。表示部１２６は、上記検索結果を表示し、また、ターゲット検出部１２２において上記特徴画像が配置された周辺の画像の検出が失敗した場合に、撮像部１２１において撮像した画像を表示する。
【００２７】
検索サーバ１３０は、要求受信部１３１と、検索エンジン部１３２と、検索結果構成部１３３と、応答送信部１３４を備える。要求受信部１３１は、携帯端末１２０の検索要求送信部１２４から送信された検索要求を受信する。検索エンジン部１３２は、検索インデックス１４０から上記検索要求に含まれる上記検索キーに関連した情報を取得する。検索結果構成部１３３は、上記情報を整形し検索結果を構成する。応答送信部１３４は、上記検索結果を携帯端末１２０に送信する。
【００２８】
検索インデックス１４０は、情報記憶部１４１を備える。情報記憶部１４１は、上記検索キーと上記情報を関連付けて記憶する。
【００２９】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。図３は、映像表示装置１１０の各構成要素の作用を示すフローチャートである。信号入力部１１１は、映像配信元Ｏから配信される映像信号を受信する（Ｓ１０１）。本実施形態に限らず本出願における映像信号は、テレビの放送信号の他、ＤＶＤプレーヤー・レコーダー、ＨＤＤレコーダー、ＢＤプレーヤー・レコーダー等の映像再生機器から入力される再生信号、ＦＴＴＨ、ｘＤＳＬ等の通信ケーブルから入力される動画像の信号、無線ＬＡＮ、Bluetooth等の無線通信により取得される動画像の信号を含んでいる。
【００３０】
デコード部１１２は、受信した映像信号をデコードして映像を生成する（Ｓ１０２）。この映像は、一般的に、複数の画像が連続して再生可能な形式になっていると見なすことができる。以下、単に画像と述べた場合、それは映像表示装置１１０に表示されるある時刻・瞬間における映像またはその一部を意味する。
【００３１】
オブジェクト検出部１１３は、画像から、その画像に特徴的な量（特徴量）を算出する。特徴量は、例えば、画像の輝度値や色、その局所的な勾配、またはそれらの時間的な変化量の他、局所的かつ幾何学的変形に強い点・量（例えば、D. G. Lowe，「Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision」，vol. 2，pp. 1150？1157，1999に示されているSIFTやH. Bay，A. Ess，T. Tuytelaars，L. V. Gool，「SURF: Speeded Up Robust Features」， Computer Vision and Image Understanding， Vol. 110， No. 3， pp. 346--359， 2008．に示されているSURF等）、クラスタリングによって上記の特徴量を整理・分類することで作成される特徴量（例えば、G. Csurka，C. R. Dance，C. Bray，and L. Fan，「Visual categorization with bags of keypoints」，Proc. Workshop on Statistical Learning in Computer Vision，pp.1-22，2004．に示されているBug of Keypointsのヒストグラム等）がある。本実施形態のオブジェクト検出部１１３においては、輝度値と色、輝度値にGaborフィルタを畳み込んで求められる局所的な方向（勾配）を特徴量として用いる。
【００３２】
また、オブジェクト検出部１１３は、それらの特徴量から画像の各座標の注目度を算出する（Ｓ１０４）。本実施形態においては、L. Itti，C. Koch，and E. Niebur，「A model of saliency-based visual attention for rapid scene analysis」，IEEE Patt. Anal. Mach. Intell.，Vol. 20，No. 11，pp. 1254？1259，1998．に示されているSaliency Map（顕著性マップ）を注目度として用いる。Saliency Mapは、画像中の各ピクセルが人の視覚注意を引く強さを表すマップであり、上記輝度値・色・局所的な方向から求めることができる。
【００３３】
さらに、オブジェクト検出部１１３は、Saliency Mapから最も高い注目度を見つけ、その周辺の領域を検出する（Ｓ１０５）。検出する領域は、注目度が最も高いピクセルを含み、注目度が閾値ａを越えるピクセルを含む領域とする。閾値ａは、例えば最も高い注目度の０．８倍の値である。領域の検出動作としては、上記の動作以外にも、例えば、注目度が最も高いピクセルを含み、注目度の勾配がある閾値を超えるエッジで囲われた領域を検出する動作、または、例えば、J. Shi，J.Malic，「Normalized Cuts and Image Segmentation」，IEEE Trans. PAMI，vol. 22，no. 8，2000．に示されているNormalized Cuts等の領域分割法を用いて得た領域から注目度が最も高いピクセルを含む領域を選択する動作等があり、注目度の高い領域を検出する動作であればどのような動作でもよい。
【００３４】
また、上記ではオブジェクト検出部１１３は１つの領域のみを検出するが、検出する領域は複数でもよい。その場合はSaliency Mapから上位複数の注目度を選出し、それらを含む周辺の領域を上記と同様に検出する。
【００３５】
また、上記ではオブジェクト検出部１１３は映像を構成する画像全てに対してSaliency Mapを計算し注目度が高い領域を検出しているが、上記領域を一度検出すると画面が切り替わるまでのしばらくの時間その領域周辺にオブジェクトが存在すると仮定し、画像の時間変化を計算してその領域の移動をトラッキングすることで上記領域を求めてもよい。その場合、上記トラッキングの最短時間・最長時間を決め、トラッキングを行う時間を制御してもよい。また、画面に大きく変化が生じた場合（上記領域の周辺における画像の時間差分の絶対値の総和が大きく変化した場合）は画面が切り替わったものとして、その直後からSaliency Mapを再度計算し直して上記領域を検出する。
【００３６】
ターゲット生成部１１４は、検出された領域内の注目度を全て足し合わせ、総注目度を求める。求めた総注目度を閾値αと比較し（Ｓ１０６）、総注目度の値が閾値αを超える場合は、検出した領域を包含する最小の矩形領域を求める（Ｓ１０７）。閾値αは、例えば最も高い注目度に映像の総画素数の０．１倍の数を掛けた値である。これにより、検出された上記領域が少なくとも映像中の総面積の１割以上を占める場合にのみ、上記矩形領域を求めるようになる。
【００３７】
その後、ターゲット生成部１１４は、上記矩形領域の周辺に特徴画像を配置した映像を生成する（Ｓ１０８）。上記特徴画像は、例えば、図４のＭ０１のような検出した領域Ｗ０１の周囲を囲う上記矩形領域の各頂点に配置された十字型の図形である。Ｍ０１のような図形以外にも、矩形領域の４頂点を細い線で結んだ枠等でもよく、オブジェクトＷ０１を包含して強調するものであればどのような図形・画像でもよい。
【００３８】
また、上記ではターゲット生成部１１４は１つの矩形領域の周辺のみに特徴画像を配置した映像を生成するが、オブジェクト検出部１１３において複数の領域を検出した場合は、その複数の領域を囲む複数の矩形領域の周辺に特徴画像を配置した映像を生成してもよい。
【００３９】
また、上記ではターゲット生成部１１４はオブジェクト検出部１１３において検出された領域の総注目度のみに着目して上記矩形領域を求め、特徴画像が配置された映像の生成の可否を制御したが、その他の基準により特徴画像が配置された映像の生成を制御してもよい。例えば、上記特徴画像の最短表示時間と最長表示時間を決め、最短表示時間を越えるまでは上記特徴画像を含む映像を生成し続け、最長表示時間を超えた場合は上記特徴画像を含む映像の生成を行わないといった具合に制御してもよい。また、特徴画像の生成が行われなくなった後、しばらくの間上記特徴画像を含む映像を生成しないように制御してもよい。また、上記特徴画像の単位時間あたりの生成回数に上限値を設け、その上限値を超えないように制御してもよい。
【００４０】
映像表示部１１５は、ターゲット生成部１１４で映像が生成された場合にはその映像を、それ以外の場合は、デコード部１１２で生成された映像を表示する（Ｓ１０９）。図４は表示された映像の例である。
【００４１】
図５は、携帯端末１２０の各構成要素の作用を示すフローチャートである。撮像部１２１は、映像表示装置１１０の映像表示部１１５に表示された映像を撮像する（Ｓ１１０）。ターゲット検出部１２２は、撮像された画像から上記特徴画像を探索し、上記矩形領域の４頂点を求めることで上記矩形領域を検出する。上記矩形領域の検出に成功したか確認し（Ｓ１１２）、失敗した場合は、表示部１２６が撮像された画像を表示する（Ｓ１１３）。上記矩形領域の検出に成功するか、または図示しない利用者からの入力等の割り込みにより停止されるまで、上記の撮像部１２１、ターゲット検出部１２２、表示部１２６による処理を繰り返す。上記矩形領域を検出する直前の表示部１２６の表示の例を図６に示す。図６において、Ｍ０２は特徴画像Ｍ０１を撮像した画像、Ｗ０２は同様にＷ０１を撮像した画像である。Ｆ０１は、携帯端末の表示部１２６に表示される枠であり、携帯端末の利用者が前記矩形領域の短辺（図６の上方の２つの特徴画像を結んだ辺）がこの枠で示される辺に合わさるように撮像することで前記矩形領域が検出される。
【００４２】
検索要求生成部１２３は、検出された上記矩形領域内の特徴量を算出する（Ｓ１１４）。ここで算出される特徴量は、上記で挙げた特徴量である。例えば、Bug of Keypointsを特徴量（特徴ベクトルのヒストグラム）として算出する。
【００４３】
その後、検索要求生成部１２３は、算出した特徴量を基に検索キーを生成する。検索キーは、例えば、上記のBug of Keypointsのヒストグラムをそのまま用い、図７のK０１のようになる。さらに、検索要求生成部１２３は、上記の検索キーを含む検索要求を生成する（Ｓ１１５）。その検索要求は、例えば図８のＱ１となる。ここで、検索キーはBug of Keypointsのヒストグラムを用いたが、上述のその他の特徴量を用いてもよく、複数の特徴量を組み合わせて用いてもよい。
【００４４】
検索要求送信部１２４は、検索サーバ１３０に上記検索要求を送信する（Ｓ１１６）。その後、検索結果受信部１２５が、検索サーバ１３０から検索結果を受信し（Ｓ１２２）、表示部１２６がその検索結果を表示する（Ｓ１２３）。
【００４５】
図９は、検索サーバ１３０の各構成要素の作用を示すフローチャートである。要求受信部１３１は、携帯端末１２０から検索要求を受信する（Ｓ１１７）。
【００４６】
検索エンジン部１３２は、上記検索要求から検索キーを取り出す（Ｓ１１８）。検索インデックス１４０の情報記憶部１４１は、例えば、図１０の情報管理テーブルＴ０１のような表により検索キーと情報を関連付けて記憶しており、検索エンジン部１３２は、そこから検索キーに対応する情報を検索し、取得する（Ｓ１１９）。その際、検索キー（一次元配列）の各要素を１０進数で表した際の１の位の値を無視して検索してもよい。また、検索キーを分割し、分割された各検索キーを含む情報を検索してもよい。
【００４７】
検索結果構成部１３３は、取得した上記情報を整形し、検索結果を構成する（Ｓ１２０）。検索結果は、例えば、図１１のＡ０１のようになる。
【００４８】
（検索システムの作用・効果）
以上のように、第１の実施形態は、映像表示装置によって人の視覚注意が向き易くコンピュータにとっても検知し易い（そのため検索インデックスを作成する際に情報が蓄え易い）領域の周辺にのみ特徴画像を表示する。その特徴画像は、検索システムの利用者に対して、その特徴画像周辺のオブジェクトに関する情報が検索可能であることを伝える目印である。検索システムの利用者はその特徴画像が表示されたとき、かつその特徴画像周辺のオブジェクトの情報を調べたいときのみ、所持している携帯端末により特徴画像周辺の映像を撮像することで、そこに写ったオブジェクトに関する情報を取得できる。
【００４９】
そのため、特徴画像が表示された場合は検索インデックス内にその周辺のオブジェクトに関する情報が蓄積されている可能性が高く、本実施形態に係る検索システムの利用者は所望の情報を高い確率で容易に取得できる。
【００５０】
また、周辺を特徴画像で囲われた領域を複数含む映像を表示する場合、本実施形態に係る検索システムの利用者は、複数の検索対象候補から自身の興味にあった対象を選択して検索できるようになり、検索の自由度が高まる。
【００５１】
また、ターゲット生成部１１４において特徴画像の生成を制御することで特徴画像を表示する時間、または表示しない時間、単位時間当たりの表示頻度のいずれかを制御する場合、特徴画像の頻繁な表示・非表示の切り替えが抑制されるため、本実施形態に係る検索システムの利用者に対して与える特徴画像の表示及び表示・非表示の切り替えによる目障りさを低減できる。さらに、特徴画像を表示する時間と単位時間当たりの表示頻度の両方、または、特徴画像を表示しない時間と単位時間当たりの表示頻度の両方を制御することで、より目障りさを低減できる。
【００５２】
（第２の実施形態）
以下、第２の実施形態について図面を参照し説明する。第１の実施形態と同様の構成で同様の作用を生じるものについては、同一記号を与え、説明を省略する。
【００５３】
図１２は、第２の実施形態の概略図である。第１の実施形態との違いは、映像表示装置２１０と、検索サーバ２３０にある。映像表示装置２１０は、映像を加工して検索性確認要求を生成し、検索サーバ２３０に送信する。そして、その応答に従って表示を制御する。検索サーバ２３０は、映像表示装置２１０から検索性確認要求を受信し、それに従って検索インデックスから情報を取得する。そして、取得した情報の件数に応じて、検索性確認結果を生成し、映像表示装置２１０に送信する。
【００５４】
（検索システムの構成）
以下、本実施形態の構成について図面を参照し説明する。図１３は本実施形態の構成要素及び構成要素間の関係を示す構成図である。
【００５５】
第１の実施形態との違いは、映像表示装置２１０については検索性確認要求生成部２１１と、検索性確認要求送信部２１２、検索性確認要求受信部２１３、ターゲット生成部２１４にあり、検索サーバ２３０については要求受信部２３１と、検索エンジン部２３２、検索結果構成部２３３、応答送信部２３４にある。
【００５６】
映像表示装置２１０の検索性確認要求生成部２１１はオブジェクト検出部１１３で検出された領域の画像に基づいて上記検索キーを生成し、その検索キーを含む検索性確認要求を生成する。検索性確認要求送信部２１２は検索サーバ２３０に上記検索性確認要求を送信する。検索性確認要求受信部２１３は検索サーバ２３０から検索性確認結果を受信する。ターゲット生成部２１４はオブジェクト検出部１１３で検出された領域と検索性確認結果に応じて上記領域の周辺に特徴画像が配置された映像を生成する。
【００５７】
検索サーバ２３０の要求受信部２３１は、第１の実施形態と同様に携帯端末１２０から検索要求を受信するだけでなく、映像表示装置２１０からも検索性確認要求を受信する。検索エンジン部２３２は、情報インデックス１４０から検索要求・検索性確認要求に含まれる上記検索キーに対応した情報を取得する。検索結果構成部２３３は、検索要求に対しては上記検索結果を構成し、検索性確認要求に対しては取得した上記情報の件数に応じて検索性確認結果を生成する。応答送信部２３４は、携帯端末１２０に検索結果を送信し、映像表示装置２１０に検索性確認結果を送信する。
【００５８】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。まず、映像表示装置２１０の各構成要素の作用について説明する。図１４は、映像表示装置２１０の各構成要素の作用を示すフローチャートである。検索性確認要求生成部２１１は、オブジェクト検出部１１３で検出された領域の特徴量を算出する。その特徴量は、携帯端末１２０の検索要求生成部１２３が算出するものと等しい種類の特徴量を算出する。そして、検索性確認要求生成部２１１は、算出された特徴量を基に携帯端末１２０の検索要求生成部１２３と等しい動作により検索キーを生成し、その検索キーを含む検索性確認要求を生成する（Ｓ２０１）。検索性確認要求は、例えば、図１５のＱ０２のようになる。この場合、検索要求生成部１２３が生成する検索要求との違いは、末尾に「；ｃｈｅｃｋ＝１」が含まれることである。この末尾の文字列は、検索性確認要求と一対一に対応付けられるものであればどのような文字列でもよく、末尾ではなく先頭に付加しても、判別可能な位置であればよい。また、文字列等のテキストデータではなくバイナリデータであってもよい。
【００５９】
検索性確認要求送信部２１２は、検索サーバ２３０に上記検索性確認要求を送信する（Ｓ２０２）。検索性確認結果受信部２１３は、検索サーバ２３０から上記検索性確認要求に対する応答として検索性確認結果を受信する（Ｓ２０３）。ターゲット生成部２１４は、まず検索性確認結果が検索可能を意味しているか確認する（Ｓ２０４）。検索性確認結果が検索可能を意味していれば、第１の実施形態と同様に検出した領域を包含する最小の矩形領域を求め（Ｓ１０７）、その矩形領域の周辺に特徴画像が配置された映像を生成する（Ｓ１０８）。検索確認結果が検索不能を意味していれば、映像に対して何も加工を施さない。
【００６０】
また、ターゲット生成部２１４は上記特徴画像の他に、上記矩形領域内に電子透かしを埋め込んだ映像を生成してもよい。上記電子透かしとして埋め込まれる情報には、上記矩形領域内の画像の特徴量を強調する（矩形領域内のオブジェクトを強調する）情報を用いてもよい。また、上記電子透かしとして埋め込まれる情報には、上記検索キーを用いてもよい。
【００６１】
次に、検索サーバ２３０の各構成要素の作用について説明する。なお、ここでは検索サーバ２３０の携帯端末１２０に対する作用は第１の実施形態と等しいため省略し、映像表示装置２１０に対する作用のみについて述べる。図１６は、検索サーバ２３０の各構成要素の作用を示すフローチャートである。要求受信部２３１は、映像表示装置２１０から検索性確認要求を受信する（Ｓ２０５）。
【００６２】
検索エンジン部２３２は、上記検索性確認要求から上記検索キーを取り出し（Ｓ２０６）、検索インデックス１４０から上記検索キーに対応する情報を取得する（Ｓ２０７）。
【００６３】
検索結果構成部２３３は、上記情報の件数とβを比較し（Ｓ２０８）、上記情報の件数がβを超えれば検索可能を意味する検索性確認結果を構成し（Ｓ２０９）、β以下であれば検索不能を意味する検索性確認結果を構成する（Ｓ２１０）。βは、検索インデックス１４０の規模にもよるが、例えば、β＝１００００や、検索インデックス１４０が記憶している情報の総数の１％以上の値等を設定する。
応答送信部２３４は、映像表示装置２１０に上記検索性確認結果を送信する。
【００６４】
（検索システムの作用・効果）
以上のように、第２の実施形態は、映像表示装置２１０がオブジェクト検出部１１３において検出した領域に含まれるオブジェクトに関する情報が検索可能であることを確認した後に特徴画像を表示する。そのため、特徴画像が表示された場合は検索インデックス内にその周辺のオブジェクトに関する情報が蓄積されている可能性が第１の実施形態よりも高く、本実施形態に係る検索システムの利用者は所望の情報をさらに高い確率で容易に取得できる。
【００６５】
また、特徴画像で囲われた矩形領域内にその矩形領域内の特徴量を強調する電子透かしを埋め込んだ場合、携帯端末１２０のターゲット検出部１２２によって特徴量の算出が容易になり、本実施形態に係る検索システムの利用者は所望の情報をさらに高い確率で容易に取得できるようになる。
【００６６】
また、特徴画像で囲われた矩形領域内に検索キーを電子透かしとして埋め込んだ場合、携帯端末１２０の検索要求生成部１２３においてその検索キーを読み出し、それを用いて検索要求を生成することで、本実施形態に係る検索システムの利用者は、映像表示装置２１０によって検索可能と判断された検索キーを用いて検索を行え、所望の情報をさらに高い確率で容易に取得できるようになる。
【００６７】
（第３の実施形態）
以下、第３の実施形態について図面を参照し説明する。上述の他の実施形態と同様の構成で同様の作用を生じるものについては、同一記号を与え、説明を省略する。
【００６８】
（検索システムの構成）
図１７は、第３の実施形態の構成要素及び構成要素間の関係を示す構成図である。上述の他の実施形態との違いは、検索サーバ３３０と検索インデックス３４０にある。検索サーバ３３０の上述の他の実施形態との違いは、検索エンジン部３３１と、情報類似度計算部３３２と、検索結果構成部３３３にある。検索インデックス３４０の上述の他の実施形態との違いは、情報記憶部３４１に記憶されている情報管理テーブルにある。
【００６９】
検索エンジン部３３１は、要求受信部２３１において受信した検索要求または検索性確認要求から検索キーを取り出し、検索インデックス３４０から上記検索キーに対応した情報を取得する。
【００７０】
情報類似度計算部３３２は、検索性確認要求に対しては、取得した上記情報の類似度を計算する。検索要求に対しては特に何も行わない。
【００７１】
検索結果構成部３３３は、検索性確認要求に対しては、上記類似度に応じて検索性確認結果を構成する。検索要求に対しては、上述の他の実施形態と同様に検索結果を構成する。
【００７２】
（検索システムの検索動作）
以下、上記のように構成される本実施形態の作用について図面を参照し説明する。図１８は、検索サーバ３３０の各構成要素の作用を示すフローチャートである。なお、ここでは検索サーバ３３０の携帯端末１２０に対する作用は上述の他の実施形態と等しいため省略し、映像表示装置２１０に対する作用のみについて述べる。検索エンジン部３３１は、上記検索性確認要求から上記検索キーを取り出し、検索インデックス３４０から上記検索キーに対応する情報とキーワードを取得する（Ｓ３０１）。ここで取得される情報とキーワードは、例えば、図１９の情報管理テーブルＴ０２に示すように検索インデックス３４０の情報記憶部３４１に検索キーに関連付けられて記憶されている。
【００７３】
情報類似度計算部３３２は、上記情報に関連付けられたキーワードから類似度を算出する。その算出動作は、例えば、キーワード毎に関連する情報の件数を数え、その件数が最も多いキーワードの当該件数が全体の件数に占める割合として算出する（Ｓ３０２）。この算出動作はあくまで例であり、その他の算出動作を用いてもよい。
【００７４】
検索結果構成部３３３は、上記類似度とγを比較し（Ｓ３０３）、上記類似度がγを超えれば検索可能を意味する検索性確認結果を構成し（Ｓ２０９）、γ以下であれば検索不能を意味する検索性確認結果を構成する（Ｓ２１０）。γは、例えば、γ＝０．５（５０％）といった値に設定する。ここで、類似度が０．５を超えるということは、上記検索キーに関連した情報の半数以上が同一の上記キーワードに関連することを意味する。
【００７５】
（検索システムの作用・効果）
以上のように、第３の実施形態は、検索サーバ３３０において情報の類似度を計算し、その値がある一定以上を示す場合に検索可能を意味する検索性確認結果を構成する。そのため、映像表示装置２１０が検索可能を意味する検索性確認結果を受信し、その結果として特徴画像が表示された場合は、検索インデックス内に蓄積されている上記特徴画像周辺のオブジェクトに関する情報は、特定のキーワードで識別されるオブジェクトに偏った情報である。よって、得られる情報は特徴画像で囲われた領域内のオブジェクトに真に関連する情報である可能性が高まり、本実施形態に係る検索システムの利用者は所望の情報を上述の他の実施形態と比較して高い精度で取得できる。
【００７６】
以上、この発明の実施形態について図面を参照して詳述してきたが、上記実施形態は本発明の単なる例示に過ぎず、要旨を逸脱しない範囲において変更が可能であり、本発明を何ら限定するものではない。
【符号の説明】
【００７７】
Ｏ 映像配信元
Ｋ０１ 検索キー
Ｑ０１ 検索要求
Ｑ０２ 検索性確認要求
Ｍ０１，Ｍ０２ 特徴画像
Ｗ０１，Ｗ０２ オブジェクト
Ｆ０１ 撮像フレーム
Ｔ０１，Ｔ０２ 情報管理テーブル
Ａ０１ 検索結果
１００，２００ 検索システム
１１０，２１０ 映像表示装置
１１１ 信号入力部
１１２ デコード部
１１３ オブジェクト検出部
１１４，２１４ ターゲット生成部
１１５ 映像表示部
１２０ 携帯端末
１２１ 撮像部
１２２ ターゲット検出部
１２３ 検索要求生成部
１２４ 検索要求送信部
１２５ 検索要求受信部
１２６ 表示部
１３０，２３０ 検索サーバ
１３１，２３１ 要求受信部
１３２，２３２，３３１ 検索エンジン部
１３３，２３３，３３３ 検索結果構成部
１３４，２３４ 応答送信部
１４０，３４０ 検索インデックス
１４１ 情報記憶部
３３２ 情報類似度計算部
【特許請求の範囲】
【請求項１】
信号を入力する信号入力部と、前記信号から映像を生成するデコード部と、前記映像に含まれるオブジェクトを検出するオブジェクト検出部と、検出した前記オブジェクトの周囲に特徴画像が配置された特徴映像を生成するターゲット生成部と、前記ターゲット生成部で生成された前記特徴映像を表示する映像表示部とを有する映像表示装置と、
前記映像表示装置によって表示された前記特徴映像を撮像する撮像部と、撮像した前記特徴映像から周囲に前記特徴画像が配置された前記オブジェクトを検出するターゲット検出部と、検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、前記検索要求を検索サーバに送信する検索要求送信部と、前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と、前記特徴映像及び前記検索結果を表示する表示部とを有する携帯端末と、
前記検索キーと情報とを関連付けて記憶する情報記憶部を有する検索インデックスと、
前記検索要求を受信する要求受信部と、前記検索要求に含まれる検索キーに関連付けられた前記情報を前記検索インデックスから取得する検索エンジン部と、前記検索キーに関連付けられた前記情報から前記検索結果を構成する検索結果構成部と、前記検索結果を前記検索要求に対する応答として前記携帯端末に送信する応答送信部とを有する検索サーバと
を備えることを特徴とする検索システム。
【請求項２】
前記検索サーバは、前記要求受信部において前記情報の有無を確認する目的で送信された前記検索キーを含む検索性確認要求を受信し、前記検索エンジン部において前記検索キーに関連付けられた前記情報を前記検索インデックスから取得し、前記検索結果構成部において前記情報の数に応じて前記情報の有無を表す検索性確認結果を構成し、前記応答送信部において前記検索性確認結果を応答することを特徴とする請求項１に記載の検索システム。
【請求項３】
前記検索インデックスは、前記情報記憶部において前記検索キーと前記情報と前記情報の内容を表すキーワードとを関連付けて記憶し、
前記検索サーバは、複数の前記キーワード間の類似度を計算する情報類似度計算部を有し、前記要求受信部において前記情報の有無を確認する目的で送信された前記検索キーを含む検索性確認要求を受信し、前記検索エンジン部において前記検索キーに関連付けられた複数の前記情報と前記キーワードを前記検索インデックスから取得し、前記情報類似度計算部において複数の前記情報に関連付けられた前記キーワードの類似度を計算し、前記検索結果構成部において前記類似度に応じて前記情報の有無を表す検索性確認結果を構成し、前記応答送信部において前記検索性確認結果を応答することを特徴とする請求項１に記載の検索システム。
【請求項４】
前記映像表示装置は、前記オブジェクトを基に前記検索性確認要求を生成する検索性確認要求生成部と、前記検索性確認要求を前記検索サーバに送信する検索性確認要求送信部と、前記検索性確認要求に対する応答として検索性確認結果を前記検索サーバから受信する検索性確認結果受信部とを有し、前記ターゲット生成部において前記検索性確認結果に応じて前記オブジェクトの周囲に前記特徴画像が配置された前記特徴映像の生成の有無を制御することを特徴とする請求項２〜３のいずれか一項に記載の検索システム。
【請求項５】
前記映像表示装置は、前記オブジェクト検出部において同時に検出する前記オブジェクトの数を制御することを特徴とする請求項１〜４のいずれか一項に記載の検索システム。
【請求項６】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示する頻度を制御することを特徴とする請求項１〜５のいずれか一項に記載の検索システム。
【請求項７】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示する時間を制御することを特徴とする請求項１〜６のいずれか一項に記載の検索システム。
【請求項８】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示しない時間を制御することを特徴とする請求項１〜６のいずれか一項に記載の検索システム。
【請求項９】
前記映像表示装置は、前記ターゲット生成部において前記オブジェクトを強調する電子透かしを前記特徴画像が配置された前記特徴映像に埋め込むことを特徴とする請求項１〜８のいずれか一項に記載の検索システム。
【請求項１０】
前記映像表示装置は、前記ターゲット生成部において前記オブジェクトから生成された前記検索キーを、電子透かしとして前記特徴画像で囲われた前記特徴映像に埋め込み、
前記携帯端末は、前記撮像部において前記電子透かしが埋め込まれた前記特徴映像を撮像し、前記ターゲット検出部において撮像した前記特徴映像から前記検索キーを検出し、前記検索要求生成部において前記検索キーを含む前記検索要求を生成することを特徴とする請求項１〜８のいずれか一項に記載の検索システム。
【請求項１１】
信号を入力する信号入力部に基づき、前記信号から映像を生成し、前記映像に含まれるオブジェクトを検出し、検出した前記オブジェクトの周囲に特徴画像が配置された特徴映像を生成し、前記特徴画像が配置された前記特徴映像が表示される映像表示装置の前記特徴映像を撮像する撮像部と、
撮像した前記特徴映像から周囲に特徴画像が配置された前記オブジェクトを検出するターゲット検出部と、
検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、
前記検索要求を検索サーバに送信する検索要求送信部と、
前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と
を備えることを特徴とする携帯端末。
【請求項１】
信号を入力する信号入力部と、前記信号から映像を生成するデコード部と、前記映像に含まれるオブジェクトを検出するオブジェクト検出部と、検出した前記オブジェクトの周囲に特徴画像が配置された特徴映像を生成するターゲット生成部と、前記ターゲット生成部で生成された前記特徴映像を表示する映像表示部とを有する映像表示装置と、
前記映像表示装置によって表示された前記特徴映像を撮像する撮像部と、撮像した前記特徴映像から周囲に前記特徴画像が配置された前記オブジェクトを検出するターゲット検出部と、検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、前記検索要求を検索サーバに送信する検索要求送信部と、前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と、前記特徴映像及び前記検索結果を表示する表示部とを有する携帯端末と、
前記検索キーと情報とを関連付けて記憶する情報記憶部を有する検索インデックスと、
前記検索要求を受信する要求受信部と、前記検索要求に含まれる検索キーに関連付けられた前記情報を前記検索インデックスから取得する検索エンジン部と、前記検索キーに関連付けられた前記情報から前記検索結果を構成する検索結果構成部と、前記検索結果を前記検索要求に対する応答として前記携帯端末に送信する応答送信部とを有する検索サーバと
を備えることを特徴とする検索システム。
【請求項２】
前記検索サーバは、前記要求受信部において前記情報の有無を確認する目的で送信された前記検索キーを含む検索性確認要求を受信し、前記検索エンジン部において前記検索キーに関連付けられた前記情報を前記検索インデックスから取得し、前記検索結果構成部において前記情報の数に応じて前記情報の有無を表す検索性確認結果を構成し、前記応答送信部において前記検索性確認結果を応答することを特徴とする請求項１に記載の検索システム。
【請求項３】
前記検索インデックスは、前記情報記憶部において前記検索キーと前記情報と前記情報の内容を表すキーワードとを関連付けて記憶し、
前記検索サーバは、複数の前記キーワード間の類似度を計算する情報類似度計算部を有し、前記要求受信部において前記情報の有無を確認する目的で送信された前記検索キーを含む検索性確認要求を受信し、前記検索エンジン部において前記検索キーに関連付けられた複数の前記情報と前記キーワードを前記検索インデックスから取得し、前記情報類似度計算部において複数の前記情報に関連付けられた前記キーワードの類似度を計算し、前記検索結果構成部において前記類似度に応じて前記情報の有無を表す検索性確認結果を構成し、前記応答送信部において前記検索性確認結果を応答することを特徴とする請求項１に記載の検索システム。
【請求項４】
前記映像表示装置は、前記オブジェクトを基に前記検索性確認要求を生成する検索性確認要求生成部と、前記検索性確認要求を前記検索サーバに送信する検索性確認要求送信部と、前記検索性確認要求に対する応答として検索性確認結果を前記検索サーバから受信する検索性確認結果受信部とを有し、前記ターゲット生成部において前記検索性確認結果に応じて前記オブジェクトの周囲に前記特徴画像が配置された前記特徴映像の生成の有無を制御することを特徴とする請求項２〜３のいずれか一項に記載の検索システム。
【請求項５】
前記映像表示装置は、前記オブジェクト検出部において同時に検出する前記オブジェクトの数を制御することを特徴とする請求項１〜４のいずれか一項に記載の検索システム。
【請求項６】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示する頻度を制御することを特徴とする請求項１〜５のいずれか一項に記載の検索システム。
【請求項７】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示する時間を制御することを特徴とする請求項１〜６のいずれか一項に記載の検索システム。
【請求項８】
前記映像表示装置は、前記ターゲット生成部において前記特徴画像を表示しない時間を制御することを特徴とする請求項１〜６のいずれか一項に記載の検索システム。
【請求項９】
前記映像表示装置は、前記ターゲット生成部において前記オブジェクトを強調する電子透かしを前記特徴画像が配置された前記特徴映像に埋め込むことを特徴とする請求項１〜８のいずれか一項に記載の検索システム。
【請求項１０】
前記映像表示装置は、前記ターゲット生成部において前記オブジェクトから生成された前記検索キーを、電子透かしとして前記特徴画像で囲われた前記特徴映像に埋め込み、
前記携帯端末は、前記撮像部において前記電子透かしが埋め込まれた前記特徴映像を撮像し、前記ターゲット検出部において撮像した前記特徴映像から前記検索キーを検出し、前記検索要求生成部において前記検索キーを含む前記検索要求を生成することを特徴とする請求項１〜８のいずれか一項に記載の検索システム。
【請求項１１】
信号を入力する信号入力部に基づき、前記信号から映像を生成し、前記映像に含まれるオブジェクトを検出し、検出した前記オブジェクトの周囲に特徴画像が配置された特徴映像を生成し、前記特徴画像が配置された前記特徴映像が表示される映像表示装置の前記特徴映像を撮像する撮像部と、
撮像した前記特徴映像から周囲に特徴画像が配置された前記オブジェクトを検出するターゲット検出部と、
検出した前記オブジェクトを記号化した検索キーを含む検索要求を生成する検索要求生成部と、
前記検索要求を検索サーバに送信する検索要求送信部と、
前記検索要求に対する応答として検索結果を前記検索サーバから受信する検索結果受信部と
を備えることを特徴とする携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１９０３６９（Ｐ２０１２−１９０３６９Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５４９０５（Ｐ２０１１−５４９０５）
【出願日】平成２３年３月１３日（２０１１．３．１３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１３日（２０１１．３．１３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
[ Back to top ]