通信端末
【課題】従来技術では、予め表示物データを映像データに含めておかなければならない。映像データに表示物データを含めると、放送局（送信端末）から受信端末に送られるデータ量が増大するという問題がある。また、従来技術では、生放送のようにリアルタイムに放送される映像データについては、予め表示物データを映像データに含める機会はなく、従来の技術だけでは、ユーザが希望する表示物の詳細情報を表示させることができない。
【解決手段】ユーザが映像中の表示物をタッチパネル等で指示した場合に、当該指示に対応する指示座標情報及び指示タイミング情報を検索サーバに送信し、当該検索サーバから対応する表示物のデータを取得して画面に表示することにより、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる。
【解決手段】ユーザが映像中の表示物をタッチパネル等で指示した場合に、当該指示に対応する指示座標情報及び指示タイミング情報を検索サーバに送信し、当該検索サーバから対応する表示物のデータを取得して画面に表示することにより、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
[関連出願の相互参照]
本出願は、日本国特許出願２００８−１３９３９４号（２００８年５月２８日出願）及び日本国特許出願２００８−２２０１２４号（２００８年８月２８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【０００２】
この発明は、通信端末、検索サーバ及び通信システムに関する。特に、ユーザが映像中の表示物をタッチパネル等で指示した場合に、当該指示に対応する表示物のデータを検索サーバから取得して画面に表示する通信端末、ユーザの指示情報を通信端末から受信し、当該指示に対応した表示物のデータを検索し、通信端末に送信する検索サーバ、並びに当該通信端末及び検索サーバを含む通信システムに関する。
【背景技術】
【０００３】
近年、衛星や地上波を利用したデジタル放送や、インターネットなどの電気通信回線を通じた動画像配信など、ユーザは様々な放送／通信インフラを介して映像データを視聴することができる。かかる映像データの画面には、人や物など様々な対象（以下「表示物」という。例えば、タレント／選手／商品など。）が含まれている。このような表示物はユーザの興味を引きやすく、ユーザが表示物に関する所定の情報（以下「表示物データ」という。例えば、タレント／選手／商品の写真／名前／所属等の属性情報。）を希望する場合に、該当する表示物データを画面上に表示することができれば、ユーザにとっての利便性が向上することになる。
【０００４】
このような利便性向上を実現するための従来技術として、デジタル放送の視聴画面に含まれる表示物データのリストを、予め放送データに含めておくという方法がある。かかる方法によると、ユーザが受信するデジタル放送には映像データと共に表示物データのリストが含まれているため、ユーザは映像と表示物データのリストとを対比することにより、所望の表示物データを得ることができる。
【０００５】
例えば、番組のＴＶ放送画面内に表示される表示物の表示エリアを該表示物ごとに特定するエリア情報等が、その番組のＴＶ放送画面と一体に関連付けてデジタルデータとして送信される。この番組を受信端末装置側が受信し、その受信したＴＶ放送画面内に表示エリアが存在するときに、その表示エリアをポインタで選択指定するか、又はデータ表示ボタンを押すと、該表示エリア内の表示物の詳細情報がＴＶ放送画面と一緒に受信手段側のモニタ画面に表示される双方向デジタルＣＭ放送システムが知られている（例えば、特許文献１参照）。このように、予め映像上に表示物毎のエリア情報を設定することにより、ユーザが所望の表示物の近傍を指示した際に、表示物データを画面に表示させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２００９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記の従来技術ではいずれも、予め放送局（送信端末）が表示物データを映像データに含めておかなければならない。映像データに表示物データを含めると、放送局（送信端末）から受信端末に送られるデータ量が増大するという問題がある。また、映像データに含めて送信される全ての表示物データがユーザによって参照されるという状況は考えにくい。この場合、参照されない表示物データについては結果的に不要な情報となり、放送（通信）資源の有効活用の観点から好適な方法とはいえない。
【０００８】
また、特許文献１に係る方法のように、放送局（送信端末）が全番組に対して表示物毎のエリア情報を設定する方法では、設定に要する作業負荷は膨大であり、全番組に対して表示物毎のエリア情報を設定したり、表示物データを予め映像データに含めることは現実的ではない。
【０００９】
また、従来技術では、生放送のようにリアルタイムに放送される映像データについては、放送局（送信端末）が予め表示物データを映像データに含める機会はなく、従来の技術だけでは、ユーザが希望する表示物の詳細情報を表示させることができない。
【００１０】
従って、上記の諸課題を鑑みてなされた本発明の目的は、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる、通信端末、検索サーバ、及び通信システムを提供するものである。
【課題を解決するための手段】
【００１１】
上述した諸課題を解決すべく、本発明の通信端末は、映像データを受信する映像データ受信部と、前記映像データ受信部が受信した映像データを表示する表示部と、前記表示部に対する指示入力を受け付ける指示入力部と、前記指示入力が前記表示部に表示された映像への指示であるかを認識する指示認識部と、前記指示認識部が前記映像への指示を認識した場合に、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを検索サーバに送信する送信部と、前記検索サーバが前記検索データに基づいて検索した表示物データを受信する表示物データ受信部と、前記表示物データ受信部が受信した前記表示物データを前記表示部に表示させる制御部と、を備えることを特徴とする。
【００１２】
また、前記検索データには、前記指示時より前の時間を示す複数の指示タイミング情報が含まれることが望ましい。
【００１３】
また、前記指示認識部が、前記映像への連続的な指示を認識した場合、前記検索データには、前記連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報が含まれることが望ましい。
【００１４】
また、前記指示認識部が、前記映像への連続的な指示であって、前記連続的な指示の指示座標の軌跡が交差するものを認識した場合、前記検索データには、前記連続的な指示の指示座標の軌跡によって囲まれる範囲の指示座標情報と、前記連続的な指示に対応する指示タイミング情報とが含まれることが望ましい。
【００１５】
また、前記映像への連続的な指示の指示座標の軌跡が表す形体を判断する指示形体判断部を更に備え、前記指示形体判断部が、前記指示形体を円と判断した場合、前記検索データには、前記指示形体判断部によって算出された前記円の中心座標を表す指示座標情報と、前記連続的な指示のうち前記中心座標から最も離れた指示の指示座標情報と、前記連続的な指示の１つの指示に対応する指示タイミング情報と、が含まれることが望ましい。
【００１６】
また、前記映像への連続的な指示の指示座標の軌跡が表す形体を判断する指示形体判断部を更に備え、前記指示形体判断部が、前記指示形体を線と判断した場合、前記検索データには、少なくとも、前記連続的な指示の最初の指示に対応する指示位置座標及び指示タイミング情報と、前記連続的な指示の最後の指示に対応する指示位置座標及び指示タイミング情報と、が含まれることが望ましい。
【００１７】
また、前記指示座標情報は、前記映像データの座標系を基準とするものであることが望ましい。
【００１８】
また、前記指示座標情報は、前記端末の前記表示部の座標系を基準とするものであり、前記検索データは、前記端末の前記表示部に関する端末画面情報を含むことが望ましい。
【００１９】
前記指示認識部が前記映像への指示を認識した場合、前記制御部が、前記映像データを提供するサービスを識別するためのサービス識別子を特定し、特定したサービス識別子を前記検索データに含めることが望ましい。
【００２０】
また、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しい場合に、前記表示物データを前記表示部に表示させることが望ましい。
【００２１】
また、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、前記表示物データを受信した旨を前記画面に表示させることが望ましい。
【００２２】
また、前記検索サーバから受信した表示物データを記憶する記憶部を備え、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、前記記憶部に前記表示物データを記憶させ、前記表示部に表示されている映像データを提供するサービスが替わり、前記第１のサービス識別子と前記第２のサービス識別子とが等しくなった時点で、前記記憶された表示物データを前記表示部に表示させることが望ましい。
【００２３】
また、前記表示物データが、複数の表示物に関する情報を含む場合に、前記制御部は、前記指示座標を基に特定される個別画像と、前記複数の表示物に関する情報とを、前記表示部に表示させることが望ましい。
【００２４】
また、前記指示認識部が、前記個別画像への指示を認識した場合に、前記制御部は、前記個別画像を前記表示部上で拡大表示し、さらに、前記指示認識部が、前記拡大表示された個別画像への指示を認識した場合に、前記制御部は、前記指示に対応する表示物の表示物データを前記表示部に表示させることが望ましい。
【００２５】
また、前記指示認識部が、前記複数の表示物に関する情報への指示を認識した場合に、前記制御部は、前記指示に対応する表示物の表示物データを前記表示部に表示させることが望ましい。
【００２６】
また、前記表示部に対して遠隔操作により指示入力可能な遠隔操作端末と通信する遠隔操作通信部を備えることが望ましい。
【００２７】
また、前記遠隔操作端末を備え、前記遠隔操作端末は、前記表示部に対する指示入力を受け付ける遠隔操作部と、前記遠隔操作通信部と通信する第２遠隔操作通信部と、を備えることが望ましい。
【００２８】
また、前記遠隔操作端末は、第２表示部を備え、前記制御部は、前記表示物データ受信部が受信した前記表示物データを前記第２表示部に表示させることが望ましい。
【００２９】
また、前記遠隔操作端末は、前記検索データを前記検索サーバに送信する第２送信部と、前記検索サーバが前記検索データに基づいて検索した表示物データを受信する第２表示物データ受信部と、を備えることが望ましい。
【００３０】
上述した諸課題を解決すべく、本発明の検索サーバは、映像データと、映像中に表示される１つ以上の表示物に関する表示物データとを記録する記録部と、通信端末から、前記映像への指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを受信する受信部と、前記検索データに基づき、前記映像への指示に対応する表示物を認識する認識部と、前記記録部から、前記認識部によって認識された表示物に対応する表示物データを検索する検索部と、前記検索部によって検索された前記表示物データを含む検索結果を作成する検索結果生成部と、前記検索結果を前記通信端末に送信する送信部とを備えることを特徴とする。
【００３１】
前記認識部は、さらに、前記指示タイミング情報よりも前の時間を示すタイミング情報と、前記指示座標情報とに基づき、前記映像への指示に対応する表示物を認識することが望ましい。
【００３２】
前記検索データに、複数の指示座標情報及び指示タイミング情報が含まれている場合、前記認識部は、前記複数の指示座標情報及び指示タイミング情報それぞれに基づいて、前記映像への指示に対応する表示物を認識することが望ましい。
【００３３】
前記検索データに、２つの指示座標情報及び１つの指示タイミング情報が含まれている場合、前記認識部は、前記２つの指示座標情報の一方を円の中心座標を表す指示座標情報、他方を前記円の中心座標から最も離れた指示の指示座標情報と認識し、前記２つの指示座標情報によって規定される円の範囲に含まれる座標と、前記１つの指示タイミング情報とに基づいて、前記映像への指示に対応する表示物を認識することが望ましい。
【００３４】
また、前記検索データに、指示座標情報及び指示タイミング情報の組が少なくとも２組含まれている場合、前記認識部は、前記少なくとも２つの組の一つの組の指示座標情報を前記線の始点を表す指示座標情報、指示タイミング情報を前記始点指示時の指示タイミング情報とし、前記少なくとも２つの組の他の組の指示座標情報を前記線の終点を表す指示座標情報、指示タイミング情報を前記終点指示時の指示タイミング情報とし、前記少なくとも２つの組によって規定される線に沿って、前記映像への指示に対応する表示物を認識することが望ましい。
【００３５】
また、前記認識部は、前記検索データに含まれる前記指示座標情報が、前記端末の画面を基準とするものであり、前記検索データが、前記端末の前記画面に関する端末画面情報を含む場合に、前記端末画面情報に基づき、前記指示座標情報を、前記映像データを基準とする座標情報に変換し、前記ユーザによる指示に対応する表示物を認識することが望ましい。
【００３６】
また、前記認識部が、前記映像への指示に対応する表示物を複数認識した場合に、前記検索部は、前記複数の表示物それぞれに対応する複数の表示物データを検索し、前記検索結果生成部は、前記検索結果に前記複数の表示物データと、前記指示座標を基に特定される個別画像とを含めることが望ましい。
【００３７】
上述した諸課題を解決すべく、本発明の通信システムは、映像データと、当該映像中に含まれる表示物データを記憶する検索サーバと、映像データを受信して表示し、前記検索サーバと通信する通信端末とを備え、前記通信端末は、前記映像への指示を認識し、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを前記検索サーバに送信し、前記検索サーバは、前記検索データを受信して前記検索データに応じた前記表示物データを検索し、当該検索された表示物データを前記通信端末に送信し、前記通信端末は、前記検索された表示物データを受信して表示することを特徴とする。
【発明の効果】
【００３８】
本発明は、予め表示物に関する情報を映像データに含める必要がないため、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる通信端末、検索サーバ及び通信システムを提供するものである。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施の形態に係る通信端末が使用可能な通信ネットワークの概略構成を示す図である。
【図２】本発明の一実施の形態に係る通信端末の概略構成を示す機能ブロック図である。
【図３】本発明の一実施の形態に係る検索サーバの概略構成を示す機能ブロック図である。
【図４】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図５】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図６】本発明の第１の実施形態に係る通信端末の画面の表示例を示す図である。
【図７】本発明の第２の実施形態に係る通信端末の画面の表示例を示す図である。
【図８】複数の表示物データから所望の表示物データを選択する動作フローチャートである。
【図９】ユーザの指示タイミングが意図したタイミングと異なる場合の例を示す図である。
【図１０】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１１】ユーザによる連続的な指示の例を示す図である。
【図１２】本発明の一実施の形態に係る通信端末の概略構成を示す機能ブロック図である。
【図１３】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図１４】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１５】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図１６】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１７】本発明の一実施の形態に係る通信端末が使用可能な通信ネットワークの概略構成を示す図である。
【図１８】本発明の一実施の形態に係る通信端末及び遠隔操作端末の概略構成を示す機能ブロック図である。
【図１９】本発明の第６の実施形態に係る通信端末の画面の表示例を示す図である。
【図２０】本発明の一実施の形態に係る通信端末及び遠隔操作端末の概略構成を示す機能ブロック図である。
【図２１】本発明の第７の実施形態に係る通信端末及び遠隔操作端末の画面の表示例を示す図である。
【発明を実施するための形態】
【００４０】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
【００４１】
図１は、本発明の一実施の形態に係る通信端末が使用可能な、通信ネットワークの概略構成を示す図である。図１において、通信端末１０は、放送局３０からデジタル放送（映像データ）を受信する。さらに、通信端末１０は、映像データ中に含まれる表示物に関する詳細な情報（表示物データ）を、基地局４０及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：広域通信網）５０を通じて、検索サーバ２０から取得する。検索サーバ２０が保持している表示物のデータは、放送局３０により設定されているものとする。
【００４２】
ここで、通信端末１０は、例えばデジタル放送再生機能を有する携帯電話機若しくはＰＤＡ（携帯情報端末）、又は通信機能を備えるテレビからなり、放送局３０は、例えば地上デジタル放送（ワンセグ放送）の放送局からなる。検索サーバ２０は、放送局毎に個別に設けてもよく、複数の放送局間で共有することもできる。基地局４０は、例えばｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）又は無線ＬＡＮの基地局からなる。
【００４３】
図２は、図１に示した通信端末１０の概略構成を示す機能ブロック図である。通信端末１０は、放送局３０から映像データを受信し、且つ、基地局４０を介して検索サーバ２０との間で表示物データに関する検索情報の送受信を行う送受信部１１０と、送受信部１１０が受信した映像データの視聴を制御し、且つ、送受信部１１０が送受信する検索情報に関する制御を行う制御部１２０と、制御部１２０によって制御された映像データ及び検索情報を表示する表示部１３０と、ユーザからの端末操作を取得する操作部１４０と、送受信部１１０が受信した検索情報を記憶する記憶部１５０と、を有する。
【００４４】
ここで、送受信部１１０は、映像データ受信部１１１と検索情報送受信部１１２とを有する。映像データ受信部１１１は、放送局３０から映像データを受信する。この映像データは、例えば地上デジタル放送（ワンセグ放送）の放送データからなり、映像データ受信部１１１は、かかる放送波の受信に対応したインターフェース機器から構成される。検索情報送受信部１１２は、送信部及び表示物データ受信部を構成するものであり、基地局４０を介して、検索サーバ２０との間で、映像中の表示物データに関する検索情報の送受信を行う。この検索情報送受信部１１２は、例えばｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）又は無線ＬＡＮといった無線通信規格に対応したインターフェース機器から構成される。
【００４５】
制御部１２０は、指示認識部１２１と、座標取得部１２２と、座標変換部１２３と、映像データ視聴制御部１２４と、検索データ生成部１２５と、を有する。制御部１２０は、例えばＣＰＵ（中央処理装置）等の任意の好適なプロセッサ構成されるものであり、制御部１２０の各機能部１２１〜１２５は、当該プロセッサ上で実行されるソフトウェアや、又は各機能の処理に特化した専用のプロセッサ（例えばＧＰＵ（グラフィックス処理ユニット）及びＤＳＰ（デジタルシグナルプロセッサ））によって構成される。
【００４６】
指示認識部１２１は、操作部１４０からユーザが行った端末操作を取得し、ユーザが表示部１３０に表示された映像を指示しているかどうかを判断する。ユーザが表示部１３０に表示された映像を指示している場合には、指示認識部１２１は、ユーザが指示している旨の通知（以下「ユーザ指示通知」という。）を座標取得部１２２及び映像データ視聴制御部１２４に通知する。
【００４７】
座標取得部１２２は、指示認識部１２１から、ユーザ指示通知を受けると、ユーザが指示している座標（以下「指示座標情報」という。）を取得する。ここでいう指示座標とは、通信端末１０の表示部１３０の座標系を基準として、表示部１３０上での位置を示すものである。例えば、表示部１３０の左上頂点のピクセルを基準とすると、左上頂点の座標は（０，０）となり、以降、右方向及び下方向に移るにつれ、座標の値は増加する。座標取得部１２２は、取得した指示座標情報を座標変換部１２３に供給する。
【００４８】
座標変換部１２３は、座標取得部１２２から、指示座標情報を取得すると、当該指示座標情報を、通信端末１０の画面解像度などの情報に基づいて、映像データの座標系における座標へと座標変換を行う。上記の通り、座標取得部１２２から供給される指示座標情報は、通信端末１０の表示部１３０（画面）を基準とするものであるため、画面解像度、画面の縦横比（１６：９、４：３等）といったパラメータや、縦表示／横表示といった表示態様などにより、通信端末１０の機種毎に変動することになる。そのため、座標変換部１２３は、通信端末の画面に関する情報を基にして、指示座標情報を映像データの座標系に座標変換することにより、通信端末１０の機種によらず、ユーザが映像中のどの位置を指示しているのかを明確にすることができる。ここでいう映像データの座標系とは、例えば、映像データの左上頂点のピクセルを基準として、左上頂点の座標は（０，０）となり、以降、右方向及び下方向に移るにつれ、座標の値は増加するものとする。座標変換部１２３は、この変換した指示座標情報を、検索データ生成部１２５に供給する。
【００４９】
映像データ視聴制御部１２４は、映像データ受信部１１１が受信した映像データについて、データ復号や画面表示のタイミング制御といった視聴制御を行う。また、映像データ視聴制御部１２４は、指示認識部１２１からユーザ指示通知を受けると、ユーザが表示部１３０の映像を指示した時点での、映像データに関するタイミング情報（以下「指示タイミング情報」という。）を取得する。この指示タイミング情報とは、例えばデジタル放送の放送時刻や記憶メディア等に記憶された映像データの再生時間といった、映像データに関する所定のタイムスタンプ情報であり、映像データのどのフレームをユーザが指示しているのかを判断する基準となるものである。映像データ視聴制御部１２４は、この指示タイミング情報を、検索データ生成部１２５に供給する。
【００５０】
検索データ生成部１２５は、座標変換部１２３から指示座標情報を取得し、且つ、映像データ視聴制御部１２４から指示タイミング情報を取得する。検索データ生成部１２５は、当該指示座標情報及び指示タイミング情報を含んだ検索データを生成し、生成した検索データを、検索情報送受信部１１２に供給する。
【００５１】
なお、映像データを提供するサービスには、放送局で提供する番組、又はインターネットなどを利用した映像配信システムで配信される番組が含まれる。映像データを提供するサービスの識別には、サービス識別子が用いられる。ここでいうサービス識別子とは、例えば映像データを配信する放送局名やその番組、又は、番組を配信するために用いられるＵＲＬといった、映像データを特定するための識別情報である。本実施形態では、検索データに含まれているサービス識別子を第１のサービス識別子という。例えば、検索サーバ２０が複数の放送局によって共有されている場合、検索サーバ２０は、当該サービス識別子によってユーザが指示している放送局を特定することができる。
【００５２】
検索情報送受信部１１２は、検索データ生成部１２５から取得した検索データを、基地局４０を経由して、検索サーバ２０に送信する。なお、この検索データは、検索サーバ２０が所望の表示物データを検索するための検索キーとなるものである。検索サーバの送信先情報（アドレス）は、放送局毎に予め設定されているものを利用したり、又は、放送データに含まれる放送局情報を基に、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）などを用いて、複数ある検索サーバのうち１つのアドレスを動的に取得したものを利用することができる。検索情報送受信部１１２は、検索サーバ２０から、検索データに応じた検索結果を受信する。なお、本実施形態では、検索情報送受信部１１２が検索サーバ２０から検索結果を受信した際に、表示部１３０に表示されている映像データを提供するサービスを識別するサービス識別子を、第２のサービス識別子という。
【００５３】
制御部１２０は、検索サーバ２０から受信した検索結果に表示物データが含まれている場合には、当該表示物データを表示部１３０に表示させる。制御部１２０は、検索サーバ２０から受信した検索結果がエラーを示すものである場合には、当該エラーの内容を表示部１３０に表示させる。
【００５４】
表示部１３０は、映像データ視聴制御部１２４によって制御された映像データを表示するものであり、例えば液晶ディスプレイ、又は他の好適な任意のディスプレイ機器から構成される。
【００５５】
操作部１４０は、指示入力部を構成するものであり、ユーザから通信端末１０への任意の操作入力を取得する。例えば、操作部１４０は、タッチパネル、リモコン、マウス、又は他の好適な任意のポインティングデバイスから構成される。
【００５６】
記憶部１５０は、検索サーバ２０から受信した検索結果を記憶するものであり、例えばＳＲＡＭ、ＥＥＰＲＯＭ、又は他の好適な記憶媒体から構成される。記憶部１５０は、例えば、通信端末１０が検索サーバ２０に検索データを送信した後、検索サーバ２０から検索結果を受信するまでの間に、ユーザが映像を視聴する放送チャンネルを変更した場合に（換言すると、第1のサービス識別子と第２のサービス識別子とが異なる場合に）、検索結果を一時的に記憶することができる。この場合、ユーザが再び検索データ送信時の放送チャンネルにチャンネルを戻したときに、制御部１２０は、記憶部１５０を参照することにより、既に受信済みの当該放送チャンネルに対応した検索結果（表示物データ）を表示部１３０に表示させることができる。
【００５７】
図３は、図１に示した検索サーバ２０の概略構成を示す機能ブロック図である。検索サーバ２０は、放送局３０及びＷＡＮ５０と間でデータの送受信を行う送受信部２１０と、通信端末１０から送信される検索データに対応した表示物データを検索し、当該表示物データを含む検索結果を生成する制御部２２０と、放送局３０から受信した映像データ及び当該映像データに含まれる表示物に関する表示物データを記憶する記憶部２３０と、を有する。
【００５８】
送受信部２１０は、放送局３０からデータを取得するデータ取得部２１１と、ＷＡＮ５０を通じて通信端末１０と検索情報の送受信を行う検索情報送受信部２１２と、を有する。データ取得部２１１は、放送局３０から映像データを取得する一方で、当該映像データ中の表示物データを取得する。データ取得部２１１は、取得した映像データ及び表示物データを、制御部２２０を通じて記憶部２３０に供給する。この映像データは、例えば地上デジタル放送（ワンセグ放送）の放送データからなり、表示物データは、例えば表示物の基本画像データ（例えば、タレント／選手／商品等の写真）と、表示物の属性データ（例えば、タレント／選手／商品の名前／所属等の属性情報）を含んだＸＭＬ等の構造文書とからなるものである。当該表示物データは、映像データ同様デジタル放送の放送波によって検索サーバに到達するため、データ取得部２１１は、かかる放送波の受信に対応したインターフェース機器から構成される。検索情報送受信部２１２は、ＷＡＮ５０を通じて通信端末１０から検索データを受信し、受信した検索データを制御部２２０に供給する。また、検索情報送受信部２１２は、制御部２２０から、検索データに対応した表示物データを含む検索結果を取得し、この検索結果を通信端末１０に送信する。この検索情報送受信部２１２は、例えば、電話回線、光ファイバ、又は他の好適な任意の通信インターフェースといった、ＷＡＮ５０との通信に対応したインターフェース機器から構成される。
【００５９】
制御部２２０は、表示物認識部２２１と、表示物データ検索部２２２と、検索結果生成部２２３と、を有する。制御部２２０は、例えばＣＰＵ（中央処理装置）等の任意の好適なプロセッサ構成されるものであり、制御部２２０の各機能部２２１〜２２３は、例えば当該プロセッサ上で実行されるソフトウェアや、又は各機能の処理特化した専用のプロセッサ（例えばＧＰＵ（グラフィックス処理ユニット）及びＤＳＰ（デジタルシグナルプロセッサ））によって構成される。
【００６０】
表示物認識部２２１は、検索情報送受信部２１２から、通信端末１０が送信した検索データを取得し、検索データの内容からユーザが指示している表示物を認識する。検索データには、ユーザ指示に応じた指示座標情報及び指示タイミング情報が含まれる。まず、表示物認識部２２１は、検索データに含まれる指示タイミング情報に基づき、ユーザが映像データ中のどのフレームに対して指示を行っているのかを特定する。次に、表示物認識部２２１は、検索データに含まれる指示座標情報に基づき、フレーム中のどの座標をユーザが指示しているのかを特定する。ユーザが指示しているフレーム及び指示座標が特定されると、表示物認識部２２１は、当該指示座標の周辺画像を切り出し、エッジ抽出の画像処理を行う（エッジ抽出については画像処理分野の周知技術であるため、詳細は記載しない）。表示物認識部２２１は、周辺画像に表示物が含まれている場合には、エッジ抽出によって表示物の輪郭（エッジ）を抽出できるため、表示物の存在を認識することができる。表示物認識部２２１は、表示物が認識できた場合には、認識結果を表示物データ検索部２２２に供給する。表示物認識部２２１は、表示物を認識できない場合には、表示物データ検索部２２２を通じて、表示物を認識できない旨の通知（以下「認識エラー通知」という。）を、検索結果生成部２２３に供給する。
【００６１】
なお、表示物認識部２２１は、複数の表示物をユーザの指示対象として認識する場合がある。検索データ指示座標は映像中の一点を指し示すものであるが、かかる点に複数の表示物が重複して表示されている場合や、かかる点から所定の範囲内に複数の表示物が存在する場合があるためである。表示物認識部２２１は、複数の表示対象物を認識した場合には、その全ての表示物を含んだ認識結果を表示物データ検索部２２２に供給する。
【００６２】
表示物データ検索部２２２は、表示物認識部２２１が認識した表示物に関する表示物データを、記憶部２３０から検索する。表示物データ検索部２２２は、抽出された表示物のエッジ情報（大きさ、輪郭形状など）や、表示物領域の色彩情報などを基に、記憶部２３０に記憶されている各表示物データの基本画像データとのマッチング処理を行う。このマッチング処理とは、表示物と表示物データの基本画像データとの類似度を判断する処理であり、例えば最尤推定法などによって行われる（最尤推定法などによる対象の特定については認識処理分野における周知技術であるため、詳細は記載しない）。表示物データ検索部２２２は、記憶部２３０に検索データに対応する表示物データが存在する場合には、検索した表示物データを、検索結果生成部２２３に供給する。表示物データ検索部２２２は、該当する表示物データが記憶部２３０に存在しない場合には、表示物データが存在しない旨を示す通知（以下「検索エラー通知」という）を、検索結果生成部２２３に供給する。
【００６３】
なお、表示物認識部２２１が複数の表示物を認識している場合には、表示物データ検索部２２２は、複数の表示物それぞれについての表示物データを記憶部２３０から取得し、検索結果生成部２２３に検索した表示物データを供給する。
【００６４】
検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを含んだ検索結果を作成する。また、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知を取得した場合には、当該エラー情報を含んだ検索結果を作成する。表示物データ生成部２２３は、作成した検索結果を検索情報送受信部２１２に供給する。
【００６５】
なお、表示物認識部２２１が複数の表示物を認識した場合には、検索結果生成部２２３は、指示タイミング情報によって特定されるフレームから、指示座標情報によって特定される位置の周辺画像を個別に切り出し（以下「個別画像」という。）、当該個別画像を検索結果に含める。
【００６６】
（第１の実施形態）
図４は、本発明の一実施の形態に係る通信端末１０の動作フローチャートであり、図５は、本発明の一実施の形態に係る検索サーバ２０の動作フローチャート図である。また、図６は、本発明の第１の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。当該第１の実施形態は、ユーザによる映像への指示に対し、検索サーバが１つの表示物データを特定する場合を示すものである。
【００６７】
ユーザがチャンネルを選局すると（Ｓ００１）、映像データ受信部１１１は選局したチャネルの放送波を受信し（Ｓ００２）、制御部１２０は映像データ視聴制御部１２４によって制御された映像データを通信端末１０の表示部１３０に表示させる（Ｓ００３）。デジタル放送において、放送局を選局し、その放送局から放送波を受信して、デジタル放送を視聴しているときに、画面に出ている表示物の名前がわからない、あるいはその表示物の情報をより詳しく知りたいと思ったときに、ユーザはクリックやタッチなどその表示物を指し示す動作を行う。ユーザが入力装置１７０を用いて表示部１３０上の表示物ａ１を指示すると（図６（ａ））、指示認識部１２１はユーザによる映像への指示を認識する（Ｓ００４）。指示認識部１２１は、映像へのユーザ指示を認識すると、ユーザ指示通知を座標取得部１２２及び映像データ取得部１２４に供給し、検索データ生成部１２５は、座標変換部１２３から供給される指示座標情報及び映像データ視聴制御部１２４から供給される指示タイミング情報を含む検索データを作成する。なお、指示座標情報に関しては、座標変換部１２３によって、例えば画面解像度、画面の縦横比といったパラメータや、縦表示／横表示といった表示態様などを考慮して、通信端末１０の表示部１３０の座標系から映像データの座標系への座標変換が行われている。ユーザからの指示がない場合には、映像データの表示が継続される（Ｓ００５）。指示認識部１２１がユーザによる映像への指示を認識した場合、当該検索データを検索情報送受信部１１２に供給する（Ｓ００６）。検索情報送受信部１１２は、検索データ生成部１１２から供給された検索データを検索サーバ２０に送信する（Ｓ００７）。検索サーバ２０の送信先情報（アドレス）は、放送局毎に予め設定されているものを利用したり、複数ある検索サーバのアドレスのうち１つのアドレスを動的に取得したものを利用することができる。
【００６８】
検索サーバ２０の記憶部２３０は、映像データ及び当該映像データに含まれる表示物に関する表示物データを記憶している。検索サーバ２０は、通信端末１０が送信した検索データを、検索情報送受信部２１２によって受信する（Ｓ２０１）。検索データには、ユーザ指示に応じた指示座標情報及び指示タイミング情報が含まれる。まず、表示物認識部２２１は、検索データに含まれる指示タイミング情報に基づき、ユーザが映像データ中のどのフレームに対して指示を行っているのかを特定する（Ｓ２０２）。次に、表示物認識部２２１は、検索データに含まれる指示座標情報に基づき、フレーム中のどの座標をユーザが指示しているのかを特定する。ユーザが指示しているフレーム及び指示座標が特定されると、表示物認識部２２１は、当該指示座標の周辺画像を切り出し、エッジ抽出などの画像処理によって表示物を認識する（Ｓ２０３）。表示物が認識できた場合には、表示物認識部２２１は、認識した表示物が誰であるか又は何であるかを検索するために、認識結果を表示物データ検索部２２２に供給する。表示物認識部２２１は、表示物を認識できない場合には、認識エラー通知を、検索結果生成部２２３に供給する。表示物データ検索部２２２は、表示物認識部２２１が認識した表示物に関する表示物データを、記憶部２３０から検索する。表示物データ検索部２２２は、記憶部２３０に検索データに対応する表示物データが存在する場合には、検索した表示物データを、検索結果生成部２２３に供給する。表示物データ検索部２２２は、該当する表示物データが記憶部２３０に存在しない場合には、検索エラー通知を、検索結果生成部２３０に供給する（Ｓ２０４）。検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを含んだ検索結果を作成（Ｓ２０６）し、検索情報送受信部２１２を通じて通信端末１０に送信する。また、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知取得した場合には、当該エラー通知を含んだ検索結果を作成し、検索情報送受信部２１２を通じて通信端末１０に送信する。（Ｓ２０７）。
【００６９】
なお、記憶部２３０に、指示タイミング情報及び指示座標情報と表示物データとの対応関係が予め記憶されている場合、Ｓ２０２およびＳ２０３を省略しＳ２０４で、表示物データ検索部２２２は、記憶部２３０から、指示タイミング情報及び指示座標情報に対応する表示物データを検索してもよい。
【００７０】
通信端末１０が検索サーバ２０に検索データ送信した後、検索情報送受信部１１２は、検索サーバ２０から検索データに対する検索結果を受信したかどうかの監視を行い（Ｓ００８）、検索結果を受信していない場合は映像データの表示を継続する（Ｓ００９）。検索情報送受信部１１２が検索サーバ２０から検索結果を受信すると、制御部１２０は、検索結果に検索データに対応する表示物データが含まれているか、又は検索結果に認識エラー通知又は検索エラー通知が含まれていないかを確認する（Ｓ０１０）。検索結果が検索データに対応する表示物データを含んでいる場合には、制御部１２０は、続けて、検索結果に含まれている表示物データが１つだけであるかどうかを確認する（Ｓ０１２）。検索結果に含まれている表示物データが１つだけである場合、制御部１２０は、表示部１３０の追加ウィンドウ１８０中に当該表示物データを表示させる（Ｓ０１３、図６（ｂ））。当該追加ウィンドウ１８０は、表示物データの基本画像を表示する画像ウィンドウ１８１と、表示物データの属性データを表示する属性ウィンドウ１８２とを含むものである。検索結果に認識エラー通知又は検索エラー通知が含まれている場合、制御部１２０は、追加ウィンドウ１８０の画像ウィンドウ１８１に、表示物データの検索ができなかった旨を示す「Ｎｏｔ Ｆｏｕｎｄ」を表示し、属性ウィンドウ１８２にエラーの詳細を表示するように表示部１３０を制御する（Ｓ０１１、図６（ｃ））。
【００７１】
このように、本実施形態によれば、ユーザの指示入力に応じて、通信端末は検索サーバから所望の表示物データを取得することができるため、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる。
【００７２】
なお、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しい場合に、表示物データを表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子とが等しい場合にのみ表示物データを表示部１３０に表示させることになるため、ユーザが必要とする表示物データのみを表示させることができる。
【００７３】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。当該第２の実施形態は、ユーザによる映像への指示に対し、検索サーバが複数の表示物データを特定する場合を示すものである。
【００７４】
検索サーバが複数の表示物データを特定する場合、通信端末１０から検索サーバ２０への検索データの送信については、第１の実施形態と同様に、ステップＳ００１〜Ｓ００７に沿って行われる。
【００７５】
図７（ａ）に示すとおり、指示装置１７０が指示する位置の周辺には、複数の表示物ａ１〜ａ３が密集して表示されている。そのため、表示物認識部２２１は、ユーザの指示対象としてａ１〜ａ３の３つの表示物を認識することになる。表示物認識部２２１が複数の表示物を認識しているため、表示物データ検索部２２２は、複数の表示物ａ１〜ａ３それぞれについての表示物データを記憶部２３０から取得し、検索結果生成部２２３に検索した表示物データを供給する。また、表示物認識部２２１が複数の表示物ａ１〜ａ３を認識しているため、検索結果生成部２２３は、指示タイミング情報によって特定されるフレームから、指示座標情報によって特定される位置周辺の個別画像を切り出し、当該個別画像を検索結果に含める。
【００７６】
通信端末１０が受信する検索結果に複数の表示物データが含まれている場合には、制御部１２０は、ユーザが複数の表示物データから所望の表示物データを選択するための画面を表示部１３０に表示させる（Ｓ０１４）。
【００７７】
図８は、Ｓ０１４において、ユーザが複数の表示物から所望の表示物を選択する動作の詳細を示すフローチャートである。検索結果に複数の表示物データが含まれている場合、制御部１２０は、追加ウィンドウ１８０の画像ウィンドウ１８１に個別画像を表示し、属性ウィンドウ１８２に複数表示物のリストを表示するように表示部１３０を制御する（Ｓ１０１、図７（ｂ））。なお、追加ウィンドウ１８０に対して一定時間ユーザからの指示がない場合や、ユーザが明示的に追加ウィンドウの非表示を指示した場合には、追加ウィンドウは非表示になる。
【００７８】
追加ウィンドウ１８０にユーザが指示を行い（Ｓ１０２）、その指示が個別画像に対するものである場合（Ｓ１０３）、制御部１２０は、拡大画像ウィンドウ１８３中に拡大した個別画像を表示し、縮小属性ウィンドウ１８４中に複数の表示物のリストを表示する（Ｓ１０４、図７（ｃ））。かかる拡大画像ウィンドウ１８３によって、ユーザは密集した表示物から、明確に所望の表示物を選択することが可能になる。ユーザはかかる拡大画像ウィンドウ１８３中の所望の表示物を指示することにより（Ｓ１０５）、所望の表示物についての属性情報を得ることができる（Ｓ０１３、図７（ｄ））。この場合、拡大画像ウィンドウ１８３及び縮小属性ウィンドウ１８４はそれぞれ通常の画像ウィンドウ１８１及び属性ウィンドウ１８２に戻り、画像ウィンドウ１８１中には指示された表示物データの基本画像が表示され、属性ウィンドウ１８２中には指示された表示物データの属性情報が表示される。
【００７９】
一方、追加ウィンドウ１８０にユーザが指示を行い（Ｓ１０２）、その指示が拡大画像ウィンドウ１８３に対するものではなく、縮小属性ウィンドウ１８４中の複数表示物のリストに対するものである場合には（Ｓ１０３）、制御部１２０は、当該指示によって明確にユーザが意図する表示物を特定することができるため、当該指示に対応した表示物データを追加ウィンドウ１８０に表示させる（Ｓ０１３、図７（ｄ））。
【００８０】
このように、本実施形態によれば、検索結果に複数の表示物データが含まれている場合、ユーザは当該複数の表示物から所望の表示物を選択して、選択した表示物に関する情報を画面に表示させることができる。
【００８１】
（第３の実施形態）
第３の実施形態は、ユーザによる映像への指示が、ユーザが意図したタイミングと異なる場合を考慮した、検索サーバ２０の処理の一実施形態を示すものである。
【００８２】
例えば、動きの速い表示物や画面の切り替わる直前の表示物へユーザが指示を行う場合には、ユーザが正しく表示物を指示したつもりでも、ユーザの指示の遅れにより、通信端末１０から検索サーバ２０へ送信される検索データの指示タイミング情報がずれ、検索サーバ２０はユーザの求めていた表示物の情報を検索できない場合がありうる。例えば、図９（ａ）のように、ユーザが表示物ｂ１を指示したつもりであっても、表示物ｂ１の移動速度が速い場合、実際の指示のタイミングがずれ、図９（ｂ）のように表示物ｂ２に対して誤って行われることが考えられる。その結果、検索サーバ２０は表示物ｂ２の表示物データを通信端末１０に返信するが、当該表示物ｂ２のデータはユーザの求めていた情報と異なるという問題がある。また、例えば、図９（ａ）のように、ユーザが表示物ｂ１を指示したつもりであっても、表示物ｂ１の移動速度が速い場合、実際の指示のタイミングがずれ、図９（ｃ）のように表示物が存在しない範囲に対して誤って行われることが考えられる。その結果、検索サーバ２０はエラー情報（認識エラー通知）を通信端末１０に返信することになり、ユーザの求めていた表示物ｂ１の表示物データが取得できないという問題がある。
【００８３】
図１０は、本発明の第３の実施形態に係る検索サーバ２０の動作フローチャートである。上記問題に対し、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２は、まず、通信端末１０から送信された検索データに従って表示物データの認識及び検索を行う（Ｓ３０１）。当該表示物データの認識及び検索は、図５に示すステップＳ２０２〜Ｓ２０４と同様に行われる。次いで、検索サーバ２０の表示物認識部２２１は検索データに含まれる指示タイミング情報より所定時間前の画像中の、検索データに含まれる指示座標情報が示す座標に対して、表示物データの認識を行い、表示物データ検索部２２２は表示物認識部２２１の認識結果を受け表示物データ検索を行う（Ｓ３０２、Ｓ３０３）。当該所定時間前の画像に対する表示物データの認識及び検索は、所定回数行われる。なお、ステップＳ３０１において、1つ以上の表示物データが認識及び検索されている場合には、ステップＳ３０２、Ｓ３０３の繰返し回数をゼロにする（換言すると、ステップＳ３０２、Ｓ３０３をスキップする）ことも可能である。ステップＳ３０１〜Ｓ３０３において、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２が1つ以上の表示物の認識及び検索に成功している場合には（Ｓ３０４のＹＥＳ）、検索サーバ２０の検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを全て含んだ検索結果を作成（Ｓ３０５）し、検索情報送受信部２１２を通じて通信端末１０に送信する。また、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２が1つ以上の表示物を認識及び検索できなかった場合には（Ｓ３０４のＮｏ）、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知取得して、当該エラー通知を含んだ検索結果を作成し、検索情報送受信部２１２を通じて通信端末１０に送信する（Ｓ３０６）。
【００８４】
なお、ステップＳ３０５において、通信端末１０へ送信する複数の表示物データの数及び選択方法については、例えばＳ３０１〜Ｓ３０３の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を付け（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにすることができる。また、指示タイミング情報よりもどの程度前の時間の画像を検索するかについては、画面の切り替わりタイミング（例えば映像中の画面構成、アングルが変化する時間）、あるいは通常ユーザが表示物を見てから指示を行うのにかかる時間をもとに決定することが考えられる。また、ステップＳ３０２及びＳ３０３のループ回数については、表示物が１つでも見つかるまでとすることも考えられる。なお、その場合、表示物認識部２２１及び表示物データ検索部２２２が検索データそのものを用いて表示物を認識及び検索できた場合には、２回目以降の表示物の認識は行わないようにできる。あるいは1度だけ表示物認識部２２１及び表示物データ検索部２２２によって所定時間前の画像において表示物の認識及び検索を行い、その結果表示物が認識及び検索できた場合であって、その表示物が検索データそのものを用いて認識した表示物と異なる場合には、検索サーバ２０は両方の表示物データを通信端末１０へ返信しても良い。
【００８５】
なお、検索サーバ２０が、自発的に、検索サーバに含まれる指示タイミング情報より前の画像に対して表示物の認識及び検索を行うほかに、通信端末１０の検索データ生成部１２５が、予めユーザの指示時より前の時間を示す複数の指示タイミング情報を含んだ検索データを作成してもよい。この場合、検索サーバ２０は、検索データに含まれる複数の指示タイミング情報それぞれに基づいて表示物の認識及び検索を行うことになる。
【００８６】
このように、本実施形態によれば、検索サーバが、検索データに含まれる指示タイミング情報よりも前の時間を示すタイミング情報と、指示座標情報とに基づき、映像への指示に対応する表示物を認識するため、ユーザによる映像への指示が、ユーザが意図したタイミングと異なる場合であっても、ユーザが希望する表示物の表示物データを認識及び検索することができる。また、通信端末が検索データに、指示時より前の時間を示す複数の指示タイミング情報が含まれることによって、検索サーバに明示的にユーザ指示の時間より前の画像に対する表示物認識を行わせることが可能になる。
【００８７】
（第４の実施形態）
第４の実施形態は、ユーザによる映像への指示が、“点”としての指示に加え、“円”や“線”といった形体によるものである場合の一実施形態を示すものである。
【００８８】
ユーザによる表示部１３０への指示は、ペンなどが表示部に触れてから離れるまでであり、通信端末１０の指示認識部１２１は、その間の指示を連続的に認識できる。すると、図１１に示すように、表示物を指示する方法として、図１１（ａ）のような“点”だけでなく、図１１（ｂ）のように表示物をまとめて指示することのできる“円”や、図１１（ｃ）のように表示物の動きを追いながら表示物を指示できる“線”などの指示方法が考えられる。
【００８９】
図１２は、本発明の第４の実施形態に係る通信端末１０の概略構成を示す機能ブロック図である。図１２に示す構成は、図１の構成に指示形体判断部１２６を加えたものである。図1と同一の参照符号を付した機能ブロックは、図１のものと同等の機能を有するものとする。
【００９０】
図１３は、本発明の第４の実施形態に係る通信端末１０の動作フローチャートであり、図４のステップＳ００６の処理を、様々な指示形体に対応させたものである。通信端末１０の指示認識部１２１がユーザからの指示を認識すると、座標取得部１２２はユーザの指示座標情報（指示開始座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示開始時間）を取得する（Ｓ４０１）。ユーザからの指示形体が“円”又は“線”である場合のように、ユーザからの指示が一定時間継続して表示部に行われる場合には、当該ユーザ指示が終了するまで、所定時間毎に、座標取得部１２２はユーザの指示座標情報を取得し、映像データ視聴制御部１２４は指示タイミング情報を取得する（Ｓ４０２）。ユーザからの指示が終了すると、再度、座標取得部１２２はユーザの指示座標情報（指示終了座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示終了時間）を取得する（Ｓ４０３）。
【００９１】
次いで、指示形体判断部１２６は、ユーザの指示が終了したときに、ユーザの指示方法が“点”であったのか“円”であったのか“線”であったのかを、取得した指示座標情報の軌跡を基にした画像認識などにより判定する（Ｓ４０４）。検索データ作成部１２５が生成する検索データに含まれる情報は、指示形体判断部１２６が判断した指示形体によって異なる。検索データ作成部１２５は、指示形体が“点”であった場合には、指示開始座標と指示開始時間を検索データとする（Ｓ４０６）。検索データ作成部１２５は、指示形体が“円”であった場合には、取得した指示座標情報の軌跡を基に計算した円の中心座標と、指示開始時間と、中心座標から最も遠い指示の指示座標情報とを検索データとする（Ｓ４０７）。検索データ作成部１２５は、指示形体が“線”であった場合には、指示開始座標及び指示開始時間の組と指示終了座標及び指示終了時間の組を検索データとする（Ｓ４０８）。特に指示形体が“線”であった場合には、検索データ作成部１２５は、検索データに、線の軌跡をより詳細に表すための座標情報及び時間情報を複数追加してもよい。なお、円の中心座標は、例えば、任意の3つの座標を結ぶ2つの線分の垂直二等分線の交点から求めることができる。
【００９２】
図１４は、本発明の第４の実施形態に係る検索サーバ２０の動作フローチャート図である。検索サーバ２０では、検索情報送受信部２１２が通信端末１０から検索データを受信すると（Ｓ５０１）、制御部２２０は、検索データの内容から、通信端末１０に対するユーザの指示形体が何であったのかを判定する（Ｓ５０２）。制御部２２０は、検索データが指示座標情報と指示タイミング情報を１つずつしか含まない場合には、指示形体が“点”であったと判定し（Ｓ５０３）、表示物認識部２２１は指示タイミング情報が示す画像の中の指示位置座標情報の位置で表示物を認識する（Ｓ５０４）。制御部２２０は、検索データが２つの指示座標情報と１つの指示タイミング情報を含む場合には、指示形体が“円”であったと判定し（Ｓ５０５）、２つの指示座標情報の距離から円の半径rを求め（Ｓ５０６）、表示物認識部２２１は指示タイミング情報が示す画像の中で第1座標（中心座標）を中心とし半径rの領域内の表示物を認識する（Ｓ５０７）。制御部２２０は、検索データが指示座標情報及び指示タイミング情報の組を２つ（以上）含む場合には、指示形体が“線”であったと判定し（Ｓ５０８）、表示物認識部２２１は各指示座標情報及び指示タイミング情報から線の始点・終点（並びに途中点）を求めて当該線の軌跡を算出し、その線に沿ってそれぞれ表示物を認識する（Ｓ５０９）。なお、表示物の検索・照合ステップＳ５１０及び表示物データの送信ステップＳ５１１については、図５のステップＳ２０４〜Ｓ２０７と同様に行われる。
【００９３】
なお、ステップＳ５１１において、通信端末１０へ送信する複数の表示物データの数及び選択方法については、例えばＳ５１０の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を付け（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにすることができる。
【００９４】
なお、上記実施例では、指示方法を点と円と線に限って説明しているが、指示形体判断部１２６は、三角形や四角形などの図形の認識にも対応することができる。例えば、検索データ作成部１２５は、指示形体が三角形であれば、三角形の各頂点の座標及び指示開始時間を、四角形であれば四角形の各頂点の座標及び指示開始時間を検索データに含めればよい。また、指示認識部１２１が、連続的な指示の軌跡の交点を認識したときを図１３に示すステップＳ４０２における指示終了としてもよい。また、検索データ作成部１２５は、ユーザの指示形体が何であったかを検索データに含めてもよい。その場合には、検索サーバ２０ではその情報を見ることで、ユーザの指示形体を確認できる。また、指示形体判断部１２６が図形（円や三角形など）であることの判定を行うのは、指示認識部１２１が、ユーザの連続的な指示の軌跡の交点を認識したときでもよい。また、通信端末１０ではユーザの指示形体の認識は行わず、検索サーバ２０へ通信端末１０で取得した全ての座標と時間を逐次あるいは指示終了時にまとめて送信し、検索サーバ２０でその情報をもとに、軌跡を描くなどしてから画像認識などによりユーザの指示形体を判定することも考えられる。また、検索データ作成部１２５は、軌跡ではなく連続した複数の点により囲まれたエリアにより表示物を指示することも考えられる。その場合にはユーザが最後の点を指示した後に、指示認識部１２１及び指示形体判断部１２６によってエリアを決定する決定処理などを行う。その場合、通信端末１０は、エリア内の指示座標情報をまとめた検索データを送ってもよいし、1対の指示座標情報と指示タイミング情報を連続的あるいは所定時間ごとに検索サーバ２０へ送ってもよい。
【００９５】
このように、本実施形態によれば、通信端末の映像に連続的な指示があった場合に、検索データに、当該連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報を含んで検索サーバに送信するため、検索サーバは当該連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報に基づいて表示物の認識及び検索を行い、結果的にユーザが希望する表示物の表示物データを取得する可能性を高めることができる。また、前記連続的な指示が点、円及び線といった形体である場合に、通信端末は検索データに当該形体に応じた指示座標情報及び指示タイミング情報を含め、検索サーバは当該形体に応じた検索を行うことによって、ユーザが希望する表示物を効率的に検索して取得することが可能になる。
【００９６】
（第５の実施形態）
第５の実施形態は、ユーザによる映像への指示が連続的なものであり、当該連続的な指示がある有界の範囲を指定する（連続的な指示が交点を有する）ものである場合に、検索データの内容に当該有界範囲内の情報を含める場合の一実施形態を示すものである。
【００９７】
図１５は、本発明の第５の実施形態に係る通信端末１０の動作フローチャートであり、図４のステップＳ００６の処理を、連続的な指示の交点の有無に対応させたものである。通信端末１０の指示認識部１２１がユーザからの指示を認識すると、座標取得部１２２はユーザの指示座標情報（指示開始座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示開始時間）を取得する（Ｓ６０１）。ユーザからの指示が一定時間継続して表示部に行われる場合には、当該ユーザ指示が終了するまで、所定時間毎に、座標取得部１２２はユーザの指示座標情報を取得し、映像データ視聴制御部１２４は指示タイミング情報を取得する（Ｓ６０２）。ユーザ指示が終了すると、再度、座標取得部１２２はユーザの指示座標情報（指示終了座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示終了時間）を取得する（Ｓ６０３）。検索データ作成部１２５は、指示開始座標及び指示開始時間から指示終了座標及び指示終了時間までの、全ての指示座標情報及び指示タイミング情報を含む検索データを作成する（Ｓ６０４）。指示認識部１２１は、座標認識部１２２の座標認識結果を参照し、連続的な指示の軌跡の交点の有無を判定する（Ｓ６０５）。連続的な指示の軌跡に交点が存在する場合には、検索データ作成部１２５は、当該軌跡により囲まれる範囲に含まれる指示座標情報を検索データに追加する（Ｓ６０６）。
【００９８】
図１６は、本発明の第５の実施形態に係る検索サーバ２０の動作フローチャート図である。検索サーバ２０が検索データを受信すると（Ｓ７０１）、表示物認識部２２１及び表示物データ検索部２２２は、通信端末１０から送信された検索データに含まれる全ての指示座標情報及び指示タイミング情報に従って表示物データの認識及び検索を行う（Ｓ７０２〜Ｓ７０３）。当該表示物データの認識及び検索は、図５に示すステップＳ２０２〜Ｓ２０４と同様に行われる。検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを全て含んだ検索結果を作成する（Ｓ７０４）。検索結果作成部２２３は、例えばＳ７０２〜Ｓ７０３の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を決定し（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにする。検索サーバ２０は、当該検索結果を、検索情報送受信部２１２を通じて通信端末１０に送信する。
【００９９】
本実施形態によれば、通信端末への指示が、連続的な指示であって、指示座標の軌跡が交差するものである場合、検索データには、連続的な指示の指示座標の軌跡によって囲まれる範囲の指示座標情報と連続的な指示に対応する指示タイミング情報が含まれるため、通信端末はユーザが希望する表示物が存在しうる範囲を網羅的に検索サーバに伝えることが可能になり、結果的にユーザが希望する表示物データの取得確率を向上させることができる。
【０１００】
（第６の実施形態）
第６の実施形態は、通信端末の操作部（指示入力部）がリモコン等の遠隔操作端末により構成され、通信端末に対して遠隔操作端末による遠隔操作が可能な場合の一実施形態を示すものである。
【０１０１】
図１７は、本発明の第６の実施形態に係る通信ネットワークの概略構成を示す図である。図１７において、通信端末１０は遠隔操作端末１９０により遠隔操作可能であり、検索サーバ２０、放送局３０、基地局４０、及びＷＡＮ５０は図１のものと同等であるものとする。なお、通信端末１０と基地局４０とは、例えば有線ＬＡＮ、無線ＬＡＮ、移動体通信無線（ｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long Term Evolution））など、有線及び無線の任意の通信方式によって通信することが可能である。また、放送局３０と検索サーバ２０とが有線接続され、当該有線接続によりデジタル放送が送受信されてもよい。
【０１０２】
図１８は、本発明の第６の実施形態に係る通信端末１０及び遠隔操作端末１９０の概略構成を示す機能ブロック図である。図１８に示す構成は、図１の構成の操作部１４０を遠隔操作通信部１４１に置き換え、通信端末１０を遠隔操作端末１９０により遠隔操作可能とした構成である。図1と同一の参照符号を付した機能ブロックは、図１のものと同等の機能を有するものとする。
【０１０３】
遠隔操作端末１９０は、通信端末１０の遠隔操作通信部１４１と通信を行う遠隔操作通信部１９１（第２遠隔操作通信部）と、ユーザが表示部１３０上の表示物を指し示し、指示入力を行うための遠隔操作部１９２とを有する。遠隔操作通信部１４１及び遠隔操作通信部１９１は、それぞれ、赤外線通信、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の任意の好適な近距離無線に対応したインターフェース機器から構成される。遠隔操作部１９２は、タッチパネル又は他の好適な任意のポインティングデバイスから構成される。なお、遠隔操作部１９２は、加速度センサ、角速度センサ、振動センサ、傾斜センサ等のセンサを用いることにより、ユーザが遠隔操作端末１９０を振るといった直感的な動作で、遠隔操作を可能とする構成とすることもできる。
【０１０４】
ここで、遠隔操作端末１９０は、一般的なリモコンのように通信端末１０に従属する端末として構成してもよいし、例えば携帯電話やＰＤＡ等のように通信端末１０から独立した端末として構成することもできる。
【０１０５】
遠隔操作端末１９０を通信端末１０に従属する端末として構成する場合、通信端末１０は、遠隔操作通信部１４１及び遠隔操作端末１９０を含んで構成されるものとすることができる。なお、この場合、通信端末１０は、操作部１４０をさらに含むことができることに留意されたい。
【０１０６】
第６の実施形態においては、通信端末１０及び検索サーバ２０の処理は、基本的に第１の実施形態（ステップＳ００１〜Ｓ０１３、Ｓ２０１〜Ｓ２０７）に沿って行われるが、通信端末１０におけるステップＳ００４における処理が第１の実施形態とは異なる。
【０１０７】
すなわち、第６の実施形態では、ステップＳ００４において、ユーザが表示物１３０に表示されている表示物の名前がわからない、あるいはその表示物の情報をより詳しく知りたいと思ったとき、ユーザは、遠隔操作端末１９０の遠隔操作部１９２を操作することによって、その表示物を指し示す動作を行う。ユーザが遠隔操作端末１９０の遠隔操作部１９２により表示部１３０上の表示物への指示を行うと、遠隔操作端末１９０の遠隔操作通信部１９１は、通信端末１０の遠隔操作通信部１４１に当該指示の情報を送信するため、指示認識部１２１が当該指示を認識することができる。
【０１０８】
図１９は、本発明の第６の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。ユーザは、遠隔通信端末１９０の遠隔操作部１９２を操作して、表示部１３０上のポインタ（例えば矢印）を移動させることにより、表示物を指示することができる。例えば、遠隔操作部１９２が加速度センサや角速度センサなどを備える場合、ユーザは遠隔操作端末１９０を振るなどして表示部１３０上のポインタを移動させることができる。また、遠隔操作端末１９２が入力キーを備える場合、ユーザは当該キーを操作することにより表示部１３０上のポインタを移動させることができる。
【０１０９】
ユーザが遠隔操作端末１９０により表示部１３０上の表示物ａ１を指示すると（図１９（ａ））、通信端末１０は、検索サーバ２０に対して表示物ａ１に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。
【０１１０】
例えば、検索サーバ２０からの検索結果に表示物ａ１の表示物データが含まれている場合、表示部１３０の追加ウィンドウ１８０中には、当該表示物ａ１の表示物データが表示される（図１９（ｂ））。また、例えば、検索結果に検索エラー通知が含まれている場合、表示部１３０の追加ウィンドウ１８０の画像ウィンドウ１８１に、表示物ａ１の表示物データが検索できなかった旨を示す「Ｎｏｔ Ｆｏｕｎｄ」が表示され、属性ウィンドウ１８２にエラーの詳細が表示される（図１９（ｃ））。
【０１１１】
本実施形態によれば、ユーザは遠隔操作端末によって表示物を指示できるため、例えばユーザがテレビ等を離れて視聴している場合でも、表示部に対する操作が容易になり、ユーザの利便性を向上させることができる。
【０１１２】
（第７の実施形態）
第７の実施形態は、第６の実施形態における遠隔操作端末が表示部を備え、当該表示部上に表示物データの情報が表示される場合の一実施形態を示すものである。
【０１１３】
図２０は、本発明の第７の実施形態に係る通信端末１０及び遠隔操作端末１９０の概略構成を示す機能ブロック図である。図２０に示す構成は、図１８の構成の遠隔操作端末１９０に表示部１９３（第２表示部）を追加した構成である。表示部１９３は、例えば液晶ディスプレイ、又は他の好適な任意のディスプレイ機器から構成される。なお、図１８と同一の参照符号を付した機能ブロックは、図１８のものと同等の機能を有するものとする。
【０１１４】
図２１は、本発明の第７の実施形態に係る通信端末１０の表示部１３０及び遠隔操作端末１９０の表示部１９３の表示例を示す図である。図２１では、ユーザＡが遠隔操作端末１９０Ａを操作して表示部１３０上の表示物ａ１に対して指示入力を行い、ユーザＢが遠隔操作端末１９０Ｂを操作して表示部１３０上の表示物ａ３に対して指示入力を行っている（図２１（ａ））。この場合、遠隔操作端末の数は２台以上であるため、例えば遠隔操作端末のＩＤなど、各遠隔操作端末の所定の識別情報を用いることにより、通信端末１０は、各遠隔操作端末からの指示入力を識別できるものとする。
【０１１５】
通信端末１０は、遠隔操作端末１９０Ａからの遠隔操作を受け、検索サーバ２０に対して表示物ａ１に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。また、通信端末１０は、遠隔操作端末１９０Ｂからの遠隔操作を受け、検索サーバ２０に対して表示物ａ３に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。
【０１１６】
通信端末１０は、検索サーバ２０から検索結果を受信し、例えば、表示物ａ１及びａ３の表示物データを取得すると、表示物ａ１及び表示物ａ３の表示物データを、それぞれ、遠隔操作端末１９０Ａ及び１９０Ｂに送信する。つまり、通信端末１０の制御部１２０は、表示物ａ１及び表示物ａ３の表示物データが、それぞれ、遠隔操作端末１９０Ａ及び１９０Ｂに送信されるように、遠隔操作通信部１４１を制御する。このため、遠隔操作端末１９０Ａの表示部１９３には表示物ａ１の表示物データが表示され（図２１（ｂ））、遠隔操作端末１９０Ｂの表示部１９３には表示物ａ３の表示物データが表示される（図２１（ｃ））ことになる。
【０１１７】
本実施形態によれば、ユーザは遠隔操作端末によって表示物を指示することができ、さらに当該表示物に関する表示物データを遠隔操作端末上に表示させることができる。そのため、例えばユーザがテレビ等を離れて視聴している場合でも、表示部に対する操作が容易になるともに、取得した情報を手元の遠隔操作端末上で見ることができるため、ユーザの利便性を向上させることができる。また、表示物データを遠隔操作端末１９０の表示部１９３に表示させ、通信端末１０の表示部１３０に表示させないようにすれば、複数のユーザにより通信端末１０の表示部１３０に表示された映像を見ている場合、他のユーザの視聴を妨げることなく、取得したデータを確認することができる。
【０１１８】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１１９】
例えば、各上記実施形態は、映像データをデジタル放送の映像として記載しているが、本発明はそのような形態に限られるものではない。例えば、本発明はインターネットなどの電気通信回線を介した映像配信にも対応しているものである。この場合、通信端末１０の送受信部１１０及び検索サーバ２０の送受信部２１０は、映像データ用のインターフェースと検索情報送受信用のインターフェースとを個別にもつ必要はなく、共通の単一インターフェースによって送受信部を構成することができる。
【０１２０】
また、上記各実施例では、通信端末１０が送信する検索データに含まれる指示座標情報は、座標変換部１２３による座標変換が行われているが、当該座標変換は検索サーバ側で行うことも可能である。この場合、通信端末１０が検索サーバ２０に送付する検索データに含まれる指示座標情報は、通信端末１０の表示部１３０の座標系を基準とするものであり、さらに、検索データは、通信端末１０の表示部１３０に関する端末画面情報を含むことになる。検索サーバ２０は、このような検索データを通信端末１０から受信すると、検索データに含まれる端末画面情報に基づき、指示座標情報を、映像データの座標系を基準とする座標情報に変換し、ユーザによる指示に対応する表示物を認識することになる。このように、座標変換をサーバ側に委ねることにより、通信端末１０の構成を簡潔にすることができ、かつ、処理負荷を低減することができる。
【０１２１】
また、通信端末１０が検索サーバ２０に検索データを送信した後に、ユーザが視聴している番組を変更し、表示物データが検索サーバ２０から受信された場合など、検索データに含めたときの第１のサービス識別子と、表示部１３０に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが異なる場合も考えられる。この場合、表示物を指示したときと検索結果を受信したときとでユーザの興味が変化している場合が考えられるため、検索サーバ２０から受信した検索結果の表示態様として以下の態様が考えられる。
【０１２２】
第１の表示態様では、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しくない場合に、表示物データを受信した旨を表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子とが等しくない場合に、制御部１２０は、ポップアップ表示等でユーザに第1のサービス識別子に対する検索結果を受信した旨を通知することができる。かかる通知を受けたユーザは、当該ポップアップを指示することによって、受信結果に含まれる表示物データの表示を促すことができる。
【０１２３】
第２の表示態様では、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しくない場合に、記憶部１５０に検索結果（表示物データ）を記憶させ、表示部１３０に表示されている映像データを提供するサービスが替わり、第１のサービス識別子と第２のサービス識別子とが等しくなった時点で、表示物データを表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子が等しくなるまで待機してから表示物データを表示させるため、ユーザが必要とする表示物データのみを表示させることができる。
【０１２４】
また、通信端末１０は、一般に、複数のアプリケーションを実行できるものである。この場合、通信端末１０にとっては、映像を視聴する機能は、複数のアプリケーションの１つに過ぎない。そのため、ユーザが映像を指示して検索サーバ２０に検索データを送信してから、検索結果を受信するまでの間に、当該映像視聴アプリケーションを終了してしまう場合が考えられる。このように、検索データを送信してから、検索結果を受信するまでの間に映像視聴アプリケーションの終了指示があった場合には、映像視聴アプリケーションの一部の機能を終了させずに維持させておくことが考えられる。例えば、検索結果を受信するまでの間に映像視聴アプリケーションの終了指示があった場合に、送受信部１１０の機能を終了させず維持しておけば、送受信部１１０が検索サーバ２０から検索結果を受信した際に、映像視聴アプリケーションの他の機能（制御部１２０等）を再起動して、受信した表示物データを表示部１３０に表示させることが可能になる。
【０１２５】
また、通信端末１０の制御部１２０は、指示認識部１２１がユーザによる表示物への指示を認識した場合に、映像データ視聴制御部１２４に指示を出して映像を静止させ、ユーザはその静止された画像上の表示物に対して指示を行うようにすることも考えられる。その場合、ユーザの指示が遅れて、静止させた画像内にユーザが指示したい表示物がすでに表示されていないときには、記憶部１５０において所定時間だけ映像あるいは画像を記録しておき、操作部１４０を介してユーザが巻き戻しや前画像の表示など制御部１２０に指示することにより、ユーザは指示したい表示物が表示されている画像を表示部１３０に表示させ、そこから希望する表示物への指示を行うことも考えられる。
【０１２６】
なお、検索サーバ２０から表示物データを受信した場合には、音声や振動、光等によってその受信をユーザに通知したり、また、音声によって各表示物データの属性情報の内容をユーザに通知できることに留意されたい。
【０１２７】
また、通信端末の遠隔操作に関する第６及び第７の実施形態において、遠隔操作端末１９０が通信機能（第２送信部及び第２表示物データ受信部）を備え、検索サーバ２０との間で表示物データに関する通信を行う構成も考えられる。この場合、ユーザが遠隔操作端末１９０によって表示部１３０上の表示物データを指示すると、通信端末１０は、表示物データに応じた検索データを遠隔操作端末１９０に送信する。すなわち、通信端末１０の制御部１２０は、検索データ生成部１２５が生成した検索データを、遠隔操作端末１９０に送信するように遠隔操作通信部１４１を制御する。遠隔操作端末１９０は、通信端末１０から受信した検索データを検索サーバ２０に送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を遠隔操作端末１９０に送信する。遠隔通信端末１９０が表示部１９３を備える場合、遠隔操作端末１９０は受信した検索結果を表示部１９３に表示させることができる。遠隔通信端末１９０が表示部１９３を備えない場合、遠隔操作端末１９０は受信した検索結果を通信端末１０に送信し、通信端末１０は表示部１３０に当該検索結果を表示させることができる。
【０１２８】
なお、遠隔操作端末１９０が通信機能を備える場合には、通信端末１０の構成から検索情報送受信部１１２を除くことができることに留意されたい。
【０１２９】
また、本発明が対応可能なデジタル放送は、地上デジタル放送（ワンセグ放送）のみに限られるものではなく、例えばＭｅｄｉａＦＬＯなど、あらゆるデジタル放送を含むものである。
【０１３０】
また、上述の各実施形態では、無線通信方式として、ｃｄｍａ２０００ １ｘＥＶ−ＤＯ、ｉＢｕｒｓｔ、無線ＬＡＮなどを想定して説明したが、本発明の適用範囲はかかる無線通信方式のみに限られるものではなく、例えば、ＰＤＣ（Personal Digital Cellular）、Ｗ−ＣＤＭＡ（Wideband CDMA）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６）、ＬＴＥ（Long Term Evolution）、ＵＭＢ（Ultra Mobile Broadband）など、現在実用されている無線通信ネットワーク及び将来的な実用が見込まれる無線通信ネットワークなど、あらゆる無線通信ネットワークに対応することが可能である。
【符号の説明】
【０１３１】
１０ 通信端末
２０ 検索サーバ
３０ 放送局
４０ 基地局
５０ ＷＡＮ
１１０ 送受信部
１１１ 映像データ受信部
１１２ 検索情報送受信部
１２０ 制御部
１２１ 指示認識部
１２２ 座標取得部
１２３ 座標変換部
１２４ 映像データ視聴制御部
１２５ 検索データ生成部
１２６ 指示形体判断部
１３０ 表示部
１４０ 操作部
１４１ 遠隔操作通信部
１５０ 記憶部
１７０ 入力装置
１８０ 追加ウィンドウ
１８１ 画像ウィンドウ
１８２ 属性ウィンドウ
１８３ 拡大画像ウィンドウ
１８４ 縮小属性ウィンドウ
１９０ 遠隔操作端末
１９１ 遠隔操作通信部
１９２ 遠隔操作部
１９３ 表示部
２１０ 送受信部
２１１ データ取得部
２１２ 検索情報送受信部
２２０ 制御部
２２１ 表示物認識部
２２２ 表示物データ検索部
２２３ 検索結果生成部
２３０ 記憶部
【技術分野】
【０００１】
[関連出願の相互参照]
本出願は、日本国特許出願２００８−１３９３９４号（２００８年５月２８日出願）及び日本国特許出願２００８−２２０１２４号（２００８年８月２８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【０００２】
この発明は、通信端末、検索サーバ及び通信システムに関する。特に、ユーザが映像中の表示物をタッチパネル等で指示した場合に、当該指示に対応する表示物のデータを検索サーバから取得して画面に表示する通信端末、ユーザの指示情報を通信端末から受信し、当該指示に対応した表示物のデータを検索し、通信端末に送信する検索サーバ、並びに当該通信端末及び検索サーバを含む通信システムに関する。
【背景技術】
【０００３】
近年、衛星や地上波を利用したデジタル放送や、インターネットなどの電気通信回線を通じた動画像配信など、ユーザは様々な放送／通信インフラを介して映像データを視聴することができる。かかる映像データの画面には、人や物など様々な対象（以下「表示物」という。例えば、タレント／選手／商品など。）が含まれている。このような表示物はユーザの興味を引きやすく、ユーザが表示物に関する所定の情報（以下「表示物データ」という。例えば、タレント／選手／商品の写真／名前／所属等の属性情報。）を希望する場合に、該当する表示物データを画面上に表示することができれば、ユーザにとっての利便性が向上することになる。
【０００４】
このような利便性向上を実現するための従来技術として、デジタル放送の視聴画面に含まれる表示物データのリストを、予め放送データに含めておくという方法がある。かかる方法によると、ユーザが受信するデジタル放送には映像データと共に表示物データのリストが含まれているため、ユーザは映像と表示物データのリストとを対比することにより、所望の表示物データを得ることができる。
【０００５】
例えば、番組のＴＶ放送画面内に表示される表示物の表示エリアを該表示物ごとに特定するエリア情報等が、その番組のＴＶ放送画面と一体に関連付けてデジタルデータとして送信される。この番組を受信端末装置側が受信し、その受信したＴＶ放送画面内に表示エリアが存在するときに、その表示エリアをポインタで選択指定するか、又はデータ表示ボタンを押すと、該表示エリア内の表示物の詳細情報がＴＶ放送画面と一緒に受信手段側のモニタ画面に表示される双方向デジタルＣＭ放送システムが知られている（例えば、特許文献１参照）。このように、予め映像上に表示物毎のエリア情報を設定することにより、ユーザが所望の表示物の近傍を指示した際に、表示物データを画面に表示させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２００９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記の従来技術ではいずれも、予め放送局（送信端末）が表示物データを映像データに含めておかなければならない。映像データに表示物データを含めると、放送局（送信端末）から受信端末に送られるデータ量が増大するという問題がある。また、映像データに含めて送信される全ての表示物データがユーザによって参照されるという状況は考えにくい。この場合、参照されない表示物データについては結果的に不要な情報となり、放送（通信）資源の有効活用の観点から好適な方法とはいえない。
【０００８】
また、特許文献１に係る方法のように、放送局（送信端末）が全番組に対して表示物毎のエリア情報を設定する方法では、設定に要する作業負荷は膨大であり、全番組に対して表示物毎のエリア情報を設定したり、表示物データを予め映像データに含めることは現実的ではない。
【０００９】
また、従来技術では、生放送のようにリアルタイムに放送される映像データについては、放送局（送信端末）が予め表示物データを映像データに含める機会はなく、従来の技術だけでは、ユーザが希望する表示物の詳細情報を表示させることができない。
【００１０】
従って、上記の諸課題を鑑みてなされた本発明の目的は、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる、通信端末、検索サーバ、及び通信システムを提供するものである。
【課題を解決するための手段】
【００１１】
上述した諸課題を解決すべく、本発明の通信端末は、映像データを受信する映像データ受信部と、前記映像データ受信部が受信した映像データを表示する表示部と、前記表示部に対する指示入力を受け付ける指示入力部と、前記指示入力が前記表示部に表示された映像への指示であるかを認識する指示認識部と、前記指示認識部が前記映像への指示を認識した場合に、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを検索サーバに送信する送信部と、前記検索サーバが前記検索データに基づいて検索した表示物データを受信する表示物データ受信部と、前記表示物データ受信部が受信した前記表示物データを前記表示部に表示させる制御部と、を備えることを特徴とする。
【００１２】
また、前記検索データには、前記指示時より前の時間を示す複数の指示タイミング情報が含まれることが望ましい。
【００１３】
また、前記指示認識部が、前記映像への連続的な指示を認識した場合、前記検索データには、前記連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報が含まれることが望ましい。
【００１４】
また、前記指示認識部が、前記映像への連続的な指示であって、前記連続的な指示の指示座標の軌跡が交差するものを認識した場合、前記検索データには、前記連続的な指示の指示座標の軌跡によって囲まれる範囲の指示座標情報と、前記連続的な指示に対応する指示タイミング情報とが含まれることが望ましい。
【００１５】
また、前記映像への連続的な指示の指示座標の軌跡が表す形体を判断する指示形体判断部を更に備え、前記指示形体判断部が、前記指示形体を円と判断した場合、前記検索データには、前記指示形体判断部によって算出された前記円の中心座標を表す指示座標情報と、前記連続的な指示のうち前記中心座標から最も離れた指示の指示座標情報と、前記連続的な指示の１つの指示に対応する指示タイミング情報と、が含まれることが望ましい。
【００１６】
また、前記映像への連続的な指示の指示座標の軌跡が表す形体を判断する指示形体判断部を更に備え、前記指示形体判断部が、前記指示形体を線と判断した場合、前記検索データには、少なくとも、前記連続的な指示の最初の指示に対応する指示位置座標及び指示タイミング情報と、前記連続的な指示の最後の指示に対応する指示位置座標及び指示タイミング情報と、が含まれることが望ましい。
【００１７】
また、前記指示座標情報は、前記映像データの座標系を基準とするものであることが望ましい。
【００１８】
また、前記指示座標情報は、前記端末の前記表示部の座標系を基準とするものであり、前記検索データは、前記端末の前記表示部に関する端末画面情報を含むことが望ましい。
【００１９】
前記指示認識部が前記映像への指示を認識した場合、前記制御部が、前記映像データを提供するサービスを識別するためのサービス識別子を特定し、特定したサービス識別子を前記検索データに含めることが望ましい。
【００２０】
また、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しい場合に、前記表示物データを前記表示部に表示させることが望ましい。
【００２１】
また、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、前記表示物データを受信した旨を前記画面に表示させることが望ましい。
【００２２】
また、前記検索サーバから受信した表示物データを記憶する記憶部を備え、前記制御部は、前記検索データに含まれる第１のサービス識別子と、前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、前記記憶部に前記表示物データを記憶させ、前記表示部に表示されている映像データを提供するサービスが替わり、前記第１のサービス識別子と前記第２のサービス識別子とが等しくなった時点で、前記記憶された表示物データを前記表示部に表示させることが望ましい。
【００２３】
また、前記表示物データが、複数の表示物に関する情報を含む場合に、前記制御部は、前記指示座標を基に特定される個別画像と、前記複数の表示物に関する情報とを、前記表示部に表示させることが望ましい。
【００２４】
また、前記指示認識部が、前記個別画像への指示を認識した場合に、前記制御部は、前記個別画像を前記表示部上で拡大表示し、さらに、前記指示認識部が、前記拡大表示された個別画像への指示を認識した場合に、前記制御部は、前記指示に対応する表示物の表示物データを前記表示部に表示させることが望ましい。
【００２５】
また、前記指示認識部が、前記複数の表示物に関する情報への指示を認識した場合に、前記制御部は、前記指示に対応する表示物の表示物データを前記表示部に表示させることが望ましい。
【００２６】
また、前記表示部に対して遠隔操作により指示入力可能な遠隔操作端末と通信する遠隔操作通信部を備えることが望ましい。
【００２７】
また、前記遠隔操作端末を備え、前記遠隔操作端末は、前記表示部に対する指示入力を受け付ける遠隔操作部と、前記遠隔操作通信部と通信する第２遠隔操作通信部と、を備えることが望ましい。
【００２８】
また、前記遠隔操作端末は、第２表示部を備え、前記制御部は、前記表示物データ受信部が受信した前記表示物データを前記第２表示部に表示させることが望ましい。
【００２９】
また、前記遠隔操作端末は、前記検索データを前記検索サーバに送信する第２送信部と、前記検索サーバが前記検索データに基づいて検索した表示物データを受信する第２表示物データ受信部と、を備えることが望ましい。
【００３０】
上述した諸課題を解決すべく、本発明の検索サーバは、映像データと、映像中に表示される１つ以上の表示物に関する表示物データとを記録する記録部と、通信端末から、前記映像への指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを受信する受信部と、前記検索データに基づき、前記映像への指示に対応する表示物を認識する認識部と、前記記録部から、前記認識部によって認識された表示物に対応する表示物データを検索する検索部と、前記検索部によって検索された前記表示物データを含む検索結果を作成する検索結果生成部と、前記検索結果を前記通信端末に送信する送信部とを備えることを特徴とする。
【００３１】
前記認識部は、さらに、前記指示タイミング情報よりも前の時間を示すタイミング情報と、前記指示座標情報とに基づき、前記映像への指示に対応する表示物を認識することが望ましい。
【００３２】
前記検索データに、複数の指示座標情報及び指示タイミング情報が含まれている場合、前記認識部は、前記複数の指示座標情報及び指示タイミング情報それぞれに基づいて、前記映像への指示に対応する表示物を認識することが望ましい。
【００３３】
前記検索データに、２つの指示座標情報及び１つの指示タイミング情報が含まれている場合、前記認識部は、前記２つの指示座標情報の一方を円の中心座標を表す指示座標情報、他方を前記円の中心座標から最も離れた指示の指示座標情報と認識し、前記２つの指示座標情報によって規定される円の範囲に含まれる座標と、前記１つの指示タイミング情報とに基づいて、前記映像への指示に対応する表示物を認識することが望ましい。
【００３４】
また、前記検索データに、指示座標情報及び指示タイミング情報の組が少なくとも２組含まれている場合、前記認識部は、前記少なくとも２つの組の一つの組の指示座標情報を前記線の始点を表す指示座標情報、指示タイミング情報を前記始点指示時の指示タイミング情報とし、前記少なくとも２つの組の他の組の指示座標情報を前記線の終点を表す指示座標情報、指示タイミング情報を前記終点指示時の指示タイミング情報とし、前記少なくとも２つの組によって規定される線に沿って、前記映像への指示に対応する表示物を認識することが望ましい。
【００３５】
また、前記認識部は、前記検索データに含まれる前記指示座標情報が、前記端末の画面を基準とするものであり、前記検索データが、前記端末の前記画面に関する端末画面情報を含む場合に、前記端末画面情報に基づき、前記指示座標情報を、前記映像データを基準とする座標情報に変換し、前記ユーザによる指示に対応する表示物を認識することが望ましい。
【００３６】
また、前記認識部が、前記映像への指示に対応する表示物を複数認識した場合に、前記検索部は、前記複数の表示物それぞれに対応する複数の表示物データを検索し、前記検索結果生成部は、前記検索結果に前記複数の表示物データと、前記指示座標を基に特定される個別画像とを含めることが望ましい。
【００３７】
上述した諸課題を解決すべく、本発明の通信システムは、映像データと、当該映像中に含まれる表示物データを記憶する検索サーバと、映像データを受信して表示し、前記検索サーバと通信する通信端末とを備え、前記通信端末は、前記映像への指示を認識し、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを前記検索サーバに送信し、前記検索サーバは、前記検索データを受信して前記検索データに応じた前記表示物データを検索し、当該検索された表示物データを前記通信端末に送信し、前記通信端末は、前記検索された表示物データを受信して表示することを特徴とする。
【発明の効果】
【００３８】
本発明は、予め表示物に関する情報を映像データに含める必要がないため、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる通信端末、検索サーバ及び通信システムを提供するものである。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施の形態に係る通信端末が使用可能な通信ネットワークの概略構成を示す図である。
【図２】本発明の一実施の形態に係る通信端末の概略構成を示す機能ブロック図である。
【図３】本発明の一実施の形態に係る検索サーバの概略構成を示す機能ブロック図である。
【図４】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図５】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図６】本発明の第１の実施形態に係る通信端末の画面の表示例を示す図である。
【図７】本発明の第２の実施形態に係る通信端末の画面の表示例を示す図である。
【図８】複数の表示物データから所望の表示物データを選択する動作フローチャートである。
【図９】ユーザの指示タイミングが意図したタイミングと異なる場合の例を示す図である。
【図１０】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１１】ユーザによる連続的な指示の例を示す図である。
【図１２】本発明の一実施の形態に係る通信端末の概略構成を示す機能ブロック図である。
【図１３】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図１４】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１５】本発明の一実施の形態に係る通信端末の動作フローチャートである。
【図１６】本発明の一実施の形態に係る検索サーバの動作フローチャートである。
【図１７】本発明の一実施の形態に係る通信端末が使用可能な通信ネットワークの概略構成を示す図である。
【図１８】本発明の一実施の形態に係る通信端末及び遠隔操作端末の概略構成を示す機能ブロック図である。
【図１９】本発明の第６の実施形態に係る通信端末の画面の表示例を示す図である。
【図２０】本発明の一実施の形態に係る通信端末及び遠隔操作端末の概略構成を示す機能ブロック図である。
【図２１】本発明の第７の実施形態に係る通信端末及び遠隔操作端末の画面の表示例を示す図である。
【発明を実施するための形態】
【００４０】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
【００４１】
図１は、本発明の一実施の形態に係る通信端末が使用可能な、通信ネットワークの概略構成を示す図である。図１において、通信端末１０は、放送局３０からデジタル放送（映像データ）を受信する。さらに、通信端末１０は、映像データ中に含まれる表示物に関する詳細な情報（表示物データ）を、基地局４０及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：広域通信網）５０を通じて、検索サーバ２０から取得する。検索サーバ２０が保持している表示物のデータは、放送局３０により設定されているものとする。
【００４２】
ここで、通信端末１０は、例えばデジタル放送再生機能を有する携帯電話機若しくはＰＤＡ（携帯情報端末）、又は通信機能を備えるテレビからなり、放送局３０は、例えば地上デジタル放送（ワンセグ放送）の放送局からなる。検索サーバ２０は、放送局毎に個別に設けてもよく、複数の放送局間で共有することもできる。基地局４０は、例えばｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）又は無線ＬＡＮの基地局からなる。
【００４３】
図２は、図１に示した通信端末１０の概略構成を示す機能ブロック図である。通信端末１０は、放送局３０から映像データを受信し、且つ、基地局４０を介して検索サーバ２０との間で表示物データに関する検索情報の送受信を行う送受信部１１０と、送受信部１１０が受信した映像データの視聴を制御し、且つ、送受信部１１０が送受信する検索情報に関する制御を行う制御部１２０と、制御部１２０によって制御された映像データ及び検索情報を表示する表示部１３０と、ユーザからの端末操作を取得する操作部１４０と、送受信部１１０が受信した検索情報を記憶する記憶部１５０と、を有する。
【００４４】
ここで、送受信部１１０は、映像データ受信部１１１と検索情報送受信部１１２とを有する。映像データ受信部１１１は、放送局３０から映像データを受信する。この映像データは、例えば地上デジタル放送（ワンセグ放送）の放送データからなり、映像データ受信部１１１は、かかる放送波の受信に対応したインターフェース機器から構成される。検索情報送受信部１１２は、送信部及び表示物データ受信部を構成するものであり、基地局４０を介して、検索サーバ２０との間で、映像中の表示物データに関する検索情報の送受信を行う。この検索情報送受信部１１２は、例えばｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）又は無線ＬＡＮといった無線通信規格に対応したインターフェース機器から構成される。
【００４５】
制御部１２０は、指示認識部１２１と、座標取得部１２２と、座標変換部１２３と、映像データ視聴制御部１２４と、検索データ生成部１２５と、を有する。制御部１２０は、例えばＣＰＵ（中央処理装置）等の任意の好適なプロセッサ構成されるものであり、制御部１２０の各機能部１２１〜１２５は、当該プロセッサ上で実行されるソフトウェアや、又は各機能の処理に特化した専用のプロセッサ（例えばＧＰＵ（グラフィックス処理ユニット）及びＤＳＰ（デジタルシグナルプロセッサ））によって構成される。
【００４６】
指示認識部１２１は、操作部１４０からユーザが行った端末操作を取得し、ユーザが表示部１３０に表示された映像を指示しているかどうかを判断する。ユーザが表示部１３０に表示された映像を指示している場合には、指示認識部１２１は、ユーザが指示している旨の通知（以下「ユーザ指示通知」という。）を座標取得部１２２及び映像データ視聴制御部１２４に通知する。
【００４７】
座標取得部１２２は、指示認識部１２１から、ユーザ指示通知を受けると、ユーザが指示している座標（以下「指示座標情報」という。）を取得する。ここでいう指示座標とは、通信端末１０の表示部１３０の座標系を基準として、表示部１３０上での位置を示すものである。例えば、表示部１３０の左上頂点のピクセルを基準とすると、左上頂点の座標は（０，０）となり、以降、右方向及び下方向に移るにつれ、座標の値は増加する。座標取得部１２２は、取得した指示座標情報を座標変換部１２３に供給する。
【００４８】
座標変換部１２３は、座標取得部１２２から、指示座標情報を取得すると、当該指示座標情報を、通信端末１０の画面解像度などの情報に基づいて、映像データの座標系における座標へと座標変換を行う。上記の通り、座標取得部１２２から供給される指示座標情報は、通信端末１０の表示部１３０（画面）を基準とするものであるため、画面解像度、画面の縦横比（１６：９、４：３等）といったパラメータや、縦表示／横表示といった表示態様などにより、通信端末１０の機種毎に変動することになる。そのため、座標変換部１２３は、通信端末の画面に関する情報を基にして、指示座標情報を映像データの座標系に座標変換することにより、通信端末１０の機種によらず、ユーザが映像中のどの位置を指示しているのかを明確にすることができる。ここでいう映像データの座標系とは、例えば、映像データの左上頂点のピクセルを基準として、左上頂点の座標は（０，０）となり、以降、右方向及び下方向に移るにつれ、座標の値は増加するものとする。座標変換部１２３は、この変換した指示座標情報を、検索データ生成部１２５に供給する。
【００４９】
映像データ視聴制御部１２４は、映像データ受信部１１１が受信した映像データについて、データ復号や画面表示のタイミング制御といった視聴制御を行う。また、映像データ視聴制御部１２４は、指示認識部１２１からユーザ指示通知を受けると、ユーザが表示部１３０の映像を指示した時点での、映像データに関するタイミング情報（以下「指示タイミング情報」という。）を取得する。この指示タイミング情報とは、例えばデジタル放送の放送時刻や記憶メディア等に記憶された映像データの再生時間といった、映像データに関する所定のタイムスタンプ情報であり、映像データのどのフレームをユーザが指示しているのかを判断する基準となるものである。映像データ視聴制御部１２４は、この指示タイミング情報を、検索データ生成部１２５に供給する。
【００５０】
検索データ生成部１２５は、座標変換部１２３から指示座標情報を取得し、且つ、映像データ視聴制御部１２４から指示タイミング情報を取得する。検索データ生成部１２５は、当該指示座標情報及び指示タイミング情報を含んだ検索データを生成し、生成した検索データを、検索情報送受信部１１２に供給する。
【００５１】
なお、映像データを提供するサービスには、放送局で提供する番組、又はインターネットなどを利用した映像配信システムで配信される番組が含まれる。映像データを提供するサービスの識別には、サービス識別子が用いられる。ここでいうサービス識別子とは、例えば映像データを配信する放送局名やその番組、又は、番組を配信するために用いられるＵＲＬといった、映像データを特定するための識別情報である。本実施形態では、検索データに含まれているサービス識別子を第１のサービス識別子という。例えば、検索サーバ２０が複数の放送局によって共有されている場合、検索サーバ２０は、当該サービス識別子によってユーザが指示している放送局を特定することができる。
【００５２】
検索情報送受信部１１２は、検索データ生成部１２５から取得した検索データを、基地局４０を経由して、検索サーバ２０に送信する。なお、この検索データは、検索サーバ２０が所望の表示物データを検索するための検索キーとなるものである。検索サーバの送信先情報（アドレス）は、放送局毎に予め設定されているものを利用したり、又は、放送データに含まれる放送局情報を基に、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）などを用いて、複数ある検索サーバのうち１つのアドレスを動的に取得したものを利用することができる。検索情報送受信部１１２は、検索サーバ２０から、検索データに応じた検索結果を受信する。なお、本実施形態では、検索情報送受信部１１２が検索サーバ２０から検索結果を受信した際に、表示部１３０に表示されている映像データを提供するサービスを識別するサービス識別子を、第２のサービス識別子という。
【００５３】
制御部１２０は、検索サーバ２０から受信した検索結果に表示物データが含まれている場合には、当該表示物データを表示部１３０に表示させる。制御部１２０は、検索サーバ２０から受信した検索結果がエラーを示すものである場合には、当該エラーの内容を表示部１３０に表示させる。
【００５４】
表示部１３０は、映像データ視聴制御部１２４によって制御された映像データを表示するものであり、例えば液晶ディスプレイ、又は他の好適な任意のディスプレイ機器から構成される。
【００５５】
操作部１４０は、指示入力部を構成するものであり、ユーザから通信端末１０への任意の操作入力を取得する。例えば、操作部１４０は、タッチパネル、リモコン、マウス、又は他の好適な任意のポインティングデバイスから構成される。
【００５６】
記憶部１５０は、検索サーバ２０から受信した検索結果を記憶するものであり、例えばＳＲＡＭ、ＥＥＰＲＯＭ、又は他の好適な記憶媒体から構成される。記憶部１５０は、例えば、通信端末１０が検索サーバ２０に検索データを送信した後、検索サーバ２０から検索結果を受信するまでの間に、ユーザが映像を視聴する放送チャンネルを変更した場合に（換言すると、第1のサービス識別子と第２のサービス識別子とが異なる場合に）、検索結果を一時的に記憶することができる。この場合、ユーザが再び検索データ送信時の放送チャンネルにチャンネルを戻したときに、制御部１２０は、記憶部１５０を参照することにより、既に受信済みの当該放送チャンネルに対応した検索結果（表示物データ）を表示部１３０に表示させることができる。
【００５７】
図３は、図１に示した検索サーバ２０の概略構成を示す機能ブロック図である。検索サーバ２０は、放送局３０及びＷＡＮ５０と間でデータの送受信を行う送受信部２１０と、通信端末１０から送信される検索データに対応した表示物データを検索し、当該表示物データを含む検索結果を生成する制御部２２０と、放送局３０から受信した映像データ及び当該映像データに含まれる表示物に関する表示物データを記憶する記憶部２３０と、を有する。
【００５８】
送受信部２１０は、放送局３０からデータを取得するデータ取得部２１１と、ＷＡＮ５０を通じて通信端末１０と検索情報の送受信を行う検索情報送受信部２１２と、を有する。データ取得部２１１は、放送局３０から映像データを取得する一方で、当該映像データ中の表示物データを取得する。データ取得部２１１は、取得した映像データ及び表示物データを、制御部２２０を通じて記憶部２３０に供給する。この映像データは、例えば地上デジタル放送（ワンセグ放送）の放送データからなり、表示物データは、例えば表示物の基本画像データ（例えば、タレント／選手／商品等の写真）と、表示物の属性データ（例えば、タレント／選手／商品の名前／所属等の属性情報）を含んだＸＭＬ等の構造文書とからなるものである。当該表示物データは、映像データ同様デジタル放送の放送波によって検索サーバに到達するため、データ取得部２１１は、かかる放送波の受信に対応したインターフェース機器から構成される。検索情報送受信部２１２は、ＷＡＮ５０を通じて通信端末１０から検索データを受信し、受信した検索データを制御部２２０に供給する。また、検索情報送受信部２１２は、制御部２２０から、検索データに対応した表示物データを含む検索結果を取得し、この検索結果を通信端末１０に送信する。この検索情報送受信部２１２は、例えば、電話回線、光ファイバ、又は他の好適な任意の通信インターフェースといった、ＷＡＮ５０との通信に対応したインターフェース機器から構成される。
【００５９】
制御部２２０は、表示物認識部２２１と、表示物データ検索部２２２と、検索結果生成部２２３と、を有する。制御部２２０は、例えばＣＰＵ（中央処理装置）等の任意の好適なプロセッサ構成されるものであり、制御部２２０の各機能部２２１〜２２３は、例えば当該プロセッサ上で実行されるソフトウェアや、又は各機能の処理特化した専用のプロセッサ（例えばＧＰＵ（グラフィックス処理ユニット）及びＤＳＰ（デジタルシグナルプロセッサ））によって構成される。
【００６０】
表示物認識部２２１は、検索情報送受信部２１２から、通信端末１０が送信した検索データを取得し、検索データの内容からユーザが指示している表示物を認識する。検索データには、ユーザ指示に応じた指示座標情報及び指示タイミング情報が含まれる。まず、表示物認識部２２１は、検索データに含まれる指示タイミング情報に基づき、ユーザが映像データ中のどのフレームに対して指示を行っているのかを特定する。次に、表示物認識部２２１は、検索データに含まれる指示座標情報に基づき、フレーム中のどの座標をユーザが指示しているのかを特定する。ユーザが指示しているフレーム及び指示座標が特定されると、表示物認識部２２１は、当該指示座標の周辺画像を切り出し、エッジ抽出の画像処理を行う（エッジ抽出については画像処理分野の周知技術であるため、詳細は記載しない）。表示物認識部２２１は、周辺画像に表示物が含まれている場合には、エッジ抽出によって表示物の輪郭（エッジ）を抽出できるため、表示物の存在を認識することができる。表示物認識部２２１は、表示物が認識できた場合には、認識結果を表示物データ検索部２２２に供給する。表示物認識部２２１は、表示物を認識できない場合には、表示物データ検索部２２２を通じて、表示物を認識できない旨の通知（以下「認識エラー通知」という。）を、検索結果生成部２２３に供給する。
【００６１】
なお、表示物認識部２２１は、複数の表示物をユーザの指示対象として認識する場合がある。検索データ指示座標は映像中の一点を指し示すものであるが、かかる点に複数の表示物が重複して表示されている場合や、かかる点から所定の範囲内に複数の表示物が存在する場合があるためである。表示物認識部２２１は、複数の表示対象物を認識した場合には、その全ての表示物を含んだ認識結果を表示物データ検索部２２２に供給する。
【００６２】
表示物データ検索部２２２は、表示物認識部２２１が認識した表示物に関する表示物データを、記憶部２３０から検索する。表示物データ検索部２２２は、抽出された表示物のエッジ情報（大きさ、輪郭形状など）や、表示物領域の色彩情報などを基に、記憶部２３０に記憶されている各表示物データの基本画像データとのマッチング処理を行う。このマッチング処理とは、表示物と表示物データの基本画像データとの類似度を判断する処理であり、例えば最尤推定法などによって行われる（最尤推定法などによる対象の特定については認識処理分野における周知技術であるため、詳細は記載しない）。表示物データ検索部２２２は、記憶部２３０に検索データに対応する表示物データが存在する場合には、検索した表示物データを、検索結果生成部２２３に供給する。表示物データ検索部２２２は、該当する表示物データが記憶部２３０に存在しない場合には、表示物データが存在しない旨を示す通知（以下「検索エラー通知」という）を、検索結果生成部２２３に供給する。
【００６３】
なお、表示物認識部２２１が複数の表示物を認識している場合には、表示物データ検索部２２２は、複数の表示物それぞれについての表示物データを記憶部２３０から取得し、検索結果生成部２２３に検索した表示物データを供給する。
【００６４】
検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを含んだ検索結果を作成する。また、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知を取得した場合には、当該エラー情報を含んだ検索結果を作成する。表示物データ生成部２２３は、作成した検索結果を検索情報送受信部２１２に供給する。
【００６５】
なお、表示物認識部２２１が複数の表示物を認識した場合には、検索結果生成部２２３は、指示タイミング情報によって特定されるフレームから、指示座標情報によって特定される位置の周辺画像を個別に切り出し（以下「個別画像」という。）、当該個別画像を検索結果に含める。
【００６６】
（第１の実施形態）
図４は、本発明の一実施の形態に係る通信端末１０の動作フローチャートであり、図５は、本発明の一実施の形態に係る検索サーバ２０の動作フローチャート図である。また、図６は、本発明の第１の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。当該第１の実施形態は、ユーザによる映像への指示に対し、検索サーバが１つの表示物データを特定する場合を示すものである。
【００６７】
ユーザがチャンネルを選局すると（Ｓ００１）、映像データ受信部１１１は選局したチャネルの放送波を受信し（Ｓ００２）、制御部１２０は映像データ視聴制御部１２４によって制御された映像データを通信端末１０の表示部１３０に表示させる（Ｓ００３）。デジタル放送において、放送局を選局し、その放送局から放送波を受信して、デジタル放送を視聴しているときに、画面に出ている表示物の名前がわからない、あるいはその表示物の情報をより詳しく知りたいと思ったときに、ユーザはクリックやタッチなどその表示物を指し示す動作を行う。ユーザが入力装置１７０を用いて表示部１３０上の表示物ａ１を指示すると（図６（ａ））、指示認識部１２１はユーザによる映像への指示を認識する（Ｓ００４）。指示認識部１２１は、映像へのユーザ指示を認識すると、ユーザ指示通知を座標取得部１２２及び映像データ取得部１２４に供給し、検索データ生成部１２５は、座標変換部１２３から供給される指示座標情報及び映像データ視聴制御部１２４から供給される指示タイミング情報を含む検索データを作成する。なお、指示座標情報に関しては、座標変換部１２３によって、例えば画面解像度、画面の縦横比といったパラメータや、縦表示／横表示といった表示態様などを考慮して、通信端末１０の表示部１３０の座標系から映像データの座標系への座標変換が行われている。ユーザからの指示がない場合には、映像データの表示が継続される（Ｓ００５）。指示認識部１２１がユーザによる映像への指示を認識した場合、当該検索データを検索情報送受信部１１２に供給する（Ｓ００６）。検索情報送受信部１１２は、検索データ生成部１１２から供給された検索データを検索サーバ２０に送信する（Ｓ００７）。検索サーバ２０の送信先情報（アドレス）は、放送局毎に予め設定されているものを利用したり、複数ある検索サーバのアドレスのうち１つのアドレスを動的に取得したものを利用することができる。
【００６８】
検索サーバ２０の記憶部２３０は、映像データ及び当該映像データに含まれる表示物に関する表示物データを記憶している。検索サーバ２０は、通信端末１０が送信した検索データを、検索情報送受信部２１２によって受信する（Ｓ２０１）。検索データには、ユーザ指示に応じた指示座標情報及び指示タイミング情報が含まれる。まず、表示物認識部２２１は、検索データに含まれる指示タイミング情報に基づき、ユーザが映像データ中のどのフレームに対して指示を行っているのかを特定する（Ｓ２０２）。次に、表示物認識部２２１は、検索データに含まれる指示座標情報に基づき、フレーム中のどの座標をユーザが指示しているのかを特定する。ユーザが指示しているフレーム及び指示座標が特定されると、表示物認識部２２１は、当該指示座標の周辺画像を切り出し、エッジ抽出などの画像処理によって表示物を認識する（Ｓ２０３）。表示物が認識できた場合には、表示物認識部２２１は、認識した表示物が誰であるか又は何であるかを検索するために、認識結果を表示物データ検索部２２２に供給する。表示物認識部２２１は、表示物を認識できない場合には、認識エラー通知を、検索結果生成部２２３に供給する。表示物データ検索部２２２は、表示物認識部２２１が認識した表示物に関する表示物データを、記憶部２３０から検索する。表示物データ検索部２２２は、記憶部２３０に検索データに対応する表示物データが存在する場合には、検索した表示物データを、検索結果生成部２２３に供給する。表示物データ検索部２２２は、該当する表示物データが記憶部２３０に存在しない場合には、検索エラー通知を、検索結果生成部２３０に供給する（Ｓ２０４）。検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを含んだ検索結果を作成（Ｓ２０６）し、検索情報送受信部２１２を通じて通信端末１０に送信する。また、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知取得した場合には、当該エラー通知を含んだ検索結果を作成し、検索情報送受信部２１２を通じて通信端末１０に送信する。（Ｓ２０７）。
【００６９】
なお、記憶部２３０に、指示タイミング情報及び指示座標情報と表示物データとの対応関係が予め記憶されている場合、Ｓ２０２およびＳ２０３を省略しＳ２０４で、表示物データ検索部２２２は、記憶部２３０から、指示タイミング情報及び指示座標情報に対応する表示物データを検索してもよい。
【００７０】
通信端末１０が検索サーバ２０に検索データ送信した後、検索情報送受信部１１２は、検索サーバ２０から検索データに対する検索結果を受信したかどうかの監視を行い（Ｓ００８）、検索結果を受信していない場合は映像データの表示を継続する（Ｓ００９）。検索情報送受信部１１２が検索サーバ２０から検索結果を受信すると、制御部１２０は、検索結果に検索データに対応する表示物データが含まれているか、又は検索結果に認識エラー通知又は検索エラー通知が含まれていないかを確認する（Ｓ０１０）。検索結果が検索データに対応する表示物データを含んでいる場合には、制御部１２０は、続けて、検索結果に含まれている表示物データが１つだけであるかどうかを確認する（Ｓ０１２）。検索結果に含まれている表示物データが１つだけである場合、制御部１２０は、表示部１３０の追加ウィンドウ１８０中に当該表示物データを表示させる（Ｓ０１３、図６（ｂ））。当該追加ウィンドウ１８０は、表示物データの基本画像を表示する画像ウィンドウ１８１と、表示物データの属性データを表示する属性ウィンドウ１８２とを含むものである。検索結果に認識エラー通知又は検索エラー通知が含まれている場合、制御部１２０は、追加ウィンドウ１８０の画像ウィンドウ１８１に、表示物データの検索ができなかった旨を示す「Ｎｏｔ Ｆｏｕｎｄ」を表示し、属性ウィンドウ１８２にエラーの詳細を表示するように表示部１３０を制御する（Ｓ０１１、図６（ｃ））。
【００７１】
このように、本実施形態によれば、ユーザの指示入力に応じて、通信端末は検索サーバから所望の表示物データを取得することができるため、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる。
【００７２】
なお、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しい場合に、表示物データを表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子とが等しい場合にのみ表示物データを表示部１３０に表示させることになるため、ユーザが必要とする表示物データのみを表示させることができる。
【００７３】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。当該第２の実施形態は、ユーザによる映像への指示に対し、検索サーバが複数の表示物データを特定する場合を示すものである。
【００７４】
検索サーバが複数の表示物データを特定する場合、通信端末１０から検索サーバ２０への検索データの送信については、第１の実施形態と同様に、ステップＳ００１〜Ｓ００７に沿って行われる。
【００７５】
図７（ａ）に示すとおり、指示装置１７０が指示する位置の周辺には、複数の表示物ａ１〜ａ３が密集して表示されている。そのため、表示物認識部２２１は、ユーザの指示対象としてａ１〜ａ３の３つの表示物を認識することになる。表示物認識部２２１が複数の表示物を認識しているため、表示物データ検索部２２２は、複数の表示物ａ１〜ａ３それぞれについての表示物データを記憶部２３０から取得し、検索結果生成部２２３に検索した表示物データを供給する。また、表示物認識部２２１が複数の表示物ａ１〜ａ３を認識しているため、検索結果生成部２２３は、指示タイミング情報によって特定されるフレームから、指示座標情報によって特定される位置周辺の個別画像を切り出し、当該個別画像を検索結果に含める。
【００７６】
通信端末１０が受信する検索結果に複数の表示物データが含まれている場合には、制御部１２０は、ユーザが複数の表示物データから所望の表示物データを選択するための画面を表示部１３０に表示させる（Ｓ０１４）。
【００７７】
図８は、Ｓ０１４において、ユーザが複数の表示物から所望の表示物を選択する動作の詳細を示すフローチャートである。検索結果に複数の表示物データが含まれている場合、制御部１２０は、追加ウィンドウ１８０の画像ウィンドウ１８１に個別画像を表示し、属性ウィンドウ１８２に複数表示物のリストを表示するように表示部１３０を制御する（Ｓ１０１、図７（ｂ））。なお、追加ウィンドウ１８０に対して一定時間ユーザからの指示がない場合や、ユーザが明示的に追加ウィンドウの非表示を指示した場合には、追加ウィンドウは非表示になる。
【００７８】
追加ウィンドウ１８０にユーザが指示を行い（Ｓ１０２）、その指示が個別画像に対するものである場合（Ｓ１０３）、制御部１２０は、拡大画像ウィンドウ１８３中に拡大した個別画像を表示し、縮小属性ウィンドウ１８４中に複数の表示物のリストを表示する（Ｓ１０４、図７（ｃ））。かかる拡大画像ウィンドウ１８３によって、ユーザは密集した表示物から、明確に所望の表示物を選択することが可能になる。ユーザはかかる拡大画像ウィンドウ１８３中の所望の表示物を指示することにより（Ｓ１０５）、所望の表示物についての属性情報を得ることができる（Ｓ０１３、図７（ｄ））。この場合、拡大画像ウィンドウ１８３及び縮小属性ウィンドウ１８４はそれぞれ通常の画像ウィンドウ１８１及び属性ウィンドウ１８２に戻り、画像ウィンドウ１８１中には指示された表示物データの基本画像が表示され、属性ウィンドウ１８２中には指示された表示物データの属性情報が表示される。
【００７９】
一方、追加ウィンドウ１８０にユーザが指示を行い（Ｓ１０２）、その指示が拡大画像ウィンドウ１８３に対するものではなく、縮小属性ウィンドウ１８４中の複数表示物のリストに対するものである場合には（Ｓ１０３）、制御部１２０は、当該指示によって明確にユーザが意図する表示物を特定することができるため、当該指示に対応した表示物データを追加ウィンドウ１８０に表示させる（Ｓ０１３、図７（ｄ））。
【００８０】
このように、本実施形態によれば、検索結果に複数の表示物データが含まれている場合、ユーザは当該複数の表示物から所望の表示物を選択して、選択した表示物に関する情報を画面に表示させることができる。
【００８１】
（第３の実施形態）
第３の実施形態は、ユーザによる映像への指示が、ユーザが意図したタイミングと異なる場合を考慮した、検索サーバ２０の処理の一実施形態を示すものである。
【００８２】
例えば、動きの速い表示物や画面の切り替わる直前の表示物へユーザが指示を行う場合には、ユーザが正しく表示物を指示したつもりでも、ユーザの指示の遅れにより、通信端末１０から検索サーバ２０へ送信される検索データの指示タイミング情報がずれ、検索サーバ２０はユーザの求めていた表示物の情報を検索できない場合がありうる。例えば、図９（ａ）のように、ユーザが表示物ｂ１を指示したつもりであっても、表示物ｂ１の移動速度が速い場合、実際の指示のタイミングがずれ、図９（ｂ）のように表示物ｂ２に対して誤って行われることが考えられる。その結果、検索サーバ２０は表示物ｂ２の表示物データを通信端末１０に返信するが、当該表示物ｂ２のデータはユーザの求めていた情報と異なるという問題がある。また、例えば、図９（ａ）のように、ユーザが表示物ｂ１を指示したつもりであっても、表示物ｂ１の移動速度が速い場合、実際の指示のタイミングがずれ、図９（ｃ）のように表示物が存在しない範囲に対して誤って行われることが考えられる。その結果、検索サーバ２０はエラー情報（認識エラー通知）を通信端末１０に返信することになり、ユーザの求めていた表示物ｂ１の表示物データが取得できないという問題がある。
【００８３】
図１０は、本発明の第３の実施形態に係る検索サーバ２０の動作フローチャートである。上記問題に対し、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２は、まず、通信端末１０から送信された検索データに従って表示物データの認識及び検索を行う（Ｓ３０１）。当該表示物データの認識及び検索は、図５に示すステップＳ２０２〜Ｓ２０４と同様に行われる。次いで、検索サーバ２０の表示物認識部２２１は検索データに含まれる指示タイミング情報より所定時間前の画像中の、検索データに含まれる指示座標情報が示す座標に対して、表示物データの認識を行い、表示物データ検索部２２２は表示物認識部２２１の認識結果を受け表示物データ検索を行う（Ｓ３０２、Ｓ３０３）。当該所定時間前の画像に対する表示物データの認識及び検索は、所定回数行われる。なお、ステップＳ３０１において、1つ以上の表示物データが認識及び検索されている場合には、ステップＳ３０２、Ｓ３０３の繰返し回数をゼロにする（換言すると、ステップＳ３０２、Ｓ３０３をスキップする）ことも可能である。ステップＳ３０１〜Ｓ３０３において、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２が1つ以上の表示物の認識及び検索に成功している場合には（Ｓ３０４のＹＥＳ）、検索サーバ２０の検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを全て含んだ検索結果を作成（Ｓ３０５）し、検索情報送受信部２１２を通じて通信端末１０に送信する。また、検索サーバ２０の表示物認識部２２１及び表示物データ検索部２２２が1つ以上の表示物を認識及び検索できなかった場合には（Ｓ３０４のＮｏ）、検索結果生成部２２３は、表示物認識部２２１又は表示物データ検索部２２２から、認識エラー通知又は検索エラー通知取得して、当該エラー通知を含んだ検索結果を作成し、検索情報送受信部２１２を通じて通信端末１０に送信する（Ｓ３０６）。
【００８４】
なお、ステップＳ３０５において、通信端末１０へ送信する複数の表示物データの数及び選択方法については、例えばＳ３０１〜Ｓ３０３の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を付け（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにすることができる。また、指示タイミング情報よりもどの程度前の時間の画像を検索するかについては、画面の切り替わりタイミング（例えば映像中の画面構成、アングルが変化する時間）、あるいは通常ユーザが表示物を見てから指示を行うのにかかる時間をもとに決定することが考えられる。また、ステップＳ３０２及びＳ３０３のループ回数については、表示物が１つでも見つかるまでとすることも考えられる。なお、その場合、表示物認識部２２１及び表示物データ検索部２２２が検索データそのものを用いて表示物を認識及び検索できた場合には、２回目以降の表示物の認識は行わないようにできる。あるいは1度だけ表示物認識部２２１及び表示物データ検索部２２２によって所定時間前の画像において表示物の認識及び検索を行い、その結果表示物が認識及び検索できた場合であって、その表示物が検索データそのものを用いて認識した表示物と異なる場合には、検索サーバ２０は両方の表示物データを通信端末１０へ返信しても良い。
【００８５】
なお、検索サーバ２０が、自発的に、検索サーバに含まれる指示タイミング情報より前の画像に対して表示物の認識及び検索を行うほかに、通信端末１０の検索データ生成部１２５が、予めユーザの指示時より前の時間を示す複数の指示タイミング情報を含んだ検索データを作成してもよい。この場合、検索サーバ２０は、検索データに含まれる複数の指示タイミング情報それぞれに基づいて表示物の認識及び検索を行うことになる。
【００８６】
このように、本実施形態によれば、検索サーバが、検索データに含まれる指示タイミング情報よりも前の時間を示すタイミング情報と、指示座標情報とに基づき、映像への指示に対応する表示物を認識するため、ユーザによる映像への指示が、ユーザが意図したタイミングと異なる場合であっても、ユーザが希望する表示物の表示物データを認識及び検索することができる。また、通信端末が検索データに、指示時より前の時間を示す複数の指示タイミング情報が含まれることによって、検索サーバに明示的にユーザ指示の時間より前の画像に対する表示物認識を行わせることが可能になる。
【００８７】
（第４の実施形態）
第４の実施形態は、ユーザによる映像への指示が、“点”としての指示に加え、“円”や“線”といった形体によるものである場合の一実施形態を示すものである。
【００８８】
ユーザによる表示部１３０への指示は、ペンなどが表示部に触れてから離れるまでであり、通信端末１０の指示認識部１２１は、その間の指示を連続的に認識できる。すると、図１１に示すように、表示物を指示する方法として、図１１（ａ）のような“点”だけでなく、図１１（ｂ）のように表示物をまとめて指示することのできる“円”や、図１１（ｃ）のように表示物の動きを追いながら表示物を指示できる“線”などの指示方法が考えられる。
【００８９】
図１２は、本発明の第４の実施形態に係る通信端末１０の概略構成を示す機能ブロック図である。図１２に示す構成は、図１の構成に指示形体判断部１２６を加えたものである。図1と同一の参照符号を付した機能ブロックは、図１のものと同等の機能を有するものとする。
【００９０】
図１３は、本発明の第４の実施形態に係る通信端末１０の動作フローチャートであり、図４のステップＳ００６の処理を、様々な指示形体に対応させたものである。通信端末１０の指示認識部１２１がユーザからの指示を認識すると、座標取得部１２２はユーザの指示座標情報（指示開始座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示開始時間）を取得する（Ｓ４０１）。ユーザからの指示形体が“円”又は“線”である場合のように、ユーザからの指示が一定時間継続して表示部に行われる場合には、当該ユーザ指示が終了するまで、所定時間毎に、座標取得部１２２はユーザの指示座標情報を取得し、映像データ視聴制御部１２４は指示タイミング情報を取得する（Ｓ４０２）。ユーザからの指示が終了すると、再度、座標取得部１２２はユーザの指示座標情報（指示終了座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示終了時間）を取得する（Ｓ４０３）。
【００９１】
次いで、指示形体判断部１２６は、ユーザの指示が終了したときに、ユーザの指示方法が“点”であったのか“円”であったのか“線”であったのかを、取得した指示座標情報の軌跡を基にした画像認識などにより判定する（Ｓ４０４）。検索データ作成部１２５が生成する検索データに含まれる情報は、指示形体判断部１２６が判断した指示形体によって異なる。検索データ作成部１２５は、指示形体が“点”であった場合には、指示開始座標と指示開始時間を検索データとする（Ｓ４０６）。検索データ作成部１２５は、指示形体が“円”であった場合には、取得した指示座標情報の軌跡を基に計算した円の中心座標と、指示開始時間と、中心座標から最も遠い指示の指示座標情報とを検索データとする（Ｓ４０７）。検索データ作成部１２５は、指示形体が“線”であった場合には、指示開始座標及び指示開始時間の組と指示終了座標及び指示終了時間の組を検索データとする（Ｓ４０８）。特に指示形体が“線”であった場合には、検索データ作成部１２５は、検索データに、線の軌跡をより詳細に表すための座標情報及び時間情報を複数追加してもよい。なお、円の中心座標は、例えば、任意の3つの座標を結ぶ2つの線分の垂直二等分線の交点から求めることができる。
【００９２】
図１４は、本発明の第４の実施形態に係る検索サーバ２０の動作フローチャート図である。検索サーバ２０では、検索情報送受信部２１２が通信端末１０から検索データを受信すると（Ｓ５０１）、制御部２２０は、検索データの内容から、通信端末１０に対するユーザの指示形体が何であったのかを判定する（Ｓ５０２）。制御部２２０は、検索データが指示座標情報と指示タイミング情報を１つずつしか含まない場合には、指示形体が“点”であったと判定し（Ｓ５０３）、表示物認識部２２１は指示タイミング情報が示す画像の中の指示位置座標情報の位置で表示物を認識する（Ｓ５０４）。制御部２２０は、検索データが２つの指示座標情報と１つの指示タイミング情報を含む場合には、指示形体が“円”であったと判定し（Ｓ５０５）、２つの指示座標情報の距離から円の半径rを求め（Ｓ５０６）、表示物認識部２２１は指示タイミング情報が示す画像の中で第1座標（中心座標）を中心とし半径rの領域内の表示物を認識する（Ｓ５０７）。制御部２２０は、検索データが指示座標情報及び指示タイミング情報の組を２つ（以上）含む場合には、指示形体が“線”であったと判定し（Ｓ５０８）、表示物認識部２２１は各指示座標情報及び指示タイミング情報から線の始点・終点（並びに途中点）を求めて当該線の軌跡を算出し、その線に沿ってそれぞれ表示物を認識する（Ｓ５０９）。なお、表示物の検索・照合ステップＳ５１０及び表示物データの送信ステップＳ５１１については、図５のステップＳ２０４〜Ｓ２０７と同様に行われる。
【００９３】
なお、ステップＳ５１１において、通信端末１０へ送信する複数の表示物データの数及び選択方法については、例えばＳ５１０の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を付け（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにすることができる。
【００９４】
なお、上記実施例では、指示方法を点と円と線に限って説明しているが、指示形体判断部１２６は、三角形や四角形などの図形の認識にも対応することができる。例えば、検索データ作成部１２５は、指示形体が三角形であれば、三角形の各頂点の座標及び指示開始時間を、四角形であれば四角形の各頂点の座標及び指示開始時間を検索データに含めればよい。また、指示認識部１２１が、連続的な指示の軌跡の交点を認識したときを図１３に示すステップＳ４０２における指示終了としてもよい。また、検索データ作成部１２５は、ユーザの指示形体が何であったかを検索データに含めてもよい。その場合には、検索サーバ２０ではその情報を見ることで、ユーザの指示形体を確認できる。また、指示形体判断部１２６が図形（円や三角形など）であることの判定を行うのは、指示認識部１２１が、ユーザの連続的な指示の軌跡の交点を認識したときでもよい。また、通信端末１０ではユーザの指示形体の認識は行わず、検索サーバ２０へ通信端末１０で取得した全ての座標と時間を逐次あるいは指示終了時にまとめて送信し、検索サーバ２０でその情報をもとに、軌跡を描くなどしてから画像認識などによりユーザの指示形体を判定することも考えられる。また、検索データ作成部１２５は、軌跡ではなく連続した複数の点により囲まれたエリアにより表示物を指示することも考えられる。その場合にはユーザが最後の点を指示した後に、指示認識部１２１及び指示形体判断部１２６によってエリアを決定する決定処理などを行う。その場合、通信端末１０は、エリア内の指示座標情報をまとめた検索データを送ってもよいし、1対の指示座標情報と指示タイミング情報を連続的あるいは所定時間ごとに検索サーバ２０へ送ってもよい。
【００９５】
このように、本実施形態によれば、通信端末の映像に連続的な指示があった場合に、検索データに、当該連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報を含んで検索サーバに送信するため、検索サーバは当該連続的な指示それぞれに基づく指示座標情報及び指示タイミング情報に基づいて表示物の認識及び検索を行い、結果的にユーザが希望する表示物の表示物データを取得する可能性を高めることができる。また、前記連続的な指示が点、円及び線といった形体である場合に、通信端末は検索データに当該形体に応じた指示座標情報及び指示タイミング情報を含め、検索サーバは当該形体に応じた検索を行うことによって、ユーザが希望する表示物を効率的に検索して取得することが可能になる。
【００９６】
（第５の実施形態）
第５の実施形態は、ユーザによる映像への指示が連続的なものであり、当該連続的な指示がある有界の範囲を指定する（連続的な指示が交点を有する）ものである場合に、検索データの内容に当該有界範囲内の情報を含める場合の一実施形態を示すものである。
【００９７】
図１５は、本発明の第５の実施形態に係る通信端末１０の動作フローチャートであり、図４のステップＳ００６の処理を、連続的な指示の交点の有無に対応させたものである。通信端末１０の指示認識部１２１がユーザからの指示を認識すると、座標取得部１２２はユーザの指示座標情報（指示開始座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示開始時間）を取得する（Ｓ６０１）。ユーザからの指示が一定時間継続して表示部に行われる場合には、当該ユーザ指示が終了するまで、所定時間毎に、座標取得部１２２はユーザの指示座標情報を取得し、映像データ視聴制御部１２４は指示タイミング情報を取得する（Ｓ６０２）。ユーザ指示が終了すると、再度、座標取得部１２２はユーザの指示座標情報（指示終了座標）を取得し、映像データ視聴制御部１２４は指示タイミング情報（指示終了時間）を取得する（Ｓ６０３）。検索データ作成部１２５は、指示開始座標及び指示開始時間から指示終了座標及び指示終了時間までの、全ての指示座標情報及び指示タイミング情報を含む検索データを作成する（Ｓ６０４）。指示認識部１２１は、座標認識部１２２の座標認識結果を参照し、連続的な指示の軌跡の交点の有無を判定する（Ｓ６０５）。連続的な指示の軌跡に交点が存在する場合には、検索データ作成部１２５は、当該軌跡により囲まれる範囲に含まれる指示座標情報を検索データに追加する（Ｓ６０６）。
【００９８】
図１６は、本発明の第５の実施形態に係る検索サーバ２０の動作フローチャート図である。検索サーバ２０が検索データを受信すると（Ｓ７０１）、表示物認識部２２１及び表示物データ検索部２２２は、通信端末１０から送信された検索データに含まれる全ての指示座標情報及び指示タイミング情報に従って表示物データの認識及び検索を行う（Ｓ７０２〜Ｓ７０３）。当該表示物データの認識及び検索は、図５に示すステップＳ２０２〜Ｓ２０４と同様に行われる。検索結果生成部２２３は、表示物データ検索部２２２から、通信端末１０の検索データに対応した表示物データを取得し、当該表示物データを全て含んだ検索結果を作成する（Ｓ７０４）。検索結果作成部２２３は、例えばＳ７０２〜Ｓ７０３の表示物認識ステップにおいて、各表示物が認識された回数に応じて優先順位を決定し（例えばより多く認識された表示物が優先的が高い）、優先順位の高いものから順に所定数のみを検索結果に含めるようにする。検索サーバ２０は、当該検索結果を、検索情報送受信部２１２を通じて通信端末１０に送信する。
【００９９】
本実施形態によれば、通信端末への指示が、連続的な指示であって、指示座標の軌跡が交差するものである場合、検索データには、連続的な指示の指示座標の軌跡によって囲まれる範囲の指示座標情報と連続的な指示に対応する指示タイミング情報が含まれるため、通信端末はユーザが希望する表示物が存在しうる範囲を網羅的に検索サーバに伝えることが可能になり、結果的にユーザが希望する表示物データの取得確率を向上させることができる。
【０１００】
（第６の実施形態）
第６の実施形態は、通信端末の操作部（指示入力部）がリモコン等の遠隔操作端末により構成され、通信端末に対して遠隔操作端末による遠隔操作が可能な場合の一実施形態を示すものである。
【０１０１】
図１７は、本発明の第６の実施形態に係る通信ネットワークの概略構成を示す図である。図１７において、通信端末１０は遠隔操作端末１９０により遠隔操作可能であり、検索サーバ２０、放送局３０、基地局４０、及びＷＡＮ５０は図１のものと同等であるものとする。なお、通信端末１０と基地局４０とは、例えば有線ＬＡＮ、無線ＬＡＮ、移動体通信無線（ｃｄｍａ２０００ ＥＶ−ＤＯ、ｉＢｕｒｓｔ（登録商標）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long Term Evolution））など、有線及び無線の任意の通信方式によって通信することが可能である。また、放送局３０と検索サーバ２０とが有線接続され、当該有線接続によりデジタル放送が送受信されてもよい。
【０１０２】
図１８は、本発明の第６の実施形態に係る通信端末１０及び遠隔操作端末１９０の概略構成を示す機能ブロック図である。図１８に示す構成は、図１の構成の操作部１４０を遠隔操作通信部１４１に置き換え、通信端末１０を遠隔操作端末１９０により遠隔操作可能とした構成である。図1と同一の参照符号を付した機能ブロックは、図１のものと同等の機能を有するものとする。
【０１０３】
遠隔操作端末１９０は、通信端末１０の遠隔操作通信部１４１と通信を行う遠隔操作通信部１９１（第２遠隔操作通信部）と、ユーザが表示部１３０上の表示物を指し示し、指示入力を行うための遠隔操作部１９２とを有する。遠隔操作通信部１４１及び遠隔操作通信部１９１は、それぞれ、赤外線通信、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の任意の好適な近距離無線に対応したインターフェース機器から構成される。遠隔操作部１９２は、タッチパネル又は他の好適な任意のポインティングデバイスから構成される。なお、遠隔操作部１９２は、加速度センサ、角速度センサ、振動センサ、傾斜センサ等のセンサを用いることにより、ユーザが遠隔操作端末１９０を振るといった直感的な動作で、遠隔操作を可能とする構成とすることもできる。
【０１０４】
ここで、遠隔操作端末１９０は、一般的なリモコンのように通信端末１０に従属する端末として構成してもよいし、例えば携帯電話やＰＤＡ等のように通信端末１０から独立した端末として構成することもできる。
【０１０５】
遠隔操作端末１９０を通信端末１０に従属する端末として構成する場合、通信端末１０は、遠隔操作通信部１４１及び遠隔操作端末１９０を含んで構成されるものとすることができる。なお、この場合、通信端末１０は、操作部１４０をさらに含むことができることに留意されたい。
【０１０６】
第６の実施形態においては、通信端末１０及び検索サーバ２０の処理は、基本的に第１の実施形態（ステップＳ００１〜Ｓ０１３、Ｓ２０１〜Ｓ２０７）に沿って行われるが、通信端末１０におけるステップＳ００４における処理が第１の実施形態とは異なる。
【０１０７】
すなわち、第６の実施形態では、ステップＳ００４において、ユーザが表示物１３０に表示されている表示物の名前がわからない、あるいはその表示物の情報をより詳しく知りたいと思ったとき、ユーザは、遠隔操作端末１９０の遠隔操作部１９２を操作することによって、その表示物を指し示す動作を行う。ユーザが遠隔操作端末１９０の遠隔操作部１９２により表示部１３０上の表示物への指示を行うと、遠隔操作端末１９０の遠隔操作通信部１９１は、通信端末１０の遠隔操作通信部１４１に当該指示の情報を送信するため、指示認識部１２１が当該指示を認識することができる。
【０１０８】
図１９は、本発明の第６の実施形態に係る通信端末１０の表示部１３０の表示例を示す図である。ユーザは、遠隔通信端末１９０の遠隔操作部１９２を操作して、表示部１３０上のポインタ（例えば矢印）を移動させることにより、表示物を指示することができる。例えば、遠隔操作部１９２が加速度センサや角速度センサなどを備える場合、ユーザは遠隔操作端末１９０を振るなどして表示部１３０上のポインタを移動させることができる。また、遠隔操作端末１９２が入力キーを備える場合、ユーザは当該キーを操作することにより表示部１３０上のポインタを移動させることができる。
【０１０９】
ユーザが遠隔操作端末１９０により表示部１３０上の表示物ａ１を指示すると（図１９（ａ））、通信端末１０は、検索サーバ２０に対して表示物ａ１に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。
【０１１０】
例えば、検索サーバ２０からの検索結果に表示物ａ１の表示物データが含まれている場合、表示部１３０の追加ウィンドウ１８０中には、当該表示物ａ１の表示物データが表示される（図１９（ｂ））。また、例えば、検索結果に検索エラー通知が含まれている場合、表示部１３０の追加ウィンドウ１８０の画像ウィンドウ１８１に、表示物ａ１の表示物データが検索できなかった旨を示す「Ｎｏｔ Ｆｏｕｎｄ」が表示され、属性ウィンドウ１８２にエラーの詳細が表示される（図１９（ｃ））。
【０１１１】
本実施形態によれば、ユーザは遠隔操作端末によって表示物を指示できるため、例えばユーザがテレビ等を離れて視聴している場合でも、表示部に対する操作が容易になり、ユーザの利便性を向上させることができる。
【０１１２】
（第７の実施形態）
第７の実施形態は、第６の実施形態における遠隔操作端末が表示部を備え、当該表示部上に表示物データの情報が表示される場合の一実施形態を示すものである。
【０１１３】
図２０は、本発明の第７の実施形態に係る通信端末１０及び遠隔操作端末１９０の概略構成を示す機能ブロック図である。図２０に示す構成は、図１８の構成の遠隔操作端末１９０に表示部１９３（第２表示部）を追加した構成である。表示部１９３は、例えば液晶ディスプレイ、又は他の好適な任意のディスプレイ機器から構成される。なお、図１８と同一の参照符号を付した機能ブロックは、図１８のものと同等の機能を有するものとする。
【０１１４】
図２１は、本発明の第７の実施形態に係る通信端末１０の表示部１３０及び遠隔操作端末１９０の表示部１９３の表示例を示す図である。図２１では、ユーザＡが遠隔操作端末１９０Ａを操作して表示部１３０上の表示物ａ１に対して指示入力を行い、ユーザＢが遠隔操作端末１９０Ｂを操作して表示部１３０上の表示物ａ３に対して指示入力を行っている（図２１（ａ））。この場合、遠隔操作端末の数は２台以上であるため、例えば遠隔操作端末のＩＤなど、各遠隔操作端末の所定の識別情報を用いることにより、通信端末１０は、各遠隔操作端末からの指示入力を識別できるものとする。
【０１１５】
通信端末１０は、遠隔操作端末１９０Ａからの遠隔操作を受け、検索サーバ２０に対して表示物ａ１に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。また、通信端末１０は、遠隔操作端末１９０Ｂからの遠隔操作を受け、検索サーバ２０に対して表示物ａ３に応じた検索データを送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を通信端末１０に送信する。
【０１１６】
通信端末１０は、検索サーバ２０から検索結果を受信し、例えば、表示物ａ１及びａ３の表示物データを取得すると、表示物ａ１及び表示物ａ３の表示物データを、それぞれ、遠隔操作端末１９０Ａ及び１９０Ｂに送信する。つまり、通信端末１０の制御部１２０は、表示物ａ１及び表示物ａ３の表示物データが、それぞれ、遠隔操作端末１９０Ａ及び１９０Ｂに送信されるように、遠隔操作通信部１４１を制御する。このため、遠隔操作端末１９０Ａの表示部１９３には表示物ａ１の表示物データが表示され（図２１（ｂ））、遠隔操作端末１９０Ｂの表示部１９３には表示物ａ３の表示物データが表示される（図２１（ｃ））ことになる。
【０１１７】
本実施形態によれば、ユーザは遠隔操作端末によって表示物を指示することができ、さらに当該表示物に関する表示物データを遠隔操作端末上に表示させることができる。そのため、例えばユーザがテレビ等を離れて視聴している場合でも、表示部に対する操作が容易になるともに、取得した情報を手元の遠隔操作端末上で見ることができるため、ユーザの利便性を向上させることができる。また、表示物データを遠隔操作端末１９０の表示部１９３に表示させ、通信端末１０の表示部１３０に表示させないようにすれば、複数のユーザにより通信端末１０の表示部１３０に表示された映像を見ている場合、他のユーザの視聴を妨げることなく、取得したデータを確認することができる。
【０１１８】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１１９】
例えば、各上記実施形態は、映像データをデジタル放送の映像として記載しているが、本発明はそのような形態に限られるものではない。例えば、本発明はインターネットなどの電気通信回線を介した映像配信にも対応しているものである。この場合、通信端末１０の送受信部１１０及び検索サーバ２０の送受信部２１０は、映像データ用のインターフェースと検索情報送受信用のインターフェースとを個別にもつ必要はなく、共通の単一インターフェースによって送受信部を構成することができる。
【０１２０】
また、上記各実施例では、通信端末１０が送信する検索データに含まれる指示座標情報は、座標変換部１２３による座標変換が行われているが、当該座標変換は検索サーバ側で行うことも可能である。この場合、通信端末１０が検索サーバ２０に送付する検索データに含まれる指示座標情報は、通信端末１０の表示部１３０の座標系を基準とするものであり、さらに、検索データは、通信端末１０の表示部１３０に関する端末画面情報を含むことになる。検索サーバ２０は、このような検索データを通信端末１０から受信すると、検索データに含まれる端末画面情報に基づき、指示座標情報を、映像データの座標系を基準とする座標情報に変換し、ユーザによる指示に対応する表示物を認識することになる。このように、座標変換をサーバ側に委ねることにより、通信端末１０の構成を簡潔にすることができ、かつ、処理負荷を低減することができる。
【０１２１】
また、通信端末１０が検索サーバ２０に検索データを送信した後に、ユーザが視聴している番組を変更し、表示物データが検索サーバ２０から受信された場合など、検索データに含めたときの第１のサービス識別子と、表示部１３０に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが異なる場合も考えられる。この場合、表示物を指示したときと検索結果を受信したときとでユーザの興味が変化している場合が考えられるため、検索サーバ２０から受信した検索結果の表示態様として以下の態様が考えられる。
【０１２２】
第１の表示態様では、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しくない場合に、表示物データを受信した旨を表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子とが等しくない場合に、制御部１２０は、ポップアップ表示等でユーザに第1のサービス識別子に対する検索結果を受信した旨を通知することができる。かかる通知を受けたユーザは、当該ポップアップを指示することによって、受信結果に含まれる表示物データの表示を促すことができる。
【０１２３】
第２の表示態様では、制御部１２０は、第１のサービス識別子と、第２のサービス識別子とが等しくない場合に、記憶部１５０に検索結果（表示物データ）を記憶させ、表示部１３０に表示されている映像データを提供するサービスが替わり、第１のサービス識別子と第２のサービス識別子とが等しくなった時点で、表示物データを表示部１３０に表示させることができる。この表示態様では、第１のサービス識別子と第２のサービス識別子が等しくなるまで待機してから表示物データを表示させるため、ユーザが必要とする表示物データのみを表示させることができる。
【０１２４】
また、通信端末１０は、一般に、複数のアプリケーションを実行できるものである。この場合、通信端末１０にとっては、映像を視聴する機能は、複数のアプリケーションの１つに過ぎない。そのため、ユーザが映像を指示して検索サーバ２０に検索データを送信してから、検索結果を受信するまでの間に、当該映像視聴アプリケーションを終了してしまう場合が考えられる。このように、検索データを送信してから、検索結果を受信するまでの間に映像視聴アプリケーションの終了指示があった場合には、映像視聴アプリケーションの一部の機能を終了させずに維持させておくことが考えられる。例えば、検索結果を受信するまでの間に映像視聴アプリケーションの終了指示があった場合に、送受信部１１０の機能を終了させず維持しておけば、送受信部１１０が検索サーバ２０から検索結果を受信した際に、映像視聴アプリケーションの他の機能（制御部１２０等）を再起動して、受信した表示物データを表示部１３０に表示させることが可能になる。
【０１２５】
また、通信端末１０の制御部１２０は、指示認識部１２１がユーザによる表示物への指示を認識した場合に、映像データ視聴制御部１２４に指示を出して映像を静止させ、ユーザはその静止された画像上の表示物に対して指示を行うようにすることも考えられる。その場合、ユーザの指示が遅れて、静止させた画像内にユーザが指示したい表示物がすでに表示されていないときには、記憶部１５０において所定時間だけ映像あるいは画像を記録しておき、操作部１４０を介してユーザが巻き戻しや前画像の表示など制御部１２０に指示することにより、ユーザは指示したい表示物が表示されている画像を表示部１３０に表示させ、そこから希望する表示物への指示を行うことも考えられる。
【０１２６】
なお、検索サーバ２０から表示物データを受信した場合には、音声や振動、光等によってその受信をユーザに通知したり、また、音声によって各表示物データの属性情報の内容をユーザに通知できることに留意されたい。
【０１２７】
また、通信端末の遠隔操作に関する第６及び第７の実施形態において、遠隔操作端末１９０が通信機能（第２送信部及び第２表示物データ受信部）を備え、検索サーバ２０との間で表示物データに関する通信を行う構成も考えられる。この場合、ユーザが遠隔操作端末１９０によって表示部１３０上の表示物データを指示すると、通信端末１０は、表示物データに応じた検索データを遠隔操作端末１９０に送信する。すなわち、通信端末１０の制御部１２０は、検索データ生成部１２５が生成した検索データを、遠隔操作端末１９０に送信するように遠隔操作通信部１４１を制御する。遠隔操作端末１９０は、通信端末１０から受信した検索データを検索サーバ２０に送信する。検索サーバ２０は、検索データを受信すると、当該検索データに応じた表示物データ又はエラー情報を含む検索結果を遠隔操作端末１９０に送信する。遠隔通信端末１９０が表示部１９３を備える場合、遠隔操作端末１９０は受信した検索結果を表示部１９３に表示させることができる。遠隔通信端末１９０が表示部１９３を備えない場合、遠隔操作端末１９０は受信した検索結果を通信端末１０に送信し、通信端末１０は表示部１３０に当該検索結果を表示させることができる。
【０１２８】
なお、遠隔操作端末１９０が通信機能を備える場合には、通信端末１０の構成から検索情報送受信部１１２を除くことができることに留意されたい。
【０１２９】
また、本発明が対応可能なデジタル放送は、地上デジタル放送（ワンセグ放送）のみに限られるものではなく、例えばＭｅｄｉａＦＬＯなど、あらゆるデジタル放送を含むものである。
【０１３０】
また、上述の各実施形態では、無線通信方式として、ｃｄｍａ２０００ １ｘＥＶ−ＤＯ、ｉＢｕｒｓｔ、無線ＬＡＮなどを想定して説明したが、本発明の適用範囲はかかる無線通信方式のみに限られるものではなく、例えば、ＰＤＣ（Personal Digital Cellular）、Ｗ−ＣＤＭＡ（Wideband CDMA）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６）、ＬＴＥ（Long Term Evolution）、ＵＭＢ（Ultra Mobile Broadband）など、現在実用されている無線通信ネットワーク及び将来的な実用が見込まれる無線通信ネットワークなど、あらゆる無線通信ネットワークに対応することが可能である。
【符号の説明】
【０１３１】
１０ 通信端末
２０ 検索サーバ
３０ 放送局
４０ 基地局
５０ ＷＡＮ
１１０ 送受信部
１１１ 映像データ受信部
１１２ 検索情報送受信部
１２０ 制御部
１２１ 指示認識部
１２２ 座標取得部
１２３ 座標変換部
１２４ 映像データ視聴制御部
１２５ 検索データ生成部
１２６ 指示形体判断部
１３０ 表示部
１４０ 操作部
１４１ 遠隔操作通信部
１５０ 記憶部
１７０ 入力装置
１８０ 追加ウィンドウ
１８１ 画像ウィンドウ
１８２ 属性ウィンドウ
１８３ 拡大画像ウィンドウ
１８４ 縮小属性ウィンドウ
１９０ 遠隔操作端末
１９１ 遠隔操作通信部
１９２ 遠隔操作部
１９３ 表示部
２１０ 送受信部
２１１ データ取得部
２１２ 検索情報送受信部
２２０ 制御部
２２１ 表示物認識部
２２２ 表示物データ検索部
２２３ 検索結果生成部
２３０ 記憶部
【特許請求の範囲】
【請求項１】
映像データを受信する映像データ受信部と、
前記映像データ受信部が受信した映像データを表示する表示部と、
前記表示部に対する指示入力を受け付ける指示入力部と、
前記指示入力が前記表示部に表示された映像への指示であるかを認識する指示認識部と、
前記指示認識部が前記映像への指示を認識した場合に、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを検索サーバに送信する送信部と、
前記検索サーバが前記検索データに基づいて検索した表示物データを受信する表示物データ受信部と、
前記表示物データ受信部が受信した前記表示物データを前記表示部に表示させる表示部と、
を備え、
前記指示認識部が前記映像への指示を認識した場合、前記制御部が、前記映像データを提供するサービスを識別するためのサービス識別子を特定し、特定したサービスを前記検索データに含め、
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とに基づき、
前記表示部の表示を制御する
ことを特徴とする通信端末。
【請求項２】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しい場合に、
前記表示物データを前記表示部に表示させる、
請求項１に記載の通信端末。
【請求項３】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、
前記表示物データを受信した旨を前記表示部に表示させる、
請求項１に記載の通信端末。
【請求項４】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合、
前記表示部に表示されている映像データを提供するサービスが替わり、
前記第１のサービス識別子と前記第２のサービス識別子とが等しくなった際に、前記表示物データを前記表示部に表示させる、
請求項１に記載の通信端末。
【請求項１】
映像データを受信する映像データ受信部と、
前記映像データ受信部が受信した映像データを表示する表示部と、
前記表示部に対する指示入力を受け付ける指示入力部と、
前記指示入力が前記表示部に表示された映像への指示であるかを認識する指示認識部と、
前記指示認識部が前記映像への指示を認識した場合に、前記指示に基づいた指示座標情報及び前記指示時の指示タイミング情報を含む検索データを検索サーバに送信する送信部と、
前記検索サーバが前記検索データに基づいて検索した表示物データを受信する表示物データ受信部と、
前記表示物データ受信部が受信した前記表示物データを前記表示部に表示させる表示部と、
を備え、
前記指示認識部が前記映像への指示を認識した場合、前記制御部が、前記映像データを提供するサービスを識別するためのサービス識別子を特定し、特定したサービスを前記検索データに含め、
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とに基づき、
前記表示部の表示を制御する
ことを特徴とする通信端末。
【請求項２】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しい場合に、
前記表示物データを前記表示部に表示させる、
請求項１に記載の通信端末。
【請求項３】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合に、
前記表示物データを受信した旨を前記表示部に表示させる、
請求項１に記載の通信端末。
【請求項４】
前記制御部は、
前記検索データに含まれる第１のサービス識別子と、
前記表示物データ受信部が前記検索サーバから前記表示物データを受信した際の、前記表示部に表示されている映像データを提供するサービスを識別する第２のサービス識別子とが等しくない場合、
前記表示部に表示されている映像データを提供するサービスが替わり、
前記第１のサービス識別子と前記第２のサービス識別子とが等しくなった際に、前記表示物データを前記表示部に表示させる、
請求項１に記載の通信端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−２５０４８０（Ｐ２０１１−２５０４８０Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１１−１９８７９０（Ｐ２０１１−１９８７９０）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【分割の表示】特願２００９−５３７４３６（Ｐ２００９−５３７４３６）の分割
【原出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【分割の表示】特願２００９−５３７４３６（Ｐ２００９−５３７４３６）の分割
【原出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]