表示制御装置、及び情報送信方法
【課題】通信装置を利用する際の操作を容易にする。
【解決手段】実施形態の表示制御装置は、撮像手段と、出力手段と、送信手段と、を備える。撮像手段は、被写体を撮像する。出力手段は、コンテンツを示す表示画像と、撮像手段により撮像された撮像画像と、を表示部に出力する。送信手段は、通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、撮像画像と、に基づいて、撮像画像に写っている第1の被写体が通信装置であると判定された場合に、撮像手段により撮像された撮像画像に写っている第2の被写体の動きに従って、表示画像により示されるコンテンツを、通信装置に送信する。
【解決手段】実施形態の表示制御装置は、撮像手段と、出力手段と、送信手段と、を備える。撮像手段は、被写体を撮像する。出力手段は、コンテンツを示す表示画像と、撮像手段により撮像された撮像画像と、を表示部に出力する。送信手段は、通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、撮像画像と、に基づいて、撮像画像に写っている第1の被写体が通信装置であると判定された場合に、撮像手段により撮像された撮像画像に写っている第2の被写体の動きに従って、表示画像により示されるコンテンツを、通信装置に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、表示制御装置、及び情報送信方法に関する。
【背景技術】
【0002】
テレビジョン表示装置の発達に伴い、テレビジョン表示装置が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録し、ユーザの要求に応じて、これら番組コンテンツを提供する技術が提案されている。
【0003】
特に近年、拡張現実感(AR)技術が注目される傾向にある。ARとは、実環境にバーチャル環境を重畳する技術である。
【0004】
このARを、様々な技術に適応することが提案されている。例えば、カメラなどを用いて人の位置や動きを検出する技術と、ARと、を組み合わせる技術が提案されている。これにより、バーチャル環境を重畳した実環境上で検出した人の位置や動きに基づいて、様々な情報を提供する技術が提案されている。例えば、検出された人の動きに応じて、表示装置に表示する情報を動的に変化させる技術などが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−157134号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術においては、人の位置や動きを検出可能な装置を操作することしか考慮されておらず、他の装置を操作することについて考慮されていなかった。
【0007】
本発明は、上記に鑑みてなされたものであって、装置を利用する際の操作を容易にする表示制御装置、及び情報送信方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態の表示制御装置は、撮像手段と、出力手段と、送信手段と、を備える。撮像手段は、被写体を撮像する。出力手段は、コンテンツを示す表示画像と、撮像手段により撮像された撮像画像と、を表示部に出力する。送信手段は、通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、撮像画像と、に基づいて、撮像画像に写っている第1の被写体が通信装置であると判定された場合に、撮像手段により撮像された撮像画像に写っている第2の被写体の動きに従って、表示画像により示されるコンテンツを、通信装置に送信する。
【図面の簡単な説明】
【0009】
【図1】図1は、第1の実施形態にかかるコンテンツ利用システムの例を示した図である。
【図2】図2は、第1の実施形態にかかるテレビジョン表示装置の主要な信号処理系を示すブロック図である。
【図3】図3は、第1の実施形態にかかる制御部でARアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。
【図4】図4は、第1の実施形態にかかる表示制御部により表示される画面例と、タブレット端末150と、の関係を示した図である。
【図5】図5は、第1の実施形態にかかる選択部で選択対象を受け付けた後に、表示制御部が表示する画面例を示した図である。
【図6】図6は、第1の実施形態にかかるテレビジョン表示装置における、人物の手の動きに従って遷移する状態を示した図である。
【図7】図7は、第1の実施形態にかかる送信部により番組コンテンツを、タブレット端末に送信している例を示した図である。
【図8】図8は、第1の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。
【図9】図9は、第1の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、特徴情報を送受信する際の処理の手順を示すフローチャートである。
【図10】図10は、第2の実施形態にかかるテレビジョン表示装置に表示された画面例を示す図である。
【図11】図11は、第2の実施の形態にかかる制御部でARアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。
【図12】図12は、第2の実施形態にかかる端末情報記憶部のテーブル構造を示した図である。
【図13】図13は、本実施の形態にかかるテレビジョン表示装置900が番組コンテンツを送信する際の処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に示す実施形態では、表示制御装置、及び情報送信方法をテレビジョン表示装置に適用した例について説明する。
【0011】
(第1の実施形態)
図1は、第1の実施形態にかかるコンテンツ利用システムの例を示した図である。図1に示すコンテンツ利用システムは、家庭内の無線、有線ネットワーク180を介して接続されたテレビジョン表示装置100と、無線ルータ160と、タブレット端末150と、で構成されている。無線ルータ160は、タブレット端末150との間で無線通信を行うことで、タブレット端末150を家庭内ネットワーク180に接続する。これにより、テレビジョン表示装置100と、タブレット端末150と、の間で通信を可能としている。
【0012】
例えば、テレビジョン表示装置100は、DNLAサーバとして機能し、タブレット端末150は、DNLAクライアントとして機能する。なお、本実施形態では、テレビジョン表示装置100から、タブレット端末150に対して番組コンテンツを提供する例について説明するが、テレビジョン表示装置及びタブレット端末に制限するものではない。例えば、テレビジョン表示装置の代わりにDNLAサーバとして機能するPC等を用いても良い。さらに、タブレット端末の代わりにDNLAクライアントとして機能する携帯通信端末や携帯可能なPC等を用いても良い。
【0013】
本実施の形態においては、テレビジョン表示装置100が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録する。そして、テレビジョン表示装置100は、タブレット端末150に対して、記録された番組コンテンツを提供する。
【0014】
また、テレビジョン表示装置100は、カメラ110を備えている。さらに、テレビジョン表示装置100内には、ARアプリケーションが格納されている。そして、ARアプリケーションは、カメラ110により撮像された撮像画像データに従って、人物170の動きを検出する。ARアプリケーションは、検出された動きに基づいて番組コンテンツを操作し、当該番組コンテンツを、家庭内ネットワーク180を介してタブレット端末150に送信する。
【0015】
次に、テレビジョン表示装置100のハードウェア構成について説明する。図2は、本実施形態にかかるテレビジョン表示装置100の主要な信号処理系を示すブロック図である。
【0016】
BS/CSデジタル放送受信用のアンテナ241で受信した衛星デジタルテレビジョン放送信号は、入力端子201を介して衛星デジタル放送用のチューナ202aに供給される。
【0017】
チューナ202aは、制御部205からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をPSK(Phase Shift Keying)復調器202bに出力する。
【0018】
PSK復調器202bは、制御部205からの制御信号により、チューナ202aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム(TS)を得て、TS復号器202cに出力する。
【0019】
TS復号器202cは、制御部205からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部206内のSTDバッファ(図示せず)へ出力する。
【0020】
また、TS復号器202cは、デジタル放送により送られているセクション情報を信号処理部206内のセクション処理部(図示せず)へ出力する。
【0021】
地上波放送受信用のアンテナ242で受信した地上デジタルテレビジョン放送信号は、入力端子203を介して地上デジタル放送用のチューナ204aに供給される。
【0022】
チューナ204aは、制御部205からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をOFDM(Orthogonal Frequency Division Multiplexing)復調器204bに出力する。
【0023】
OFDM復調器204bは、制御部205からの制御信号により、チューナ204aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、TS復号器204cに出力する。
【0024】
TS復号器204cは、制御部205からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部206内のSTDバッファへ出力する。
【0025】
また、TS復号器204cは、デジタル放送により送られているセクション情報を信号処理部206内のセクション処理部へ出力する。
【0026】
ここで、上記信号処理部206は、テレビ視聴時には、TS復号器202cおよびTS復号器204cからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。一方、番組録画時には、TS復号器202cおよびTS復号器204cからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、制御部205を介して録画用記録装置(例えば、HDD)270に記録している。また、信号処理部206は、録画番組再生時には、制御部205を介して録画用記録装置(例えば、HDD)270から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。
【0027】
制御部205には、信号処理部206から、番組を取得するための各種データ(B−CASデスクランブル用の鍵情報等)や電子番組ガイド(EPG)情報、番組属性情報(番組ジャンル等)、字幕情報等(サービス情報、SIやPSI)が入力されている。
【0028】
制御部205は、これら入力された情報からEPG、字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部207へ出力する。
【0029】
また、この制御部205は、番組録画および番組予約録画を制御する機能を有し、番組予約受付時には、表示部211に電子番組ガイド(EPG)情報を表示し、操作部220を介したユーザ入力による予約内容、又はカメラ110が撮像した撮像画像データから抽出された予約内容を、記憶部271に設定する。
【0030】
制御部205は記憶部271に設定された予約内容に従って、設定された時刻に予約番組を録画するようチューナ202a、204a、PSK復調器202b、OFDM復調器204b、TS復号器202c、204cおよび信号処理部206を制御する。
【0031】
記憶部271は、予約内容を記憶するほか、サムネイル記憶部271aを備える。そして、サムネイル記憶部271aは、録画用記録装置270に記憶された番組コンテンツ毎のサムネイル画像データを記憶する。
【0032】
セクション処理部は、TS復号器202c(204c)から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド(EPG)情報、番組属性情報(番組ジャンル等)、字幕情報等(サービス情報、SIやPSI)を制御部205へ出力する。
【0033】
グラフィック処理部207は、(1)信号処理部206内のAVデコーダ(図示せず)から供給されるデジタルの映像信号と、(2)OSD(On Screen Display)信号生成部209で生成されるOSD信号と、(3)データ放送による画像データと、(4)制御部205により生成されたEPG、字幕信号とを合成して映像処理部210へ出力する機能を有する。
【0034】
また、字幕放送による字幕を表示するとき、グラフィック処理部207は、制御部205からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。
【0035】
グラフィック処理部207から出力されたデジタルの映像信号は、映像処理部210に供給される。この映像処理部210は、入力されたデジタルの映像信号を、表示部211で表示可能なフォーマットのアナログ映像信号に変換した後、表示部211に出力して、表示部211の表示画面上に映像表示させる。
【0036】
また、音声処理部208は、入力されたデジタルの音声信号を、音声出力装置212で再生可能なアナログ音声信号に変換した後、音声出力装置212に出力して音声を再生させる。
【0037】
制御部205は、ROM(Read Only Memory)205aと、当該CPUに作業エリアを提供するRAM(Random Access Memory)205bと、各種の設定情報及び制御情報等が格納される不揮発性メモリ205cと、を備え、テレビジョン表示装置100全体を制御する。
【0038】
また、この制御部205は、カードI/F(Interface)223を介して、第1のメモリカード224が装着可能なカードホルダ225に接続されている。これによって、制御部205は、カードホルダ225に装着された第1のメモリカード224と、カードI/F223を介して情報伝送することができる。
【0039】
さらに、制御部205は、カードI/F226を介して、第2のメモリカード227が装着可能なカードホルダ228に接続されている。これにより、制御部205は、カードホルダ228に装着された第2のメモリカード227と、カードI/F226を介して情報伝送することができる。
【0040】
また、制御部205は、通信I/F229を介して第1のLAN端子230に接続されている。これにより、制御部205は、第1のLAN端子230に接続されたLAN対応の機器(例えば、外付けHDD)と、通信I/F229を介して情報伝送することができる。
【0041】
さらに、制御部205は、通信I/F231を介して第2のLAN端子232に接続されている。これにより、制御部205は、第2のLAN端子232に接続されたLAN対応の各種機器と、通信I/F231を介して情報伝送することができる。
【0042】
また、制御部205は、USB I/F233を介してUSB端子234に接続されている。これにより、制御部205は、USB端子234に接続された各種機器と、USB I/F233を介して情報伝送することができる。
【0043】
また、制御部205は、カメラ110に接続されている。これにより、制御部205は、カメラ110が撮像した撮像画像データを取得することができる。
【0044】
次に、ROM205aに格納された制御プログラムのうち、番組コンテンツを制御するためのARアプリケーション205dを実行した場合に行われる処理について説明する。図3は、制御部205で当該ARアプリケーション205dを実行した場合に実現されるソフトウェア構成を示した図である。
【0045】
図3に示すようにARアプリケーション205dは、受信部301と、送信部302と、表示制御部303と、映像取得部304と、端末判定部305と、動き検出部306と、サムネイル重畳判定部307と、選択部308と、端末重畳判定部309と、抽出部310と、を備える。
【0046】
受信部301は、通信I/F229又は通信I/F231からネットワークを介して接続された外部装置(例えばタブレット端末150)からデータを受信する。
【0047】
送信部302は、通信I/F229又は通信I/F231からネットワークを介して接続された外部装置(例えばタブレット端末150)に対してデータを送信する。
【0048】
表示制御部303は、映像処理装置210を介して、表示部211の表示制御を行う。
【0049】
本実施形態においては、タブレット端末150からネットワーク180に、持ち出し要求を示すパケットがブロードキャストされた場合に、受信部301は、当該持ち出し要求を受信する。これにより、制御部205は、ARアプリケーション205dを起動させる。その際に、受信部301は、ネットワーク180上でタブレット端末150を識別する識別情報(例えば、機器名、IPアドレス又はMACアドレス)を受信する。これにより、テレビジョン表示装置100は、タブレット端末150を認識できるため、テレビジョン表示装置100及びタブレット端末150の間の通信が確立する。
【0050】
その後、受信部301は、タブレット端末150から、当該タブレット端末150の外観の特徴を示した特徴情報を受信する。
【0051】
特徴情報は、タブレット端末150の外観の特徴を識別可能な情報であればよい。特徴情報は、タブレット端末150の外観を撮像した撮像画像データから、抽出された情報とし、例えば撮像画像データ内で、タブレット端末150の特徴的な画素の位置や向きを示す関心点等を示す情報が含まれていることが考えられる。また、特徴情報のフォーマットも特に制限を設けるものではなく、様々な形式が考えられる。
【0052】
映像取得部304は、被写体を撮像するカメラ110から、撮像画像データを取得する。撮像画像データは、被写体の動きを検出可能であればよく、動画像データ及び静止画像データのどちらであってもよい。
【0053】
端末判定部305は、映像取得部304が取得した撮像画像データと、受信部301により受信された特徴情報と、に基づいて、撮像画像データに写っている被写体が、タブレット端末150であるか否かを判定する。図4に示す画面例では、端末判定部305は、表示領域401を、被写体であるタブレット端末150が写っている表示領域として判定する。
【0054】
この特徴情報と、撮像画像データに写っている被写体と、の間でマッチングを行う手法は、従来から提案された手法に限らず、様々な手法を用いても良い。例えば、端末判定部305は、特徴情報と、撮像画像データと、の間で、(画像内の特徴的な画素の位置や向きを示す)関心点のマッチングを行うことで、撮像画像データに映っている被写体が、特徴情報が指し示すタブレット端末150であるか否かを判定しても良い。また、端末判定部305は、撮像画像データ内の関心点を検出した後、検出された関心点の位置に基づいて、被写体が映し出された角度、距離等を考慮してから、特徴情報とのマッチングを行ってもよい。これにより、検出精度を向上させることができる。
【0055】
表示制御部303は、映像取得部304が取得した撮像画像データを、表示部211に表示する。そして、表示制御部303は、撮像画像データが表示された表示領域上に、番組コンテンツを表すサムネイル画像データを重畳して表示する。端末判定部305に撮像画像データにタブレット端末150が写っていると判定された場合、表示制御部303により表示される撮像画像データには、番組コンテンツを表すサムネイル画像データと、タブレット端末150を表す表示領域と、が含めて表示される。
【0056】
図4は、表示制御部303により表示される画面例と、タブレット端末150と、の関係を示した図である。図4に示す例では、カメラ110により撮像された、タブレット端末(の表示領域)401と人物402とを含む撮像画像データが、テレビジョン表示装置100により表示される。このように、撮像画像データには、複数の被写体(タブレット端末(の表示領域)401と人物402)が含まれている。
【0057】
そして、表示制御部303は、録画用記録装置270に記録された番組コンテンツに対応するサムネイル画像データを、サムネイル記憶部271aから読み出す。そして、表示制御部303は、読み出したサムネイル画像データ411、412、413、414を、撮像画像データ上に重畳して、一覧表示する。
【0058】
動き検出部306は、映像取得部304が取得した撮像画像データに基づいて、撮像された被写体(人物)の動きを検出する。本実施形態にかかる動き検出部306は、複数の撮像画像データ間の差分に基づいて、被写体(人物)の動きを検出する。
【0059】
動き検出部306による動きの検出には、例えばオプティカルフローを用いることが考えられる。オプティカルフローは、前のフレームと次のフレームとの間で点(又はピクセル)の移動をトラッキングする技術であり、密なオプティカルフローと疎なオプティカルフローとが存在する。密なオプティカルフローは、精度が高いが計算コストが高いのに対し、疎なオプティカルフローは計算コストが少ない。このため、疎なオプティカルフローを利用したいが、手などをトラッキングの対象とした場合、形や向きが一定しないためトラッキングに適した点を指定することが難しい。そこで、画像中の注目する複数の点それぞれを囲む、ある小さなウィンドウに対して動きを求めるLucas-Kanade(LK)アルゴリズムを用いることで、オプティカルフローによる手の動きを認識できる。
【0060】
そして、本実施形態では、手の動きが検出された点の重心を、人物の手の位置を示す座標値とする。
【0061】
そして、送信部302は、動き検出部306により検出された人物の動きに基づいて、サムネイル画像データで表された番組コンテンツを、タブレット端末150に送信する。具体的には、以下の処理を行う。
【0062】
サムネイル重畳判定部307は、検出された動きから特定された人物の手の位置を表す、撮像画像データ上の座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する。
【0063】
選択部308は、サムネイル重畳判定部307により、人物の手の位置を表す座標値が、サムネイル画像データの表示領域に含まれたと判定された後、動き検出部306により予め定められた動きを検出した場合に、当該サムネイル画像データで表された番組コンテンツを、送信対象として選択を受け付ける。予め定められた動きの例としては、人物の手で(サムネイル画像データを)つまむ動きや、人物の手が下方向(タブレット端末150が存在する方向)に移動する動きなどがある。つまり、人物の手が横方向に移動している間は、番組コンテンツが選択されることはなく、任意のサムネイル画像データが、人物の手を示す表示領域と重畳した後、人物の手がつまむ動きをしたり、人の手がタブレット端末150に向けて移動した場合に、当該任意のサムネイル画像データで示された番組コンテンツが送信対象として選択される。
【0064】
図5は、第1の実施形態にかかる選択部308で選択対象を受け付けた後に、表示制御部303が表示する画面例を示した図である。図5の画面例に示されるように、表示制御部303は、選択部308により選択を受け付けた番組コンテンツのサムネイル画像データを、動き検出部306により検出された人物の手の動きに従って移動するよう、表示する。
【0065】
図5の例に示されるように、人物の手の動きに合わせて、サムネイル画像データが、表示領域501、502、503、504の順に移動表示される。
【0066】
図6は、本実施形態にかかるテレビジョン表示装置100における、人物の手の動きに従って遷移する状態を示した図である。図6に示すように、本実施形態では、初期状態601と、番組コンテンツをつかんでいる状態602と、番組コンテンツの選択待ち状態603と、番組コンテンツの送信開始状態604と、を含んでいる。
【0067】
そして、初期状態601から、人物の手が番組コンテンツの方向に移動した場合に、番組コンテンツをつかんでいる(選択部308により選択を受け付けた)状態602に遷移する。なお、手でつまむという動きの検出した場合に、番組コンテンツをつかんでいる状態602に遷移してもよい。
【0068】
そして、人物の手が左右方向への移動を検出した場合、番組コンテンツをつかんでいる状態602から、つかんでいる番組コンテンツを離し、番組コンテンツの選択待ち状態603に遷移する。なお、番組コンテンツをつかんでいる状態602又は番組コンテンツの選択待ち状態603から、一定時間が経過した場合、初期状態601に移行する。
【0069】
番組コンテンツの選択待ち状態603から、番組コンテンツに重畳された人物の手が下方向への移動を検出した場合、番組コンテンツをつかんでいる状態602に遷移する。
【0070】
そして、番組コンテンツをつかんでいる状態602において、人物の手が、タブレット端末150の表示領域401に含まれたことを検出した場合に、番組コンテンツの送信状態に遷移する。このタブレット端末150の表示領域401に含まれたか否かの判定は、端末重畳判定部309が行う。
【0071】
端末重畳判定部309は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部306により検出された人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたか否かを判定する。
【0072】
そして、送信部302は、人の手の位置を示す座標値が、タブレット端末150が写っている表示領域401に含まれたと判定された場合に、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを、表示領域401に写っているタブレット端末150に対して送信する。送信先は、受信した識別情報(例えば、機器名、IPアドレス又はMACアドレス)を用いる。
【0073】
図7は、第1の実施形態にかかる送信部302により番組コンテンツを、タブレット端末150に送信している例を示した図である。図7に示すように、タブレット端末150が写っている表示領域401に人の手を表す座標位置が含まれた場合に、送信部302が、選択部308で選択を受け付けた番組コンテンツを、タブレット端末150に送信する。その際に、タブレット端末150は、番組コンテンツの受信が開始されたことを示すメッセージ702を表示する。その際に、タブレット端末150は、番組コンテンツを表す画像データ701を表示する。
【0074】
ところで、タブレット端末150では、出荷される際に、持ち出しアプリケーションを予めインストールしておく。この場合、タブレット端末150は、テレビジョン表示装置100等が画像データに自装置が写っているか否かを認識するための特徴情報を、予め記憶装置(例えばHDDやSSD)に記憶しておくことができる。
【0075】
一方で、アプリケーション提供者は、持ち出しアプリケーションを、ネットワークを介して配信したり、パッケージとして販売してもよい。この場合、タブレット端末150等に持ち出しアプリケーションがインストールされた際、テレビジョン表示装置100等を利用して特徴情報を取得する必要がある。本実施形態にかかるテレビジョン表示装置100は、特徴情報をタブレット端末150に送信するために抽出部310を備える。
【0076】
そして、受信部301が、タブレット端末150から特徴情報の取得要求を受信した場合に、抽出部310は、映像取得部304が取得した撮像画像データから、カメラ110の前に配置された被写体(例えばタブレット端末150)の外観を示す特徴情報を抽出する。
【0077】
送信部302は、抽出部310により抽出された特徴情報を、特徴情報の取得要求を送信してきた通信装置(例えばタブレット端末150)に送信する。
【0078】
次に、本実施の形態にかかるテレビジョン表示装置100からタブレット端末150に番組コンテンツを送信する際の処理について説明する。図8は、本実施の形態にかかるテレビジョン表示装置100及びタブレット端末150における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。
【0079】
まず、タブレット端末150が、ユーザの操作に従って、持ち出しアプリケーションを起動する(ステップS1101)。次に、持ち出しアプリケーションが、持ち出し要求を示すパケットをブロードキャストする(ステップS1102)。
【0080】
そして、テレビジョン表示装置100の受信部301が、タブレット端末150からの持ち出し要求を受信する(ステップS1111)。
【0081】
テレビジョン表示装置100は、持ち出し要求に含まれていたIPアドレス又はMACアドレスにより、持ち出し要求の送信先(タブレット端末150)を特定できる。そして、テレビジョン表示装置100とタブレット端末150との間の通信が確立した後、タブレット端末150が、テレビジョン表示装置100に対して特徴情報を送信する。そして、タブレット端末150が、当該特徴情報を受信する。本実施形態では、持ち出し要求と、特徴情報と、をそれぞれ分けて送信したが、これらをまとめて送信しても良い。
【0082】
その後、テレビジョン表示装置100は、ARアプリケーション205dと共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置100の正面領域を撮影する状態に移行する。
【0083】
次に、ARアプリケーション205dの映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS1112)。
【0084】
そして、端末判定部305が、特徴情報と、撮像画像データと、に基づいて、撮像画像データにタブレット端末150が含まれているか否かを判定する(ステップS1113)。タブレット端末150が含まれていないと判定した場合(ステップS1113:No)、処理を終了する。
【0085】
一方、端末判定部305が、撮像画像データにタブレット端末150が含まれていると判定した場合(ステップS1113:Yes)、テレビジョン表示装置100は、タブレット端末150を番組コンテンツの送信先として認識する。そして、動き検出部306が、撮像画像データに基づいて、人物の手の動きの検出を開始する(ステップS1114)。
【0086】
そして、表示制御部303は、サムネイル記憶部271aから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示を開始する(ステップS1115)。
【0087】
そして、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する(ステップS1116)。含まれていない場合(ステップS1116:No)、再びステップS1116から処理を行う。
【0088】
その後、動き検出部306は、検出された人の手が、下方向に移動しているか否かを判定する(ステップS1117)。下方向に移動していない場合、例えば左右方向に移動している場合(ステップS1117:No)、再びステップS1116から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。
【0089】
一方、動き検出部306が、下方向に移動したと判定した場合(ステップS1117:Yes)、選択部308は、ステップS1116で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける(ステップS1118)。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。
【0090】
その後、端末重畳判定部309は、動き検出部306により検出された人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたか否かを判定する(ステップS1119)。含まれなかったと判定された場合(ステップS1119:No)、再びステップS1119から処理を行う。
【0091】
一方、端末重畳判定部309が、人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたと判定した場合(ステップS1119:Yes)、送信部302が、選択部308により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、タブレット端末150に送信する(ステップS1120)。
【0092】
これにより、タブレット端末150は、番組コンテンツを受信する(ステップS1103)。
【0093】
上述したようにタブレット端末150に持ち出しアプリケーションをインストールした場合に、タブレット端末150は、テレビジョン表示装置100から特徴情報を取得する必要がある。
【0094】
次に、本実施の形態にかかるタブレット端末150がテレビジョン表示装置100から特徴情報を取得する際の処理について説明する。図9は、本実施の形態にかかるテレビジョン表示装置100及びタブレット端末150における、特徴情報を送受信する際の処理の手順を示すフローチャートである。
【0095】
まず、タブレット端末150は、ユーザの操作に従って、持ち出しアプリケーションを起動する(ステップS801)。その後、持ち出しアプリケーションから、タブレット端末150の前に存在するテレビジョン表示装置100に対して特徴情報取得要求を送信する(ステップS802)。この特徴情報取得要求は、例えば、持ち出しアプリケーションの表示画面上に配置された、“特徴情報の取得要求”ボタンを、ユーザが押下した場合に行う等が考えられる。
【0096】
そして、テレビジョン表示装置100の受信部301が、タブレット端末150からの特徴情報取得要求を受信する(ステップS811)。そして、テレビジョン表示装置100は、持ち出し要求に含まれていたIPアドレス又はMACアドレスにより、特徴情報取得要求の送信先(タブレット端末150)を特定できる。そして、テレビジョン表示装置100とタブレット端末150との間の通信を確立する。
【0097】
その後、テレビジョン表示装置100は、ARアプリケーション205dと共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置100の正面領域を撮影する状態に移行する。
【0098】
次に、ARアプリケーション205dの映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS812)。
【0099】
そして、抽出部310は、撮像画像データから、タブレット端末150の輪郭を検出する(ステップS813)。その後、抽出部310は、タブレット端末150の特徴情報を抽出する(ステップS814)。
【0100】
その後、送信部302が、抽出した特徴情報を、タブレット端末150に送信する(ステップS815)。
【0101】
そして、タブレット端末150が特徴情報を受信する(ステップS803)。次に、タブレット端末150は、受信した特徴情報を、記憶装置に記憶する(ステップS804)。
【0102】
上述した処理手順により、タブレット端末150は特徴情報を取得できる。これによりタブレット端末150は、特徴情報を用いた番組コンテンツの持ち出し要求を行うことができる。
【0103】
本実施形態では、AR(拡張現実)上で、表示されたタブレット端末に、番組コンテンツをドラッグするだけで、実際にタブレット端末に番組コンテンツが送信されるため、ユーザに対して直感的な操作を提供できる。
【0104】
機器間で番組コンテンツを受け渡す際、従来はテレビジョン表示装置に表示された文字やアイコンを参照して、どの機器からどの機器に送信するのか操作を行っていた。これに対し、上述した実施形態では、実際に表示画面上に映し出された転送先の通信端末に、番組コンテンツを示すサムネイルをドラッグすることで、実際の転送が開始されるため、直感的な操作が可能となる。これにより、ユーザは、コンテンツの受け渡しが容易となる。
【0105】
さらに、従来技術では、通信端末に内蔵されたカメラにより撮像された画像データを、表示パネル上に表示させると、カメラ中に写った物体を認識し、その上に情報を付加提示していた。しかしながら、従来技術では、カメラ越しに映し出された物体(上述したタブレット端末150)にフィードバックを返すというものではなかった。これに対し、上述した実施形態では、カメラ110で撮影された通信端末にもフィードバックをかけることが可能となる。
【0106】
(第2の実施形態)
第1の実施形態では、カメラ110に撮像されたタブレット端末150に対して番組コンテンツを送信する例について説明した。しかしながら、カメラ110で撮像されている装置に番組コンテンツの送信先を制限するものではない。そこで、第2の実施形態では、予め登録された装置から、番組コンテンツの送信先を選択する技術について説明する。
【0107】
図10は、第2の実施形態にかかるテレビジョン表示装置900に表示された画面例を示す図である。図10に示すように、テレビジョン表示装置900においては、サムネイル画像データ411、412、413、414の他に、送信可能な通信機器の画像データ(以下、端末画像データと称す)901、902が重畳して表示されている。
【0108】
図11は、第2の実施の形態にかかる制御部205でARアプリケーション1000を実行した場合に実現されるソフトウェア構成を示した図である。本実施の形態にかかるARアプリケーション1000は、上述した第1の実施の形態にかかるARアプリケーション205dとは、端末判定部305、抽出部310が削除され、表示制御部303と処理が異なる表示制御部1001に変更され、端末重畳判定部309と処理が異なる端末重畳判定部1002に変更されている点で異なる。以下の説明では、上述した第1の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。また、本実施形態にかかる記憶部271は、さらに、端末情報記憶部1011を記憶している。
【0109】
図12は、第2の実施形態にかかる端末情報記憶部1011のテーブル構造を示した図である。図12に示すように端末情報記憶部1011は、端末画像データと、機器名と、を対応付けて記憶している。本実施形態にかかるネットワークにおいては、機器名から、IPアドレスを取得できる。端末画像データは、番組コンテンツを送信可能な通信機器を表す際に用いられる。
【0110】
表示制御部1001は、第1の実施形態と同様、映像処理装置210を介して、表示部211の表示制御を行う。本実施形態にかかる表示制御部1001は、端末情報記憶部1011に記憶された端末画像データを読み出して、当該端末画像データが配置された図10に示す画面例を表示する点で、第1の実施形態の表示制御部303と異なる。
【0111】
このように本実施形態にかかるテレビジョン表示装置900では、転送先の機器について端末情報記憶部1011に予め登録しておく例とする。
【0112】
端末重畳判定部1002は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部306により検出された人の手の位置を表す座標値が、端末画像データに含まれたか否かを判定する。
【0113】
そして、送信部302は、人の手の位置を示す座標値が、端末画像データに含まれたと判定された場合に、当該端末画像データと対応付けられた機器名の通信端末に対して、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを送信する。
【0114】
次に、本実施の形態にかかるテレビジョン表示装置900からタブレット端末150に番組コンテンツを送信する際の処理について説明する。図13は、本実施の形態にかかるテレビジョン表示装置900が番組コンテンツを送信する際の処理の手順を示すフローチャートである。
【0115】
まず、テレビジョン表示装置900では、持ち出し開始の操作を受け付ける(ステップS1301)なお、第1の実施形態と同様に、タブレット端末150等から、持ち出し要求を受信しても良い。
【0116】
次に、テレビジョン表示装置900は、ARアプリケーション1000を起動すると共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置900の正面領域を撮影する状態に移行する。
【0117】
次に、ARアプリケーション1000の映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS1302)。
【0118】
そして、動き検出部306が、撮像画像データに基づいて、人物の手の動きの検出を開始する(ステップS1303)。
【0119】
その後、表示制御部1001は、端末情報記憶部1011から端末画像データを読み出して、通信端末を示す端末画像データを、撮像画像データの下部に重畳して、表示を開始する(ステップS1304)。
【0120】
さらに、表示制御部1001は、サムネイル記憶部271aから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示する(ステップS1305)。
【0121】
そして、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する(ステップS1306)。含まれていない場合(ステップS1306:No)、再びステップS1306から処理を行う。
【0122】
一方、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたと判定した場合(ステップS1306:Yes)、動き検出部306は、検出された人の手が、下方向に移動しているか否かを判定する(ステップS1307)。下方向に移動していない場合、例えば左右方向に移動している場合(ステップS1307:No)、再びステップS1116から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。
【0123】
一方、動き検出部306が、下方向に移動したと判定した場合(ステップS1307:Yes)、選択部308は、ステップS1116で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける(ステップS1308)。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。
【0124】
その後、端末重畳判定部1002は、動き検出部306により検出された人の手の位置を表す座標値が、端末画像データの表示領域901、902に含まれたか否かを判定する(ステップS1309)。含まれなかったと判定された場合(ステップS1309:No)、再びステップS1309から処理を行う。
【0125】
一方、端末重畳判定部1002が、人の手の位置を表す座標値が、端末画像データの表示領域901、902に含まれたと判定した場合(ステップS1309:Yes)、送信部302が、選択部308により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、通信端末に送信する(ステップS1310)。なお、送信先となる通信端末は、端末画像データと対応付けられた機器名が指し示す通信端末とする。
【0126】
このように、第2の実施形態においては、通信端末が、カメラ110に撮像されていなくとも、第1の実施形態と同様の効果を得ることができる。
【0127】
上述した実施形態にかかるテレビジョン表示装置では、カメラ110で撮影した撮像映像データを表示することで、操作をしている自分の姿と、操作対象となる番組コンテンツと、が画面上に重畳されて表示される。これにより、ユーザは、どのような操作をしようとしているのか視認できるため、直感的に理解しやすい。
【0128】
さらには、ユーザは、テレビジョン表示装置に記憶された番組コンテンツの操作だけでなく、タブレット端末などの通信端末に対して番組コンテンツを受け渡すことができるため、テレビジョン表示装置及び通信端末の利用を容易にすることができる。
【0129】
上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0130】
また、上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0131】
また、上述した実施形態のARアプリケーションを、ROM等に予め組み込んで提供するように構成してもよい。
【0132】
上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からARアプリケーションを読み出して実行することにより上記各部がRAM205b上にロードされ、がRAM205b上に生成されるようになっている。
【0133】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0134】
100,900…テレビジョン表示装置、110…カメラ、150…タブレット端末、160…無線ルータ、180…ネットワーク、205d,1000…ARアプリケーション、270…録画用記録装置、271…記憶部、271a…サムネイル記憶部、301…受信部、302…送信部、303,1001…表示制御部、304…映像取得部、305…端末判定部、306…動き検出部、307…サムネイル重畳判定部、308…選択部、309,1002…端末重畳判定部、310…抽出部、1011…端末情報記憶部
【技術分野】
【0001】
本発明の実施形態は、表示制御装置、及び情報送信方法に関する。
【背景技術】
【0002】
テレビジョン表示装置の発達に伴い、テレビジョン表示装置が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録し、ユーザの要求に応じて、これら番組コンテンツを提供する技術が提案されている。
【0003】
特に近年、拡張現実感(AR)技術が注目される傾向にある。ARとは、実環境にバーチャル環境を重畳する技術である。
【0004】
このARを、様々な技術に適応することが提案されている。例えば、カメラなどを用いて人の位置や動きを検出する技術と、ARと、を組み合わせる技術が提案されている。これにより、バーチャル環境を重畳した実環境上で検出した人の位置や動きに基づいて、様々な情報を提供する技術が提案されている。例えば、検出された人の動きに応じて、表示装置に表示する情報を動的に変化させる技術などが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−157134号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術においては、人の位置や動きを検出可能な装置を操作することしか考慮されておらず、他の装置を操作することについて考慮されていなかった。
【0007】
本発明は、上記に鑑みてなされたものであって、装置を利用する際の操作を容易にする表示制御装置、及び情報送信方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態の表示制御装置は、撮像手段と、出力手段と、送信手段と、を備える。撮像手段は、被写体を撮像する。出力手段は、コンテンツを示す表示画像と、撮像手段により撮像された撮像画像と、を表示部に出力する。送信手段は、通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、撮像画像と、に基づいて、撮像画像に写っている第1の被写体が通信装置であると判定された場合に、撮像手段により撮像された撮像画像に写っている第2の被写体の動きに従って、表示画像により示されるコンテンツを、通信装置に送信する。
【図面の簡単な説明】
【0009】
【図1】図1は、第1の実施形態にかかるコンテンツ利用システムの例を示した図である。
【図2】図2は、第1の実施形態にかかるテレビジョン表示装置の主要な信号処理系を示すブロック図である。
【図3】図3は、第1の実施形態にかかる制御部でARアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。
【図4】図4は、第1の実施形態にかかる表示制御部により表示される画面例と、タブレット端末150と、の関係を示した図である。
【図5】図5は、第1の実施形態にかかる選択部で選択対象を受け付けた後に、表示制御部が表示する画面例を示した図である。
【図6】図6は、第1の実施形態にかかるテレビジョン表示装置における、人物の手の動きに従って遷移する状態を示した図である。
【図7】図7は、第1の実施形態にかかる送信部により番組コンテンツを、タブレット端末に送信している例を示した図である。
【図8】図8は、第1の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。
【図9】図9は、第1の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、特徴情報を送受信する際の処理の手順を示すフローチャートである。
【図10】図10は、第2の実施形態にかかるテレビジョン表示装置に表示された画面例を示す図である。
【図11】図11は、第2の実施の形態にかかる制御部でARアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。
【図12】図12は、第2の実施形態にかかる端末情報記憶部のテーブル構造を示した図である。
【図13】図13は、本実施の形態にかかるテレビジョン表示装置900が番組コンテンツを送信する際の処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に示す実施形態では、表示制御装置、及び情報送信方法をテレビジョン表示装置に適用した例について説明する。
【0011】
(第1の実施形態)
図1は、第1の実施形態にかかるコンテンツ利用システムの例を示した図である。図1に示すコンテンツ利用システムは、家庭内の無線、有線ネットワーク180を介して接続されたテレビジョン表示装置100と、無線ルータ160と、タブレット端末150と、で構成されている。無線ルータ160は、タブレット端末150との間で無線通信を行うことで、タブレット端末150を家庭内ネットワーク180に接続する。これにより、テレビジョン表示装置100と、タブレット端末150と、の間で通信を可能としている。
【0012】
例えば、テレビジョン表示装置100は、DNLAサーバとして機能し、タブレット端末150は、DNLAクライアントとして機能する。なお、本実施形態では、テレビジョン表示装置100から、タブレット端末150に対して番組コンテンツを提供する例について説明するが、テレビジョン表示装置及びタブレット端末に制限するものではない。例えば、テレビジョン表示装置の代わりにDNLAサーバとして機能するPC等を用いても良い。さらに、タブレット端末の代わりにDNLAクライアントとして機能する携帯通信端末や携帯可能なPC等を用いても良い。
【0013】
本実施の形態においては、テレビジョン表示装置100が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録する。そして、テレビジョン表示装置100は、タブレット端末150に対して、記録された番組コンテンツを提供する。
【0014】
また、テレビジョン表示装置100は、カメラ110を備えている。さらに、テレビジョン表示装置100内には、ARアプリケーションが格納されている。そして、ARアプリケーションは、カメラ110により撮像された撮像画像データに従って、人物170の動きを検出する。ARアプリケーションは、検出された動きに基づいて番組コンテンツを操作し、当該番組コンテンツを、家庭内ネットワーク180を介してタブレット端末150に送信する。
【0015】
次に、テレビジョン表示装置100のハードウェア構成について説明する。図2は、本実施形態にかかるテレビジョン表示装置100の主要な信号処理系を示すブロック図である。
【0016】
BS/CSデジタル放送受信用のアンテナ241で受信した衛星デジタルテレビジョン放送信号は、入力端子201を介して衛星デジタル放送用のチューナ202aに供給される。
【0017】
チューナ202aは、制御部205からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をPSK(Phase Shift Keying)復調器202bに出力する。
【0018】
PSK復調器202bは、制御部205からの制御信号により、チューナ202aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム(TS)を得て、TS復号器202cに出力する。
【0019】
TS復号器202cは、制御部205からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部206内のSTDバッファ(図示せず)へ出力する。
【0020】
また、TS復号器202cは、デジタル放送により送られているセクション情報を信号処理部206内のセクション処理部(図示せず)へ出力する。
【0021】
地上波放送受信用のアンテナ242で受信した地上デジタルテレビジョン放送信号は、入力端子203を介して地上デジタル放送用のチューナ204aに供給される。
【0022】
チューナ204aは、制御部205からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をOFDM(Orthogonal Frequency Division Multiplexing)復調器204bに出力する。
【0023】
OFDM復調器204bは、制御部205からの制御信号により、チューナ204aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、TS復号器204cに出力する。
【0024】
TS復号器204cは、制御部205からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部206内のSTDバッファへ出力する。
【0025】
また、TS復号器204cは、デジタル放送により送られているセクション情報を信号処理部206内のセクション処理部へ出力する。
【0026】
ここで、上記信号処理部206は、テレビ視聴時には、TS復号器202cおよびTS復号器204cからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。一方、番組録画時には、TS復号器202cおよびTS復号器204cからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、制御部205を介して録画用記録装置(例えば、HDD)270に記録している。また、信号処理部206は、録画番組再生時には、制御部205を介して録画用記録装置(例えば、HDD)270から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。
【0027】
制御部205には、信号処理部206から、番組を取得するための各種データ(B−CASデスクランブル用の鍵情報等)や電子番組ガイド(EPG)情報、番組属性情報(番組ジャンル等)、字幕情報等(サービス情報、SIやPSI)が入力されている。
【0028】
制御部205は、これら入力された情報からEPG、字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部207へ出力する。
【0029】
また、この制御部205は、番組録画および番組予約録画を制御する機能を有し、番組予約受付時には、表示部211に電子番組ガイド(EPG)情報を表示し、操作部220を介したユーザ入力による予約内容、又はカメラ110が撮像した撮像画像データから抽出された予約内容を、記憶部271に設定する。
【0030】
制御部205は記憶部271に設定された予約内容に従って、設定された時刻に予約番組を録画するようチューナ202a、204a、PSK復調器202b、OFDM復調器204b、TS復号器202c、204cおよび信号処理部206を制御する。
【0031】
記憶部271は、予約内容を記憶するほか、サムネイル記憶部271aを備える。そして、サムネイル記憶部271aは、録画用記録装置270に記憶された番組コンテンツ毎のサムネイル画像データを記憶する。
【0032】
セクション処理部は、TS復号器202c(204c)から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド(EPG)情報、番組属性情報(番組ジャンル等)、字幕情報等(サービス情報、SIやPSI)を制御部205へ出力する。
【0033】
グラフィック処理部207は、(1)信号処理部206内のAVデコーダ(図示せず)から供給されるデジタルの映像信号と、(2)OSD(On Screen Display)信号生成部209で生成されるOSD信号と、(3)データ放送による画像データと、(4)制御部205により生成されたEPG、字幕信号とを合成して映像処理部210へ出力する機能を有する。
【0034】
また、字幕放送による字幕を表示するとき、グラフィック処理部207は、制御部205からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。
【0035】
グラフィック処理部207から出力されたデジタルの映像信号は、映像処理部210に供給される。この映像処理部210は、入力されたデジタルの映像信号を、表示部211で表示可能なフォーマットのアナログ映像信号に変換した後、表示部211に出力して、表示部211の表示画面上に映像表示させる。
【0036】
また、音声処理部208は、入力されたデジタルの音声信号を、音声出力装置212で再生可能なアナログ音声信号に変換した後、音声出力装置212に出力して音声を再生させる。
【0037】
制御部205は、ROM(Read Only Memory)205aと、当該CPUに作業エリアを提供するRAM(Random Access Memory)205bと、各種の設定情報及び制御情報等が格納される不揮発性メモリ205cと、を備え、テレビジョン表示装置100全体を制御する。
【0038】
また、この制御部205は、カードI/F(Interface)223を介して、第1のメモリカード224が装着可能なカードホルダ225に接続されている。これによって、制御部205は、カードホルダ225に装着された第1のメモリカード224と、カードI/F223を介して情報伝送することができる。
【0039】
さらに、制御部205は、カードI/F226を介して、第2のメモリカード227が装着可能なカードホルダ228に接続されている。これにより、制御部205は、カードホルダ228に装着された第2のメモリカード227と、カードI/F226を介して情報伝送することができる。
【0040】
また、制御部205は、通信I/F229を介して第1のLAN端子230に接続されている。これにより、制御部205は、第1のLAN端子230に接続されたLAN対応の機器(例えば、外付けHDD)と、通信I/F229を介して情報伝送することができる。
【0041】
さらに、制御部205は、通信I/F231を介して第2のLAN端子232に接続されている。これにより、制御部205は、第2のLAN端子232に接続されたLAN対応の各種機器と、通信I/F231を介して情報伝送することができる。
【0042】
また、制御部205は、USB I/F233を介してUSB端子234に接続されている。これにより、制御部205は、USB端子234に接続された各種機器と、USB I/F233を介して情報伝送することができる。
【0043】
また、制御部205は、カメラ110に接続されている。これにより、制御部205は、カメラ110が撮像した撮像画像データを取得することができる。
【0044】
次に、ROM205aに格納された制御プログラムのうち、番組コンテンツを制御するためのARアプリケーション205dを実行した場合に行われる処理について説明する。図3は、制御部205で当該ARアプリケーション205dを実行した場合に実現されるソフトウェア構成を示した図である。
【0045】
図3に示すようにARアプリケーション205dは、受信部301と、送信部302と、表示制御部303と、映像取得部304と、端末判定部305と、動き検出部306と、サムネイル重畳判定部307と、選択部308と、端末重畳判定部309と、抽出部310と、を備える。
【0046】
受信部301は、通信I/F229又は通信I/F231からネットワークを介して接続された外部装置(例えばタブレット端末150)からデータを受信する。
【0047】
送信部302は、通信I/F229又は通信I/F231からネットワークを介して接続された外部装置(例えばタブレット端末150)に対してデータを送信する。
【0048】
表示制御部303は、映像処理装置210を介して、表示部211の表示制御を行う。
【0049】
本実施形態においては、タブレット端末150からネットワーク180に、持ち出し要求を示すパケットがブロードキャストされた場合に、受信部301は、当該持ち出し要求を受信する。これにより、制御部205は、ARアプリケーション205dを起動させる。その際に、受信部301は、ネットワーク180上でタブレット端末150を識別する識別情報(例えば、機器名、IPアドレス又はMACアドレス)を受信する。これにより、テレビジョン表示装置100は、タブレット端末150を認識できるため、テレビジョン表示装置100及びタブレット端末150の間の通信が確立する。
【0050】
その後、受信部301は、タブレット端末150から、当該タブレット端末150の外観の特徴を示した特徴情報を受信する。
【0051】
特徴情報は、タブレット端末150の外観の特徴を識別可能な情報であればよい。特徴情報は、タブレット端末150の外観を撮像した撮像画像データから、抽出された情報とし、例えば撮像画像データ内で、タブレット端末150の特徴的な画素の位置や向きを示す関心点等を示す情報が含まれていることが考えられる。また、特徴情報のフォーマットも特に制限を設けるものではなく、様々な形式が考えられる。
【0052】
映像取得部304は、被写体を撮像するカメラ110から、撮像画像データを取得する。撮像画像データは、被写体の動きを検出可能であればよく、動画像データ及び静止画像データのどちらであってもよい。
【0053】
端末判定部305は、映像取得部304が取得した撮像画像データと、受信部301により受信された特徴情報と、に基づいて、撮像画像データに写っている被写体が、タブレット端末150であるか否かを判定する。図4に示す画面例では、端末判定部305は、表示領域401を、被写体であるタブレット端末150が写っている表示領域として判定する。
【0054】
この特徴情報と、撮像画像データに写っている被写体と、の間でマッチングを行う手法は、従来から提案された手法に限らず、様々な手法を用いても良い。例えば、端末判定部305は、特徴情報と、撮像画像データと、の間で、(画像内の特徴的な画素の位置や向きを示す)関心点のマッチングを行うことで、撮像画像データに映っている被写体が、特徴情報が指し示すタブレット端末150であるか否かを判定しても良い。また、端末判定部305は、撮像画像データ内の関心点を検出した後、検出された関心点の位置に基づいて、被写体が映し出された角度、距離等を考慮してから、特徴情報とのマッチングを行ってもよい。これにより、検出精度を向上させることができる。
【0055】
表示制御部303は、映像取得部304が取得した撮像画像データを、表示部211に表示する。そして、表示制御部303は、撮像画像データが表示された表示領域上に、番組コンテンツを表すサムネイル画像データを重畳して表示する。端末判定部305に撮像画像データにタブレット端末150が写っていると判定された場合、表示制御部303により表示される撮像画像データには、番組コンテンツを表すサムネイル画像データと、タブレット端末150を表す表示領域と、が含めて表示される。
【0056】
図4は、表示制御部303により表示される画面例と、タブレット端末150と、の関係を示した図である。図4に示す例では、カメラ110により撮像された、タブレット端末(の表示領域)401と人物402とを含む撮像画像データが、テレビジョン表示装置100により表示される。このように、撮像画像データには、複数の被写体(タブレット端末(の表示領域)401と人物402)が含まれている。
【0057】
そして、表示制御部303は、録画用記録装置270に記録された番組コンテンツに対応するサムネイル画像データを、サムネイル記憶部271aから読み出す。そして、表示制御部303は、読み出したサムネイル画像データ411、412、413、414を、撮像画像データ上に重畳して、一覧表示する。
【0058】
動き検出部306は、映像取得部304が取得した撮像画像データに基づいて、撮像された被写体(人物)の動きを検出する。本実施形態にかかる動き検出部306は、複数の撮像画像データ間の差分に基づいて、被写体(人物)の動きを検出する。
【0059】
動き検出部306による動きの検出には、例えばオプティカルフローを用いることが考えられる。オプティカルフローは、前のフレームと次のフレームとの間で点(又はピクセル)の移動をトラッキングする技術であり、密なオプティカルフローと疎なオプティカルフローとが存在する。密なオプティカルフローは、精度が高いが計算コストが高いのに対し、疎なオプティカルフローは計算コストが少ない。このため、疎なオプティカルフローを利用したいが、手などをトラッキングの対象とした場合、形や向きが一定しないためトラッキングに適した点を指定することが難しい。そこで、画像中の注目する複数の点それぞれを囲む、ある小さなウィンドウに対して動きを求めるLucas-Kanade(LK)アルゴリズムを用いることで、オプティカルフローによる手の動きを認識できる。
【0060】
そして、本実施形態では、手の動きが検出された点の重心を、人物の手の位置を示す座標値とする。
【0061】
そして、送信部302は、動き検出部306により検出された人物の動きに基づいて、サムネイル画像データで表された番組コンテンツを、タブレット端末150に送信する。具体的には、以下の処理を行う。
【0062】
サムネイル重畳判定部307は、検出された動きから特定された人物の手の位置を表す、撮像画像データ上の座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する。
【0063】
選択部308は、サムネイル重畳判定部307により、人物の手の位置を表す座標値が、サムネイル画像データの表示領域に含まれたと判定された後、動き検出部306により予め定められた動きを検出した場合に、当該サムネイル画像データで表された番組コンテンツを、送信対象として選択を受け付ける。予め定められた動きの例としては、人物の手で(サムネイル画像データを)つまむ動きや、人物の手が下方向(タブレット端末150が存在する方向)に移動する動きなどがある。つまり、人物の手が横方向に移動している間は、番組コンテンツが選択されることはなく、任意のサムネイル画像データが、人物の手を示す表示領域と重畳した後、人物の手がつまむ動きをしたり、人の手がタブレット端末150に向けて移動した場合に、当該任意のサムネイル画像データで示された番組コンテンツが送信対象として選択される。
【0064】
図5は、第1の実施形態にかかる選択部308で選択対象を受け付けた後に、表示制御部303が表示する画面例を示した図である。図5の画面例に示されるように、表示制御部303は、選択部308により選択を受け付けた番組コンテンツのサムネイル画像データを、動き検出部306により検出された人物の手の動きに従って移動するよう、表示する。
【0065】
図5の例に示されるように、人物の手の動きに合わせて、サムネイル画像データが、表示領域501、502、503、504の順に移動表示される。
【0066】
図6は、本実施形態にかかるテレビジョン表示装置100における、人物の手の動きに従って遷移する状態を示した図である。図6に示すように、本実施形態では、初期状態601と、番組コンテンツをつかんでいる状態602と、番組コンテンツの選択待ち状態603と、番組コンテンツの送信開始状態604と、を含んでいる。
【0067】
そして、初期状態601から、人物の手が番組コンテンツの方向に移動した場合に、番組コンテンツをつかんでいる(選択部308により選択を受け付けた)状態602に遷移する。なお、手でつまむという動きの検出した場合に、番組コンテンツをつかんでいる状態602に遷移してもよい。
【0068】
そして、人物の手が左右方向への移動を検出した場合、番組コンテンツをつかんでいる状態602から、つかんでいる番組コンテンツを離し、番組コンテンツの選択待ち状態603に遷移する。なお、番組コンテンツをつかんでいる状態602又は番組コンテンツの選択待ち状態603から、一定時間が経過した場合、初期状態601に移行する。
【0069】
番組コンテンツの選択待ち状態603から、番組コンテンツに重畳された人物の手が下方向への移動を検出した場合、番組コンテンツをつかんでいる状態602に遷移する。
【0070】
そして、番組コンテンツをつかんでいる状態602において、人物の手が、タブレット端末150の表示領域401に含まれたことを検出した場合に、番組コンテンツの送信状態に遷移する。このタブレット端末150の表示領域401に含まれたか否かの判定は、端末重畳判定部309が行う。
【0071】
端末重畳判定部309は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部306により検出された人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたか否かを判定する。
【0072】
そして、送信部302は、人の手の位置を示す座標値が、タブレット端末150が写っている表示領域401に含まれたと判定された場合に、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを、表示領域401に写っているタブレット端末150に対して送信する。送信先は、受信した識別情報(例えば、機器名、IPアドレス又はMACアドレス)を用いる。
【0073】
図7は、第1の実施形態にかかる送信部302により番組コンテンツを、タブレット端末150に送信している例を示した図である。図7に示すように、タブレット端末150が写っている表示領域401に人の手を表す座標位置が含まれた場合に、送信部302が、選択部308で選択を受け付けた番組コンテンツを、タブレット端末150に送信する。その際に、タブレット端末150は、番組コンテンツの受信が開始されたことを示すメッセージ702を表示する。その際に、タブレット端末150は、番組コンテンツを表す画像データ701を表示する。
【0074】
ところで、タブレット端末150では、出荷される際に、持ち出しアプリケーションを予めインストールしておく。この場合、タブレット端末150は、テレビジョン表示装置100等が画像データに自装置が写っているか否かを認識するための特徴情報を、予め記憶装置(例えばHDDやSSD)に記憶しておくことができる。
【0075】
一方で、アプリケーション提供者は、持ち出しアプリケーションを、ネットワークを介して配信したり、パッケージとして販売してもよい。この場合、タブレット端末150等に持ち出しアプリケーションがインストールされた際、テレビジョン表示装置100等を利用して特徴情報を取得する必要がある。本実施形態にかかるテレビジョン表示装置100は、特徴情報をタブレット端末150に送信するために抽出部310を備える。
【0076】
そして、受信部301が、タブレット端末150から特徴情報の取得要求を受信した場合に、抽出部310は、映像取得部304が取得した撮像画像データから、カメラ110の前に配置された被写体(例えばタブレット端末150)の外観を示す特徴情報を抽出する。
【0077】
送信部302は、抽出部310により抽出された特徴情報を、特徴情報の取得要求を送信してきた通信装置(例えばタブレット端末150)に送信する。
【0078】
次に、本実施の形態にかかるテレビジョン表示装置100からタブレット端末150に番組コンテンツを送信する際の処理について説明する。図8は、本実施の形態にかかるテレビジョン表示装置100及びタブレット端末150における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。
【0079】
まず、タブレット端末150が、ユーザの操作に従って、持ち出しアプリケーションを起動する(ステップS1101)。次に、持ち出しアプリケーションが、持ち出し要求を示すパケットをブロードキャストする(ステップS1102)。
【0080】
そして、テレビジョン表示装置100の受信部301が、タブレット端末150からの持ち出し要求を受信する(ステップS1111)。
【0081】
テレビジョン表示装置100は、持ち出し要求に含まれていたIPアドレス又はMACアドレスにより、持ち出し要求の送信先(タブレット端末150)を特定できる。そして、テレビジョン表示装置100とタブレット端末150との間の通信が確立した後、タブレット端末150が、テレビジョン表示装置100に対して特徴情報を送信する。そして、タブレット端末150が、当該特徴情報を受信する。本実施形態では、持ち出し要求と、特徴情報と、をそれぞれ分けて送信したが、これらをまとめて送信しても良い。
【0082】
その後、テレビジョン表示装置100は、ARアプリケーション205dと共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置100の正面領域を撮影する状態に移行する。
【0083】
次に、ARアプリケーション205dの映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS1112)。
【0084】
そして、端末判定部305が、特徴情報と、撮像画像データと、に基づいて、撮像画像データにタブレット端末150が含まれているか否かを判定する(ステップS1113)。タブレット端末150が含まれていないと判定した場合(ステップS1113:No)、処理を終了する。
【0085】
一方、端末判定部305が、撮像画像データにタブレット端末150が含まれていると判定した場合(ステップS1113:Yes)、テレビジョン表示装置100は、タブレット端末150を番組コンテンツの送信先として認識する。そして、動き検出部306が、撮像画像データに基づいて、人物の手の動きの検出を開始する(ステップS1114)。
【0086】
そして、表示制御部303は、サムネイル記憶部271aから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示を開始する(ステップS1115)。
【0087】
そして、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する(ステップS1116)。含まれていない場合(ステップS1116:No)、再びステップS1116から処理を行う。
【0088】
その後、動き検出部306は、検出された人の手が、下方向に移動しているか否かを判定する(ステップS1117)。下方向に移動していない場合、例えば左右方向に移動している場合(ステップS1117:No)、再びステップS1116から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。
【0089】
一方、動き検出部306が、下方向に移動したと判定した場合(ステップS1117:Yes)、選択部308は、ステップS1116で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける(ステップS1118)。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。
【0090】
その後、端末重畳判定部309は、動き検出部306により検出された人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたか否かを判定する(ステップS1119)。含まれなかったと判定された場合(ステップS1119:No)、再びステップS1119から処理を行う。
【0091】
一方、端末重畳判定部309が、人の手の位置を表す座標値が、タブレット端末150が写っている表示領域401に含まれたと判定した場合(ステップS1119:Yes)、送信部302が、選択部308により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、タブレット端末150に送信する(ステップS1120)。
【0092】
これにより、タブレット端末150は、番組コンテンツを受信する(ステップS1103)。
【0093】
上述したようにタブレット端末150に持ち出しアプリケーションをインストールした場合に、タブレット端末150は、テレビジョン表示装置100から特徴情報を取得する必要がある。
【0094】
次に、本実施の形態にかかるタブレット端末150がテレビジョン表示装置100から特徴情報を取得する際の処理について説明する。図9は、本実施の形態にかかるテレビジョン表示装置100及びタブレット端末150における、特徴情報を送受信する際の処理の手順を示すフローチャートである。
【0095】
まず、タブレット端末150は、ユーザの操作に従って、持ち出しアプリケーションを起動する(ステップS801)。その後、持ち出しアプリケーションから、タブレット端末150の前に存在するテレビジョン表示装置100に対して特徴情報取得要求を送信する(ステップS802)。この特徴情報取得要求は、例えば、持ち出しアプリケーションの表示画面上に配置された、“特徴情報の取得要求”ボタンを、ユーザが押下した場合に行う等が考えられる。
【0096】
そして、テレビジョン表示装置100の受信部301が、タブレット端末150からの特徴情報取得要求を受信する(ステップS811)。そして、テレビジョン表示装置100は、持ち出し要求に含まれていたIPアドレス又はMACアドレスにより、特徴情報取得要求の送信先(タブレット端末150)を特定できる。そして、テレビジョン表示装置100とタブレット端末150との間の通信を確立する。
【0097】
その後、テレビジョン表示装置100は、ARアプリケーション205dと共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置100の正面領域を撮影する状態に移行する。
【0098】
次に、ARアプリケーション205dの映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS812)。
【0099】
そして、抽出部310は、撮像画像データから、タブレット端末150の輪郭を検出する(ステップS813)。その後、抽出部310は、タブレット端末150の特徴情報を抽出する(ステップS814)。
【0100】
その後、送信部302が、抽出した特徴情報を、タブレット端末150に送信する(ステップS815)。
【0101】
そして、タブレット端末150が特徴情報を受信する(ステップS803)。次に、タブレット端末150は、受信した特徴情報を、記憶装置に記憶する(ステップS804)。
【0102】
上述した処理手順により、タブレット端末150は特徴情報を取得できる。これによりタブレット端末150は、特徴情報を用いた番組コンテンツの持ち出し要求を行うことができる。
【0103】
本実施形態では、AR(拡張現実)上で、表示されたタブレット端末に、番組コンテンツをドラッグするだけで、実際にタブレット端末に番組コンテンツが送信されるため、ユーザに対して直感的な操作を提供できる。
【0104】
機器間で番組コンテンツを受け渡す際、従来はテレビジョン表示装置に表示された文字やアイコンを参照して、どの機器からどの機器に送信するのか操作を行っていた。これに対し、上述した実施形態では、実際に表示画面上に映し出された転送先の通信端末に、番組コンテンツを示すサムネイルをドラッグすることで、実際の転送が開始されるため、直感的な操作が可能となる。これにより、ユーザは、コンテンツの受け渡しが容易となる。
【0105】
さらに、従来技術では、通信端末に内蔵されたカメラにより撮像された画像データを、表示パネル上に表示させると、カメラ中に写った物体を認識し、その上に情報を付加提示していた。しかしながら、従来技術では、カメラ越しに映し出された物体(上述したタブレット端末150)にフィードバックを返すというものではなかった。これに対し、上述した実施形態では、カメラ110で撮影された通信端末にもフィードバックをかけることが可能となる。
【0106】
(第2の実施形態)
第1の実施形態では、カメラ110に撮像されたタブレット端末150に対して番組コンテンツを送信する例について説明した。しかしながら、カメラ110で撮像されている装置に番組コンテンツの送信先を制限するものではない。そこで、第2の実施形態では、予め登録された装置から、番組コンテンツの送信先を選択する技術について説明する。
【0107】
図10は、第2の実施形態にかかるテレビジョン表示装置900に表示された画面例を示す図である。図10に示すように、テレビジョン表示装置900においては、サムネイル画像データ411、412、413、414の他に、送信可能な通信機器の画像データ(以下、端末画像データと称す)901、902が重畳して表示されている。
【0108】
図11は、第2の実施の形態にかかる制御部205でARアプリケーション1000を実行した場合に実現されるソフトウェア構成を示した図である。本実施の形態にかかるARアプリケーション1000は、上述した第1の実施の形態にかかるARアプリケーション205dとは、端末判定部305、抽出部310が削除され、表示制御部303と処理が異なる表示制御部1001に変更され、端末重畳判定部309と処理が異なる端末重畳判定部1002に変更されている点で異なる。以下の説明では、上述した第1の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。また、本実施形態にかかる記憶部271は、さらに、端末情報記憶部1011を記憶している。
【0109】
図12は、第2の実施形態にかかる端末情報記憶部1011のテーブル構造を示した図である。図12に示すように端末情報記憶部1011は、端末画像データと、機器名と、を対応付けて記憶している。本実施形態にかかるネットワークにおいては、機器名から、IPアドレスを取得できる。端末画像データは、番組コンテンツを送信可能な通信機器を表す際に用いられる。
【0110】
表示制御部1001は、第1の実施形態と同様、映像処理装置210を介して、表示部211の表示制御を行う。本実施形態にかかる表示制御部1001は、端末情報記憶部1011に記憶された端末画像データを読み出して、当該端末画像データが配置された図10に示す画面例を表示する点で、第1の実施形態の表示制御部303と異なる。
【0111】
このように本実施形態にかかるテレビジョン表示装置900では、転送先の機器について端末情報記憶部1011に予め登録しておく例とする。
【0112】
端末重畳判定部1002は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部306により検出された人の手の位置を表す座標値が、端末画像データに含まれたか否かを判定する。
【0113】
そして、送信部302は、人の手の位置を示す座標値が、端末画像データに含まれたと判定された場合に、当該端末画像データと対応付けられた機器名の通信端末に対して、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを送信する。
【0114】
次に、本実施の形態にかかるテレビジョン表示装置900からタブレット端末150に番組コンテンツを送信する際の処理について説明する。図13は、本実施の形態にかかるテレビジョン表示装置900が番組コンテンツを送信する際の処理の手順を示すフローチャートである。
【0115】
まず、テレビジョン表示装置900では、持ち出し開始の操作を受け付ける(ステップS1301)なお、第1の実施形態と同様に、タブレット端末150等から、持ち出し要求を受信しても良い。
【0116】
次に、テレビジョン表示装置900は、ARアプリケーション1000を起動すると共に、カメラ110を起動する。そして、カメラ110が、テレビジョン表示装置900の正面領域を撮影する状態に移行する。
【0117】
次に、ARアプリケーション1000の映像取得部304が、カメラ110からの撮像画像データの取得を開始する(ステップS1302)。
【0118】
そして、動き検出部306が、撮像画像データに基づいて、人物の手の動きの検出を開始する(ステップS1303)。
【0119】
その後、表示制御部1001は、端末情報記憶部1011から端末画像データを読み出して、通信端末を示す端末画像データを、撮像画像データの下部に重畳して、表示を開始する(ステップS1304)。
【0120】
さらに、表示制御部1001は、サムネイル記憶部271aから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示する(ステップS1305)。
【0121】
そして、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する(ステップS1306)。含まれていない場合(ステップS1306:No)、再びステップS1306から処理を行う。
【0122】
一方、サムネイル重畳判定部307が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたと判定した場合(ステップS1306:Yes)、動き検出部306は、検出された人の手が、下方向に移動しているか否かを判定する(ステップS1307)。下方向に移動していない場合、例えば左右方向に移動している場合(ステップS1307:No)、再びステップS1116から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。
【0123】
一方、動き検出部306が、下方向に移動したと判定した場合(ステップS1307:Yes)、選択部308は、ステップS1116で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける(ステップS1308)。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。
【0124】
その後、端末重畳判定部1002は、動き検出部306により検出された人の手の位置を表す座標値が、端末画像データの表示領域901、902に含まれたか否かを判定する(ステップS1309)。含まれなかったと判定された場合(ステップS1309:No)、再びステップS1309から処理を行う。
【0125】
一方、端末重畳判定部1002が、人の手の位置を表す座標値が、端末画像データの表示領域901、902に含まれたと判定した場合(ステップS1309:Yes)、送信部302が、選択部308により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、通信端末に送信する(ステップS1310)。なお、送信先となる通信端末は、端末画像データと対応付けられた機器名が指し示す通信端末とする。
【0126】
このように、第2の実施形態においては、通信端末が、カメラ110に撮像されていなくとも、第1の実施形態と同様の効果を得ることができる。
【0127】
上述した実施形態にかかるテレビジョン表示装置では、カメラ110で撮影した撮像映像データを表示することで、操作をしている自分の姿と、操作対象となる番組コンテンツと、が画面上に重畳されて表示される。これにより、ユーザは、どのような操作をしようとしているのか視認できるため、直感的に理解しやすい。
【0128】
さらには、ユーザは、テレビジョン表示装置に記憶された番組コンテンツの操作だけでなく、タブレット端末などの通信端末に対して番組コンテンツを受け渡すことができるため、テレビジョン表示装置及び通信端末の利用を容易にすることができる。
【0129】
上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0130】
また、上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0131】
また、上述した実施形態のARアプリケーションを、ROM等に予め組み込んで提供するように構成してもよい。
【0132】
上述した実施形態のテレビジョン表示装置で実行されるARアプリケーションは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からARアプリケーションを読み出して実行することにより上記各部がRAM205b上にロードされ、がRAM205b上に生成されるようになっている。
【0133】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0134】
100,900…テレビジョン表示装置、110…カメラ、150…タブレット端末、160…無線ルータ、180…ネットワーク、205d,1000…ARアプリケーション、270…録画用記録装置、271…記憶部、271a…サムネイル記憶部、301…受信部、302…送信部、303,1001…表示制御部、304…映像取得部、305…端末判定部、306…動き検出部、307…サムネイル重畳判定部、308…選択部、309,1002…端末重畳判定部、310…抽出部、1011…端末情報記憶部
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、
コンテンツを示す表示画像と、前記撮像手段により撮像された撮像画像と、を表示部に出力する出力手段と、
通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、前記撮像画像と、に基づいて、前記撮像画像に写っている第1の被写体が前記通信装置であると判定された場合に、前記撮像手段により撮像された前記撮像画像に写っている第2の被写体の動きに従って、前記表示画像により示されるコンテンツを、前記通信装置に送信する送信手段と、
を備える表示制御装置。
【請求項2】
前記出力手段は、前記撮像手段により撮像された撮像画像に、前記表示画像を重畳して出力する、
請求項1に記載の表示制御装置。
【請求項3】
前記送信手段は、動きが検出された前記第2の被写体の座標値と、前記第1の被写体が写っている表示領域と、に基づいて、前記表示画像により示されるコンテンツを、前記通信装置に送信する、
請求項1又は2に記載の表示制御装置。
【請求項4】
前記送信手段は、動きが検出された前記第2の被写体の座標値が、前記第1の被写体が写っている表示領域に含まれた場合に、前記表示画像により示されるコンテンツを、前記通信装置に送信する、
請求項3に記載の表示制御装置。
【請求項5】
表示制御装置で実行される情報送信方法であって、
被写体を撮像する撮像ステップと、
コンテンツを示す表示画像と、前記撮像ステップにより撮像された撮像画像と、を表示部に出力する出力ステップと、
通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、前記撮像画像と、に基づいて、前記撮像画像に写っている第1の被写体が前記通信装置であると判定された場合に、前記撮像ステップにより撮像された前記撮像画像に写っている第2の被写体の動きに従って、前記表示画像により示されるコンテンツを、前記通信装置に送信する送信ステップと、
を有する情報送信方法。
【請求項1】
被写体を撮像する撮像手段と、
コンテンツを示す表示画像と、前記撮像手段により撮像された撮像画像と、を表示部に出力する出力手段と、
通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、前記撮像画像と、に基づいて、前記撮像画像に写っている第1の被写体が前記通信装置であると判定された場合に、前記撮像手段により撮像された前記撮像画像に写っている第2の被写体の動きに従って、前記表示画像により示されるコンテンツを、前記通信装置に送信する送信手段と、
を備える表示制御装置。
【請求項2】
前記出力手段は、前記撮像手段により撮像された撮像画像に、前記表示画像を重畳して出力する、
請求項1に記載の表示制御装置。
【請求項3】
前記送信手段は、動きが検出された前記第2の被写体の座標値と、前記第1の被写体が写っている表示領域と、に基づいて、前記表示画像により示されるコンテンツを、前記通信装置に送信する、
請求項1又は2に記載の表示制御装置。
【請求項4】
前記送信手段は、動きが検出された前記第2の被写体の座標値が、前記第1の被写体が写っている表示領域に含まれた場合に、前記表示画像により示されるコンテンツを、前記通信装置に送信する、
請求項3に記載の表示制御装置。
【請求項5】
表示制御装置で実行される情報送信方法であって、
被写体を撮像する撮像ステップと、
コンテンツを示す表示画像と、前記撮像ステップにより撮像された撮像画像と、を表示部に出力する出力ステップと、
通信装置から受信した、当該通信装置の外観の特徴を示した特徴情報と、前記撮像画像と、に基づいて、前記撮像画像に写っている第1の被写体が前記通信装置であると判定された場合に、前記撮像ステップにより撮像された前記撮像画像に写っている第2の被写体の動きに従って、前記表示画像により示されるコンテンツを、前記通信装置に送信する送信ステップと、
を有する情報送信方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−98998(P2013−98998A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2013−23634(P2013−23634)
【出願日】平成25年2月8日(2013.2.8)
【分割の表示】特願2011−237953(P2011−237953)の分割
【原出願日】平成23年10月28日(2011.10.28)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願日】平成25年2月8日(2013.2.8)
【分割の表示】特願2011−237953(P2011−237953)の分割
【原出願日】平成23年10月28日(2011.10.28)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]