コンテンツ再生装置及びコンテンツ再生プログラム
【課題】個別に適切な付加価値のある映像情報を付与したコンテンツを提供する。
【解決手段】画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、前記番組が表示された画面を含む画像を取得するための撮像手段と、前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することにより、上記課題を解決する。
【解決手段】画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、前記番組が表示された画面を含む画像を取得するための撮像手段と、前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ再生装置及びコンテンツ再生プログラムに係り、特に個別に適切な付加価値のある映像情報を付与したコンテンツを提供するためのコンテンツ再生装置及びコンテンツ再生プログラムに関する。
【背景技術】
【０００２】
従来では、テレビ局等で様々な番組が制作されている。制作された番組は、放送波等により各視聴者の家庭等に送信され、送信された家庭等のテレビ受像機に表示されることで、各視聴者に提供される。
【０００３】
また、従来では、コンピュータを用いて自動的に番組制作する仕組みが知られている（例えば、特許文献１参照）。特許文献１に示す手法では、テレビのニュース番組等の制作において、番組記述言語であるＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）を用い、演出データや情報データを入力することで自動的に番組制作を行っている。
【０００４】
ＴＶＭＬは、テレビ番組を制作するためのオブジェクトベースの記述言語であり、テレビ番組の映像や音声等を、素材データと台本（演出内容等）とに分けて記述することができ、制作側で台本を記述することで、テレビ受像機やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で動作するソフトウェア等がこれを読み取り、台本に記述された素材データを取得して、即座にテレビ番組として再生・視聴することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２４６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上述したような従来の番組制作では、例えば番組に登場するＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）キャラクタや演出データ等の設定を行った場合に、その設定に基づいて表示される番組が、テレビ受像機やＰＣ等の画面に表示される。例えば、特許文献１に示されているような手法では、演出データや情報データを、その設定を行う所定の視聴者（ユーザ）の嗜好情報（例えば、好きなジャンル等）に対応させて設定することで、その視聴者の好みに合った専用の番組を表示することができる。
【０００７】
しかしながら、例えば１つのテレビ受像機の画面に表示された番組を複数の視聴者（例えば、家族や兄弟）等で視聴する場合、上述した嗜好情報は所定の視聴者である１個人の情報であるため、設定した嗜好情報に対応する視聴者のみしか満足することができず、視聴する複数の視聴者の全てに個別の付加価値のある映像情報を与えることはできない。したがって、例えば、同時に視聴する視聴者の一人が難聴者である場合には、その視聴者だけ手話を表示するといった個別に適切な付加価値のある映像情報を与える方法は存在していなかった。
【０００８】
本発明は、上述した問題点に鑑みなされたものであり、個別に適切な付加価値のある映像情報を付与したコンテンツを提供するためのコンテンツ再生装置及びコンテンツ再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１０】
本発明は、画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、前記番組が表示された画面を含む画像を取得するための撮像手段と、前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することを特徴とする。
【００１１】
また、本発明は、コンピュータを、上述したコンテンツ再生装置が有する各手段として機能させるためのコンテンツ再生プログラムである。
【発明の効果】
【００１２】
本発明によれば、個別に適切な付加価値のある映像情報を付与したコンテンツを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態におけるコンテンツ再生システムの概略構成例を示す図である。
【図２】コンテンツ提供サーバにおける機能構成の一例を示す図である。
【図３】携帯端末における機能構成の一例を示す図である。
【図４】本実施形態におけるコンテンツ提供の具体例を説明するための図である。
【図５】本実施形態における携帯端末の移動検知時における画面表示例を示す図である。
【図６】視聴環境と仮想スタジオとの対応関係を説明するための図である。
【図７】仮想カメラの制御パラメータの具体的を説明するための図である。
【図８】携帯端末の動きに対応するＣＧキャラクタ制御の一例を示す図である。
【図９】コンテンツ再生処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜本発明について＞
本発明は、例えばテレビ番組（以下、「放送番組」、「番組」ともいう）等のコンテンツを表示している表示装置（例えば、テレビ受像機、ＰＣのディスプレイ、携帯端末の表示部等）の画面を撮影した画像（映像も含む）に、個別の付加価値のある映像情報等を付与して視聴者に提供する。具体的には、本発明では、例えば放送されているテレビ番組がテレビ受像機の画面に表示されている場合に、その表示されている画面を撮影し、その撮影したカメラの画角等に対応した画像の空間上に、ＣＧキャラクタや小道具等のオブジェクトを表示したり、表示したオブジェクトにテレビ番組の内容に合わせて所定の演出（例えば、手話等）を行わせる等の処理を行う。
【００１５】
更に、本発明は、上述したように表示装置の画面を撮影する場合に用いられる装置として、例えば容易に持ち運びが可能な携帯端末（例えば、タブレットＰＣや携帯電話、デジタルカメラ、ゲーム機器、ノート型ＰＣ等を含む）等を用いることとし、表示装置の画面を撮影する携帯端末を移動させると、表示装置と携帯端末との位置関係に応じて、上述したオブジェクトの向きや動作を変化させることができる。これにより、多方面からＣＧキャラクタ等を表示することができ、例えば手話の手が見える方向を変化させる等の高い付加価値のある映像情報等を付与することができる。
【００１６】
以下に、上述したような特徴を有する本発明におけるコンテンツ再生装置及びコンテンツ再生プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００１７】
なお、本実施形態では、コンテンツの一例として番組を用いる。また、本実施形態では、番組の再生等に用いられるスクリプトの一例として、ＴＶＭＬを用いることとするが、本発明においてはこれに限定されるものではない。
【００１８】
＜コンテンツ再生システムの概略構成例＞
図１は、本実施形態におけるコンテンツ再生システムの概略構成例を示す図である。図１に示すコンテンツ再生システム１０は、コンテンツ提供サーバ１１と、表示装置としてのテレビ受像機１２と、コンテンツ再生装置としての１又は複数の携帯端末１３（図１の例では、携帯端末１３−１、１３−２）とを有するよう構成されている。なお、コンテンツ提供サーバ１１と、携帯端末１３とは、例えばインターネット回線や、無線通信回線等の通信ネットワーク１４を介してデータの送受信が可能な状態で接続されている。
【００１９】
コンテンツ提供サーバ１１は、予め蓄積されている画像や映像、音声、テキストデータ等の各種データに基づいて、視聴者に提供するテレビ番組等の制作を行う制作側の装置である。なお、コンテンツ提供サーバ１１は、放送局であってもよい。
【００２０】
コンテンツ配信サーバ１１は、制作したテレビ番組を、例えば図１に示す放送波等を用いて視聴者側の表示装置１２（図１の例では、テレビ受像機）に出力する。なお、テレビ番組の送信手法は、放送波に限定されるものではなく、例えばテレビ受像機１２ではなくＰＣに送信される場合には、コンテンツ提供サーバ１１からストリーム信号等により配信されてもよい。
【００２１】
また、コンテンツ提供サーバ１１は、放送波により視聴者側に送信したテレビ番組に相当するＴＶＭＬスクリプトを、通信ネットワーク１４を介して携帯端末１３−１，１３−２に出力する。これにより、本実施形態では、携帯端末１３側で、テレビ受像機１２の画面に表示される番組に対応するＣＧデータ（例えば、ＣＧキャラクタや小道具等の各種オブジェクトや、画像、映像等を含む）等を個別に取得することができる。したがって、視聴者毎に適切な付加価値のある映像情報等を付与したコンテンツを提供することができる。
【００２２】
テレビ受像機１２は、コンテンツ提供サーバ１１から送信されたテレビ番組を表示する第１の表示手段である。なお、テレビ受像機１２は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイや液晶ディスプレイ等の一般的な表示装置を用いることができるが本発明においてはこれに限定されるものではない。
【００２３】
携帯端末１３−１，１３−１は、それぞれ個別の視聴者１５−１，１５−２が所持するものであり、カメラ等の撮像手段、及び撮像した画像（映像も含む）を表示することができる表示手段（第２の表示手段）を有する。携帯端末１３は、テレビ受像機１２（第１の表示手段）の画面に表示されている番組を撮像手段により撮影することで、第２の表示手段に表示させることができる。なお、携帯端末１３は、例えばカメラ付きの携帯電話端末や、タブレット型ＰＣ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の一般的な端末を用いることができるが、本発明においてはこれに限定されるものではない。
【００２４】
このとき、携帯端末１３は、本実施形態におけるソフトウェア（アプリケーション）等により、テレビ受像機１２の画面が撮影された映像に対して、ＣＧキャラクタ等のオブジェクト１６を空間的に重ねて表示させることで、その携帯端末１３毎の各視聴者に個別の付加価値のある映像情報を付与する。これにより、携帯端末１３−１，１３−２で表示される映像は、テレビ受像機１２に表示される番組の映像を撮影しているものであっても、それぞれ異なる映像を付加的に表示させることができる。なお、携帯端末１３で撮影された実写映像のテレビ受像機１２の画面は、必ずしも実際に表示されている映像である必要はなく、例えば携帯端末１３に付属する受信機において受信したテレビ番組を重ねて表示したり、携帯端末１３で個別に生成する映像を重ねて表示することもできる。
【００２５】
つまり、本実施形態では、図１に示すようにテレビ受像機１２と携帯端末１３間の空間を３次元の仮想スタジオとして利用し、その空間にオブジェクト１６が存在しているように携帯端末１３の画面に表示させるものである。したがって、携帯端末１３の画面から表示される内容は、仮想カメラ（ＣＧカメラ）で撮影された内容となる。
【００２６】
なお、付加価値のある映像情報の必要のない視聴者がいる場合には、携帯端末１３を介して番組を見る必要はなく、テレビ受像機１２の画面に表示される番組をそのまま視聴すればよいことになる。
【００２７】
また、視聴端末１３には、コンテンツ提供サーバ１１から通信ネットワーク１４を介してテレビ受像機１２で再生される番組に対応するＴＶＭＬスクリプトが送信される。したがって、視聴端末１３は、コンテンツ提供サーバ１１から得られたＴＶＭＬスクリプトの内容に基づいてオブジェクト１６の生成を行い、番組表示に対応させたオブジェクトの表示や演出等を行うことができる。
【００２８】
ここで、図１に示すコンテンツ再生システム１０を構成するコンテンツ提供サーバ１１、テレビ受像機１２、及び携帯端末１３の台数については、図１に示す台数に限定されるものではなく、それぞれの装置を１又は複数にすることができる。つまり、本実施形態では、コンテンツ提供サーバ１１、テレビ受像機１２、及び携帯端末１３の台数の関係をＬ：Ｍ：Ｎ（Ｌ、Ｍ、Ｎは１以上）とすることができる。次に、本実施形態の主な構成である上述したコンテンツ提供サーバ１１及び携帯端末１３の機能構成例について具体的に説明する。
【００２９】
＜コンテンツ提供サーバ１１：機能構成例＞
図２は、コンテンツ提供サーバにおける機能構成の一例を示す図である。図２に示すコンテンツ提供サーバ１１は、入力手段２１と、出力手段２２と、蓄積手段２３と、台本生成手段２４と、番組スクリプト生成手段２５と、番組制作手段２６と、配信制御手段２７と、再生手段２８と、送受信手段２９と、制御手段３０とを有するよう構成されている。
【００３０】
入力手段２１は、管理者や番組制作者（ユーザ）等からの台本（演出）の生成指示や、番組スクリプト生成指示、番組制作指示、配信制御指示、再生指示、送受信指示等の各種の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００３１】
出力手段２２は、入力手段２１により入力された指示内容や、各指示内容に基づいて生成されたデータや制作された番組等の内容を表示したり、音声を出力する。なお、出力手段２２は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、本実施形態における入力手段２１及び出力手段２２は、例えばタッチパネル等のように、入力及び出力の両方の機能を有する形態であってもよい。
【００３２】
蓄積手段２３は、例えば番組台本（以下、単に「台本データ」ともいう）、素材データ、番組制作エンジン、スクリプト、番組等が蓄積されており、必要に応じて読み出しや書き込みが行われる。
【００３３】
具体的には、生成される番組に対する全ての演出内容が記述された番組台本、番組台本に記述されている番組を生成するための画像や映像、音声、テキストデータ等の各種データからなる複数の素材データ（キャラクタ、セット、音声、動作、静止画、動画等）、番組の演出内容や番組を構成する上で必要な番組制作エンジン、制作した番組対応するＴＶＭＬスクリプト、ＴＶＭＬスクリプトにより生成された番組等が蓄積されている。
【００３４】
なお、番組制作エンジンとは、例えば番組に登場するＣＧキャラクタや、番組における１つの動作の単位で「タイトル表示」、「ズームイン」、「ＣＧキャラクタの動作」等のイベントが予め定義されたものである。本実施形態では、番組制作エンジンを用いることで、例えば番組の内容を表す台本データからのテキストデータ等を入力すると、それを元に番組の自動生成に必要なＴＶＭＬスクリプトを出力することができる。
【００３５】
また、蓄積手段２３は、その他の各種設定情報等を蓄積する。なお、蓄積手段２３は、上述した各種データを通信ネットワーク１４等に接続された外部装置等から取得することもできる。
【００３６】
台本生成手段２４は、テレビ受像機１２に送信され、視聴者に提供される番組を制作するための演出情報等を含めた台本データを生成する。また、台本生成手段２４は、携帯端末１３に送信され、視聴者に提供される番組にオブジェクトが付加されたコンテンツ（番組）を提供するための台本データを生成する。
【００３７】
したがって、台本生成手段２４は、テレビ受像機１２に送信する番組が既に制作されている場合には、その番組に対応させた台本データのみが生成される。したがって、例えば実写等の番組が既に制作されている場合、台本生成手段２４は、その番組を１つの映像データとみなし、その映像データに対してＣＧキャラクタのオブジェクト等を携帯端末１３の画面に表示させるための台本データを生成する。なお、台本生成手段２４は、生成した台本データを蓄積手段２３に蓄積する。
【００３８】
番組スクリプト生成手段２５は、台本生成手段２４等により生成された台本データや、蓄積手段２３に蓄積された素材データ、番組制作エンジン等を用いてテレビ受像機１２に送信する番組に対応する番組スクリプト（例えば、ＴＶＭＬスクリプト）を生成する。このスクリプトには、番組に対する演出情報等が含まれ、更に付加的に携帯端末１３の画面に表示されるＣＧキャラクタや机や椅子等の各種オブジェクト、各オブジェクトに対する動作等の設定情報も含まれる。また、番組スクリプト生成手段２５は、生成されたスクリプトを蓄積手段２３に蓄積する。
【００３９】
番組制作手段２６は、番組スクリプト生成手段２５により生成された番組スクリプトに対応させて、実際にテレビ受像機１２に表示させる番組を制作する。なお、本実施形態では、一例として番組制作手段２６で生成される番組をＴＶＭＬに基づく仮想空間上の番組としているが、本発明においてはこれに限定されるものではなく、実写等の番組を制作してもよい。この場合には、例えば実空間のスタジオで１又は複数のカメラにより撮影された映像に対し、番組制作者等が入力手段２１等を用いて指示した編集内容（例えばワイプ等の画面の切り替えやテロップの挿入）等に基づいて、所定の番組を制作する。番組制作手段２６は、制作された番組を蓄積手段２３に蓄積する。
【００４０】
配信制御手段２７は、視聴者側に対して番組や番組スクリプト等を送信する。具体的には、配信制御手段２７は、制作された番組をテレビ受像機１２に放送波等により送信する。また、配信制御手段２７は、送信された番組に対応する番組スクリプトを視聴者の携帯端末１３に配信する。なお、配信制御手段２７は、例えば携帯端末１３から、現在視聴している番組に対する番組スクリプトの問い合わせがあった場合等に、その対応する番組スクリプトを配信するように制御してもよい。
【００４１】
再生手段２８は、番組スクリプト生成手段２５により生成された番組スクリプト（ＴＶＭＬスクリプト）を再生し、その映像又は音声等を、出力手段２２を用いてビューアーとして表示させる。本実施形態では、上述した再生手段２８の機能を「ＴＶＭＬプレイヤ」という。また、再生手段２８は、再生された番組を蓄積手段２３に蓄積する。
【００４２】
送受信手段２９は、通信ネットワーク１４を介して制御データ、番組、番組スクリプト（ＴＶＭＬスクリプト）、番組制作エンジン、素材データ、台本データ等の各種データを、コンテンツ再生システム１０を構成するテレビ受像機１２や携帯端末１３に送信したり、テレビ受像機１２や携帯端末１３、その他の端末等から各種データを受信するための通信インタフェースである。
【００４３】
具体的には、送受信手段２９は、例えば番組をテレビ受像機１２に送信すると共に、ＴＶＭＬスクリプトを携帯端末１３に送信する。また、送受信手段２９は、携帯端末１３からのＴＶＭＬスクリプト取得要求（問い合わせ）等を受信することができ、その要求に対応するＴＶＭＬスクリプトやそれに伴う素材データ、番組制作エンジン等を要求のあった携帯端末１３に送信することができる。
【００４４】
制御手段３０は、コンテンツ提供サーバ１１における各機能構成全体の制御を行う。具体的には、制御手段３０は、入力手段２１により入力された管理者や番組制作者等からの入力情報に基づいて、台本データを生成したり、番組や番組スクリプトを生成したり、番組を制作したり、配信を制御したり、番組を再生する等の各種制御を行う。
【００４５】
＜携帯端末１３：機能構成例＞
次に、上述したコンテンツ再生システム１０における携帯端末１３の機能構成例について図を用いて説明する。図３は、携帯端末における機能構成の一例を示す図である。図３に示す携帯端末１３は、入力手段３１と、第２の表示手段としての出力手段３２と、蓄積手段３３と、撮像手段３４と、再生内容設定手段３５と、再生手段３６と、移動検知手段３７と、送受信手段３８と、制御手段３９とを有するよう構成されている。
【００４６】
入力手段３１は、視聴者（ユーザ）等からの撮影指示や、再生内容設定指示、再生指示、移動検知指示等の各種の入力を受け付ける。なお、入力手段３１は、例えば操作ボタン、マイク等の音声入力デバイス等からなる。
【００４７】
出力手段３２は、入力手段３１により入力された指示内容や、各指示内容に基づいて生成された制御データや番組等の内容を表示したり、音声を出力する。なお、出力手段３２は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、本実施形態における入力手段３１及び出力手段３２は、例えばタッチパネル等のように、入力及び出力の両方の機能を有する形態であってもよい。
【００４８】
蓄積手段３３は、例えば番組スクリプト（ＴＶＭＬスクリプト）、番組制作エンジン、素材データ等が蓄積されており、必要に応じて読み出しや書き込みが行われる。蓄積手段３３は、例えば撮像手段３４により撮影された画像（映像を含む）や再生内容設定手段３５により設定された設定情報、再生手段３６により再生された内容、移動検知手段３７により得られる検知結果等を蓄積する。
【００４９】
なお、蓄積手段３３により蓄積されたデータは、必要に応じて読み出しや書き込みを行うことができる。また、蓄積手段３３は、その他の各種設定情報等を蓄積する。更に、蓄積手段３３は、上述した各種データを通信ネットワーク等に接続された外部装置等から取得することもできる。
【００５０】
撮像手段３４は、カメラ等により所定の画角からなる画像を撮影する。なお、本実施形態では、撮像手段３４によりテレビ受像機１２の画面を含む画像が撮影される。
【００５１】
なお、テレビ受像機１２は、映像として撮影する場合に映像中の全フレームで撮影されていてもよく、また、一部のフレームで撮影されていてもよい。したがって、本実施形態では、撮像手段３４により撮影される映像の１フレーム以上にテレビ受像機１２の全画面が含まれているのが好ましい。また、本実施形態では、映像の一部にテレビ受像機１２の画面が含まれていればよく、サイズは特に制限されるものではないが、画面全体に対して肉眼で視認できる程度の所定の割合以上の画面であることが好ましい。もし肉眼で視認できれば、番組に対する付加価値のある映像情報を与えていることが視聴者に容易に把握させることができるからである。
【００５２】
再生内容設定手段３５は、例えば番組再生時に付加価値のある映像情報として表示させるオブジェクトの種類（例えば、ＣＧキャラクタや椅子、小道具、表、グラフ、商品等）や表示（合成）する位置（領域）、大きさ、色、表示内容、演出内容、携帯端末１３から表示される画像の画角等の設定（例えば、仮想カメラの制御パラメータ（カメラパラメータ））等の各種再生内容を設定する。また、再生内容設定手段３５は、再生内容として、移動検知手段３７により検知した携帯端末１３自体の移動内容に基づき、オブジェクトの動作内容等を設定する。
【００５３】
ここで、再生内容の設定は、例えば視聴者が入力手段３１等を用いて各条件に対する設定を入力することで行ってもよい。また、再生内容設定手段３５は、例えば撮像手段３４により得られる画像に対して画像解析を行い、その画像中に含まれるテレビ受像機１２の画面枠の位置や大きさ、傾き等のうち、少なくとも１つを取得し、その取得結果に基づいて、上述したオブジェクトの再生内容等を設定してもよい。更に、再生内容設定手段３５は、テレビ受像機１２の画面に表示されている番組を画像解析し、その結果から得られる情報に基づいて、個別の再生制御を行うための条件を設定することができる。
【００５４】
これにより、本実施形態では、例えば番組の表示されている画像を解析し、番組の最初又は最後、或いは予め設定された特有の表示やテロップ、スーパーインポーズ等が表示された場合に、その表示に対応するオブジェクトの表示や非表示、オブジェクトの動作内容等を制御することができる。更に、本実施形態では、例えばテロップの内容に合わせて、ＣＧキャラクタに手話を行わせることもできる。
【００５５】
なお、上述した画像解析手法としては、画像に含まれる画素毎の輝度情報等に基づいて所定形状の物体の位置や大きさ、表示される文字等を抽出することができる。なお、画像解析により物体の位置や大きさ等を読み取る場合には、例えば視聴者が入力手段３１等を用いて画像解析を行う領域を入力したり、テレビ受像機１２の画面サイズ等を入力することで、より迅速且つ高精度な画像解析を実現することができる。
【００５６】
更に、本実施形態では、携帯端末１３をテレビ受像機１２に対して相対的に移動させることで、表示するオブジェクトの再生内容を変更することもできる。この場合、再生内容設定手段３５は、撮影された映像中に含まれる複数のフレーム同士でテレビ受像機１２の位置情報の差分と取り、その差分情報から得られる移動状況に応じて上述した再生内容を設定することもできる。なお、このような携帯端末１３の移動に対してオブジェクトの再生内容を設定する場合、再生内容設定手段３５は、移動検知手段３７から得られる検知結果を利用して再生内容を設定することもできる。また、再生内容設定手段３５は、上述した差分情報及び検知結果に基づいて再生内容を設定することもできる。
【００５７】
なお、上述した再生内容の設定情報は、上述したコンテンツ提供サーバ１１から通信ネットワーク１４を介してＴＶＭＬスクリプトと共に送信されることで取得してもよい。更に、再生内容の設定情報は、放送波やストリーム信号等により番組と共に送信されてもよい。その場合、テレビ受像機１２に番組と共に再生内容の設定情報が表示され、それを撮像手段３４で撮影して画像解析することで、その設定情報を取得してもよい。
【００５８】
再生手段３６は、コンテンツ提供サーバ１１で生成したＴＶＭＬスクリプトを再生し、映像又は音声等により出力手段３２によりビューアーとして表示させる。なお、本実施形態では、上述した再生手段３６の機能を「ＴＶＭＬプレイヤ」という。具体的には、再生手段３６は、例えば再生内容設定手段３５で設定された再生内容に基づいて、撮像手段３４で撮像された映像にオブジェクトを合成した映像を編集し、編集された映像のコンテンツを再生する。これにより、再生手段３６により再生されたコンテンツは、例えば出力手段３２のディスプレイ等により表示させることができる。
【００５９】
移動検知手段３７は、携帯端末１３自体の移動（動き）を検知する。また、移動検知手段３７は、移動時の位置情報等を取得する。なお、移動検知手段３７は、例えば一般的な加速度センサやジャイロセンサ等を用いることができるが、本発明においてはこれに限定されるものではない。本実施形態では、移動検知手段３７から得られる移動検知内容（位置情報等）に基づいて再生内容設定手段３５により再生内容を設定することができ、対応するＣＧキャラクタ等のオブジェクトの動作が設定され、それに伴い各携帯端末１３に対して個別のコンテンツ表示が行われる。
【００６０】
送受信手段３８は、通信ネットワークを介して制御データ、撮影された画像（映像も含む）、設定された再生内容、再生された番組、移動検知結果等の各種データを、コンテンツ再生システム１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースである。
【００６１】
制御手段３９は、携帯端末１３における各機能構成全体の制御を行う。具体的には、制御手段３９は、入力手段３１により入力された視聴者からの入力情報に基づいてテレビ受像機１２を撮影したり、再生内容を設定したり、再生内容に基づいて番組を表示したり、移動検知を行う等の各種制御を行う。
【００６２】
＜コンテンツ提供の具体例＞
次に、本実施形態におけるコンテンツ提供の具体例について図を用いて説明する。図４は、本実施形態におけるコンテンツ提供の具体例を説明するための図である。なお、図４の例では、放送局側（コンテンツ提供サーバ１１）と、視聴者側（携帯端末１３）との具体的なデータの流れを簡略化して示したものである。
【００６３】
本実施形態では、図４に示すように、コンテンツ提供サーバ１１の蓄積手段２３から得られる上述した素材データ、番組制作エンジン及び台本データ等に基づいて再生手段２８としてのＴＶＭＬ再生機能（ＴＶＭＬプレイヤ）により再生された放送番組が放送波により視聴者側のテレビ受像機１２に出力される。
【００６４】
また、コンテンツ提供サーバ１１は、上記番組に対応する蓄積手段２３の素材データ及び台本データを携帯端末１３に送信する。なお、図４の例において、番組制作エンジンは、既に携帯端末１３が有しているデータであるものとし、送信を行っていない。
【００６５】
なお、上述したデータの送信は、例えば放送番組の送信と同時でもよく、異なる時間であってもよい。なお、時間が異なる場合には、テレビ受像機１２における番組の表示の前に携帯端末１３が素材データ及び台本データを取得しているのが好ましい。これにより、テレビ受像機１２による番組表示のタイミングに合わせて視聴者（携帯端末）毎に個別の付加価値のある映像情報を与えたコンテンツを提供することができる。
【００６６】
また、本実施形態では、視聴者側からの要求に応じて、放送局側が素材データ及び台本データを生成し、生成したデータを送信するようにしてもよい。これにより、要求のない視聴者（携帯端末１３）に対しては余計なデータを送信する必要がないため、効率的なデータ伝送を行うことができる。
【００６７】
また、本実施形態では、予めテレビ受像機１２毎に識別情報を設定しておき、放送局側で、例えばテレビ受像機１２の電源がＯＮ／ＯＦＦのどちらになっているか等の情報や、そのテレビ受像機１２が何の番組を見ているかの情報を上述した識別情報と共に取得し、取得した識別情報に対応して設定されている視聴者の携帯端末１３に対して、その視聴している番組に対応する素材データ及び台本データを送信することもできる。これにより、テレビ受像機１２に対応させて所定の視聴者の携帯端末１３のみを対象として付加データを送信することで、より効率的なデータ伝送を実現することができる。
【００６８】
また、図４において、視聴者側（携帯端末１３）では、再生内容設定手段３５により設定される再生内容に対応するＴＶＭＬフィルタやコマンドの挿入／削除等の処理により設定された情報を再生手段３６としてのＴＶＭＬ再生機能（ＴＶＭＬプレイヤ）に出力する。なお、ＴＶＭＬフィルタとは、ＴＶＭＬスクリプトの内容にオブジェクトに対する再生内容の記述や仮想カメラ（携帯端末１３で表示される映像）の制御パラメータ等の記述において、視聴者が設定した内容との重複部分がある場合に、それらの記述をフィルタリング（削除）するものである。
【００６９】
なお、削除した記述内容は、蓄積手段３３等に一次的に蓄積しておき、視聴者が設定した再生内容を解除した場合には、その蓄積した再生内容により再生を行うこともできる。また、削除した部分には、視聴者がコマンドの挿入等を行うことができる。
【００７０】
更に、本実施形態では、図４に示すように、再生内容設定手段３５としての再生制御ソフトウェアにより、テレビ受像機から得られる画像を解析して再生内容を設定することもできる。また、再生制御ソフトウェアは、放送中のテレビ番組のＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）やイベントメッセージで伝送される時刻情報等を、例えばテレビ受信機１２やインターネット等により放送局側から受信し、受信した情報を用いて、再生手段３６としてのＴＶＭＬ再生機能に対してＴＶＭＬスクリプトの再生タイミングの制御を行うこともできる。
【００７１】
また、携帯端末１３は、撮像手段３４としてのカメラ撮影機能によりテレビ受像機１２からの映像を取得し、再生手段３６により本実施形態における上述した再生を行い、映像、音声等を出力する。
【００７２】
再生手段３６としてのＴＶＭＬ再生機能は、例えばカメラ撮影機能による実写映像を素材の一つとし、例えば仮想スタジオ内に再生内容に基づくオブジェクト（例えば、ＣＧキャラクタ）の背景映像として表示する。
【００７３】
これにより、テレビ受像機１２に表示されている番組（例えば、実写映像）に対して、付加情報として番組に対応する手話情報を表現するＴＶＭＬスクリプトをインターネットにより配信した場合、例えば携帯端末１３上で手話映像のオブジェクト（例えば、ＣＧキャラクタ）を生成し、テレビ受信機１２の映像を背景として合成して携帯端末１３の画面上に表示することができる。つまり、テレビ受像機１２と携帯端末１３との間にある実空間を仮想スタジオとして利用することができる。なお、オブジェクトの表示の有無は、各携帯端末１３により個別に設定することができるため、個別のコンテンツ表示を実現することができる。
【００７４】
更に、本実施形態では、移動検知手段３７として加速度センサやジャイロセンサ等を用いることにより、例えば上述したテレビ受信機１２の画面枠が認識できない場合等であっても、テレビ受像機１２に映像が表示されていない場合（例えば、電源ＯＦＦの場合）や、画角内にテレビ受像機１２の枠全部が入っていない場合等の状況下においても携帯端末１３の画面に表示されるオブジェクトの再生内容の制御等を行うことができる。
【００７５】
＜携帯端末１３の移動検知時における画面表示例＞
次に、本実施形態における携帯端末１３の移動検知時における画面表示例について図を用いて説明する。図５は、本実施形態における携帯端末の移動検知時における画面表示例を示す図である。また、図６は、視聴環境と仮想スタジオとの対応関係を説明するための図である。
【００７６】
ここで、図５（ａ），（ｂ）は、携帯端末１３によりテレビ受像機１２の撮影する位置を移動した場合の図を示し、図６（ａ）は、実際の視聴環境の見取り図を示し、図６（ｃ）は、仮想スタジオでの見取り図を示している。
【００７７】
例えば、図５（ａ）の状態では、携帯端末１３が有する撮像手段３４に設けられるカメラレンズにより撮影される撮影範囲（画角）にテレビ受像機１２が含まれているとする。このとき、本実施形態では、テレビ受像機１２と携帯端末１３との間の撮影空間を仮想スタジオとして設定し、例えばオブジェクトとしてのＣＧキャラクタが図５、図６に示すように所定の立ち位置（領域）に表示される。なお、この所定の立ち位置（領域）は、再生内容の設定情報として予め蓄積されている。
【００７８】
ここで、携帯端末１３を図５（ａ）の状態から図５（ｂ）の状態に移動した場合、携帯端末１３のカメラ撮影機能（撮像手段３４）によってテレビ受信機１２を撮影することで、上述したようにテレビ受信機１２の手前にＣＧキャラクタを合成することが可能となる。
【００７９】
また、本実施形態において、視聴者は、図６（ａ）に示すように、撮影中の携帯端末１３を移動又は回転させることで、図６（ｂ）に示すように、ＴＶＭＬプレイヤの仮想カメラ（ＣＧカメラ）をリアルタイムに移動又は回転させることができる。なお、本実施形態では、図６（ｂ）に示すように、テレビ受像機１２の位置にカメラ映像表示プレートを設定し、視聴環境における携帯端末１３の動きに応じて仮想カメラを制御することができる。
【００８０】
ここで、仮想カメラの制御パラメータの具体例について図を用いて説明する。図７は、仮想カメラの制御パラメータの具体的を説明するための図である。なお、図７（ａ）〜（ｃ）は、それぞれパン（ｐａｎ）、ティルト（ｔｉｌｔ）、ロール（ｒｏｌｌ）について説明する図を示している。また、図７に示すＸ、Ｙ、Ｚは、仮想カメラとして携帯端末１３が撮影する空間上の座標を示している。
【００８１】
本実施形態において、携帯端末１３の移動に伴いオブジェクトの再生内容を設定する場合には、例えば携帯端末１３で撮影する仮想カメラの制御パラメータを変更する。具体的には、図７（ａ）〜（ｃ）に示すように、撮影中の携帯端末１３を所定の時間内で移動させることで得られる移動量（△ｘ，△ｙ，△ｚ）及び回転量（△ｐａｎ，△ｔｉｌｔ，△ｒｏｌｌ）等を制御パラメータの変更量として取得することで、再生内容を変更することができる。これにより、本実施形態では、例えば図５（ａ），（ｂ）に示すようにＣＧキャラクタの表示される角度（向き）等を自由に変えることが可能となる。
【００８２】
また、本実施形態では、例えば携帯端末１３の動きに応じてＣＧキャラクタの向きを携帯端末１３の方に向き直して正対するように制御したり、「移動しないでください」や「上下に揺らさないでください」等の携帯端末１３の動きに応じたメッセージを、ＣＧキャラクタからの発言等によって音声出力をさせるように制御することができる。
【００８３】
図８は、携帯端末の動きに対応するＣＧキャラクタ制御の一例を示す図である。図８の例では、ＣＧキャラクタの向きをカメラ方向に正対させる例を示している。例えば、所定時間内に撮影中の携帯端末１３が図８のように移動した場合には、仮想カメラの位置座標とＣＧキャラクタ自身の座標位置とを用いて、正対するための回転角度を算出する。これにより、本実施形態では、常にＣＧキャラクタが仮想カメラ（携帯端末１３）に対して正面を向くように回転を行うことができる。更に、本実施形態では、上述した手法を利用して、ＣＧキャラクタが仮想カメラの移動に合わせて追いかけてくるように制御することもできる。
【００８４】
なお、上述した処理は携帯端末毎を行うことができる。そのため、本実施形態では、複数の携帯端末１３が異なる位置から撮影をした場合であっても、それぞれの携帯端末１３で表示されるＣＧキャラクタは、常に自分のカメラ方向を向くように制御することができ、個別に適切な付加価値のある映像情報を付与したコンテンツを提供することができる。
【００８５】
更に、本実施形態では、仮想カメラ（携帯端末１３）で撮影した画像に表示されるオブジェクトの例としては、例えば番組に関連する商品やその値段、販売店等を表示したり、番組の理解を促すための解説用の小道具や手話による情報提示を行うためのＣＧキャラクタを表示することができる。
【００８６】
また、本実施形態では、オブジェクトとして番組に関連する城、迷路等のオブジェクトを表示し、仮想カメラの動きや位置に応じて城や迷路の中を移動したり、罠を仕掛けたり、別のＣＧキャラクタを表示させるといった、いわゆるゲームとしての機能を実現することもできる。また、本実施形態では、携帯端末１３の表示画面にスイッチャーや音声フェーダ等を表示し、表示された内容に対して視聴者が指示入力することで、携帯端末１３が表示するコンテンツ自体を制御し、例えば番組の制作等を行うこともできる。
【００８７】
＜実行プログラム＞
ここで、上述した携帯端末１３等のコンテンツ再生装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、タッチパネル、操作ボタン、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータ（ハードウェア）によって構成することができる。
【００８８】
したがって、コンテンツ再生装置が有する各手段の機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００８９】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（コンテンツ再生プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、コンテンツ再生処理を実現することができる。
【００９０】
次に、本発明における実行プログラムによる処理手順についてコンテンツ再生装置におけるコンテンツ再生処理についてフローチャートを用いて説明する。
【００９１】
＜コンテンツ再生処理手順＞
図７は、コンテンツ再生処理手順の一例を示すフローチャートである。図７に示すフローチャートにおいて、まず、携帯端末１３は、カメラ（撮像手段３４）から実写映像を取込み（Ｓ０１）、テレビ受像機１２が映っているか否かを判断する（Ｓ０２）。なお、Ｓ０１の処理において取込まれる実写映像とは、例えばテレビ受像機１２の画面に表示されている番組を意味し、画面の全部でも一部でもよい。また、Ｓ０２の処理においての判断は、テレビ受像機１２の画面枠の全部が画像中に含まれているかを判断する。
【００９２】
ここで、テレビ受像機１２が映っている場合（Ｓ０２において、ＹＥＳ）、テレビ受像機１２の画像解析処理を行う（Ｓ０３）。具体的には、テレビ受像機１２の画面枠内の画像の内容を解析する。なお、Ｓ０３の処理では、所定間隔毎の画像フレームを用いて、画像中に含まれる画面枠（テレビ受像機１２）の位置情報を取得してもよい。
【００９３】
また、テレビ受像機１２が映っていない場合（Ｓ０２において、ＮＯ）、加速度センサやジャイロセンサ等の移動検知手段を用いて携帯端末１３の移動時の位置情報（例えば、座標情報）等のデータを取得する（Ｓ０４）。なお、Ｓ０４の処理では、所定時間毎に、携帯端末１３の位置情報を取得してもよい。
【００９４】
次に、携帯端末１３の移動量・回転量を計算する（Ｓ０５）。具体的には、Ｓ０３の処理により、テレビ受像機１２の画面枠の位置情報が把握できた場合には、移動前後における映像含まれる所定間隔毎等の画像フレーム間での画面枠の移動方向や傾きを取得して、携帯端末１３の移動量や回転量の計算を行う。
【００９５】
また、Ｓ０４の処理により、携帯端末１３の位置が把握できた場合には、所定時間毎等の位置情報の差異から携帯端末１３の移動量や回転量の計算を行う。また、Ｓ０５の処理により得られた携帯端末１３の移動量・回転量の計算結果から仮想カメラの制御パラメータ（カメラパラメータ）を取得する（Ｓ０６）。
【００９６】
次に、台本データに更新があるか否かを判断し（Ｓ０７）、更新がある場合（Ｓ０７において、ＹＥＳ）、カメラ制御系（例えば、上述した制御パラメータ等）の記述があるか否かを判断する（Ｓ０８）。ここで、カメラ制御系の記述がある場合（Ｓ０８において、ＹＥＳ）、カメラ制御系台本データのフィルタ処理を行う（Ｓ０９）。
【００９７】
つまり、本実施形態では、台本データにカメラ制御系の記述が含まれている場合に、視聴者の携帯端末１３の動きとは別にカメラ制御が行われてしまうため、視聴者の意図通りに仮想カメラを操作することができなくなるのを防止するために、カメラ制御系の台本をフィルタにより削除する。なお、台本データにカメラ制御系の記述が含まれている場合には、その制御系の記述を蓄積手段３３等に蓄積しておき、視聴者の切り替え操作により、台本データの制御系と、携帯端末１３の移動に伴う制御系を切り替えることもできる。
【００９８】
上述したＳ０７の処理において、台本データの更新がない場合（Ｓ０７において、ＮＯ）、台本データが終了したか否かを判断する（Ｓ１０）。ここで、台本データが終了していない場合（Ｓ１０において、ＮＯ）、Ｓ０８の処理において、カメラ制御系の記述がない場合（Ｓ０８において、ＮＯ）、又は、Ｓ０９の処理が終了後、上述したカメラ制御系等に基づき予め設定された再生内容に対応させて、ＣＧ描画（オブジェクト）と実写映像との合成処理を行い、当該処理を行った後、その合成画像（映像）を画面に表示する（Ｓ１１）。
【００９９】
また、上述のＳ１０の処理において、台本データが終了した場合（Ｓ１０において、ＹＥＳ）、本実施形態におけるコンテンツ再生処理を終了する。
【０１００】
上述したように本発明によれば、放送番組等を視聴する際に、その番組が表示された画面を、それぞれの視聴者が持つ携帯端末に付属するカメラで撮影し、その撮影した画像（放送番組の映像を含む）に、ＣＧオブジェクト等の付加映像を合成した映像を視聴者に視聴させることで、個別に適切な付加価値のある映像情報を提供することができる。
【０１０１】
本発明によれば、例えば１人の視聴者の手元に複数台の視聴端末がある場合には、１つのコンテンツを異なる視点から視聴することができる。また、本発明によれば、視聴端末に囲まれた空間をカメラ撮影して実写とＣＧキャラクタを合成した映像を生成することができる。また、本発明によれば、例えばＣＧキャラクタをテレビ受信機の前に表示することができ、このＣＧキャラクタにテレビ番組に付随する手話を表現させることによって、視聴者はテレビ番組と同期した手話映像を携帯端末上で視聴することができる。なお、手話は、見る角度や距離を多少変えることで手指の読み取り易さが大きく変わることから、ＣＧキャラクタの手話表現が自分の見やすいサイズ、角度に変更することで、より理解しやすい手話映像を提示することが可能となる。
【０１０２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１０３】
１０ コンテンツ再生システム
１１ コンテンツ提供サーバ
１２ テレビ受像機
１３ 携帯端末（コンテンツ再生装置）
１４ 通信ネットワーク
１５ 視聴者
１６ オブジェクト
２１，３１ 入力手段
２２，３２ 出力手段
２３，３３ 蓄積手段
２４ 台本生成手段
２５ 番組スクリプト生成手段
２６ 番組制作手段
２７ 配信制御手段
２８，３６ 再生手段
２９，３８ 送受信手段
３０，３９ 制御手段
３４ 撮像手段
３５ 再生内容設定手段
３７ 移動検知手段
【技術分野】
【０００１】
本発明は、コンテンツ再生装置及びコンテンツ再生プログラムに係り、特に個別に適切な付加価値のある映像情報を付与したコンテンツを提供するためのコンテンツ再生装置及びコンテンツ再生プログラムに関する。
【背景技術】
【０００２】
従来では、テレビ局等で様々な番組が制作されている。制作された番組は、放送波等により各視聴者の家庭等に送信され、送信された家庭等のテレビ受像機に表示されることで、各視聴者に提供される。
【０００３】
また、従来では、コンピュータを用いて自動的に番組制作する仕組みが知られている（例えば、特許文献１参照）。特許文献１に示す手法では、テレビのニュース番組等の制作において、番組記述言語であるＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）を用い、演出データや情報データを入力することで自動的に番組制作を行っている。
【０００４】
ＴＶＭＬは、テレビ番組を制作するためのオブジェクトベースの記述言語であり、テレビ番組の映像や音声等を、素材データと台本（演出内容等）とに分けて記述することができ、制作側で台本を記述することで、テレビ受像機やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で動作するソフトウェア等がこれを読み取り、台本に記述された素材データを取得して、即座にテレビ番組として再生・視聴することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２４６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上述したような従来の番組制作では、例えば番組に登場するＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）キャラクタや演出データ等の設定を行った場合に、その設定に基づいて表示される番組が、テレビ受像機やＰＣ等の画面に表示される。例えば、特許文献１に示されているような手法では、演出データや情報データを、その設定を行う所定の視聴者（ユーザ）の嗜好情報（例えば、好きなジャンル等）に対応させて設定することで、その視聴者の好みに合った専用の番組を表示することができる。
【０００７】
しかしながら、例えば１つのテレビ受像機の画面に表示された番組を複数の視聴者（例えば、家族や兄弟）等で視聴する場合、上述した嗜好情報は所定の視聴者である１個人の情報であるため、設定した嗜好情報に対応する視聴者のみしか満足することができず、視聴する複数の視聴者の全てに個別の付加価値のある映像情報を与えることはできない。したがって、例えば、同時に視聴する視聴者の一人が難聴者である場合には、その視聴者だけ手話を表示するといった個別に適切な付加価値のある映像情報を与える方法は存在していなかった。
【０００８】
本発明は、上述した問題点に鑑みなされたものであり、個別に適切な付加価値のある映像情報を付与したコンテンツを提供するためのコンテンツ再生装置及びコンテンツ再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１０】
本発明は、画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、前記番組が表示された画面を含む画像を取得するための撮像手段と、前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することを特徴とする。
【００１１】
また、本発明は、コンピュータを、上述したコンテンツ再生装置が有する各手段として機能させるためのコンテンツ再生プログラムである。
【発明の効果】
【００１２】
本発明によれば、個別に適切な付加価値のある映像情報を付与したコンテンツを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態におけるコンテンツ再生システムの概略構成例を示す図である。
【図２】コンテンツ提供サーバにおける機能構成の一例を示す図である。
【図３】携帯端末における機能構成の一例を示す図である。
【図４】本実施形態におけるコンテンツ提供の具体例を説明するための図である。
【図５】本実施形態における携帯端末の移動検知時における画面表示例を示す図である。
【図６】視聴環境と仮想スタジオとの対応関係を説明するための図である。
【図７】仮想カメラの制御パラメータの具体的を説明するための図である。
【図８】携帯端末の動きに対応するＣＧキャラクタ制御の一例を示す図である。
【図９】コンテンツ再生処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜本発明について＞
本発明は、例えばテレビ番組（以下、「放送番組」、「番組」ともいう）等のコンテンツを表示している表示装置（例えば、テレビ受像機、ＰＣのディスプレイ、携帯端末の表示部等）の画面を撮影した画像（映像も含む）に、個別の付加価値のある映像情報等を付与して視聴者に提供する。具体的には、本発明では、例えば放送されているテレビ番組がテレビ受像機の画面に表示されている場合に、その表示されている画面を撮影し、その撮影したカメラの画角等に対応した画像の空間上に、ＣＧキャラクタや小道具等のオブジェクトを表示したり、表示したオブジェクトにテレビ番組の内容に合わせて所定の演出（例えば、手話等）を行わせる等の処理を行う。
【００１５】
更に、本発明は、上述したように表示装置の画面を撮影する場合に用いられる装置として、例えば容易に持ち運びが可能な携帯端末（例えば、タブレットＰＣや携帯電話、デジタルカメラ、ゲーム機器、ノート型ＰＣ等を含む）等を用いることとし、表示装置の画面を撮影する携帯端末を移動させると、表示装置と携帯端末との位置関係に応じて、上述したオブジェクトの向きや動作を変化させることができる。これにより、多方面からＣＧキャラクタ等を表示することができ、例えば手話の手が見える方向を変化させる等の高い付加価値のある映像情報等を付与することができる。
【００１６】
以下に、上述したような特徴を有する本発明におけるコンテンツ再生装置及びコンテンツ再生プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００１７】
なお、本実施形態では、コンテンツの一例として番組を用いる。また、本実施形態では、番組の再生等に用いられるスクリプトの一例として、ＴＶＭＬを用いることとするが、本発明においてはこれに限定されるものではない。
【００１８】
＜コンテンツ再生システムの概略構成例＞
図１は、本実施形態におけるコンテンツ再生システムの概略構成例を示す図である。図１に示すコンテンツ再生システム１０は、コンテンツ提供サーバ１１と、表示装置としてのテレビ受像機１２と、コンテンツ再生装置としての１又は複数の携帯端末１３（図１の例では、携帯端末１３−１、１３−２）とを有するよう構成されている。なお、コンテンツ提供サーバ１１と、携帯端末１３とは、例えばインターネット回線や、無線通信回線等の通信ネットワーク１４を介してデータの送受信が可能な状態で接続されている。
【００１９】
コンテンツ提供サーバ１１は、予め蓄積されている画像や映像、音声、テキストデータ等の各種データに基づいて、視聴者に提供するテレビ番組等の制作を行う制作側の装置である。なお、コンテンツ提供サーバ１１は、放送局であってもよい。
【００２０】
コンテンツ配信サーバ１１は、制作したテレビ番組を、例えば図１に示す放送波等を用いて視聴者側の表示装置１２（図１の例では、テレビ受像機）に出力する。なお、テレビ番組の送信手法は、放送波に限定されるものではなく、例えばテレビ受像機１２ではなくＰＣに送信される場合には、コンテンツ提供サーバ１１からストリーム信号等により配信されてもよい。
【００２１】
また、コンテンツ提供サーバ１１は、放送波により視聴者側に送信したテレビ番組に相当するＴＶＭＬスクリプトを、通信ネットワーク１４を介して携帯端末１３−１，１３−２に出力する。これにより、本実施形態では、携帯端末１３側で、テレビ受像機１２の画面に表示される番組に対応するＣＧデータ（例えば、ＣＧキャラクタや小道具等の各種オブジェクトや、画像、映像等を含む）等を個別に取得することができる。したがって、視聴者毎に適切な付加価値のある映像情報等を付与したコンテンツを提供することができる。
【００２２】
テレビ受像機１２は、コンテンツ提供サーバ１１から送信されたテレビ番組を表示する第１の表示手段である。なお、テレビ受像機１２は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイや液晶ディスプレイ等の一般的な表示装置を用いることができるが本発明においてはこれに限定されるものではない。
【００２３】
携帯端末１３−１，１３−１は、それぞれ個別の視聴者１５−１，１５−２が所持するものであり、カメラ等の撮像手段、及び撮像した画像（映像も含む）を表示することができる表示手段（第２の表示手段）を有する。携帯端末１３は、テレビ受像機１２（第１の表示手段）の画面に表示されている番組を撮像手段により撮影することで、第２の表示手段に表示させることができる。なお、携帯端末１３は、例えばカメラ付きの携帯電話端末や、タブレット型ＰＣ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の一般的な端末を用いることができるが、本発明においてはこれに限定されるものではない。
【００２４】
このとき、携帯端末１３は、本実施形態におけるソフトウェア（アプリケーション）等により、テレビ受像機１２の画面が撮影された映像に対して、ＣＧキャラクタ等のオブジェクト１６を空間的に重ねて表示させることで、その携帯端末１３毎の各視聴者に個別の付加価値のある映像情報を付与する。これにより、携帯端末１３−１，１３−２で表示される映像は、テレビ受像機１２に表示される番組の映像を撮影しているものであっても、それぞれ異なる映像を付加的に表示させることができる。なお、携帯端末１３で撮影された実写映像のテレビ受像機１２の画面は、必ずしも実際に表示されている映像である必要はなく、例えば携帯端末１３に付属する受信機において受信したテレビ番組を重ねて表示したり、携帯端末１３で個別に生成する映像を重ねて表示することもできる。
【００２５】
つまり、本実施形態では、図１に示すようにテレビ受像機１２と携帯端末１３間の空間を３次元の仮想スタジオとして利用し、その空間にオブジェクト１６が存在しているように携帯端末１３の画面に表示させるものである。したがって、携帯端末１３の画面から表示される内容は、仮想カメラ（ＣＧカメラ）で撮影された内容となる。
【００２６】
なお、付加価値のある映像情報の必要のない視聴者がいる場合には、携帯端末１３を介して番組を見る必要はなく、テレビ受像機１２の画面に表示される番組をそのまま視聴すればよいことになる。
【００２７】
また、視聴端末１３には、コンテンツ提供サーバ１１から通信ネットワーク１４を介してテレビ受像機１２で再生される番組に対応するＴＶＭＬスクリプトが送信される。したがって、視聴端末１３は、コンテンツ提供サーバ１１から得られたＴＶＭＬスクリプトの内容に基づいてオブジェクト１６の生成を行い、番組表示に対応させたオブジェクトの表示や演出等を行うことができる。
【００２８】
ここで、図１に示すコンテンツ再生システム１０を構成するコンテンツ提供サーバ１１、テレビ受像機１２、及び携帯端末１３の台数については、図１に示す台数に限定されるものではなく、それぞれの装置を１又は複数にすることができる。つまり、本実施形態では、コンテンツ提供サーバ１１、テレビ受像機１２、及び携帯端末１３の台数の関係をＬ：Ｍ：Ｎ（Ｌ、Ｍ、Ｎは１以上）とすることができる。次に、本実施形態の主な構成である上述したコンテンツ提供サーバ１１及び携帯端末１３の機能構成例について具体的に説明する。
【００２９】
＜コンテンツ提供サーバ１１：機能構成例＞
図２は、コンテンツ提供サーバにおける機能構成の一例を示す図である。図２に示すコンテンツ提供サーバ１１は、入力手段２１と、出力手段２２と、蓄積手段２３と、台本生成手段２４と、番組スクリプト生成手段２５と、番組制作手段２６と、配信制御手段２７と、再生手段２８と、送受信手段２９と、制御手段３０とを有するよう構成されている。
【００３０】
入力手段２１は、管理者や番組制作者（ユーザ）等からの台本（演出）の生成指示や、番組スクリプト生成指示、番組制作指示、配信制御指示、再生指示、送受信指示等の各種の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００３１】
出力手段２２は、入力手段２１により入力された指示内容や、各指示内容に基づいて生成されたデータや制作された番組等の内容を表示したり、音声を出力する。なお、出力手段２２は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、本実施形態における入力手段２１及び出力手段２２は、例えばタッチパネル等のように、入力及び出力の両方の機能を有する形態であってもよい。
【００３２】
蓄積手段２３は、例えば番組台本（以下、単に「台本データ」ともいう）、素材データ、番組制作エンジン、スクリプト、番組等が蓄積されており、必要に応じて読み出しや書き込みが行われる。
【００３３】
具体的には、生成される番組に対する全ての演出内容が記述された番組台本、番組台本に記述されている番組を生成するための画像や映像、音声、テキストデータ等の各種データからなる複数の素材データ（キャラクタ、セット、音声、動作、静止画、動画等）、番組の演出内容や番組を構成する上で必要な番組制作エンジン、制作した番組対応するＴＶＭＬスクリプト、ＴＶＭＬスクリプトにより生成された番組等が蓄積されている。
【００３４】
なお、番組制作エンジンとは、例えば番組に登場するＣＧキャラクタや、番組における１つの動作の単位で「タイトル表示」、「ズームイン」、「ＣＧキャラクタの動作」等のイベントが予め定義されたものである。本実施形態では、番組制作エンジンを用いることで、例えば番組の内容を表す台本データからのテキストデータ等を入力すると、それを元に番組の自動生成に必要なＴＶＭＬスクリプトを出力することができる。
【００３５】
また、蓄積手段２３は、その他の各種設定情報等を蓄積する。なお、蓄積手段２３は、上述した各種データを通信ネットワーク１４等に接続された外部装置等から取得することもできる。
【００３６】
台本生成手段２４は、テレビ受像機１２に送信され、視聴者に提供される番組を制作するための演出情報等を含めた台本データを生成する。また、台本生成手段２４は、携帯端末１３に送信され、視聴者に提供される番組にオブジェクトが付加されたコンテンツ（番組）を提供するための台本データを生成する。
【００３７】
したがって、台本生成手段２４は、テレビ受像機１２に送信する番組が既に制作されている場合には、その番組に対応させた台本データのみが生成される。したがって、例えば実写等の番組が既に制作されている場合、台本生成手段２４は、その番組を１つの映像データとみなし、その映像データに対してＣＧキャラクタのオブジェクト等を携帯端末１３の画面に表示させるための台本データを生成する。なお、台本生成手段２４は、生成した台本データを蓄積手段２３に蓄積する。
【００３８】
番組スクリプト生成手段２５は、台本生成手段２４等により生成された台本データや、蓄積手段２３に蓄積された素材データ、番組制作エンジン等を用いてテレビ受像機１２に送信する番組に対応する番組スクリプト（例えば、ＴＶＭＬスクリプト）を生成する。このスクリプトには、番組に対する演出情報等が含まれ、更に付加的に携帯端末１３の画面に表示されるＣＧキャラクタや机や椅子等の各種オブジェクト、各オブジェクトに対する動作等の設定情報も含まれる。また、番組スクリプト生成手段２５は、生成されたスクリプトを蓄積手段２３に蓄積する。
【００３９】
番組制作手段２６は、番組スクリプト生成手段２５により生成された番組スクリプトに対応させて、実際にテレビ受像機１２に表示させる番組を制作する。なお、本実施形態では、一例として番組制作手段２６で生成される番組をＴＶＭＬに基づく仮想空間上の番組としているが、本発明においてはこれに限定されるものではなく、実写等の番組を制作してもよい。この場合には、例えば実空間のスタジオで１又は複数のカメラにより撮影された映像に対し、番組制作者等が入力手段２１等を用いて指示した編集内容（例えばワイプ等の画面の切り替えやテロップの挿入）等に基づいて、所定の番組を制作する。番組制作手段２６は、制作された番組を蓄積手段２３に蓄積する。
【００４０】
配信制御手段２７は、視聴者側に対して番組や番組スクリプト等を送信する。具体的には、配信制御手段２７は、制作された番組をテレビ受像機１２に放送波等により送信する。また、配信制御手段２７は、送信された番組に対応する番組スクリプトを視聴者の携帯端末１３に配信する。なお、配信制御手段２７は、例えば携帯端末１３から、現在視聴している番組に対する番組スクリプトの問い合わせがあった場合等に、その対応する番組スクリプトを配信するように制御してもよい。
【００４１】
再生手段２８は、番組スクリプト生成手段２５により生成された番組スクリプト（ＴＶＭＬスクリプト）を再生し、その映像又は音声等を、出力手段２２を用いてビューアーとして表示させる。本実施形態では、上述した再生手段２８の機能を「ＴＶＭＬプレイヤ」という。また、再生手段２８は、再生された番組を蓄積手段２３に蓄積する。
【００４２】
送受信手段２９は、通信ネットワーク１４を介して制御データ、番組、番組スクリプト（ＴＶＭＬスクリプト）、番組制作エンジン、素材データ、台本データ等の各種データを、コンテンツ再生システム１０を構成するテレビ受像機１２や携帯端末１３に送信したり、テレビ受像機１２や携帯端末１３、その他の端末等から各種データを受信するための通信インタフェースである。
【００４３】
具体的には、送受信手段２９は、例えば番組をテレビ受像機１２に送信すると共に、ＴＶＭＬスクリプトを携帯端末１３に送信する。また、送受信手段２９は、携帯端末１３からのＴＶＭＬスクリプト取得要求（問い合わせ）等を受信することができ、その要求に対応するＴＶＭＬスクリプトやそれに伴う素材データ、番組制作エンジン等を要求のあった携帯端末１３に送信することができる。
【００４４】
制御手段３０は、コンテンツ提供サーバ１１における各機能構成全体の制御を行う。具体的には、制御手段３０は、入力手段２１により入力された管理者や番組制作者等からの入力情報に基づいて、台本データを生成したり、番組や番組スクリプトを生成したり、番組を制作したり、配信を制御したり、番組を再生する等の各種制御を行う。
【００４５】
＜携帯端末１３：機能構成例＞
次に、上述したコンテンツ再生システム１０における携帯端末１３の機能構成例について図を用いて説明する。図３は、携帯端末における機能構成の一例を示す図である。図３に示す携帯端末１３は、入力手段３１と、第２の表示手段としての出力手段３２と、蓄積手段３３と、撮像手段３４と、再生内容設定手段３５と、再生手段３６と、移動検知手段３７と、送受信手段３８と、制御手段３９とを有するよう構成されている。
【００４６】
入力手段３１は、視聴者（ユーザ）等からの撮影指示や、再生内容設定指示、再生指示、移動検知指示等の各種の入力を受け付ける。なお、入力手段３１は、例えば操作ボタン、マイク等の音声入力デバイス等からなる。
【００４７】
出力手段３２は、入力手段３１により入力された指示内容や、各指示内容に基づいて生成された制御データや番組等の内容を表示したり、音声を出力する。なお、出力手段３２は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、本実施形態における入力手段３１及び出力手段３２は、例えばタッチパネル等のように、入力及び出力の両方の機能を有する形態であってもよい。
【００４８】
蓄積手段３３は、例えば番組スクリプト（ＴＶＭＬスクリプト）、番組制作エンジン、素材データ等が蓄積されており、必要に応じて読み出しや書き込みが行われる。蓄積手段３３は、例えば撮像手段３４により撮影された画像（映像を含む）や再生内容設定手段３５により設定された設定情報、再生手段３６により再生された内容、移動検知手段３７により得られる検知結果等を蓄積する。
【００４９】
なお、蓄積手段３３により蓄積されたデータは、必要に応じて読み出しや書き込みを行うことができる。また、蓄積手段３３は、その他の各種設定情報等を蓄積する。更に、蓄積手段３３は、上述した各種データを通信ネットワーク等に接続された外部装置等から取得することもできる。
【００５０】
撮像手段３４は、カメラ等により所定の画角からなる画像を撮影する。なお、本実施形態では、撮像手段３４によりテレビ受像機１２の画面を含む画像が撮影される。
【００５１】
なお、テレビ受像機１２は、映像として撮影する場合に映像中の全フレームで撮影されていてもよく、また、一部のフレームで撮影されていてもよい。したがって、本実施形態では、撮像手段３４により撮影される映像の１フレーム以上にテレビ受像機１２の全画面が含まれているのが好ましい。また、本実施形態では、映像の一部にテレビ受像機１２の画面が含まれていればよく、サイズは特に制限されるものではないが、画面全体に対して肉眼で視認できる程度の所定の割合以上の画面であることが好ましい。もし肉眼で視認できれば、番組に対する付加価値のある映像情報を与えていることが視聴者に容易に把握させることができるからである。
【００５２】
再生内容設定手段３５は、例えば番組再生時に付加価値のある映像情報として表示させるオブジェクトの種類（例えば、ＣＧキャラクタや椅子、小道具、表、グラフ、商品等）や表示（合成）する位置（領域）、大きさ、色、表示内容、演出内容、携帯端末１３から表示される画像の画角等の設定（例えば、仮想カメラの制御パラメータ（カメラパラメータ））等の各種再生内容を設定する。また、再生内容設定手段３５は、再生内容として、移動検知手段３７により検知した携帯端末１３自体の移動内容に基づき、オブジェクトの動作内容等を設定する。
【００５３】
ここで、再生内容の設定は、例えば視聴者が入力手段３１等を用いて各条件に対する設定を入力することで行ってもよい。また、再生内容設定手段３５は、例えば撮像手段３４により得られる画像に対して画像解析を行い、その画像中に含まれるテレビ受像機１２の画面枠の位置や大きさ、傾き等のうち、少なくとも１つを取得し、その取得結果に基づいて、上述したオブジェクトの再生内容等を設定してもよい。更に、再生内容設定手段３５は、テレビ受像機１２の画面に表示されている番組を画像解析し、その結果から得られる情報に基づいて、個別の再生制御を行うための条件を設定することができる。
【００５４】
これにより、本実施形態では、例えば番組の表示されている画像を解析し、番組の最初又は最後、或いは予め設定された特有の表示やテロップ、スーパーインポーズ等が表示された場合に、その表示に対応するオブジェクトの表示や非表示、オブジェクトの動作内容等を制御することができる。更に、本実施形態では、例えばテロップの内容に合わせて、ＣＧキャラクタに手話を行わせることもできる。
【００５５】
なお、上述した画像解析手法としては、画像に含まれる画素毎の輝度情報等に基づいて所定形状の物体の位置や大きさ、表示される文字等を抽出することができる。なお、画像解析により物体の位置や大きさ等を読み取る場合には、例えば視聴者が入力手段３１等を用いて画像解析を行う領域を入力したり、テレビ受像機１２の画面サイズ等を入力することで、より迅速且つ高精度な画像解析を実現することができる。
【００５６】
更に、本実施形態では、携帯端末１３をテレビ受像機１２に対して相対的に移動させることで、表示するオブジェクトの再生内容を変更することもできる。この場合、再生内容設定手段３５は、撮影された映像中に含まれる複数のフレーム同士でテレビ受像機１２の位置情報の差分と取り、その差分情報から得られる移動状況に応じて上述した再生内容を設定することもできる。なお、このような携帯端末１３の移動に対してオブジェクトの再生内容を設定する場合、再生内容設定手段３５は、移動検知手段３７から得られる検知結果を利用して再生内容を設定することもできる。また、再生内容設定手段３５は、上述した差分情報及び検知結果に基づいて再生内容を設定することもできる。
【００５７】
なお、上述した再生内容の設定情報は、上述したコンテンツ提供サーバ１１から通信ネットワーク１４を介してＴＶＭＬスクリプトと共に送信されることで取得してもよい。更に、再生内容の設定情報は、放送波やストリーム信号等により番組と共に送信されてもよい。その場合、テレビ受像機１２に番組と共に再生内容の設定情報が表示され、それを撮像手段３４で撮影して画像解析することで、その設定情報を取得してもよい。
【００５８】
再生手段３６は、コンテンツ提供サーバ１１で生成したＴＶＭＬスクリプトを再生し、映像又は音声等により出力手段３２によりビューアーとして表示させる。なお、本実施形態では、上述した再生手段３６の機能を「ＴＶＭＬプレイヤ」という。具体的には、再生手段３６は、例えば再生内容設定手段３５で設定された再生内容に基づいて、撮像手段３４で撮像された映像にオブジェクトを合成した映像を編集し、編集された映像のコンテンツを再生する。これにより、再生手段３６により再生されたコンテンツは、例えば出力手段３２のディスプレイ等により表示させることができる。
【００５９】
移動検知手段３７は、携帯端末１３自体の移動（動き）を検知する。また、移動検知手段３７は、移動時の位置情報等を取得する。なお、移動検知手段３７は、例えば一般的な加速度センサやジャイロセンサ等を用いることができるが、本発明においてはこれに限定されるものではない。本実施形態では、移動検知手段３７から得られる移動検知内容（位置情報等）に基づいて再生内容設定手段３５により再生内容を設定することができ、対応するＣＧキャラクタ等のオブジェクトの動作が設定され、それに伴い各携帯端末１３に対して個別のコンテンツ表示が行われる。
【００６０】
送受信手段３８は、通信ネットワークを介して制御データ、撮影された画像（映像も含む）、設定された再生内容、再生された番組、移動検知結果等の各種データを、コンテンツ再生システム１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースである。
【００６１】
制御手段３９は、携帯端末１３における各機能構成全体の制御を行う。具体的には、制御手段３９は、入力手段３１により入力された視聴者からの入力情報に基づいてテレビ受像機１２を撮影したり、再生内容を設定したり、再生内容に基づいて番組を表示したり、移動検知を行う等の各種制御を行う。
【００６２】
＜コンテンツ提供の具体例＞
次に、本実施形態におけるコンテンツ提供の具体例について図を用いて説明する。図４は、本実施形態におけるコンテンツ提供の具体例を説明するための図である。なお、図４の例では、放送局側（コンテンツ提供サーバ１１）と、視聴者側（携帯端末１３）との具体的なデータの流れを簡略化して示したものである。
【００６３】
本実施形態では、図４に示すように、コンテンツ提供サーバ１１の蓄積手段２３から得られる上述した素材データ、番組制作エンジン及び台本データ等に基づいて再生手段２８としてのＴＶＭＬ再生機能（ＴＶＭＬプレイヤ）により再生された放送番組が放送波により視聴者側のテレビ受像機１２に出力される。
【００６４】
また、コンテンツ提供サーバ１１は、上記番組に対応する蓄積手段２３の素材データ及び台本データを携帯端末１３に送信する。なお、図４の例において、番組制作エンジンは、既に携帯端末１３が有しているデータであるものとし、送信を行っていない。
【００６５】
なお、上述したデータの送信は、例えば放送番組の送信と同時でもよく、異なる時間であってもよい。なお、時間が異なる場合には、テレビ受像機１２における番組の表示の前に携帯端末１３が素材データ及び台本データを取得しているのが好ましい。これにより、テレビ受像機１２による番組表示のタイミングに合わせて視聴者（携帯端末）毎に個別の付加価値のある映像情報を与えたコンテンツを提供することができる。
【００６６】
また、本実施形態では、視聴者側からの要求に応じて、放送局側が素材データ及び台本データを生成し、生成したデータを送信するようにしてもよい。これにより、要求のない視聴者（携帯端末１３）に対しては余計なデータを送信する必要がないため、効率的なデータ伝送を行うことができる。
【００６７】
また、本実施形態では、予めテレビ受像機１２毎に識別情報を設定しておき、放送局側で、例えばテレビ受像機１２の電源がＯＮ／ＯＦＦのどちらになっているか等の情報や、そのテレビ受像機１２が何の番組を見ているかの情報を上述した識別情報と共に取得し、取得した識別情報に対応して設定されている視聴者の携帯端末１３に対して、その視聴している番組に対応する素材データ及び台本データを送信することもできる。これにより、テレビ受像機１２に対応させて所定の視聴者の携帯端末１３のみを対象として付加データを送信することで、より効率的なデータ伝送を実現することができる。
【００６８】
また、図４において、視聴者側（携帯端末１３）では、再生内容設定手段３５により設定される再生内容に対応するＴＶＭＬフィルタやコマンドの挿入／削除等の処理により設定された情報を再生手段３６としてのＴＶＭＬ再生機能（ＴＶＭＬプレイヤ）に出力する。なお、ＴＶＭＬフィルタとは、ＴＶＭＬスクリプトの内容にオブジェクトに対する再生内容の記述や仮想カメラ（携帯端末１３で表示される映像）の制御パラメータ等の記述において、視聴者が設定した内容との重複部分がある場合に、それらの記述をフィルタリング（削除）するものである。
【００６９】
なお、削除した記述内容は、蓄積手段３３等に一次的に蓄積しておき、視聴者が設定した再生内容を解除した場合には、その蓄積した再生内容により再生を行うこともできる。また、削除した部分には、視聴者がコマンドの挿入等を行うことができる。
【００７０】
更に、本実施形態では、図４に示すように、再生内容設定手段３５としての再生制御ソフトウェアにより、テレビ受像機から得られる画像を解析して再生内容を設定することもできる。また、再生制御ソフトウェアは、放送中のテレビ番組のＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）やイベントメッセージで伝送される時刻情報等を、例えばテレビ受信機１２やインターネット等により放送局側から受信し、受信した情報を用いて、再生手段３６としてのＴＶＭＬ再生機能に対してＴＶＭＬスクリプトの再生タイミングの制御を行うこともできる。
【００７１】
また、携帯端末１３は、撮像手段３４としてのカメラ撮影機能によりテレビ受像機１２からの映像を取得し、再生手段３６により本実施形態における上述した再生を行い、映像、音声等を出力する。
【００７２】
再生手段３６としてのＴＶＭＬ再生機能は、例えばカメラ撮影機能による実写映像を素材の一つとし、例えば仮想スタジオ内に再生内容に基づくオブジェクト（例えば、ＣＧキャラクタ）の背景映像として表示する。
【００７３】
これにより、テレビ受像機１２に表示されている番組（例えば、実写映像）に対して、付加情報として番組に対応する手話情報を表現するＴＶＭＬスクリプトをインターネットにより配信した場合、例えば携帯端末１３上で手話映像のオブジェクト（例えば、ＣＧキャラクタ）を生成し、テレビ受信機１２の映像を背景として合成して携帯端末１３の画面上に表示することができる。つまり、テレビ受像機１２と携帯端末１３との間にある実空間を仮想スタジオとして利用することができる。なお、オブジェクトの表示の有無は、各携帯端末１３により個別に設定することができるため、個別のコンテンツ表示を実現することができる。
【００７４】
更に、本実施形態では、移動検知手段３７として加速度センサやジャイロセンサ等を用いることにより、例えば上述したテレビ受信機１２の画面枠が認識できない場合等であっても、テレビ受像機１２に映像が表示されていない場合（例えば、電源ＯＦＦの場合）や、画角内にテレビ受像機１２の枠全部が入っていない場合等の状況下においても携帯端末１３の画面に表示されるオブジェクトの再生内容の制御等を行うことができる。
【００７５】
＜携帯端末１３の移動検知時における画面表示例＞
次に、本実施形態における携帯端末１３の移動検知時における画面表示例について図を用いて説明する。図５は、本実施形態における携帯端末の移動検知時における画面表示例を示す図である。また、図６は、視聴環境と仮想スタジオとの対応関係を説明するための図である。
【００７６】
ここで、図５（ａ），（ｂ）は、携帯端末１３によりテレビ受像機１２の撮影する位置を移動した場合の図を示し、図６（ａ）は、実際の視聴環境の見取り図を示し、図６（ｃ）は、仮想スタジオでの見取り図を示している。
【００７７】
例えば、図５（ａ）の状態では、携帯端末１３が有する撮像手段３４に設けられるカメラレンズにより撮影される撮影範囲（画角）にテレビ受像機１２が含まれているとする。このとき、本実施形態では、テレビ受像機１２と携帯端末１３との間の撮影空間を仮想スタジオとして設定し、例えばオブジェクトとしてのＣＧキャラクタが図５、図６に示すように所定の立ち位置（領域）に表示される。なお、この所定の立ち位置（領域）は、再生内容の設定情報として予め蓄積されている。
【００７８】
ここで、携帯端末１３を図５（ａ）の状態から図５（ｂ）の状態に移動した場合、携帯端末１３のカメラ撮影機能（撮像手段３４）によってテレビ受信機１２を撮影することで、上述したようにテレビ受信機１２の手前にＣＧキャラクタを合成することが可能となる。
【００７９】
また、本実施形態において、視聴者は、図６（ａ）に示すように、撮影中の携帯端末１３を移動又は回転させることで、図６（ｂ）に示すように、ＴＶＭＬプレイヤの仮想カメラ（ＣＧカメラ）をリアルタイムに移動又は回転させることができる。なお、本実施形態では、図６（ｂ）に示すように、テレビ受像機１２の位置にカメラ映像表示プレートを設定し、視聴環境における携帯端末１３の動きに応じて仮想カメラを制御することができる。
【００８０】
ここで、仮想カメラの制御パラメータの具体例について図を用いて説明する。図７は、仮想カメラの制御パラメータの具体的を説明するための図である。なお、図７（ａ）〜（ｃ）は、それぞれパン（ｐａｎ）、ティルト（ｔｉｌｔ）、ロール（ｒｏｌｌ）について説明する図を示している。また、図７に示すＸ、Ｙ、Ｚは、仮想カメラとして携帯端末１３が撮影する空間上の座標を示している。
【００８１】
本実施形態において、携帯端末１３の移動に伴いオブジェクトの再生内容を設定する場合には、例えば携帯端末１３で撮影する仮想カメラの制御パラメータを変更する。具体的には、図７（ａ）〜（ｃ）に示すように、撮影中の携帯端末１３を所定の時間内で移動させることで得られる移動量（△ｘ，△ｙ，△ｚ）及び回転量（△ｐａｎ，△ｔｉｌｔ，△ｒｏｌｌ）等を制御パラメータの変更量として取得することで、再生内容を変更することができる。これにより、本実施形態では、例えば図５（ａ），（ｂ）に示すようにＣＧキャラクタの表示される角度（向き）等を自由に変えることが可能となる。
【００８２】
また、本実施形態では、例えば携帯端末１３の動きに応じてＣＧキャラクタの向きを携帯端末１３の方に向き直して正対するように制御したり、「移動しないでください」や「上下に揺らさないでください」等の携帯端末１３の動きに応じたメッセージを、ＣＧキャラクタからの発言等によって音声出力をさせるように制御することができる。
【００８３】
図８は、携帯端末の動きに対応するＣＧキャラクタ制御の一例を示す図である。図８の例では、ＣＧキャラクタの向きをカメラ方向に正対させる例を示している。例えば、所定時間内に撮影中の携帯端末１３が図８のように移動した場合には、仮想カメラの位置座標とＣＧキャラクタ自身の座標位置とを用いて、正対するための回転角度を算出する。これにより、本実施形態では、常にＣＧキャラクタが仮想カメラ（携帯端末１３）に対して正面を向くように回転を行うことができる。更に、本実施形態では、上述した手法を利用して、ＣＧキャラクタが仮想カメラの移動に合わせて追いかけてくるように制御することもできる。
【００８４】
なお、上述した処理は携帯端末毎を行うことができる。そのため、本実施形態では、複数の携帯端末１３が異なる位置から撮影をした場合であっても、それぞれの携帯端末１３で表示されるＣＧキャラクタは、常に自分のカメラ方向を向くように制御することができ、個別に適切な付加価値のある映像情報を付与したコンテンツを提供することができる。
【００８５】
更に、本実施形態では、仮想カメラ（携帯端末１３）で撮影した画像に表示されるオブジェクトの例としては、例えば番組に関連する商品やその値段、販売店等を表示したり、番組の理解を促すための解説用の小道具や手話による情報提示を行うためのＣＧキャラクタを表示することができる。
【００８６】
また、本実施形態では、オブジェクトとして番組に関連する城、迷路等のオブジェクトを表示し、仮想カメラの動きや位置に応じて城や迷路の中を移動したり、罠を仕掛けたり、別のＣＧキャラクタを表示させるといった、いわゆるゲームとしての機能を実現することもできる。また、本実施形態では、携帯端末１３の表示画面にスイッチャーや音声フェーダ等を表示し、表示された内容に対して視聴者が指示入力することで、携帯端末１３が表示するコンテンツ自体を制御し、例えば番組の制作等を行うこともできる。
【００８７】
＜実行プログラム＞
ここで、上述した携帯端末１３等のコンテンツ再生装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、タッチパネル、操作ボタン、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータ（ハードウェア）によって構成することができる。
【００８８】
したがって、コンテンツ再生装置が有する各手段の機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００８９】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（コンテンツ再生プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、コンテンツ再生処理を実現することができる。
【００９０】
次に、本発明における実行プログラムによる処理手順についてコンテンツ再生装置におけるコンテンツ再生処理についてフローチャートを用いて説明する。
【００９１】
＜コンテンツ再生処理手順＞
図７は、コンテンツ再生処理手順の一例を示すフローチャートである。図７に示すフローチャートにおいて、まず、携帯端末１３は、カメラ（撮像手段３４）から実写映像を取込み（Ｓ０１）、テレビ受像機１２が映っているか否かを判断する（Ｓ０２）。なお、Ｓ０１の処理において取込まれる実写映像とは、例えばテレビ受像機１２の画面に表示されている番組を意味し、画面の全部でも一部でもよい。また、Ｓ０２の処理においての判断は、テレビ受像機１２の画面枠の全部が画像中に含まれているかを判断する。
【００９２】
ここで、テレビ受像機１２が映っている場合（Ｓ０２において、ＹＥＳ）、テレビ受像機１２の画像解析処理を行う（Ｓ０３）。具体的には、テレビ受像機１２の画面枠内の画像の内容を解析する。なお、Ｓ０３の処理では、所定間隔毎の画像フレームを用いて、画像中に含まれる画面枠（テレビ受像機１２）の位置情報を取得してもよい。
【００９３】
また、テレビ受像機１２が映っていない場合（Ｓ０２において、ＮＯ）、加速度センサやジャイロセンサ等の移動検知手段を用いて携帯端末１３の移動時の位置情報（例えば、座標情報）等のデータを取得する（Ｓ０４）。なお、Ｓ０４の処理では、所定時間毎に、携帯端末１３の位置情報を取得してもよい。
【００９４】
次に、携帯端末１３の移動量・回転量を計算する（Ｓ０５）。具体的には、Ｓ０３の処理により、テレビ受像機１２の画面枠の位置情報が把握できた場合には、移動前後における映像含まれる所定間隔毎等の画像フレーム間での画面枠の移動方向や傾きを取得して、携帯端末１３の移動量や回転量の計算を行う。
【００９５】
また、Ｓ０４の処理により、携帯端末１３の位置が把握できた場合には、所定時間毎等の位置情報の差異から携帯端末１３の移動量や回転量の計算を行う。また、Ｓ０５の処理により得られた携帯端末１３の移動量・回転量の計算結果から仮想カメラの制御パラメータ（カメラパラメータ）を取得する（Ｓ０６）。
【００９６】
次に、台本データに更新があるか否かを判断し（Ｓ０７）、更新がある場合（Ｓ０７において、ＹＥＳ）、カメラ制御系（例えば、上述した制御パラメータ等）の記述があるか否かを判断する（Ｓ０８）。ここで、カメラ制御系の記述がある場合（Ｓ０８において、ＹＥＳ）、カメラ制御系台本データのフィルタ処理を行う（Ｓ０９）。
【００９７】
つまり、本実施形態では、台本データにカメラ制御系の記述が含まれている場合に、視聴者の携帯端末１３の動きとは別にカメラ制御が行われてしまうため、視聴者の意図通りに仮想カメラを操作することができなくなるのを防止するために、カメラ制御系の台本をフィルタにより削除する。なお、台本データにカメラ制御系の記述が含まれている場合には、その制御系の記述を蓄積手段３３等に蓄積しておき、視聴者の切り替え操作により、台本データの制御系と、携帯端末１３の移動に伴う制御系を切り替えることもできる。
【００９８】
上述したＳ０７の処理において、台本データの更新がない場合（Ｓ０７において、ＮＯ）、台本データが終了したか否かを判断する（Ｓ１０）。ここで、台本データが終了していない場合（Ｓ１０において、ＮＯ）、Ｓ０８の処理において、カメラ制御系の記述がない場合（Ｓ０８において、ＮＯ）、又は、Ｓ０９の処理が終了後、上述したカメラ制御系等に基づき予め設定された再生内容に対応させて、ＣＧ描画（オブジェクト）と実写映像との合成処理を行い、当該処理を行った後、その合成画像（映像）を画面に表示する（Ｓ１１）。
【００９９】
また、上述のＳ１０の処理において、台本データが終了した場合（Ｓ１０において、ＹＥＳ）、本実施形態におけるコンテンツ再生処理を終了する。
【０１００】
上述したように本発明によれば、放送番組等を視聴する際に、その番組が表示された画面を、それぞれの視聴者が持つ携帯端末に付属するカメラで撮影し、その撮影した画像（放送番組の映像を含む）に、ＣＧオブジェクト等の付加映像を合成した映像を視聴者に視聴させることで、個別に適切な付加価値のある映像情報を提供することができる。
【０１０１】
本発明によれば、例えば１人の視聴者の手元に複数台の視聴端末がある場合には、１つのコンテンツを異なる視点から視聴することができる。また、本発明によれば、視聴端末に囲まれた空間をカメラ撮影して実写とＣＧキャラクタを合成した映像を生成することができる。また、本発明によれば、例えばＣＧキャラクタをテレビ受信機の前に表示することができ、このＣＧキャラクタにテレビ番組に付随する手話を表現させることによって、視聴者はテレビ番組と同期した手話映像を携帯端末上で視聴することができる。なお、手話は、見る角度や距離を多少変えることで手指の読み取り易さが大きく変わることから、ＣＧキャラクタの手話表現が自分の見やすいサイズ、角度に変更することで、より理解しやすい手話映像を提示することが可能となる。
【０１０２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１０３】
１０ コンテンツ再生システム
１１ コンテンツ提供サーバ
１２ テレビ受像機
１３ 携帯端末（コンテンツ再生装置）
１４ 通信ネットワーク
１５ 視聴者
１６ オブジェクト
２１，３１ 入力手段
２２，３２ 出力手段
２３，３３ 蓄積手段
２４ 台本生成手段
２５ 番組スクリプト生成手段
２６ 番組制作手段
２７ 配信制御手段
２８，３６ 再生手段
２９，３８ 送受信手段
３０，３９ 制御手段
３４ 撮像手段
３５ 再生内容設定手段
３７ 移動検知手段
【特許請求の範囲】
【請求項１】
画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、
前記番組が表示された画面を含む画像を取得するための撮像手段と、
前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、
前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することを特徴とするコンテンツ再生装置。
【請求項２】
前記再生内容設定手段は、
前記撮像手段により得られる画像における前記番組が表示された画面の位置に対応させて、前記オブジェクトの再生内容を設定することを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項３】
前記再生内容設定手段は、
前記撮像手段により得られる画像における前記番組が表示された画面部分を画像解析し、画像解析により得られた結果に基づいて、前記オブジェクトの再生内容を設定することを特徴とする請求項１又は２に記載のコンテンツ再生装置。
【請求項４】
前記コンテンツ再生装置の位置を検知する移動検知手段を有し、
前記再生内容設定手段は、前記移動検知手段により得られる位置情報に対応させて、前記オブジェクトの再生内容を設定することを特徴とする請求項１乃至３の何れか１項に記載のコンテンツ再生装置。
【請求項５】
前記再生内容設定手段は、
所定時間における前記コンテンツ再生装置の移動量又は回転量に基づいて、前記オブジェクトの再生内容を設定することを特徴とする請求項１乃至４の何れか１項に記載のコンテンツ再生装置。
【請求項６】
前記再生内容設定手段は、
前記オブジェクトがＣＧキャラクタである場合に、前記ＣＧキャラクタに前記番組の内容に対応する手話を含む動作を行わせるように設定することを特徴とする請求項１乃至５の何れか１項に記載のコンテンツ再生装置。
【請求項７】
コンピュータを、請求項１乃至６の何れか１項に記載のコンテンツ再生装置が有する各手段として機能させるためのコンテンツ再生プログラム。
【請求項１】
画面に表示された番組を撮影した画像を用いてコンテンツを再生するコンテンツ再生装置において、
前記番組が表示された画面を含む画像を取得するための撮像手段と、
前記撮像手段により得られる画像に対する再生内容を設定する再生内容設定手段と、
前記再生内容設定手段により得られる設定情報に基づいて、前記撮像手段により得られる画像の予め設定された位置に対し、所定のオブジェクトを表示させた画像を再生する再生手段とを有することを特徴とするコンテンツ再生装置。
【請求項２】
前記再生内容設定手段は、
前記撮像手段により得られる画像における前記番組が表示された画面の位置に対応させて、前記オブジェクトの再生内容を設定することを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項３】
前記再生内容設定手段は、
前記撮像手段により得られる画像における前記番組が表示された画面部分を画像解析し、画像解析により得られた結果に基づいて、前記オブジェクトの再生内容を設定することを特徴とする請求項１又は２に記載のコンテンツ再生装置。
【請求項４】
前記コンテンツ再生装置の位置を検知する移動検知手段を有し、
前記再生内容設定手段は、前記移動検知手段により得られる位置情報に対応させて、前記オブジェクトの再生内容を設定することを特徴とする請求項１乃至３の何れか１項に記載のコンテンツ再生装置。
【請求項５】
前記再生内容設定手段は、
所定時間における前記コンテンツ再生装置の移動量又は回転量に基づいて、前記オブジェクトの再生内容を設定することを特徴とする請求項１乃至４の何れか１項に記載のコンテンツ再生装置。
【請求項６】
前記再生内容設定手段は、
前記オブジェクトがＣＧキャラクタである場合に、前記ＣＧキャラクタに前記番組の内容に対応する手話を含む動作を行わせるように設定することを特徴とする請求項１乃至５の何れか１項に記載のコンテンツ再生装置。
【請求項７】
コンピュータを、請求項１乃至６の何れか１項に記載のコンテンツ再生装置が有する各手段として機能させるためのコンテンツ再生プログラム。
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１】
【図５】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１】
【図５】
【公開番号】特開２０１３−４６３５８（Ｐ２０１３−４６３５８Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４９０５（Ｐ２０１１−１８４９０５）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]