受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
【課題】立体映像に対して字幕の奥行き方向の位置を最適に設定する。
【解決手段】放送信号に含まれる立体映像のデータを取得するビデオデコーダ１０８と、放送信号に含まれる字幕オブジェクトのデータを取得する字幕デコーダ１１０と、前記立体映像の奥行き方向の位置に関する位置情報を取得する番組情報処理部１０６と、立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕３Ｄ変換部１２０と、を備える。これにより、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能となる。
【解決手段】放送信号に含まれる立体映像のデータを取得するビデオデコーダ１０８と、放送信号に含まれる字幕オブジェクトのデータを取得する字幕デコーダ１１０と、前記立体映像の奥行き方向の位置に関する位置情報を取得する番組情報処理部１０６と、立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕３Ｄ変換部１２０と、を備える。これにより、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造に関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、字幕データに基づく字幕をユーザからどの位の位置に表示するかを示す距離パラメータを発生し、復号側の立体表示装置において、字幕をユーザから所定の奥行き方向の位置にあるように表示する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７４１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、立体映像に字幕を挿入する場合、表示画面の奥行き方向において、映像に対する字幕の表示位置が重要となる。映像に対する字幕の表示位置が適切でない場合、例えば立体映像よりも奥に字幕が表示されるような場合は、字幕が映像の中に埋め込まれているように感じるため、視聴者に違和感を与えてしまう問題がある。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能な、新規かつ改良された受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記立体映像の奥行き方向の位置に関する位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を備える、受信装置が提供される。
【０００７】
また、前記位置情報は、前記立体映像を構成する右目用映像と左目用映像のオフセット量であってもよい。
【０００８】
また、前記位置情報は、前記放送信号の番組情報に含まれるものであってもよい。
【０００９】
また、前記位置情報は、前記放送信号の配信側において番組コンテンツ毎に予め設定されるものであってもよい。
【００１０】
また、前記位置情報は、前記立体映像を構成する映像信号のストリームに含まれるものであってもよい。
【００１１】
また、前記位置情報は、字幕オブジェクトの奥行き方向の位置を指定する情報であり、字幕オブジェクトのテキスト情報を規定する字幕情報に含まれるものであってもよい。
【００１２】
また、複数の前記位置情報に基づいて、１つの字幕オブジェクトの中で奥行き方向の位置が可変されるものであってもよい。
【００１３】
また、複数の前記位置情報に基づいて字幕オブジェクトの奥行き方向の位置が動的に変化するものであってもよい。
【００１４】
また、前記字幕オブジェクトの奥行き方向の位置が動的に変化する際の拡大率が前記位置情報によって規定されるものであってもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、立体映像の奥行き方向の位置に関する位置情報を含む放送信号を送出する送信装置と、前記放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を有する、受信装置と、を備える通信システムが提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、放送信号に含まれる立体映像のデータを取得するステップと、前記放送信号に含まれる字幕オブジェクトのデータを取得するステップと、前記立体映像の奥行き方向の位置に関する位置情報を取得するステップと、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定するステップと、を備える、立体画像への字幕合成方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、放送信号に含まれる立体映像のデータを取得する手段、前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、放送する立体映像コンテンツに係る映像信号と字幕オブジェクトのデータとを含むデジタル放送信号のデータ構造であって、放送信号に含まれる立体映像のデータを取得する手段、前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、として受信装置を機能させるためのデジタル放送信号のデータ構造が提供される。
【発明の効果】
【００１９】
本発明によれば、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る受信装置１００の構成を示す模式図である。
【図２】字幕３Ｄ変換処理部及び合成部で行われる処理を示す模式図である。
【図３】表示ディスプレイの表示画面に右目用映像Ｒと左目用映像Ｌが表示された際に、３Ｄ映像の奥行き方向の位置（飛び出し量）とオフセット量Ｓｏとの関係を示す図である。
【図４】字幕の最適な奥行き方向の位置について説明するための模式図である。
【図５】オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。
【図６】オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。
【図７】映像の最大のオフセット情報に基づいて字幕のオフセット量を設定する手法を示す模式図である。
【図８】デジタル放送信号における映像情報ストリーム、番組情報ストリーム、及び字幕情報ストリームを示す模式図である。
【図９】番組単位ではなく、ＧＯＰ単位で、Ｖｉｄｅｏ ＥＳのヘッダまたはＰＥＳヘッダの拡張領域に、最大オフセット値を記述する例を示す模式図である。
【図１０】第２の実施形態に係る字幕の３Ｄ表示の一例を示す模式図である。
【図１１】字幕の位置制御の手法を示す模式図である。
【図１２】第２の実施形態に係る受信装置の構成を示す模式図である。
【図１３】第２の実施形態にかかる字幕３Ｄの特殊効果を示す模式図である。
【図１４】字幕３Ｄ特殊効果の他の例を示す模式図である。
【図１５】字幕３Ｄ特殊効果として、字幕オブジェクトを表示画面の奥から手前側に移動させる例を示す模式図である。
【図１６】図１５の例において、字幕オブジェクトのダイナミックな移動による表示サイズの変化を説明するための模式図である。
【図１７】特殊効果指定も含む字幕情報のフォーマット例を示す模式図である。
【図１８】放送局２００側で３Ｄ映像の右目用映像Ｒ、左目用映像Ｌを撮影する手法を示す模式図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
（１）本実施形態に係るシステムの構成
（２）字幕３Ｄ変換処理部及び合成部で行われる処理
（３）オフセット量Ｓｏを設定する具体的手法
２．第２の実施形態
（１）字幕オブジェクト単位でのオフセット量の設定
（２）第２の実施形態に係る受信装置の構成
（３）字幕３Ｄ特殊効果について
（４）放送局側で３Ｄ映像を撮影する手法
【００２３】
１．第１の実施形態
（１）本実施形態に係るシステムの構成
図１は、第１の実施形態に係る受信装置１００の構成を示す模式図である。受信装置１００は、例えば、デジタル放送信号によって受信したテレビ番組などのコンテンツを視聴するためのユーザ側の装置であり、受信した映像を表示画面上に表示し、音声を出力する。受信装置１００は、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式による３Ｄ映像と、通常の２Ｄ映像を受信して表示することができる。なお、３Ｄ映像の方式については、サイド・バイ・サイド方式、トップ・アンド・ボトム方式以外のものであってもよい。
【００２４】
図１に示すように、受信装置１００は、復調処理部（デモジュレータ；Ｄｅｍｏｄ）１０２、Ｄｅｍｕｘ１０４、番組情報処理部１０６、ビデオデコーダ（Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ）１０８、字幕デコーダ（Ｃａｐｔｉｏｎ Ｄｅｃｏｄｅｒ）１１０を備える。また、受信装置１００は、オーディオデコーダ（Ａｕｄｉｏ Ｄｅｃｏｄｅｒ）１１２、アプリＯＳＤ処理部１１４，合成部１１６、３Ｄ変換処理部１１８、字幕（Ｃａｐｔｉｏｎ）３Ｄ変換処理部１２０、ディスプレイ１２２、スピーカ（ＳＰ）１２４を備える。
【００２５】
図１に示すように、放送局２００から送信された放送波はアンテナ２５０で受信されて、受信装置１００のデモジュレータ１０２に送られる。本実施形態では、放送波によって所定の３Ｄ方式による３Ｄの映像データが受信装置１００に送られるものとする。ここで、３Ｄ方式としては、トップ・アンド・ボトム方式、サイド・バイ・サイド方式などが挙げられるが、これらに限定されるものではない。
【００２６】
デジタル放送の場合は、例えばH.222 ISO/IEC IS 13818-1 Information Technology − Generic Coding of Moving Pictures and Associated Audio Information: Systemのトランスポートストリーム(Transport Stream)を使用して、ビデオ、オーディオ、ＥＰＧデータ等を送出し、受信装置はそれを受信して画像、音声、システムデータに分離して、画像、音声を表示する。
【００２７】
受信装置１００のデモジュレータ１０２では、変調された信号を復調し、データストリームを生成する。これにより、パケット列のデータがＤＥＭＵＸ１０４に送られる。
【００２８】
ＤＥＭＵＸ１０４では、データストリームをフィルタリングし、番組情報データ、映像データ、字幕データ、音声データに分ける。そして、ＤＥＭＵＸ１０４は、映像データをビデオデコーダ１０８に送るとともに、音声データをオーディオデコーダ１１２へ送る。また、ＤＥＭＵＸ１０４は、番組情報データを番組情報処理部１０６へ送るとともに、字幕データを字幕デコーダ１１０へ送る。
【００２９】
ビデオデコーダ１０８は、入力された映像データをデコードして、合成部１１６に送る。また、字幕デコーダ１１０は、字幕データをデコードして字幕３Ｄ変換部１２０に送る。また、番組情報処理部１０６は、番組情報をデコードし、番組情報に含まれるオフセット量Ｓｏを字幕３Ｄ変換部１２０に送る。なお、オフセット量Ｓｏについては後で詳細に説明する。
【００３０】
オーディオデコーダ１１２は、入力された音声データをデコードして、スピーカ１２４に送る。スピーカ１２４は、入力された音声データにより音声を発生させる。
【００３１】
上述したように放送局２００からは、トップ・アンド・ボトム方式などによる３Ｄ映像の映像データが送られる。このため、ビデオデコーダ１０８でデコードされた映像は、トップ・アンド・ボトム方式の場合、図１に示すように、右目用映像Ｒと左目用映像Ｌが縦方向に配列された映像４００となる。また、サイド・バイ・サイド方式の場合、ビデオデコーダ１０８でデコードされた映像は、右目用映像Ｒと左目用映像Ｌが水平方向に配列された映像４５０となる。
【００３２】
合成部１１６では、トップ・アンド・ボトム方式などによる３Ｄ映像に対して字幕データを付加する処理を行う。この際、右目用映像Ｒと左目用映像Ｌのそれぞれに同じ字幕が付加され、後で詳細に説明するが、右目用映像Ｒと左目用映像Ｌのそれぞれに付加される字幕は、オフセット量Ｓｏに基づいてその位置が互いにオフセットされる。
【００３３】
また、番組情報処理部１０６は、番組情報に含まれるオフセット量ＳｏをアプリＯＳＤ処理部１１４に送る。アプリＯＳＤ処理部１１４では、映像に挿入するロゴ、メッセージなどを作成し、合成部１１６に送る。合成部１１６は、３Ｄ映像に対してアプリＯＳＤ処理部１１４で作成されたロゴ、メッセージ等を付加する処理を行う。この際、右目用映像Ｒと左目用映像Ｌのそれぞれに同じロゴ、メッセージ等を付加し、右目用映像Ｒと左目用映像Ｌのそれぞれに付加されるロゴ、メッセージ等は、オフセット量Ｓｏに基づいてその位置が互いにオフセットさせる。
【００３４】
字幕、またはロゴ、メッセージ等が付加された映像データは、３Ｄ変換処理部１１８に送られる。３Ｄ変換処理部１１８では、映像データを例えば２４０ｋＨｚなどのハイフレームレートで表示するようにフレームレートを設定し、表示ディスプレイ１２２へ出力する。表示ディスプレイ１２２は、例えば液晶パネルなどから構成されるディスプレイであり、入力されたハイフレームレートの３Ｄ映像を表示する。
【００３５】
なお、図１に示す各構成要素は、ハードウェア（回路）、または中央演算処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。
【００３６】
（２）字幕３Ｄ変換処理部及び合成部で行われる処理
次に、字幕３Ｄ変換処理部１２０及び合成部１１６で行われる処理について詳細に説明する。図２は、字幕３Ｄ変換処理部１２０及び合成部１１６で行われる処理を示す模式図である。図２に示すように、字幕デコーダ１１０でデコードされて得られた字幕オブジェクト１５０は、右目用映像Ｒと左目用映像Ｌのそれぞれに付加される。ここでは、右目用映像Ｒに字幕オブジェクト１５０Ｒが付加され、左目用映像Ｌに字幕オブジェクト１５０Ｌが付加されるものとする。なお、図２では、サイド・バイ・サイド方式の場合と、トップ・アンド・ボトム方式のそれぞれにおいて、字幕オブジェクト１５０が付加される様子を示している。
【００３７】
字幕３Ｄ変換処理部１２０では、３Ｄ映像における字幕の奥行き方向の位置（飛び出し量）を調整するため、右目用映像Ｒに付加される字幕オブジェクト１５０Ｒと左目用映像Ｌに付加される字幕オブジェクト１５０Ｌとをオフセット量Ｓｏだけオフセットさせる。上述したように、オフセット量Ｓｏは、番組情報処理部１０６にて番組情報ＥＩＴから抽出されて字幕３Ｄ変換部１２０へ送られる。そして、このオフセット量Ｓｏの値を適宜設定することで、視聴者が３Ｄ映像を見た際に、表示ディスプレイ１２２の表示画面に対する字幕の奥行き方向の位置を自在に設定することができる。合成部１１６は、字幕３Ｄ変換部１２０で指定されたオフセット量Ｓｏに基づいて字幕オブジェクト１５０Ｒと字幕オブジェクト１５０Ｌをオフセットして、右目用映像Ｒ及び左目用映像Ｌのそれぞれに付加する。
【００３８】
以下、オフセット量Ｓｏにより表示画面に対する字幕の奥行き方向の位置を設定する手法について詳細に説明する。図３は、表示ディスプレイ１２２の表示画面に右目用映像Ｒと左目用映像Ｌが表示された際に、３Ｄ映像の奥行き方向の位置（飛び出し量）とオフセット量Ｓｏとの関係を示す図である。また、図３は、表示ディスプレイ１２２の表示画面及び視聴者（Ｍａｎ）を上方向から見た状態を模式的に示した図である。図３に示すように、立体映像を表示するため、表示画面には右目用映像Ｒと左目用映像Ｌが表示される。
【００３９】
図３において、表示画面上で右目用映像Ｒが左目用映像Ｌよりも左にオフセットしている場合は、ユーザには、３Ｄ映像が表示ディスプレイ１２２の表示画面よりも前に飛び出しているように見える。また、表示画面上で右目用映像Ｒが左目用映像Ｌよりも右にオフセットしている場合は、ユーザには、３Ｄ映像が表示画面よりも奥に位置しているように見える。また、右目用映像と左目用映像Ｒとがオフセットしていない場合は、映像が表示画面の位置に見える。
【００４０】
従って、図３において、右目用映像Ｒ１と左目用映像Ｌ１によって表示される立体映像３Ｄ１は、視聴者にとっては表示画面上に位置するように見える。また、右目用映像Ｒ２と左目用映像Ｌ２によって表示される立体映像３Ｄ２は、表示画面よりも手前側に飛び出して見える。また、右目用映像Ｒ３と左目用映像Ｌ３によって表示される立体映像３Ｄ３は、表示画面よりも奥側に位置しているように見える。従って、視聴者には、図３中に曲線で示す位置に３Ｄ映像によって表示された物体が位置しているように見える。このように、表示画面上で右目用映像Ｒ１と左目用映像Ｌ１との間にオフセットを持たせることで、図２中の実線の曲線で示すように、立体映像の表示画面に対する奥行き方向の位置を規定することができる。
【００４１】
３Ｄ映像の奥行き方向の位置は、ユーザの右目と右目用映像Ｒを結ぶ直線ＬＲと、ユーザの左目と左目用映像Ｒを結ぶ直線ＬＬとの交点の位置となる。従って、オフセット量Ｓｏにより、物体の位置を表示画面からの飛び出し量を自由に設定することが可能である。なお、以下の説明では、立体映像の表示画面の奥行き方向の位置を深さＤｏで表すものとし、Ｄｏ＞０の場合は映像の位置が表示画面よりも手前に見えるものとし、Ｄｏ＜０の場合は映像の位置が表示画面よりも奥に見えるものとする。
【００４２】
本実施形態において、字幕３Ｄ変換処理部１２０は、番組情報から抽出されたオフセット量Ｓｏを用いて字幕の奥行き方向の位置を決定して表示する。オフセット量Ｓｏは、放送局２００側で映像のコンテンツに応じて決定され、番組情報に挿入される。
【００４３】
図４は、字幕の最適な奥行き方向の位置について説明するための模式図である。図４に示すように、字幕は３Ｄ映像の最も飛び出した位置よりも手前（ユーザ側）に表示することが望ましい。これは、字幕が３Ｄ映像の最も飛び出した位置よりも奥に位置していると、映像に字幕が埋め込まれて見えるため、映像が不自然になるためである。
【００４４】
図５及び図６は、オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。ここで、図５は、３Ｄ映像で表示された物体が表示画面よりも手前に位置して見える場合を示している。また、図６は、３Ｄ映像で表示された物体が表示画面よりも奥に位置して見える場合を示している。
【００４５】
オフセット量Ｓｏは、表示ディスプレイ１２２の画素数で表すものとすると、以下の数式（１）によりオフセット量Ｓｏを求めることができる。
Ｓｏ＝Ｄｏ×（Ｗｅ／（Ｄｍ−Ｄｏ））×（Ｓｓ／Ｗｓ） ・・・（１）
数式（１）において、Ｗｅは視聴者の左右の眼の距離、Ｄｍは視聴者の眼から表示ディスク１２２の表示画面までの距離、Ｓｓは表示ディスプレイ１２２の横方向の画素数、Ｗｓは表示ディスプレイ１２２の横幅をそれぞれ示している。
【００４６】
数式（１）において、Ｄｏは物体の奥行き方向の位置を示しており、Ｄｏ＞０の場合は、物体が表示画面よりも手前側に位置している状態となる。また、Ｄｏ＜０の場合は、物体が表示画面よりも奥に位置している状態となる。また、Ｄｏ＝０の場合は、物体が表示画面上に位置している状態となる。また、オフセット量Ｓｏは、左目用映像Ｌを基準とし、左目用映像Ｌから右目用映像Ｒまでの距離を表すものとし、図５及び図６において、右から左に向かう方向をプラス方向とする。従って、図５の場合はＳｏ≧０であり、図６の場合はＳｏ＜０である。このようにＤｏとＳｏの符号＋，−を設定することで、物体が表示画面の手前側に表示される場合と奥側に表示される場合の双方において、数式（１）によりオフセット量Ｓｏを求めることができる。以上のように、数式（１）によれば、表示画面に対する字幕の奥行き方向の位置Ｄｏとオフセット量Ｓｏの関係を規定することができる。
【００４７】
（３）オフセット量Ｓｏを設定する具体的手法
次に、字幕のオフセット量Ｓｏを設定する具体的手法について説明する。図７は、映像の最大のオフセット情報に基づいて字幕のオフセット量を設定する手法を示す模式図である。図７は、ある番組の映像が表示されている最中に、ビデオデコーダ１０８でデコードされて表示ディスプレイ１２２に表示される映像コンテンツについて、曲線で示す表示位置の奥行きＤｏの最大値が時系列に変化する様子を示している。図７は、図３等と同様に、表示ディスプレイ１２２の表示画面を上方向から見た状態を示している。
【００４８】
図７に示すように、時間の経過に伴って映像コンテンツの奥行きはＤｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４、Ｄｏ５のように順次変化する。また、これに伴い、右目用映像Ｒと左目用映像Ｌのオフセット量も、Ｓｏ１、Ｓｏ２、Ｓｏ３、Ｓｏ４、Ｓｏ５のように順次変化する。
【００４９】
そして、図７に示す手法では、放送局２００側において、ある番組内で最も奥行きの位置が手前になる映像（３Ｄ映像として最も手前に飛び出した映像）を抽出する。図７の例では、奥行きがＤｏ３となる映像が最も手前に位置する映像となり、Ｓｏ３の値がプラス側に最も大きいオフセット量として抽出される。抽出された最大のオフセット量Ｓｏ３は、デジタル放送フォーマットの番組情報（例えばＥＩＴｐｆ、ＥＰＧデータ等）の中に挿入され、映像データ等とともに受信装置１００に伝送される。
【００５０】
受信装置１００は、番組情報処理部１０６において、番組情報をデコードし、番組情報の中からオフセット量Ｓｏ３を抽出すると、字幕３Ｄ変換部１２０にてこのオフセットＳｏ３よりもプラス側に大きいオフセット量を設定する。合成部１１６は、設定されたオフセット量に基づいて、字幕を右目用映像Ｒ及び左目用映像Ｌに合成する。このようにして、放送局２００から送られたオフセット量Ｓｏ３よりも大きいオフセット量で字幕を表示することにより、字幕を映像コンテンツよりも手前側に表示することができ、視聴者が違和感をもつことがなく、適正な表示を実現できる。
【００５１】
図８は、デジタル放送信号における映像情報ストリーム、番組情報ストリーム、及び字幕情報ストリームを示す模式図である。図８に示すように、番組１の映像情報ストリームを受信している場合、これに対応して番組１の番組情報と、番組１の次に放送される番組２の番組情報が受信される。従って、受信装置１００は、番組情報から現在視聴している番組のオフセット量Ｓｏと、次に視聴する番組のオフセット情報を取得することができる。従って、現在視聴している番組の３Ｄ映像内の適正な奥行き方向の位置に字幕オブジェクトを表示できるとともに、次に視聴する番組についても、３Ｄ映像内の適正な奥行き方向の位置に字幕オブジェクトを表示できる。
【００５２】
また、図８に示す字幕ストリームの字幕データ内にもオフセット量Ｓｏを挿入することが可能である。これについては、後述する第２の実施形態で詳細に説明する。
【００５３】
また、図９は、番組単位ではなく、ＧＯＰ単位で、Ｖｉｄｅｏ ＥＳのヘッダまたはＰＥＳヘッダの拡張領域に、最大オフセット値を記述する例を示す模式図である。例えばMPEG2 video(H.222 ISO/IEC IS 13818-1 Information Technology − Generic Coding of Moving Picture and Associated Audio Information: Video)に挿入する場合、同フォーマットで定義されるpicture headerのUser dataエリアに入れることができる。また、シーケンスヘッダ、スライスヘッダ、またはマクロブロックヘッダに３Ｄ映像に関するデータを挿入しても良い。この場合、各ＧＯＰに記述されるオフセット量Ｓｏの値は、Ｓｏ１、Ｓｏ２、Ｓｏ３、Ｓｏ４、Ｓｏ５のように時系列に刻々と変化する。
【００５４】
ビデオデコーダ１０８では、各ＧＯＰからオフセット量を逐次取得し、字幕３Ｄ変換部１２０へ送る。字幕３Ｄ変換部１２０では、取得したオフセットＳｏよりもプラス側に大きいオフセット量を設定し、合成部１１６にて字幕を右目用映像Ｒ及び左目用映像Ｌに合成する。以上のような構成によれば、ＧＯＰのヘッダ毎にオフセット量を切り換えることができるため、映像に応じて字幕の奥行き方向の位置を逐次設定することが可能となる。従って、受信装置１００では、映像と同じタイミングで表示される字幕表示において、映像のオフセット値より大きいオフセットで字幕を表示することにより、視聴者に違和感を与えることなく、適正な表示を確保できる。
【００５５】
以上説明したように第１の実施形態によれば、放送局２００側で放送信号の中に字幕オブジェクト１５０のオフセット量Ｓｏを挿入するようにした。このため、受信装置１００側ではオフセット量Ｓｏを抽出することによって、３Ｄ映像中の最適な奥行き位置に字幕オブジェクト１５０を配置することが可能となる。
【００５６】
２．第２の実施形態
次に、本発明の第２の実施形態について説明する。第２の実施形態は、字幕データに含まれる情報に基づいてオブジェクト単位で３Ｄの位置制御、特殊効果を行うものである。
【００５７】
（１）字幕オブジェクト単位でのオフセット量の設定
図１０は、第２の実施形態に係る字幕の３Ｄ表示の一例を示す模式図である。図１０に示す例では、映像として２人の人物Ａ，Ｂが表示ディスプレイ１２２の表示画面に３Ｄ表示されている。また、人物Ａ，Ｂの近傍には、人物Ａ，Ｂのそれぞれが発している言葉が字幕Ａ，Ｂとして表示されている。表示画面の下に示された曲線は、各人物Ａ，Ｂの表示画面位置に対する奥行き方向の位置を示しており、図３等と同様に表示ディスプレイ１２２を上方向から見た場合の映像の奥行き方向の位置を示している。
【００５８】
図１０に示すように、人物Ａは表示画面よりも手前に位置し、人物Ｂは表示画面よりも奥に位置している。このような場合において、図１０の例では、表示画面内で奥行き位置が異なるそれぞれの映像に合わせて字幕の奥行き位置を設定する。図１０の例では、人物Ａに関係する字幕Ａは、その奥行き方向の位置が人物Ａよりも手前側に３Ｄ表示される。また、人物Ｂに関係する字幕Ｂは、その奥行き方向の位置が人物Ｂよりも手前側に３Ｄ表示される。
【００５９】
このように、表示画面に字幕を表示する場合に、字幕が関係する映像のオブジェクト単位で３Ｄの奥行き方向の位置を制御し、コンテンツに合わせて放送局２００（事業者）側で字幕の表示位置を制御するための情報を放送信号の中に挿入する。これにより、映像の各コンテンツの奥行き位置と字幕の奥行き位置を一致させることができるため、視聴者に対して自然な映像を提供することができる。
【００６０】
図１１は、字幕の位置制御の手法を示す模式図である。字幕オブジェクト１５０は、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖの２つもパラメータによって表示画面の面方向の位置が制御される。また、第１の実施形態と同様に、オフセット量Ｓｏｄによって奥行き方向の位置が制御される。図１１に示すように、第２の実施形態では、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄは、デジタル放送フォーマットの中の字幕情報（字幕データ）の中に含まれている。
【００６１】
（２）第２の実施形態に係る受信装置の構成
図１２は、第２の実施形態に係る受信装置１００の構成を示す模式図である。第２の実施形態に係る受信装置１００の基本的な構成は、第１の実施形態に係る受信装置１００と同様である。第２の実施形態では、字幕情報の中に含まれる水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄは、字幕デコーダ１１０において抽出され、字幕３Ｄ変換部１２０に送られる。水平方向位置Ｓｏｈ及び垂直方向位置Ｓｏｖは、字幕オブジェクト１５０の画面内での位置を指定する情報である。図１１に示すように、水平方向位置Ｓｏｈは字幕オブジェクト１５０の水平方向の位置を、垂直方向位置Ｓｏｖは字幕オブジェクト１５０の垂直方向の位置を規定する。また、オフセット量Ｓｏｄは、第１の実施形態のオフセット量Ｓｏに対応し、字幕オブジェクト１５０の奥行き方向の位置を指定する。字幕３Ｄ変換部は、オフセット量Ｓｏｄに基づいて左右映像の字幕オブジェクト１５０Ｒ，１５０Ｌのオフセットを設定することで、字幕オブジェクト１５０の奥行き位置を指定する。また、字幕３Ｄ変換部１２０は、Ｓｏｈ，Ｓｏｖに基づいて左右映像の字幕オブジェクト１５０Ｒ，１５０Ｌの表示画面内の位置を指定する。合成部１１６は、字幕３Ｄ変換部１２０で指定されたＳｏｈ，Ｓｏｖ，Ｓｏに基づいて、字幕オブジェクト１５０Ｒ，１５０Ｌを右目用映像Ｒ及び左目用映像Ｌのそれぞれに付加する。これにより、図１１に示すように、字幕デコーダ１１０でデコードされた字幕オブジェクト１５０は、右目用映像Ｒと左目用映像Ｌのそれぞれに対して、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄに基づいて、適正な位置に付加される。このように、字幕オブジェクト１５０の画面位置と共に、３Ｄの奥行き方向の深さ（ｄｅｐｔｈ）をサンプルオフセット値Ｓｏｄにより字幕データ上で指定することができる。
【００６２】
従って、複数の字幕オブジェクト１５０を表示する場合は、各字幕オブジェクト１５０について水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、オフセット量Ｓｏｄを設定する。これにより、各字幕オブジェクト１５０を映像に合わせた最適な位置に配置することができる。
【００６３】
（３）字幕３Ｄ特殊効果について
図１３は、第２の実施形態にかかる字幕３Ｄの特殊効果を示す模式図である。上述したように、第２の実施形態では、字幕データの中に含まれるＳｏｈ，Ｓｏｖ，Ｓｏｄにより、左右映像中の字幕オブジェクト１５０Ｒ，１５０Ｌの位置を指定する。図１３の例は、これを応用して、２つの異なるオフセット量により字幕オブジェクト１５０の位置を指定するものである。
【００６４】
図１３に示す例では、「ＣＡＰＴＩＯＮ」という字幕オブジェクト１５０を表示する際に、字幕の左側ほど視聴者から見て表示画面よりも手前側に表示されるように３Ｄ表示を行う。このため、字幕データの中には、２つのオフセット量Ｓｏｄ１１，Ｓｏｄ１２が含まれている。
【００６５】
図１３に示すように、字幕オブジェクト１５０の左端では、オフセット量Ｓｏｄ１１により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１１となる。一方、字幕オブジェクト１５０の右側では、オフセット量Ｓｏｄ１２により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１２となる。そして、字幕オブジェクト１５０の左端と右端の間では、左端または右端からの水平方向の距離に応じて、リニアに奥行き位置が変化するようにオフセット量が受信装置１００側で規定される。従って、視聴者は、「ＣＡＰＴＩＯＮ」の左側ほど手前側に表示され、右側ほど奥に表示された字幕オブジェクト１５０を見ることができる。
【００６６】
また、図１４は、字幕３Ｄ特殊効果の他の例を示す模式図である。図１４に示す例では、字幕オブジェクト１５０の左右の端部が最も奥側に表示され、字幕オブジェクト１５０の中央が最も手前側に表示される。このため、図１４の例においても、２つの異なるオフセット量により字幕オブジェクトの位置が指定される。
【００６７】
図１４に示すように、字幕オブジェクト１５０の左端及び右端では、オフセット量Ｓｏｄ１１により左右映像中の字幕オブジェクトのオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１１となる。一方、字幕オブジェクト１５０の中央では、オフセット量Ｓｏｄ１２により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１２となる。そして、字幕オブジェクト１５０の左端と中央の間、及び中央と右端の間では、所定の曲線、またはリニアに奥行き方向の位置が変化するようオフセット量が受信装置１００側で規定される。従って、視聴者は、「ＣＡＰＴＩＯＮ」の左側及び右側ほど奥側に表示され、中央ほど手前側に表示された字幕オブジェクト１５０を見ることができる。
【００６８】
図１５は、字幕３Ｄ特殊効果として、字幕オブジェクト１５０を表示画面の奥から手前側に移動させる例を示す模式図である。図１５に示す例では、「ＣＡＰＴＩＯＮ」という字幕オブジェクト１５０を表示する際に、ある時間内で位置Ａから位置Ｂに移動させ、奥行き方向の位置を奥側から手前側に移動させる。
【００６９】
より詳細には、字幕データに含まれる情報により、移動開始位置Ａの画面上の位置情報（水平方向位置Ｓｏｈ１、垂直方向位置Ｓｏｖ１）とオフセット量Ｓｏｄ１１、及び、移動終了位置Ｂの画面上の位置情報（水平方向位置Ｓｏｈ２、垂直方向位置Ｓｏｖ２）とオフセット量Ｓｏｄ２１、移動スピード（または移動時間ｍｏｖｉｎｇ＿ｔｉｍｅ））が指定される。受信装置１００側では、さらに、後述する数式（３）で字幕オブジェクト１５０をスケーリングして、適切な大きさでレンダリングする。
【００７０】
図１５に示すように、受信装置１００では、Ｓｏｈ１，Ｓｏｖ１，Ｓｏｈ２，Ｓｏｖ２に基づいて字幕オブジェクト１５０を左右映像に合成することにより、字幕オブジェクト１５０を位置Ａから位置Ｂへ移動させる。また、位置Ａでは、オフセット量Ｓｏｄ１１により字幕オブジェクト１５０の奥行き方向の位置がＤｏｄ１１とされ、位置Ｂではオフセット量Ｓｏｄ２１により字幕オブジェクト１５０の奥行き方向の位置がＤｏ２１とされる。これにより、字幕オブジェクト１５０が位置Ａから位置Ｂへ移動させた際に、奥行き方向の位置を表示画面の奥側から手前側に移動させることができる。
【００７１】
図１６は、図１５の例において、字幕オブジェクト１５０のダイナミックな移動による表示サイズの変化を説明するための模式図である。字幕等のオブジェクトを奥行き方向で移動させた場合、表示画面上での表示サイズを一定にすると、オブジェクトの手前側への移動に伴って、オブジェクトの見た目のサイズが小さくなる。３Ｄの奥行き方向の移動に伴う、オブジェクトの見た目でのサイズを不変とするためには、表示画面上での表示領域において、サイズのスケーリングが必要となる。図１６は、このスケーリングを説明するための模式図である。
【００７２】
ここで、図１６（Ａ）は、オブジェクト（ここでは物体Ｘとする）が表示画面よりも奥に位置している場合を示している（図１５の位置Ａに相当）。また、図１６（Ｂ）は、図１６（Ａ）の状態から手前側に移動してきた物体Ｘが、表示画面よりも手前側に位置している場合を示している（図１６の位置Ｂに相当）。図１６（Ａ）及び図１６（Ｂ）において、Ｔｒは物体Ａの見かけ上の大きさ（横幅）、Ｔｏは表示画面上での物体Ａの大きさ（横幅）をそれぞれ示している。図１６（Ａ）及び図１６（Ｂ）において、Ｔｏは以下の数式（２）で表すことができる。
Ｔｏ＝（Ｄｍ＊Ｔｒ）／（Ｄｍ−Ｄｏ） ・・・（２）
【００７３】
ここで、位置Ａにおける物体Ｘの横幅をＴｏ１、位置Ｂにおける物体Ｘの横幅をＴｏ２とし、Ｔｏ１の値に対するＴｏ２の値をスケーリング率とする。この場合、図１６（Ａ）と図１６（Ｂ）において、見かけ上の物体Ｘの横幅Ｔｒを一定に保つためのスケーリング率は、位置Ａと位置Ｂにおける左右映像のオフセット量Ｓｏ１，Ｓｏ２とその他の固定パラメータより以下の数式（３）で求められる。
Ｔｏ２／Ｔｏ１＝（Ｄｍ−Ｄｏ１）／（Ｄｍ−Ｄｏ２）＝（Ｄｏ１・Ｓｏ２）／（Ｄｏ２・Ｓｏ１）＝（Ｗｅ・Ｓｓ＋Ｗｓ・Ｓｏ２）／（Ｗｅ・Ｓｓ＋Ｗｓ・Ｓｏ１）
【００７４】
以上のように、スケーリング率はオフセット量Ｓｏ１，Ｓｏ２で規定することができるため、字幕データの中にスケーリング率として新たなパラメータを含める必要はない。但し、位置Ａと位置Ｂにおいて、見かけ上の物体Ａの大きさを拡大したい場合等は、その拡大率を表すパラメータを字幕データの中に含めても良い。
【００７５】
図１７は、以上説明した特殊効果指定も含む字幕情報のフォーマット例を示す模式図である。特殊効果を使う場合は、Ｓｏｖ１，Ｓｏｈ１、ｔｅｘｔ（字幕オブジェクト自体の情報）の情報の他に、３Ｄ拡張領域が設けられる。
【００７６】
以下、３Ｄ拡張領域に含まれる情報について詳細に説明すると、３Ｄ拡張領域には、オフセット量Ｓｏｄ１１，Ｓｏｄ１２，Ｓｏｄ２１、スタティック効果フラグ（Ｓｔａｔｉｃ＿Ｅｆｆｅｃｔ＿ｆｌａｇ）、などの情報が含まれる。また、３Ｄ拡張領域には、ダイナミック効果フラグ（Ｄｙｎａｍｉｃ＿Ｅｆｆｅｃｔ＿ｆｌａｇ）、スタティック効果モード（Ｓｔａｔｉｃ＿Ｅｆｆｅｃｔ＿ｍｏｄｅ）、ダイナミック効果モード（Ｄｙｎａｍｉｃ＿Ｅｆｆｅｃｔ＿ｍｏｄｅ）、終端垂直方向位置Ｓｏｖ２、終端水平方向位置Ｓｏｈ２、移動時間（ｍｏｖｉｎｇ＿ｔｉｍｅ）などの情報が含まれる。
【００７７】
スタティック効果フラグが“１”の場合は、図１３、図１４で説明した特殊効果が実現される。この場合、例えばスタティック効果モードが“０”の場合は図１４の特殊効果が実現され、スタティック効果モードが“１”の場合は図１５の特殊効果が実現されるものとすることができる。また、この場合、２つのオフセット量Ｓｏｄ１１，Ｓｏｄ１２が用いられる。
【００７８】
また、ダイナミック効果フラグが“１”の場合は、図１５、図１６で説明した特殊効果が実現される。この場合、例えばダイナミック効果モードが“０”の場合は、図１５で説明したような、字幕オブジェクト１５０が奥側から手前側に移動する特殊効果が実現される。また、例えばダイナミック効果モードが“１”の場合は、字幕オブジェクト１５０が手前側から奥側に移動する特殊効果が実現される。また、ダイナミック効果モードの値により左右への字幕オブジェクト１５０の移動を規定しても良い。また、この場合、オフセット量Ｓｏｄ１１、オフセット量Ｓｏｄ２１は、位置Ａ、位置Ｂでのオフセット量をそれぞれ規定する。また、終端垂直方向位置Ｓｏｖ２、終端水平方向位置Ｓｏｈ２は、図１５の位置Ｂにおける位置情報である。また、移動時間（ｍｏｖｉｎｇ＿ｔｉｍｅ）は、図１５で位置Ａから位置Ｂへ移動する時間を規定する情報である。
【００７９】
以上のように、受信装置１００は、図１７に示す字幕データを受信することにより、図１３〜図１６で説明したような特殊効果を３Ｄ映像中で実現することができる。
【００８０】
（４）放送局側で３Ｄ映像を撮影する手法
図１８は、放送局２００側で３Ｄ映像の右目用映像Ｒ、左目用映像Ｌを撮影する手法を示す模式図である。ここでは、例えばスタジオ内の人物Ｃを撮影する場合について説明する。図１８に示すように、人物Ｃの手前には、右目用映像Ｒを撮影するカメラＲと左目用映像Ｌを撮影するカメラＬが配置される。そして、カメラＲの光軸ＯＲとカメラＬの光軸ＯＬとの交点を表示画面位置とする。また、表示画面の横幅をＷｓとし、表示画面の横方向画素数をＳｓとし、カメラＲ，Ｌから表示画面位置までの距離をＤｓとし、カメラＲ，Ｌから人物Ｃまでの距離をＤｏとし、カメラＲとカメラＬの距離をＷｃとする。このとき、表示画面位置でのオフセットＳｏは、以下の数式（４）で表すことができる。
Ｓｏ＝Ｗｃ＊（（Ｄｓ−Ｄｏ）／Ｄｏ）＊（Ｓｓ／Ｗｓ） ・・・（４）
従って、カメラＲ，Ｌで撮影した右目用映像Ｒ、左目用映像Ｌを上式で求めたオフセットＳｏだけオフセットすることにより、表示画面から手前側に飛び出した人物Ｃの映像を立体映像で表示することができる。
【００８１】
以上説明したように第２の実施形態によれば、字幕データの中に字幕オブジェクト１５０の水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、オフセット量Ｓｏｄの情報を挿入する。これにより、受信装置１００側では、これらの情報に基づいて字幕オブジェクト１５０を最適に表示することが可能となる。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ 受信装置
１０６ 番組情報処理部
１０８ ビデオデコーダ
１１０ 字幕デコーダ
１２０ 字幕３Ｄ変換部
２００ 放送局
【技術分野】
【０００１】
本発明は、受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造に関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、字幕データに基づく字幕をユーザからどの位の位置に表示するかを示す距離パラメータを発生し、復号側の立体表示装置において、字幕をユーザから所定の奥行き方向の位置にあるように表示する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７４１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、立体映像に字幕を挿入する場合、表示画面の奥行き方向において、映像に対する字幕の表示位置が重要となる。映像に対する字幕の表示位置が適切でない場合、例えば立体映像よりも奥に字幕が表示されるような場合は、字幕が映像の中に埋め込まれているように感じるため、視聴者に違和感を与えてしまう問題がある。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能な、新規かつ改良された受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記立体映像の奥行き方向の位置に関する位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を備える、受信装置が提供される。
【０００７】
また、前記位置情報は、前記立体映像を構成する右目用映像と左目用映像のオフセット量であってもよい。
【０００８】
また、前記位置情報は、前記放送信号の番組情報に含まれるものであってもよい。
【０００９】
また、前記位置情報は、前記放送信号の配信側において番組コンテンツ毎に予め設定されるものであってもよい。
【００１０】
また、前記位置情報は、前記立体映像を構成する映像信号のストリームに含まれるものであってもよい。
【００１１】
また、前記位置情報は、字幕オブジェクトの奥行き方向の位置を指定する情報であり、字幕オブジェクトのテキスト情報を規定する字幕情報に含まれるものであってもよい。
【００１２】
また、複数の前記位置情報に基づいて、１つの字幕オブジェクトの中で奥行き方向の位置が可変されるものであってもよい。
【００１３】
また、複数の前記位置情報に基づいて字幕オブジェクトの奥行き方向の位置が動的に変化するものであってもよい。
【００１４】
また、前記字幕オブジェクトの奥行き方向の位置が動的に変化する際の拡大率が前記位置情報によって規定されるものであってもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、立体映像の奥行き方向の位置に関する位置情報を含む放送信号を送出する送信装置と、前記放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を有する、受信装置と、を備える通信システムが提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、放送信号に含まれる立体映像のデータを取得するステップと、前記放送信号に含まれる字幕オブジェクトのデータを取得するステップと、前記立体映像の奥行き方向の位置に関する位置情報を取得するステップと、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定するステップと、を備える、立体画像への字幕合成方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、放送信号に含まれる立体映像のデータを取得する手段、前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、放送する立体映像コンテンツに係る映像信号と字幕オブジェクトのデータとを含むデジタル放送信号のデータ構造であって、放送信号に含まれる立体映像のデータを取得する手段、前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、として受信装置を機能させるためのデジタル放送信号のデータ構造が提供される。
【発明の効果】
【００１９】
本発明によれば、立体映像に対して字幕の奥行き方向の位置を最適に設定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る受信装置１００の構成を示す模式図である。
【図２】字幕３Ｄ変換処理部及び合成部で行われる処理を示す模式図である。
【図３】表示ディスプレイの表示画面に右目用映像Ｒと左目用映像Ｌが表示された際に、３Ｄ映像の奥行き方向の位置（飛び出し量）とオフセット量Ｓｏとの関係を示す図である。
【図４】字幕の最適な奥行き方向の位置について説明するための模式図である。
【図５】オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。
【図６】オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。
【図７】映像の最大のオフセット情報に基づいて字幕のオフセット量を設定する手法を示す模式図である。
【図８】デジタル放送信号における映像情報ストリーム、番組情報ストリーム、及び字幕情報ストリームを示す模式図である。
【図９】番組単位ではなく、ＧＯＰ単位で、Ｖｉｄｅｏ ＥＳのヘッダまたはＰＥＳヘッダの拡張領域に、最大オフセット値を記述する例を示す模式図である。
【図１０】第２の実施形態に係る字幕の３Ｄ表示の一例を示す模式図である。
【図１１】字幕の位置制御の手法を示す模式図である。
【図１２】第２の実施形態に係る受信装置の構成を示す模式図である。
【図１３】第２の実施形態にかかる字幕３Ｄの特殊効果を示す模式図である。
【図１４】字幕３Ｄ特殊効果の他の例を示す模式図である。
【図１５】字幕３Ｄ特殊効果として、字幕オブジェクトを表示画面の奥から手前側に移動させる例を示す模式図である。
【図１６】図１５の例において、字幕オブジェクトのダイナミックな移動による表示サイズの変化を説明するための模式図である。
【図１７】特殊効果指定も含む字幕情報のフォーマット例を示す模式図である。
【図１８】放送局２００側で３Ｄ映像の右目用映像Ｒ、左目用映像Ｌを撮影する手法を示す模式図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
（１）本実施形態に係るシステムの構成
（２）字幕３Ｄ変換処理部及び合成部で行われる処理
（３）オフセット量Ｓｏを設定する具体的手法
２．第２の実施形態
（１）字幕オブジェクト単位でのオフセット量の設定
（２）第２の実施形態に係る受信装置の構成
（３）字幕３Ｄ特殊効果について
（４）放送局側で３Ｄ映像を撮影する手法
【００２３】
１．第１の実施形態
（１）本実施形態に係るシステムの構成
図１は、第１の実施形態に係る受信装置１００の構成を示す模式図である。受信装置１００は、例えば、デジタル放送信号によって受信したテレビ番組などのコンテンツを視聴するためのユーザ側の装置であり、受信した映像を表示画面上に表示し、音声を出力する。受信装置１００は、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式による３Ｄ映像と、通常の２Ｄ映像を受信して表示することができる。なお、３Ｄ映像の方式については、サイド・バイ・サイド方式、トップ・アンド・ボトム方式以外のものであってもよい。
【００２４】
図１に示すように、受信装置１００は、復調処理部（デモジュレータ；Ｄｅｍｏｄ）１０２、Ｄｅｍｕｘ１０４、番組情報処理部１０６、ビデオデコーダ（Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ）１０８、字幕デコーダ（Ｃａｐｔｉｏｎ Ｄｅｃｏｄｅｒ）１１０を備える。また、受信装置１００は、オーディオデコーダ（Ａｕｄｉｏ Ｄｅｃｏｄｅｒ）１１２、アプリＯＳＤ処理部１１４，合成部１１６、３Ｄ変換処理部１１８、字幕（Ｃａｐｔｉｏｎ）３Ｄ変換処理部１２０、ディスプレイ１２２、スピーカ（ＳＰ）１２４を備える。
【００２５】
図１に示すように、放送局２００から送信された放送波はアンテナ２５０で受信されて、受信装置１００のデモジュレータ１０２に送られる。本実施形態では、放送波によって所定の３Ｄ方式による３Ｄの映像データが受信装置１００に送られるものとする。ここで、３Ｄ方式としては、トップ・アンド・ボトム方式、サイド・バイ・サイド方式などが挙げられるが、これらに限定されるものではない。
【００２６】
デジタル放送の場合は、例えばH.222 ISO/IEC IS 13818-1 Information Technology − Generic Coding of Moving Pictures and Associated Audio Information: Systemのトランスポートストリーム(Transport Stream)を使用して、ビデオ、オーディオ、ＥＰＧデータ等を送出し、受信装置はそれを受信して画像、音声、システムデータに分離して、画像、音声を表示する。
【００２７】
受信装置１００のデモジュレータ１０２では、変調された信号を復調し、データストリームを生成する。これにより、パケット列のデータがＤＥＭＵＸ１０４に送られる。
【００２８】
ＤＥＭＵＸ１０４では、データストリームをフィルタリングし、番組情報データ、映像データ、字幕データ、音声データに分ける。そして、ＤＥＭＵＸ１０４は、映像データをビデオデコーダ１０８に送るとともに、音声データをオーディオデコーダ１１２へ送る。また、ＤＥＭＵＸ１０４は、番組情報データを番組情報処理部１０６へ送るとともに、字幕データを字幕デコーダ１１０へ送る。
【００２９】
ビデオデコーダ１０８は、入力された映像データをデコードして、合成部１１６に送る。また、字幕デコーダ１１０は、字幕データをデコードして字幕３Ｄ変換部１２０に送る。また、番組情報処理部１０６は、番組情報をデコードし、番組情報に含まれるオフセット量Ｓｏを字幕３Ｄ変換部１２０に送る。なお、オフセット量Ｓｏについては後で詳細に説明する。
【００３０】
オーディオデコーダ１１２は、入力された音声データをデコードして、スピーカ１２４に送る。スピーカ１２４は、入力された音声データにより音声を発生させる。
【００３１】
上述したように放送局２００からは、トップ・アンド・ボトム方式などによる３Ｄ映像の映像データが送られる。このため、ビデオデコーダ１０８でデコードされた映像は、トップ・アンド・ボトム方式の場合、図１に示すように、右目用映像Ｒと左目用映像Ｌが縦方向に配列された映像４００となる。また、サイド・バイ・サイド方式の場合、ビデオデコーダ１０８でデコードされた映像は、右目用映像Ｒと左目用映像Ｌが水平方向に配列された映像４５０となる。
【００３２】
合成部１１６では、トップ・アンド・ボトム方式などによる３Ｄ映像に対して字幕データを付加する処理を行う。この際、右目用映像Ｒと左目用映像Ｌのそれぞれに同じ字幕が付加され、後で詳細に説明するが、右目用映像Ｒと左目用映像Ｌのそれぞれに付加される字幕は、オフセット量Ｓｏに基づいてその位置が互いにオフセットされる。
【００３３】
また、番組情報処理部１０６は、番組情報に含まれるオフセット量ＳｏをアプリＯＳＤ処理部１１４に送る。アプリＯＳＤ処理部１１４では、映像に挿入するロゴ、メッセージなどを作成し、合成部１１６に送る。合成部１１６は、３Ｄ映像に対してアプリＯＳＤ処理部１１４で作成されたロゴ、メッセージ等を付加する処理を行う。この際、右目用映像Ｒと左目用映像Ｌのそれぞれに同じロゴ、メッセージ等を付加し、右目用映像Ｒと左目用映像Ｌのそれぞれに付加されるロゴ、メッセージ等は、オフセット量Ｓｏに基づいてその位置が互いにオフセットさせる。
【００３４】
字幕、またはロゴ、メッセージ等が付加された映像データは、３Ｄ変換処理部１１８に送られる。３Ｄ変換処理部１１８では、映像データを例えば２４０ｋＨｚなどのハイフレームレートで表示するようにフレームレートを設定し、表示ディスプレイ１２２へ出力する。表示ディスプレイ１２２は、例えば液晶パネルなどから構成されるディスプレイであり、入力されたハイフレームレートの３Ｄ映像を表示する。
【００３５】
なお、図１に示す各構成要素は、ハードウェア（回路）、または中央演算処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。
【００３６】
（２）字幕３Ｄ変換処理部及び合成部で行われる処理
次に、字幕３Ｄ変換処理部１２０及び合成部１１６で行われる処理について詳細に説明する。図２は、字幕３Ｄ変換処理部１２０及び合成部１１６で行われる処理を示す模式図である。図２に示すように、字幕デコーダ１１０でデコードされて得られた字幕オブジェクト１５０は、右目用映像Ｒと左目用映像Ｌのそれぞれに付加される。ここでは、右目用映像Ｒに字幕オブジェクト１５０Ｒが付加され、左目用映像Ｌに字幕オブジェクト１５０Ｌが付加されるものとする。なお、図２では、サイド・バイ・サイド方式の場合と、トップ・アンド・ボトム方式のそれぞれにおいて、字幕オブジェクト１５０が付加される様子を示している。
【００３７】
字幕３Ｄ変換処理部１２０では、３Ｄ映像における字幕の奥行き方向の位置（飛び出し量）を調整するため、右目用映像Ｒに付加される字幕オブジェクト１５０Ｒと左目用映像Ｌに付加される字幕オブジェクト１５０Ｌとをオフセット量Ｓｏだけオフセットさせる。上述したように、オフセット量Ｓｏは、番組情報処理部１０６にて番組情報ＥＩＴから抽出されて字幕３Ｄ変換部１２０へ送られる。そして、このオフセット量Ｓｏの値を適宜設定することで、視聴者が３Ｄ映像を見た際に、表示ディスプレイ１２２の表示画面に対する字幕の奥行き方向の位置を自在に設定することができる。合成部１１６は、字幕３Ｄ変換部１２０で指定されたオフセット量Ｓｏに基づいて字幕オブジェクト１５０Ｒと字幕オブジェクト１５０Ｌをオフセットして、右目用映像Ｒ及び左目用映像Ｌのそれぞれに付加する。
【００３８】
以下、オフセット量Ｓｏにより表示画面に対する字幕の奥行き方向の位置を設定する手法について詳細に説明する。図３は、表示ディスプレイ１２２の表示画面に右目用映像Ｒと左目用映像Ｌが表示された際に、３Ｄ映像の奥行き方向の位置（飛び出し量）とオフセット量Ｓｏとの関係を示す図である。また、図３は、表示ディスプレイ１２２の表示画面及び視聴者（Ｍａｎ）を上方向から見た状態を模式的に示した図である。図３に示すように、立体映像を表示するため、表示画面には右目用映像Ｒと左目用映像Ｌが表示される。
【００３９】
図３において、表示画面上で右目用映像Ｒが左目用映像Ｌよりも左にオフセットしている場合は、ユーザには、３Ｄ映像が表示ディスプレイ１２２の表示画面よりも前に飛び出しているように見える。また、表示画面上で右目用映像Ｒが左目用映像Ｌよりも右にオフセットしている場合は、ユーザには、３Ｄ映像が表示画面よりも奥に位置しているように見える。また、右目用映像と左目用映像Ｒとがオフセットしていない場合は、映像が表示画面の位置に見える。
【００４０】
従って、図３において、右目用映像Ｒ１と左目用映像Ｌ１によって表示される立体映像３Ｄ１は、視聴者にとっては表示画面上に位置するように見える。また、右目用映像Ｒ２と左目用映像Ｌ２によって表示される立体映像３Ｄ２は、表示画面よりも手前側に飛び出して見える。また、右目用映像Ｒ３と左目用映像Ｌ３によって表示される立体映像３Ｄ３は、表示画面よりも奥側に位置しているように見える。従って、視聴者には、図３中に曲線で示す位置に３Ｄ映像によって表示された物体が位置しているように見える。このように、表示画面上で右目用映像Ｒ１と左目用映像Ｌ１との間にオフセットを持たせることで、図２中の実線の曲線で示すように、立体映像の表示画面に対する奥行き方向の位置を規定することができる。
【００４１】
３Ｄ映像の奥行き方向の位置は、ユーザの右目と右目用映像Ｒを結ぶ直線ＬＲと、ユーザの左目と左目用映像Ｒを結ぶ直線ＬＬとの交点の位置となる。従って、オフセット量Ｓｏにより、物体の位置を表示画面からの飛び出し量を自由に設定することが可能である。なお、以下の説明では、立体映像の表示画面の奥行き方向の位置を深さＤｏで表すものとし、Ｄｏ＞０の場合は映像の位置が表示画面よりも手前に見えるものとし、Ｄｏ＜０の場合は映像の位置が表示画面よりも奥に見えるものとする。
【００４２】
本実施形態において、字幕３Ｄ変換処理部１２０は、番組情報から抽出されたオフセット量Ｓｏを用いて字幕の奥行き方向の位置を決定して表示する。オフセット量Ｓｏは、放送局２００側で映像のコンテンツに応じて決定され、番組情報に挿入される。
【００４３】
図４は、字幕の最適な奥行き方向の位置について説明するための模式図である。図４に示すように、字幕は３Ｄ映像の最も飛び出した位置よりも手前（ユーザ側）に表示することが望ましい。これは、字幕が３Ｄ映像の最も飛び出した位置よりも奥に位置していると、映像に字幕が埋め込まれて見えるため、映像が不自然になるためである。
【００４４】
図５及び図６は、オフセット値Ｓｏと深さＤｏとの関係を示す模式図である。ここで、図５は、３Ｄ映像で表示された物体が表示画面よりも手前に位置して見える場合を示している。また、図６は、３Ｄ映像で表示された物体が表示画面よりも奥に位置して見える場合を示している。
【００４５】
オフセット量Ｓｏは、表示ディスプレイ１２２の画素数で表すものとすると、以下の数式（１）によりオフセット量Ｓｏを求めることができる。
Ｓｏ＝Ｄｏ×（Ｗｅ／（Ｄｍ−Ｄｏ））×（Ｓｓ／Ｗｓ） ・・・（１）
数式（１）において、Ｗｅは視聴者の左右の眼の距離、Ｄｍは視聴者の眼から表示ディスク１２２の表示画面までの距離、Ｓｓは表示ディスプレイ１２２の横方向の画素数、Ｗｓは表示ディスプレイ１２２の横幅をそれぞれ示している。
【００４６】
数式（１）において、Ｄｏは物体の奥行き方向の位置を示しており、Ｄｏ＞０の場合は、物体が表示画面よりも手前側に位置している状態となる。また、Ｄｏ＜０の場合は、物体が表示画面よりも奥に位置している状態となる。また、Ｄｏ＝０の場合は、物体が表示画面上に位置している状態となる。また、オフセット量Ｓｏは、左目用映像Ｌを基準とし、左目用映像Ｌから右目用映像Ｒまでの距離を表すものとし、図５及び図６において、右から左に向かう方向をプラス方向とする。従って、図５の場合はＳｏ≧０であり、図６の場合はＳｏ＜０である。このようにＤｏとＳｏの符号＋，−を設定することで、物体が表示画面の手前側に表示される場合と奥側に表示される場合の双方において、数式（１）によりオフセット量Ｓｏを求めることができる。以上のように、数式（１）によれば、表示画面に対する字幕の奥行き方向の位置Ｄｏとオフセット量Ｓｏの関係を規定することができる。
【００４７】
（３）オフセット量Ｓｏを設定する具体的手法
次に、字幕のオフセット量Ｓｏを設定する具体的手法について説明する。図７は、映像の最大のオフセット情報に基づいて字幕のオフセット量を設定する手法を示す模式図である。図７は、ある番組の映像が表示されている最中に、ビデオデコーダ１０８でデコードされて表示ディスプレイ１２２に表示される映像コンテンツについて、曲線で示す表示位置の奥行きＤｏの最大値が時系列に変化する様子を示している。図７は、図３等と同様に、表示ディスプレイ１２２の表示画面を上方向から見た状態を示している。
【００４８】
図７に示すように、時間の経過に伴って映像コンテンツの奥行きはＤｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４、Ｄｏ５のように順次変化する。また、これに伴い、右目用映像Ｒと左目用映像Ｌのオフセット量も、Ｓｏ１、Ｓｏ２、Ｓｏ３、Ｓｏ４、Ｓｏ５のように順次変化する。
【００４９】
そして、図７に示す手法では、放送局２００側において、ある番組内で最も奥行きの位置が手前になる映像（３Ｄ映像として最も手前に飛び出した映像）を抽出する。図７の例では、奥行きがＤｏ３となる映像が最も手前に位置する映像となり、Ｓｏ３の値がプラス側に最も大きいオフセット量として抽出される。抽出された最大のオフセット量Ｓｏ３は、デジタル放送フォーマットの番組情報（例えばＥＩＴｐｆ、ＥＰＧデータ等）の中に挿入され、映像データ等とともに受信装置１００に伝送される。
【００５０】
受信装置１００は、番組情報処理部１０６において、番組情報をデコードし、番組情報の中からオフセット量Ｓｏ３を抽出すると、字幕３Ｄ変換部１２０にてこのオフセットＳｏ３よりもプラス側に大きいオフセット量を設定する。合成部１１６は、設定されたオフセット量に基づいて、字幕を右目用映像Ｒ及び左目用映像Ｌに合成する。このようにして、放送局２００から送られたオフセット量Ｓｏ３よりも大きいオフセット量で字幕を表示することにより、字幕を映像コンテンツよりも手前側に表示することができ、視聴者が違和感をもつことがなく、適正な表示を実現できる。
【００５１】
図８は、デジタル放送信号における映像情報ストリーム、番組情報ストリーム、及び字幕情報ストリームを示す模式図である。図８に示すように、番組１の映像情報ストリームを受信している場合、これに対応して番組１の番組情報と、番組１の次に放送される番組２の番組情報が受信される。従って、受信装置１００は、番組情報から現在視聴している番組のオフセット量Ｓｏと、次に視聴する番組のオフセット情報を取得することができる。従って、現在視聴している番組の３Ｄ映像内の適正な奥行き方向の位置に字幕オブジェクトを表示できるとともに、次に視聴する番組についても、３Ｄ映像内の適正な奥行き方向の位置に字幕オブジェクトを表示できる。
【００５２】
また、図８に示す字幕ストリームの字幕データ内にもオフセット量Ｓｏを挿入することが可能である。これについては、後述する第２の実施形態で詳細に説明する。
【００５３】
また、図９は、番組単位ではなく、ＧＯＰ単位で、Ｖｉｄｅｏ ＥＳのヘッダまたはＰＥＳヘッダの拡張領域に、最大オフセット値を記述する例を示す模式図である。例えばMPEG2 video(H.222 ISO/IEC IS 13818-1 Information Technology − Generic Coding of Moving Picture and Associated Audio Information: Video)に挿入する場合、同フォーマットで定義されるpicture headerのUser dataエリアに入れることができる。また、シーケンスヘッダ、スライスヘッダ、またはマクロブロックヘッダに３Ｄ映像に関するデータを挿入しても良い。この場合、各ＧＯＰに記述されるオフセット量Ｓｏの値は、Ｓｏ１、Ｓｏ２、Ｓｏ３、Ｓｏ４、Ｓｏ５のように時系列に刻々と変化する。
【００５４】
ビデオデコーダ１０８では、各ＧＯＰからオフセット量を逐次取得し、字幕３Ｄ変換部１２０へ送る。字幕３Ｄ変換部１２０では、取得したオフセットＳｏよりもプラス側に大きいオフセット量を設定し、合成部１１６にて字幕を右目用映像Ｒ及び左目用映像Ｌに合成する。以上のような構成によれば、ＧＯＰのヘッダ毎にオフセット量を切り換えることができるため、映像に応じて字幕の奥行き方向の位置を逐次設定することが可能となる。従って、受信装置１００では、映像と同じタイミングで表示される字幕表示において、映像のオフセット値より大きいオフセットで字幕を表示することにより、視聴者に違和感を与えることなく、適正な表示を確保できる。
【００５５】
以上説明したように第１の実施形態によれば、放送局２００側で放送信号の中に字幕オブジェクト１５０のオフセット量Ｓｏを挿入するようにした。このため、受信装置１００側ではオフセット量Ｓｏを抽出することによって、３Ｄ映像中の最適な奥行き位置に字幕オブジェクト１５０を配置することが可能となる。
【００５６】
２．第２の実施形態
次に、本発明の第２の実施形態について説明する。第２の実施形態は、字幕データに含まれる情報に基づいてオブジェクト単位で３Ｄの位置制御、特殊効果を行うものである。
【００５７】
（１）字幕オブジェクト単位でのオフセット量の設定
図１０は、第２の実施形態に係る字幕の３Ｄ表示の一例を示す模式図である。図１０に示す例では、映像として２人の人物Ａ，Ｂが表示ディスプレイ１２２の表示画面に３Ｄ表示されている。また、人物Ａ，Ｂの近傍には、人物Ａ，Ｂのそれぞれが発している言葉が字幕Ａ，Ｂとして表示されている。表示画面の下に示された曲線は、各人物Ａ，Ｂの表示画面位置に対する奥行き方向の位置を示しており、図３等と同様に表示ディスプレイ１２２を上方向から見た場合の映像の奥行き方向の位置を示している。
【００５８】
図１０に示すように、人物Ａは表示画面よりも手前に位置し、人物Ｂは表示画面よりも奥に位置している。このような場合において、図１０の例では、表示画面内で奥行き位置が異なるそれぞれの映像に合わせて字幕の奥行き位置を設定する。図１０の例では、人物Ａに関係する字幕Ａは、その奥行き方向の位置が人物Ａよりも手前側に３Ｄ表示される。また、人物Ｂに関係する字幕Ｂは、その奥行き方向の位置が人物Ｂよりも手前側に３Ｄ表示される。
【００５９】
このように、表示画面に字幕を表示する場合に、字幕が関係する映像のオブジェクト単位で３Ｄの奥行き方向の位置を制御し、コンテンツに合わせて放送局２００（事業者）側で字幕の表示位置を制御するための情報を放送信号の中に挿入する。これにより、映像の各コンテンツの奥行き位置と字幕の奥行き位置を一致させることができるため、視聴者に対して自然な映像を提供することができる。
【００６０】
図１１は、字幕の位置制御の手法を示す模式図である。字幕オブジェクト１５０は、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖの２つもパラメータによって表示画面の面方向の位置が制御される。また、第１の実施形態と同様に、オフセット量Ｓｏｄによって奥行き方向の位置が制御される。図１１に示すように、第２の実施形態では、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄは、デジタル放送フォーマットの中の字幕情報（字幕データ）の中に含まれている。
【００６１】
（２）第２の実施形態に係る受信装置の構成
図１２は、第２の実施形態に係る受信装置１００の構成を示す模式図である。第２の実施形態に係る受信装置１００の基本的な構成は、第１の実施形態に係る受信装置１００と同様である。第２の実施形態では、字幕情報の中に含まれる水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄは、字幕デコーダ１１０において抽出され、字幕３Ｄ変換部１２０に送られる。水平方向位置Ｓｏｈ及び垂直方向位置Ｓｏｖは、字幕オブジェクト１５０の画面内での位置を指定する情報である。図１１に示すように、水平方向位置Ｓｏｈは字幕オブジェクト１５０の水平方向の位置を、垂直方向位置Ｓｏｖは字幕オブジェクト１５０の垂直方向の位置を規定する。また、オフセット量Ｓｏｄは、第１の実施形態のオフセット量Ｓｏに対応し、字幕オブジェクト１５０の奥行き方向の位置を指定する。字幕３Ｄ変換部は、オフセット量Ｓｏｄに基づいて左右映像の字幕オブジェクト１５０Ｒ，１５０Ｌのオフセットを設定することで、字幕オブジェクト１５０の奥行き位置を指定する。また、字幕３Ｄ変換部１２０は、Ｓｏｈ，Ｓｏｖに基づいて左右映像の字幕オブジェクト１５０Ｒ，１５０Ｌの表示画面内の位置を指定する。合成部１１６は、字幕３Ｄ変換部１２０で指定されたＳｏｈ，Ｓｏｖ，Ｓｏに基づいて、字幕オブジェクト１５０Ｒ，１５０Ｌを右目用映像Ｒ及び左目用映像Ｌのそれぞれに付加する。これにより、図１１に示すように、字幕デコーダ１１０でデコードされた字幕オブジェクト１５０は、右目用映像Ｒと左目用映像Ｌのそれぞれに対して、水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、及びオフセット量Ｓｏｄに基づいて、適正な位置に付加される。このように、字幕オブジェクト１５０の画面位置と共に、３Ｄの奥行き方向の深さ（ｄｅｐｔｈ）をサンプルオフセット値Ｓｏｄにより字幕データ上で指定することができる。
【００６２】
従って、複数の字幕オブジェクト１５０を表示する場合は、各字幕オブジェクト１５０について水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、オフセット量Ｓｏｄを設定する。これにより、各字幕オブジェクト１５０を映像に合わせた最適な位置に配置することができる。
【００６３】
（３）字幕３Ｄ特殊効果について
図１３は、第２の実施形態にかかる字幕３Ｄの特殊効果を示す模式図である。上述したように、第２の実施形態では、字幕データの中に含まれるＳｏｈ，Ｓｏｖ，Ｓｏｄにより、左右映像中の字幕オブジェクト１５０Ｒ，１５０Ｌの位置を指定する。図１３の例は、これを応用して、２つの異なるオフセット量により字幕オブジェクト１５０の位置を指定するものである。
【００６４】
図１３に示す例では、「ＣＡＰＴＩＯＮ」という字幕オブジェクト１５０を表示する際に、字幕の左側ほど視聴者から見て表示画面よりも手前側に表示されるように３Ｄ表示を行う。このため、字幕データの中には、２つのオフセット量Ｓｏｄ１１，Ｓｏｄ１２が含まれている。
【００６５】
図１３に示すように、字幕オブジェクト１５０の左端では、オフセット量Ｓｏｄ１１により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１１となる。一方、字幕オブジェクト１５０の右側では、オフセット量Ｓｏｄ１２により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１２となる。そして、字幕オブジェクト１５０の左端と右端の間では、左端または右端からの水平方向の距離に応じて、リニアに奥行き位置が変化するようにオフセット量が受信装置１００側で規定される。従って、視聴者は、「ＣＡＰＴＩＯＮ」の左側ほど手前側に表示され、右側ほど奥に表示された字幕オブジェクト１５０を見ることができる。
【００６６】
また、図１４は、字幕３Ｄ特殊効果の他の例を示す模式図である。図１４に示す例では、字幕オブジェクト１５０の左右の端部が最も奥側に表示され、字幕オブジェクト１５０の中央が最も手前側に表示される。このため、図１４の例においても、２つの異なるオフセット量により字幕オブジェクトの位置が指定される。
【００６７】
図１４に示すように、字幕オブジェクト１５０の左端及び右端では、オフセット量Ｓｏｄ１１により左右映像中の字幕オブジェクトのオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１１となる。一方、字幕オブジェクト１５０の中央では、オフセット量Ｓｏｄ１２により左右映像中の字幕オブジェクト１５０のオフセットが規定され、表示画面に対する奥行き方向の位置はＤｏ１２となる。そして、字幕オブジェクト１５０の左端と中央の間、及び中央と右端の間では、所定の曲線、またはリニアに奥行き方向の位置が変化するようオフセット量が受信装置１００側で規定される。従って、視聴者は、「ＣＡＰＴＩＯＮ」の左側及び右側ほど奥側に表示され、中央ほど手前側に表示された字幕オブジェクト１５０を見ることができる。
【００６８】
図１５は、字幕３Ｄ特殊効果として、字幕オブジェクト１５０を表示画面の奥から手前側に移動させる例を示す模式図である。図１５に示す例では、「ＣＡＰＴＩＯＮ」という字幕オブジェクト１５０を表示する際に、ある時間内で位置Ａから位置Ｂに移動させ、奥行き方向の位置を奥側から手前側に移動させる。
【００６９】
より詳細には、字幕データに含まれる情報により、移動開始位置Ａの画面上の位置情報（水平方向位置Ｓｏｈ１、垂直方向位置Ｓｏｖ１）とオフセット量Ｓｏｄ１１、及び、移動終了位置Ｂの画面上の位置情報（水平方向位置Ｓｏｈ２、垂直方向位置Ｓｏｖ２）とオフセット量Ｓｏｄ２１、移動スピード（または移動時間ｍｏｖｉｎｇ＿ｔｉｍｅ））が指定される。受信装置１００側では、さらに、後述する数式（３）で字幕オブジェクト１５０をスケーリングして、適切な大きさでレンダリングする。
【００７０】
図１５に示すように、受信装置１００では、Ｓｏｈ１，Ｓｏｖ１，Ｓｏｈ２，Ｓｏｖ２に基づいて字幕オブジェクト１５０を左右映像に合成することにより、字幕オブジェクト１５０を位置Ａから位置Ｂへ移動させる。また、位置Ａでは、オフセット量Ｓｏｄ１１により字幕オブジェクト１５０の奥行き方向の位置がＤｏｄ１１とされ、位置Ｂではオフセット量Ｓｏｄ２１により字幕オブジェクト１５０の奥行き方向の位置がＤｏ２１とされる。これにより、字幕オブジェクト１５０が位置Ａから位置Ｂへ移動させた際に、奥行き方向の位置を表示画面の奥側から手前側に移動させることができる。
【００７１】
図１６は、図１５の例において、字幕オブジェクト１５０のダイナミックな移動による表示サイズの変化を説明するための模式図である。字幕等のオブジェクトを奥行き方向で移動させた場合、表示画面上での表示サイズを一定にすると、オブジェクトの手前側への移動に伴って、オブジェクトの見た目のサイズが小さくなる。３Ｄの奥行き方向の移動に伴う、オブジェクトの見た目でのサイズを不変とするためには、表示画面上での表示領域において、サイズのスケーリングが必要となる。図１６は、このスケーリングを説明するための模式図である。
【００７２】
ここで、図１６（Ａ）は、オブジェクト（ここでは物体Ｘとする）が表示画面よりも奥に位置している場合を示している（図１５の位置Ａに相当）。また、図１６（Ｂ）は、図１６（Ａ）の状態から手前側に移動してきた物体Ｘが、表示画面よりも手前側に位置している場合を示している（図１６の位置Ｂに相当）。図１６（Ａ）及び図１６（Ｂ）において、Ｔｒは物体Ａの見かけ上の大きさ（横幅）、Ｔｏは表示画面上での物体Ａの大きさ（横幅）をそれぞれ示している。図１６（Ａ）及び図１６（Ｂ）において、Ｔｏは以下の数式（２）で表すことができる。
Ｔｏ＝（Ｄｍ＊Ｔｒ）／（Ｄｍ−Ｄｏ） ・・・（２）
【００７３】
ここで、位置Ａにおける物体Ｘの横幅をＴｏ１、位置Ｂにおける物体Ｘの横幅をＴｏ２とし、Ｔｏ１の値に対するＴｏ２の値をスケーリング率とする。この場合、図１６（Ａ）と図１６（Ｂ）において、見かけ上の物体Ｘの横幅Ｔｒを一定に保つためのスケーリング率は、位置Ａと位置Ｂにおける左右映像のオフセット量Ｓｏ１，Ｓｏ２とその他の固定パラメータより以下の数式（３）で求められる。
Ｔｏ２／Ｔｏ１＝（Ｄｍ−Ｄｏ１）／（Ｄｍ−Ｄｏ２）＝（Ｄｏ１・Ｓｏ２）／（Ｄｏ２・Ｓｏ１）＝（Ｗｅ・Ｓｓ＋Ｗｓ・Ｓｏ２）／（Ｗｅ・Ｓｓ＋Ｗｓ・Ｓｏ１）
【００７４】
以上のように、スケーリング率はオフセット量Ｓｏ１，Ｓｏ２で規定することができるため、字幕データの中にスケーリング率として新たなパラメータを含める必要はない。但し、位置Ａと位置Ｂにおいて、見かけ上の物体Ａの大きさを拡大したい場合等は、その拡大率を表すパラメータを字幕データの中に含めても良い。
【００７５】
図１７は、以上説明した特殊効果指定も含む字幕情報のフォーマット例を示す模式図である。特殊効果を使う場合は、Ｓｏｖ１，Ｓｏｈ１、ｔｅｘｔ（字幕オブジェクト自体の情報）の情報の他に、３Ｄ拡張領域が設けられる。
【００７６】
以下、３Ｄ拡張領域に含まれる情報について詳細に説明すると、３Ｄ拡張領域には、オフセット量Ｓｏｄ１１，Ｓｏｄ１２，Ｓｏｄ２１、スタティック効果フラグ（Ｓｔａｔｉｃ＿Ｅｆｆｅｃｔ＿ｆｌａｇ）、などの情報が含まれる。また、３Ｄ拡張領域には、ダイナミック効果フラグ（Ｄｙｎａｍｉｃ＿Ｅｆｆｅｃｔ＿ｆｌａｇ）、スタティック効果モード（Ｓｔａｔｉｃ＿Ｅｆｆｅｃｔ＿ｍｏｄｅ）、ダイナミック効果モード（Ｄｙｎａｍｉｃ＿Ｅｆｆｅｃｔ＿ｍｏｄｅ）、終端垂直方向位置Ｓｏｖ２、終端水平方向位置Ｓｏｈ２、移動時間（ｍｏｖｉｎｇ＿ｔｉｍｅ）などの情報が含まれる。
【００７７】
スタティック効果フラグが“１”の場合は、図１３、図１４で説明した特殊効果が実現される。この場合、例えばスタティック効果モードが“０”の場合は図１４の特殊効果が実現され、スタティック効果モードが“１”の場合は図１５の特殊効果が実現されるものとすることができる。また、この場合、２つのオフセット量Ｓｏｄ１１，Ｓｏｄ１２が用いられる。
【００７８】
また、ダイナミック効果フラグが“１”の場合は、図１５、図１６で説明した特殊効果が実現される。この場合、例えばダイナミック効果モードが“０”の場合は、図１５で説明したような、字幕オブジェクト１５０が奥側から手前側に移動する特殊効果が実現される。また、例えばダイナミック効果モードが“１”の場合は、字幕オブジェクト１５０が手前側から奥側に移動する特殊効果が実現される。また、ダイナミック効果モードの値により左右への字幕オブジェクト１５０の移動を規定しても良い。また、この場合、オフセット量Ｓｏｄ１１、オフセット量Ｓｏｄ２１は、位置Ａ、位置Ｂでのオフセット量をそれぞれ規定する。また、終端垂直方向位置Ｓｏｖ２、終端水平方向位置Ｓｏｈ２は、図１５の位置Ｂにおける位置情報である。また、移動時間（ｍｏｖｉｎｇ＿ｔｉｍｅ）は、図１５で位置Ａから位置Ｂへ移動する時間を規定する情報である。
【００７９】
以上のように、受信装置１００は、図１７に示す字幕データを受信することにより、図１３〜図１６で説明したような特殊効果を３Ｄ映像中で実現することができる。
【００８０】
（４）放送局側で３Ｄ映像を撮影する手法
図１８は、放送局２００側で３Ｄ映像の右目用映像Ｒ、左目用映像Ｌを撮影する手法を示す模式図である。ここでは、例えばスタジオ内の人物Ｃを撮影する場合について説明する。図１８に示すように、人物Ｃの手前には、右目用映像Ｒを撮影するカメラＲと左目用映像Ｌを撮影するカメラＬが配置される。そして、カメラＲの光軸ＯＲとカメラＬの光軸ＯＬとの交点を表示画面位置とする。また、表示画面の横幅をＷｓとし、表示画面の横方向画素数をＳｓとし、カメラＲ，Ｌから表示画面位置までの距離をＤｓとし、カメラＲ，Ｌから人物Ｃまでの距離をＤｏとし、カメラＲとカメラＬの距離をＷｃとする。このとき、表示画面位置でのオフセットＳｏは、以下の数式（４）で表すことができる。
Ｓｏ＝Ｗｃ＊（（Ｄｓ−Ｄｏ）／Ｄｏ）＊（Ｓｓ／Ｗｓ） ・・・（４）
従って、カメラＲ，Ｌで撮影した右目用映像Ｒ、左目用映像Ｌを上式で求めたオフセットＳｏだけオフセットすることにより、表示画面から手前側に飛び出した人物Ｃの映像を立体映像で表示することができる。
【００８１】
以上説明したように第２の実施形態によれば、字幕データの中に字幕オブジェクト１５０の水平方向位置Ｓｏｈ、垂直方向位置Ｓｏｖ、オフセット量Ｓｏｄの情報を挿入する。これにより、受信装置１００側では、これらの情報に基づいて字幕オブジェクト１５０を最適に表示することが可能となる。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ 受信装置
１０６ 番組情報処理部
１０８ ビデオデコーダ
１１０ 字幕デコーダ
１２０ 字幕３Ｄ変換部
２００ 放送局
【特許請求の範囲】
【請求項１】
放送信号に含まれる立体映像のデータを取得する立体映像取得部と、
前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、
前記立体映像の奥行き方向の位置に関する位置情報を取得する位置情報取得部と、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、
を備える、受信装置。
【請求項２】
前記位置情報は、前記立体映像を構成する右目用映像と左目用映像のオフセット量である、請求項１に記載の受信装置。
【請求項３】
前記位置情報は、前記放送信号の番組情報に含まれる、請求項１に記載の受信装置。
【請求項４】
前記位置情報は、前記放送信号の配信側において番組コンテンツ毎に予め設定される、請求項３に記載の受信装置。
【請求項５】
前記位置情報は、前記立体映像を構成する映像信号のストリームに含まれる、請求項１に記載の受信装置。
【請求項６】
前記位置情報は、字幕オブジェクトの奥行き方向の位置を指定する情報であり、字幕オブジェクトのテキスト情報を規定する字幕情報に含まれる、請求項１に記載の受信装置。
【請求項７】
複数の前記位置情報に基づいて、１つの字幕オブジェクトの中で奥行き方向の位置が可変される、請求項６に記載の受信装置。
【請求項８】
複数の前記位置情報に基づいて字幕オブジェクトの奥行き方向の位置が動的に変化する、請求項６に記載の受信装置。
【請求項９】
前記字幕オブジェクトの奥行き方向の位置が動的に変化する際の拡大率が前記位置情報によって規定される、請求項８に記載の受信装置。
【請求項１０】
立体映像の奥行き方向の位置に関する位置情報を含む放送信号を送出する送信装置と、
前記放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を有する、受信装置と、
を備える通信システム。
【請求項１１】
放送信号に含まれる立体映像のデータを取得するステップと、
前記放送信号に含まれる字幕オブジェクトのデータを取得するステップと、
前記立体映像の奥行き方向の位置に関する位置情報を取得するステップと、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定するステップと、
を備える、立体画像への字幕合成方法。
【請求項１２】
放送信号に含まれる立体映像のデータを取得する手段、
前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、
前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１３】
放送する立体映像コンテンツに係る映像信号と字幕オブジェクトのデータとを含むデジタル放送信号のデータ構造であって、
放送信号に含まれる立体映像のデータを取得する手段、
前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、
前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、
として受信装置を機能させるためのデジタル放送信号のデータ構造。
【請求項１】
放送信号に含まれる立体映像のデータを取得する立体映像取得部と、
前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、
前記立体映像の奥行き方向の位置に関する位置情報を取得する位置情報取得部と、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、
を備える、受信装置。
【請求項２】
前記位置情報は、前記立体映像を構成する右目用映像と左目用映像のオフセット量である、請求項１に記載の受信装置。
【請求項３】
前記位置情報は、前記放送信号の番組情報に含まれる、請求項１に記載の受信装置。
【請求項４】
前記位置情報は、前記放送信号の配信側において番組コンテンツ毎に予め設定される、請求項３に記載の受信装置。
【請求項５】
前記位置情報は、前記立体映像を構成する映像信号のストリームに含まれる、請求項１に記載の受信装置。
【請求項６】
前記位置情報は、字幕オブジェクトの奥行き方向の位置を指定する情報であり、字幕オブジェクトのテキスト情報を規定する字幕情報に含まれる、請求項１に記載の受信装置。
【請求項７】
複数の前記位置情報に基づいて、１つの字幕オブジェクトの中で奥行き方向の位置が可変される、請求項６に記載の受信装置。
【請求項８】
複数の前記位置情報に基づいて字幕オブジェクトの奥行き方向の位置が動的に変化する、請求項６に記載の受信装置。
【請求項９】
前記字幕オブジェクトの奥行き方向の位置が動的に変化する際の拡大率が前記位置情報によって規定される、請求項８に記載の受信装置。
【請求項１０】
立体映像の奥行き方向の位置に関する位置情報を含む放送信号を送出する送信装置と、
前記放送信号に含まれる立体映像のデータを取得する立体映像取得部と、前記放送信号に含まれる字幕オブジェクトのデータを取得する字幕取得部と、前記位置情報を取得する位置情報取得部と、前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する字幕位置処理部と、を有する、受信装置と、
を備える通信システム。
【請求項１１】
放送信号に含まれる立体映像のデータを取得するステップと、
前記放送信号に含まれる字幕オブジェクトのデータを取得するステップと、
前記立体映像の奥行き方向の位置に関する位置情報を取得するステップと、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定するステップと、
を備える、立体画像への字幕合成方法。
【請求項１２】
放送信号に含まれる立体映像のデータを取得する手段、
前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、
前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１３】
放送する立体映像コンテンツに係る映像信号と字幕オブジェクトのデータとを含むデジタル放送信号のデータ構造であって、
放送信号に含まれる立体映像のデータを取得する手段、
前記放送信号に含まれる字幕オブジェクトのデータを取得する手段、
前記立体映像の奥行き方向の位置に関する位置情報を取得する手段、
前記位置情報に基づいて立体映像に対する字幕オブジェクトの奥行き方向の位置を設定する手段、
として受信装置を機能させるためのデジタル放送信号のデータ構造。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−２９８４９（Ｐ２０１１−２９８４９Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７２４９０（Ｐ２００９−１７２４９０）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]