映像処理装置
【課題】３Ｄ映像データと３Ｄグラフィクスデータとを重ね合わせて立体像を表示する場合に、３Ｄグラフィクスデータの見やすさを向上させる。
【解決手段】映像処理装置は、第１の生成手段と、第２の生成手段と、処理手段とを有する。第１の生成手段は、３Ｄ映像データを生成する。第２の生成手段は、３Ｄグラフィクスデータを生成する。処理手段は、奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める。
【解決手段】映像処理装置は、第１の生成手段と、第２の生成手段と、処理手段とを有する。第１の生成手段は、３Ｄ映像データを生成する。第２の生成手段は、３Ｄグラフィクスデータを生成する。処理手段は、奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は映像処理する装置に関する。
【背景技術】
【０００２】
現在、様々な方式の立体像表示技術が開発されている。一例としては、眼鏡式の立体像表示技術である。ユーザは、特殊な眼鏡を使用して映像表示装置に表示される右目用の像と左目用の像を見ることで、立体像を知覚できる。
【０００３】
他の例としては、裸眼式である。ユーザは、特殊な眼鏡を使用することなく映像表示装置に表示される左右方向にずらした視点からの複数視差画像を見ることで、立体像を知覚できる。一般的に裸眼式の立体映像表示技術は、両眼視差を用いる両眼視差方式である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４５７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体像は、放送波などから取得されるコンテンツを加工した３Ｄ映像データに基づく立体像からなる。場合によっては、立体像は、３Ｄ映像データに放送波から取得されるテロップやバナー、ユーザ選択に基づくメニュー（ボリューム設定や輝度設定などの設定画面、ＥＰＧ(電子番組表)画面など）、アラートなどのグラフィクスを加工した３Ｄグラフィクスデータに基づく立体像を重ね合わせたものでもある。３Ｄ映像データの深度と３Ｄグラフィクスデータの深度が重なる場合、立体像は、ユーザにとって不自然なものとして知覚される。深度とは、立体像の奥行き方向の最大表示範囲における最手前から奥行き方向に向う位置を意味する。
【０００６】
例えば、３Ｄグラフィクスデータが不透明（α＝１）である場合、３Ｄグラフィクスデータは、３Ｄ画像データに食い込む。つまり、３Ｄグラフィクスデータと３Ｄ画像との重なり部分では、ユーザは、３Ｄグラフィクスデータが３Ｄ画像データを３Ｄグラフィクスデータの深度まで押し込むように知覚する。
【０００７】
さらに、３Ｄグラフィクスデータが透明（０≦α＜１）である場合、３Ｄグラフィクスデータは、３Ｄ映像データに埋まり込む。つまり、３Ｄグラフィクスデータと３Ｄ映像データとの重なり部分では、ユーザは、３Ｄ映像データが３Ｄグラフィクスデータよりも手前側に飛び出すように知覚する。そのため、ユーザは、３ＤグラフィクスデータがＥＰＧ表示などであって文字を含む場合、ユーザは、３Ｄ画像データが気になって３Ｄグラフィクスデータを読みにくいと知覚する可能性がある。
【０００８】
本発明の目的は、３Ｄ映像データと３Ｄグラフィクスデータとを重ね合わせて立体像を表示する場合に、３Ｄグラフィクスデータの見やすさを向上させる映像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
実施形態によれば情報処理装置は、第１の生成手段と、第２の生成手段と、処理手段とを有する。第１の生成手段は、３Ｄ映像を生成する。第２の生成手段は、３Ｄグラフィクスを生成する。処理手段は、奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る立体像表示装置の概略を示す図。
【図２】実施形態に係る立体像表示装置が一体化したテレビジョン受信装置の全体構成例を示す図。
【図３】実施形態に係る立体像の最大表示範囲を示す概念図。
【図４】実施形態に係る３Ｄ処理モジュールの構成を示すブロック図。
【図５】実施形態に係る映像深度テーブルを示す図。
【図６】実施形態に係るグラフィクス深度テーブルを示す図。
【図７】実施形態に係る３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせた状態の概念図。
【図８】実施形態に係る３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせた状態の概念図。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。先ず、立体表示の原理を説明する。図１は、実施形態に係る映像表示装置の一例を概略的に示す断面図である。実施形態はインテグラル方式による立体像表示技術の例を説明するが、立体視の方式はインテグラル方式以外の裸眼式でもよく、眼鏡式でもよい。
【００１２】
図１に示す立体像表示装置１は、縦横に配列した多数の立体像表示用画素１１を有する表示ユニット１０と、それらから離間するとともにそれら立体像表示用画素１１に対応して多数の窓部２２が設けられたマスク２０とを備えている。
【００１３】
マスク２０は光学的開口を有し、上記画素からの光線を制御する機能を有し、視差バリアまたは光線制御素子とも呼ばれる。マスク２０は透明基板上に多数の窓部２２に対応した多数の開口を有する遮光体パターンを形成したものや、遮光板に多数の窓部２２に対応した多数の貫通孔を設けたものなどを使用することができる。あるいは、マスク２０の他の例としては、多数の微小なレンズを２次元的に配列してなるフライアイレンズ、光学的開口が垂直方向に直線状に延び水平方向に周期的に配列される形状のレンチキュラーレンズも使用可能である。さらに、マスク２０として、透過型の液晶表示ユニットのように窓部２２の配置、寸法、形状などを任意に変更可能なものを使用してもよい。
【００１４】
動画像を立体視するためには、液晶表示ユニットを用いて立体像表示用画素１１を実現する。透過型の液晶表示ユニット１０の多数の画素が多数の立体像表示用画素１１を構成し、液晶表示ユニット１０の背面側には面光源であるバックライト３０を配置している。液晶表示ユニット１０の前面側には、マスク２０を配置している。
【００１５】
透過型の液晶表示ユニット１０を使用する場合、マスク２０はバックライト３０と液晶表示ユニット１０との間に配置してもよい。液晶表示ユニット１０及びバックライト３０の代わりに有機ＥＬ（エレクトロルミネッセンス）表示装置や陰極線管表示装置やプラズマ表示装置などのように自発光型の表示装置を使用しても良い。その場合、マスク２０は自発光型表示装置の前面側に配置する。
【００１６】
図１は、立体像表示装置１と観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌの関係を概略的に示している。観察位置は画面（あるいはマスク）との距離を一定に保ったまま表示画面の水平方向に平行移動した位置である。この例では、１つの立体像表示用画素１１が、複数の（例えば５つの）２次元表示用画素で構成されている例を示している。画素の数は１つの例であり、５より少なくてもよく（例えば２個））さらに数が多くても良い（例えば９個）。
【００１７】
図１において、破線４１は隣接する立体像表示用画素１１間の境界に位置する単一画素の中心と、マスク２０の窓部２２とを結ぶ直線（光線）である。図１において、太線５２の領域が真の立体像（本来の立体像）が知覚される領域である。観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌは、太線５２の領域内である。以下、真の立体像のみが知覚される観察位置を「視域」と称する。
【００１８】
図２は、実施形態が適用された装置の一例でありテレビジョン放送受信装置２１００の信号処理系を概略的に示している。デジタルテレビジョン放送受信用のアンテナ２２２で受信したデジタルテレビジョン放送信号は、入力端子２２３を介してチューナ２２４に供給される。このチューナ２２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。チューナ２２４から出力された信号は、デコーダ２２５に供給されて、例えばＭＰＥＧ（moving picture experts group）２デコード処理が施された後、セレクタ２２６に供給される。
【００１９】
またチューナ２２４の出力は、直接セレクタ２２６に供給されている。この信号から映像・音声データなどが分離され、この映像・音声データが制御部２３５を介して記録・再生信号処理器２５５で処理され、ハードディスクドライブ（ＨＤＤ）２５７にて記録されることも可能である。ＨＤＤ２５７は、ユニットとして端子２５６を介して記録・再生信号処理器５５に接続されており、交換することも可能である。またＨＤＤ２５７は、信号の記録器、読み取り器を含む。
【００２０】
アナログテレビジョン放送受信用のアンテナ２２７で受信したアナログテレビジョン放送信号は、入力端子２２８を介してチューナ２２９に供給される。このチューナ２２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２２９から出力された信号は、Ａ／Ｄ（analog／digital）コンバータ２３０によりデジタル化された後、セレクタ２２６に出力される。
【００２１】
また、例えばＶＴＲなどの機器が接続されるアナログ信号用の入力端子２３１に供給されたアナログの映像・音声信号は、Ａ／Ｄコンバータ２３２に供給されてデジタル化された後、セレクタ２２６に出力される。さらに、例えばＨＤＭＩ（High Definition Multimedia Interface）２６１を介して光ディスクあるいは磁気記録媒体再生装置などの外部機器が接続されるデジタル信号用の入力端子２３３に供給されたデジタルの映像及び音声信号は、そのままセレクタ２２６に供給される。
【００２２】
Ａ／Ｄ変換された信号が、ＨＤＤ２５７にて記録される場合は、セレクタ２２６に付随しているエンコーダ・デコーダ２３６内のエンコーダにより、所定のフォーマット例えばＭＰＥＧ（moving picture experts group）２方式による圧縮処理が施された後、記録・再生信号処理器２５５を介してＨＤＤ２５７に記録される。記録・再生信号処理器２５５は、記録制御器２３５aと相俟って、ＨＤＤ２５７に情報を記録する場合、例えばＨＤＤ２５７の何処のディレクトリに対してどのような情報を記録するかを予めプログラムされている。したがってストリームファイルをストリームディレクトリに格納するときの条件、識別情報を録画リストファイルに格納するときの条件などが設定されている。
【００２３】
セレクタ２２６は、４種類の入力デジタル映像・音声信号から１つを選択して、信号処理器２３４に供給している。この信号処理器２３４は、入力されたデジタル映像・音声信号から映像データ、音声データを分離し、所定の信号処理を施している。信号処理としては、音声データに関しては、オーディオデコード・音質調整・ミックス処理などが任意に行われる。映像データに関しては、カラー・輝度分離処理、カラー調整処理、画質調整処理などが行われる。さらに、信号処理器２３４は、映像・音声信号からグラフィクスデータ（例えば、テロップやバナー、チャンネル情報など）を分離し、所定の信号処理を施す。さらに、信号処理器２３４は、制御ブロック２３５からのグラフィクデータ（例えば、ユーザ入力に基づくメニューなど）を受信する。
【００２４】
信号処理器２３４は、必要に応じてグラフィクスデータを映像データに重ね合わせる。さらに、信号処理器２３４は、３Ｄ処理モジュール８０を含む。３Ｄ処理モジュール８０は、立体像を生成する。３Ｄ処理モジュール８０の構成については、後述する。ビデオ出力回路２３９は、（必要に応じてグラフィクスデータを重ね合わせた）映像データに基づく複数視差画像を表示装置２１０３に表示制御する。ビデオ出力回路２３９は、複数視差画像の表示制御手段として機能する。
【００２５】
映像データ（必要に応じてグラフィクスデータも）は、出力端子２４２を介して表示装置２１０３へ出力される。表示装置２１０３としては、例えば、図１で説明した装置が採用される。表示装置２１０３は、平面像（２Ｄ）、立体像（３Ｄ）のいずれも表示可能である。立体像は、ユーザが表示装置２１０３に表示された複数視差画像を見ることで知覚するものであるが、本実施形態では、３Ｄ処理モジュール８０が奥行きをもった立体像を擬似的に生成し、表示装置２１０３が奥行きをもった立体像を擬似的に表示するものとして説明する。
【００２６】
音声データは、オーディオ出力回路２３７でアナログ化され、音量、チャンネルバランスなどの調整を受けた後、出力端子２３８を介してスピーカ装置２１０２に出力される。
【００２７】
このテレビジョン放送受信装置２１００は、各種の受信動作を含む種々の動作を制御ブロック２３５によって統括的に制御されている。この制御ブロック２３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサの集合である。制御ブロック２３５は、操作部２４７からの操作情報、または、リモートコントローラ２１０４から送信された操作情報がリモコン信号受信部２４８を取得され、これにより、その操作内容が反映されるように各種ブロックをそれぞれ制御している。
【００２８】
制御部２３５は、メモリ２４９を使用している。このメモリ２４９は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００２９】
またこの装置はインターネットを介して外部サーバーとの通信を行うことも可能である。接続端子２４４からのダウンストリーム信号は、送・受信器２４５で復調され変調・復調器２４６で復調され、制御ブロック２３５に入力される。またアップストリーム信号は、変調・復調器２４６で変調され、送・受信器２４５で送信信号に変換され接続端子２４４に出力される。
【００３０】
制御ブロック２３５は、外部サーバーからダウンロードされた動画像あるいはサービス情報を変換処理し、信号処理部２３４に供給することができる。また制御ブロック２３５は、リモコン操作に応答して、外部サーバーに向けてサービス要求信号を送信することもできる。
【００３１】
さらに制御ブロック２３５は、コネクタ２５１に装着されたカードタイプメモリ２５２のデータを読み取ることも可能である。このために本装置は、例えば、カードタイプメモリ２５２から写真画像データを取り込み、表示装置２１０４に表示することが可能である。また特殊なカラー調整などを行う場合に、カードタイプメモリ２５２からの画像データを標準データ或いは参照データとして用いることも可能である。
【００３２】
上記装置において、ユーザは、デジタルテレビジョン放送信号の所望の番組を視聴したいと思う場合、リモートコントローラ２１０４を操作することによりチューナ２２４を制御し、番組選択を行う。
【００３３】
チューナ２２４の出力は、デコーダ２２５でデコードされベースバンド映像信号に復号され、このベースバンド映像信号は、セレクタ２２６から信号処理器２３４に入力する。これによりユーザは、所望の番組を表示装置２１０３で見ることができる。
【００３４】
また、ユーザがＨＤＤ２５７に記録されているストリームファイルを再生して視聴したい場合、例えばリモートコントローラ２１０４を操作して、例えば録画リストファイルの表示を指定する。ユーザが録画リストファイルの表示を指定すると、録画リストがメニューとして表示されるので、ユーザは、表示されたリストの中の希望の番組名あるいはファイル番号の位置にカーソルを移動させ、決定ボタンを操作する。すると、所望のストリームファイルの再生が開始される。
【００３５】
指定されたストリームファイルは、再生制御器２３５ｂの制御のもとで、ＨＤＤ２５７から読み出され、記録・再生信号処理器２５５で復号され、制御ブロック２３５、セレクタ２２６を経由して信号処理器２３４に入力される。
【００３６】
図３は、表示装置２１０３が表示可能な立体像の最大表示範囲Ａを示す概念図である。最大表示範囲Ａは、立体像の奥行き方向のフルレンジを示す。最大表示範囲Ａは、表示装置２１０３の性能によって異なるが、ユーザが表示装置２１０３を視域で見た場合のものとする。本実施形態では、立体像の奥行き方向の最大表示範囲Ａにおける最手前から奥行き方向に向う位置を深度と定義する。最大表示範囲Ａは、相対的な値として、最手前を０、最奥を２５５と定義する。したがって、最大表示範囲Ａの深度レンジは、２５５である。本実施形態では、立体像の奥行き方向の大きさ（幅）を深度レンジと定義する。なお、最大表示範囲Ａにおける最手前を０としているが、最奥を０と定義してもよい。また、最大表示範囲Ａにおける中央を０とし、最手前を１２７、最奥を−１２８と定義してもよい。
【００３７】
次に、３Ｄ処理モジュール８０の構成について説明する。図４は、３Ｄ処理モジュール８０の構成を示すブロック図である。３Ｄ処理モジュール８０は、映像処理モジュール８０１、グラフィクス処理モジュール８０２、画像合成モジュール８０３、メモリ８０４を有する。以降、各部の動作について説明する。映像処理モジュール８０１は、２Ｄ映像データから３Ｄ映像データを生成する。映像処理モジュール８０１は、Ｄ映像データの生成手段として機能する。２Ｄ映像データから３Ｄ映像データへの変換技術は、いかなるものであってもよい。なお、映像処理モジュール８０１は、入力された映像データが３Ｄの場合、３Ｄ映像データの生成処理を必要としない。映像処理モジュール８０１は、３Ｄ映像データを画像合成モジュール８０３へ供給する。
【００３８】
グラフィクス処理モジュール８０２は、２Ｄグラフィクスデータから３Ｄグラフィクスデータを生成する。グラフィクス処理モジュール８０２は、３Ｄグラフィクスデータの生成手段として機能する。２Ｄグラフィクスデータから３Ｄグラフィクスデータへの変換技術は、いかなるものであってもよい。なお、グラフィクス処理モジュール８０２は、入力されたグラフィクスデータが３Ｄの場合、３Ｄグラフィクスデータの生成処理を必要としない。グラフィクス処理モジュール８０２は、３Ｄグラフィクスデータを画像合成モジュール８０３へ供給する。
【００３９】
メモリ８０４は、３Ｄ映像データの表示範囲に関する映像深度テーブル及び３Ｄグラフィクスデータの表示範囲に関するグラフィクス深度テーブルを保存する。図５は、映像深度テーブルを示す。映像深度テーブルは、以下のような設定を保存する。３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、３Ｄ映像データの表示範囲は、最手前深度０から始まり、最奥深度２５５までである。深度レンジは、２５５である。つまり、３Ｄ映像データの深度レンジは、フルレンジである。一方、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄ映像データの表示範囲は、最手前深度１２８から始まり、最奥深度２５５までである。深度レンジは、１２７である。３Ｄ映像データの深度レンジは、フルレンジよりも小さい。つまり、３Ｄ映像データの深度レンジは、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かに応じて可変である。
【００４０】
図６は、グラフィクス深度テーブルを示す。３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄグラフィクスデータの表示範囲は、最手前深度０から始まり、最奥深度１２７までである。深度レンジは、１２７である。３Ｄグラフィクスデータの深度レンジは、フルレンジよりも小さい。つまり、３Ｄ映像データの深度レンジは、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かに応じてオン（１２７）／オフ（０）が切り換えられる。
【００４１】
図７は、図５、図６に基づいて３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の概念図である。３Ｄグラフィクスデータの表示範囲Ｂは、３Ｄ映像データの表示範囲Ｃよりも奥行方向の手前であって、奥行き方向に３Ｄ映像データの表示範囲Ｃと重なり合わない。つまり、３Ｄグラフィクスデータの表示範囲Ｂは、図３に示す最大表示範囲Ａから３Ｄ映像データの表示範囲Ｃを除いた範囲である。
【００４２】
画像合成モジュール８０３は、図５に示す映像深度テーブルを参照して、３Ｄ映像データを加工する。具体的には、画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、最手前深度０から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄ画像データを表示範囲に収める処理手段として機能する。画像合成モジュール８０３は、例えば、（３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の深度レンジ）／（３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合の深度レンジ）で求められる定数を深度に乗算することで３Ｄ映像データを加工する。画像合成モジュール８０３は、映像深度テーブルに設定されている３Ｄ映像データの表示範囲における最手前深度より手前の深度を最手前深度として３Ｄ映像データを加工してもよい。
【００４３】
画像合成モジュール８０３は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否か（グラフィクス処理モジュール８０２が３Ｄグラフィクスデータを生成するか否か）を判断する判断モジュール８０３１を有する。判断モジュール８０３１は、以下に説明ように、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを判断する。例えば、グラフィクス処理モジュール８０２は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在する場合、その旨を示す通知データを判断モジュール８０３１に送信する。判断モジュール８０３１は、この通知データを受信すれば、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在すると判断する。一方、判断モジュール８０３１は、この通知データを受信しなければ、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在しないと判断する。
【００４４】
他の方法としては、グラフィクス処理モジュール８０２は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを明示的に示すフラグを立ててもよい。この場合、判断モジュール８０３１は、フラグに基づいて３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを判断する。
【００４５】
一方、画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、図５に示す映像深度テーブルを参照して、最手前深度１２８から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、図６に示すグラフィクス深度テーブルを参照して、最手前深度０から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄグラフィクスデータを表示範囲に収める処理手段として機能する。なお、映像処理モジュール８０１及びグラフィクス処理モジュール８０２が上記説明した画像合成モジュール８０３における深度レンジの加工処理と同様の処理をしてもよい。
【００４６】
画像合成モジュール８０３は、深度レンジを加工して表示範囲に収めた３Ｄ映像データから複数視差画像を生成する。同様に、画像合成モジュール８０３は、深度レンジを加工して表示範囲に収めた３Ｄグラフィクスデータから複数視差画像を生成する。画像合成モジュール８０３は、３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせる場合、３Ｄ映像データの複数視差画像と、対応する３Ｄグラフィクスの複数視差画像をそれぞれ合成し、新たな複数視差画像（ここでは、複数合成視差画像と称す）を生成する。
【００４７】
画像合成モジュール８０３は、３Ｄ映像データの複数視差画像または複数合成視差画像をビデオ出力回路２３９に供給する。ビデオ出力回路２３９は、３Ｄ映像データの複数視差画像または複数合成視差画像を表示装置２１０３に表示制御する。表示装置２１０３は、３Ｄ映像データの複数視差画像または、複数合成視差画像により、立体像を表示する。表示装置２１０３は、ユーザが視域で表示装置２１０３を見たときに、奥行きをもつ立体像を見ることができるように表示する。
【００４８】
上記説明したように、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、画像合成モジュール８０３は、最手前深度０から始まり最奥深度２５５までの深度レンジ（つまりフルレンジ）を有する表示範囲に収まるように３Ｄ映像データを加工する。さらに、画像合成モジュール８０３は、３Ｄグラフィクスの深度レンジを０（オフ）に設定する。表示装置２１０３は、フルレンジの表示範囲に収められた３Ｄ映像データに基づく複数視差画像により立体像を表示する。
【００４９】
一方、上記説明したように、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、画像合成モジュール８０３は、最手前深度１２８から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように（言い換えると、フルレンジよりも圧縮するように）３Ｄ映像データを加工する。さらに、画像合成モジュール８０３は、最手前深度０から始まり最奥深度１２７までの深度レンジを有する表示範囲に収まるように３Ｄグラフィクスデータを加工する。つまり、画像合成モジュール８０３は、３Ｄ映像データよりも３Ｄグラフィクスデータが奥行き方向の手前であって、互いに奥行き方向に重なり合わないように表示範囲を調整する。表示装置２１０３は、各表示範囲に収められた３Ｄ映像データ及び３Ｄグラフィクスデータに基づく複数合成視差画像により、立体像を表示する。
【００５０】
図８は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の概念図である。３Ｄ映像データＤは、コンテンツに基づく立体像である。３ＤグラフィクスデータＥは、チャンネル情報に基づく立体像である。表示装置２１０３は、３Ｄ映像データＤよりも３ＤグラフィクスデータＥが奥行き方向の手前であって、互いに奥行き方向に重なり合わないように表示する。したがって、ユーザは、３Ｄ映像データの影響を受けることなく、３ＤグラフィクスデータＥの内容を知覚することができる。
【００５１】
本実施形態によれば、表示装置２１０３に表示される３Ｄ映像データの表示範囲と３Ｄグラフィクスの表示範囲は、奥行き方向に重ならないよう制限される。そのため、表示装置２１０３に不自然な立体像が表示されることを防ぐことができる。さらに、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合のみ３Ｄ映像データの深度レンジは狭められるので、表示装置２１０３は、３Ｄ効果を損ねることなく３Ｄ映像データに基づく立体像を最大限に表現できる。
【００５２】
本実施形態では、３Ｄグラフィクスデータの深度レンジはオン／オフが切り替えられ、３Ｄグラフィクスデータの深度レンジは可変である例について説明したが、これに限られない。一例として、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合における３Ｄ映像データの深度レンジ及び３Ｄグラフィクスデータの深度レンジは可変であってもよい。グラフィクス深度テーブルは、３Ｄグラフィクスデータの種別に応じて、異なる深度レンジの設定を保存する。例えば、グラフィクス深度テーブルは、３Ｄグラフィクスデータが設定画面に基づく場合、最手前深度０から始まり、最奥深度１２７までの深度レンジを有する表示範囲の設定を保存する。例えば、グラフィクス深度テーブルは、３ＤグラフィクスデータがＥＰＧ画面に基づく場合、最手前深度０から始まり、最奥深度５０までの深度レンジを有する表示範囲の設定を保存する。つまり、３Ｄグラフィクスデータの深度レンジは、３Ｄグラフィクスデータの種別に応じたユーザにとっての利便性に基づいて設定されている。グラフィクスデータが設定画面に基づく場合、ユーザはリモートコントローラ２１０４を用いて直感的に設定画面上で操作するため、深度レンジは広い方がよい。一方、グラフィクスデータが文字の多いＥＰＧ画面に基づく場合、ユーザはＥＰＧ画面の文字を視認する必要がある、深度レンジは狭い方がよい。
【００５３】
なお、映像深度テーブルも、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄグラフィクスデータの種別に応じて異なる深度レンジの設定を保存する。つまり、映像深度テーブルは、最大表示範囲から３Ｄグラフィクスデータの表示範囲を除いた範囲を３Ｄ映像データの表示範囲とする最手前深度、最奥深度、深度レンジの設定を保存する。３Ｄ映像データの深度レンジは３Ｄグラフィクスデータの種別に応じて変化するため、３Ｄ映像データは、３Ｄ効果を最大限に表現できる。
【００５４】
他の例として、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かにかかわらず、３Ｄ映像データの深度レンジと３Ｄグラフィクスデータの深度レンジは固定であってもよい。例えば、映像深度テーブルは、最手前深度１２８から始まり、最奥深度２５５までの深度レンジ（固定）を有する表示範囲の設定を保存する。例えば、グラフィクス深度テーブルは、最手前深度０から始まり、最奥深度１２７までの深度レンジ（固定）を有する表示範囲の設定を保存する。この場合、画像合成モジュール８０３は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かにかかわらず、３Ｄ映像データの深度レンジを加工処理しなくてもよい。
【００５５】
なお、グラフィクス深度テーブルは、３Ｄグラフィクスデータの表示範囲における最手前深度を投影面の位置とする設定を保存していてもよい。本実施形態では、ユーザが視域で表示装置２１０３に表示される平面像（２Ｄ）を見た場合に、最もきれいな像を投影する奥行き方向の面を投影面と定義する。一般的には、表示装置２１０３のパネル面である。表示装置２１０４は、３Ｄグラフィクスデータが文字を含む場合、可読性を高めた立体像を表示できる。したがって、ユーザは、表示装置２１０４に表示される３Ｄグラフィクスデータに基づく立体像を、ぶれが少なく、くっきりした状態で見ることができる。
【００５６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５７】
１０…表示ユニット、１１…立体映像表示用画素、２０…マスク、３０…バックライト、２２…窓部、８０…３Ｄ処理モジュール、８０１…映像処理モジュール、８０２…グラフィクス処理モジュール、８０３…画像合成モジュール、８０４…メモリ。
【技術分野】
【０００１】
本発明の実施形態は映像処理する装置に関する。
【背景技術】
【０００２】
現在、様々な方式の立体像表示技術が開発されている。一例としては、眼鏡式の立体像表示技術である。ユーザは、特殊な眼鏡を使用して映像表示装置に表示される右目用の像と左目用の像を見ることで、立体像を知覚できる。
【０００３】
他の例としては、裸眼式である。ユーザは、特殊な眼鏡を使用することなく映像表示装置に表示される左右方向にずらした視点からの複数視差画像を見ることで、立体像を知覚できる。一般的に裸眼式の立体映像表示技術は、両眼視差を用いる両眼視差方式である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４５７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体像は、放送波などから取得されるコンテンツを加工した３Ｄ映像データに基づく立体像からなる。場合によっては、立体像は、３Ｄ映像データに放送波から取得されるテロップやバナー、ユーザ選択に基づくメニュー（ボリューム設定や輝度設定などの設定画面、ＥＰＧ(電子番組表)画面など）、アラートなどのグラフィクスを加工した３Ｄグラフィクスデータに基づく立体像を重ね合わせたものでもある。３Ｄ映像データの深度と３Ｄグラフィクスデータの深度が重なる場合、立体像は、ユーザにとって不自然なものとして知覚される。深度とは、立体像の奥行き方向の最大表示範囲における最手前から奥行き方向に向う位置を意味する。
【０００６】
例えば、３Ｄグラフィクスデータが不透明（α＝１）である場合、３Ｄグラフィクスデータは、３Ｄ画像データに食い込む。つまり、３Ｄグラフィクスデータと３Ｄ画像との重なり部分では、ユーザは、３Ｄグラフィクスデータが３Ｄ画像データを３Ｄグラフィクスデータの深度まで押し込むように知覚する。
【０００７】
さらに、３Ｄグラフィクスデータが透明（０≦α＜１）である場合、３Ｄグラフィクスデータは、３Ｄ映像データに埋まり込む。つまり、３Ｄグラフィクスデータと３Ｄ映像データとの重なり部分では、ユーザは、３Ｄ映像データが３Ｄグラフィクスデータよりも手前側に飛び出すように知覚する。そのため、ユーザは、３ＤグラフィクスデータがＥＰＧ表示などであって文字を含む場合、ユーザは、３Ｄ画像データが気になって３Ｄグラフィクスデータを読みにくいと知覚する可能性がある。
【０００８】
本発明の目的は、３Ｄ映像データと３Ｄグラフィクスデータとを重ね合わせて立体像を表示する場合に、３Ｄグラフィクスデータの見やすさを向上させる映像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
実施形態によれば情報処理装置は、第１の生成手段と、第２の生成手段と、処理手段とを有する。第１の生成手段は、３Ｄ映像を生成する。第２の生成手段は、３Ｄグラフィクスを生成する。処理手段は、奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る立体像表示装置の概略を示す図。
【図２】実施形態に係る立体像表示装置が一体化したテレビジョン受信装置の全体構成例を示す図。
【図３】実施形態に係る立体像の最大表示範囲を示す概念図。
【図４】実施形態に係る３Ｄ処理モジュールの構成を示すブロック図。
【図５】実施形態に係る映像深度テーブルを示す図。
【図６】実施形態に係るグラフィクス深度テーブルを示す図。
【図７】実施形態に係る３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせた状態の概念図。
【図８】実施形態に係る３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせた状態の概念図。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。先ず、立体表示の原理を説明する。図１は、実施形態に係る映像表示装置の一例を概略的に示す断面図である。実施形態はインテグラル方式による立体像表示技術の例を説明するが、立体視の方式はインテグラル方式以外の裸眼式でもよく、眼鏡式でもよい。
【００１２】
図１に示す立体像表示装置１は、縦横に配列した多数の立体像表示用画素１１を有する表示ユニット１０と、それらから離間するとともにそれら立体像表示用画素１１に対応して多数の窓部２２が設けられたマスク２０とを備えている。
【００１３】
マスク２０は光学的開口を有し、上記画素からの光線を制御する機能を有し、視差バリアまたは光線制御素子とも呼ばれる。マスク２０は透明基板上に多数の窓部２２に対応した多数の開口を有する遮光体パターンを形成したものや、遮光板に多数の窓部２２に対応した多数の貫通孔を設けたものなどを使用することができる。あるいは、マスク２０の他の例としては、多数の微小なレンズを２次元的に配列してなるフライアイレンズ、光学的開口が垂直方向に直線状に延び水平方向に周期的に配列される形状のレンチキュラーレンズも使用可能である。さらに、マスク２０として、透過型の液晶表示ユニットのように窓部２２の配置、寸法、形状などを任意に変更可能なものを使用してもよい。
【００１４】
動画像を立体視するためには、液晶表示ユニットを用いて立体像表示用画素１１を実現する。透過型の液晶表示ユニット１０の多数の画素が多数の立体像表示用画素１１を構成し、液晶表示ユニット１０の背面側には面光源であるバックライト３０を配置している。液晶表示ユニット１０の前面側には、マスク２０を配置している。
【００１５】
透過型の液晶表示ユニット１０を使用する場合、マスク２０はバックライト３０と液晶表示ユニット１０との間に配置してもよい。液晶表示ユニット１０及びバックライト３０の代わりに有機ＥＬ（エレクトロルミネッセンス）表示装置や陰極線管表示装置やプラズマ表示装置などのように自発光型の表示装置を使用しても良い。その場合、マスク２０は自発光型表示装置の前面側に配置する。
【００１６】
図１は、立体像表示装置１と観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌの関係を概略的に示している。観察位置は画面（あるいはマスク）との距離を一定に保ったまま表示画面の水平方向に平行移動した位置である。この例では、１つの立体像表示用画素１１が、複数の（例えば５つの）２次元表示用画素で構成されている例を示している。画素の数は１つの例であり、５より少なくてもよく（例えば２個））さらに数が多くても良い（例えば９個）。
【００１７】
図１において、破線４１は隣接する立体像表示用画素１１間の境界に位置する単一画素の中心と、マスク２０の窓部２２とを結ぶ直線（光線）である。図１において、太線５２の領域が真の立体像（本来の立体像）が知覚される領域である。観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌは、太線５２の領域内である。以下、真の立体像のみが知覚される観察位置を「視域」と称する。
【００１８】
図２は、実施形態が適用された装置の一例でありテレビジョン放送受信装置２１００の信号処理系を概略的に示している。デジタルテレビジョン放送受信用のアンテナ２２２で受信したデジタルテレビジョン放送信号は、入力端子２２３を介してチューナ２２４に供給される。このチューナ２２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。チューナ２２４から出力された信号は、デコーダ２２５に供給されて、例えばＭＰＥＧ（moving picture experts group）２デコード処理が施された後、セレクタ２２６に供給される。
【００１９】
またチューナ２２４の出力は、直接セレクタ２２６に供給されている。この信号から映像・音声データなどが分離され、この映像・音声データが制御部２３５を介して記録・再生信号処理器２５５で処理され、ハードディスクドライブ（ＨＤＤ）２５７にて記録されることも可能である。ＨＤＤ２５７は、ユニットとして端子２５６を介して記録・再生信号処理器５５に接続されており、交換することも可能である。またＨＤＤ２５７は、信号の記録器、読み取り器を含む。
【００２０】
アナログテレビジョン放送受信用のアンテナ２２７で受信したアナログテレビジョン放送信号は、入力端子２２８を介してチューナ２２９に供給される。このチューナ２２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２２９から出力された信号は、Ａ／Ｄ（analog／digital）コンバータ２３０によりデジタル化された後、セレクタ２２６に出力される。
【００２１】
また、例えばＶＴＲなどの機器が接続されるアナログ信号用の入力端子２３１に供給されたアナログの映像・音声信号は、Ａ／Ｄコンバータ２３２に供給されてデジタル化された後、セレクタ２２６に出力される。さらに、例えばＨＤＭＩ（High Definition Multimedia Interface）２６１を介して光ディスクあるいは磁気記録媒体再生装置などの外部機器が接続されるデジタル信号用の入力端子２３３に供給されたデジタルの映像及び音声信号は、そのままセレクタ２２６に供給される。
【００２２】
Ａ／Ｄ変換された信号が、ＨＤＤ２５７にて記録される場合は、セレクタ２２６に付随しているエンコーダ・デコーダ２３６内のエンコーダにより、所定のフォーマット例えばＭＰＥＧ（moving picture experts group）２方式による圧縮処理が施された後、記録・再生信号処理器２５５を介してＨＤＤ２５７に記録される。記録・再生信号処理器２５５は、記録制御器２３５aと相俟って、ＨＤＤ２５７に情報を記録する場合、例えばＨＤＤ２５７の何処のディレクトリに対してどのような情報を記録するかを予めプログラムされている。したがってストリームファイルをストリームディレクトリに格納するときの条件、識別情報を録画リストファイルに格納するときの条件などが設定されている。
【００２３】
セレクタ２２６は、４種類の入力デジタル映像・音声信号から１つを選択して、信号処理器２３４に供給している。この信号処理器２３４は、入力されたデジタル映像・音声信号から映像データ、音声データを分離し、所定の信号処理を施している。信号処理としては、音声データに関しては、オーディオデコード・音質調整・ミックス処理などが任意に行われる。映像データに関しては、カラー・輝度分離処理、カラー調整処理、画質調整処理などが行われる。さらに、信号処理器２３４は、映像・音声信号からグラフィクスデータ（例えば、テロップやバナー、チャンネル情報など）を分離し、所定の信号処理を施す。さらに、信号処理器２３４は、制御ブロック２３５からのグラフィクデータ（例えば、ユーザ入力に基づくメニューなど）を受信する。
【００２４】
信号処理器２３４は、必要に応じてグラフィクスデータを映像データに重ね合わせる。さらに、信号処理器２３４は、３Ｄ処理モジュール８０を含む。３Ｄ処理モジュール８０は、立体像を生成する。３Ｄ処理モジュール８０の構成については、後述する。ビデオ出力回路２３９は、（必要に応じてグラフィクスデータを重ね合わせた）映像データに基づく複数視差画像を表示装置２１０３に表示制御する。ビデオ出力回路２３９は、複数視差画像の表示制御手段として機能する。
【００２５】
映像データ（必要に応じてグラフィクスデータも）は、出力端子２４２を介して表示装置２１０３へ出力される。表示装置２１０３としては、例えば、図１で説明した装置が採用される。表示装置２１０３は、平面像（２Ｄ）、立体像（３Ｄ）のいずれも表示可能である。立体像は、ユーザが表示装置２１０３に表示された複数視差画像を見ることで知覚するものであるが、本実施形態では、３Ｄ処理モジュール８０が奥行きをもった立体像を擬似的に生成し、表示装置２１０３が奥行きをもった立体像を擬似的に表示するものとして説明する。
【００２６】
音声データは、オーディオ出力回路２３７でアナログ化され、音量、チャンネルバランスなどの調整を受けた後、出力端子２３８を介してスピーカ装置２１０２に出力される。
【００２７】
このテレビジョン放送受信装置２１００は、各種の受信動作を含む種々の動作を制御ブロック２３５によって統括的に制御されている。この制御ブロック２３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサの集合である。制御ブロック２３５は、操作部２４７からの操作情報、または、リモートコントローラ２１０４から送信された操作情報がリモコン信号受信部２４８を取得され、これにより、その操作内容が反映されるように各種ブロックをそれぞれ制御している。
【００２８】
制御部２３５は、メモリ２４９を使用している。このメモリ２４９は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００２９】
またこの装置はインターネットを介して外部サーバーとの通信を行うことも可能である。接続端子２４４からのダウンストリーム信号は、送・受信器２４５で復調され変調・復調器２４６で復調され、制御ブロック２３５に入力される。またアップストリーム信号は、変調・復調器２４６で変調され、送・受信器２４５で送信信号に変換され接続端子２４４に出力される。
【００３０】
制御ブロック２３５は、外部サーバーからダウンロードされた動画像あるいはサービス情報を変換処理し、信号処理部２３４に供給することができる。また制御ブロック２３５は、リモコン操作に応答して、外部サーバーに向けてサービス要求信号を送信することもできる。
【００３１】
さらに制御ブロック２３５は、コネクタ２５１に装着されたカードタイプメモリ２５２のデータを読み取ることも可能である。このために本装置は、例えば、カードタイプメモリ２５２から写真画像データを取り込み、表示装置２１０４に表示することが可能である。また特殊なカラー調整などを行う場合に、カードタイプメモリ２５２からの画像データを標準データ或いは参照データとして用いることも可能である。
【００３２】
上記装置において、ユーザは、デジタルテレビジョン放送信号の所望の番組を視聴したいと思う場合、リモートコントローラ２１０４を操作することによりチューナ２２４を制御し、番組選択を行う。
【００３３】
チューナ２２４の出力は、デコーダ２２５でデコードされベースバンド映像信号に復号され、このベースバンド映像信号は、セレクタ２２６から信号処理器２３４に入力する。これによりユーザは、所望の番組を表示装置２１０３で見ることができる。
【００３４】
また、ユーザがＨＤＤ２５７に記録されているストリームファイルを再生して視聴したい場合、例えばリモートコントローラ２１０４を操作して、例えば録画リストファイルの表示を指定する。ユーザが録画リストファイルの表示を指定すると、録画リストがメニューとして表示されるので、ユーザは、表示されたリストの中の希望の番組名あるいはファイル番号の位置にカーソルを移動させ、決定ボタンを操作する。すると、所望のストリームファイルの再生が開始される。
【００３５】
指定されたストリームファイルは、再生制御器２３５ｂの制御のもとで、ＨＤＤ２５７から読み出され、記録・再生信号処理器２５５で復号され、制御ブロック２３５、セレクタ２２６を経由して信号処理器２３４に入力される。
【００３６】
図３は、表示装置２１０３が表示可能な立体像の最大表示範囲Ａを示す概念図である。最大表示範囲Ａは、立体像の奥行き方向のフルレンジを示す。最大表示範囲Ａは、表示装置２１０３の性能によって異なるが、ユーザが表示装置２１０３を視域で見た場合のものとする。本実施形態では、立体像の奥行き方向の最大表示範囲Ａにおける最手前から奥行き方向に向う位置を深度と定義する。最大表示範囲Ａは、相対的な値として、最手前を０、最奥を２５５と定義する。したがって、最大表示範囲Ａの深度レンジは、２５５である。本実施形態では、立体像の奥行き方向の大きさ（幅）を深度レンジと定義する。なお、最大表示範囲Ａにおける最手前を０としているが、最奥を０と定義してもよい。また、最大表示範囲Ａにおける中央を０とし、最手前を１２７、最奥を−１２８と定義してもよい。
【００３７】
次に、３Ｄ処理モジュール８０の構成について説明する。図４は、３Ｄ処理モジュール８０の構成を示すブロック図である。３Ｄ処理モジュール８０は、映像処理モジュール８０１、グラフィクス処理モジュール８０２、画像合成モジュール８０３、メモリ８０４を有する。以降、各部の動作について説明する。映像処理モジュール８０１は、２Ｄ映像データから３Ｄ映像データを生成する。映像処理モジュール８０１は、Ｄ映像データの生成手段として機能する。２Ｄ映像データから３Ｄ映像データへの変換技術は、いかなるものであってもよい。なお、映像処理モジュール８０１は、入力された映像データが３Ｄの場合、３Ｄ映像データの生成処理を必要としない。映像処理モジュール８０１は、３Ｄ映像データを画像合成モジュール８０３へ供給する。
【００３８】
グラフィクス処理モジュール８０２は、２Ｄグラフィクスデータから３Ｄグラフィクスデータを生成する。グラフィクス処理モジュール８０２は、３Ｄグラフィクスデータの生成手段として機能する。２Ｄグラフィクスデータから３Ｄグラフィクスデータへの変換技術は、いかなるものであってもよい。なお、グラフィクス処理モジュール８０２は、入力されたグラフィクスデータが３Ｄの場合、３Ｄグラフィクスデータの生成処理を必要としない。グラフィクス処理モジュール８０２は、３Ｄグラフィクスデータを画像合成モジュール８０３へ供給する。
【００３９】
メモリ８０４は、３Ｄ映像データの表示範囲に関する映像深度テーブル及び３Ｄグラフィクスデータの表示範囲に関するグラフィクス深度テーブルを保存する。図５は、映像深度テーブルを示す。映像深度テーブルは、以下のような設定を保存する。３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、３Ｄ映像データの表示範囲は、最手前深度０から始まり、最奥深度２５５までである。深度レンジは、２５５である。つまり、３Ｄ映像データの深度レンジは、フルレンジである。一方、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄ映像データの表示範囲は、最手前深度１２８から始まり、最奥深度２５５までである。深度レンジは、１２７である。３Ｄ映像データの深度レンジは、フルレンジよりも小さい。つまり、３Ｄ映像データの深度レンジは、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かに応じて可変である。
【００４０】
図６は、グラフィクス深度テーブルを示す。３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄグラフィクスデータの表示範囲は、最手前深度０から始まり、最奥深度１２７までである。深度レンジは、１２７である。３Ｄグラフィクスデータの深度レンジは、フルレンジよりも小さい。つまり、３Ｄ映像データの深度レンジは、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かに応じてオン（１２７）／オフ（０）が切り換えられる。
【００４１】
図７は、図５、図６に基づいて３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の概念図である。３Ｄグラフィクスデータの表示範囲Ｂは、３Ｄ映像データの表示範囲Ｃよりも奥行方向の手前であって、奥行き方向に３Ｄ映像データの表示範囲Ｃと重なり合わない。つまり、３Ｄグラフィクスデータの表示範囲Ｂは、図３に示す最大表示範囲Ａから３Ｄ映像データの表示範囲Ｃを除いた範囲である。
【００４２】
画像合成モジュール８０３は、図５に示す映像深度テーブルを参照して、３Ｄ映像データを加工する。具体的には、画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、最手前深度０から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄ画像データを表示範囲に収める処理手段として機能する。画像合成モジュール８０３は、例えば、（３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の深度レンジ）／（３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合の深度レンジ）で求められる定数を深度に乗算することで３Ｄ映像データを加工する。画像合成モジュール８０３は、映像深度テーブルに設定されている３Ｄ映像データの表示範囲における最手前深度より手前の深度を最手前深度として３Ｄ映像データを加工してもよい。
【００４３】
画像合成モジュール８０３は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否か（グラフィクス処理モジュール８０２が３Ｄグラフィクスデータを生成するか否か）を判断する判断モジュール８０３１を有する。判断モジュール８０３１は、以下に説明ように、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを判断する。例えば、グラフィクス処理モジュール８０２は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在する場合、その旨を示す通知データを判断モジュール８０３１に送信する。判断モジュール８０３１は、この通知データを受信すれば、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在すると判断する。一方、判断モジュール８０３１は、この通知データを受信しなければ、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在しないと判断する。
【００４４】
他の方法としては、グラフィクス処理モジュール８０２は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを明示的に示すフラグを立ててもよい。この場合、判断モジュール８０３１は、フラグに基づいて３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かを判断する。
【００４５】
一方、画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、図５に示す映像深度テーブルを参照して、最手前深度１２８から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、図６に示すグラフィクス深度テーブルを参照して、最手前深度０から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように３Ｄ映像データを加工する。画像合成モジュール８０３は、３Ｄグラフィクスデータを表示範囲に収める処理手段として機能する。なお、映像処理モジュール８０１及びグラフィクス処理モジュール８０２が上記説明した画像合成モジュール８０３における深度レンジの加工処理と同様の処理をしてもよい。
【００４６】
画像合成モジュール８０３は、深度レンジを加工して表示範囲に収めた３Ｄ映像データから複数視差画像を生成する。同様に、画像合成モジュール８０３は、深度レンジを加工して表示範囲に収めた３Ｄグラフィクスデータから複数視差画像を生成する。画像合成モジュール８０３は、３Ｄ映像データに３Ｄグラフィクスデータを重ね合わせる場合、３Ｄ映像データの複数視差画像と、対応する３Ｄグラフィクスの複数視差画像をそれぞれ合成し、新たな複数視差画像（ここでは、複数合成視差画像と称す）を生成する。
【００４７】
画像合成モジュール８０３は、３Ｄ映像データの複数視差画像または複数合成視差画像をビデオ出力回路２３９に供給する。ビデオ出力回路２３９は、３Ｄ映像データの複数視差画像または複数合成視差画像を表示装置２１０３に表示制御する。表示装置２１０３は、３Ｄ映像データの複数視差画像または、複数合成視差画像により、立体像を表示する。表示装置２１０３は、ユーザが視域で表示装置２１０３を見たときに、奥行きをもつ立体像を見ることができるように表示する。
【００４８】
上記説明したように、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられない場合、画像合成モジュール８０３は、最手前深度０から始まり最奥深度２５５までの深度レンジ（つまりフルレンジ）を有する表示範囲に収まるように３Ｄ映像データを加工する。さらに、画像合成モジュール８０３は、３Ｄグラフィクスの深度レンジを０（オフ）に設定する。表示装置２１０３は、フルレンジの表示範囲に収められた３Ｄ映像データに基づく複数視差画像により立体像を表示する。
【００４９】
一方、上記説明したように、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、画像合成モジュール８０３は、最手前深度１２８から始まり最奥深度２５５までの深度レンジを有する表示範囲に収まるように（言い換えると、フルレンジよりも圧縮するように）３Ｄ映像データを加工する。さらに、画像合成モジュール８０３は、最手前深度０から始まり最奥深度１２７までの深度レンジを有する表示範囲に収まるように３Ｄグラフィクスデータを加工する。つまり、画像合成モジュール８０３は、３Ｄ映像データよりも３Ｄグラフィクスデータが奥行き方向の手前であって、互いに奥行き方向に重なり合わないように表示範囲を調整する。表示装置２１０３は、各表示範囲に収められた３Ｄ映像データ及び３Ｄグラフィクスデータに基づく複数合成視差画像により、立体像を表示する。
【００５０】
図８は、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合の概念図である。３Ｄ映像データＤは、コンテンツに基づく立体像である。３ＤグラフィクスデータＥは、チャンネル情報に基づく立体像である。表示装置２１０３は、３Ｄ映像データＤよりも３ＤグラフィクスデータＥが奥行き方向の手前であって、互いに奥行き方向に重なり合わないように表示する。したがって、ユーザは、３Ｄ映像データの影響を受けることなく、３ＤグラフィクスデータＥの内容を知覚することができる。
【００５１】
本実施形態によれば、表示装置２１０３に表示される３Ｄ映像データの表示範囲と３Ｄグラフィクスの表示範囲は、奥行き方向に重ならないよう制限される。そのため、表示装置２１０３に不自然な立体像が表示されることを防ぐことができる。さらに、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合のみ３Ｄ映像データの深度レンジは狭められるので、表示装置２１０３は、３Ｄ効果を損ねることなく３Ｄ映像データに基づく立体像を最大限に表現できる。
【００５２】
本実施形態では、３Ｄグラフィクスデータの深度レンジはオン／オフが切り替えられ、３Ｄグラフィクスデータの深度レンジは可変である例について説明したが、これに限られない。一例として、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合における３Ｄ映像データの深度レンジ及び３Ｄグラフィクスデータの深度レンジは可変であってもよい。グラフィクス深度テーブルは、３Ｄグラフィクスデータの種別に応じて、異なる深度レンジの設定を保存する。例えば、グラフィクス深度テーブルは、３Ｄグラフィクスデータが設定画面に基づく場合、最手前深度０から始まり、最奥深度１２７までの深度レンジを有する表示範囲の設定を保存する。例えば、グラフィクス深度テーブルは、３ＤグラフィクスデータがＥＰＧ画面に基づく場合、最手前深度０から始まり、最奥深度５０までの深度レンジを有する表示範囲の設定を保存する。つまり、３Ｄグラフィクスデータの深度レンジは、３Ｄグラフィクスデータの種別に応じたユーザにとっての利便性に基づいて設定されている。グラフィクスデータが設定画面に基づく場合、ユーザはリモートコントローラ２１０４を用いて直感的に設定画面上で操作するため、深度レンジは広い方がよい。一方、グラフィクスデータが文字の多いＥＰＧ画面に基づく場合、ユーザはＥＰＧ画面の文字を視認する必要がある、深度レンジは狭い方がよい。
【００５３】
なお、映像深度テーブルも、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられる場合、３Ｄグラフィクスデータの種別に応じて異なる深度レンジの設定を保存する。つまり、映像深度テーブルは、最大表示範囲から３Ｄグラフィクスデータの表示範囲を除いた範囲を３Ｄ映像データの表示範囲とする最手前深度、最奥深度、深度レンジの設定を保存する。３Ｄ映像データの深度レンジは３Ｄグラフィクスデータの種別に応じて変化するため、３Ｄ映像データは、３Ｄ効果を最大限に表現できる。
【００５４】
他の例として、３Ｄグラフィクスデータが３Ｄ映像データに重ね合わせられるか否かにかかわらず、３Ｄ映像データの深度レンジと３Ｄグラフィクスデータの深度レンジは固定であってもよい。例えば、映像深度テーブルは、最手前深度１２８から始まり、最奥深度２５５までの深度レンジ（固定）を有する表示範囲の設定を保存する。例えば、グラフィクス深度テーブルは、最手前深度０から始まり、最奥深度１２７までの深度レンジ（固定）を有する表示範囲の設定を保存する。この場合、画像合成モジュール８０３は、３Ｄ映像データに重ね合わせる３Ｄグラフィクスデータが存在するか否かにかかわらず、３Ｄ映像データの深度レンジを加工処理しなくてもよい。
【００５５】
なお、グラフィクス深度テーブルは、３Ｄグラフィクスデータの表示範囲における最手前深度を投影面の位置とする設定を保存していてもよい。本実施形態では、ユーザが視域で表示装置２１０３に表示される平面像（２Ｄ）を見た場合に、最もきれいな像を投影する奥行き方向の面を投影面と定義する。一般的には、表示装置２１０３のパネル面である。表示装置２１０４は、３Ｄグラフィクスデータが文字を含む場合、可読性を高めた立体像を表示できる。したがって、ユーザは、表示装置２１０４に表示される３Ｄグラフィクスデータに基づく立体像を、ぶれが少なく、くっきりした状態で見ることができる。
【００５６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５７】
１０…表示ユニット、１１…立体映像表示用画素、２０…マスク、３０…バックライト、２２…窓部、８０…３Ｄ処理モジュール、８０１…映像処理モジュール、８０２…グラフィクス処理モジュール、８０３…画像合成モジュール、８０４…メモリ。
【特許請求の範囲】
【請求項１】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める処理手段と、
前記第２の生成手段で前記３Ｄグラフィクスデータを生成するか否かを判断する判断手段と、
を有し、
前記判断手段が前記３Ｄグラフィクスデータを生成しないと判断した場合、前記処理手段は、前記第１の深度レンジを最大表示範囲の深度レンジに設定し、前記第２の深度レンジを０に設定する、映像処理装置。
【請求項２】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収め、前記３Ｄグラフィクスデータの種別に応じて前記第１の深度レンジを調整する処理手段と、
を有する映像処理装置。
【請求項３】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に固定された第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない固定された第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める処理手段と、
を有する映像処理装置。
【請求項１】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める処理手段と、
前記第２の生成手段で前記３Ｄグラフィクスデータを生成するか否かを判断する判断手段と、
を有し、
前記判断手段が前記３Ｄグラフィクスデータを生成しないと判断した場合、前記処理手段は、前記第１の深度レンジを最大表示範囲の深度レンジに設定し、前記第２の深度レンジを０に設定する、映像処理装置。
【請求項２】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収め、前記３Ｄグラフィクスデータの種別に応じて前記第１の深度レンジを調整する処理手段と、
を有する映像処理装置。
【請求項３】
３Ｄ映像データを生成する第１の生成手段と、
３Ｄグラフィクスデータを生成する第２の生成手段と、
奥行き方向に固定された第１の深度レンジを有する第１の表示範囲に前記３Ｄ映像データを収め、前記第１の表示範囲と前記奥行き方向に重なり合わない固定された第２の深度レンジを有する第２の表示範囲に前記３Ｄグラフィクスデータを収める処理手段と、
を有する映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４９２９５（Ｐ２０１２−２４９２９５Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１２−１２７９５０（Ｐ２０１２−１２７９５０）
【出願日】平成２４年６月５日（２０１２．６．５）
【分割の表示】特願２０１０−２８４７５１（Ｐ２０１０−２８４７５１）の分割
【原出願日】平成２２年１２月２１日（２０１０．１２．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２４年６月５日（２０１２．６．５）
【分割の表示】特願２０１０−２８４７５１（Ｐ２０１０−２８４７５１）の分割
【原出願日】平成２２年１２月２１日（２０１０．１２．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]