画像処理装置、及び画像処理方法
【課題】 より効果的に立体を表現することができる画像処理装置、及び画像処理方法を提供する。
【解決手段】 一実施形態に係る画像処理装置は、背景画像を生成する背景画像生成部と、付加情報を受け取る受取部と、前記付加情報の種別毎に深度を予め記憶する深度記憶部と、前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、前記画像合成部により生成されたビデオ信号を出力する出力部と、を具備する。
【解決手段】 一実施形態に係る画像処理装置は、背景画像を生成する背景画像生成部と、付加情報を受け取る受取部と、前記付加情報の種別毎に深度を予め記憶する深度記憶部と、前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、前記画像合成部により生成されたビデオ信号を出力する出力部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、２次元画像を立体感のある画像としてユーザに知覚させることができる画像処理装置（立体映像表示装置）が実用化されている。立体映像表示装置は、左目で知覚可能な左目用画像と、右目で知覚可能な右目用画像とを表示部に表示する。画像処理装置は、ユーザの左目に左目用画像を知覚させ、ユーザの右目に右目用画像を知覚させることにより、ユーザに画像を立体として認識させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１７２６５４号公報
【特許文献２】特開２００７−８８９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文字などを含む映像をユーザに立体的に視覚させる場合、文字がぼやける場合がある。この為、電子番組表（ＥＰＧ）、または番組情報表示などをユーザに立体的に視覚させるように画面を生成する場合、文字がぼやけてユーザに文字情報を認識させることができな
い場合があるという課題がある。
【０００５】
そこで、より効果的に立体を表現することができる画像処理装置、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る画像処理装置は、背景画像を生成する背景画像生成部と、付加情報を受け取る受取部と、前記付加情報の種別毎に深度を予め記憶する深度記憶部と、前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、前記画像合成部により生成されたビデオ信号を出力する出力部と、を具備する。
【図面の簡単な説明】
【０００７】
【図１】図１は、一実施形態に係る立体表示装置について説明する為の説明図である。
【図２】図２は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図３】図３は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図４】図４は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図５】図５は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図６】図６は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図７】図７は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図８】図８は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図９】図９は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図１０】図１０は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図１１】図１１は、一実施形態に係る画像処理装置について説明する為の説明図である。
【発明を実施するための形態】
【０００８】
以下、図を参照しながら、一実施形態に係る画像処理装置、及び画像処理方法ついて詳細に説明する。
【０００９】
図１は、一実施形態に係る立体表示装置１について説明するための説明図である。
先ず、立体映像表示の原理を説明する。図１は、立体表示装置の一部を断面として示す図である。
【００１０】
立体表示装置１は、表示ユニット１０と、マスク２０と、バックライト３０とを備える。
【００１１】
表示ユニット１０は、縦横に配列された多数の画素１１を有する。マスク２０は、多数の窓部２２を有する。マスク板２０は、表示ユニット１０と所定距離離間されて配置される。窓部２２は、画素１１と対応する位置に設けられる。
【００１２】
マスク２０は、光を透過する光学的開口を有する。マスク２０は、上記の画素１１から放出される光線を制御する機能を有する。マスク２０は、視差バリア、または光線制御素子とも呼ばれる。
【００１３】
マスク２０は、例えば、多数の窓部２２に対応した多数の開口により遮光体パターンが形成された透明基板などにより構成される。また、マスク２０は、例えば、多数の窓部２２に対応した多数の貫通孔が形成された遮光板などにより構成される。
【００１４】
また、マスク２０は、多数の微小なレンズが２次元的に配列されて形成されるフライアイレンズなどにより構成されていてもよい。また、マスク２０は、垂直方向に直線状に延びた光学的開口が水平方向に周期的に複数配列されて形成されるレンチキュラーレンズなどにより構成されていてもよい。なお、マスク２０の、窓部２２の配置、寸法、及び形状は、表示ユニット１０の画素１１の配置に応じて任意に変更可能である。
【００１５】
バックライト３０は、光を放出する光源である。バックライト３０は、例えば、冷陰極管、またはＬＥＤ素子などの光源を有する。バックライト３０から放出された光は、表示ユニット１０の各画素１１を透過し、マスク２０を通る。表示ユニット１０の各画素１１は、透過する光を偏光する。これにより、各画素１１は、種々の色を表示することができる。
【００１６】
また、マスク２０は、窓部２２と直線上に存在する画素１１から放出される光を透過する。この結果、立体表示装置１は、種々の色の光を図１に示す光線４１の方向に放出することができる。
【００１７】
なお、上記したように、インテグラル方式による立体視の例を説明したが、立体表示装置１は、上記の構成に限定されない。立体表示装置１の立体視の方式は、他の裸眼方式、シャッターメガネ方式、または偏光メガネ方式などであってもよい。
【００１８】
図２は、一実施形態に係る画像処理装置１００について説明するための説明図である。
画像処理装置１００は、入力端子２２３、チューナ２２４、デコーダ２２５、及びセレクタ２２６を備える。
【００１９】
入力端子２２３は、例えばアンテナ２２２により受信されるディジタル放送信号が入力される入力端子である。アンテナ２２２は、例えば、地上ディジタル放送信号、ＢＳ（ｂｒｏａｄｃａｓｔｉｎｇ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号、及び／または、１１０度ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号を受信する。即ち、入力端子２２３は、放送信号により供給される番組などのコンテンツを受信する。
【００２０】
入力端子２２３は、受信したディジタル放送信号をチューナ２２４に供給する。チューナ２２４は、ディジタル放送信号用のチューナである。チューナ２２４は、アンテナ２２２から供給されるディジタル放送信号のチューニング（選局）を行う。チューナ２２４は、チューニングしたディジタル放送信号をデコーダ２２５に送信する。
【００２１】
デコーダ２２５は、チューナ２２４から供給されるディジタル放送信号の復調を行う。デコーダ２２５は、復調したディジタル放送信号（コンテンツ）をセレクタ２２６に入力する。即ち、入力端子２２３、チューナ２２４、及びデコーダ２２５は、コンテンツを受信する受信手段として機能する。なお、入力端子２２３により受信した信号がエンコードされていない場合、画像処理装置１００は、チューナ２２４が信号をセレクタ２２６に入力する構成であってもよい。
【００２２】
また、画像処理装置１００は、入力端子２２８、チューナ２２９、及びＡ／Ｄコンバータ２３０を備える。
【００２３】
入力端子２２８は、例えばアンテナ２２７により受信されるアナログ放送信号が入力される入力端子である。アンテナ２２７は、アナログ放送信号を受信する。即ち、入力端子２２８は、アナログ放送信号により供給される番組などのコンテンツを受信する。
【００２４】
入力端子２２８は、受信したアナログ放送信号をチューナ２２９に供給する。チューナ２２９は、アナログ放送信号用のチューナである。チューナ２２９は、アンテナ２２７から供給されるアナログ放送信号のチューニング（選局）を行う。チューナ２２９は、チューニングしたアナログ放送信号をＡ／Ｄコンバータ２３０に送信する。
【００２５】
Ａ／Ｄコンバータ２３０は、チューナ２２９から供給されるアナログ放送信号をディジタル信号に変換する。Ａ／Ｄコンバータ２３０は、ディジタルに変換した放送信号（コンテンツ）をセレクタ２２６に入力する。
【００２６】
また、画像処理装置１００は、入力端子２３１、及びＡ／Ｄコンバータ２３２を備える。
入力端子２３１は、アナログ信号を受信する為の入力端子である。入力端子２３１は、アナログのビデオ信号及びオーディオ信号を出力する機器に接続される。入力端子２３１は、これらのアナログ機器から入力されるアナログ信号を受信する。入力端子２３１は、受信したアナログ信号をＡ／Ｄコンバータ２３２に供給する。
【００２７】
Ａ／Ｄコンバータ２３２は、入力端子２３１から供給されるアナログ信号をディジタル信号に変換する。Ａ／Ｄコンバータ２３２は、ディジタルに変換した信号をセレクタ２２６に入力する。
【００２８】
また、画像処理装置１００は、入力端子２３３を備える。入力端子２３３は、ディジタル信号を受信する為の入力端子であり、例えばＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子を備える。入力端子２３３は、ディジタルのビデオ信号及びオーディオ信号を出力する機器に接続される。入力端子２３３は、例えば、ＨＤＭＩ形式でデータを送受信が可能な機器（ＨＤＭＩ機器）２６１に接続される。入力端子２３３は、ＨＤＭＩ機器から入力されるディジタル信号を受信する。入力端子２３３は、受信したディジタル信号をセレクタ２２６に供給する。
【００２９】
セレクタ２２６は、デコーダ２２５から供給されるディジタル放送信号、Ａ／Ｄコンバータ２３０から供給されるディジタル信号、Ａ／Ｄコンバータ２３２から供給されるディジタル信号、及び入力端子２３３から供給されるディジタル信号のうちのいずれか１つを選択し、選択した信号を信号処理器２３４に供給する。
【００３０】
画像処理装置１００は、信号処理器２３４、制御部２３５、エンコーダ／デコーダ２３６、オーディオ出力回路２３７、出力端子２３８、ビデオ出力回路２３９、及び出力端子２４２をさらに備える。
【００３１】
信号処理器２３４は、入力されたディジタル信号をオーディオ信号、ビデオ信号、及び他のデータ（例えばメタデータなど）に分割する。信号処理器２３４は、分割したオーディオ信号、及びビデオ信号に対して種々の信号処理を施す。
【００３２】
例えば、信号処理器２３４は、オーディオ信号に対して、オーディオデコード、音質調整、及びミックス処理などを任意で行う。また、信号処理器２３４は、ビデオ信号に対して、カラー及び輝度の分離処理、カラーの調整処理、及び画質の調整処理などを行う。また、信号処理器２３４は、ビデオ信号に対して、例えば、制御部２３５からの制御に基づいて、色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。
【００３３】
信号処理器２３４は、オーディオ出力回路２３７にオーディオ信号を供給する。また、信号処理器２３４は、ビデオ出力回路２３９にビデオ信号を供給する。さらに、信号処理器２３４は、制御部２３５に他のデータを供給する。
【００３４】
オーディオ出力回路２３７は、信号処理器２３４から受信したオーディオ信号を、スピーカ２１０２により再生可能なフォーマットのオーディオ信号に変換する。オーディオ出力回路２３７は、オーディオ信号を出力端子２３８に出力する。出力端子２３８は、供給されるオーディオ信号を装置外部に出力する。これにより、出力端子２３８に接続されるスピーカ２１０２は、供給されるオーディオ信号に基づいて音を再生する。
【００３５】
ビデオ出力回路２３９は、信号処理器２３４から受信したビデオ信号を、立体表示装置１で再生可能なフォーマットのビデオ信号に変換する。即ち、ビデオ出力回路２３９は、信号処理器２３４から受信したビデオ信号を、立体表示装置１で再生可能なフォーマットのビデオ信号にデコード（再生）する。ビデオ出力回路２３９は、ビデオ信号を出力端子２４２に出力する。出力端子２４２に接続される立体表示装置１は、供給されるビデオ信号に基づいて映像を表示する。
【００３６】
なお、画像処理装置１００は、出力端子２４２の代わりに、立体表示装置１を内部に備える構成であってもよい。また、画像処理装置１００は、出力端子２３８の代わりに、スピーカ２１０２を内部に備える構成であってもよい。
【００３７】
制御部２３５は、画像処理装置１００の各部の動作を制御する制御手段として機能する。制御部２３５は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＥＥＰＲＯＭなどを備えている。制御部２３５は、操作部２４７またはリモコン信号受信部２４８から供給される操作信号に基づいて、種々の処理を行う。
【００３８】
ＣＰＵは、種々の演算処理を実行する演算素子などを備える。ＣＰＵは、ＲＯＭ、またはＥＥＰＲＯＭなどに記憶されているプログラムを実行することにより種々の機能を実現する。
【００３９】
ＲＯＭは、画像処理装置１００を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。ＣＰＵは、操作部２４７またはリモコン信号受信部２４８から供給される操作信号に基づいて、ＲＯＭに記憶されているプログラムを起動する。これにより、制御部２３５は、各部の動作を制御する。
【００４０】
ＲＡＭは、ＣＰＵのワークメモリとして機能する。即ち、ＲＡＭは、ＣＰＵの演算結果、ＣＰＵにより読み込まれたデータなどを記憶する。
【００４１】
ＥＥＰＲＯＭは、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。
【００４２】
制御部２３５は、上記のＣＰＵ、ＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭなどにより実現される記録制御部２３５ａ及び再生制御部２３５ｂを備える。記録制御部２３５ａは、セレクタ２２６により選択された信号を録画するように各部を制御する。また、再生制御部２３５ｂは、画像処理装置１００内に記録されているコンテンツ、または当該画像処理装置１００に接続される機器に記録されているコンテンツの再生処理を行うように各部を制御する。
【００４３】
また、制御部２３５は、ＧＵＩ（グラフィック ユーザ インタフェース）などのオブジェクトを画面に表示させる為の情報（ＧＵＩアイテム）を生成する。制御部２３５は、例えば、予めＲＯＭ、ＥＥＰＲＯＭなどの記憶装置に記録されているＧＵＩアイテムを読み出す。さらに、制御部２３５は、セレクタ２２６から供給される情報に基づいて、字幕、時刻、番組情報、メニュー画面、または他の情報を表示させるためのＧＵＩアイテムを生成する。制御部２３５は、生成したＧＵＩアイテムを信号処理器２３４に供給する。信号処理器２３４は、制御部２３５から供給されるＧＵＩアイテムに基づいて種々のオブジェクトをビデオ信号中に描画する。
【００４４】
画像処理装置１００は、接続端子２４４、送受信器２４５、変調復調器２４６、操作部２４７、リモコン信号受信部２４８、コネクタ２５１、及び端子２５６をさらに備える。
【００４５】
接続端子２４４は、例えば、ＬＡＮポートなどのネットワークに接続する為の接続端子を備える。また、画像処理装置１００は、接続端子２４４の代わりに無線ＬＡＮモジュールを備えていても良い。
【００４６】
送受信器２４５は、接続端子２４４を介してネットワーク上のサーバなどとデータの送受信を行う。変調復調器２４６は、送受信器２４５により送受信するデータに対して変調、及び復調を施す。これにより、画像処理装置１００は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。
【００４７】
操作部２４７は、例えば、操作キー、キーボード、マウス、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える操作入力モジュールである。例えば、操作部２４７は、操作入力に応じて操作信号を生成する。操作部２４７は、生成した操作信号を制御部２３５に供給する。
【００４８】
なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、画像処理装置１００が立体表示装置１、または他の表示装置を備える場合、操作部２４７は、表示装置と一体に形成されるタッチパネルなどを備える構成であってもよい。
【００４９】
リモコン信号受信部２４８は、例えば、リモートコントローラ２１０４からの操作信号を受信するセンサなどを備える。リモコン信号受信部２４８は、受信した操作信号を制御部２３５に供給する。リモートコントローラ２１０４は、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラ２１０４は、生成した操作信号を赤外線通信によりリモコン信号受信部２４８に送信する。なお、リモコン信号受信部２４８及びリモートコントローラ２１０４は、光通信、電波通信などの他の無線通信により操作信号の送受信を行う構成であってもよい。
【００５０】
コネクタ２５２は、種々のメモリカードを接続することが出来るカードコネクタを有する。コネクタ２５２は、例えば、動画コンテンツを記憶するメモリカードと通信を行う為のインターフェースである。コネクタ２５２は、接続されるメモリカードから動画のコンテンツデータを読み出し、制御部２３５に供給する。
【００５１】
端子２５６は、ハードディスクドライブ（ＨＤＤ）２５７などの記憶装置を接続することが出来る端子である。端子２５６は例えば、動画コンテンツを記憶するＨＤＤ２５７から動画のコンテンツデータを読み出し、制御部２３５に供給する。
【００５２】
なお、端子２５６に接続される記憶装置は、ソリッドステイトディスク（ＳＳＤ）、または半導体メモリなどの記憶装置などであってもよい。画像処理装置１００は、この記憶装置に記憶されているコンテンツを読み出し、再生することが出来る。また、画像処理装置１００は、この記憶装置に例えば放送信号、またはネットワークなどにより供給されるコンテンツを記憶することができる。
【００５３】
さらに、画像処理装置１００は、ＵＳＢ機器と通信を行う為のＵＳＢコネクタを備えていてもよい。ＵＳＢコネクタは、接続されるＵＳＢ機器から供給される信号を制御部２３５に供給する。
【００５４】
例えば、ＵＳＢ機器がキーボードなどの操作入力機器である場合、ＵＳＢコネクタは、操作信号をＵＳＢ機器から受け取る。ＵＳＢコネクタは、受け取った操作信号を制御部２３５に供給する。この場合、制御部２３５は、ＵＳＢコネクタから供給される操作信号に基づいて種々の処理を実行する。
【００５５】
また、例えば、ＵＳＢ機器が動画のコンテンツデータを記憶する記憶装置である場合、ＵＳＢコネクタは、コンテンツをＵＳＢ機器から取得することができる。ＵＳＢコネクタは、取得したコンテンツを制御部２３５に供給する。
【００５６】
またさらに、画像処理装置１００は、ディスクドライブを備えていても良い。ディスクドライブは、例えば、コンパクトディスク（ＣＤ）、ディジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）、または動画のコンテンツデータを記録可能な他の光ディスクを装着可能なドライブを有する。ディスクドライブは、装着される光ディスクからコンテンツを読み出し、読み出したコンテンツを制御部２３５に供給する。
【００５７】
また、画像処理装置１００は、図示しない電源部を備える。電源部は、画像処理装置１００の各部に電力を供給する。電源部は、例えば、ＡＣアダプタなどを介して供給される電力を変換し各部へ供給する。また、電源部は、バッテリーを備えていても良い。この場合、電源部は、ＡＣアダプタなどを介して供給される電力をバッテリーに充電する。電源部は、バッテリーに充電されている電力を画像処理装置１００の各部に供給する。
【００５８】
またさらに、信号処理器２３４は、立体視処理部８０を備える。立体視処理部８０は、視差が存在する右目用画像と左目用画像とを含むコンテンツに基づいて、立体視表示を行う。即ち、立体視処理部８０は、右目用画像と左目用画像とに基づいて、ユーザが立体として認識するようにビデオ信号を処理する。
【００５９】
さらに、立体視処理部８０は、制御部２３５から供給されるＧＵＩアイテム（付加情報と称する）に基づいて、メニュー画面、ＥＰＧ画面、番組情報、またはアラートなどのオブジェクトを立体表示する。
【００６０】
図３は、立体視処理部８０の構成例について説明するための説明図である。
図３に示すように、立体視処理部８０は、背景画像生成部８１、立体視画像生成部８２、及び画像合成部８３を備える。
【００６１】
背景画像生成部８１は、表示画面上に提示される背景映像を生成する。背景画像生成部８１は、例えば、通常の放送表示画面を生成する。
【００６２】
立体視画像生成部８２は、種々のオブジェクトをユーザが立体として認識するように立体視画像を生成する。立体視画像生成部８２は、付加情報に基づいて、例えば、メニュー画面、ＥＰＧ画面、放送メール表示画面、アラート、番組情報、及び他の情報などのオブジェクトを表示する為の立体視画像を生成する。例えば、立体視画像生成部８２は、オブジェクトをユーザが立体として認識できるように表示する為に、右目用画像と、左目用画像とを立体視画像として生成する。
【００６３】
画像合成部８３は、背景画像生成部８１により生成された背景画像と、立体視画像生成部８２により生成された立体視画像とを合成する。即ち、画像合成部８３は、最初に背景画像の表示を行い、背景画像より上の階層（表示上における前面）に立体視画像の表示を行う。
【００６４】
例えば、画像合成部８３は、背景画像の表示を行い、背景画像より上の階層に立体視画像の右目用画像及び左目用画像の表示を行う。これにより、画像合成部８３は、視差を有するオブジェクトのイメージを含むビデオ信号を生成する。なお、立体視表示を行う為の手法は、上記の方法に限定されず、如何なるものであってもよい。
【００６５】
画像合成部８３は、生成したビデオ信号をビデオ出力回路２３９に出力する。ビデオ出力回路２３９は、画像合成部８３から受信したビデオ信号を、立体表示装置１に出力する。これにより、立体表示装置１により、ユーザが立体として認識できる状態でオブジェクト画像を含む画面が表示される。
【００６６】
図４は、画像処理装置１００により生成される画面の例について説明する為の説明図である。
【００６７】
図４に示すある点Ｃが飛び出ていることをユーザに認識させる場合、画像処理装置１００は、ある面（例えば投影面）を基準面として、基準面に点Ａと点Ｂとを投影するようにビデオ信号を生成する。この場合、画像処理装置１００は、点Ａをユーザの右目により視覚可能な状態でビデオ信号を生成する。さらに、画像処理装置１００は、点Ｂをユーザの左目により視覚可能な状態でビデオ信号を生成する。
【００６８】
しかし、このようなビデオ信号が立体表示装置１により表示される場合、画面３０１に示すように、例えば点Ａ及び点Ｂがユーザの両目により視覚される場合がある。このような場合、ユーザにとって点Ｃがぼやけて視覚される場合がある。
【００６９】
また、基準面上に点Ｄが存在するようにユーザに視覚させる場合、画像処理装置１００は、ユーザの右目により視覚可能な画面とユーザの左目により視覚可能な画面の両方の同じ位置に点Ｄを表示する。このような場合、ユーザは、画面３０２に示すように、ぼやけていない点Ｄを視覚することができる。
【００７０】
またさらに、図４に示すある点Ｇが画面の奥側に存在することをユーザに認識させる場合、画像処理装置１００は、基準面に点Ｅと点Ｆとを投影するようにビデオ信号を生成する。この場合、画像処理装置１００は、点Ｅをユーザの右目により視覚可能な状態でビデオ信号を生成する。さらに、画像処理装置１００は、点Ｆをユーザの左目により視覚可能な状態でビデオ信号を生成する。
【００７１】
この場合も、このようなビデオ信号が立体表示装置１により表示される場合、画面３０３に示すように、例えば点Ｅ及び点Ｆがユーザの両目により視覚される場合がある。このような場合、ユーザにとって点Ｇがぼやけて視覚される場合がある。文字の表示を含むＧＵＩアイテムは、他のＧＵＩアイテムに比べてぼやけることの問題が大きい。
【００７２】
なお、基準面から立体視画像が離れるほど、右目用画像における点と左目用画像における点との表示位置の差が大きい。基準面から立体視画像が離れるほど、ユーザにより視覚される映像がぼやけ易くなる可能性がある。そこで、画像処理装置１００は、ＧＵＩアイテムの性質に応じて、立体視画像を表示させる深度（Ｄｅｐｔｈ）を制御する。
【００７３】
図５は、立体視画像生成部８２について説明するための説明図である。立体視画像生成部８２は、深度記憶部８２１、深度決定部８２２、及びオブジェクト生成部８２３を備える。
【００７４】
深度記憶部８２１は、ＧＵＩアイテム毎に深度を記憶したテーブルである。図６は、深度記憶部８２１の構成を示す図である。図６に示すように、深度記憶部８２１は、ＧＵＩアイテムを示すＩＤ（識別情報）と、ＧＵＩアイテムの深度とを対応付けて記憶したテーブルである。画像処理装置１００は、ユーザにより入力される操作に基づいて、深度記憶部８２１により記憶されている深度の値を設定することができる。さらに、画像処理装置１００は、深度の値を変える場合、予め設定されるパスワードを用いて認証を行い、照合結果が一致である場合に深度の設定を許可する構成であってもよい。
【００７５】
また、深度記憶部８２１は、図７に示すように構成されていてもよい。図７は、深度記憶部８２１の他の構成を示す図である。図７に示す深度記憶部８２１は、ＧＵＩアイテムを示すＩＤ（識別情報）と、ＧＵＩアイテムの深度と、表示種別とを対応付けて記憶する。表示種別は、例えば、ＧＵＩアイテムが文字の表示を含むＧＵＩアイテムであるか否かを設定する。こうすることで、例えばＧＵＩアイテムが文字の表示を含むＧＵＩアイテムである場合に、前記文字部分の深度を同テーブルに記載された深度よりもより基準面に近い値で設定することが可能になる。このような深度記憶部８２１を用いる場合、制御部２３５は、表示種別を示す情報を含んだＧＵＩアイテム（付加情報）を信号処理器２３４に入力する。
【００７６】
図８及び図９は、深度について説明する為の説明図である。立体表示装置１により立体視表示が可能な表示空間内で、最も前面（視聴者側）を深度０と設定し、最も背面を深度２５５とし、基準面（投影面）の深度を１２８と仮定する。この場合において、深度記憶部８２１は、ＧＵＩアイテムが文字の表示を含むＧＵＩアイテムである場合、深度を１２８から予め設定される範囲内（例えば、１２８±α）で設定する。
【００７７】
図９は、図８に示す表示空間を上から見た図である。図９に示すＧＵＩアイテム９０１及び９０２は、文字の表示を含む。この為、深度記憶部８２１には、ＧＵＩアイテム９０１及び９０２には、基準面の深度から所定範囲内にある深度が設定されている。この為、図９に示すＧＵＩアイテム９０１及び９０２は、基準面の深度に近い深度で表示される。図９に示すＧＵＩアイテム９０３は、文字の表示を含まないＧＵＩアイテムである。この為、ＧＵＩアイテム９０３は、前記９０１及び９０２と比べて３D効果の大きい基準面から離れた位置の深度で表示される。
【００７８】
図５に示す深度決定部８２２は、制御部２３５から供給されるＧＵＩアイテム（付加情報）のＩＤ、または表示種別に基づいて、深度記憶部８２１から深度を読み出す。即ち、深度決定部８２２は、制御部２３５から供給されるＧＵＩアイテムの種別（ＩＤまたは表示種別）を判別し、判別した種別に対応付けられている深度を深度記憶部８２１から読み出す。深度決定部８２２は、読み出した深度をオブジェクト生成部に８２３に供給する。
【００７９】
図５に示すオブジェクト生成部８２３は、制御部２３５から供給されるＧＵＩアイテム（付加情報）に基づいて、メニュー画面、ＥＰＧ画面、放送メール表示画面、アラート、番組情報、及び他の情報などのオブジェクトを示す画像（オブジェクト画像）を生成する。
【００８０】
さらに、オブジェクト生成部８２３は、深度決定部８２２から出力される深度と、オブジェクト画像とに基づいて、立体視画像を生成する。立体視画像は、ユーザの右目により視聴される右目用画像とユーザの左目により視聴される左目用画像とを有する。
【００８１】
オブジェクト生成部８２３は、深度に基づいて、右目用画像におけるオブジェクト画像を表示する領域と、左目用画像におけるオブジェクト画像を表示する領域と、を決定する。オブジェクト生成部８２３は、決定された領域にオブジェクト画像を表示し、立体視画像を生成する。なお、右目用画像内に表示されるオブジェクト画像と、左目用画像内に表示されるオブジェクト画像とは、視差を有する。オブジェクト生成部８２３は、生成した立体視画像を画像合成部８３に出力する。
【００８２】
図１０は、画像合成部８３について説明するための説明図である。画像合成部８３は、背景画像表示部８３１、及び立体視画像表示部８３２を具備する。
【００８３】
画像合成部８３は、背景画像生成部８１により生成された背景画像と、立体視画像生成部８２により生成された立体視画像とを合成する。背景画像表示部８３１は、背景画像生成部８１により生成される背景画像の表示を行う。この場合、背景画像表示部８３１は、背景画像を予め設定される基準の深度（例えば基準面の深度）で表示する。基準の深度で表示される画像は、右目用画像と左目用とで視差がない状態で表示される。即ち、立体ではなくユーザに平面として認識させるように表示を行う。さらに、立体視画像表示部８３２は、背景画像より上の階層（表示上における前面）に立体視画像生成部８２により生成される立体視画像の表示を行う。
【００８４】
これにより、画像合成部８３は、視差を有するオブジェクトのイメージを含むビデオ信号を生成する。画像合成部８３は、生成したビデオ信号をビデオ出力回路２３９に出力する。ビデオ出力回路２３９は、画像合成部８３から受信したビデオ信号を、立体表示装置１に出力する。これにより、立体表示装置１により、ユーザが立体として認識できる状態でオブジェクト画像を含む画面が表示される。
【００８５】
図１１は、画像処理装置１００により生成されて立体表示装置１により表示される画面の例について説明する為の説明図である。ここでは、ＥＰＧ画面の表示の例について説明する。
【００８６】
図１１に示すウィンドウ１１０１は、ＥＰＧ画面を表示するためのウィンドウである。ウィンドウ１１０１は、チャンネルバナー１１０２の表示領域と、番組情報１１０３の表示領域とを有する。
【００８７】
チャンネルバナー１１０２は、細かい文字などの表示を含まないため、深度記憶部８２１により基準面から離れた３Ｄ効果の高い深度が記憶されている。この為、例えば、チャンネルバナー１１０２は、図９に示すＧＵＩアイテム９０３のような深度で表示される。なお、画像処理装置１００は、制御部２３５から受信するＧＵＩアイテム（付加情報）が示す深度を準拠してチャンネルバナー１１０２の表示を行う構成であってもよい。
【００８８】
また、番組情報１１０３は、細かい文字などの表示を含むため、深度記憶部８２１により基準面に対して近い深度が記憶されている。この為、例えば、番組情報１１０３は、図９に示すＧＵＩアイテム９０１又は９０２のような深度で表示される。
【００８９】
また、画像処理装置１００は、ＧＵＩアイテムが細かい文字の表示などを含む場合、基準面の深度を用いてＧＵＩアイテムを表示する構成であってもよい。
【００９０】
上記したように、画像処理装置１００は、立体表示を行うオブジェクトが文字などを含む場合、深度記憶部８２１により予め記憶されている深度を用いて立体表示を行う。これにより、画像処理装置１００は、立体表示により文字などの輪郭がぼやけてしまい、文字が見づらくなる事を防ぐことができる。この結果、より効果的に立体を表現することができる画像処理装置、及び画像処理方法を提供することができる。
【００９１】
なお、３Ｄ効果の強度を設定できる画像処理装置が存在する。このような画像処理装置に上記記載の深度記憶部８２１を適用する場合、深度記憶部８２１は、３Ｄ効果の強度毎に深度を記憶する構成であってもよい。また、深度記憶部８２１は、３Ｄ効果の強度に応じて深度を単純加算する、または線形演算により各強度における深度を計算する構成であってもよい。
【００９２】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９４】
１…立体表示装置、１０…表示ユニット、１１…画素、２０…マスク、２２…窓部、３０…バックライト、８０…立体視処理部、８１…背景画像生成部、８２…立体視画像生成部、８３…画像合成部、１００…画像処理装置、２３４…信号処理器、２３５…制御部、２３６…デコーダ、２３７…オーディオ出力回路、２３８…出力端子、２３９…ビデオ出力回路、２４２…出力端子、８２１…深度記憶部、８２２…深度決定部、８２３…オブジェクト生成部、８３１…背景画像表示部、８３２…立体視画像表示部。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、２次元画像を立体感のある画像としてユーザに知覚させることができる画像処理装置（立体映像表示装置）が実用化されている。立体映像表示装置は、左目で知覚可能な左目用画像と、右目で知覚可能な右目用画像とを表示部に表示する。画像処理装置は、ユーザの左目に左目用画像を知覚させ、ユーザの右目に右目用画像を知覚させることにより、ユーザに画像を立体として認識させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１７２６５４号公報
【特許文献２】特開２００７−８８９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文字などを含む映像をユーザに立体的に視覚させる場合、文字がぼやける場合がある。この為、電子番組表（ＥＰＧ）、または番組情報表示などをユーザに立体的に視覚させるように画面を生成する場合、文字がぼやけてユーザに文字情報を認識させることができな
い場合があるという課題がある。
【０００５】
そこで、より効果的に立体を表現することができる画像処理装置、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る画像処理装置は、背景画像を生成する背景画像生成部と、付加情報を受け取る受取部と、前記付加情報の種別毎に深度を予め記憶する深度記憶部と、前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、前記画像合成部により生成されたビデオ信号を出力する出力部と、を具備する。
【図面の簡単な説明】
【０００７】
【図１】図１は、一実施形態に係る立体表示装置について説明する為の説明図である。
【図２】図２は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図３】図３は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図４】図４は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図５】図５は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図６】図６は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図７】図７は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図８】図８は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図９】図９は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図１０】図１０は、一実施形態に係る画像処理装置について説明する為の説明図である。
【図１１】図１１は、一実施形態に係る画像処理装置について説明する為の説明図である。
【発明を実施するための形態】
【０００８】
以下、図を参照しながら、一実施形態に係る画像処理装置、及び画像処理方法ついて詳細に説明する。
【０００９】
図１は、一実施形態に係る立体表示装置１について説明するための説明図である。
先ず、立体映像表示の原理を説明する。図１は、立体表示装置の一部を断面として示す図である。
【００１０】
立体表示装置１は、表示ユニット１０と、マスク２０と、バックライト３０とを備える。
【００１１】
表示ユニット１０は、縦横に配列された多数の画素１１を有する。マスク２０は、多数の窓部２２を有する。マスク板２０は、表示ユニット１０と所定距離離間されて配置される。窓部２２は、画素１１と対応する位置に設けられる。
【００１２】
マスク２０は、光を透過する光学的開口を有する。マスク２０は、上記の画素１１から放出される光線を制御する機能を有する。マスク２０は、視差バリア、または光線制御素子とも呼ばれる。
【００１３】
マスク２０は、例えば、多数の窓部２２に対応した多数の開口により遮光体パターンが形成された透明基板などにより構成される。また、マスク２０は、例えば、多数の窓部２２に対応した多数の貫通孔が形成された遮光板などにより構成される。
【００１４】
また、マスク２０は、多数の微小なレンズが２次元的に配列されて形成されるフライアイレンズなどにより構成されていてもよい。また、マスク２０は、垂直方向に直線状に延びた光学的開口が水平方向に周期的に複数配列されて形成されるレンチキュラーレンズなどにより構成されていてもよい。なお、マスク２０の、窓部２２の配置、寸法、及び形状は、表示ユニット１０の画素１１の配置に応じて任意に変更可能である。
【００１５】
バックライト３０は、光を放出する光源である。バックライト３０は、例えば、冷陰極管、またはＬＥＤ素子などの光源を有する。バックライト３０から放出された光は、表示ユニット１０の各画素１１を透過し、マスク２０を通る。表示ユニット１０の各画素１１は、透過する光を偏光する。これにより、各画素１１は、種々の色を表示することができる。
【００１６】
また、マスク２０は、窓部２２と直線上に存在する画素１１から放出される光を透過する。この結果、立体表示装置１は、種々の色の光を図１に示す光線４１の方向に放出することができる。
【００１７】
なお、上記したように、インテグラル方式による立体視の例を説明したが、立体表示装置１は、上記の構成に限定されない。立体表示装置１の立体視の方式は、他の裸眼方式、シャッターメガネ方式、または偏光メガネ方式などであってもよい。
【００１８】
図２は、一実施形態に係る画像処理装置１００について説明するための説明図である。
画像処理装置１００は、入力端子２２３、チューナ２２４、デコーダ２２５、及びセレクタ２２６を備える。
【００１９】
入力端子２２３は、例えばアンテナ２２２により受信されるディジタル放送信号が入力される入力端子である。アンテナ２２２は、例えば、地上ディジタル放送信号、ＢＳ（ｂｒｏａｄｃａｓｔｉｎｇ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号、及び／または、１１０度ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号を受信する。即ち、入力端子２２３は、放送信号により供給される番組などのコンテンツを受信する。
【００２０】
入力端子２２３は、受信したディジタル放送信号をチューナ２２４に供給する。チューナ２２４は、ディジタル放送信号用のチューナである。チューナ２２４は、アンテナ２２２から供給されるディジタル放送信号のチューニング（選局）を行う。チューナ２２４は、チューニングしたディジタル放送信号をデコーダ２２５に送信する。
【００２１】
デコーダ２２５は、チューナ２２４から供給されるディジタル放送信号の復調を行う。デコーダ２２５は、復調したディジタル放送信号（コンテンツ）をセレクタ２２６に入力する。即ち、入力端子２２３、チューナ２２４、及びデコーダ２２５は、コンテンツを受信する受信手段として機能する。なお、入力端子２２３により受信した信号がエンコードされていない場合、画像処理装置１００は、チューナ２２４が信号をセレクタ２２６に入力する構成であってもよい。
【００２２】
また、画像処理装置１００は、入力端子２２８、チューナ２２９、及びＡ／Ｄコンバータ２３０を備える。
【００２３】
入力端子２２８は、例えばアンテナ２２７により受信されるアナログ放送信号が入力される入力端子である。アンテナ２２７は、アナログ放送信号を受信する。即ち、入力端子２２８は、アナログ放送信号により供給される番組などのコンテンツを受信する。
【００２４】
入力端子２２８は、受信したアナログ放送信号をチューナ２２９に供給する。チューナ２２９は、アナログ放送信号用のチューナである。チューナ２２９は、アンテナ２２７から供給されるアナログ放送信号のチューニング（選局）を行う。チューナ２２９は、チューニングしたアナログ放送信号をＡ／Ｄコンバータ２３０に送信する。
【００２５】
Ａ／Ｄコンバータ２３０は、チューナ２２９から供給されるアナログ放送信号をディジタル信号に変換する。Ａ／Ｄコンバータ２３０は、ディジタルに変換した放送信号（コンテンツ）をセレクタ２２６に入力する。
【００２６】
また、画像処理装置１００は、入力端子２３１、及びＡ／Ｄコンバータ２３２を備える。
入力端子２３１は、アナログ信号を受信する為の入力端子である。入力端子２３１は、アナログのビデオ信号及びオーディオ信号を出力する機器に接続される。入力端子２３１は、これらのアナログ機器から入力されるアナログ信号を受信する。入力端子２３１は、受信したアナログ信号をＡ／Ｄコンバータ２３２に供給する。
【００２７】
Ａ／Ｄコンバータ２３２は、入力端子２３１から供給されるアナログ信号をディジタル信号に変換する。Ａ／Ｄコンバータ２３２は、ディジタルに変換した信号をセレクタ２２６に入力する。
【００２８】
また、画像処理装置１００は、入力端子２３３を備える。入力端子２３３は、ディジタル信号を受信する為の入力端子であり、例えばＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子を備える。入力端子２３３は、ディジタルのビデオ信号及びオーディオ信号を出力する機器に接続される。入力端子２３３は、例えば、ＨＤＭＩ形式でデータを送受信が可能な機器（ＨＤＭＩ機器）２６１に接続される。入力端子２３３は、ＨＤＭＩ機器から入力されるディジタル信号を受信する。入力端子２３３は、受信したディジタル信号をセレクタ２２６に供給する。
【００２９】
セレクタ２２６は、デコーダ２２５から供給されるディジタル放送信号、Ａ／Ｄコンバータ２３０から供給されるディジタル信号、Ａ／Ｄコンバータ２３２から供給されるディジタル信号、及び入力端子２３３から供給されるディジタル信号のうちのいずれか１つを選択し、選択した信号を信号処理器２３４に供給する。
【００３０】
画像処理装置１００は、信号処理器２３４、制御部２３５、エンコーダ／デコーダ２３６、オーディオ出力回路２３７、出力端子２３８、ビデオ出力回路２３９、及び出力端子２４２をさらに備える。
【００３１】
信号処理器２３４は、入力されたディジタル信号をオーディオ信号、ビデオ信号、及び他のデータ（例えばメタデータなど）に分割する。信号処理器２３４は、分割したオーディオ信号、及びビデオ信号に対して種々の信号処理を施す。
【００３２】
例えば、信号処理器２３４は、オーディオ信号に対して、オーディオデコード、音質調整、及びミックス処理などを任意で行う。また、信号処理器２３４は、ビデオ信号に対して、カラー及び輝度の分離処理、カラーの調整処理、及び画質の調整処理などを行う。また、信号処理器２３４は、ビデオ信号に対して、例えば、制御部２３５からの制御に基づいて、色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。
【００３３】
信号処理器２３４は、オーディオ出力回路２３７にオーディオ信号を供給する。また、信号処理器２３４は、ビデオ出力回路２３９にビデオ信号を供給する。さらに、信号処理器２３４は、制御部２３５に他のデータを供給する。
【００３４】
オーディオ出力回路２３７は、信号処理器２３４から受信したオーディオ信号を、スピーカ２１０２により再生可能なフォーマットのオーディオ信号に変換する。オーディオ出力回路２３７は、オーディオ信号を出力端子２３８に出力する。出力端子２３８は、供給されるオーディオ信号を装置外部に出力する。これにより、出力端子２３８に接続されるスピーカ２１０２は、供給されるオーディオ信号に基づいて音を再生する。
【００３５】
ビデオ出力回路２３９は、信号処理器２３４から受信したビデオ信号を、立体表示装置１で再生可能なフォーマットのビデオ信号に変換する。即ち、ビデオ出力回路２３９は、信号処理器２３４から受信したビデオ信号を、立体表示装置１で再生可能なフォーマットのビデオ信号にデコード（再生）する。ビデオ出力回路２３９は、ビデオ信号を出力端子２４２に出力する。出力端子２４２に接続される立体表示装置１は、供給されるビデオ信号に基づいて映像を表示する。
【００３６】
なお、画像処理装置１００は、出力端子２４２の代わりに、立体表示装置１を内部に備える構成であってもよい。また、画像処理装置１００は、出力端子２３８の代わりに、スピーカ２１０２を内部に備える構成であってもよい。
【００３７】
制御部２３５は、画像処理装置１００の各部の動作を制御する制御手段として機能する。制御部２３５は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＥＥＰＲＯＭなどを備えている。制御部２３５は、操作部２４７またはリモコン信号受信部２４８から供給される操作信号に基づいて、種々の処理を行う。
【００３８】
ＣＰＵは、種々の演算処理を実行する演算素子などを備える。ＣＰＵは、ＲＯＭ、またはＥＥＰＲＯＭなどに記憶されているプログラムを実行することにより種々の機能を実現する。
【００３９】
ＲＯＭは、画像処理装置１００を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。ＣＰＵは、操作部２４７またはリモコン信号受信部２４８から供給される操作信号に基づいて、ＲＯＭに記憶されているプログラムを起動する。これにより、制御部２３５は、各部の動作を制御する。
【００４０】
ＲＡＭは、ＣＰＵのワークメモリとして機能する。即ち、ＲＡＭは、ＣＰＵの演算結果、ＣＰＵにより読み込まれたデータなどを記憶する。
【００４１】
ＥＥＰＲＯＭは、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。
【００４２】
制御部２３５は、上記のＣＰＵ、ＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭなどにより実現される記録制御部２３５ａ及び再生制御部２３５ｂを備える。記録制御部２３５ａは、セレクタ２２６により選択された信号を録画するように各部を制御する。また、再生制御部２３５ｂは、画像処理装置１００内に記録されているコンテンツ、または当該画像処理装置１００に接続される機器に記録されているコンテンツの再生処理を行うように各部を制御する。
【００４３】
また、制御部２３５は、ＧＵＩ（グラフィック ユーザ インタフェース）などのオブジェクトを画面に表示させる為の情報（ＧＵＩアイテム）を生成する。制御部２３５は、例えば、予めＲＯＭ、ＥＥＰＲＯＭなどの記憶装置に記録されているＧＵＩアイテムを読み出す。さらに、制御部２３５は、セレクタ２２６から供給される情報に基づいて、字幕、時刻、番組情報、メニュー画面、または他の情報を表示させるためのＧＵＩアイテムを生成する。制御部２３５は、生成したＧＵＩアイテムを信号処理器２３４に供給する。信号処理器２３４は、制御部２３５から供給されるＧＵＩアイテムに基づいて種々のオブジェクトをビデオ信号中に描画する。
【００４４】
画像処理装置１００は、接続端子２４４、送受信器２４５、変調復調器２４６、操作部２４７、リモコン信号受信部２４８、コネクタ２５１、及び端子２５６をさらに備える。
【００４５】
接続端子２４４は、例えば、ＬＡＮポートなどのネットワークに接続する為の接続端子を備える。また、画像処理装置１００は、接続端子２４４の代わりに無線ＬＡＮモジュールを備えていても良い。
【００４６】
送受信器２４５は、接続端子２４４を介してネットワーク上のサーバなどとデータの送受信を行う。変調復調器２４６は、送受信器２４５により送受信するデータに対して変調、及び復調を施す。これにより、画像処理装置１００は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。
【００４７】
操作部２４７は、例えば、操作キー、キーボード、マウス、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える操作入力モジュールである。例えば、操作部２４７は、操作入力に応じて操作信号を生成する。操作部２４７は、生成した操作信号を制御部２３５に供給する。
【００４８】
なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、画像処理装置１００が立体表示装置１、または他の表示装置を備える場合、操作部２４７は、表示装置と一体に形成されるタッチパネルなどを備える構成であってもよい。
【００４９】
リモコン信号受信部２４８は、例えば、リモートコントローラ２１０４からの操作信号を受信するセンサなどを備える。リモコン信号受信部２４８は、受信した操作信号を制御部２３５に供給する。リモートコントローラ２１０４は、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラ２１０４は、生成した操作信号を赤外線通信によりリモコン信号受信部２４８に送信する。なお、リモコン信号受信部２４８及びリモートコントローラ２１０４は、光通信、電波通信などの他の無線通信により操作信号の送受信を行う構成であってもよい。
【００５０】
コネクタ２５２は、種々のメモリカードを接続することが出来るカードコネクタを有する。コネクタ２５２は、例えば、動画コンテンツを記憶するメモリカードと通信を行う為のインターフェースである。コネクタ２５２は、接続されるメモリカードから動画のコンテンツデータを読み出し、制御部２３５に供給する。
【００５１】
端子２５６は、ハードディスクドライブ（ＨＤＤ）２５７などの記憶装置を接続することが出来る端子である。端子２５６は例えば、動画コンテンツを記憶するＨＤＤ２５７から動画のコンテンツデータを読み出し、制御部２３５に供給する。
【００５２】
なお、端子２５６に接続される記憶装置は、ソリッドステイトディスク（ＳＳＤ）、または半導体メモリなどの記憶装置などであってもよい。画像処理装置１００は、この記憶装置に記憶されているコンテンツを読み出し、再生することが出来る。また、画像処理装置１００は、この記憶装置に例えば放送信号、またはネットワークなどにより供給されるコンテンツを記憶することができる。
【００５３】
さらに、画像処理装置１００は、ＵＳＢ機器と通信を行う為のＵＳＢコネクタを備えていてもよい。ＵＳＢコネクタは、接続されるＵＳＢ機器から供給される信号を制御部２３５に供給する。
【００５４】
例えば、ＵＳＢ機器がキーボードなどの操作入力機器である場合、ＵＳＢコネクタは、操作信号をＵＳＢ機器から受け取る。ＵＳＢコネクタは、受け取った操作信号を制御部２３５に供給する。この場合、制御部２３５は、ＵＳＢコネクタから供給される操作信号に基づいて種々の処理を実行する。
【００５５】
また、例えば、ＵＳＢ機器が動画のコンテンツデータを記憶する記憶装置である場合、ＵＳＢコネクタは、コンテンツをＵＳＢ機器から取得することができる。ＵＳＢコネクタは、取得したコンテンツを制御部２３５に供給する。
【００５６】
またさらに、画像処理装置１００は、ディスクドライブを備えていても良い。ディスクドライブは、例えば、コンパクトディスク（ＣＤ）、ディジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）、または動画のコンテンツデータを記録可能な他の光ディスクを装着可能なドライブを有する。ディスクドライブは、装着される光ディスクからコンテンツを読み出し、読み出したコンテンツを制御部２３５に供給する。
【００５７】
また、画像処理装置１００は、図示しない電源部を備える。電源部は、画像処理装置１００の各部に電力を供給する。電源部は、例えば、ＡＣアダプタなどを介して供給される電力を変換し各部へ供給する。また、電源部は、バッテリーを備えていても良い。この場合、電源部は、ＡＣアダプタなどを介して供給される電力をバッテリーに充電する。電源部は、バッテリーに充電されている電力を画像処理装置１００の各部に供給する。
【００５８】
またさらに、信号処理器２３４は、立体視処理部８０を備える。立体視処理部８０は、視差が存在する右目用画像と左目用画像とを含むコンテンツに基づいて、立体視表示を行う。即ち、立体視処理部８０は、右目用画像と左目用画像とに基づいて、ユーザが立体として認識するようにビデオ信号を処理する。
【００５９】
さらに、立体視処理部８０は、制御部２３５から供給されるＧＵＩアイテム（付加情報と称する）に基づいて、メニュー画面、ＥＰＧ画面、番組情報、またはアラートなどのオブジェクトを立体表示する。
【００６０】
図３は、立体視処理部８０の構成例について説明するための説明図である。
図３に示すように、立体視処理部８０は、背景画像生成部８１、立体視画像生成部８２、及び画像合成部８３を備える。
【００６１】
背景画像生成部８１は、表示画面上に提示される背景映像を生成する。背景画像生成部８１は、例えば、通常の放送表示画面を生成する。
【００６２】
立体視画像生成部８２は、種々のオブジェクトをユーザが立体として認識するように立体視画像を生成する。立体視画像生成部８２は、付加情報に基づいて、例えば、メニュー画面、ＥＰＧ画面、放送メール表示画面、アラート、番組情報、及び他の情報などのオブジェクトを表示する為の立体視画像を生成する。例えば、立体視画像生成部８２は、オブジェクトをユーザが立体として認識できるように表示する為に、右目用画像と、左目用画像とを立体視画像として生成する。
【００６３】
画像合成部８３は、背景画像生成部８１により生成された背景画像と、立体視画像生成部８２により生成された立体視画像とを合成する。即ち、画像合成部８３は、最初に背景画像の表示を行い、背景画像より上の階層（表示上における前面）に立体視画像の表示を行う。
【００６４】
例えば、画像合成部８３は、背景画像の表示を行い、背景画像より上の階層に立体視画像の右目用画像及び左目用画像の表示を行う。これにより、画像合成部８３は、視差を有するオブジェクトのイメージを含むビデオ信号を生成する。なお、立体視表示を行う為の手法は、上記の方法に限定されず、如何なるものであってもよい。
【００６５】
画像合成部８３は、生成したビデオ信号をビデオ出力回路２３９に出力する。ビデオ出力回路２３９は、画像合成部８３から受信したビデオ信号を、立体表示装置１に出力する。これにより、立体表示装置１により、ユーザが立体として認識できる状態でオブジェクト画像を含む画面が表示される。
【００６６】
図４は、画像処理装置１００により生成される画面の例について説明する為の説明図である。
【００６７】
図４に示すある点Ｃが飛び出ていることをユーザに認識させる場合、画像処理装置１００は、ある面（例えば投影面）を基準面として、基準面に点Ａと点Ｂとを投影するようにビデオ信号を生成する。この場合、画像処理装置１００は、点Ａをユーザの右目により視覚可能な状態でビデオ信号を生成する。さらに、画像処理装置１００は、点Ｂをユーザの左目により視覚可能な状態でビデオ信号を生成する。
【００６８】
しかし、このようなビデオ信号が立体表示装置１により表示される場合、画面３０１に示すように、例えば点Ａ及び点Ｂがユーザの両目により視覚される場合がある。このような場合、ユーザにとって点Ｃがぼやけて視覚される場合がある。
【００６９】
また、基準面上に点Ｄが存在するようにユーザに視覚させる場合、画像処理装置１００は、ユーザの右目により視覚可能な画面とユーザの左目により視覚可能な画面の両方の同じ位置に点Ｄを表示する。このような場合、ユーザは、画面３０２に示すように、ぼやけていない点Ｄを視覚することができる。
【００７０】
またさらに、図４に示すある点Ｇが画面の奥側に存在することをユーザに認識させる場合、画像処理装置１００は、基準面に点Ｅと点Ｆとを投影するようにビデオ信号を生成する。この場合、画像処理装置１００は、点Ｅをユーザの右目により視覚可能な状態でビデオ信号を生成する。さらに、画像処理装置１００は、点Ｆをユーザの左目により視覚可能な状態でビデオ信号を生成する。
【００７１】
この場合も、このようなビデオ信号が立体表示装置１により表示される場合、画面３０３に示すように、例えば点Ｅ及び点Ｆがユーザの両目により視覚される場合がある。このような場合、ユーザにとって点Ｇがぼやけて視覚される場合がある。文字の表示を含むＧＵＩアイテムは、他のＧＵＩアイテムに比べてぼやけることの問題が大きい。
【００７２】
なお、基準面から立体視画像が離れるほど、右目用画像における点と左目用画像における点との表示位置の差が大きい。基準面から立体視画像が離れるほど、ユーザにより視覚される映像がぼやけ易くなる可能性がある。そこで、画像処理装置１００は、ＧＵＩアイテムの性質に応じて、立体視画像を表示させる深度（Ｄｅｐｔｈ）を制御する。
【００７３】
図５は、立体視画像生成部８２について説明するための説明図である。立体視画像生成部８２は、深度記憶部８２１、深度決定部８２２、及びオブジェクト生成部８２３を備える。
【００７４】
深度記憶部８２１は、ＧＵＩアイテム毎に深度を記憶したテーブルである。図６は、深度記憶部８２１の構成を示す図である。図６に示すように、深度記憶部８２１は、ＧＵＩアイテムを示すＩＤ（識別情報）と、ＧＵＩアイテムの深度とを対応付けて記憶したテーブルである。画像処理装置１００は、ユーザにより入力される操作に基づいて、深度記憶部８２１により記憶されている深度の値を設定することができる。さらに、画像処理装置１００は、深度の値を変える場合、予め設定されるパスワードを用いて認証を行い、照合結果が一致である場合に深度の設定を許可する構成であってもよい。
【００７５】
また、深度記憶部８２１は、図７に示すように構成されていてもよい。図７は、深度記憶部８２１の他の構成を示す図である。図７に示す深度記憶部８２１は、ＧＵＩアイテムを示すＩＤ（識別情報）と、ＧＵＩアイテムの深度と、表示種別とを対応付けて記憶する。表示種別は、例えば、ＧＵＩアイテムが文字の表示を含むＧＵＩアイテムであるか否かを設定する。こうすることで、例えばＧＵＩアイテムが文字の表示を含むＧＵＩアイテムである場合に、前記文字部分の深度を同テーブルに記載された深度よりもより基準面に近い値で設定することが可能になる。このような深度記憶部８２１を用いる場合、制御部２３５は、表示種別を示す情報を含んだＧＵＩアイテム（付加情報）を信号処理器２３４に入力する。
【００７６】
図８及び図９は、深度について説明する為の説明図である。立体表示装置１により立体視表示が可能な表示空間内で、最も前面（視聴者側）を深度０と設定し、最も背面を深度２５５とし、基準面（投影面）の深度を１２８と仮定する。この場合において、深度記憶部８２１は、ＧＵＩアイテムが文字の表示を含むＧＵＩアイテムである場合、深度を１２８から予め設定される範囲内（例えば、１２８±α）で設定する。
【００７７】
図９は、図８に示す表示空間を上から見た図である。図９に示すＧＵＩアイテム９０１及び９０２は、文字の表示を含む。この為、深度記憶部８２１には、ＧＵＩアイテム９０１及び９０２には、基準面の深度から所定範囲内にある深度が設定されている。この為、図９に示すＧＵＩアイテム９０１及び９０２は、基準面の深度に近い深度で表示される。図９に示すＧＵＩアイテム９０３は、文字の表示を含まないＧＵＩアイテムである。この為、ＧＵＩアイテム９０３は、前記９０１及び９０２と比べて３D効果の大きい基準面から離れた位置の深度で表示される。
【００７８】
図５に示す深度決定部８２２は、制御部２３５から供給されるＧＵＩアイテム（付加情報）のＩＤ、または表示種別に基づいて、深度記憶部８２１から深度を読み出す。即ち、深度決定部８２２は、制御部２３５から供給されるＧＵＩアイテムの種別（ＩＤまたは表示種別）を判別し、判別した種別に対応付けられている深度を深度記憶部８２１から読み出す。深度決定部８２２は、読み出した深度をオブジェクト生成部に８２３に供給する。
【００７９】
図５に示すオブジェクト生成部８２３は、制御部２３５から供給されるＧＵＩアイテム（付加情報）に基づいて、メニュー画面、ＥＰＧ画面、放送メール表示画面、アラート、番組情報、及び他の情報などのオブジェクトを示す画像（オブジェクト画像）を生成する。
【００８０】
さらに、オブジェクト生成部８２３は、深度決定部８２２から出力される深度と、オブジェクト画像とに基づいて、立体視画像を生成する。立体視画像は、ユーザの右目により視聴される右目用画像とユーザの左目により視聴される左目用画像とを有する。
【００８１】
オブジェクト生成部８２３は、深度に基づいて、右目用画像におけるオブジェクト画像を表示する領域と、左目用画像におけるオブジェクト画像を表示する領域と、を決定する。オブジェクト生成部８２３は、決定された領域にオブジェクト画像を表示し、立体視画像を生成する。なお、右目用画像内に表示されるオブジェクト画像と、左目用画像内に表示されるオブジェクト画像とは、視差を有する。オブジェクト生成部８２３は、生成した立体視画像を画像合成部８３に出力する。
【００８２】
図１０は、画像合成部８３について説明するための説明図である。画像合成部８３は、背景画像表示部８３１、及び立体視画像表示部８３２を具備する。
【００８３】
画像合成部８３は、背景画像生成部８１により生成された背景画像と、立体視画像生成部８２により生成された立体視画像とを合成する。背景画像表示部８３１は、背景画像生成部８１により生成される背景画像の表示を行う。この場合、背景画像表示部８３１は、背景画像を予め設定される基準の深度（例えば基準面の深度）で表示する。基準の深度で表示される画像は、右目用画像と左目用とで視差がない状態で表示される。即ち、立体ではなくユーザに平面として認識させるように表示を行う。さらに、立体視画像表示部８３２は、背景画像より上の階層（表示上における前面）に立体視画像生成部８２により生成される立体視画像の表示を行う。
【００８４】
これにより、画像合成部８３は、視差を有するオブジェクトのイメージを含むビデオ信号を生成する。画像合成部８３は、生成したビデオ信号をビデオ出力回路２３９に出力する。ビデオ出力回路２３９は、画像合成部８３から受信したビデオ信号を、立体表示装置１に出力する。これにより、立体表示装置１により、ユーザが立体として認識できる状態でオブジェクト画像を含む画面が表示される。
【００８５】
図１１は、画像処理装置１００により生成されて立体表示装置１により表示される画面の例について説明する為の説明図である。ここでは、ＥＰＧ画面の表示の例について説明する。
【００８６】
図１１に示すウィンドウ１１０１は、ＥＰＧ画面を表示するためのウィンドウである。ウィンドウ１１０１は、チャンネルバナー１１０２の表示領域と、番組情報１１０３の表示領域とを有する。
【００８７】
チャンネルバナー１１０２は、細かい文字などの表示を含まないため、深度記憶部８２１により基準面から離れた３Ｄ効果の高い深度が記憶されている。この為、例えば、チャンネルバナー１１０２は、図９に示すＧＵＩアイテム９０３のような深度で表示される。なお、画像処理装置１００は、制御部２３５から受信するＧＵＩアイテム（付加情報）が示す深度を準拠してチャンネルバナー１１０２の表示を行う構成であってもよい。
【００８８】
また、番組情報１１０３は、細かい文字などの表示を含むため、深度記憶部８２１により基準面に対して近い深度が記憶されている。この為、例えば、番組情報１１０３は、図９に示すＧＵＩアイテム９０１又は９０２のような深度で表示される。
【００８９】
また、画像処理装置１００は、ＧＵＩアイテムが細かい文字の表示などを含む場合、基準面の深度を用いてＧＵＩアイテムを表示する構成であってもよい。
【００９０】
上記したように、画像処理装置１００は、立体表示を行うオブジェクトが文字などを含む場合、深度記憶部８２１により予め記憶されている深度を用いて立体表示を行う。これにより、画像処理装置１００は、立体表示により文字などの輪郭がぼやけてしまい、文字が見づらくなる事を防ぐことができる。この結果、より効果的に立体を表現することができる画像処理装置、及び画像処理方法を提供することができる。
【００９１】
なお、３Ｄ効果の強度を設定できる画像処理装置が存在する。このような画像処理装置に上記記載の深度記憶部８２１を適用する場合、深度記憶部８２１は、３Ｄ効果の強度毎に深度を記憶する構成であってもよい。また、深度記憶部８２１は、３Ｄ効果の強度に応じて深度を単純加算する、または線形演算により各強度における深度を計算する構成であってもよい。
【００９２】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９４】
１…立体表示装置、１０…表示ユニット、１１…画素、２０…マスク、２２…窓部、３０…バックライト、８０…立体視処理部、８１…背景画像生成部、８２…立体視画像生成部、８３…画像合成部、１００…画像処理装置、２３４…信号処理器、２３５…制御部、２３６…デコーダ、２３７…オーディオ出力回路、２３８…出力端子、２３９…ビデオ出力回路、２４２…出力端子、８２１…深度記憶部、８２２…深度決定部、８２３…オブジェクト生成部、８３１…背景画像表示部、８３２…立体視画像表示部。
【特許請求の範囲】
【請求項１】
背景画像を生成する背景画像生成部と、
付加情報を受け取る受取部と、
前記付加情報の種別毎に深度を予め記憶する深度記憶部と、
前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、
前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、
前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、
前記画像合成部により生成されたビデオ信号を出力する出力部と、
を具備する画像処理装置。
【請求項２】
前記深度記憶部は、基準面の深度を予め設定し、付加情報が文字表示含む場合、基準面の深度から所定範囲内で設定される深度を前記付加情報の種別に対応付けて予め記憶する、請求項１に記載の画像処理装置。
【請求項３】
前記深度決定部は、前記受取部により受け取った付加情報が文字表示を含むか否かを判別し、文字表示を含むと判定した場合、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す、請求項２に記載の画像処理装置。
【請求項４】
前記深度決定部は、前記受取部により受け取った付加情報が文字表示を含むか否かを判別し、文字表示を含まないと判定した場合、前記付加情報が示す深度を前記付加情報から読み出す、請求項２に記載の画像処理装置。
【請求項５】
画像処理装置において実行される画像処理方法であって、
背景画像を生成し、
付加情報を受け取り、
前記付加情報の種別毎に深度を予め記憶し、
前記受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記予め記憶されている深度から読み出し、
前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記読み出された深度とに基づいて、立体視画像を生成し、
前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成し、
前記生成されたビデオ信号を出力する、
画像処理方法。
【請求項１】
背景画像を生成する背景画像生成部と、
付加情報を受け取る受取部と、
前記付加情報の種別毎に深度を予め記憶する深度記憶部と、
前記受取部により受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す深度決定部と、
前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記深度決定部により読み出された深度とに基づいて、立体視画像を生成する立体視画像生成部と、
前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成する画像合成部と、
前記画像合成部により生成されたビデオ信号を出力する出力部と、
を具備する画像処理装置。
【請求項２】
前記深度記憶部は、基準面の深度を予め設定し、付加情報が文字表示含む場合、基準面の深度から所定範囲内で設定される深度を前記付加情報の種別に対応付けて予め記憶する、請求項１に記載の画像処理装置。
【請求項３】
前記深度決定部は、前記受取部により受け取った付加情報が文字表示を含むか否かを判別し、文字表示を含むと判定した場合、判別した前記種別に対応付けられている深度を前記深度記憶部から読み出す、請求項２に記載の画像処理装置。
【請求項４】
前記深度決定部は、前記受取部により受け取った付加情報が文字表示を含むか否かを判別し、文字表示を含まないと判定した場合、前記付加情報が示す深度を前記付加情報から読み出す、請求項２に記載の画像処理装置。
【請求項５】
画像処理装置において実行される画像処理方法であって、
背景画像を生成し、
付加情報を受け取り、
前記付加情報の種別毎に深度を予め記憶し、
前記受け取った付加情報の種別を判別し、判別した前記種別に対応付けられている深度を前記予め記憶されている深度から読み出し、
前記付加情報に基づいてオブジェクト画像を生成し、前記オブジェクト画像と前記読み出された深度とに基づいて、立体視画像を生成し、
前記背景画像を表示し、表示された前記背景画像より前面に前記立体視画像を表示してビデオ信号を生成し、
前記生成されたビデオ信号を出力する、
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１３４７２６（Ｐ２０１２−１３４７２６Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８４５８１（Ｐ２０１０−２８４５８１）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]