映像処理装置および映像処理方法
【課題】３Ｄ視聴モードおよび／またはコンテンツ種別に応じて、適当な表示方式を選択する映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する表示方式選択部と、前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する視差画像変換部とを備える。
【解決手段】実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する表示方式選択部と、前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する視差画像変換部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【０００３】
立体映像コンテンツ（３Ｄコンテンツ）のうち、例えばフレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）およびトップアンドボトム（ＴＡＢ）のような通常の３Ｄコンテンツには、左目用と右目用の２つの視差映像が含まれている。また、２Ｄ映像コンテンツを立体映像として見る場合には、２Ｄ３Ｄ変換により複数の視差画像（例えば３視差以上）を生成して２次元映像を立体化した後、液晶パネルに表示している。
【０００４】
左目用と右目用の２つの視差画像からなる立体映像は、立体感や奥行き感を大きく感じることができるが、立体的に見える範囲（視域）は狭い。一方、３つ以上の視差画像からなる立体映像は、視域は広いが立体感に劣る。このように、立体映像の立体感と視域の広さとはトレードオフの関係にある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
３Ｄ視聴モードおよび／またはコンテンツ種別に応じて、適当な表示方式を選択する映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する表示方式選択部と、前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する視差画像変換部とを備える。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る映像処理装置１００の外観図である。
【図２】一実施形態に係る映像処理装置１００の概略構成を示すブロック図である。
【図３】液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。
【図４】映像処理装置の視聴領域Ｐにおける複数の視域２１の一例を示す上面図である。
【図５】変形例に係る映像処理装置１００’の概略構成を示すブロック図である。
【図６】第１の実施形態に係る映像処理方法を示すフローチャートである。
【図７】第１の実施形態の第１の変形例に係る映像処理方法を示すフローチャートである。
【図８】第１の実施形態の第２の変形例に係る映像処理方法を示すフローチャートである。
【図９】第２の実施形態に係る映像処理方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
【００１０】
図１は、一実施形態に係る映像処理装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像処理装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。
【００１１】
液晶パネル（表示部）１は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。
【００１２】
レンチキュラレンズ（開口制御部）２は、液晶パネル１（表示部）に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ２は、液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００１３】
本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。
【００１４】
以下の説明では、液晶パネル１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。
【００１５】
一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【００１６】
なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。
【００１７】
また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【００１８】
図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。
【００１９】
実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。
【００２０】
そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００２１】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００２２】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。
【００２３】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には、図４に示すように、複数の視域２１が視聴領域Ｐに存在し、これらは連動して移動する。視域は、後述する図２のコントローラ１０により制御される。なお、視域２１以外の視聴領域は、逆視やクロストーク等の発生により、良好な立体映像を見ることが困難な逆視領域２２である。
【００２４】
図１に戻り、映像処理装置１００の各構成要素について説明する。
【００２５】
カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。
【００２６】
受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示するか、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【００２７】
次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者検出部１３と、視域情報算出部１４と、画像調整部１５と、表示方式選択部１６と、記憶部１７とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。
【００２８】
チューナデコーダ（受信部）１１は、入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像処理装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００２９】
チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、左目用および右目用の画像（即ち、２つの視差画像）を含む３次元の映像信号であってもよい。後者の例として、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式などによる映像信号が挙げられる。また、映像信号は、３つ以上の視差画像含む３次元の映像信号であってもよい。
【００３０】
また、チューナデコーダ１１は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る。これにより、入力映像信号のコンテンツ種別を判別することが可能である。
【００３１】
視差画像変換部１２は、後述する表示方式選択部１６により選択された映像表示方式に従って、ベースバンド映像信号を所望の映像信号に変換する。視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。なお、選択された映像表示方式が２次元映像表示方式（２Ｄ方式）の場合、視差画像変換部１２は、２Ｄ映像コンテンツの映像信号をそのまま画像調整部１５に供給する。
【００３２】
視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。
【００３３】
２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【００３４】
２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。
【００３５】
これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【００３６】
一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。
【００３７】
多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。
【００３８】
多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００３９】
視聴者検出部１３は、カメラ３で撮影された映像を用いて視聴者を検出する。より詳しくは、視聴者検出部１３は、カメラ３により撮影された映像を用いて顔認識を行い、視聴者の情報（例えば、視聴者の顔情報、位置情報）を取得する。また、視聴者検出部１３は、視聴者が動いても追尾することが可能であるため、視聴者ごとの視聴時間を把握することもできる。
【００４０】
視聴者検出部１３は、視聴者の人数を表示方式選択部１６に供給し、視聴者の位置情報を視域情報算出部１４に供給する。
【００４１】
視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。図４に示す視聴者２０の位置は、座標（Ｘ１，Ｙ１，Ｚ１）で表される。より具体的には、視聴者検出部１３は、まず、カメラ３により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部１３は映像における視聴者の位置からＸ軸およびＹ軸上の位置（Ｘ１，Ｙ１）を算出し、顔の大きさからＺ軸上の位置（Ｚ１）を算出する。視聴者が複数いる場合、視聴者検出部１３は、予め定めた数、例えば１０人分の視聴者を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。
【００４２】
視域情報算出部１４は、後述の視聴者選択部１６により選択された視聴者の位置情報を用いて、選択された視聴者を収める視域を設定するための制御パラメータを算出する。この制御パラメータは、例えば、図３で説明した視差画像をずらす量であり、１つのパラメータ、または複数のパラメータの組み合わせである。そして、視域情報算出部１４は、算出した制御パラメータを画像調整部１５に供給する。
【００４３】
より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部１７に予め格納されている。視域情報算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。
【００４４】
画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。
【００４５】
表示方式選択部１６は、複数の映像表示方式の中から１つを選択し、選択した映像表示方式を視差画像変換部１２に供給する。なお、映像表示方式には、２次元映像を表示する２Ｄ方式、右目用と左目用の２つの視差画像を含む立体映像を表示する２視差方式、および３つ以上の視差画像を含む立体映像を表示する多視差方式などがある。
【００４６】
表示方式選択部１６は、３Ｄ視聴モードの設定を参照し、その設定内容に基づいて映像表示方式を選択してもよい。この３Ｄ視聴モードは、ユーザが３Ｄ表示方式を切替えるために設定メニューから設定されるものであり、２視差方式または多視差方式（ダイレクトステレオ設定オート／オフ）に設定される。２視差方式を選択するためのボタンおよび多視差方式を選択するためのボタンをリモコンに設けて、視聴者がいずれかのボタンを押下することによって３Ｄ視聴モードを設定するようにしてもよい。
【００４７】
なお、表示方式選択部１６は、チューナデコーダ１１から入力映像信号のコンテンツ種別に関する情報を供給され、このコンテンツ種別に基づいて、映像表示方式を選択してもよい。
【００４８】
記憶部１７は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、３Ｄ視聴モードの設定などを記憶する。表示方式選択部１６は、記憶部１７から３Ｄ視聴モードの設定を読み出す。なお、この記憶部１７は、コントローラ１０の外部に設けられてもよい。
【００４９】
以上、映像処理装置１００の構成について説明した。本実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部２’として設けてもよい。図５は、図２に示す本実施形態の変形例である映像処理装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１５の代わりに、視域制御部１５’を備える。この視域制御部１５’は、視域情報算出部１４により算出された制御パラメータに応じて開口制御部２’を制御する。本変形例の場合、制御パラメータは、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量などである。
【００５０】
本変形例では、液晶パネル１に表示された視差画像の出力方向を、開口制御部２’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部１５’により開口制御部２’を制御してもよい。
【００５１】
（第１の実施形態）
次に、上記のように構成された映像処理装置１００（１００’）による映像処理方法について、図６のフローチャートを用いて説明する。
（１）チューナデコーダ１１は、入力映像信号を復号し、ベースバンド映像信号を生成する（ステップＳ１１）。
（２）表示方式選択部１６は、記憶部１７に保存された３Ｄ視聴モードの設定を参照し（ステップＳ１２）、３Ｄ視聴モードが多視差方式に設定されている場合、多視差方式を選択し（ステップＳ１３）、３Ｄ視聴モードが２視差方式に設定されている場合、ステップＳ１４に進む。
（３）チューナデコーダ１１は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る（ステップＳ１４）。入力映像信号のコンテンツ種別が判別された結果、２Ｄ映像コンテンツであれば、表示方式選択部１６は２Ｄ方式を選択し（ステップＳ１５）、一方、３Ｄコンテンツであれば、表示方式選択部１６は２視差方式を選択する（ステップＳ１６）。
（４）視差画像変換部１２は、表示方式選択部１６により選択された表示方式に基づいて、ベースバンド映像信号を処理する（ステップＳ１７）。詳しくは、視差画像変換部１２は、２視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、２Ｄ方式が選択された場合には、２次元映像の前記ベースバンド映像信号をそのまま出力し、多視差方式が選択された場合には、ベースバンド映像信号を３つ以上の視差画像信号に変換する。
第１の実施形態によれば、３Ｄ視聴モードに応じて２視差方式または多視差方式が選択され、さらに、コンテンツ種別に応じて２視差方式または２Ｄ方式が選択される。多視差方式の場合、視域が広いので、映像処理装置の前にいる多くの人が立体映像を楽しむことができる。一方、２視差方式の場合、視聴者は、３Ｄコンテンツが有する左右の視差映像をそのまま見ることができるので、立体感に優れた立体映像を楽しむことができる。
【００５２】
（第１の変形例）
次に、図７のフローチャートに沿って、第１の実施形態の第１の変形例に係る映像処理方法について説明する。前述のように、２つの視差映像を含む３Ｄコンテンツは立体感に優れるものの視域が狭いため、視聴者の数は多い場合には視聴者全員が立体映像を視聴することが難しくなる。そこで、本変形例は、３Ｄ視聴モードが２視差方式に設定されている場合であっても、視聴者の人数等に応じて多視差方式に切替える。なお、ステップＳ１６０以外のステップは第１の実施形態と同じであるため、詳しい説明を省略する。
（１）視聴者検出部１３は、カメラ３で撮影された映像を用いて視聴者を検出する（ステップＳ１６１）。
（２）表示方式選択部１６は、視聴者が複数人存在しかつ視域内に収まらないかどうかを判定し（ステップＳ１６２）、視聴者が複数人存在しかつ視域内に収まらない場合、多視差方式を選択し（ステップＳ１６３）、それ以外の場合には２視差方式を選択する（ステップＳ１６４）。
第１の変形例によれば、視聴者が複数人存在しかつ視域内に収まらない場合には多視差方式を選択することで、複数の視聴者が立体映像を楽しむことができる。
【００５３】
（第２の変形例）
次に、図８のフローチャートに沿って、第１の実施形態の第２の変形例に係る映像処理方法について説明する。第１の実施形態では２Ｄ映像コンテンツの場合にはそのまま２次元映像を表示したが、本変形例では、２次元映像から立体映像への変換（２Ｄ３Ｄ変換）を行って立体映像を表示する。なお、ステップＳ１５’およびステップＳ１７’以外のステップは第１の実施形態と同じであるため、詳しい説明を省略する。
（１）コンテンツ種別が２次元映像コンテンツ（２Ｄコンテンツ）の場合、表示方式選択部１６は、多視差方式を選択する（ステップＳ１５’）。
（２）視差画像変換部１２は、２次元の映像信号の２Ｄ３Ｄ変換を行い、２Ｄ映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する（ステップＳ１７’）。なお、２Ｄ映像コンテンツのベースバンド映像信号を、右目用と左目用の２つの視差画像を含む立体映像の信号に変換してもよい。
第２の変形例によれば、２Ｄ映像コンテンツの場合であっても２Ｄ３Ｄ変換を行って多視差方式で表示することで、視聴者は立体映像を楽しむことができる。
【００５４】
（第２の実施形態）
第２の実施形態は、立体映像のコンテンツ種別（３Ｄコンテンツ種別）に基づいて表示方式を選択する。以下、図９のフローチャートに沿って、本実施形態に係る映像処理方法を説明する。
（１）チューナデコーダ１１は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、その後、ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取る（ステップＳ２１）。
（２）表示方式選択部１６は、３Ｄコンテンツ種別の判別（ステップＳ２２）の結果、２Ｄ３Ｄ変換コンテンツの場合には多視差方式を選択し（ステップＳ２３）、２Ｄ３Ｄ変換コンテンツ以外の３Ｄコンテンツの場合には２視差方式を選択する（ステップＳ２４）。ここで、２Ｄ３Ｄ変換コンテンツとは、２Ｄ３Ｄ変換により２次元映像から立体映像に変換された立体映像コンテンツのことである。
なお、３Ｄコンテンツの場合であっても視聴者が複数存在し、視域に収まらない場合には多視差方式を選択してもよい。即ち、ステップＳ２４に代えて、前述の第１の変形例のステップＳ１６０を行ってもよい。
（３）視差画像変換部１２は、表示方式選択部１６により選択された表示方式に基づいて、ベースバンド映像信号を処理する（ステップＳ２５）。詳しくは、視差画像変換部１２は、２視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、多視差方式が選択された場合には、ベースバンド映像信号を３つ以上の視差画像信号に変換する。
第２の実施形態によれば、３Ｄコンテンツ種別に応じて、立体映像の立体感を優先する２視差方式および視域の広さを優先する多視差方式から適切な表示方式が選択される。
【００５５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５６】
１ 液晶パネル
２ レンチキュラレンズ
２’ 開口制御部
３ カメラ
４ 受光部
１０，１０’ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者検出部
１４ 視域情報算出部
１５ 画像調整部
１５’ 視域制御部
１６ 表示方式選択部
１７ 記憶部
２０ 視聴者
２１ 視域
２２ 逆視領域
１００，１００’ 映像処理装置
Ｐ 視聴領域
【技術分野】
【０００１】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【０００３】
立体映像コンテンツ（３Ｄコンテンツ）のうち、例えばフレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）およびトップアンドボトム（ＴＡＢ）のような通常の３Ｄコンテンツには、左目用と右目用の２つの視差映像が含まれている。また、２Ｄ映像コンテンツを立体映像として見る場合には、２Ｄ３Ｄ変換により複数の視差画像（例えば３視差以上）を生成して２次元映像を立体化した後、液晶パネルに表示している。
【０００４】
左目用と右目用の２つの視差画像からなる立体映像は、立体感や奥行き感を大きく感じることができるが、立体的に見える範囲（視域）は狭い。一方、３つ以上の視差画像からなる立体映像は、視域は広いが立体感に劣る。このように、立体映像の立体感と視域の広さとはトレードオフの関係にある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
３Ｄ視聴モードおよび／またはコンテンツ種別に応じて、適当な表示方式を選択する映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する表示方式選択部と、前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する視差画像変換部とを備える。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る映像処理装置１００の外観図である。
【図２】一実施形態に係る映像処理装置１００の概略構成を示すブロック図である。
【図３】液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。
【図４】映像処理装置の視聴領域Ｐにおける複数の視域２１の一例を示す上面図である。
【図５】変形例に係る映像処理装置１００’の概略構成を示すブロック図である。
【図６】第１の実施形態に係る映像処理方法を示すフローチャートである。
【図７】第１の実施形態の第１の変形例に係る映像処理方法を示すフローチャートである。
【図８】第１の実施形態の第２の変形例に係る映像処理方法を示すフローチャートである。
【図９】第２の実施形態に係る映像処理方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
【００１０】
図１は、一実施形態に係る映像処理装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像処理装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。
【００１１】
液晶パネル（表示部）１は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。
【００１２】
レンチキュラレンズ（開口制御部）２は、液晶パネル１（表示部）に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ２は、液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００１３】
本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。
【００１４】
以下の説明では、液晶パネル１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。
【００１５】
一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【００１６】
なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。
【００１７】
また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【００１８】
図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。
【００１９】
実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。
【００２０】
そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００２１】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００２２】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。
【００２３】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には、図４に示すように、複数の視域２１が視聴領域Ｐに存在し、これらは連動して移動する。視域は、後述する図２のコントローラ１０により制御される。なお、視域２１以外の視聴領域は、逆視やクロストーク等の発生により、良好な立体映像を見ることが困難な逆視領域２２である。
【００２４】
図１に戻り、映像処理装置１００の各構成要素について説明する。
【００２５】
カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。
【００２６】
受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示するか、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【００２７】
次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者検出部１３と、視域情報算出部１４と、画像調整部１５と、表示方式選択部１６と、記憶部１７とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。
【００２８】
チューナデコーダ（受信部）１１は、入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像処理装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００２９】
チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、左目用および右目用の画像（即ち、２つの視差画像）を含む３次元の映像信号であってもよい。後者の例として、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式などによる映像信号が挙げられる。また、映像信号は、３つ以上の視差画像含む３次元の映像信号であってもよい。
【００３０】
また、チューナデコーダ１１は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る。これにより、入力映像信号のコンテンツ種別を判別することが可能である。
【００３１】
視差画像変換部１２は、後述する表示方式選択部１６により選択された映像表示方式に従って、ベースバンド映像信号を所望の映像信号に変換する。視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。なお、選択された映像表示方式が２次元映像表示方式（２Ｄ方式）の場合、視差画像変換部１２は、２Ｄ映像コンテンツの映像信号をそのまま画像調整部１５に供給する。
【００３２】
視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。
【００３３】
２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【００３４】
２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。
【００３５】
これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【００３６】
一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。
【００３７】
多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。
【００３８】
多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００３９】
視聴者検出部１３は、カメラ３で撮影された映像を用いて視聴者を検出する。より詳しくは、視聴者検出部１３は、カメラ３により撮影された映像を用いて顔認識を行い、視聴者の情報（例えば、視聴者の顔情報、位置情報）を取得する。また、視聴者検出部１３は、視聴者が動いても追尾することが可能であるため、視聴者ごとの視聴時間を把握することもできる。
【００４０】
視聴者検出部１３は、視聴者の人数を表示方式選択部１６に供給し、視聴者の位置情報を視域情報算出部１４に供給する。
【００４１】
視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。図４に示す視聴者２０の位置は、座標（Ｘ１，Ｙ１，Ｚ１）で表される。より具体的には、視聴者検出部１３は、まず、カメラ３により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部１３は映像における視聴者の位置からＸ軸およびＹ軸上の位置（Ｘ１，Ｙ１）を算出し、顔の大きさからＺ軸上の位置（Ｚ１）を算出する。視聴者が複数いる場合、視聴者検出部１３は、予め定めた数、例えば１０人分の視聴者を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。
【００４２】
視域情報算出部１４は、後述の視聴者選択部１６により選択された視聴者の位置情報を用いて、選択された視聴者を収める視域を設定するための制御パラメータを算出する。この制御パラメータは、例えば、図３で説明した視差画像をずらす量であり、１つのパラメータ、または複数のパラメータの組み合わせである。そして、視域情報算出部１４は、算出した制御パラメータを画像調整部１５に供給する。
【００４３】
より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部１７に予め格納されている。視域情報算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。
【００４４】
画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。
【００４５】
表示方式選択部１６は、複数の映像表示方式の中から１つを選択し、選択した映像表示方式を視差画像変換部１２に供給する。なお、映像表示方式には、２次元映像を表示する２Ｄ方式、右目用と左目用の２つの視差画像を含む立体映像を表示する２視差方式、および３つ以上の視差画像を含む立体映像を表示する多視差方式などがある。
【００４６】
表示方式選択部１６は、３Ｄ視聴モードの設定を参照し、その設定内容に基づいて映像表示方式を選択してもよい。この３Ｄ視聴モードは、ユーザが３Ｄ表示方式を切替えるために設定メニューから設定されるものであり、２視差方式または多視差方式（ダイレクトステレオ設定オート／オフ）に設定される。２視差方式を選択するためのボタンおよび多視差方式を選択するためのボタンをリモコンに設けて、視聴者がいずれかのボタンを押下することによって３Ｄ視聴モードを設定するようにしてもよい。
【００４７】
なお、表示方式選択部１６は、チューナデコーダ１１から入力映像信号のコンテンツ種別に関する情報を供給され、このコンテンツ種別に基づいて、映像表示方式を選択してもよい。
【００４８】
記憶部１７は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、３Ｄ視聴モードの設定などを記憶する。表示方式選択部１６は、記憶部１７から３Ｄ視聴モードの設定を読み出す。なお、この記憶部１７は、コントローラ１０の外部に設けられてもよい。
【００４９】
以上、映像処理装置１００の構成について説明した。本実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部２’として設けてもよい。図５は、図２に示す本実施形態の変形例である映像処理装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１５の代わりに、視域制御部１５’を備える。この視域制御部１５’は、視域情報算出部１４により算出された制御パラメータに応じて開口制御部２’を制御する。本変形例の場合、制御パラメータは、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量などである。
【００５０】
本変形例では、液晶パネル１に表示された視差画像の出力方向を、開口制御部２’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部１５’により開口制御部２’を制御してもよい。
【００５１】
（第１の実施形態）
次に、上記のように構成された映像処理装置１００（１００’）による映像処理方法について、図６のフローチャートを用いて説明する。
（１）チューナデコーダ１１は、入力映像信号を復号し、ベースバンド映像信号を生成する（ステップＳ１１）。
（２）表示方式選択部１６は、記憶部１７に保存された３Ｄ視聴モードの設定を参照し（ステップＳ１２）、３Ｄ視聴モードが多視差方式に設定されている場合、多視差方式を選択し（ステップＳ１３）、３Ｄ視聴モードが２視差方式に設定されている場合、ステップＳ１４に進む。
（３）チューナデコーダ１１は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る（ステップＳ１４）。入力映像信号のコンテンツ種別が判別された結果、２Ｄ映像コンテンツであれば、表示方式選択部１６は２Ｄ方式を選択し（ステップＳ１５）、一方、３Ｄコンテンツであれば、表示方式選択部１６は２視差方式を選択する（ステップＳ１６）。
（４）視差画像変換部１２は、表示方式選択部１６により選択された表示方式に基づいて、ベースバンド映像信号を処理する（ステップＳ１７）。詳しくは、視差画像変換部１２は、２視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、２Ｄ方式が選択された場合には、２次元映像の前記ベースバンド映像信号をそのまま出力し、多視差方式が選択された場合には、ベースバンド映像信号を３つ以上の視差画像信号に変換する。
第１の実施形態によれば、３Ｄ視聴モードに応じて２視差方式または多視差方式が選択され、さらに、コンテンツ種別に応じて２視差方式または２Ｄ方式が選択される。多視差方式の場合、視域が広いので、映像処理装置の前にいる多くの人が立体映像を楽しむことができる。一方、２視差方式の場合、視聴者は、３Ｄコンテンツが有する左右の視差映像をそのまま見ることができるので、立体感に優れた立体映像を楽しむことができる。
【００５２】
（第１の変形例）
次に、図７のフローチャートに沿って、第１の実施形態の第１の変形例に係る映像処理方法について説明する。前述のように、２つの視差映像を含む３Ｄコンテンツは立体感に優れるものの視域が狭いため、視聴者の数は多い場合には視聴者全員が立体映像を視聴することが難しくなる。そこで、本変形例は、３Ｄ視聴モードが２視差方式に設定されている場合であっても、視聴者の人数等に応じて多視差方式に切替える。なお、ステップＳ１６０以外のステップは第１の実施形態と同じであるため、詳しい説明を省略する。
（１）視聴者検出部１３は、カメラ３で撮影された映像を用いて視聴者を検出する（ステップＳ１６１）。
（２）表示方式選択部１６は、視聴者が複数人存在しかつ視域内に収まらないかどうかを判定し（ステップＳ１６２）、視聴者が複数人存在しかつ視域内に収まらない場合、多視差方式を選択し（ステップＳ１６３）、それ以外の場合には２視差方式を選択する（ステップＳ１６４）。
第１の変形例によれば、視聴者が複数人存在しかつ視域内に収まらない場合には多視差方式を選択することで、複数の視聴者が立体映像を楽しむことができる。
【００５３】
（第２の変形例）
次に、図８のフローチャートに沿って、第１の実施形態の第２の変形例に係る映像処理方法について説明する。第１の実施形態では２Ｄ映像コンテンツの場合にはそのまま２次元映像を表示したが、本変形例では、２次元映像から立体映像への変換（２Ｄ３Ｄ変換）を行って立体映像を表示する。なお、ステップＳ１５’およびステップＳ１７’以外のステップは第１の実施形態と同じであるため、詳しい説明を省略する。
（１）コンテンツ種別が２次元映像コンテンツ（２Ｄコンテンツ）の場合、表示方式選択部１６は、多視差方式を選択する（ステップＳ１５’）。
（２）視差画像変換部１２は、２次元の映像信号の２Ｄ３Ｄ変換を行い、２Ｄ映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する（ステップＳ１７’）。なお、２Ｄ映像コンテンツのベースバンド映像信号を、右目用と左目用の２つの視差画像を含む立体映像の信号に変換してもよい。
第２の変形例によれば、２Ｄ映像コンテンツの場合であっても２Ｄ３Ｄ変換を行って多視差方式で表示することで、視聴者は立体映像を楽しむことができる。
【００５４】
（第２の実施形態）
第２の実施形態は、立体映像のコンテンツ種別（３Ｄコンテンツ種別）に基づいて表示方式を選択する。以下、図９のフローチャートに沿って、本実施形態に係る映像処理方法を説明する。
（１）チューナデコーダ１１は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、その後、ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取る（ステップＳ２１）。
（２）表示方式選択部１６は、３Ｄコンテンツ種別の判別（ステップＳ２２）の結果、２Ｄ３Ｄ変換コンテンツの場合には多視差方式を選択し（ステップＳ２３）、２Ｄ３Ｄ変換コンテンツ以外の３Ｄコンテンツの場合には２視差方式を選択する（ステップＳ２４）。ここで、２Ｄ３Ｄ変換コンテンツとは、２Ｄ３Ｄ変換により２次元映像から立体映像に変換された立体映像コンテンツのことである。
なお、３Ｄコンテンツの場合であっても視聴者が複数存在し、視域に収まらない場合には多視差方式を選択してもよい。即ち、ステップＳ２４に代えて、前述の第１の変形例のステップＳ１６０を行ってもよい。
（３）視差画像変換部１２は、表示方式選択部１６により選択された表示方式に基づいて、ベースバンド映像信号を処理する（ステップＳ２５）。詳しくは、視差画像変換部１２は、２視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、多視差方式が選択された場合には、ベースバンド映像信号を３つ以上の視差画像信号に変換する。
第２の実施形態によれば、３Ｄコンテンツ種別に応じて、立体映像の立体感を優先する２視差方式および視域の広さを優先する多視差方式から適切な表示方式が選択される。
【００５５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５６】
１ 液晶パネル
２ レンチキュラレンズ
２’ 開口制御部
３ カメラ
４ 受光部
１０，１０’ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者検出部
１４ 視域情報算出部
１５ 画像調整部
１５’ 視域制御部
１６ 表示方式選択部
１７ 記憶部
２０ 視聴者
２１ 視域
２２ 逆視領域
１００，１００’ 映像処理装置
Ｐ 視聴領域
【特許請求の範囲】
【請求項１】
符号化された入力映像信号を復号し、ベースバンド映像信号を生成する、受信部と、
２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する、表示方式選択部と、
前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する、視差画像変換部と、
を備える映像処理装置。
【請求項２】
前記表示方式選択部は、３Ｄ視聴モードが２視差方式に設定されている場合、２視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、請求項１に記載の映像処理装置。
【請求項３】
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツである場合、２視差方式に代えて２次元映像表示方式を選択し、
前記視差画像変換部は、前記２次元映像表示方式が選択された場合、２次元映像の前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換せずにそのまま出力する、請求項２に記載の映像処理装置。
【請求項４】
カメラで撮影された映像を用いて視聴者を検出する、視聴者検出部をさらに備え、
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式でありかつ前記コンテンツ種別が立体映像コンテンツである場合であって、前記視聴者が複数人存在しかつ視域内に収まらないときには、２視差方式に代えて多視差方式を選択する、請求項２に記載の映像処理装置。
【請求項５】
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツの場合、２視差方式に代えて多視差方式を選択し、
前記視差画像変換部は、前記表示方式選択部により多視差方式が選択された場合、前記２次元映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する、請求項２に記載の映像処理装置。
【請求項６】
前記受信部は、前記ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄコンテンツ種別が２次元映像から立体映像に変換された２Ｄ３Ｄ変換コンテンツである場合、多視差方式を選択し、前記３Ｄコンテンツ種別が前記２Ｄ３Ｄ変換コンテンツ以外の立体映像コンテンツである場合、２視差方式を選択する、請求項１に記載の映像処理装置。
【請求項７】
符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、
２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択し、
２視差方式を選択した場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、多視差方式を選択した場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する、映像処理方法。
【請求項８】
３Ｄ視聴モードが２視差方式に設定されている場合、２視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、請求項７に記載の映像処理方法。
【請求項９】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツである場合、２視差方式に代えて２次元映像表示方式を選択し、２次元映像の前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換せずにそのまま出力する、請求項８に記載の映像処理方法。
【請求項１０】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記３Ｄ視聴モードの設定が２視差方式でありかつ前記コンテンツ種別が立体映像コンテンツである場合であって、視聴者が複数人存在しかつ視域内に収まらないときには、２視差方式に代えて多視差方式を選択する、請求項８に記載の映像処理方法。
【請求項１１】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記コンテンツ種別が２次元映像コンテンツの場合、２視差方式に代えて多視差方式を選択し、前記２次元映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する、請求項８に記載の映像処理方法。
【請求項１２】
前記ベースバンド映像信号を生成した後、前記ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取り、
前記３Ｄコンテンツ種別が２次元映像から立体映像に変換された２Ｄ３Ｄ変換コンテンツである場合、多視差方式を選択し、前記３Ｄコンテンツ種別が前記２Ｄ３Ｄ変換コンテンツ以外の立体映像コンテンツである場合、２視差方式を選択する、請求項７に記載の映像処理方法。
【請求項１】
符号化された入力映像信号を復号し、ベースバンド映像信号を生成する、受信部と、
２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択する、表示方式選択部と、
前記表示方式選択部により２視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する、視差画像変換部と、
を備える映像処理装置。
【請求項２】
前記表示方式選択部は、３Ｄ視聴モードが２視差方式に設定されている場合、２視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、請求項１に記載の映像処理装置。
【請求項３】
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツである場合、２視差方式に代えて２次元映像表示方式を選択し、
前記視差画像変換部は、前記２次元映像表示方式が選択された場合、２次元映像の前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換せずにそのまま出力する、請求項２に記載の映像処理装置。
【請求項４】
カメラで撮影された映像を用いて視聴者を検出する、視聴者検出部をさらに備え、
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式でありかつ前記コンテンツ種別が立体映像コンテンツである場合であって、前記視聴者が複数人存在しかつ視域内に収まらないときには、２視差方式に代えて多視差方式を選択する、請求項２に記載の映像処理装置。
【請求項５】
前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツの場合、２視差方式に代えて多視差方式を選択し、
前記視差画像変換部は、前記表示方式選択部により多視差方式が選択された場合、前記２次元映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する、請求項２に記載の映像処理装置。
【請求項６】
前記受信部は、前記ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取り、
前記表示方式選択部は、前記３Ｄコンテンツ種別が２次元映像から立体映像に変換された２Ｄ３Ｄ変換コンテンツである場合、多視差方式を選択し、前記３Ｄコンテンツ種別が前記２Ｄ３Ｄ変換コンテンツ以外の立体映像コンテンツである場合、２視差方式を選択する、請求項１に記載の映像処理装置。
【請求項７】
符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、
２視差方式および多視差方式を含む複数の表示方式から１つの表示方式を選択し、
２視差方式を選択した場合には、前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換し、多視差方式を選択した場合には、前記ベースバンド映像信号を３つ以上の視差画像信号に変換する、映像処理方法。
【請求項８】
３Ｄ視聴モードが２視差方式に設定されている場合、２視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、請求項７に記載の映像処理方法。
【請求項９】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記３Ｄ視聴モードの設定が２視差方式であり、かつ前記コンテンツ種別が２次元映像コンテンツである場合、２視差方式に代えて２次元映像表示方式を選択し、２次元映像の前記ベースバンド映像信号を左目用および右目用の２つの視差画像信号に変換せずにそのまま出力する、請求項８に記載の映像処理方法。
【請求項１０】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記３Ｄ視聴モードの設定が２視差方式でありかつ前記コンテンツ種別が立体映像コンテンツである場合であって、視聴者が複数人存在しかつ視域内に収まらないときには、２視差方式に代えて多視差方式を選択する、請求項８に記載の映像処理方法。
【請求項１１】
前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
前記コンテンツ種別が２次元映像コンテンツの場合、２視差方式に代えて多視差方式を選択し、前記２次元映像コンテンツのベースバンド映像信号を３つ以上の視差画像を含む立体映像の信号に変換する、請求項８に記載の映像処理方法。
【請求項１２】
前記ベースバンド映像信号を生成した後、前記ベースバンド映像信号に含まれる３Ｄコンテンツ種別を示すフラグを読み取り、
前記３Ｄコンテンツ種別が２次元映像から立体映像に変換された２Ｄ３Ｄ変換コンテンツである場合、多視差方式を選択し、前記３Ｄコンテンツ種別が前記２Ｄ３Ｄ変換コンテンツ以外の立体映像コンテンツである場合、２視差方式を選択する、請求項７に記載の映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５１６１８（Ｐ２０１３−５１６１８Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９４９６（Ｐ２０１１−１８９４９６）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１２９３７６号（Ｐ５１２９３７６）
【特許公報発行日】平成２５年１月３０日（２０１３．１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１２９３７６号（Ｐ５１２９３７６）
【特許公報発行日】平成２５年１月３０日（２０１３．１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]