映像処理装置および映像処理方法
【課題】視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、視聴者位置検出部と、視域情報算出部と、保持部と、視域制御部と、を備える映像処理装置が提供される。前記視聴者位置検出部は、２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する。視域情報算出部は、２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。前記保持部は、前記２次元映像の表示中に算出された制御パラメータを保持する。前記視域制御部は、２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する。
【解決手段】実施形態によれば、視聴者位置検出部と、視域情報算出部と、保持部と、視域制御部と、を備える映像処理装置が提供される。前記視聴者位置検出部は、２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する。視域情報算出部は、２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。前記保持部は、前記２次元映像の表示中に算出された制御パラメータを保持する。前記視域制御部は、２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【０００３】
しかしながら、裸眼３Ｄテレビでは、視聴者の位置によっては、映像が立体的に見えないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６４３２９公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、視聴者位置検出部と、視域情報算出部と、保持部と、視域制御部と、を備える映像処理装置が提供される。前記視聴者位置検出部は、２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する。視域情報算出部は、２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。前記保持部は、前記２次元映像の表示中に算出された制御パラメータを保持する。前記視域制御部は、２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する。
【図面の簡単な説明】
【０００７】
【図１】視域制御機能を有する映像表示装置１００の外観図。
【図２】映像表示装置１００の概略構成を示すブロック図。
【図３】液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図。
【図４】視域情報を算出する手法の一例を示す図。
【図５】映像表示装置１００に信号を送信するリモコン２０の一例を示す図。
【図６】視域制御モードを設定するためのＯＳＤの一例を示す図。
【図７】第１の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図８】第２の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図９】第３の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図１０】第４の実施形態に係る映像表示装置１００ａの概略構成を示すブロック図。
【図１１】第４の実施形態に係る映像表示装置１００ａのコントローラ１０ａの処理動作の一例を示すフローチャート。
【図１２】第５の実施形態に係る映像表示装置１００ｂの概略構成を示すブロック図。
【図１３】第５の実施形態に係る映像表示装置１００ｂのコントローラ１０ｂの処理動作の一例を示すフローチャート。
【図１４】第６の実施形態に係る映像表示装置１００ｃの概略構成を示すブロック図。
【図１５】第６の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１６】第７の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１７】制御情報保持部１８に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図。
【図１８】第８の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１９】図２の変形例である映像表示装置１００’の概略構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら具体的に説明する。まずは、視域制御機能の概要について説明する。
【０００９】
図１は、視域制御機能を有する映像表示装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像表示装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。
【００１０】
液晶パネル（表示部）１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。
【００１１】
レンチキュラレンズ（開口制御部）２は液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００１２】
本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。
【００１３】
以下の説明では、レンチキュラレンズ２の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。
【００１４】
一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【００１５】
なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。
【００１６】
また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【００１７】
図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。
【００１８】
実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。
【００１９】
そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００２０】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００２１】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。
【００２２】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図２のコントローラ１０により制御される。
【００２３】
図１に戻り、カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。
【００２４】
受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示する、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【００２５】
次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者位置検出部１３と、視域情報算出部１４と、画像調整部１５とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。
【００２６】
チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像表示装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００２７】
チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。
【００２８】
視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。
【００２９】
２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【００３０】
２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。
【００３１】
これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【００３２】
一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。
【００３３】
多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。
【００３４】
多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００３５】
視聴者位置検出部１３はカメラ３により撮影された映像を用いて視聴者の位置を検出し、その位置情報を視域情報算出部１４に供給する。
【００３６】
視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。より具体的には、視聴者位置検出部１３は、まず、カメラ３により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者位置検出部１３は映像における顔の位置からＸ軸およびＹ軸上の位置を検出し、顔の大きさからＺ軸上の位置を検出する。視聴者が複数いる場合、視聴者位置検出部１３は、予め定めた数、例えば１０人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。
【００３７】
なお、位置検出モジュール１３が視聴者の位置を検出する手法に特に制限はなく、カメラ３は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
【００３８】
視域情報算出部１４は、検出された視聴者の位置情報に応じて適切に視域が設定されるよう、制御パラメータ（例えば、図３で説明した視差画像をずらす量）を算出し、画像調整部１５に供給する。
【００３９】
図４は、視域情報を算出する手法の一例を示す図である。視域情報算出部１４は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部１４は、各視域について、視域と検出された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図４の例では、予め定めた図４（ａ）〜図４（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を液晶パネル１に向かって左側に設定する図４（ｂ）において、視聴者２０と視域とが重なる面積が最大となる。よって、視域情報算出部１４は図４（ｂ）の視域のパターンを適切な視域と判断する。この場合、図４（ｂ）のパターンで視差画像を表示するための制御パラメータが図２の画像調整部１５に供給される。
【００４０】
より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いてもよい。視域情報算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つけることができる。
【００４１】
画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。
【００４２】
常時視聴者の位置を自動的に検出して上述したような視域を制御することにより、リアルタイムで視聴者にとって適切な視域が設定される。しかしながら、視聴者が静止して映像を見ている場合でも、映像表示装置１００の前方で他人が移動すると、移動する人に合わせて視域が移動してしまうことがある。この場合、静止して映像を見ている視聴者にとっては映像が見づらくなる。
【００４３】
そこで、視域制御モードとして、常時視聴者の位置を検出して自動的に視域を制御する「オートトラッキングモード」、および、特定のタイミング（後述）で視域を制御する「マニュアルトラッキングモード」のいずれかを視聴者が選択できるようにする。この選択は、例えばリモコンを用いて行うことができる。
【００４４】
図５は、映像表示装置１００に信号を送信するリモコン（遠隔操作装置）２０の一例を示す図である。リモコン２０には、電源キー２１、音量調整キー２２、チャンネル選択キー２３、メニューキー２４、決定キー２５、カーソルキー２６、３Ｄキー２７、トラッキングキー２８等が設けられる。例えば、３Ｄキー２７が押下されると、入力映像信号が２次元映像信号であるか３次元映像信号であるかに関わらず、液晶パネル１に立体映像を表示することを指示する信号が生成される。
【００４５】
メニューキー２４、カーソルキー２６および決定キー２５等を操作して視域制御モード設定メニューを選択すると、視域制御モードを設定するためのＯＳＤ（On Screen Display）が表示される。
【００４６】
図６は、視域制御モードを設定するためのＯＳＤの一例を示す図である。図６（ａ）は、オートトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行います。」という説明が表示される。この状態で決定キー２５を押下するとオートトラッキングモードに設定される。一方、図６（ｂ）は、マニュアルトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行いません。」という説明が表示される。この状態で決定キー２５を押下するとマニュアルトラッキングモードに設定される。
【００４７】
なお、必ずしもリモコン２０を用いる必要はなく、これらと同等のボタンが、例えば映像表示装置１００の受光部４やカメラ３に隣接して設けられていてもよい。また、映像表示装置１００がタブレット端末である場合など、タッチパネル機能を有する場合には、液晶パネル１にボタンを表示してユーザが設定できるようにしてもよい。
【００４８】
以下に説明する第１〜第３の実施形態はマニュアルトラッキングモードに関する。マニュアルトラッキングモードは特定のタイミングで視域を制御するものであるが、第１および第２の実施形態では、そのタイミングが立体映像の表示を開始するときである例を示し、第３の実施形態では、そのタイミングが立体映像の表示中にリモコン２０のトラッキングキー２８が押下されたときである例を示す。なお、２視差方式および多視差方式のいずれを採用する場合であっても以下の実施形態を適用できる。
【００４９】
（第１の実施形態）
図７は、第１の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。以下では、予めポジションキャプチャモードに設定されていることを念頭に置いている。
【００５０】
まず、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりすると、視域情報算出部１４は立体映像の表示開始を検出する（ステップＳ１１のＹＥＳ）。立体映像の表示開始に応じて、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ１２）。視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ１３）。そして、画像調整部１５は制御パラメータに応じて視差画像信号を調整し（ステップＳ１４）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。
【００５１】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル１に表示された視差画像をレンチキュラレンズ２を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【００５２】
なお、図７では立体映像の表示開始に応じて視聴者の位置を検出する（ステップＳ１２）例を示しているが、立体映像の表示開始に同期して視域が設定されればよく、例えば常時視聴者の位置を検出していて、立体映像の表示開始に応じて制御パラメータを算出してもよいし、常時視聴者の位置検出および制御パラメータの算出を行っていて、立体映像の表示開始に応じて画像調整をしてもよい。
【００５３】
また、カメラ３の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ３の撮影範囲外にある場合、視聴者の顔がカメラ３の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部１３が視聴者を認識できないこともある。この場合には、立体映像の表示開始を検出する、例えば３〜４秒前に視聴者が認識された履歴があれば、そのときの視聴者の位置に視域を設定してもよい。履歴がなければ、視聴者の位置を認識できない旨の警告を表示してもよい。
【００５４】
さらに、視聴者位置検出部１３が視聴者の位置を検出した際、視聴者が液晶パネル１に接近しすぎている場合、例えば視聴者と液晶パネル１との距離が３Ｈ（Ｈは液晶パネル１の高さ）未満である場合、立体感が得られにくくなるため、画面から離れることを促す旨の警告を表示してもよい。
【００５５】
このように、第１の実施形態では、立体映像の表示開始に同期して視聴者の位置に視域が設定されるよう視域の制御を行い、その後の視域は視聴者の位置には追従しない。そのため、液晶パネル１の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【００５６】
また、通常、視聴者は映像を見ながらリモコン２０を操作するため、リモコン２０からの赤外線信号を用いて立体映像の表示開始を検出することにより、適切に視聴者の位置を検出できる。
【００５７】
（第２の実施形態）
上述した第１の実施形態は、立体映像の表示開始時に、実際の視聴者の位置に視域を設定するものであった。これに対し、第２の実施形態は、前回立体映像を表示していたときの視域を記憶しておき、次に立体映像の表示を開始するときに、記憶された視域を再度設定するものである。以下の実施形態では、第１の実施形態との相違点を中心に説明する。
【００５８】
図８は、第２の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。
【００５９】
立体映像の表示を終了する際（ステップＳ２１）、視域情報算出部１４はその時の制御パラメータを記憶する（ステップＳ２２）。立体映像の表示を終了とは、例えば映像表示装置１００の電源をオフにするとき、リモコン２０の３Ｄキー２７が押下されて立体表示から２次元表示に切り替えられたとき、映像信号が３次元映像信号から２次元映像信号に切り替わったとき、等である。また、このときに記憶される制御パラメータは、オートトラッキングモードにより算出されたものでもよいし、第１の実施形態のようにマニュアルトラッキングモードにより算出されたものでもよい。また、別の手法で算出されたものでもよい。
【００６０】
その後、視域情報算出部１４が立体映像の表示開始を検出すると（ステップＳ２３のＹＥＳ）、ステップＳ２２で記憶された制御パラメータに応じて、画像調整部１５は視差画像信号を調整する（ステップＳ２４）。これにより、視聴者の位置に合わせて視域が設定される。設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【００６１】
このように、第２の実施形態では、立体映像の表示開始時に、前回の立体映像の表示終了時の視域を設定する。そのため、再度立体映像の表示を開始する時に、視聴者の位置を検出したり制御パラメータを改めて算出したりする必要がなく、迅速に視域を設定できる。
【００６２】
視聴者は、ソファ等が置かれた一定の位置から、映像表示装置１００を見ることが多いと考えられる。したがって、視聴者の位置を検出せずに前回の立体映像の表示終了時の視域を設定したとしても、多くの場合、視聴者の位置に視域を設定できる。
【００６３】
また、本実施形態は、例えば写真のスライドショー表示のように、２次元映像信号と３次元映像信号が混在して高い頻度で切り替わる映像信号を再生する場合に、特に有用である。すなわち、２次元映像信号から３次元映像信号へ切り替わる度に視域が新たに設定されると、毎回視域が異なっていたり視域の設定に時間がかかったりするが、本実施形態では、視域情報算出部１４に記憶された制御パラメータを用いるため、迅速に一定の視域を設定できる。
【００６４】
なお、立体映像の表示開始時に、第１の実施形態で説明したように視聴者の位置を検出して視域を設定するか、第２の実施形態で説明したように前回立体映像を表示していた時の視域を設定するか、を視聴者が選択できるようにしてもよい。
【００６５】
（第３の実施形態）
上述した第１および第２の実施形態は、立体映像の表示を開始するタイミングで視域を制御するものであった。立体映像の表示開始時に視域を設定したとしても、視聴者は必ずしも一定の位置に静止して視聴を続けるわけではなく、移動することもある。マニュアルトラッキングモードでは、視域が視聴者の位置に追従しないため、視聴者が移動すると映像を立体視できなくなることもある。そこで第３の実施形態は、立体映像を表示しているときにリモコン２０のトラッキングキー２８を視聴者が押下したタイミングで視域を制御するものである。
【００６６】
図９は、第３の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。
【００６７】
まず、立体映像を表示中に視聴者がリモコン２０のトラッキングキー（信号生成手段）２８を押下すると、赤外線の視域調整信号が生成され、映像表示装置１００の受光部４に送信される。受信部が視域調整信号を受信する（ステップＳ３１のＹＥＳ）と、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ３２）。視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ３３）。そして、画像調整部１５は制御パラメータに応じて視差画像信号を調整し（ステップＳ３４）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。
【００６８】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル１に表示された視差画像をレンチキュラレンズ２を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。視域調整の指示とは、例えば視聴者が再度トラッキングキー２８を押下した場合や、第１および第２の実施形態で説明したように、３Ｄキー２７を押下した場合である。
【００６９】
このように、第３の実施形態では、視聴者がリモコン２０のトラッキングキー２８を押下したタイミングで視聴者の位置を受信し、視域を制御する。視聴者が視域設定のタイミングを指示できるため、立体映像を視聴中に視聴者が移動したときも、適切に視域を再設定できる。また、通常、視聴者は映像を見ながらリモコン２０を操作するため、リモコン２０からの視域調整信号を送信することにより、適切に視聴者の位置を検出できる。さらに、視域が再設定された後の視域は視聴者の位置には追従しない。そのため、液晶パネル１の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【００７０】
なお、必ずしもトラッキングキー２８がリモコン２０に設けられている必要はなく、映像表示装置１００がタブレット端末である場合などでは、映像表示装置１００にトラッキングキー２８に相当するボタン等（信号生成手段）が設けられていてもよいし、映像表示装置１００がタッチパネル機能を有する場合には、液晶パネル１にトラッキングキー２８を表示してもよい。
【００７１】
（第４の実施形態）
上述のように、視域を制御するためには、視聴者の位置を検出し、制御パラメータを算出し、画像を調整する必要がある。画像の調整にはそれほど時間はかからないが、視聴者の位置検出および制御パラメータの算出には時間がかかることがある。特に、図４を用いて説明したように、制御パラメータを算出するためには、予め定めた視域の中から最適な視域を探す必要がある。
【００７２】
そのため、第４の実施形態では、２次元映像を表示中も定期的に制御パラメータを算出しておき、２次元映像から立体映像に切り替わるタイミング（例えば図７のステップＳ１１）において、迅速に視域を設定できるようにするものである。
【００７３】
図１０は、第４の実施形態に係る映像表示装置１００ａの概略構成を示すブロック図である。図１０では、図２と共通する構成部分には同一の符号を付している。図１０の映像表示装置１００ａのコントローラ１０ａは、さらに、制御パラメータ保持部１６を有する。制御パラメータ保持部１６は、視域情報算出部１４が算出した制御パラメータを保持する。
【００７４】
図１１は、第４の実施形態に係る映像表示装置１００ａのコントローラ１０ａの処理動作の一例を示すフローチャートである。同図では、初め２次元映像が液晶パネル１に表示されているものとする。
【００７５】
２次元映像を表示中も、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ４１）。そして、視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ４２）。この制御パラメータは制御パラメータ保持部１６に保持される（ステップＳ４３）。
【００７６】
ここで、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりして、コントローラ１０ａが立体映像の表示開始を検出すると、（ステップＳ４４のＹＥＳ）、画像調整部１５は制御パラメータ保持部１６に保持されている制御パラメータに応じて視差画像信号を調整し（ステップＳ４５）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。立体映像に切り替わってからの処理は画像調整（ステップＳ４５）のみなので、迅速に適切な視域が設定される。
【００７７】
一方、立体映像の表示に切り替わらず２次元映像の表示が続く場合（ステップＳ４４のＮＯ）、例えば一定の間隔でコントローラ１０ａはステップＳ４１〜Ｓ４３をバックグラウンドで繰り返し、制御パラメータ保持部１６に保持される制御パラメータを更新する。
【００７８】
このように、第４の実施形態では、立体映像を表示しない間でも制御パラメータを算出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【００７９】
（第５の実施形態）
第５の実施形態は、上述した第４の実施形態の変形例である。第４の実施形態では２次元映像を表示中に制御パラメータを算出して保持するものであったが、第５の実施形態では２次元映像表示中に視聴者の位置を検出して保持するものである。
【００８０】
図１２は、第５の実施形態に係る映像表示装置１００ｂの概略構成を示すブロック図である。図１２では、図２と共通する構成部分には同一の符号を付している。図１２の映像表示装置１０２のコントローラ１０ｂは、さらに、視聴者位置保持部１７を有する。視聴者位置保持部１７は、視聴者位置検出部１３が検出した視聴者位置を保持する。
【００８１】
図１３は、第５の実施形態に係る映像表示装置１００ｂのコントローラ１０ｂの処理動作の一例を示すフローチャートである。同図では、初め２次元映像を液晶パネル１に表示しているものとする。
【００８２】
２次元映像を表示中も、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ５１）。この視聴者位置は視聴者位置保持部１７に保持される（ステップＳ５２）。
【００８３】
ここで、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりして、コントローラ１０ｂが立体映像の表示開始を検出すると、（ステップＳ５３のＹＥＳ）、視域情報算出部１４は、視聴者位置保持部１７に保持されている視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ５４）。
【００８４】
そして、画像調整部１５は算出された制御パラメータに応じて視差画像信号を調整し（ステップＳ５５）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。立体映像に切り替わってからの処理は制御パラメータの算出（ステップＳ５４）および画像調整（ステップＳ５５）のみなので、立体映像の表示開始後に視聴者の位置を検出する場合と比べて、迅速に適切な視域が設定される。
【００８５】
一方、立体映像の表示に切り替わらず２次元映像の表示が続く場合（ステップＳ５４のＮＯ）、例えば一定の間隔でコントローラ１０ｂはステップＳ５１，Ｓ５２をバックグラウンドで繰り返し、視聴者位置保持部１７に保持される視聴者の位置を更新する。
【００８６】
このように、第５の実施形態では、立体映像を表示しない間でも視聴者の位置を検出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【００８７】
（第６の実施形態）
視聴者位置検出部１３は、常に視聴者の位置を検出できるとは限らない。例えば、カメラ３の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ３の撮影範囲外にある場合、視聴者の顔がカメラ３の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部１３が視聴者を認識できないこともある。この場合、視差情報算出部は視聴者の位置に基づいて制御パラメータを算出することができない。また、視域情報算出部１４の故障などにより制御パラメータを算出できないこともあり得る。
【００８８】
以下に説明する第６〜第８の実施形態は、制御パラメータを算出できない場合の処理動作に関するものである。
【００８９】
図１４は、第６の実施形態に係る映像表示装置１００ｃの概略構成を示すブロック図である。図１４では、図２と共通する構成部分には同一の符号を付している。図１４の映像表示装置１００ｃのコントローラ１０ｃは、さらに、制御情報保持部１８を有する。制御情報保持部１８は、所定の領域に視域が設定されるよう予め算出された制御パラメータを、いわゆるデフォルト値として、保持する。
【００９０】
所定の領域は、例えば液晶パネル１の正面であって、液晶パネル１と視聴者との距離が３Ｈ（Ｈは液晶パネル１の高さ）に設定される。この位置で視聴者が液晶パネル１を視聴することを念頭に置いて映像表示装置が設計されることが多いためである。あるいは、視聴者が通常視聴する領域を設定していてもよい。
【００９１】
図１５は、第６の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。
【００９２】
視域の制御を行うタイミングで、視域情報算出部１４が制御パラメータを算出できる場合（ステップＳ６１のＹＥＳ）、画像調整部１５は、算出された制御パラメータ（第１の制御パラメータ）に応じて、画像を調整する（ステップＳ６２）。ここで、視域の制御を行うタイミングとは、例えば図８のステップＳ１１、図９のステップＳ２４、図１０のステップＳ３１、オートトラッキングモードで視域制御するタイミングなどである。
【００９３】
一方、上記の理由などにより視域情報算出部１４が制御パラメータを算出できない場合（ステップＳ６１のＮＯ）、画像調整部１５は、制御情報保持部１８に保持されている制御パラメータ（第２の制御パラメータ）に応じて、視域を設定するための画像調整を行う（ステップＳ６３）。
【００９４】
このように、第６の実施形態では、所定の領域に視域を設定するための制御パラメータを予め制御情報保持部１８に保持しておく。そのため、視聴者をうまく検出できない場合など、制御パラメータを算出できない場合でも、視域を設定できる。特に、制御情報保持部１８に保持する制御パラメータを液晶パネル１の高さに基づいて設定したり、視聴者の通常の視聴位置に基づいて設定したりすることで、適切な視域が設定される。
【００９５】
（第７の実施形態）
第７の実施形態は、複数の制御パラメータを予め制御情報保持部１８に保持しておき、そのうちの１つをユーザ設定に応じて選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図１５とほぼ同様なので説明を省略する。
【００９６】
複数の制御パラメータの１つは、例えば家庭内で映像表示装置１００ｃを視聴することを念頭において液晶パネル１と視聴者との距離が３Ｈになる領域に視域を設定するための制御パラメータであり、他の１つは、例えば店頭に映像表示装置１００ｃを展示することを念頭に置いてこれより距離が遠い領域に視域を設定するための制御パラメータである。複数の制御パラメータのうちのいずれを使用するかを、予めユーザが設定しておく。
【００９７】
図１６は、第７の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。視域情報算出部１４が制御パラメータを算出できる場合の処理動作は、第６の実施形態と同様である（ステップＳ７１のＹＥＳ，Ｓ７２）。
【００９８】
一方、視域情報算出部１４が制御パラメータを算出できない場合（ステップＳ７１のＮＯ）、画像調整部１５は、ユーザ設定に応じて、制御情報保持部１８に保持されている複数の制御パラメータのうちの１つを選択する（ステップＳ７３）。そして、画像調整部１５は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う（ステップＳ７４）。
【００９９】
このように、第７の実施形態では、制御情報保持部１８に保持される複数の制御パラメータのうちの１つを選択するため、制御パラメータを算出できない場合でもユーザの設定に応じて適切に視域を設定できる。
【０１００】
（第８の実施形態）
第８の実施形態は、複数の制御パラメータを予め制御情報保持部１８に保持しておき、そのうちの１つを、表示されるコンテンツに応じて自動的に選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図１５とほぼ同様なので説明を省略する。
【０１０１】
図１７は、制御情報保持部１８に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図である。例えば、表示されるコンテンツのジャンルがアニメである場合、子供が視聴している可能性が高く、この場合液晶パネル１から離れていることが想定される。そのため、液晶パネル１から遠い位置に視域が設定されるような制御パラメータが保持される。また、ジャンルがスポーツである場合、エキサイトな内容を液晶パネル１に近づいて見ている可能性が高い。そのため、液晶パネル１から近い位置に視域が設定されるような制御パラメータが保持される。ジャンルがドラマや映画である場合、アニメとスポーツとの中間程度の位置に視域が設定されるような制御パラメータが保持される。
【０１０２】
あくまで図１７は一例であって、別のジャンルを設定したり、コンテンツ情報として視聴時刻等をさらに考慮したりしてもよい。
【０１０３】
図１８は、第８の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。視域情報算出部１４が制御パラメータを算出できる場合の処理動作は、第６の実施形態と同様である（ステップＳ８１のＹＥＳ，Ｓ８２）。
【０１０４】
一方、視域情報算出部１４が視域情報を算出できない場合（ステップＳ８１のＮＯ）、チューナデコーダ１１は放送波に重畳されたデータ放送から電子番組表を取得し、これに基づいて液晶パネル１に表示されるコンテンツのコンテンツ情報を抽出する（ステップＳ８３）。あるいは、インターネット経由でコンテンツ情報を取得してもよい。
【０１０５】
そして、画像調整部１５は、コンテンツのジャンルに応じて、制御情報保持部１８に保持されている複数の制御パラメータのうちの１つを選択する（ステップＳ８４）。例えば、ジャンルがアニメである場合、画像調整部１５は視域を液晶パネル１の近くに設定するための制御パラメータを選択する（図１７）。そして、画像調整部１５は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う（ステップＳ８５）。
【０１０６】
このように、第８の実施形態では、コンテンツ情報ごとに予め定めた制御パラメータを制御情報保持部１８に保持しておくため、コンテンツに応じて自動的に適切に視域を設定できる。
【０１０７】
以上の各実施形態で説明したように、映像表示装置は視域を適切に設定できる。
【０１０８】
なお上述した各実施形態の映像表示装置１００では、レンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部として設けてもよい。また、図１９は、図２の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、視差画像をずらす処理を行わず、コントローラ１０’内に視域制御部１５’を設けて開口制御部２’を制御してもよい。この場合、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部との水平方向のずれ量等を制御パラメータとし、液晶パネル１に表示された視差画像の出力方向を制御することにより視域が制御される。図１９の映像表示装置を各実施形態に適用してもよい。
【０１０９】
上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【０１１０】
また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【０１１１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１１２】
１ 液晶パネル
２ レンチキュラレンズ
３ カメラ
４ 受光部
１０ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者位置検出部
１４ 視域情報算出部
１５ 画像調整部
１６ 制御パラメータ保持部
１７ 視聴者位置保持部
１８ 制御情報保持部
２０ リモコン
１００，１００ａ，１００ｂ，１００ｃ 映像表示装置
【技術分野】
【０００１】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【０００３】
しかしながら、裸眼３Ｄテレビでは、視聴者の位置によっては、映像が立体的に見えないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６４３２９公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、視聴者位置検出部と、視域情報算出部と、保持部と、視域制御部と、を備える映像処理装置が提供される。前記視聴者位置検出部は、２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する。視域情報算出部は、２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する。前記保持部は、前記２次元映像の表示中に算出された制御パラメータを保持する。前記視域制御部は、２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する。
【図面の簡単な説明】
【０００７】
【図１】視域制御機能を有する映像表示装置１００の外観図。
【図２】映像表示装置１００の概略構成を示すブロック図。
【図３】液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図。
【図４】視域情報を算出する手法の一例を示す図。
【図５】映像表示装置１００に信号を送信するリモコン２０の一例を示す図。
【図６】視域制御モードを設定するためのＯＳＤの一例を示す図。
【図７】第１の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図８】第２の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図９】第３の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャート。
【図１０】第４の実施形態に係る映像表示装置１００ａの概略構成を示すブロック図。
【図１１】第４の実施形態に係る映像表示装置１００ａのコントローラ１０ａの処理動作の一例を示すフローチャート。
【図１２】第５の実施形態に係る映像表示装置１００ｂの概略構成を示すブロック図。
【図１３】第５の実施形態に係る映像表示装置１００ｂのコントローラ１０ｂの処理動作の一例を示すフローチャート。
【図１４】第６の実施形態に係る映像表示装置１００ｃの概略構成を示すブロック図。
【図１５】第６の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１６】第７の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１７】制御情報保持部１８に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図。
【図１８】第８の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャート。
【図１９】図２の変形例である映像表示装置１００’の概略構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら具体的に説明する。まずは、視域制御機能の概要について説明する。
【０００９】
図１は、視域制御機能を有する映像表示装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像表示装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。
【００１０】
液晶パネル（表示部）１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。
【００１１】
レンチキュラレンズ（開口制御部）２は液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００１２】
本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。
【００１３】
以下の説明では、レンチキュラレンズ２の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。
【００１４】
一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【００１５】
なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。
【００１６】
また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【００１７】
図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。
【００１８】
実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。
【００１９】
そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００２０】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００２１】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。
【００２２】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図２のコントローラ１０により制御される。
【００２３】
図１に戻り、カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。
【００２４】
受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示する、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【００２５】
次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者位置検出部１３と、視域情報算出部１４と、画像調整部１５とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。
【００２６】
チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像表示装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００２７】
チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。
【００２８】
視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。
【００２９】
２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【００３０】
２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。
【００３１】
これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【００３２】
一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。
【００３３】
多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。
【００３４】
多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００３５】
視聴者位置検出部１３はカメラ３により撮影された映像を用いて視聴者の位置を検出し、その位置情報を視域情報算出部１４に供給する。
【００３６】
視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。より具体的には、視聴者位置検出部１３は、まず、カメラ３により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者位置検出部１３は映像における顔の位置からＸ軸およびＹ軸上の位置を検出し、顔の大きさからＺ軸上の位置を検出する。視聴者が複数いる場合、視聴者位置検出部１３は、予め定めた数、例えば１０人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。
【００３７】
なお、位置検出モジュール１３が視聴者の位置を検出する手法に特に制限はなく、カメラ３は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
【００３８】
視域情報算出部１４は、検出された視聴者の位置情報に応じて適切に視域が設定されるよう、制御パラメータ（例えば、図３で説明した視差画像をずらす量）を算出し、画像調整部１５に供給する。
【００３９】
図４は、視域情報を算出する手法の一例を示す図である。視域情報算出部１４は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部１４は、各視域について、視域と検出された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図４の例では、予め定めた図４（ａ）〜図４（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を液晶パネル１に向かって左側に設定する図４（ｂ）において、視聴者２０と視域とが重なる面積が最大となる。よって、視域情報算出部１４は図４（ｂ）の視域のパターンを適切な視域と判断する。この場合、図４（ｂ）のパターンで視差画像を表示するための制御パラメータが図２の画像調整部１５に供給される。
【００４０】
より詳しくは、所望の視域を設定するために、視域情報算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いてもよい。視域情報算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つけることができる。
【００４１】
画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。液晶パネル１は調整された視差画像信号に対応する画像を表示する。
【００４２】
常時視聴者の位置を自動的に検出して上述したような視域を制御することにより、リアルタイムで視聴者にとって適切な視域が設定される。しかしながら、視聴者が静止して映像を見ている場合でも、映像表示装置１００の前方で他人が移動すると、移動する人に合わせて視域が移動してしまうことがある。この場合、静止して映像を見ている視聴者にとっては映像が見づらくなる。
【００４３】
そこで、視域制御モードとして、常時視聴者の位置を検出して自動的に視域を制御する「オートトラッキングモード」、および、特定のタイミング（後述）で視域を制御する「マニュアルトラッキングモード」のいずれかを視聴者が選択できるようにする。この選択は、例えばリモコンを用いて行うことができる。
【００４４】
図５は、映像表示装置１００に信号を送信するリモコン（遠隔操作装置）２０の一例を示す図である。リモコン２０には、電源キー２１、音量調整キー２２、チャンネル選択キー２３、メニューキー２４、決定キー２５、カーソルキー２６、３Ｄキー２７、トラッキングキー２８等が設けられる。例えば、３Ｄキー２７が押下されると、入力映像信号が２次元映像信号であるか３次元映像信号であるかに関わらず、液晶パネル１に立体映像を表示することを指示する信号が生成される。
【００４５】
メニューキー２４、カーソルキー２６および決定キー２５等を操作して視域制御モード設定メニューを選択すると、視域制御モードを設定するためのＯＳＤ（On Screen Display）が表示される。
【００４６】
図６は、視域制御モードを設定するためのＯＳＤの一例を示す図である。図６（ａ）は、オートトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行います。」という説明が表示される。この状態で決定キー２５を押下するとオートトラッキングモードに設定される。一方、図６（ｂ）は、マニュアルトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行いません。」という説明が表示される。この状態で決定キー２５を押下するとマニュアルトラッキングモードに設定される。
【００４７】
なお、必ずしもリモコン２０を用いる必要はなく、これらと同等のボタンが、例えば映像表示装置１００の受光部４やカメラ３に隣接して設けられていてもよい。また、映像表示装置１００がタブレット端末である場合など、タッチパネル機能を有する場合には、液晶パネル１にボタンを表示してユーザが設定できるようにしてもよい。
【００４８】
以下に説明する第１〜第３の実施形態はマニュアルトラッキングモードに関する。マニュアルトラッキングモードは特定のタイミングで視域を制御するものであるが、第１および第２の実施形態では、そのタイミングが立体映像の表示を開始するときである例を示し、第３の実施形態では、そのタイミングが立体映像の表示中にリモコン２０のトラッキングキー２８が押下されたときである例を示す。なお、２視差方式および多視差方式のいずれを採用する場合であっても以下の実施形態を適用できる。
【００４９】
（第１の実施形態）
図７は、第１の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。以下では、予めポジションキャプチャモードに設定されていることを念頭に置いている。
【００５０】
まず、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりすると、視域情報算出部１４は立体映像の表示開始を検出する（ステップＳ１１のＹＥＳ）。立体映像の表示開始に応じて、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ１２）。視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ１３）。そして、画像調整部１５は制御パラメータに応じて視差画像信号を調整し（ステップＳ１４）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。
【００５１】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル１に表示された視差画像をレンチキュラレンズ２を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【００５２】
なお、図７では立体映像の表示開始に応じて視聴者の位置を検出する（ステップＳ１２）例を示しているが、立体映像の表示開始に同期して視域が設定されればよく、例えば常時視聴者の位置を検出していて、立体映像の表示開始に応じて制御パラメータを算出してもよいし、常時視聴者の位置検出および制御パラメータの算出を行っていて、立体映像の表示開始に応じて画像調整をしてもよい。
【００５３】
また、カメラ３の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ３の撮影範囲外にある場合、視聴者の顔がカメラ３の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部１３が視聴者を認識できないこともある。この場合には、立体映像の表示開始を検出する、例えば３〜４秒前に視聴者が認識された履歴があれば、そのときの視聴者の位置に視域を設定してもよい。履歴がなければ、視聴者の位置を認識できない旨の警告を表示してもよい。
【００５４】
さらに、視聴者位置検出部１３が視聴者の位置を検出した際、視聴者が液晶パネル１に接近しすぎている場合、例えば視聴者と液晶パネル１との距離が３Ｈ（Ｈは液晶パネル１の高さ）未満である場合、立体感が得られにくくなるため、画面から離れることを促す旨の警告を表示してもよい。
【００５５】
このように、第１の実施形態では、立体映像の表示開始に同期して視聴者の位置に視域が設定されるよう視域の制御を行い、その後の視域は視聴者の位置には追従しない。そのため、液晶パネル１の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【００５６】
また、通常、視聴者は映像を見ながらリモコン２０を操作するため、リモコン２０からの赤外線信号を用いて立体映像の表示開始を検出することにより、適切に視聴者の位置を検出できる。
【００５７】
（第２の実施形態）
上述した第１の実施形態は、立体映像の表示開始時に、実際の視聴者の位置に視域を設定するものであった。これに対し、第２の実施形態は、前回立体映像を表示していたときの視域を記憶しておき、次に立体映像の表示を開始するときに、記憶された視域を再度設定するものである。以下の実施形態では、第１の実施形態との相違点を中心に説明する。
【００５８】
図８は、第２の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。
【００５９】
立体映像の表示を終了する際（ステップＳ２１）、視域情報算出部１４はその時の制御パラメータを記憶する（ステップＳ２２）。立体映像の表示を終了とは、例えば映像表示装置１００の電源をオフにするとき、リモコン２０の３Ｄキー２７が押下されて立体表示から２次元表示に切り替えられたとき、映像信号が３次元映像信号から２次元映像信号に切り替わったとき、等である。また、このときに記憶される制御パラメータは、オートトラッキングモードにより算出されたものでもよいし、第１の実施形態のようにマニュアルトラッキングモードにより算出されたものでもよい。また、別の手法で算出されたものでもよい。
【００６０】
その後、視域情報算出部１４が立体映像の表示開始を検出すると（ステップＳ２３のＹＥＳ）、ステップＳ２２で記憶された制御パラメータに応じて、画像調整部１５は視差画像信号を調整する（ステップＳ２４）。これにより、視聴者の位置に合わせて視域が設定される。設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【００６１】
このように、第２の実施形態では、立体映像の表示開始時に、前回の立体映像の表示終了時の視域を設定する。そのため、再度立体映像の表示を開始する時に、視聴者の位置を検出したり制御パラメータを改めて算出したりする必要がなく、迅速に視域を設定できる。
【００６２】
視聴者は、ソファ等が置かれた一定の位置から、映像表示装置１００を見ることが多いと考えられる。したがって、視聴者の位置を検出せずに前回の立体映像の表示終了時の視域を設定したとしても、多くの場合、視聴者の位置に視域を設定できる。
【００６３】
また、本実施形態は、例えば写真のスライドショー表示のように、２次元映像信号と３次元映像信号が混在して高い頻度で切り替わる映像信号を再生する場合に、特に有用である。すなわち、２次元映像信号から３次元映像信号へ切り替わる度に視域が新たに設定されると、毎回視域が異なっていたり視域の設定に時間がかかったりするが、本実施形態では、視域情報算出部１４に記憶された制御パラメータを用いるため、迅速に一定の視域を設定できる。
【００６４】
なお、立体映像の表示開始時に、第１の実施形態で説明したように視聴者の位置を検出して視域を設定するか、第２の実施形態で説明したように前回立体映像を表示していた時の視域を設定するか、を視聴者が選択できるようにしてもよい。
【００６５】
（第３の実施形態）
上述した第１および第２の実施形態は、立体映像の表示を開始するタイミングで視域を制御するものであった。立体映像の表示開始時に視域を設定したとしても、視聴者は必ずしも一定の位置に静止して視聴を続けるわけではなく、移動することもある。マニュアルトラッキングモードでは、視域が視聴者の位置に追従しないため、視聴者が移動すると映像を立体視できなくなることもある。そこで第３の実施形態は、立体映像を表示しているときにリモコン２０のトラッキングキー２８を視聴者が押下したタイミングで視域を制御するものである。
【００６６】
図９は、第３の実施形態に係る映像表示装置１００のコントローラ１０の処理動作の一例を示すフローチャートである。
【００６７】
まず、立体映像を表示中に視聴者がリモコン２０のトラッキングキー（信号生成手段）２８を押下すると、赤外線の視域調整信号が生成され、映像表示装置１００の受光部４に送信される。受信部が視域調整信号を受信する（ステップＳ３１のＹＥＳ）と、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ３２）。視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ３３）。そして、画像調整部１５は制御パラメータに応じて視差画像信号を調整し（ステップＳ３４）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。
【００６８】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル１に表示された視差画像をレンチキュラレンズ２を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。視域調整の指示とは、例えば視聴者が再度トラッキングキー２８を押下した場合や、第１および第２の実施形態で説明したように、３Ｄキー２７を押下した場合である。
【００６９】
このように、第３の実施形態では、視聴者がリモコン２０のトラッキングキー２８を押下したタイミングで視聴者の位置を受信し、視域を制御する。視聴者が視域設定のタイミングを指示できるため、立体映像を視聴中に視聴者が移動したときも、適切に視域を再設定できる。また、通常、視聴者は映像を見ながらリモコン２０を操作するため、リモコン２０からの視域調整信号を送信することにより、適切に視聴者の位置を検出できる。さらに、視域が再設定された後の視域は視聴者の位置には追従しない。そのため、液晶パネル１の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【００７０】
なお、必ずしもトラッキングキー２８がリモコン２０に設けられている必要はなく、映像表示装置１００がタブレット端末である場合などでは、映像表示装置１００にトラッキングキー２８に相当するボタン等（信号生成手段）が設けられていてもよいし、映像表示装置１００がタッチパネル機能を有する場合には、液晶パネル１にトラッキングキー２８を表示してもよい。
【００７１】
（第４の実施形態）
上述のように、視域を制御するためには、視聴者の位置を検出し、制御パラメータを算出し、画像を調整する必要がある。画像の調整にはそれほど時間はかからないが、視聴者の位置検出および制御パラメータの算出には時間がかかることがある。特に、図４を用いて説明したように、制御パラメータを算出するためには、予め定めた視域の中から最適な視域を探す必要がある。
【００７２】
そのため、第４の実施形態では、２次元映像を表示中も定期的に制御パラメータを算出しておき、２次元映像から立体映像に切り替わるタイミング（例えば図７のステップＳ１１）において、迅速に視域を設定できるようにするものである。
【００７３】
図１０は、第４の実施形態に係る映像表示装置１００ａの概略構成を示すブロック図である。図１０では、図２と共通する構成部分には同一の符号を付している。図１０の映像表示装置１００ａのコントローラ１０ａは、さらに、制御パラメータ保持部１６を有する。制御パラメータ保持部１６は、視域情報算出部１４が算出した制御パラメータを保持する。
【００７４】
図１１は、第４の実施形態に係る映像表示装置１００ａのコントローラ１０ａの処理動作の一例を示すフローチャートである。同図では、初め２次元映像が液晶パネル１に表示されているものとする。
【００７５】
２次元映像を表示中も、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ４１）。そして、視域情報算出部１４は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ４２）。この制御パラメータは制御パラメータ保持部１６に保持される（ステップＳ４３）。
【００７６】
ここで、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりして、コントローラ１０ａが立体映像の表示開始を検出すると、（ステップＳ４４のＹＥＳ）、画像調整部１５は制御パラメータ保持部１６に保持されている制御パラメータに応じて視差画像信号を調整し（ステップＳ４５）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。立体映像に切り替わってからの処理は画像調整（ステップＳ４５）のみなので、迅速に適切な視域が設定される。
【００７７】
一方、立体映像の表示に切り替わらず２次元映像の表示が続く場合（ステップＳ４４のＮＯ）、例えば一定の間隔でコントローラ１０ａはステップＳ４１〜Ｓ４３をバックグラウンドで繰り返し、制御パラメータ保持部１６に保持される制御パラメータを更新する。
【００７８】
このように、第４の実施形態では、立体映像を表示しない間でも制御パラメータを算出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【００７９】
（第５の実施形態）
第５の実施形態は、上述した第４の実施形態の変形例である。第４の実施形態では２次元映像を表示中に制御パラメータを算出して保持するものであったが、第５の実施形態では２次元映像表示中に視聴者の位置を検出して保持するものである。
【００８０】
図１２は、第５の実施形態に係る映像表示装置１００ｂの概略構成を示すブロック図である。図１２では、図２と共通する構成部分には同一の符号を付している。図１２の映像表示装置１０２のコントローラ１０ｂは、さらに、視聴者位置保持部１７を有する。視聴者位置保持部１７は、視聴者位置検出部１３が検出した視聴者位置を保持する。
【００８１】
図１３は、第５の実施形態に係る映像表示装置１００ｂのコントローラ１０ｂの処理動作の一例を示すフローチャートである。同図では、初め２次元映像を液晶パネル１に表示しているものとする。
【００８２】
２次元映像を表示中も、視聴者位置検出部１３は、カメラ３で撮影された映像を用いて、視聴者の位置を検出する（ステップＳ５１）。この視聴者位置は視聴者位置保持部１７に保持される（ステップＳ５２）。
【００８３】
ここで、視聴者がリモコン２０の３Ｄキー２７を押下したこと示す赤外線信号を受光部４が受信したり、映像信号が２次元映像信号から３次元映像信号に切り替わったりして、コントローラ１０ｂが立体映像の表示開始を検出すると、（ステップＳ５３のＹＥＳ）、視域情報算出部１４は、視聴者位置保持部１７に保持されている視聴者の位置に視域が設定されるよう、制御パラメータを算出する（ステップＳ５４）。
【００８４】
そして、画像調整部１５は算出された制御パラメータに応じて視差画像信号を調整し（ステップＳ５５）、調整された視差画像信号に対応する視差画像が液晶パネル１に表示される。立体映像に切り替わってからの処理は制御パラメータの算出（ステップＳ５４）および画像調整（ステップＳ５５）のみなので、立体映像の表示開始後に視聴者の位置を検出する場合と比べて、迅速に適切な視域が設定される。
【００８５】
一方、立体映像の表示に切り替わらず２次元映像の表示が続く場合（ステップＳ５４のＮＯ）、例えば一定の間隔でコントローラ１０ｂはステップＳ５１，Ｓ５２をバックグラウンドで繰り返し、視聴者位置保持部１７に保持される視聴者の位置を更新する。
【００８６】
このように、第５の実施形態では、立体映像を表示しない間でも視聴者の位置を検出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【００８７】
（第６の実施形態）
視聴者位置検出部１３は、常に視聴者の位置を検出できるとは限らない。例えば、カメラ３の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ３の撮影範囲外にある場合、視聴者の顔がカメラ３の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部１３が視聴者を認識できないこともある。この場合、視差情報算出部は視聴者の位置に基づいて制御パラメータを算出することができない。また、視域情報算出部１４の故障などにより制御パラメータを算出できないこともあり得る。
【００８８】
以下に説明する第６〜第８の実施形態は、制御パラメータを算出できない場合の処理動作に関するものである。
【００８９】
図１４は、第６の実施形態に係る映像表示装置１００ｃの概略構成を示すブロック図である。図１４では、図２と共通する構成部分には同一の符号を付している。図１４の映像表示装置１００ｃのコントローラ１０ｃは、さらに、制御情報保持部１８を有する。制御情報保持部１８は、所定の領域に視域が設定されるよう予め算出された制御パラメータを、いわゆるデフォルト値として、保持する。
【００９０】
所定の領域は、例えば液晶パネル１の正面であって、液晶パネル１と視聴者との距離が３Ｈ（Ｈは液晶パネル１の高さ）に設定される。この位置で視聴者が液晶パネル１を視聴することを念頭に置いて映像表示装置が設計されることが多いためである。あるいは、視聴者が通常視聴する領域を設定していてもよい。
【００９１】
図１５は、第６の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。
【００９２】
視域の制御を行うタイミングで、視域情報算出部１４が制御パラメータを算出できる場合（ステップＳ６１のＹＥＳ）、画像調整部１５は、算出された制御パラメータ（第１の制御パラメータ）に応じて、画像を調整する（ステップＳ６２）。ここで、視域の制御を行うタイミングとは、例えば図８のステップＳ１１、図９のステップＳ２４、図１０のステップＳ３１、オートトラッキングモードで視域制御するタイミングなどである。
【００９３】
一方、上記の理由などにより視域情報算出部１４が制御パラメータを算出できない場合（ステップＳ６１のＮＯ）、画像調整部１５は、制御情報保持部１８に保持されている制御パラメータ（第２の制御パラメータ）に応じて、視域を設定するための画像調整を行う（ステップＳ６３）。
【００９４】
このように、第６の実施形態では、所定の領域に視域を設定するための制御パラメータを予め制御情報保持部１８に保持しておく。そのため、視聴者をうまく検出できない場合など、制御パラメータを算出できない場合でも、視域を設定できる。特に、制御情報保持部１８に保持する制御パラメータを液晶パネル１の高さに基づいて設定したり、視聴者の通常の視聴位置に基づいて設定したりすることで、適切な視域が設定される。
【００９５】
（第７の実施形態）
第７の実施形態は、複数の制御パラメータを予め制御情報保持部１８に保持しておき、そのうちの１つをユーザ設定に応じて選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図１５とほぼ同様なので説明を省略する。
【００９６】
複数の制御パラメータの１つは、例えば家庭内で映像表示装置１００ｃを視聴することを念頭において液晶パネル１と視聴者との距離が３Ｈになる領域に視域を設定するための制御パラメータであり、他の１つは、例えば店頭に映像表示装置１００ｃを展示することを念頭に置いてこれより距離が遠い領域に視域を設定するための制御パラメータである。複数の制御パラメータのうちのいずれを使用するかを、予めユーザが設定しておく。
【００９７】
図１６は、第７の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。視域情報算出部１４が制御パラメータを算出できる場合の処理動作は、第６の実施形態と同様である（ステップＳ７１のＹＥＳ，Ｓ７２）。
【００９８】
一方、視域情報算出部１４が制御パラメータを算出できない場合（ステップＳ７１のＮＯ）、画像調整部１５は、ユーザ設定に応じて、制御情報保持部１８に保持されている複数の制御パラメータのうちの１つを選択する（ステップＳ７３）。そして、画像調整部１５は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う（ステップＳ７４）。
【００９９】
このように、第７の実施形態では、制御情報保持部１８に保持される複数の制御パラメータのうちの１つを選択するため、制御パラメータを算出できない場合でもユーザの設定に応じて適切に視域を設定できる。
【０１００】
（第８の実施形態）
第８の実施形態は、複数の制御パラメータを予め制御情報保持部１８に保持しておき、そのうちの１つを、表示されるコンテンツに応じて自動的に選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図１５とほぼ同様なので説明を省略する。
【０１０１】
図１７は、制御情報保持部１８に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図である。例えば、表示されるコンテンツのジャンルがアニメである場合、子供が視聴している可能性が高く、この場合液晶パネル１から離れていることが想定される。そのため、液晶パネル１から遠い位置に視域が設定されるような制御パラメータが保持される。また、ジャンルがスポーツである場合、エキサイトな内容を液晶パネル１に近づいて見ている可能性が高い。そのため、液晶パネル１から近い位置に視域が設定されるような制御パラメータが保持される。ジャンルがドラマや映画である場合、アニメとスポーツとの中間程度の位置に視域が設定されるような制御パラメータが保持される。
【０１０２】
あくまで図１７は一例であって、別のジャンルを設定したり、コンテンツ情報として視聴時刻等をさらに考慮したりしてもよい。
【０１０３】
図１８は、第８の実施形態に係る映像表示装置１００ｃのコントローラ１０ｃの処理動作の一例を示すフローチャートである。視域情報算出部１４が制御パラメータを算出できる場合の処理動作は、第６の実施形態と同様である（ステップＳ８１のＹＥＳ，Ｓ８２）。
【０１０４】
一方、視域情報算出部１４が視域情報を算出できない場合（ステップＳ８１のＮＯ）、チューナデコーダ１１は放送波に重畳されたデータ放送から電子番組表を取得し、これに基づいて液晶パネル１に表示されるコンテンツのコンテンツ情報を抽出する（ステップＳ８３）。あるいは、インターネット経由でコンテンツ情報を取得してもよい。
【０１０５】
そして、画像調整部１５は、コンテンツのジャンルに応じて、制御情報保持部１８に保持されている複数の制御パラメータのうちの１つを選択する（ステップＳ８４）。例えば、ジャンルがアニメである場合、画像調整部１５は視域を液晶パネル１の近くに設定するための制御パラメータを選択する（図１７）。そして、画像調整部１５は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う（ステップＳ８５）。
【０１０６】
このように、第８の実施形態では、コンテンツ情報ごとに予め定めた制御パラメータを制御情報保持部１８に保持しておくため、コンテンツに応じて自動的に適切に視域を設定できる。
【０１０７】
以上の各実施形態で説明したように、映像表示装置は視域を適切に設定できる。
【０１０８】
なお上述した各実施形態の映像表示装置１００では、レンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部として設けてもよい。また、図１９は、図２の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、視差画像をずらす処理を行わず、コントローラ１０’内に視域制御部１５’を設けて開口制御部２’を制御してもよい。この場合、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部との水平方向のずれ量等を制御パラメータとし、液晶パネル１に表示された視差画像の出力方向を制御することにより視域が制御される。図１９の映像表示装置を各実施形態に適用してもよい。
【０１０９】
上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【０１１０】
また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【０１１１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１１２】
１ 液晶パネル
２ レンチキュラレンズ
３ カメラ
４ 受光部
１０ コントローラ
１１ チューナデコーダ
１２ 視差画像変換部
１３ 視聴者位置検出部
１４ 視域情報算出部
１５ 画像調整部
１６ 制御パラメータ保持部
１７ 視聴者位置保持部
１８ 制御情報保持部
２０ リモコン
１００，１００ａ，１００ｂ，１００ｃ 映像表示装置
【特許請求の範囲】
【請求項１】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する視聴者位置検出部と、
２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する視域情報算出部と、
前記２次元映像の表示中に算出された制御パラメータを保持する保持部と、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する視域制御部と、を備える映像処理装置。
【請求項２】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する視聴者位置検出部と、
前記２次元映像の表示中に検出された視聴者の位置を保持する保持部と、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する視域情報算出部と、
前記制御パラメータに応じて前記視域を設定する視域制御部と、を備える映像処理装置。
【請求項３】
前記視域制御部は、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の表示位置を調整するか、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の出力方向を制御する請求項１または２のいずれかに記載の映像処理装置。
【請求項４】
前記複数の視差画像を表示する表示部と、
前記表示部に表示された複数の視差画像を所定の方向に出力する開口制御部と、を備える請求項１乃至３のいずれかに記載の映像処理装置。
【請求項５】
入力映像信号を復号する受信部と、
前記復号された入力映像信号に基づいて前記複数の視差画像を生成する視差画像変換部と、を備える請求項１乃至４のいずれかに記載の映像処理装置。
【請求項６】
前記受信部は、放送波を受信および選局し、これを復号する請求項５に記載の映像処理装置。
【請求項７】
前記視聴者の位置を検出するために所定の範囲を撮影するカメラを備える請求項１乃至６のいずれかに記載の映像処理装置。
【請求項８】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出するステップと、
２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出するステップと、
前記２次元映像の表示中に算出された制御パラメータを保持するステップと、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持された制御パラメータに応じて前記視域を設定するステップと、を備える映像処理方法。
【請求項９】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出するステップと、
前記２次元映像の表示中に検出された視聴者の位置を保持するステップと、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出するステップと、
前記制御パラメータに応じて前記視域を設定するステップと、を備える映像処理方法。
【請求項１０】
前記視域を設定するステップは、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の表示位置を調整するか、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の出力方向を制御する請求項８または９に記載の映像処理方法。
【請求項１１】
入力映像信号を復号するステップと、
前記復号された入力映像信号に基づいて前記複数の視差画像を生成するステップと、を備える請求項８乃至１０のいずれかに記載の映像処理方法。
【請求項１２】
前記復号するステップは、放送波を受信および選局し、これを復号する請求項１１に記載の映像処理方法。
【請求項１】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する視聴者位置検出部と、
２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する視域情報算出部と、
前記２次元映像の表示中に算出された制御パラメータを保持する保持部と、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された制御パラメータに応じて前記視域を設定する視域制御部と、を備える映像処理装置。
【請求項２】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出する視聴者位置検出部と、
前記２次元映像の表示中に検出された視聴者の位置を保持する保持部と、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持部に保持された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出する視域情報算出部と、
前記制御パラメータに応じて前記視域を設定する視域制御部と、を備える映像処理装置。
【請求項３】
前記視域制御部は、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の表示位置を調整するか、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の出力方向を制御する請求項１または２のいずれかに記載の映像処理装置。
【請求項４】
前記複数の視差画像を表示する表示部と、
前記表示部に表示された複数の視差画像を所定の方向に出力する開口制御部と、を備える請求項１乃至３のいずれかに記載の映像処理装置。
【請求項５】
入力映像信号を復号する受信部と、
前記復号された入力映像信号に基づいて前記複数の視差画像を生成する視差画像変換部と、を備える請求項１乃至４のいずれかに記載の映像処理装置。
【請求項６】
前記受信部は、放送波を受信および選局し、これを復号する請求項５に記載の映像処理装置。
【請求項７】
前記視聴者の位置を検出するために所定の範囲を撮影するカメラを備える請求項１乃至６のいずれかに記載の映像処理装置。
【請求項８】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出するステップと、
２次元映像の表示中に、前記視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出するステップと、
前記２次元映像の表示中に算出された制御パラメータを保持するステップと、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持された制御パラメータに応じて前記視域を設定するステップと、を備える映像処理方法。
【請求項９】
２次元映像の表示中に、カメラで撮影された映像を用いて視聴者の位置を検出するステップと、
前記２次元映像の表示中に検出された視聴者の位置を保持するステップと、
２次元映像の表示から立体映像の表示への切替に同期して、前記保持された視聴者の位置に応じた領域に、表示部に表示される複数の視差画像を立体的に見ることが可能な視域が設定されるよう、制御パラメータを算出するステップと、
前記制御パラメータに応じて前記視域を設定するステップと、を備える映像処理方法。
【請求項１０】
前記視域を設定するステップは、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の表示位置を調整するか、
前記制御パラメータに応じて前記表示部に表示される前記複数の視差画像の出力方向を制御する請求項８または９に記載の映像処理方法。
【請求項１１】
入力映像信号を復号するステップと、
前記復号された入力映像信号に基づいて前記複数の視差画像を生成するステップと、を備える請求項８乃至１０のいずれかに記載の映像処理方法。
【請求項１２】
前記復号するステップは、放送波を受信および選局し、これを復号する請求項１１に記載の映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−５０６４７（Ｐ２０１３−５０６４７Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９５９２（Ｐ２０１１−１８９５９２）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１５６１１７号（Ｐ５１５６１１７）
【特許公報発行日】平成２５年３月６日（２０１３．３．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１５６１１７号（Ｐ５１５６１１７）
【特許公報発行日】平成２５年３月６日（２０１３．３．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]