映像処理装置および映像処理方法
【課題】視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【解決手段】視聴者位置検出手段と、表示手段と、視域制御手段と、を備える映像処理装置が提供される。前記視聴者位置検出手段は、撮影された映像に基づいて視聴者の位置を検出する。前記表示手段は、複数の視差画像と、設定画面と、を切り替えて表示可能である。前記視域制御手段は、第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する。前記視域制御手段は、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する。前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である。
【解決手段】視聴者位置検出手段と、表示手段と、視域制御手段と、を備える映像処理装置が提供される。前記視聴者位置検出手段は、撮影された映像に基づいて視聴者の位置を検出する。前記表示手段は、複数の視差画像と、設定画面と、を切り替えて表示可能である。前記視域制御手段は、第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する。前記視域制御手段は、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する。前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【0002】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置(いわゆる裸眼3Dテレビ)が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。
視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【0003】
しかしながら、裸眼3Dテレビでは、視聴者の位置によっては、映像が立体的に見えないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−164329公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、視聴者位置検出手段と、表示手段と、視域制御手段と、を備える映像処理装置が提供される。前記視聴者位置検出手段は、撮影された映像に基づいて視聴者の位置を検出する。前記表示手段は、複数の視差画像と、設定画面と、を切り替えて表示可能である。前記視域制御手段は、第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する。前記視域制御手段は、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する。前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である。
【図面の簡単な説明】
【0007】
【図1】視域制御機能を有する映像表示装置100の外観図。
【図2】映像表示装置100の概略構成を示すブロック図。
【図3】液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図。
【図4】視域情報を算出する手法の一例を示す図。
【図5】映像表示装置100に信号を送信するリモコン20の一例を示す図。
【図6】視域制御モードを設定するためのOSDの一例を示す図。
【図7】第1の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図8】第2の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図9】第3の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図10】第4の実施形態に係る映像表示装置100aの概略構成を示すブロック図。
【図11】第4の実施形態に係る映像表示装置100aのコントローラ10aの処理動作の一例を示すフローチャート。
【図12】第5の実施形態に係る映像表示装置100bの概略構成を示すブロック図。
【図13】第5の実施形態に係る映像表示装置100bのコントローラ10bの処理動作の一例を示すフローチャート。
【図14】第6の実施形態に係る映像表示装置100cの概略構成を示すブロック図。
【図15】第6の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図16】第7の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図17】制御情報保持部18に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図。
【図18】第8の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図19】図2の変形例である映像表示装置100’の概略構成を示すブロック図。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照しながら具体的に説明する。まずは、視域制御機能の概要について説明する。
【0009】
図1は、視域制御機能を有する映像表示装置100の外観図であり、図2は、その概略構成を示すブロック図である。映像表示装置100は、液晶パネル1と、レンチキュラレンズ2と、カメラ3と、受光部4と、コントローラ10とを備えている。
【0010】
液晶パネル(表示部)1は、例えば55インチサイズのパネルであり、水平方向に11520(=1280*9)個、垂直方向に720個の画素が配置される。また、各画素内には、3つのサブピクセル、すなわち、Rサブピクセル、GサブピクセルおよびBサブピクセルが垂直方向に形成されている。液晶パネル1には、背面に設けられるバックライト装置(不図示)から光が照射される。各画素はコントローラ10から供給される視差画像信号(後述)に応じた輝度の光を透過させる。
【0011】
レンチキュラレンズ(開口制御部)2は液晶パネル1の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル1の水平方向画素数の1/9である。そして、水平方向に配置される9個の画素につき1つの凸部が対応するように、レンチキュラレンズ2は液晶パネル1の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【0012】
本実施形態の液晶パネル1は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。
【0013】
以下の説明では、レンチキュラレンズ2の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、液晶パネル1の水平方向に沿って並ぶ9つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル1の前方から液晶パネル1を見たときに映像を立体視可能な領域をいう。
【0014】
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【0015】
なお、液晶パネル1は各凸部に対応する9個の画素に同一の画像を表示して、2次元画像を表示することもできる。
【0016】
また、本実施形態では、レンチキュラレンズ2の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する9個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【0017】
図3は、液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル1を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
【0018】
実際には、レンチキュラレンズ2は、液晶パネル1に高精度に位置合わせをして貼り付けられるため、液晶パネル1とレンチキュラレンズ2との相対的な位置を物理的に変更することは困難である。
【0019】
そこで、本実施形態では、液晶パネル1の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、液晶パネル1とレンチキュラレンズ2との相対的な位置関係を変更し、これにより、視域の調整を行う。
【0020】
例えば、各凸部に対応する9個の画素に第1〜第9視差画像をそれぞれ表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【0021】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は液晶パネル1に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル1から遠ざかる方向に移動する。
【0022】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル1に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図2のコントローラ10により制御される。
【0023】
図1に戻り、カメラ3は、液晶パネル1の下部中央付近に、所定の仰角で取り付けられ、液晶パネル1の前方の所定の範囲を撮影する。撮影された映像はコントローラ10に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ3は、動画像と静止画像のどちらを撮影してもよい。
【0024】
受光部4は、例えば液晶パネル1の下部の左側に設けられる。そして、受光部4は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか2次元映像を表示する、立体映像を表示する場合に多視差方式および2視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【0025】
次に、コントローラ10の構成要素の詳細について説明する。図2に示すように、コントローラ10は、チューナデコーダ11と、視差画像変換部12と、視聴者位置検出部13と、視域情報算出部14と、画像調整部15とを有する。コントローラ10は、例えば1つのIC(Integrated Circuit)として実装され、液晶パネル1の裏側に配置される。
もちろん、コントローラ10の一部をソフトウェアで実装してもよい。
【0026】
チューナデコーダ(受信部)11は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表(EPG)等のデータ放送の信号が重畳されている場合、チューナデコーダ11はこれを抽出する。あるいは、チューナデコーダ11は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部12に供給される。なお、映像表示装置100が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ11に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【0027】
チューナデコーダ11が受信する映像信号は、2次元の映像信号であってもよいし、フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で左目用および右目用の画像を含む3次元の映像信号であってもよい。また、映像信号は3視差以上の画像含む3次元の映像信号であってもよい。
【0028】
視差画像変換部12は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部15に供給する。視差画像変換部12は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が2次元の映像信号であるか、3次元の映像信号であるか、に応じて、視差画像変換部12の処理内容が異なる。
【0029】
2視差方式を採用する場合、視差画像変換部12は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【0030】
2視差方式を採用し、かつ、左目用および右目用の画像を含む3次元映像信号が入力された場合、視差画像変換部12は液晶パネル1に表示可能な形式の左目用および右目用視差画像信号を生成する。また、3つ以上の画像を含む3次元映像信号が入力される場合、例えばそのうちの任意の2つを用いて、視差画像変換部12は左目用および右目用視差画像信号を生成する。
【0031】
これに対し、2視差方式を採用し、かつ、視差情報を含まない2次元の映像信号が入力された場合、視差画像変換部12は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル1に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部12は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【0032】
一方、多視差方式を採用する場合、視差画像変換部12は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。より具体的には以下のようにする。
【0033】
多視差方式を採用し、かつ、2次元の映像信号または8視差以下の画像を含む3次元の映像信号が入力された場合、視差画像変換部12は、2次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第1〜第9視差画像信号を生成する。
【0034】
多視差方式を採用し、かつ、9視差の画像を含む3次元の映像信号が入力された場合、視差画像変換部12はその映像信号を用いて第1〜第9視差画像信号を生成する。
【0035】
視聴者位置検出部13はカメラ3により撮影された映像を用いて視聴者の位置を検出し、その位置情報を視域情報算出部14に供給する。
【0036】
視聴者の位置情報は、例えば液晶パネル1の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(液晶パネル1に対して直交する方向)上の位置として表される。より具体的には、視聴者位置検出部13は、まず、カメラ3により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者位置検出部13は映像における顔の位置からX軸およびY軸上の位置を検出し、顔の大きさからZ軸上の位置を検出する。視聴者が複数いる場合、視聴者位置検出部13は、予め定めた数、例えば10人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば液晶パネル1から近い、すなわち、Z軸上の位置が小さい順に10人の視聴者の位置を検出する。
【0037】
なお、位置検出モジュール13が視聴者の位置を検出する手法に特に制限はなく、カメラ3は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
【0038】
視域情報算出部14は、検出された視聴者の位置情報に応じて適切に視域が設定されるよう、制御パラメータ(例えば、図3で説明した視差画像をずらす量)を算出し、画像調整部15に供給する。
【0039】
図4は、視域情報を算出する手法の一例を示す図である。視域情報算出部14は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部14は、各視域について、視域と検出された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図4の例では、予め定めた図4(a)〜図4(e)の5つの視域(網掛けの領域)のパターンのうち、視域を液晶パネル1に向かって左側に設定する図4(b)において、視聴者20と視域とが重なる面積が最大となる。よって、視域情報算出部14は図4(b)の視域のパターンを適切な視域と判断する。この場合、図4(b)のパターンで視差画像を表示するための制御パラメータが図2の画像調整部15に供給される。
【0040】
より詳しくは、所望の視域を設定するために、視域情報算出部14は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いてもよい。視域情報算出部14は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つけることができる。
【0041】
画像調整部(視域制御部)15は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル1に供給する。液晶パネル1は調整された視差画像信号に対応する画像を表示する。
【0042】
常時視聴者の位置を自動的に検出して上述したような視域を制御することにより、リアルタイムで視聴者にとって適切な視域が設定される。しかしながら、視聴者が静止して映像を見ている場合でも、映像表示装置100の前方で他人が移動すると、移動する人に合わせて視域が移動してしまうことがある。この場合、静止して映像を見ている視聴者にとっては映像が見づらくなる。
【0043】
そこで、視域制御モードとして、常時視聴者の位置を検出して自動的に視域を制御する「オートトラッキングモード」、および、特定のタイミング(後述)で視域を制御する「マニュアルトラッキングモード」のいずれかを視聴者が選択できるようにする。この選択は、例えばリモコンを用いて行うことができる。
【0044】
図5は、映像表示装置100に信号を送信するリモコン(遠隔操作装置)20の一例を示す図である。リモコン20には、電源キー21、音量調整キー22、チャンネル選択キー23、メニューキー24、決定キー25、カーソルキー26、3Dキー27、トラッキングキー28等が設けられる。例えば、3Dキー27が押下されると、入力映像信号が2次元映像信号であるか3次元映像信号であるかに関わらず、液晶パネル1に立体映像を表示することを指示する信号が生成される。
【0045】
メニューキー24、カーソルキー26および決定キー25等を操作して視域制御モード設定メニューを選択すると、視域制御モードを設定するためのOSD(On Screen Display)が表示される。
【0046】
図6は、視域制御モードを設定するためのOSDの一例を示す図である。図6(a)は、オートトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行います。」という説明が表示される。この状態で決定キー25を押下するとオートトラッキングモードに設定される。一方、図6(b)は、マニュアルトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行いません。」という説明が表示される。この状態で決定キー25を押下するとマニュアルトラッキングモードに設定される。
【0047】
なお、必ずしもリモコン20を用いる必要はなく、これらと同等のボタンが、例えば映像表示装置100の受光部4やカメラ3に隣接して設けられていてもよい。また、映像表示装置100がタブレット端末である場合など、タッチパネル機能を有する場合には、液晶パネル1にボタンを表示してユーザが設定できるようにしてもよい。
【0048】
以下に説明する第1〜第3の実施形態はマニュアルトラッキングモードに関する。マニュアルトラッキングモードは特定のタイミングで視域を制御するものであるが、第1および第2の実施形態では、そのタイミングが立体映像の表示を開始するときである例を示し、第3の実施形態では、そのタイミングが立体映像の表示中にリモコン20のトラッキングキー28が押下されたときである例を示す。なお、2視差方式および多視差方式のいずれを採用する場合であっても以下の実施形態を適用できる。
【0049】
(第1の実施形態)
図7は、第1の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。以下では、予めポジションキャプチャモードに設定されていることを念頭に置いている。
【0050】
まず、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりすると、視域情報算出部14は立体映像の表示開始を検出する(ステップS11のYES)。立体映像の表示開始に応じて、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS12)。視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS13)。そして、画像調整部15は制御パラメータに応じて視差画像信号を調整し(ステップS14)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。
【0051】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル1に表示された視差画像をレンチキュラレンズ2を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【0052】
なお、図7では立体映像の表示開始に応じて視聴者の位置を検出する(ステップS12)例を示しているが、立体映像の表示開始に同期して視域が設定されればよく、例えば常時視聴者の位置を検出していて、立体映像の表示開始に応じて制御パラメータを算出してもよいし、常時視聴者の位置検出および制御パラメータの算出を行っていて、立体映像の表示開始に応じて画像調整をしてもよい。
【0053】
また、カメラ3の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ3の撮影範囲外にある場合、視聴者の顔がカメラ3の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部13が視聴者を認識できないこともある。この場合には、立体映像の表示開始を検出する、例えば3〜4秒前に視聴者が認識された履歴があれば、そのときの視聴者の位置に視域を設定してもよい。履歴がなければ、視聴者の位置を認識できない旨の警告を表示してもよい。
【0054】
さらに、視聴者位置検出部13が視聴者の位置を検出した際、視聴者が液晶パネル1に接近しすぎている場合、例えば視聴者と液晶パネル1との距離が3H(Hは液晶パネル1の高さ)未満である場合、立体感が得られにくくなるため、画面から離れることを促す旨の警告を表示してもよい。
【0055】
このように、第1の実施形態では、立体映像の表示開始に同期して視聴者の位置に視域が設定されるよう視域の制御を行い、その後の視域は視聴者の位置には追従しない。そのため、液晶パネル1の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【0056】
また、通常、視聴者は映像を見ながらリモコン20を操作するため、リモコン20からの赤外線信号を用いて立体映像の表示開始を検出することにより、適切に視聴者の位置を検出できる。
【0057】
(第2の実施形態)
上述した第1の実施形態は、立体映像の表示開始時に、実際の視聴者の位置に視域を設定するものであった。これに対し、第2の実施形態は、前回立体映像を表示していたときの視域を記憶しておき、次に立体映像の表示を開始するときに、記憶された視域を再度設定するものである。以下の実施形態では、第1の実施形態との相違点を中心に説明する。
【0058】
図8は、第2の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。
【0059】
立体映像の表示を終了する際(ステップS21)、視域情報算出部14はその時の制御パラメータを記憶する(ステップS22)。立体映像の表示を終了とは、例えば映像表示装置100の電源をオフにするとき、リモコン20の3Dキー27が押下されて立体表示から2次元表示に切り替えられたとき、映像信号が3次元映像信号から2次元映像信号に切り替わったとき、等である。また、このときに記憶される制御パラメータは、オートトラッキングモードにより算出されたものでもよいし、第1の実施形態のようにマニュアルトラッキングモードにより算出されたものでもよい。また、別の手法で算出されたものでもよい。
【0060】
その後、視域情報算出部14が立体映像の表示開始を検出すると(ステップS23のYES)、ステップS22で記憶された制御パラメータに応じて、画像調整部15は視差画像信号を調整する(ステップS24)。これにより、視聴者の位置に合わせて視域が設定される。設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【0061】
このように、第2の実施形態では、立体映像の表示開始時に、前回の立体映像の表示終了時の視域を設定する。そのため、再度立体映像の表示を開始する時に、視聴者の位置を検出したり制御パラメータを改めて算出したりする必要がなく、迅速に視域を設定できる。
【0062】
視聴者は、ソファ等が置かれた一定の位置から、映像表示装置100を見ることが多いと考えられる。したがって、視聴者の位置を検出せずに前回の立体映像の表示終了時の視域を設定したとしても、多くの場合、視聴者の位置に視域を設定できる。
【0063】
また、本実施形態は、例えば写真のスライドショー表示のように、2次元映像信号と3次元映像信号が混在して高い頻度で切り替わる映像信号を再生する場合に、特に有用である。すなわち、2次元映像信号から3次元映像信号へ切り替わる度に視域が新たに設定されると、毎回視域が異なっていたり視域の設定に時間がかかったりするが、本実施形態では、視域情報算出部14に記憶された制御パラメータを用いるため、迅速に一定の視域を設定できる。
【0064】
なお、立体映像の表示開始時に、第1の実施形態で説明したように視聴者の位置を検出して視域を設定するか、第2の実施形態で説明したように前回立体映像を表示していた時の視域を設定するか、を視聴者が選択できるようにしてもよい。
【0065】
(第3の実施形態)
上述した第1および第2の実施形態は、立体映像の表示を開始するタイミングで視域を制御するものであった。立体映像の表示開始時に視域を設定したとしても、視聴者は必ずしも一定の位置に静止して視聴を続けるわけではなく、移動することもある。マニュアルトラッキングモードでは、視域が視聴者の位置に追従しないため、視聴者が移動すると映像を立体視できなくなることもある。そこで第3の実施形態は、立体映像を表示しているときにリモコン20のトラッキングキー28を視聴者が押下したタイミングで視域を制御するものである。
【0066】
図9は、第3の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。
【0067】
まず、立体映像を表示中に視聴者がリモコン20のトラッキングキー(信号生成手段)28を押下すると、赤外線の視域調整信号が生成され、映像表示装置100の受光部4に送信される。受信部が視域調整信号を受信する(ステップS31のYES)と、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS32)。視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS33)。そして、画像調整部15は制御パラメータに応じて視差画像信号を調整し(ステップS34)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。
【0068】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル1に表示された視差画像をレンチキュラレンズ2を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
視域調整の指示とは、例えば視聴者が再度トラッキングキー28を押下した場合や、第1および第2の実施形態で説明したように、3Dキー27を押下した場合である。
【0069】
このように、第3の実施形態では、視聴者がリモコン20のトラッキングキー28を押下したタイミングで視聴者の位置を受信し、視域を制御する。視聴者が視域設定のタイミングを指示できるため、立体映像を視聴中に視聴者が移動したときも、適切に視域を再設定できる。また、通常、視聴者は映像を見ながらリモコン20を操作するため、リモコン20からの視域調整信号を送信することにより、適切に視聴者の位置を検出できる。さらに、視域が再設定された後の視域は視聴者の位置には追従しない。そのため、液晶パネル1の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【0070】
なお、必ずしもトラッキングキー28がリモコン20に設けられている必要はなく、映像表示装置100がタブレット端末である場合などでは、映像表示装置100にトラッキングキー28に相当するボタン等(信号生成手段)が設けられていてもよいし、映像表示装置100がタッチパネル機能を有する場合には、液晶パネル1にトラッキングキー28を表示してもよい。
【0071】
(第4の実施形態)
上述のように、視域を制御するためには、視聴者の位置を検出し、制御パラメータを算出し、画像を調整する必要がある。画像の調整にはそれほど時間はかからないが、視聴者の位置検出および制御パラメータの算出には時間がかかることがある。特に、図4を用いて説明したように、制御パラメータを算出するためには、予め定めた視域の中から最適な視域を探す必要がある。
【0072】
そのため、第4の実施形態では、2次元映像を表示中も定期的に制御パラメータを算出しておき、2次元映像から立体映像に切り替わるタイミング(例えば図7のステップS11)において、迅速に視域を設定できるようにするものである。
【0073】
図10は、第4の実施形態に係る映像表示装置100aの概略構成を示すブロック図である。図10では、図2と共通する構成部分には同一の符号を付している。図10の映像表示装置100aのコントローラ10aは、さらに、制御パラメータ保持部16を有する。制御パラメータ保持部16は、視域情報算出部14が算出した制御パラメータを保持する。
【0074】
図11は、第4の実施形態に係る映像表示装置100aのコントローラ10aの処理動作の一例を示すフローチャートである。同図では、初め2次元映像が液晶パネル1に表示されているものとする。
【0075】
2次元映像を表示中も、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS41)。そして、視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS42)。この制御パラメータは制御パラメータ保持部16に保持される(ステップS43)。
【0076】
ここで、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりして、コントローラ10aが立体映像の表示開始を検出すると、(ステップS44のYES)、画像調整部15は制御パラメータ保持部16に保持されている制御パラメータに応じて視差画像信号を調整し(ステップS45)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。立体映像に切り替わってからの処理は画像調整(ステップS45)のみなので、迅速に適切な視域が設定される。
【0077】
一方、立体映像の表示に切り替わらず2次元映像の表示が続く場合(ステップS44のNO)、例えば一定の間隔でコントローラ10aはステップS41〜S43をバックグラウンドで繰り返し、制御パラメータ保持部16に保持される制御パラメータを更新する。
【0078】
このように、第4の実施形態では、立体映像を表示しない間でも制御パラメータを算出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【0079】
(第5の実施形態)
第5の実施形態は、上述した第4の実施形態の変形例である。第4の実施形態では2次元映像を表示中に制御パラメータを算出して保持するものであったが、第5の実施形態では2次元映像表示中に視聴者の位置を検出して保持するものである。
【0080】
図12は、第5の実施形態に係る映像表示装置100bの概略構成を示すブロック図である。図12では、図2と共通する構成部分には同一の符号を付している。図12の映像表示装置102のコントローラ10bは、さらに、視聴者位置保持部17を有する。視聴者位置保持部17は、視聴者位置検出部13が検出した視聴者位置を保持する。
【0081】
図13は、第5の実施形態に係る映像表示装置100bのコントローラ10bの処理動作の一例を示すフローチャートである。同図では、初め2次元映像を液晶パネル1に表示しているものとする。
【0082】
2次元映像を表示中も、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS51)。この視聴者位置は視聴者位置保持部17に保持される(ステップS52)。
【0083】
ここで、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりして、コントローラ10bが立体映像の表示開始を検出すると、(ステップS53のYES)、視域情報算出部14は、視聴者位置保持部17に保持されている視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS54)。
【0084】
そして、画像調整部15は算出された制御パラメータに応じて視差画像信号を調整し(ステップS55)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。立体映像に切り替わってからの処理は制御パラメータの算出(ステップS54)および画像調整(ステップS55)のみなので、立体映像の表示開始後に視聴者の位置を検出する場合と比べて、迅速に適切な視域が設定される。
【0085】
一方、立体映像の表示に切り替わらず2次元映像の表示が続く場合(ステップS54のNO)、例えば一定の間隔でコントローラ10bはステップS51,S52をバックグラウンドで繰り返し、視聴者位置保持部17に保持される視聴者の位置を更新する。
【0086】
このように、第5の実施形態では、立体映像を表示しない間でも視聴者の位置を検出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【0087】
(第6の実施形態)
視聴者位置検出部13は、常に視聴者の位置を検出できるとは限らない。例えば、カメラ3の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ3の撮影範囲外にある場合、視聴者の顔がカメラ3の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部13が視聴者を認識できないこともある。この場合、視差情報算出部は視聴者の位置に基づいて制御パラメータを算出することができない。また、視域情報算出部14の故障などにより制御パラメータを算出できないこともあり得る。
【0088】
以下に説明する第6〜第8の実施形態は、制御パラメータを算出できない場合の処理動作に関するものである。
【0089】
図14は、第6の実施形態に係る映像表示装置100cの概略構成を示すブロック図である。図14では、図2と共通する構成部分には同一の符号を付している。図14の映像表示装置100cのコントローラ10cは、さらに、制御情報保持部18を有する。制御情報保持部18は、所定の領域に視域が設定されるよう予め算出された制御パラメータを、いわゆるデフォルト値として、保持する。
【0090】
所定の領域は、例えば液晶パネル1の正面であって、液晶パネル1と視聴者との距離が3H(Hは液晶パネル1の高さ)に設定される。この位置で視聴者が液晶パネル1を視聴することを念頭に置いて映像表示装置が設計されることが多いためである。あるいは、視聴者が通常視聴する領域を設定していてもよい。
【0091】
図15は、第6の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。
【0092】
視域の制御を行うタイミングで、視域情報算出部14が制御パラメータを算出できる場合(ステップS61のYES)、画像調整部15は、算出された制御パラメータ(第1の制御パラメータ)に応じて、画像を調整する(ステップS62)。ここで、視域の制御を行うタイミングとは、例えば図8のステップS11、図9のステップS24、図10のステップS31、オートトラッキングモードで視域制御するタイミングなどである。
【0093】
一方、上記の理由などにより視域情報算出部14が制御パラメータを算出できない場合(ステップS61のNO)、画像調整部15は、制御情報保持部18に保持されている制御パラメータ(第2の制御パラメータ)に応じて、視域を設定するための画像調整を行う(ステップS63)。
【0094】
このように、第6の実施形態では、所定の領域に視域を設定するための制御パラメータを予め制御情報保持部18に保持しておく。そのため、視聴者をうまく検出できない場合など、制御パラメータを算出できない場合でも、視域を設定できる。特に、制御情報保持部18に保持する制御パラメータを液晶パネル1の高さに基づいて設定したり、視聴者の通常の視聴位置に基づいて設定したりすることで、適切な視域が設定される。
【0095】
(第7の実施形態)
第7の実施形態は、複数の制御パラメータを予め制御情報保持部18に保持しておき、そのうちの1つをユーザ設定に応じて選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図15とほぼ同様なので説明を省略する。
【0096】
複数の制御パラメータの1つは、例えば家庭内で映像表示装置100cを視聴することを念頭において液晶パネル1と視聴者との距離が3Hになる領域に視域を設定するための制御パラメータであり、他の1つは、例えば店頭に映像表示装置100cを展示することを念頭に置いてこれより距離が遠い領域に視域を設定するための制御パラメータである。
複数の制御パラメータのうちのいずれを使用するかを、予めユーザが設定しておく。
【0097】
図16は、第7の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。視域情報算出部14が制御パラメータを算出できる場合の処理動作は、第6の実施形態と同様である(ステップS71のYES,S72)。
【0098】
一方、視域情報算出部14が制御パラメータを算出できない場合(ステップS71のNO)、画像調整部15は、ユーザ設定に応じて、制御情報保持部18に保持されている複数の制御パラメータのうちの1つを選択する(ステップS73)。そして、画像調整部15は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う(ステップS74)。
【0099】
このように、第7の実施形態では、制御情報保持部18に保持される複数の制御パラメータのうちの1つを選択するため、制御パラメータを算出できない場合でもユーザの設定に応じて適切に視域を設定できる。
【0100】
(第8の実施形態)
第8の実施形態は、複数の制御パラメータを予め制御情報保持部18に保持しておき、そのうちの1つを、表示されるコンテンツに応じて自動的に選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図15とほぼ同様なので説明を省略する。
【0101】
図17は、制御情報保持部18に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図である。例えば、表示されるコンテンツのジャンルがアニメである場合、子供が視聴している可能性が高く、この場合液晶パネル1から離れていることが想定される。そのため、液晶パネル1から遠い位置に視域が設定されるような制御パラメータが保持される。また、ジャンルがスポーツである場合、エキサイトな内容を液晶パネル1に近づいて見ている可能性が高い。そのため、液晶パネル1から近い位置に視域が設定されるような制御パラメータが保持される。ジャンルがドラマや映画である場合、アニメとスポーツとの中間程度の位置に視域が設定されるような制御パラメータが保持される。
【0102】
あくまで図17は一例であって、別のジャンルを設定したり、コンテンツ情報として視聴時刻等をさらに考慮したりしてもよい。
【0103】
図18は、第8の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。視域情報算出部14が制御パラメータを算出できる場合の処理動作は、第6の実施形態と同様である(ステップS81のYES,S82)。
【0104】
一方、視域情報算出部14が視域情報を算出できない場合(ステップS81のNO)、チューナデコーダ11は放送波に重畳されたデータ放送から電子番組表を取得し、これに基づいて液晶パネル1に表示されるコンテンツのコンテンツ情報を抽出する(ステップS83)。あるいは、インターネット経由でコンテンツ情報を取得してもよい。
【0105】
そして、画像調整部15は、コンテンツのジャンルに応じて、制御情報保持部18に保持されている複数の制御パラメータのうちの1つを選択する(ステップS84)。例えば、ジャンルがアニメである場合、画像調整部15は視域を液晶パネル1の近くに設定するための制御パラメータを選択する(図17)。そして、画像調整部15は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う(ステップS85)。
【0106】
このように、第8の実施形態では、コンテンツ情報ごとに予め定めた制御パラメータを制御情報保持部18に保持しておくため、コンテンツに応じて自動的に適切に視域を設定できる。
【0107】
以上の各実施形態で説明したように、映像表示装置は視域を適切に設定できる。
【0108】
なお上述した各実施形態の映像表示装置100では、レンチキュラレンズ2を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ2に代えてパララックスバリアを開口制御部として設けてもよい。また、図19は、図2の変形例である映像表示装置100’の概略構成を示すブロック図である。同図に示すように、視差画像をずらす処理を行わず、コントローラ10’内に視域制御部15’を設けて開口制御部2’を制御してもよい。この場合、液晶パネル1と開口制御部2’との距離、液晶パネル1と開口制御部との水平方向のずれ量等を制御パラメータとし、液晶パネル1に表示された視差画像の出力方向を制御することにより視域が制御される。図19の映像表示装置を各実施形態に適用してもよい。
【0109】
上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0110】
また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0111】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0112】
1 液晶パネル
2 レンチキュラレンズ
3 カメラ
4 受光部
10 コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者位置検出部
14 視域情報算出部
15 画像調整部
16 制御パラメータ保持部
17 視聴者位置保持部
18 制御情報保持部
20 リモコン
100,100a,100b,100c 映像表示装置
【技術分野】
【0001】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【0002】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置(いわゆる裸眼3Dテレビ)が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。
視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【0003】
しかしながら、裸眼3Dテレビでは、視聴者の位置によっては、映像が立体的に見えないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−164329公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
視聴者の位置に応じて適切に立体映像を表示することが可能な映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、視聴者位置検出手段と、表示手段と、視域制御手段と、を備える映像処理装置が提供される。前記視聴者位置検出手段は、撮影された映像に基づいて視聴者の位置を検出する。前記表示手段は、複数の視差画像と、設定画面と、を切り替えて表示可能である。前記視域制御手段は、第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する。前記視域制御手段は、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する。前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である。
【図面の簡単な説明】
【0007】
【図1】視域制御機能を有する映像表示装置100の外観図。
【図2】映像表示装置100の概略構成を示すブロック図。
【図3】液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図。
【図4】視域情報を算出する手法の一例を示す図。
【図5】映像表示装置100に信号を送信するリモコン20の一例を示す図。
【図6】視域制御モードを設定するためのOSDの一例を示す図。
【図7】第1の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図8】第2の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図9】第3の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャート。
【図10】第4の実施形態に係る映像表示装置100aの概略構成を示すブロック図。
【図11】第4の実施形態に係る映像表示装置100aのコントローラ10aの処理動作の一例を示すフローチャート。
【図12】第5の実施形態に係る映像表示装置100bの概略構成を示すブロック図。
【図13】第5の実施形態に係る映像表示装置100bのコントローラ10bの処理動作の一例を示すフローチャート。
【図14】第6の実施形態に係る映像表示装置100cの概略構成を示すブロック図。
【図15】第6の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図16】第7の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図17】制御情報保持部18に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図。
【図18】第8の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャート。
【図19】図2の変形例である映像表示装置100’の概略構成を示すブロック図。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照しながら具体的に説明する。まずは、視域制御機能の概要について説明する。
【0009】
図1は、視域制御機能を有する映像表示装置100の外観図であり、図2は、その概略構成を示すブロック図である。映像表示装置100は、液晶パネル1と、レンチキュラレンズ2と、カメラ3と、受光部4と、コントローラ10とを備えている。
【0010】
液晶パネル(表示部)1は、例えば55インチサイズのパネルであり、水平方向に11520(=1280*9)個、垂直方向に720個の画素が配置される。また、各画素内には、3つのサブピクセル、すなわち、Rサブピクセル、GサブピクセルおよびBサブピクセルが垂直方向に形成されている。液晶パネル1には、背面に設けられるバックライト装置(不図示)から光が照射される。各画素はコントローラ10から供給される視差画像信号(後述)に応じた輝度の光を透過させる。
【0011】
レンチキュラレンズ(開口制御部)2は液晶パネル1の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル1の水平方向画素数の1/9である。そして、水平方向に配置される9個の画素につき1つの凸部が対応するように、レンチキュラレンズ2は液晶パネル1の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【0012】
本実施形態の液晶パネル1は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。
【0013】
以下の説明では、レンチキュラレンズ2の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、液晶パネル1の水平方向に沿って並ぶ9つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル1の前方から液晶パネル1を見たときに映像を立体視可能な領域をいう。
【0014】
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【0015】
なお、液晶パネル1は各凸部に対応する9個の画素に同一の画像を表示して、2次元画像を表示することもできる。
【0016】
また、本実施形態では、レンチキュラレンズ2の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する9個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
【0017】
図3は、液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル1を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
【0018】
実際には、レンチキュラレンズ2は、液晶パネル1に高精度に位置合わせをして貼り付けられるため、液晶パネル1とレンチキュラレンズ2との相対的な位置を物理的に変更することは困難である。
【0019】
そこで、本実施形態では、液晶パネル1の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、液晶パネル1とレンチキュラレンズ2との相対的な位置関係を変更し、これにより、視域の調整を行う。
【0020】
例えば、各凸部に対応する9個の画素に第1〜第9視差画像をそれぞれ表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【0021】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は液晶パネル1に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル1から遠ざかる方向に移動する。
【0022】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル1に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図2のコントローラ10により制御される。
【0023】
図1に戻り、カメラ3は、液晶パネル1の下部中央付近に、所定の仰角で取り付けられ、液晶パネル1の前方の所定の範囲を撮影する。撮影された映像はコントローラ10に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ3は、動画像と静止画像のどちらを撮影してもよい。
【0024】
受光部4は、例えば液晶パネル1の下部の左側に設けられる。そして、受光部4は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか2次元映像を表示する、立体映像を表示する場合に多視差方式および2視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
【0025】
次に、コントローラ10の構成要素の詳細について説明する。図2に示すように、コントローラ10は、チューナデコーダ11と、視差画像変換部12と、視聴者位置検出部13と、視域情報算出部14と、画像調整部15とを有する。コントローラ10は、例えば1つのIC(Integrated Circuit)として実装され、液晶パネル1の裏側に配置される。
もちろん、コントローラ10の一部をソフトウェアで実装してもよい。
【0026】
チューナデコーダ(受信部)11は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表(EPG)等のデータ放送の信号が重畳されている場合、チューナデコーダ11はこれを抽出する。あるいは、チューナデコーダ11は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部12に供給される。なお、映像表示装置100が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ11に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【0027】
チューナデコーダ11が受信する映像信号は、2次元の映像信号であってもよいし、フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で左目用および右目用の画像を含む3次元の映像信号であってもよい。また、映像信号は3視差以上の画像含む3次元の映像信号であってもよい。
【0028】
視差画像変換部12は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部15に供給する。視差画像変換部12は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が2次元の映像信号であるか、3次元の映像信号であるか、に応じて、視差画像変換部12の処理内容が異なる。
【0029】
2視差方式を採用する場合、視差画像変換部12は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
【0030】
2視差方式を採用し、かつ、左目用および右目用の画像を含む3次元映像信号が入力された場合、視差画像変換部12は液晶パネル1に表示可能な形式の左目用および右目用視差画像信号を生成する。また、3つ以上の画像を含む3次元映像信号が入力される場合、例えばそのうちの任意の2つを用いて、視差画像変換部12は左目用および右目用視差画像信号を生成する。
【0031】
これに対し、2視差方式を採用し、かつ、視差情報を含まない2次元の映像信号が入力された場合、視差画像変換部12は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル1に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部12は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【0032】
一方、多視差方式を採用する場合、視差画像変換部12は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。より具体的には以下のようにする。
【0033】
多視差方式を採用し、かつ、2次元の映像信号または8視差以下の画像を含む3次元の映像信号が入力された場合、視差画像変換部12は、2次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第1〜第9視差画像信号を生成する。
【0034】
多視差方式を採用し、かつ、9視差の画像を含む3次元の映像信号が入力された場合、視差画像変換部12はその映像信号を用いて第1〜第9視差画像信号を生成する。
【0035】
視聴者位置検出部13はカメラ3により撮影された映像を用いて視聴者の位置を検出し、その位置情報を視域情報算出部14に供給する。
【0036】
視聴者の位置情報は、例えば液晶パネル1の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(液晶パネル1に対して直交する方向)上の位置として表される。より具体的には、視聴者位置検出部13は、まず、カメラ3により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者位置検出部13は映像における顔の位置からX軸およびY軸上の位置を検出し、顔の大きさからZ軸上の位置を検出する。視聴者が複数いる場合、視聴者位置検出部13は、予め定めた数、例えば10人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば液晶パネル1から近い、すなわち、Z軸上の位置が小さい順に10人の視聴者の位置を検出する。
【0037】
なお、位置検出モジュール13が視聴者の位置を検出する手法に特に制限はなく、カメラ3は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
【0038】
視域情報算出部14は、検出された視聴者の位置情報に応じて適切に視域が設定されるよう、制御パラメータ(例えば、図3で説明した視差画像をずらす量)を算出し、画像調整部15に供給する。
【0039】
図4は、視域情報を算出する手法の一例を示す図である。視域情報算出部14は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部14は、各視域について、視域と検出された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図4の例では、予め定めた図4(a)〜図4(e)の5つの視域(網掛けの領域)のパターンのうち、視域を液晶パネル1に向かって左側に設定する図4(b)において、視聴者20と視域とが重なる面積が最大となる。よって、視域情報算出部14は図4(b)の視域のパターンを適切な視域と判断する。この場合、図4(b)のパターンで視差画像を表示するための制御パラメータが図2の画像調整部15に供給される。
【0040】
より詳しくは、所望の視域を設定するために、視域情報算出部14は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いてもよい。視域情報算出部14は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つけることができる。
【0041】
画像調整部(視域制御部)15は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル1に供給する。液晶パネル1は調整された視差画像信号に対応する画像を表示する。
【0042】
常時視聴者の位置を自動的に検出して上述したような視域を制御することにより、リアルタイムで視聴者にとって適切な視域が設定される。しかしながら、視聴者が静止して映像を見ている場合でも、映像表示装置100の前方で他人が移動すると、移動する人に合わせて視域が移動してしまうことがある。この場合、静止して映像を見ている視聴者にとっては映像が見づらくなる。
【0043】
そこで、視域制御モードとして、常時視聴者の位置を検出して自動的に視域を制御する「オートトラッキングモード」、および、特定のタイミング(後述)で視域を制御する「マニュアルトラッキングモード」のいずれかを視聴者が選択できるようにする。この選択は、例えばリモコンを用いて行うことができる。
【0044】
図5は、映像表示装置100に信号を送信するリモコン(遠隔操作装置)20の一例を示す図である。リモコン20には、電源キー21、音量調整キー22、チャンネル選択キー23、メニューキー24、決定キー25、カーソルキー26、3Dキー27、トラッキングキー28等が設けられる。例えば、3Dキー27が押下されると、入力映像信号が2次元映像信号であるか3次元映像信号であるかに関わらず、液晶パネル1に立体映像を表示することを指示する信号が生成される。
【0045】
メニューキー24、カーソルキー26および決定キー25等を操作して視域制御モード設定メニューを選択すると、視域制御モードを設定するためのOSD(On Screen Display)が表示される。
【0046】
図6は、視域制御モードを設定するためのOSDの一例を示す図である。図6(a)は、オートトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行います。」という説明が表示される。この状態で決定キー25を押下するとオートトラッキングモードに設定される。一方、図6(b)は、マニュアルトラッキングモード上にカーソルがある状態を示しており、例えば「自動で視域制御を行いません。」という説明が表示される。この状態で決定キー25を押下するとマニュアルトラッキングモードに設定される。
【0047】
なお、必ずしもリモコン20を用いる必要はなく、これらと同等のボタンが、例えば映像表示装置100の受光部4やカメラ3に隣接して設けられていてもよい。また、映像表示装置100がタブレット端末である場合など、タッチパネル機能を有する場合には、液晶パネル1にボタンを表示してユーザが設定できるようにしてもよい。
【0048】
以下に説明する第1〜第3の実施形態はマニュアルトラッキングモードに関する。マニュアルトラッキングモードは特定のタイミングで視域を制御するものであるが、第1および第2の実施形態では、そのタイミングが立体映像の表示を開始するときである例を示し、第3の実施形態では、そのタイミングが立体映像の表示中にリモコン20のトラッキングキー28が押下されたときである例を示す。なお、2視差方式および多視差方式のいずれを採用する場合であっても以下の実施形態を適用できる。
【0049】
(第1の実施形態)
図7は、第1の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。以下では、予めポジションキャプチャモードに設定されていることを念頭に置いている。
【0050】
まず、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりすると、視域情報算出部14は立体映像の表示開始を検出する(ステップS11のYES)。立体映像の表示開始に応じて、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS12)。視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS13)。そして、画像調整部15は制御パラメータに応じて視差画像信号を調整し(ステップS14)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。
【0051】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル1に表示された視差画像をレンチキュラレンズ2を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【0052】
なお、図7では立体映像の表示開始に応じて視聴者の位置を検出する(ステップS12)例を示しているが、立体映像の表示開始に同期して視域が設定されればよく、例えば常時視聴者の位置を検出していて、立体映像の表示開始に応じて制御パラメータを算出してもよいし、常時視聴者の位置検出および制御パラメータの算出を行っていて、立体映像の表示開始に応じて画像調整をしてもよい。
【0053】
また、カメラ3の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ3の撮影範囲外にある場合、視聴者の顔がカメラ3の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部13が視聴者を認識できないこともある。この場合には、立体映像の表示開始を検出する、例えば3〜4秒前に視聴者が認識された履歴があれば、そのときの視聴者の位置に視域を設定してもよい。履歴がなければ、視聴者の位置を認識できない旨の警告を表示してもよい。
【0054】
さらに、視聴者位置検出部13が視聴者の位置を検出した際、視聴者が液晶パネル1に接近しすぎている場合、例えば視聴者と液晶パネル1との距離が3H(Hは液晶パネル1の高さ)未満である場合、立体感が得られにくくなるため、画面から離れることを促す旨の警告を表示してもよい。
【0055】
このように、第1の実施形態では、立体映像の表示開始に同期して視聴者の位置に視域が設定されるよう視域の制御を行い、その後の視域は視聴者の位置には追従しない。そのため、液晶パネル1の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【0056】
また、通常、視聴者は映像を見ながらリモコン20を操作するため、リモコン20からの赤外線信号を用いて立体映像の表示開始を検出することにより、適切に視聴者の位置を検出できる。
【0057】
(第2の実施形態)
上述した第1の実施形態は、立体映像の表示開始時に、実際の視聴者の位置に視域を設定するものであった。これに対し、第2の実施形態は、前回立体映像を表示していたときの視域を記憶しておき、次に立体映像の表示を開始するときに、記憶された視域を再度設定するものである。以下の実施形態では、第1の実施形態との相違点を中心に説明する。
【0058】
図8は、第2の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。
【0059】
立体映像の表示を終了する際(ステップS21)、視域情報算出部14はその時の制御パラメータを記憶する(ステップS22)。立体映像の表示を終了とは、例えば映像表示装置100の電源をオフにするとき、リモコン20の3Dキー27が押下されて立体表示から2次元表示に切り替えられたとき、映像信号が3次元映像信号から2次元映像信号に切り替わったとき、等である。また、このときに記憶される制御パラメータは、オートトラッキングモードにより算出されたものでもよいし、第1の実施形態のようにマニュアルトラッキングモードにより算出されたものでもよい。また、別の手法で算出されたものでもよい。
【0060】
その後、視域情報算出部14が立体映像の表示開始を検出すると(ステップS23のYES)、ステップS22で記憶された制御パラメータに応じて、画像調整部15は視差画像信号を調整する(ステップS24)。これにより、視聴者の位置に合わせて視域が設定される。設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
【0061】
このように、第2の実施形態では、立体映像の表示開始時に、前回の立体映像の表示終了時の視域を設定する。そのため、再度立体映像の表示を開始する時に、視聴者の位置を検出したり制御パラメータを改めて算出したりする必要がなく、迅速に視域を設定できる。
【0062】
視聴者は、ソファ等が置かれた一定の位置から、映像表示装置100を見ることが多いと考えられる。したがって、視聴者の位置を検出せずに前回の立体映像の表示終了時の視域を設定したとしても、多くの場合、視聴者の位置に視域を設定できる。
【0063】
また、本実施形態は、例えば写真のスライドショー表示のように、2次元映像信号と3次元映像信号が混在して高い頻度で切り替わる映像信号を再生する場合に、特に有用である。すなわち、2次元映像信号から3次元映像信号へ切り替わる度に視域が新たに設定されると、毎回視域が異なっていたり視域の設定に時間がかかったりするが、本実施形態では、視域情報算出部14に記憶された制御パラメータを用いるため、迅速に一定の視域を設定できる。
【0064】
なお、立体映像の表示開始時に、第1の実施形態で説明したように視聴者の位置を検出して視域を設定するか、第2の実施形態で説明したように前回立体映像を表示していた時の視域を設定するか、を視聴者が選択できるようにしてもよい。
【0065】
(第3の実施形態)
上述した第1および第2の実施形態は、立体映像の表示を開始するタイミングで視域を制御するものであった。立体映像の表示開始時に視域を設定したとしても、視聴者は必ずしも一定の位置に静止して視聴を続けるわけではなく、移動することもある。マニュアルトラッキングモードでは、視域が視聴者の位置に追従しないため、視聴者が移動すると映像を立体視できなくなることもある。そこで第3の実施形態は、立体映像を表示しているときにリモコン20のトラッキングキー28を視聴者が押下したタイミングで視域を制御するものである。
【0066】
図9は、第3の実施形態に係る映像表示装置100のコントローラ10の処理動作の一例を示すフローチャートである。
【0067】
まず、立体映像を表示中に視聴者がリモコン20のトラッキングキー(信号生成手段)28を押下すると、赤外線の視域調整信号が生成され、映像表示装置100の受光部4に送信される。受信部が視域調整信号を受信する(ステップS31のYES)と、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS32)。視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS33)。そして、画像調整部15は制御パラメータに応じて視差画像信号を調整し(ステップS34)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。
【0068】
これにより、視聴者の位置に視域が設定され、視聴者は液晶パネル1に表示された視差画像をレンチキュラレンズ2を介して立体視できる。マニュアルトラッキングモードにおいては、設定された視域は視聴者から視域調整の指示を受けるまで同じ位置に保たれる。
視域調整の指示とは、例えば視聴者が再度トラッキングキー28を押下した場合や、第1および第2の実施形態で説明したように、3Dキー27を押下した場合である。
【0069】
このように、第3の実施形態では、視聴者がリモコン20のトラッキングキー28を押下したタイミングで視聴者の位置を受信し、視域を制御する。視聴者が視域設定のタイミングを指示できるため、立体映像を視聴中に視聴者が移動したときも、適切に視域を再設定できる。また、通常、視聴者は映像を見ながらリモコン20を操作するため、リモコン20からの視域調整信号を送信することにより、適切に視聴者の位置を検出できる。さらに、視域が再設定された後の視域は視聴者の位置には追従しない。そのため、液晶パネル1の前方を第三者が移動したりしても視域は移動せず、視聴者は快適に映像を立体視できる。
【0070】
なお、必ずしもトラッキングキー28がリモコン20に設けられている必要はなく、映像表示装置100がタブレット端末である場合などでは、映像表示装置100にトラッキングキー28に相当するボタン等(信号生成手段)が設けられていてもよいし、映像表示装置100がタッチパネル機能を有する場合には、液晶パネル1にトラッキングキー28を表示してもよい。
【0071】
(第4の実施形態)
上述のように、視域を制御するためには、視聴者の位置を検出し、制御パラメータを算出し、画像を調整する必要がある。画像の調整にはそれほど時間はかからないが、視聴者の位置検出および制御パラメータの算出には時間がかかることがある。特に、図4を用いて説明したように、制御パラメータを算出するためには、予め定めた視域の中から最適な視域を探す必要がある。
【0072】
そのため、第4の実施形態では、2次元映像を表示中も定期的に制御パラメータを算出しておき、2次元映像から立体映像に切り替わるタイミング(例えば図7のステップS11)において、迅速に視域を設定できるようにするものである。
【0073】
図10は、第4の実施形態に係る映像表示装置100aの概略構成を示すブロック図である。図10では、図2と共通する構成部分には同一の符号を付している。図10の映像表示装置100aのコントローラ10aは、さらに、制御パラメータ保持部16を有する。制御パラメータ保持部16は、視域情報算出部14が算出した制御パラメータを保持する。
【0074】
図11は、第4の実施形態に係る映像表示装置100aのコントローラ10aの処理動作の一例を示すフローチャートである。同図では、初め2次元映像が液晶パネル1に表示されているものとする。
【0075】
2次元映像を表示中も、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS41)。そして、視域情報算出部14は、検出された視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS42)。この制御パラメータは制御パラメータ保持部16に保持される(ステップS43)。
【0076】
ここで、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりして、コントローラ10aが立体映像の表示開始を検出すると、(ステップS44のYES)、画像調整部15は制御パラメータ保持部16に保持されている制御パラメータに応じて視差画像信号を調整し(ステップS45)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。立体映像に切り替わってからの処理は画像調整(ステップS45)のみなので、迅速に適切な視域が設定される。
【0077】
一方、立体映像の表示に切り替わらず2次元映像の表示が続く場合(ステップS44のNO)、例えば一定の間隔でコントローラ10aはステップS41〜S43をバックグラウンドで繰り返し、制御パラメータ保持部16に保持される制御パラメータを更新する。
【0078】
このように、第4の実施形態では、立体映像を表示しない間でも制御パラメータを算出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【0079】
(第5の実施形態)
第5の実施形態は、上述した第4の実施形態の変形例である。第4の実施形態では2次元映像を表示中に制御パラメータを算出して保持するものであったが、第5の実施形態では2次元映像表示中に視聴者の位置を検出して保持するものである。
【0080】
図12は、第5の実施形態に係る映像表示装置100bの概略構成を示すブロック図である。図12では、図2と共通する構成部分には同一の符号を付している。図12の映像表示装置102のコントローラ10bは、さらに、視聴者位置保持部17を有する。視聴者位置保持部17は、視聴者位置検出部13が検出した視聴者位置を保持する。
【0081】
図13は、第5の実施形態に係る映像表示装置100bのコントローラ10bの処理動作の一例を示すフローチャートである。同図では、初め2次元映像を液晶パネル1に表示しているものとする。
【0082】
2次元映像を表示中も、視聴者位置検出部13は、カメラ3で撮影された映像を用いて、視聴者の位置を検出する(ステップS51)。この視聴者位置は視聴者位置保持部17に保持される(ステップS52)。
【0083】
ここで、視聴者がリモコン20の3Dキー27を押下したこと示す赤外線信号を受光部4が受信したり、映像信号が2次元映像信号から3次元映像信号に切り替わったりして、コントローラ10bが立体映像の表示開始を検出すると、(ステップS53のYES)、視域情報算出部14は、視聴者位置保持部17に保持されている視聴者の位置に視域が設定されるよう、制御パラメータを算出する(ステップS54)。
【0084】
そして、画像調整部15は算出された制御パラメータに応じて視差画像信号を調整し(ステップS55)、調整された視差画像信号に対応する視差画像が液晶パネル1に表示される。立体映像に切り替わってからの処理は制御パラメータの算出(ステップS54)および画像調整(ステップS55)のみなので、立体映像の表示開始後に視聴者の位置を検出する場合と比べて、迅速に適切な視域が設定される。
【0085】
一方、立体映像の表示に切り替わらず2次元映像の表示が続く場合(ステップS54のNO)、例えば一定の間隔でコントローラ10bはステップS51,S52をバックグラウンドで繰り返し、視聴者位置保持部17に保持される視聴者の位置を更新する。
【0086】
このように、第5の実施形態では、立体映像を表示しない間でも視聴者の位置を検出して保持しておく。そのため、立体映像の表示を開始する際に、迅速に適切な視域を設定できる。
【0087】
(第6の実施形態)
視聴者位置検出部13は、常に視聴者の位置を検出できるとは限らない。例えば、カメラ3の視野が何らかの障害物により邪魔されている場合、視聴者の顔がカメラ3の撮影範囲外にある場合、視聴者の顔がカメラ3の撮影範囲内にあってもマスクをしていたり下を向いていたりして顔検出が困難な場合などでは、視聴者位置検出部13が視聴者を認識できないこともある。この場合、視差情報算出部は視聴者の位置に基づいて制御パラメータを算出することができない。また、視域情報算出部14の故障などにより制御パラメータを算出できないこともあり得る。
【0088】
以下に説明する第6〜第8の実施形態は、制御パラメータを算出できない場合の処理動作に関するものである。
【0089】
図14は、第6の実施形態に係る映像表示装置100cの概略構成を示すブロック図である。図14では、図2と共通する構成部分には同一の符号を付している。図14の映像表示装置100cのコントローラ10cは、さらに、制御情報保持部18を有する。制御情報保持部18は、所定の領域に視域が設定されるよう予め算出された制御パラメータを、いわゆるデフォルト値として、保持する。
【0090】
所定の領域は、例えば液晶パネル1の正面であって、液晶パネル1と視聴者との距離が3H(Hは液晶パネル1の高さ)に設定される。この位置で視聴者が液晶パネル1を視聴することを念頭に置いて映像表示装置が設計されることが多いためである。あるいは、視聴者が通常視聴する領域を設定していてもよい。
【0091】
図15は、第6の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。
【0092】
視域の制御を行うタイミングで、視域情報算出部14が制御パラメータを算出できる場合(ステップS61のYES)、画像調整部15は、算出された制御パラメータ(第1の制御パラメータ)に応じて、画像を調整する(ステップS62)。ここで、視域の制御を行うタイミングとは、例えば図8のステップS11、図9のステップS24、図10のステップS31、オートトラッキングモードで視域制御するタイミングなどである。
【0093】
一方、上記の理由などにより視域情報算出部14が制御パラメータを算出できない場合(ステップS61のNO)、画像調整部15は、制御情報保持部18に保持されている制御パラメータ(第2の制御パラメータ)に応じて、視域を設定するための画像調整を行う(ステップS63)。
【0094】
このように、第6の実施形態では、所定の領域に視域を設定するための制御パラメータを予め制御情報保持部18に保持しておく。そのため、視聴者をうまく検出できない場合など、制御パラメータを算出できない場合でも、視域を設定できる。特に、制御情報保持部18に保持する制御パラメータを液晶パネル1の高さに基づいて設定したり、視聴者の通常の視聴位置に基づいて設定したりすることで、適切な視域が設定される。
【0095】
(第7の実施形態)
第7の実施形態は、複数の制御パラメータを予め制御情報保持部18に保持しておき、そのうちの1つをユーザ設定に応じて選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図15とほぼ同様なので説明を省略する。
【0096】
複数の制御パラメータの1つは、例えば家庭内で映像表示装置100cを視聴することを念頭において液晶パネル1と視聴者との距離が3Hになる領域に視域を設定するための制御パラメータであり、他の1つは、例えば店頭に映像表示装置100cを展示することを念頭に置いてこれより距離が遠い領域に視域を設定するための制御パラメータである。
複数の制御パラメータのうちのいずれを使用するかを、予めユーザが設定しておく。
【0097】
図16は、第7の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。視域情報算出部14が制御パラメータを算出できる場合の処理動作は、第6の実施形態と同様である(ステップS71のYES,S72)。
【0098】
一方、視域情報算出部14が制御パラメータを算出できない場合(ステップS71のNO)、画像調整部15は、ユーザ設定に応じて、制御情報保持部18に保持されている複数の制御パラメータのうちの1つを選択する(ステップS73)。そして、画像調整部15は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う(ステップS74)。
【0099】
このように、第7の実施形態では、制御情報保持部18に保持される複数の制御パラメータのうちの1つを選択するため、制御パラメータを算出できない場合でもユーザの設定に応じて適切に視域を設定できる。
【0100】
(第8の実施形態)
第8の実施形態は、複数の制御パラメータを予め制御情報保持部18に保持しておき、そのうちの1つを、表示されるコンテンツに応じて自動的に選択して視域の設定に使用するものである。なお、本実施形態の映像表示装置の概略構成は図15とほぼ同様なので説明を省略する。
【0101】
図17は、制御情報保持部18に保持される、コンテンツのジャンルと視域の位置との関係の一例を示す図である。例えば、表示されるコンテンツのジャンルがアニメである場合、子供が視聴している可能性が高く、この場合液晶パネル1から離れていることが想定される。そのため、液晶パネル1から遠い位置に視域が設定されるような制御パラメータが保持される。また、ジャンルがスポーツである場合、エキサイトな内容を液晶パネル1に近づいて見ている可能性が高い。そのため、液晶パネル1から近い位置に視域が設定されるような制御パラメータが保持される。ジャンルがドラマや映画である場合、アニメとスポーツとの中間程度の位置に視域が設定されるような制御パラメータが保持される。
【0102】
あくまで図17は一例であって、別のジャンルを設定したり、コンテンツ情報として視聴時刻等をさらに考慮したりしてもよい。
【0103】
図18は、第8の実施形態に係る映像表示装置100cのコントローラ10cの処理動作の一例を示すフローチャートである。視域情報算出部14が制御パラメータを算出できる場合の処理動作は、第6の実施形態と同様である(ステップS81のYES,S82)。
【0104】
一方、視域情報算出部14が視域情報を算出できない場合(ステップS81のNO)、チューナデコーダ11は放送波に重畳されたデータ放送から電子番組表を取得し、これに基づいて液晶パネル1に表示されるコンテンツのコンテンツ情報を抽出する(ステップS83)。あるいは、インターネット経由でコンテンツ情報を取得してもよい。
【0105】
そして、画像調整部15は、コンテンツのジャンルに応じて、制御情報保持部18に保持されている複数の制御パラメータのうちの1つを選択する(ステップS84)。例えば、ジャンルがアニメである場合、画像調整部15は視域を液晶パネル1の近くに設定するための制御パラメータを選択する(図17)。そして、画像調整部15は、選択された制御パラメータに応じて、視域を設定するための画像調整を行う(ステップS85)。
【0106】
このように、第8の実施形態では、コンテンツ情報ごとに予め定めた制御パラメータを制御情報保持部18に保持しておくため、コンテンツに応じて自動的に適切に視域を設定できる。
【0107】
以上の各実施形態で説明したように、映像表示装置は視域を適切に設定できる。
【0108】
なお上述した各実施形態の映像表示装置100では、レンチキュラレンズ2を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ2に代えてパララックスバリアを開口制御部として設けてもよい。また、図19は、図2の変形例である映像表示装置100’の概略構成を示すブロック図である。同図に示すように、視差画像をずらす処理を行わず、コントローラ10’内に視域制御部15’を設けて開口制御部2’を制御してもよい。この場合、液晶パネル1と開口制御部2’との距離、液晶パネル1と開口制御部との水平方向のずれ量等を制御パラメータとし、液晶パネル1に表示された視差画像の出力方向を制御することにより視域が制御される。図19の映像表示装置を各実施形態に適用してもよい。
【0109】
上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0110】
また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0111】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0112】
1 液晶パネル
2 レンチキュラレンズ
3 カメラ
4 受光部
10 コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者位置検出部
14 視域情報算出部
15 画像調整部
16 制御パラメータ保持部
17 視聴者位置保持部
18 制御情報保持部
20 リモコン
100,100a,100b,100c 映像表示装置
【特許請求の範囲】
【請求項1】
撮影された映像に基づいて視聴者の位置を検出する視聴者位置検出手段と、
複数の視差画像と、設定画面と、を切り替えて表示可能な表示手段と、
第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する視域制御手段であって、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する、視域制御手段と、を備え、
前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である、映像処理装置。
【請求項2】
前記設定画面は、
前記第1のモードに設定すると、ユーザからの視域調整指示に同期して前記視域が設定されることを示す第1の情報と、
前記第2のモードに設定すると、常時、前記視域が設定されることを示す第2の情報と、
を含む、請求項1に記載の映像処理装置。
【請求項3】
前記設定画面は、
前記第1のモードに設定するための第1のアイコンと、
前記第2のモードに設定するための第2のアイコンと、を含み、
前記表示手段は、
前記第1のアイコンにカーソルが合わせられると、前記第1の情報を表示し、
前記第2のアイコンにカーソルが合わせられると、前記第2の情報を表示する、請求項2に記載の映像処理装置。
【請求項4】
前記視域制御手段は、遠隔制御装置からユーザからの視域調整指示を受信する、請求項1乃至3のいずれかに記載の映像処理装置。
【請求項5】
前記視域制御手段は、遠隔制御装置から前記第1のモードまたは前記第2のモードに設定される、請求項1乃至4のいずれかに記載の映像処理装置。
【請求項6】
前記遠隔制御装置からの信号を受信する受光手段を備える、請求項4または5に記載の映像処理装置。
【請求項7】
前記視域制御手段は、
前記表示手段に表示される前記複数の視差画像の表示位置を調整するか、
前記表示手段に表示される前記複数の視差画像の出力方向を制御する、
ことにより前記視域を設定する、請求項1乃至6のいずれかに記載の映像処理装置。
【請求項8】
前記表示手段に表示された複数の視差画像を所定の方向に出力する開口制御手段を備える、請求項1乃至7のいずれかに記載の映像処理装置。
【請求項9】
放送波を受信および選局し、これを復号する受信手段と、
前記復号された放送波に基づいて前記複数の視差画像を生成する視差画像変換手段と、を備える、請求項1乃至8のいずれかに記載の映像処理装置。
【請求項10】
第1のモードおよび第2のモードのいずれに設定するかをユーザに選択させるための設定画面を表示するステップと、
前記設定画面を用いたユーザの選択により、前記第1のモードまたは前記第2のモードに設定されるステップと、
撮影された映像に基づいて視聴者の位置を検出するステップと、
前記視聴者の位置に応じた領域に、表示手段に表示される複数の視差画像を立体的に見ることが可能な領域である視域を設定するステップと、を備え、
前記視域を制御するステップは、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視聴者の位置に応じた領域に前記視域を設定し、前記第2のモードに設定された場合、常時、前記視聴者の位置に応じた領域に前記視域を設定する、映像処理方法。
【請求項1】
撮影された映像に基づいて視聴者の位置を検出する視聴者位置検出手段と、
複数の視差画像と、設定画面と、を切り替えて表示可能な表示手段と、
第1のモードまたは第2のモードに設定され、前記視聴者の位置に応じた領域に、前記表示手段に表示される前記複数の視差画像を立体的に見ることが可能な領域である視域を設定する視域制御手段であって、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視域を設定し、前記第2のモードに設定された場合、常時、前記視域を設定する、視域制御手段と、を備え、
前記設定画面は、前記視域制御手段を前記第1のモードおよび前記第2のモードのいずれに設定するかをユーザに選択させるための画面である、映像処理装置。
【請求項2】
前記設定画面は、
前記第1のモードに設定すると、ユーザからの視域調整指示に同期して前記視域が設定されることを示す第1の情報と、
前記第2のモードに設定すると、常時、前記視域が設定されることを示す第2の情報と、
を含む、請求項1に記載の映像処理装置。
【請求項3】
前記設定画面は、
前記第1のモードに設定するための第1のアイコンと、
前記第2のモードに設定するための第2のアイコンと、を含み、
前記表示手段は、
前記第1のアイコンにカーソルが合わせられると、前記第1の情報を表示し、
前記第2のアイコンにカーソルが合わせられると、前記第2の情報を表示する、請求項2に記載の映像処理装置。
【請求項4】
前記視域制御手段は、遠隔制御装置からユーザからの視域調整指示を受信する、請求項1乃至3のいずれかに記載の映像処理装置。
【請求項5】
前記視域制御手段は、遠隔制御装置から前記第1のモードまたは前記第2のモードに設定される、請求項1乃至4のいずれかに記載の映像処理装置。
【請求項6】
前記遠隔制御装置からの信号を受信する受光手段を備える、請求項4または5に記載の映像処理装置。
【請求項7】
前記視域制御手段は、
前記表示手段に表示される前記複数の視差画像の表示位置を調整するか、
前記表示手段に表示される前記複数の視差画像の出力方向を制御する、
ことにより前記視域を設定する、請求項1乃至6のいずれかに記載の映像処理装置。
【請求項8】
前記表示手段に表示された複数の視差画像を所定の方向に出力する開口制御手段を備える、請求項1乃至7のいずれかに記載の映像処理装置。
【請求項9】
放送波を受信および選局し、これを復号する受信手段と、
前記復号された放送波に基づいて前記複数の視差画像を生成する視差画像変換手段と、を備える、請求項1乃至8のいずれかに記載の映像処理装置。
【請求項10】
第1のモードおよび第2のモードのいずれに設定するかをユーザに選択させるための設定画面を表示するステップと、
前記設定画面を用いたユーザの選択により、前記第1のモードまたは前記第2のモードに設定されるステップと、
撮影された映像に基づいて視聴者の位置を検出するステップと、
前記視聴者の位置に応じた領域に、表示手段に表示される複数の視差画像を立体的に見ることが可能な領域である視域を設定するステップと、を備え、
前記視域を制御するステップは、前記第1のモードに設定された場合、ユーザからの視域調整指示に同期して前記視聴者の位置に応じた領域に前記視域を設定し、前記第2のモードに設定された場合、常時、前記視聴者の位置に応じた領域に前記視域を設定する、映像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2013−55694(P2013−55694A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2012−262619(P2012−262619)
【出願日】平成24年11月30日(2012.11.30)
【分割の表示】特願2011−189521(P2011−189521)の分割
【原出願日】平成23年8月31日(2011.8.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願日】平成24年11月30日(2012.11.30)
【分割の表示】特願2011−189521(P2011−189521)の分割
【原出願日】平成23年8月31日(2011.8.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]