説明

映像表示装置、方法、及び位置判定装置

【課題】画像処理の負担が軽く、より簡易に最適な3D映像をユーザが見ることができるようにする。
【解決手段】パーソナルコンピュータ10は、LCD17と、LCD17に正対する方向の画像を撮影するカメラ21を有する。CPU111は、位置調整プログラム112cを実行して、3D映像コンテンツの再生中に、カメラ21により撮影された画像中の3Dメガネの位置を検出し、この検出された位置と予め決められた最適位置(基準位置)との相対関係を判別し、この相対関係に応じたメッセージをLCD17において表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元(3D)映像を表示することができるパーソナルコンピュータやテレビ装置などの映像表示装置に関する。
【背景技術】
【0002】
従来、眼鏡の傾きに応じた視差画像を表示することによって、より自然な立体像(3D)を表示する立体画像表示装置が知られている(特許文献1)。特許文献1に記載された立体画像表示装置は、眼鏡の傾きを検出し、この検出結果に応じて視差画像を生成して表示する。従って、鑑賞者が頭を傾けた場合であっても、その動きに応じた適切な視差画像を表示して、より自然な立体像を表示することが可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−084963号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように従来技術では、眼鏡の傾きを検出して、この傾きに応じた視差画像を生成することで自然な立体像を表示している。このため、映画などの長い動画像を表示する場合においても、その映像を表示している間、継続して眼鏡の傾きを検出して、この傾きに応じた視差画像を生成する画像処理を実行しなければならなかった。すなわち、ユーザに自然な立体画像を見せるために多大な画像処理の負担が必要となっていた。このため、画像処理の負担が軽く、より簡易に最適な3D映像をユーザが見ることができる映像表示装置が求められていた。
【0005】
本発明は上述の事情を考慮してなされたものであり、画像処理の負担が軽く、より簡易に最適な3D映像をユーザが見ることができる映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述の課題を解決するため、本発明は、ディスプレイと、前記ディスプレイに正対する方向の画像を撮影するカメラと、前記画像中のメガネの位置を検出する検出手段と、前記検出手段により検出された位置と、予め決められた基準位置との相対関係を判別する判別手段と、前記相対関係に応じたメッセージを前記ディスプレイにおいて表示するメッセージ表示手段とを具備したことを特徴とする。
【発明の効果】
【0007】
本発明によれば、画像処理の負担が軽く、より簡易に最適な3D映像をユーザが見ることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態におけるパーソナルコンピュータのディスプレイユニットを開いた状態における斜視図。
【図2】本実施形態におけるパーソナルコンピュータのシステム構成を示すブロック図。
【図3】本実施形態における3Dメガネ登録処理を示すフローチャート。
【図4】本実施形態における3Dメガネ登録処理を実行する状況を示す図。
【図5】本実施形態におけるカメラにより撮影された画像中の3Dメガネに該当する部分のみを示す図。
【図6】本実施形態における位置調整処理を示すフローチャート。
【図7】本実施形態における3Dメガネを含む撮影された画像の一例を示す図。
【図8】本実施形態におけるメッセージ表示の一例を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本実施形態における映像表示装置の構成について説明する。映像表示装置は、例えば、ノートブック型のパーソナルコンピュータ10により実現されている。なお、パーソナルコンピュータ10だけでなく、テレビ装置などの他の映像表示装置により実現することができる。
【0010】
図1はノートブック型パーソナルコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12にはLCD(Liquid Crystal Display)17から構成される表示装置が組み込まれており、そのLCD17の表示画面はディスプレイユニット12のほぼ中央に位置されている。LCD17の両側には、スピーカ(ツイータ)20が配置されている。
【0011】
ディスプレイユニット12は、コンピュータ本体11に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11の上面にはキーボード13、電源オン/オフするためのパワーボタン14、タッチパッド15、オーディオ・ビデオ(AV)操作パネル16、AVコントローラ17、ボリューム制御ダイヤル18、及びスピーカ19などが配置されている。また、ディスプレイユニット12には、開放位置にあるときの上辺部にカラー画像を撮影することが可能なカメラ21が設けられている。カメラ21は、ディスプレイユニット12に正対する方向の画像を撮影するもので、パーソナルコンピュータ10に表示されている映像を見ているユーザの少なくとも顔を含む範囲を撮影可能とする。すなわち、ディスプレイユニット12において表示されている3次元(3D)映像コンテンツを視聴するためにユーザが装着している3Dメガネを撮影できるようにする。
【0012】
次に、図2を参照して、パーソナルコンピュータ10のシステム構成について説明する。
【0013】
本コンピュータ10は、CPU111、ノースブリッジ114、主メモリ115、グラフィクスプロセッシングユニット(GPU)116、サウスブリッジ117、BIOS−ROM120、ハードディスクドライブ(HDD)121、光ディスクドライブ(ODD)122、サウンドコントローラ123、TVチューナ124、ビデオプロセッサ125、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)140、及び電源回路141等を備えている。
【0014】
CPU111は本コンピュータ10の動作を制御するために設けられたプロセッサであり、HDD121から主メモリ115にロードされる、オペレーティングシステム(OS)112a、各種アプリケーションプログラム、BIOS−ROM120に格納されたBIOS(Basic Input Output System)などを実行する。アプリケーションプログラムには、映像再生プログラム112b、位置調整プログラム112cが含まれている。
【0015】
映像再生プログラム112bは、例えばハードディスクドライブ(HDD)121やDVD(Digital Versatile Disc)などの記録メディアに記録された、3D映像コンテンツを再生出力することができるアプリケーションである。位置調整プログラム112cは、映像再生プログラム112bによって3D映像が再生出力される場合に、ユーザがディスプレイユニット12(LCD17)に対して正対する最適な位置で視聴できるように補助するための位置調整処理を実行する。
【0016】
ノースブリッジ114はCPU111のローカルバスとサウスブリッジ117との間を接続するブリッジデバイスである。ノースブリッジ114には、主メモリ115をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ114は、PCI Expressバスなどを介してグラフィクスプロセッシングユニット(GPU)116との通信を実行する機能も有している。
【0017】
グラフィクスプロセッシングユニット(GPU)116は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。GPU116は、OSまたはアプリケーションプログラムによってビデオメモリ(VRAM)116Aに書き込まれた表示データから、LCD17に表示すべき画面イメージを形成する映像信号を生成する。
【0018】
サウスブリッジ117は、HDD121及び光ディスクドライブ(ODD)122を制御するためのコントローラを内蔵している。
【0019】
HDD121は、各種プログラム及びデータを格納する記憶装置である。HDD121には、例えばOS、各種アプリケーションプログラム、映像コンテンツデータなどが記憶されている。また、HDD121には、位置調整プログラム112cによる位置調整処理において、LCD17に表示されるユーザに対するメッセージのデータが記録されている。
【0020】
光ディスクドライブ(ODD)122は、映像コンテンツなどが格納されたDVDなどの記録メディアを駆動するためのドライブユニットである。
【0021】
サウンドコントローラ123は、音源デバイスであり、各種オーディオデータに対応する音をスピーカ19,20から出力するための処理を実行する。TVチューナ124は、TV放送信号によって放送される放送番組データを受信する。
【0022】
さらに、サウスブリッジ117には、ビデオプロセッサ125が接続されている。ビデオプロセッサ125は、映像のストリーミング処理や認識処理を行う専用エンジンである。メモリ125Aは、ビデオプロセッサ125の作業メモリとして用いられる。
【0023】
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)140は、電源管理のためのエンベデッドコントローラと、キーボード(KB)13、タッチパッド15、及びAV操作パネル16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。
【0024】
またEC/KBC140は、ユーザによるパワーボタンスイッチ14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。本コンピュータ10のパワーオン/パワーオフの制御は、EC/KBC140と電源回路141との共同動作によって実行される。電源回路141は、コンピュータ本体11に装着されたバッテリ142からの電力、またはコンピュータ本体11に外部電源として接続されるACアダプタ143からの電力を用いて、各コンポーネントへの動作電源を生成する。
【0025】
次に、本実施形態におけるパーソナルコンピュータ10の動作について説明する。
本実施形態におけるパーソナルコンピュータ10では、例えば時分割表示方式を利用した3D映像コンテンツを再生表示することができる。3D映像コンテンツは、LCD17において表示される映像を立体像として認識させるために、右目用の映像と左目用の映像とを交互に表示する。ユーザは、3D映像視認用のメガネを装着することで、LCD17に表示された映像を3D映像として認識することができる。本実施形態において用いられる3D映像視認用のメガネ(以下、単にメガネと称する)は、例えば液晶シャッターメガネとする。このメガネは、3D映像コンテンツの右目用と左目用の映像の切り替えと同期して、右目側と左目側とが交互に透過状態と非透過状態に切り替えられる。これにより、ユーザは、右目により右目用の映像を視認し、左目により左目用の映像を視認して、映像を立体として認識することができる。
【0026】
液晶シャッターメガネを利用する場合、ユーザは、ディスプレイの中心近傍に正対する位置から映像を見ることにより最適な状態の3D映像を認識できる。従って、ディスプレイの中心近傍に正対する位置から上下方向あるいは左右方向にずれた位置で映像を見ていると、本来の3D映像を楽しめなくなってしまう。
【0027】
本実施形態におけるパーソナルコンピュータ10では、位置調整プログラム112cによって、ユーザが映像を視認している位置(メガネ)の位置を検出し、正しい位置で3D映像を見ていないと判別された場合には、最適な位置に移動するようユーザを促すためのメッセージを出力させることができる。
【0028】
なお、本実施形態における映像表示装置(パーソナルコンピュータ10)は、液晶シャッターメガネを利用する時分割表示方式により3D映像を表示するものに限定されない。すなわち、メガネを装着して3D映像を見る際に、最適位置からずれている場合に3D映像の品質が低下する方式を利用する映像表示装置であれば良い。
【0029】
図3は、本実施形態における3Dメガネ登録処理を示すフローチャートである。3Dメガネ登録処理では、後述する位置調整処理においてユーザが使用するメガネを画像中から検出する処理を容易にすると共に、ユーザが3D映像を見る環境に応じた最適位置(基準位置)を設定するための処理である。
【0030】
CPU111は、位置調整プログラム112cが起動されると3Dメガネ登録処理を開始する。ユーザは、3D映像コンテンツの視聴に使用するメガネを装着して、LCD17に表示される3D映像が最も良い状態で見える位置に移動した後、例えばキーボード13に対する操作により画像撮影を指示する。
【0031】
通常、3D映像が最も良い状態で見える位置は、LCD17の中心近傍に正対する位置となる。しかし、3D映像を視聴する時のディスプレイユニット12の傾斜角度、パーソナルコンピュータ10が設置された場所の環境(部屋の明るさなど)、ユーザが使用するメガネの性能、ユーザが好みとする表示状態の違いなどの理由により、最適位置が変動する可能性がある。そのため、実際に、ユーザが3D映像の表示状態が最適と感じる位置を3Dメガネ登録処理において登録できるようにしている。
【0032】
図4は、3Dメガネ登録処理を実行する状況を示している。図4に示すように、3Dメガネ30を装着しているユーザは、パーソナルコンピュータ10のディスプレイユニット12と正対する位置においても画像撮影を指示する。
【0033】
CPU111は、画像撮影が指示されるとカメラ21を駆動して画像を撮影する(ステップA1)。カメラ21により撮影された画像にはユーザが装着している3Dメガネ30が含まれている。
【0034】
CPU111は、カメラ21により撮影された画像から、3Dメガネ30の形状(色を含んでも良い)と、画像中における位置を検出する(ステップA2)。
【0035】
図5は、カメラ21により撮影された画像中の3Dメガネ30に該当する部分のみを示す図である。ユーザが使用する3Dメガネ30に複数の種類があったとしても基本的な構成が共通しているため、既知の画像処理手法を用いて形状と位置を検出することができる。
【0036】
また、CPU111は、3Dメガネ30に相当する画像領域に対して予め決められた位置を3Dメガネ30の位置として検出する(ステップA3)。図5に示す例では、例えば、メガネの中央を含む所定範囲の領域Aを3Dメガネ30の画像中の位置として検出している。
【0037】
CPU111は、画像中から検出された最適位置Aと3Dメガネ30の形状を示すデータを、位置調整処理により利用されるデータとして記録する(ステップA4)。
【0038】
ユーザは、画像の撮影を指示した時の位置が最適位置として問題なければ処理の終了を指示する。CPU111は、ユーザからの指示に応じて、3Dメガネ登録処理を終了させる(ステップA5、Yes)。なお、再度、前述と同様にして、画像の撮影を指示して、3Dメガネ30の形状と最適位置を再設定することもできる(ステップA5、No)。
【0039】
なお、前述した3Dメガネ登録処理では、3Dメガネの形状と共に最適位置を設定しているが、最適位置が予め位置調整プログラム112cにより設定されている場合には、最適位置の登録を省略することも可能である。また、後述する位置調整プログラム112cによる位置調整処理により、ユーザ毎の3Dメガネ30の登録をしなくても3Dメガネ30の位置を検出することができれば、3D登録処理を省略することもできる。3D登録処理を実行するか否かは、ユーザが任意に決定できるものとする。
【0040】
図6は、本実施形態における位置調整処理を示すフローチャートである。位置調整処理は、映像再生プログラム112bによる映像コンテンツの再生に伴って、位置調整プログラム112cにより実行される。
映像再生プログラム112bにより映像コンテンツの再生が開始されると、CPU111は、3Dメガネ30の位置を確認するために、画像の撮影をする時間となったかを判別する。例えば、3Dメガネ30の位置を確認するための撮影は一定時間毎に行うものとする(例えば、数分毎)。
【0041】
撮影時間となった場合、CPU111は、カメラ21により画像を撮影する(ステップB3)。カメラ21は、ディスプレイユニット12(LCD17)に正対する方向の画像を撮影する。
【0042】
CPU111は、カメラ21により撮影され画像から3Dメガネ30の位置を検出する(ステップB4)。ここでは、3Dメガネ登録処理によって予め記録された3Dメガネ30の形状を示すデータをもとに、画像中から3Dメガネ30を認識して、3Dメガネ30の位置を決定する。3Dメガネ登録処理によって事前に登録されたデータを用いることで、画像中から3Dメガネ30を検出する検出精度を上げ、処理時間の短縮を図ることができる。また、3Dメガネ30の位置は、図5に示すように、メガネの中央を含む所定範囲の領域とする。
【0043】
CPU111は、撮影された画像から検出された3Dメガネ30の位置と、予め設定されている最適位置との差分(距離)を算出し(ステップB5)、この差分が予め決められた基準値より大きいかを判別する。
【0044】
ここで、差分が基準値より大きくないと判別された場合(ステップB6、No)、CPU111は、ユーザが最適位置において3D映像を見ていると判別して、メッセージの表示は行わない。
【0045】
一方、差分が基準値より大きいと判別された場合(ステップB6、Yes)、CPU111は、3Dメガネ30の現在位置と最適位置(基準位置)との相対関係に応じたメッセージをLCD17において表示させる(ステップB7)。
【0046】
図7には、3Dメガネ30を含む撮影された画像の一例を示している。図7に示す領域Bは、最適位置を示している。図7に示す例では、最適位置(領域B)に対して、3Dメガネ30の領域が左側に位置している。従って、最適位置(領域B)と3Dメガネ30との位置関係より、ユーザが左側に移動することで、最適位置に近づくものと判別することができる。
【0047】
CPU111は、3Dメガネ30の現在位置と最適位置との相対関係に応じたメッセージを特定し、例えば図8に示すように、LCD17の表示領域の下部に設定されたメッセージウィンドウ17aにおいて表示させる。ここでは、例えば「左に移動すると最適な3D映像が楽しめます」のメッセージを表示する。
【0048】
ユーザは、3D映像コンテンツの視聴中に位置を移動して、最適位置から外れてしまったとしても、LCD17に表示されたメッセージを確認して、再び、最適位置に戻ることができる。
【0049】
なお、パーソナルコンピュータ10(位置調整プログラム112c)は、様々な、3Dメガネ30の現在位置と最適位置との相対関係に応じたメッセージが用意されており、適宜、必要なメッセージが選択されて表示される。例えば、最適位置(基準位置)に対して、上下左右方向(さらには斜め方向)のそれぞれに対応するメッセージや、現在位置と最適位置との距離に応じたメッセージなどがある。距離に応じたメッセージは、例えばユーザが移動すべき概算の距離を撮影画像から算出して、この距離に応じて選択されるようにしても良い。
【0050】
また、前述した説明では、現在位置と最適位置との相対関係に応じたメッセージを表示しているが、3Dメガネ30の状態に応じたメッセージを表示するようにしても良い。例えば撮影画像から3Dメガネ30の左右の傾きを検出し、この傾きに応じたメッセージを表示する。例えば、予め決められた基準値以上傾いていた場合には、「メガネを水平にすると最適な3D映像が楽しめます」などのメッセージを表示させる。なお、3Dメガネ30の左右の傾きは、既存の画像処理により検出することができる。
【0051】
このようにして、本実施形態におけるパーソナルコンピュータ10では、3D映像コンテンツの再生中に最適位置を外れたとしても、ユーザに対してどのように位置を合わせれば良いかをメッセージによりガイドすることができる。これにより、ユーザは自分の感覚だけに頼って位置を調整する必要がなく、簡単に最適位置に移動して、良好な状態で3D映像を楽しむことができる。また、ユーザの位置に合わせて3D映像コンテンツに対する加工処理などをする必要もないため処理負担が軽くて済む。
【0052】
なお、前述した位置調整処理では、映像再生プログラム112bによって3D映像コンテンツが再生されている間にメッセージを出力するとしているが、3D映像コンテンツの再生中にメッセージが表示されないように、コンテンツ再生前に位置調整処理を実行するようにしても良い。3D映像コンテンツの再生中には、メッセージの表示を停止する。これにより、3D映像コンテンツの再生中に、メッセージウィンドウ17aにより映像が隠されてしまうことを回避できる。
【0053】
また、前述した説明では、3D登録処理によってユーザが使用するメガネの形状を事前に記録しておくものとしているが、位置調整処理において容易に検出可能な特徴的な3Dメガネ30を使用することにより、3Dメガネ登録処理を省略することができる。例えば、使用中に点灯するLEDを3Dメガネ30に取り付け、このLEDの位置や色などをもとに3Dメガネ30を画像中から検出することができる。3Dメガネ30に取り付けるLEDは、1つでも良いし、2つ以上であっても良い。例えば、3Dメガネ30の両端に2つのLEDを設けることで、3Dメガネ30の左右の傾きについても容易に検出することができる。
【0054】
また、3Dメガネ30にLEDを取り付ける他に、画像処理によって3Dメガネ30を容易に検出することが可能な、特徴的な形状や色によって3Dメガネ30を構成すれば良い。
【0055】
また、前述した説明では、3Dメガネの位置が最適位置から規定値以上離れている場合に、LCD17にメッセージを表示してユーザに注意を促しているが、他の出力形態によってユーザに通知するようにしても良い。例えば、パーソナルコンピュータ10にLEDなどの発光デバイスを設けて、3Dメガネの位置が最適位置から外れると点灯させて注意を促すようにする。これにより、LCD17に表示されている3D映像コンテンツの表示の妨げとなることがない。また、3Dメガネの位置が最適位置から外れた場合に、特定の音を出力してユーザに注意を促すようにしても良い。
【0056】
また、前述した説明では、カメラ21によって撮影された画像中から3Dメガネ30の位置を検出するだけであったが、他のセンサを用いて3Dメガネ30の位置を検出して、メッセージを出力するようにしても良い。例えば、パーソナルコンピュータ10に深度センサを設けて、パーソナルコンピュータ10(LCD17)から3Dメガネ30までの距離を測定して、3D映像を見るための最適な位置にあるかを判別する。そして、その判別結果に応じたメッセージ、例えば「もう少し、画面から離れて視聴して下さい」のメッセージを表示する。なお、その他の種類のセンサを設けることも可能である。
【0057】
また、前述した説明では、1つの3Dメガネ30が使用される場合、すなわち1人のユーザが3D映像コンテンツを視聴する場合を例にして説明しているが、2人(あるいは3人以上)のユーザが同時に3D映像コンテンツを視聴する場合にも適用することができる。この場合、例えばユーザ操作によって2人での視聴することが指示されるものとする。パーソナルコンピュータ10は、位置調整プログラム112cの処理において、現在位置と最適位置との差分に対する基準値を、1人のユーザが視聴する場合よりも大きくする。すなわち、2人で3D映像コンテンツを視聴する場合には、1人の場合よりも最適位置から外れやすいため、メッセージの表示を不要とする許容範囲を大きくして、メッセージが頻繁に表示されないようにする。また、複数の3Dメガネ30について個々に現在位置と最適位置との差分を算出することにより、個々の3Dメガネ30に対してメッセージを出力するようにしても良い。
【0058】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【符号の説明】
【0059】
10…パーソナルコンピュータ、21…カメラ、112b…映像再生アプリケーションプログラム、112c…位置調整プログラム、125…ビデオプロセッサ。

【特許請求の範囲】
【請求項1】
ディスプレイと、
前記ディスプレイに正対する方向の画像を撮影するカメラと、
前記画像中のメガネの位置を検出する検出手段と、
前記検出手段により検出された位置と、予め決められた基準位置との相対関係を判別する判別手段と、
前記相対関係に応じたメッセージを前記ディスプレイにおいて表示するメッセージ表示手段と
を具備したことを特徴とする映像表示装置。
【請求項2】
映像を前記ディスプレイにおいて表示させる映像表示手段をさらに具備し、
前記メッセージ表示手段は、前記映像表示手段によって映像が表示されている間に前記メッセージを表示することを特徴とする請求項1記載の映像表示装置。
【請求項3】
前記判別手段は、前記画像中のメガネの傾きを検出し、
前記メッセージ表示手段は、前記傾きに応じたメッセージを表示することを特徴とする請求項1記載の映像表示装置。
【請求項4】
前記判別手段は、前記検出手段により検出された位置と前記基準位置とが、予め設定された基準距離以上離れているかを判別し、
前記メッセージ表示手段は、前記基準位置以上離れていると判別された場合に、前記メッセージを表示することを特徴とする請求項1記載の映像表示装置。
【請求項5】
前記基準距離をユーザからの指定により設定する基準距離設定手段をさらに具備したことを特徴とする請求項4記載の映像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−133832(P2011−133832A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2009−295625(P2009−295625)
【出願日】平成21年12月25日(2009.12.25)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】