画像表示装置、画像表示方法、および画像補正方法
【課題】立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供する。
【解決手段】視点検出部２６は、視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザを検出してその視点を追跡する。動視差補正部３０は、前記視点の移動速度が所定の大きさ以上となった場合、前記視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成し、前記視点の移動速度が所定の大きさ未満となった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像に戻るまで、動視差補正の補正量を段階的に減少して立体映像を生成して表示部３６に出力する。
【解決手段】視点検出部２６は、視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザを検出してその視点を追跡する。動視差補正部３０は、前記視点の移動速度が所定の大きさ以上となった場合、前記視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成し、前記視点の移動速度が所定の大きさ未満となった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像に戻るまで、動視差補正の補正量を段階的に減少して立体映像を生成して表示部３６に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置、画像表示方法、および画像補正方法に関し、特に立体映像における画像表示および補正に関する。
【背景技術】
【０００２】
映像を立体的に提示できる３Ｄテレビ（３ Dimensionalテレビ）等の３次元表示デバイスが一般のユーザにも普及しつつある。携帯電話や携帯ゲーム機等の携帯端末機において映像を立体的に提示できるデバイスも普及しつつあり、一般のユーザが立体的な映像を視聴する機会が増加してきている。
【０００３】
一方、カメラ機能付き携帯電話の爆発的な普及を皮切りに、小型のカメラモジュールが様々な情報端末に搭載されるようになった。スマートフォンは言うに及ばず、ノートＰＣ（Personal Computer）やタブレットＰＣ、携帯ゲーム機等の多くの携帯端末機にはカメラモジュールが搭載されるようになってきている。特に携帯電話や携帯ゲーム機等は、写真撮影用のカメラモジュールのみならず、映像を用いて通信するためにユーザの顔を撮像するカメラモジュールを備えたものも多く存在する。また据置型のＰＣやゲーム機等の装置においても、カメラモジュールを増設することで、ユーザの顔を撮影して映像を用いた相互通信もできるようになってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような状況の中、立体映像を提示することのできる携帯端末機がユーザの顔を撮像するカメラモジュールも備える場合、撮像したユーザの顔から得られる情報を、立体映像の提示の制御に利用できる可能性について発明者は認識するに至った。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の装置は画像表示装置である。この装置は、視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザを検出してその視点を追跡する視点検出部と、前記視点の移動速度が所定の大きさ以上となった場合、前記視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成し、前記視点の移動速度が所定の大きさ未満となった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像に戻るまで、動視差補正の補正量を段階的に減少して立体映像を生成して表示部に出力する動視差補正部とを含む。
【０００７】
本発明の別の態様は、画像補正方法である。この方法は、視聴基準位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点の移動量をもとに立体映像の動視差補正をし、視点の移動が停止したことを契機として、動視差補正の補正量を段階的に減少して視聴基準位置から見た場合の立体映像に戻す。
【０００８】
本発明のさらに別の態様も、画像表示装置である。この装置は、パララックスバリア方式で映像を表示する表示部と、被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を追跡する視点検出部と、
前記視点の移動に同期して視点から前記表示部を視聴したときに立体視可能となる位置にバリアの位置を変位させるバリア制御部とを含む。
【０００９】
本発明のさらに別の態様は、画像表示方法である。この方法は、パララックスバリア方式で立体映像を表示するステップと、被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を追跡するステップと、前記視点の移動に同期して視点から視聴したときに立体視可能となる位置にバリアを変位させるステップとをプロセッサに実行させる。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】視差画像と動視差を説明するための図である。
【図２】パララックスバリア方式を説明するための図である。
【図３】実施の形態に係る画像表示装置の機能構成を模式的に示す図である。
【図４】視聴基準位置とスクリーン、および物体の位置関係を模式的に示す図である。
【図５】実施の形態に係る画像表示装置による動視差補正処理の流れを説明するフローチャートである。
【図６】動視差補正制御の処理の流れを説明するフローチャートである。
【図７】実施の形態に係る画像表示装置によるバリア制御処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
［視差画像を利用した立体映像］
図１は、視差画像および後述する動視差を説明するための図である。図１は、ｘ軸上に、ｙ軸に対して垂直となるように設置されたスクリーン１０を、視点１２と総称する第１の視点１２ａおよび第２の視点１２ｂから観察する様子を示している。スクリーン１０に対して視点１２側に球１４が存在し、スクリーン１０に対して視点１２と反対側に正方形１６が存在する。
【００１４】
スクリーン１０ａおよびスクリーン１０ｂはそれぞれ、視点１２ａおよび視点１２ｂから球１４および正方形１６を観察した場合の映像を示す。視点１２ａから観察した場合、正方形１６は球１４と一部が重なって、スクリーン１０ａにおいて、それぞれ球１４ａおよび正方形１６ａの位置に観察される。視点１２ｂから観察した場合、球１４と正方形１６とはスクリーン１０ｂにおいてそれぞれ、球１４ｂおよび正方形１６ｂのように離れた位置に観察される。
【００１５】
このように、同じ物体を異なる位置から観察した場合、異なる映像として観察される現象を視差という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像（以下、このような映像を「視差画像」という。）との間には視差が生じる。人間の脳は、左右の目で知覚した視差画像を一つの手がかりとして物体の奥行きを認識しているといわれている。そのため、左目用の視差画像と右目用の視差画像とをそれぞれの目に投影すると、人間には奥行きを持った立体的な画像として認識される。例えば、図１におけるスクリーン１０ａの映像を左目に、スクリーン１０ｂの映像を右目に投影すると、球１４がスクリーン１０の手前にあるかのように知覚され、正方形１６がスクリーン１０の奥側にあるかのように知覚される。
【００１６】
３Ｄテレビ等の３次元表示デバイスは、左目用の視差画像をユーザの左目にのみ投影し、右目用の視差画像をユーザの右目のみに投影するように工夫されたデバイスである。３次元表示デバイスを実現する技術は種々存在するが、ひとつの方法としてシャッタめがねを利用する方法がある。この方法は、液晶シャッタ等によって映像の遮蔽および透過を変更可能なめがねをユーザが装着し、表示デバイスに時分割で交互に表示される左目用の視差画像と右目用の視差画像と同期してシャッタを開閉することにより、ユーザに視差画像を提示する方法である。
【００１７】
［パララックスバリア方式の３次元ディスプレイ］
３次元表示デバイスを実現する別の方法としてパララックスバリア（Parallax Barrier；視差バリア）方式がある。図２は、パララックスバリア方式を説明するための図である。
【００１８】
図２（ａ）において、斜線の付された画素群が左目用画素１８と総称する左目用画素１８ａ〜１８ｅである。また左目用画素１８に隣接する領域が右目用画素２０と総称する右目用画素２０ａ〜２０ｅである。また、第１の視点１２ａはユーザの左目であり、第２の視点１２ｂはユーザの右目であるとする。図２（ａ）は、バリア２２によって、第１の視点１２ａには右目用画素２０が遮蔽され、左目用画素１８のみが提示されている。また、第２の視点１２ｂはバリア２２によって左目用画素１８が遮蔽され、右目用画素２０のみが提示されている。画素群は表示デバイスの画面上に配置されるため、バリア２２は格子状の形状を持つ。バリア２２は物理的に固定されたものでもよいし、例えば液晶を用いて表示位置や格子のピッチを制御できるものとしてもよい。
【００１９】
画素群からバリア２２間での距離をＤ１、バリア２２から視点１２までの距離をＤ２、画素群の画素ピッチをＰ１、バリア２２の格子のピッチをＰ２、および第１の視点１２ａと第２の視点１２ｂとの距離をＥとするとき、これらが以下のふたつの式を満たせば、バリア２２によって、第１の視点１２ａには右目用画素２０が遮蔽されて左目用画素１８のみが提示され、かつ、第２の視点１２ｂは左目用画素１８が遮蔽されて右目用画素２０のみが提示される。
Ｅ：Ｐ１＝Ｄ１：Ｄ２ （１）
Ｐ２：Ｄ１＝Ｐ１×２：Ｄ１＋Ｄ２ （２）
【００２０】
図２（ａ）は画素群の中央前面に視点１２が存在する場合の図であるのに対し、図２（ｂ）は、画素群の一方の端辺の前面に視点１２が存在する場合の図である。上述の式（１）および式（２）から明らかなように、画素群からバリア２２間での距離をＤ１、バリア２２から視点１２までの距離をＤ２、および画素群の画素ピッチをＰ１が変わらなければ、バリア２２の格子のピッチは、図２（ｂ）に示す場合と図２（ａ）に示す場合とでは変わらない。しかしながら、視点１２が存在する位置に応じて、バリア２２の設置すべき位置は変わる。
【００２１】
シャッタめがねを利用する方法やパララックスバリア方式をはじめとして、多くの３次元表示デバイスは、ユーザに視差画像を提示することによって奥行き感のある映像の提示を実現している。この視差画像は、ある固定された位置（以下、「視聴基準位置」という。）から物体を観察することを前提としている。ユーザが視点を固定して３次元表示デバイスを観察している間は問題ないが、例えばユーザが頭を左右に動かす等によって視点を移動した場合、視差画像のみを提示する方式では、以下に説明する「動視差」と呼ばれる現象に追従することができず、提示している映像の奥行き感を損なう原因となりうる。
【００２２】
［動視差］
図１において、同じ物体を観察する場合でも、位置の異なる視点１２ａと視点１２ｂとから観察する映像はそれぞれ異なる映像となることについて説明した。これはすなわち、同じ物体を観察する場合であっても、視点が移動することによって観察される映像が変化することを意味している。例えば図１において、視点１２ａから視点１２ｂまで視点を動かしながら球１４と正方形１６とを観察することを考える。このときスクリーン１０を基準位置として固定し、スクリーン１０に対して球１４と正方形１６とが相対的にどのように動くかを考える。
【００２３】
視点１２ａにおいてスクリーン１０の中央やや右よりの位置に観察されていた球１４ａは、視点がｘ軸の正の方向に視点１２ｂの位置まで移動すると、スクリーン１０の中央よりやや左よりの位置である球１４ｂとして観察される。一方、視点１２ａにおいてスクリーン１０上の球１４ａに隣接して観察された正方形１６ａは、視点がｘ軸の正の方向に視点１２ｂの位置まで移動すると、スクリーン１０のｘ軸に対して正の方向にある端辺付近に存在する正方形１６ｂとして観察される。
【００２４】
このように、視点がｘ軸の正の方向に移動すると、基準位置として固定されたスクリーン１０よりも視点側に位置する球１４は、スクリーン１０に対してｘ軸の負の方向に動いたように観察される。一方、スクリーン１０よりも視点に対して奥側に存在する正方形１６は、スクリーン１０に対してｘ軸の正の方向に動いたように観察される。前者は、視点の移動と反対方向に移動するよう観察されるため、視点に対して「逆位相」で移動するという。これに対して、後者は視点と同じ方向に移動するよう観察されるため視点に対して「同位相」で移動するという。物体が「同位相」で動くか「逆位相」で動くか、およびその移動量は、視点と物体との距離および視点と基準位置との距離との大小関係によって定まる。
【００２５】
このように、視点が動いた際に視点と物体との位置関係によって物体の映像の変化の仕方が異なることを「動視差」という。人間は、両眼視差に加えて動視差の情報も、奥行きを認識するための手がかりとしている。３次元表示デバイスを観察しているユーザにとっては、３次元デバイスの画面が基準位置に存在する固定枠となる。視差画像が提示されている３次元表示デバイスを観察しているユーザが視点を移動するとき、例えば無限遠に存在する物体など、３次元デバイスの画面よりも奥に提示されている物体が視点と同位相に移動しないことが、ユーザの頭の中に構築された３次元映像の世界観を損ねてしまう原因のひとつと言われている。
【００２６】
［実施の形態］
実施の形態の概要を述べる。実施の形態に係る画像表示装置１００は、視聴基準位置から観察することを前提に作成されている立体映像を観察するユーザの視点を追跡し、視点の移動量に応じてその立体映像の動視差補正をするとともに、ユーザの視点が静止した場合には、徐々に動視差補正前の立体映像に戻す。また、ユーザの観察する３次元表示デバイスがパララックスバリア方式の場合、ユーザの視点の移動量に応じて、移動後の視点から３次元表示デバイスを視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００２７】
図３は、実施の形態に係る画像表示装置１００の機能構成を模式的に示す図である。画像表示装置１００は、撮像部２４、視点検出部２６、映像変更検出部２８、動視差補正部３０、映像再生部３２、バリア制御部３４、表示部３６、および映像識別部３８を含む。
【００２８】
撮像部２４は、画像表示装置１００を操作するユーザを向いて設置されており、ユーザの顔を含む被写体を撮像する。撮像部２４は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いて実現できる。
【００２９】
視点検出部２６は、撮像部２４が撮像したユーザの顔を含む被写体の映像から、まずユーザの顔を検出する。ユーザの顔の検出は、例えばＳＶＭ（Support Vector Machine）やＢｏｏｓｔｉｎｇ等の既知の機械学習手法を用いて生成した顔検出エンジンを用いて実現できる。これにより、視点検出部２６はユーザの顔の位置と大きさ、および画像表示装置１００を観察するユーザの人数を取得する。
【００３０】
視点検出部２６は、検出したユーザの顔をもとに、ユーザの目を検出して追跡する。ユーザの目の検出および追跡も、例えば前述の機械学習手法を用いた眼球検出エンジンを用いて実現できる。これにより、視点検出部２６は、ユーザの視点の位置をリアルタイムで把握する。
【００３１】
映像再生部３２は、映像コンテンツを再生する。映像再生部３２は、指定されたコンテンツが２次元コンテンツの場合、映像をそのまま再生する。指定されたコンテンツが視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像の場合、表示部３６の種類に応じて映像を表示する。
【００３２】
例えば表示部３６がパララックスバリア方式の表示デバイスの場合、左目用の視差画像と右目用の視差画像を分割して空間的に交互に表示する。表示部３６がシャッタめがねの使用を前提とした表示デバイスの場合、映像再生部３２は左目用の視差画像と右目用の視差画像とを時分割で交互に表示する。
【００３３】
動視差補正部３０は、視点検出部２６が検出したユーザが一人の場合、映像再生部３２が再生する立体映像の動視差を補正する。具体的には、視点検出部２６が検出したユーザの視点の移動距離が所定の長さ以下か否かを判断する。ここで「所定の長さ」とは、動視差補正が有効か否かの判断の基準となる長さである。例えばユーザの視点が表示部３６の大きさを超えて移動した場合、動視差補正をするためには映像を大きく変更する必要が生じるが、そのような補正を行うと映像を大きく歪めることになりうる。また、ユーザの視点が表示部３６の大きさを超えて移動するような場合には、ユーザは表示部３６を観察していないことも多いと考えられる。
【００３４】
そこで動視差補正部３０は、視点検出部２６の検出したユーザの視点の移動距離が所定の長さ以上の場合は動視差補正を行わない。なお、「所定の長さ」は、動視差補正の有効性を勘案して実験により定めればよい。
【００３５】
動視差補正部３０はまた、視点検出部２６の検出したユーザの視点の移動速度が所定の大きさ以上となった場合、その視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成する。ここで「所定の大きさ」とは、動視差補正の有効性がそのための計算コストに見合う大きさであり、動視差補正をするか否かの判断基準となる大きさである。ユーザの視点は静止中でも若干動くため、そのような場合にまで動視差補正をすると計算コストがかかる。そこで動視差補正をするか否かの判断基準となる「所定の大きさ」は、動視差補正の有効性と計算コストとを勘案して実験により定めればよい。
【００３６】
図４は、視聴基準位置とスクリーン１０、および物体４０の位置関係を模式的に示す図である。図４において、直線４２上にある第１の視点１２ａおよび第２の視点１２ｂが視聴基準位置である。図４に示す空間には直交座標系が設定されており、第１の視点１２ａおよび第２の視点１２ｂは、それぞれ座標（Δｘ，０，０）および（−Δｘ，０，０）で表されるものとする。
【００３７】
映像再生部３２が再生する立体映像は、図４に示すような視聴基準位置から視聴することが仮定されている。そこで動視差補正部３０は、視点検出部２６から取得した視点の移動量およびその方向を取得する。視点の移動方向がｘ軸の正の方向で、その大きさがＭｘであるとすると、動視差補正部３０は、座標（Ｍｘ＋Δｘ，０，０）および（Ｍｘ−Δｘ，０，０）から物体４０を観察した場合の映像をスクリーン１０上に透視投影変換することによって描画する。この際、映像再生部３２が再生する映像が投影すべき物体の３次元モデルを持った３次元ゲームコンテンツ等の場合、動視差補正部３０は、その３次元モデルをもとに透視投影変換する。
【００３８】
映像再生部３２が再生する映像がステレオ放送やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等に収録されたステレオ動画の場合、動視差補正部３０は、まず左目用の視差画像と右目用の視差画像との各画素について対応点を求める。これは例えば既知のＤＰマッチングを用いることで実現できる。左目用の視差画像と右目用の視差画像との各画素について対応点が求まれば、そのずれ量から視差画像の深度マップを計算する。
【００３９】
ここで「深度マップ」とは、視差画像を構成する各画素について、それらが空間上のどの点に位置するかを示す情報である。深度マップは２次元画像を用いて表現することができ、各画素の濃度がその画素の奥行きに対応する。
【００４０】
例えば図４に示すスクリーン１０上に存在する点は、左目用の視差画像と右目用の視差画像とにおいて同じ位置に画像化される。スクリーン１０上に対して視聴基準位置側に存在する点は、左目用の視差画像上に画像化される位置は、右目用の視差画像上に画像化される位置と比較して、右側に画像化される。反対に、スクリーン１０上に対して視聴基準位置の奥側に存在する点は、左目用の視差画像上に画像化される位置は、右目用の視差画像上に画像化される位置と比較して、左側に画像化される。このように、左目用の視差画像と右目用の視差画像との各画素について対応点が求めることにより、各点の奥行き情報を深度マップとして求めることができる。
【００４１】
動視差補正部３０は、深度マップをもとに動視差補正を行う。具体的には、視点検出部２６から視点の移動量およびその方向を取得し、スクリーン１０に対して視聴基準位置側に存在する点については視点の移動方向と逆位相に動くように視差画像を変換する。反対に、スクリーン１０に対して視聴基準位置と反対側に存在する点については、視点の移動方向と同位相に動くように視差画像を変換する。
【００４２】
以上の処理によって、視線の動きに追従した動視差補正を実現することができ、視点の動きに伴う立体映像の奥行き感の喪失を軽減することができる。しかしながら、このような動視差補正に伴う画像変換は、映像再生部３２が生成するコンテンツの作成者が意図した画像作りとは必ずしも言えない。したがって、映像そのものの構成から考えると、早い段階で視聴基準位置から見た場合の映像に戻す方が好ましい。
【００４３】
そこで動視差補正部３０は、視点検出部２６から取得したユーザの視点の移動速度がその後所定の大きさ未満となった場合、すなわち、ユーザの視点が静止したと考えられるようになった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像となるまで、動視差補正の補正量を段階的に変更して立体映像を生成する。ユーザが視線を動かしたときはその動きの量に応じて動視差補正が行われるが、ユーザが視線の動きを止めると、ユーザに提示される映像は徐々に視聴基準位置から見た場合の映像に近づき、やがて視聴基準位置から見た場合の映像に戻る。これにより、視点の動きに伴う立体映像の奥行き感の喪失を軽減することと、コンテンツの作成者が本来意図した映像を提示することとのバランスを取ることが可能となる。
【００４４】
映像変更検出部２８は、映像再生部３２が生成する立体映像を解析して映像の切り替わりを検出する。映像の切り替わりとは、例えば映像の特徴量が動画像としての連続性を損なう程度まで大きく変化することを言う。より具体的には、ユーザが再生するコンテンツそのものを切り替える場合である。また、同一コンテンツにおいても、例えばゲームのコンテンツで言えばステージが変化したり映像を映し出す視点の位置が変更したりする等のタイミング、また映画のコンテンツであれば編集によって場面が切り替わる等のタイミングも、映像の切り替わりである。映像変更検出部２８は、例えば映像再生部３２からユーザがコンテンツを切り替えたことを示す信号を受信したり、あるいは映像再生部３２が生成する立体映像の輝度値や色相、彩度の分布の変化を解析して追跡したりすることにより、映像の切り替わりを検出することができる。
【００４５】
映像変更検出部２８が映像の切り替わりを検出した場合、動視差補正部３０は、映像が切り替わった後に動視差補正の補正量を無効にして、視聴基準位置から見た場合の立体映像を表示部に出力する。映像の切り替わりの前後においてユーザの視点が静止しているのであれば、映像の切り替わり直後の映像については動視差補正をする必要がなく、かつ映像の切り替わりの前後で映像が極端に変化したとしてもユーザに違和感を与えないからである。ユーザに対して早い段階で視聴基準位置から見た場合の映像を提示できる点で効果がある。
【００４６】
表示部３６がパララックスバリア方式の表示デバイスの場合、バリア制御部３４は、視点検出部２６から取得したユーザの視点の移動に同期して、視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。図２を参照して前述したとおり、バリア２２の位置は視点１２の位置に応じて定まる。例えばバリア制御部３４が視点検出部２６から取得した視点の移動の変位がＭｘであるとするならば、バリア２２が移動すべき位置は、画素群からバリア２２間での距離をＤ１およびバリア２２から視点１２までの距離をＤ２により定まる所定の量であるＤ１／（Ｄ１＋Ｄ２）を視点の移動量Ｍｘに乗じた距離だけ、視点の移動方向に移動した位置である。
【００４７】
バリア２２が、例えば液晶で実現されている場合には、バリア制御部３４は液晶にかける電圧を制御して、ユーザの視点から表示部３６を視聴したときに立体視可能となる位置にバリア２２の位置を変位させる。バリア２２が物理的に固定されたものであれば、バリア制御部３４は、図示しないサーボモータ等のアクチュエータを制御してバリア２２の位置を変位させる。これにより、ユーザの視点の移動に同期して、ユーザに対して適切な立体映像を提供することが可能となる。
【００４８】
映像識別部３８は、映像再生部３２再生する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する。映像再生部３２再生する映像が２次元映像である場合バリア２２は必要なく、むしろ視聴の妨げとなりうるものである。そこでバリア制御部３４は、ユーザの視聴する映像再生部３２再生する映像が２次元映像である場合、バリア２２の表示を消す。これは例えばバリア２２が液晶の場合には光を透過する状態とすればよいし、バリア２２が物理的に固定されたものであれば表示部３６の表面から離れた位置までバリア２２を変位させることで実現できる。
【００４９】
ここで動視差補正部３０は、映像識別部３８の識別結果を取得して、映像再生部３２が再生する映像が２次元映像である場合、映像識別部３８から取得した映像に特段の処理をせずに表示部３６に出力するようにしてもよい。映像再生部３２再生する映像が２次元映像である場合、左目用の視差画像と右目用の視差画像とは同一の画像となるため、動視差補正の有無に関わらず結果として表示部３６に出力する画像は映像識別部３８から取得した映像そのものになるが、計算コストや電力消費を抑えられる点で有利となる。
【００５０】
図３は、実施の形態に係る画像表示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、一例として、実施の形態に係る画像表示装置１００は、携帯型のタブレットＰＣや携帯ゲーム機が考えられる。
【００５１】
図５は、実施の形態に係る画像表示装置１００による動視差補正処理の流れを説明するフローチャートである。以下に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１２のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１２のＮ）と表示する。本フローチャートにおける処理は、画像表示装置１００の電源が投入されたときに開始する。
【００５２】
映像識別部３８は、映像再生部３２が再生するコンテンツの種類を識別して取得する（Ｓ１０）。ここでコンテンツの種類とは、そのコンテンツが被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを示す情報を意味する。映像再生部３２が再生するコンテンツの種類が立体映像の場合（Ｓ１２のＹ）、視点検出部２６は、撮像部２４から取得した映像に含まれる人物の顔を検出する（Ｓ１４）。
【００５３】
視点検出部２６の検出した人物が一人の場合（Ｓ１６のＹ）、動視差補正部３０は動視差補正制御を実行する（Ｓ１８）。映像再生部３２が再生するコンテンツの種類が２次元映像の場合（Ｓ１２のＮ）か、視点検出部２６の検出した人物が二人以上の場合（Ｓ１６のＮ）、動視差補正部３０は２次元表示制御を実行する（Ｓ２０）。具体的には、動視差補正部３０は、映像識別部３８から取得した映像に特段の処理をせずに表示部３６に出力する。画像表示装置１００は、以上の処理を継続することで動視差補正を実現する。
【００５４】
図６は、動視差補正制御の処理の流れを説明するフローチャートであり、図５におけるステップＳ１８を詳細に説明する図である。
【００５５】
視点検出部２６は、検出したユーザの顔をもとにユーザの目を検出して追跡する（Ｓ２２）。動視差補正部３０は、視点検出部２６の検出したユーザの視点の移動距離が所定の長さ以下の場合（Ｓ２４のＹ）、かつユーザの視点の移動速度が所定の大きさ以上となった場合（Ｓ２６のＹ）、視点の移動量に動視差の補正量を決定する（Ｓ２８）。
【００５６】
ここで動視差の補正量とは、例えば映像再生部３２が再生する映像が投影すべき物体の３次元モデルを持った３次元ゲームコンテンツ等の場合には視点の位置そのものであり、映像再生部３２が再生する映像がステレオ動画の場合、深度マップに基づく画像の変換量である。動視差補正部３０は、求めた補正量をもとに視差画像を変換する（Ｓ３０）。
【００５７】
ステップＳ２４において視点の移動距離が所定の長さ以上の場合（Ｓ２４のＮ）、動視差補正部３０は独断の処理をせず、視点検出部２６はユーザの視点の追跡を継続する。ステップＳ２６においてユーザの視点の移動速度が所定の大きさ以下となった場合（Ｓ２６のＮ）、動視差補正部３０は、映像変更検出部２８より映像の変更の有無を取得する。映像の変更がない場合（Ｓ３２のＮ）、動視差補正部３０は現在の補正量を段階的に減少する（Ｓ３４）。映像の変更があった場合（Ｓ３２のＹ）、動視差補正部３０は現在の補正量をキャンセルする（Ｓ３６）。以上の処理を繰り返すことにより、画像表示装置１００は動視差補正を実現する。
【００５８】
図７は、実施の形態に係る画像表示装置１００によるバリア制御処理の流れを説明するフローチャートである。本フローチャートの処理は、表示部３６がパララックスバリア方式の表示デバイスの場合に画像表示装置１００が実行する処理である。
【００５９】
映像識別部３８は、映像再生部３２が再生するコンテンツの種類を識別して取得する（Ｓ１０）。ここでコンテンツの種類とは、そのコンテンツが被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを示す情報を意味する。映像再生部３２が再生するコンテンツの種類が立体映像の場合（Ｓ１２のＹ）、視点検出部２６は、撮像部２４から取得した映像に含まれる人物の顔を検出する（Ｓ１４）。
【００６０】
視点検出部２６の検出した人物が一人の場合（Ｓ１６のＹ）、バリア制御部３４はバリア制御を実行する（Ｓ３８）。具体的には、バリア制御部３４は、視点検出部２６から取得したユーザの視点の移動に同期して、視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００６１】
映像再生部３２が再生するコンテンツの種類が２次元映像の場合（Ｓ１２のＮ）か、視点検出部２６の検出した人物が二人以上の場合（Ｓ１６のＮ）、バリア制御部３４および動視差補正部３０は２次元表示制御を実行する（Ｓ２０）。具体的には、バリア制御部３４はバリアの表示を消す。これにより、映像再生部３２が再生するコンテンツの種類が２次元映像の場合に再生に際して不必要なバリアを表示しないため、ユーザにとって視聴しやすい映像を提示することが可能となる。動視差補正部３０は、映像再生部３２が再生するコンテンツの種類が立体映像の場合であっても、いずれか一方の視差画像のみを表示部３６に出力する。これにより、パララックスバリア方式の表示デバイスで複数のユーザが立体映像を視聴しようとする際に生じうる、適正に視聴できない方向から映像を観察することを防止できる。
【００６２】
以上の構成による動作は以下のとおりである。ユーザが実施の形態に係る画像表示装置１００を用いて立体映像を観察すると、動視差補正部３０は、視点検出部２６が追跡したユーザの視点の移動量をもとに立体映像を動視差補正する。ユーザの視点が停止したことを契機として、動視差補正部３０は、立体映像を徐々に動視差補正前の映像に戻す。また、表示部３６がパララックスバリア方式の場合、バリア制御部３４は、ユーザの視点の移動量に応じて、移動後の視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００６３】
以上説明したとおり、実施の形態によれば立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供できる。
【００６４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
上記の説明では、視点検出部２６がユーザの視点を追跡する際にユーザの目を検出する場合について説明したが、視点の追跡は目以外の構造を検出すべき特徴点として用いてもよい。例えば、ユーザの鼻先をユーザの視点とみなして鼻を検出してもよいし、めがねフレーム等の人工物を追跡するのでもよい。
【００６６】
特に、表示部３６が偏光めがねやシャッタめがねを用いる方式の３ＤＴＶの場合、表示部３６を観察するユーザがめがねを装着していることが保証される。この状況を利用して、ユーザの装着するめがねにＬＥＤ（Light Emitting Diode）等の検出用マーカを装着して視点移動の検出に利用してもよい。あるいは、ユーザの装着するめがねがシャッタめがねの場合には、シャッタめがねのシャッタの開閉を検出して視点移動の検出に利用してもよい。いずれの場合も、視点検出部２６が、撮像部２４から取得したユーザの装着しているめがねを含む映像を画像解析することにより視点を検出する。めがね等は規格化された人工物であるため、ユーザの目を検出する場合と比較して誤検出を低減しうる点で有利である。
【符号の説明】
【００６７】
２４ 撮像部、 ２６ 視点検出部、 ２８ 映像変更検出部、 ３０ 動視差補正部、 ３２ 映像再生部、 ３４ バリア制御部、 ３６ 表示部、 ３８ 映像識別部、 １００ 画像表示装置。
【技術分野】
【０００１】
この発明は、画像表示装置、画像表示方法、および画像補正方法に関し、特に立体映像における画像表示および補正に関する。
【背景技術】
【０００２】
映像を立体的に提示できる３Ｄテレビ（３ Dimensionalテレビ）等の３次元表示デバイスが一般のユーザにも普及しつつある。携帯電話や携帯ゲーム機等の携帯端末機において映像を立体的に提示できるデバイスも普及しつつあり、一般のユーザが立体的な映像を視聴する機会が増加してきている。
【０００３】
一方、カメラ機能付き携帯電話の爆発的な普及を皮切りに、小型のカメラモジュールが様々な情報端末に搭載されるようになった。スマートフォンは言うに及ばず、ノートＰＣ（Personal Computer）やタブレットＰＣ、携帯ゲーム機等の多くの携帯端末機にはカメラモジュールが搭載されるようになってきている。特に携帯電話や携帯ゲーム機等は、写真撮影用のカメラモジュールのみならず、映像を用いて通信するためにユーザの顔を撮像するカメラモジュールを備えたものも多く存在する。また据置型のＰＣやゲーム機等の装置においても、カメラモジュールを増設することで、ユーザの顔を撮影して映像を用いた相互通信もできるようになってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような状況の中、立体映像を提示することのできる携帯端末機がユーザの顔を撮像するカメラモジュールも備える場合、撮像したユーザの顔から得られる情報を、立体映像の提示の制御に利用できる可能性について発明者は認識するに至った。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の装置は画像表示装置である。この装置は、視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザを検出してその視点を追跡する視点検出部と、前記視点の移動速度が所定の大きさ以上となった場合、前記視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成し、前記視点の移動速度が所定の大きさ未満となった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像に戻るまで、動視差補正の補正量を段階的に減少して立体映像を生成して表示部に出力する動視差補正部とを含む。
【０００７】
本発明の別の態様は、画像補正方法である。この方法は、視聴基準位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点の移動量をもとに立体映像の動視差補正をし、視点の移動が停止したことを契機として、動視差補正の補正量を段階的に減少して視聴基準位置から見た場合の立体映像に戻す。
【０００８】
本発明のさらに別の態様も、画像表示装置である。この装置は、パララックスバリア方式で映像を表示する表示部と、被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を追跡する視点検出部と、
前記視点の移動に同期して視点から前記表示部を視聴したときに立体視可能となる位置にバリアの位置を変位させるバリア制御部とを含む。
【０００９】
本発明のさらに別の態様は、画像表示方法である。この方法は、パララックスバリア方式で立体映像を表示するステップと、被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を追跡するステップと、前記視点の移動に同期して視点から視聴したときに立体視可能となる位置にバリアを変位させるステップとをプロセッサに実行させる。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】視差画像と動視差を説明するための図である。
【図２】パララックスバリア方式を説明するための図である。
【図３】実施の形態に係る画像表示装置の機能構成を模式的に示す図である。
【図４】視聴基準位置とスクリーン、および物体の位置関係を模式的に示す図である。
【図５】実施の形態に係る画像表示装置による動視差補正処理の流れを説明するフローチャートである。
【図６】動視差補正制御の処理の流れを説明するフローチャートである。
【図７】実施の形態に係る画像表示装置によるバリア制御処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
［視差画像を利用した立体映像］
図１は、視差画像および後述する動視差を説明するための図である。図１は、ｘ軸上に、ｙ軸に対して垂直となるように設置されたスクリーン１０を、視点１２と総称する第１の視点１２ａおよび第２の視点１２ｂから観察する様子を示している。スクリーン１０に対して視点１２側に球１４が存在し、スクリーン１０に対して視点１２と反対側に正方形１６が存在する。
【００１４】
スクリーン１０ａおよびスクリーン１０ｂはそれぞれ、視点１２ａおよび視点１２ｂから球１４および正方形１６を観察した場合の映像を示す。視点１２ａから観察した場合、正方形１６は球１４と一部が重なって、スクリーン１０ａにおいて、それぞれ球１４ａおよび正方形１６ａの位置に観察される。視点１２ｂから観察した場合、球１４と正方形１６とはスクリーン１０ｂにおいてそれぞれ、球１４ｂおよび正方形１６ｂのように離れた位置に観察される。
【００１５】
このように、同じ物体を異なる位置から観察した場合、異なる映像として観察される現象を視差という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像（以下、このような映像を「視差画像」という。）との間には視差が生じる。人間の脳は、左右の目で知覚した視差画像を一つの手がかりとして物体の奥行きを認識しているといわれている。そのため、左目用の視差画像と右目用の視差画像とをそれぞれの目に投影すると、人間には奥行きを持った立体的な画像として認識される。例えば、図１におけるスクリーン１０ａの映像を左目に、スクリーン１０ｂの映像を右目に投影すると、球１４がスクリーン１０の手前にあるかのように知覚され、正方形１６がスクリーン１０の奥側にあるかのように知覚される。
【００１６】
３Ｄテレビ等の３次元表示デバイスは、左目用の視差画像をユーザの左目にのみ投影し、右目用の視差画像をユーザの右目のみに投影するように工夫されたデバイスである。３次元表示デバイスを実現する技術は種々存在するが、ひとつの方法としてシャッタめがねを利用する方法がある。この方法は、液晶シャッタ等によって映像の遮蔽および透過を変更可能なめがねをユーザが装着し、表示デバイスに時分割で交互に表示される左目用の視差画像と右目用の視差画像と同期してシャッタを開閉することにより、ユーザに視差画像を提示する方法である。
【００１７】
［パララックスバリア方式の３次元ディスプレイ］
３次元表示デバイスを実現する別の方法としてパララックスバリア（Parallax Barrier；視差バリア）方式がある。図２は、パララックスバリア方式を説明するための図である。
【００１８】
図２（ａ）において、斜線の付された画素群が左目用画素１８と総称する左目用画素１８ａ〜１８ｅである。また左目用画素１８に隣接する領域が右目用画素２０と総称する右目用画素２０ａ〜２０ｅである。また、第１の視点１２ａはユーザの左目であり、第２の視点１２ｂはユーザの右目であるとする。図２（ａ）は、バリア２２によって、第１の視点１２ａには右目用画素２０が遮蔽され、左目用画素１８のみが提示されている。また、第２の視点１２ｂはバリア２２によって左目用画素１８が遮蔽され、右目用画素２０のみが提示されている。画素群は表示デバイスの画面上に配置されるため、バリア２２は格子状の形状を持つ。バリア２２は物理的に固定されたものでもよいし、例えば液晶を用いて表示位置や格子のピッチを制御できるものとしてもよい。
【００１９】
画素群からバリア２２間での距離をＤ１、バリア２２から視点１２までの距離をＤ２、画素群の画素ピッチをＰ１、バリア２２の格子のピッチをＰ２、および第１の視点１２ａと第２の視点１２ｂとの距離をＥとするとき、これらが以下のふたつの式を満たせば、バリア２２によって、第１の視点１２ａには右目用画素２０が遮蔽されて左目用画素１８のみが提示され、かつ、第２の視点１２ｂは左目用画素１８が遮蔽されて右目用画素２０のみが提示される。
Ｅ：Ｐ１＝Ｄ１：Ｄ２ （１）
Ｐ２：Ｄ１＝Ｐ１×２：Ｄ１＋Ｄ２ （２）
【００２０】
図２（ａ）は画素群の中央前面に視点１２が存在する場合の図であるのに対し、図２（ｂ）は、画素群の一方の端辺の前面に視点１２が存在する場合の図である。上述の式（１）および式（２）から明らかなように、画素群からバリア２２間での距離をＤ１、バリア２２から視点１２までの距離をＤ２、および画素群の画素ピッチをＰ１が変わらなければ、バリア２２の格子のピッチは、図２（ｂ）に示す場合と図２（ａ）に示す場合とでは変わらない。しかしながら、視点１２が存在する位置に応じて、バリア２２の設置すべき位置は変わる。
【００２１】
シャッタめがねを利用する方法やパララックスバリア方式をはじめとして、多くの３次元表示デバイスは、ユーザに視差画像を提示することによって奥行き感のある映像の提示を実現している。この視差画像は、ある固定された位置（以下、「視聴基準位置」という。）から物体を観察することを前提としている。ユーザが視点を固定して３次元表示デバイスを観察している間は問題ないが、例えばユーザが頭を左右に動かす等によって視点を移動した場合、視差画像のみを提示する方式では、以下に説明する「動視差」と呼ばれる現象に追従することができず、提示している映像の奥行き感を損なう原因となりうる。
【００２２】
［動視差］
図１において、同じ物体を観察する場合でも、位置の異なる視点１２ａと視点１２ｂとから観察する映像はそれぞれ異なる映像となることについて説明した。これはすなわち、同じ物体を観察する場合であっても、視点が移動することによって観察される映像が変化することを意味している。例えば図１において、視点１２ａから視点１２ｂまで視点を動かしながら球１４と正方形１６とを観察することを考える。このときスクリーン１０を基準位置として固定し、スクリーン１０に対して球１４と正方形１６とが相対的にどのように動くかを考える。
【００２３】
視点１２ａにおいてスクリーン１０の中央やや右よりの位置に観察されていた球１４ａは、視点がｘ軸の正の方向に視点１２ｂの位置まで移動すると、スクリーン１０の中央よりやや左よりの位置である球１４ｂとして観察される。一方、視点１２ａにおいてスクリーン１０上の球１４ａに隣接して観察された正方形１６ａは、視点がｘ軸の正の方向に視点１２ｂの位置まで移動すると、スクリーン１０のｘ軸に対して正の方向にある端辺付近に存在する正方形１６ｂとして観察される。
【００２４】
このように、視点がｘ軸の正の方向に移動すると、基準位置として固定されたスクリーン１０よりも視点側に位置する球１４は、スクリーン１０に対してｘ軸の負の方向に動いたように観察される。一方、スクリーン１０よりも視点に対して奥側に存在する正方形１６は、スクリーン１０に対してｘ軸の正の方向に動いたように観察される。前者は、視点の移動と反対方向に移動するよう観察されるため、視点に対して「逆位相」で移動するという。これに対して、後者は視点と同じ方向に移動するよう観察されるため視点に対して「同位相」で移動するという。物体が「同位相」で動くか「逆位相」で動くか、およびその移動量は、視点と物体との距離および視点と基準位置との距離との大小関係によって定まる。
【００２５】
このように、視点が動いた際に視点と物体との位置関係によって物体の映像の変化の仕方が異なることを「動視差」という。人間は、両眼視差に加えて動視差の情報も、奥行きを認識するための手がかりとしている。３次元表示デバイスを観察しているユーザにとっては、３次元デバイスの画面が基準位置に存在する固定枠となる。視差画像が提示されている３次元表示デバイスを観察しているユーザが視点を移動するとき、例えば無限遠に存在する物体など、３次元デバイスの画面よりも奥に提示されている物体が視点と同位相に移動しないことが、ユーザの頭の中に構築された３次元映像の世界観を損ねてしまう原因のひとつと言われている。
【００２６】
［実施の形態］
実施の形態の概要を述べる。実施の形態に係る画像表示装置１００は、視聴基準位置から観察することを前提に作成されている立体映像を観察するユーザの視点を追跡し、視点の移動量に応じてその立体映像の動視差補正をするとともに、ユーザの視点が静止した場合には、徐々に動視差補正前の立体映像に戻す。また、ユーザの観察する３次元表示デバイスがパララックスバリア方式の場合、ユーザの視点の移動量に応じて、移動後の視点から３次元表示デバイスを視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００２７】
図３は、実施の形態に係る画像表示装置１００の機能構成を模式的に示す図である。画像表示装置１００は、撮像部２４、視点検出部２６、映像変更検出部２８、動視差補正部３０、映像再生部３２、バリア制御部３４、表示部３６、および映像識別部３８を含む。
【００２８】
撮像部２４は、画像表示装置１００を操作するユーザを向いて設置されており、ユーザの顔を含む被写体を撮像する。撮像部２４は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いて実現できる。
【００２９】
視点検出部２６は、撮像部２４が撮像したユーザの顔を含む被写体の映像から、まずユーザの顔を検出する。ユーザの顔の検出は、例えばＳＶＭ（Support Vector Machine）やＢｏｏｓｔｉｎｇ等の既知の機械学習手法を用いて生成した顔検出エンジンを用いて実現できる。これにより、視点検出部２６はユーザの顔の位置と大きさ、および画像表示装置１００を観察するユーザの人数を取得する。
【００３０】
視点検出部２６は、検出したユーザの顔をもとに、ユーザの目を検出して追跡する。ユーザの目の検出および追跡も、例えば前述の機械学習手法を用いた眼球検出エンジンを用いて実現できる。これにより、視点検出部２６は、ユーザの視点の位置をリアルタイムで把握する。
【００３１】
映像再生部３２は、映像コンテンツを再生する。映像再生部３２は、指定されたコンテンツが２次元コンテンツの場合、映像をそのまま再生する。指定されたコンテンツが視聴基準位置として設定された所定の位置から被写体を見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像の場合、表示部３６の種類に応じて映像を表示する。
【００３２】
例えば表示部３６がパララックスバリア方式の表示デバイスの場合、左目用の視差画像と右目用の視差画像を分割して空間的に交互に表示する。表示部３６がシャッタめがねの使用を前提とした表示デバイスの場合、映像再生部３２は左目用の視差画像と右目用の視差画像とを時分割で交互に表示する。
【００３３】
動視差補正部３０は、視点検出部２６が検出したユーザが一人の場合、映像再生部３２が再生する立体映像の動視差を補正する。具体的には、視点検出部２６が検出したユーザの視点の移動距離が所定の長さ以下か否かを判断する。ここで「所定の長さ」とは、動視差補正が有効か否かの判断の基準となる長さである。例えばユーザの視点が表示部３６の大きさを超えて移動した場合、動視差補正をするためには映像を大きく変更する必要が生じるが、そのような補正を行うと映像を大きく歪めることになりうる。また、ユーザの視点が表示部３６の大きさを超えて移動するような場合には、ユーザは表示部３６を観察していないことも多いと考えられる。
【００３４】
そこで動視差補正部３０は、視点検出部２６の検出したユーザの視点の移動距離が所定の長さ以上の場合は動視差補正を行わない。なお、「所定の長さ」は、動視差補正の有効性を勘案して実験により定めればよい。
【００３５】
動視差補正部３０はまた、視点検出部２６の検出したユーザの視点の移動速度が所定の大きさ以上となった場合、その視点の移動量をもとに左目用の視差画像と右目用の視差画像とのそれぞれの動視差補正量を決定して動視差補正をした立体映像を生成する。ここで「所定の大きさ」とは、動視差補正の有効性がそのための計算コストに見合う大きさであり、動視差補正をするか否かの判断基準となる大きさである。ユーザの視点は静止中でも若干動くため、そのような場合にまで動視差補正をすると計算コストがかかる。そこで動視差補正をするか否かの判断基準となる「所定の大きさ」は、動視差補正の有効性と計算コストとを勘案して実験により定めればよい。
【００３６】
図４は、視聴基準位置とスクリーン１０、および物体４０の位置関係を模式的に示す図である。図４において、直線４２上にある第１の視点１２ａおよび第２の視点１２ｂが視聴基準位置である。図４に示す空間には直交座標系が設定されており、第１の視点１２ａおよび第２の視点１２ｂは、それぞれ座標（Δｘ，０，０）および（−Δｘ，０，０）で表されるものとする。
【００３７】
映像再生部３２が再生する立体映像は、図４に示すような視聴基準位置から視聴することが仮定されている。そこで動視差補正部３０は、視点検出部２６から取得した視点の移動量およびその方向を取得する。視点の移動方向がｘ軸の正の方向で、その大きさがＭｘであるとすると、動視差補正部３０は、座標（Ｍｘ＋Δｘ，０，０）および（Ｍｘ−Δｘ，０，０）から物体４０を観察した場合の映像をスクリーン１０上に透視投影変換することによって描画する。この際、映像再生部３２が再生する映像が投影すべき物体の３次元モデルを持った３次元ゲームコンテンツ等の場合、動視差補正部３０は、その３次元モデルをもとに透視投影変換する。
【００３８】
映像再生部３２が再生する映像がステレオ放送やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等に収録されたステレオ動画の場合、動視差補正部３０は、まず左目用の視差画像と右目用の視差画像との各画素について対応点を求める。これは例えば既知のＤＰマッチングを用いることで実現できる。左目用の視差画像と右目用の視差画像との各画素について対応点が求まれば、そのずれ量から視差画像の深度マップを計算する。
【００３９】
ここで「深度マップ」とは、視差画像を構成する各画素について、それらが空間上のどの点に位置するかを示す情報である。深度マップは２次元画像を用いて表現することができ、各画素の濃度がその画素の奥行きに対応する。
【００４０】
例えば図４に示すスクリーン１０上に存在する点は、左目用の視差画像と右目用の視差画像とにおいて同じ位置に画像化される。スクリーン１０上に対して視聴基準位置側に存在する点は、左目用の視差画像上に画像化される位置は、右目用の視差画像上に画像化される位置と比較して、右側に画像化される。反対に、スクリーン１０上に対して視聴基準位置の奥側に存在する点は、左目用の視差画像上に画像化される位置は、右目用の視差画像上に画像化される位置と比較して、左側に画像化される。このように、左目用の視差画像と右目用の視差画像との各画素について対応点が求めることにより、各点の奥行き情報を深度マップとして求めることができる。
【００４１】
動視差補正部３０は、深度マップをもとに動視差補正を行う。具体的には、視点検出部２６から視点の移動量およびその方向を取得し、スクリーン１０に対して視聴基準位置側に存在する点については視点の移動方向と逆位相に動くように視差画像を変換する。反対に、スクリーン１０に対して視聴基準位置と反対側に存在する点については、視点の移動方向と同位相に動くように視差画像を変換する。
【００４２】
以上の処理によって、視線の動きに追従した動視差補正を実現することができ、視点の動きに伴う立体映像の奥行き感の喪失を軽減することができる。しかしながら、このような動視差補正に伴う画像変換は、映像再生部３２が生成するコンテンツの作成者が意図した画像作りとは必ずしも言えない。したがって、映像そのものの構成から考えると、早い段階で視聴基準位置から見た場合の映像に戻す方が好ましい。
【００４３】
そこで動視差補正部３０は、視点検出部２６から取得したユーザの視点の移動速度がその後所定の大きさ未満となった場合、すなわち、ユーザの視点が静止したと考えられるようになった場合、左目用の視差画像と右目用の視差画像とのそれぞれについて視聴基準位置から見た場合の視差画像となるまで、動視差補正の補正量を段階的に変更して立体映像を生成する。ユーザが視線を動かしたときはその動きの量に応じて動視差補正が行われるが、ユーザが視線の動きを止めると、ユーザに提示される映像は徐々に視聴基準位置から見た場合の映像に近づき、やがて視聴基準位置から見た場合の映像に戻る。これにより、視点の動きに伴う立体映像の奥行き感の喪失を軽減することと、コンテンツの作成者が本来意図した映像を提示することとのバランスを取ることが可能となる。
【００４４】
映像変更検出部２８は、映像再生部３２が生成する立体映像を解析して映像の切り替わりを検出する。映像の切り替わりとは、例えば映像の特徴量が動画像としての連続性を損なう程度まで大きく変化することを言う。より具体的には、ユーザが再生するコンテンツそのものを切り替える場合である。また、同一コンテンツにおいても、例えばゲームのコンテンツで言えばステージが変化したり映像を映し出す視点の位置が変更したりする等のタイミング、また映画のコンテンツであれば編集によって場面が切り替わる等のタイミングも、映像の切り替わりである。映像変更検出部２８は、例えば映像再生部３２からユーザがコンテンツを切り替えたことを示す信号を受信したり、あるいは映像再生部３２が生成する立体映像の輝度値や色相、彩度の分布の変化を解析して追跡したりすることにより、映像の切り替わりを検出することができる。
【００４５】
映像変更検出部２８が映像の切り替わりを検出した場合、動視差補正部３０は、映像が切り替わった後に動視差補正の補正量を無効にして、視聴基準位置から見た場合の立体映像を表示部に出力する。映像の切り替わりの前後においてユーザの視点が静止しているのであれば、映像の切り替わり直後の映像については動視差補正をする必要がなく、かつ映像の切り替わりの前後で映像が極端に変化したとしてもユーザに違和感を与えないからである。ユーザに対して早い段階で視聴基準位置から見た場合の映像を提示できる点で効果がある。
【００４６】
表示部３６がパララックスバリア方式の表示デバイスの場合、バリア制御部３４は、視点検出部２６から取得したユーザの視点の移動に同期して、視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。図２を参照して前述したとおり、バリア２２の位置は視点１２の位置に応じて定まる。例えばバリア制御部３４が視点検出部２６から取得した視点の移動の変位がＭｘであるとするならば、バリア２２が移動すべき位置は、画素群からバリア２２間での距離をＤ１およびバリア２２から視点１２までの距離をＤ２により定まる所定の量であるＤ１／（Ｄ１＋Ｄ２）を視点の移動量Ｍｘに乗じた距離だけ、視点の移動方向に移動した位置である。
【００４７】
バリア２２が、例えば液晶で実現されている場合には、バリア制御部３４は液晶にかける電圧を制御して、ユーザの視点から表示部３６を視聴したときに立体視可能となる位置にバリア２２の位置を変位させる。バリア２２が物理的に固定されたものであれば、バリア制御部３４は、図示しないサーボモータ等のアクチュエータを制御してバリア２２の位置を変位させる。これにより、ユーザの視点の移動に同期して、ユーザに対して適切な立体映像を提供することが可能となる。
【００４８】
映像識別部３８は、映像再生部３２再生する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する。映像再生部３２再生する映像が２次元映像である場合バリア２２は必要なく、むしろ視聴の妨げとなりうるものである。そこでバリア制御部３４は、ユーザの視聴する映像再生部３２再生する映像が２次元映像である場合、バリア２２の表示を消す。これは例えばバリア２２が液晶の場合には光を透過する状態とすればよいし、バリア２２が物理的に固定されたものであれば表示部３６の表面から離れた位置までバリア２２を変位させることで実現できる。
【００４９】
ここで動視差補正部３０は、映像識別部３８の識別結果を取得して、映像再生部３２が再生する映像が２次元映像である場合、映像識別部３８から取得した映像に特段の処理をせずに表示部３６に出力するようにしてもよい。映像再生部３２再生する映像が２次元映像である場合、左目用の視差画像と右目用の視差画像とは同一の画像となるため、動視差補正の有無に関わらず結果として表示部３６に出力する画像は映像識別部３８から取得した映像そのものになるが、計算コストや電力消費を抑えられる点で有利となる。
【００５０】
図３は、実施の形態に係る画像表示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、一例として、実施の形態に係る画像表示装置１００は、携帯型のタブレットＰＣや携帯ゲーム機が考えられる。
【００５１】
図５は、実施の形態に係る画像表示装置１００による動視差補正処理の流れを説明するフローチャートである。以下に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１２のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１２のＮ）と表示する。本フローチャートにおける処理は、画像表示装置１００の電源が投入されたときに開始する。
【００５２】
映像識別部３８は、映像再生部３２が再生するコンテンツの種類を識別して取得する（Ｓ１０）。ここでコンテンツの種類とは、そのコンテンツが被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを示す情報を意味する。映像再生部３２が再生するコンテンツの種類が立体映像の場合（Ｓ１２のＹ）、視点検出部２６は、撮像部２４から取得した映像に含まれる人物の顔を検出する（Ｓ１４）。
【００５３】
視点検出部２６の検出した人物が一人の場合（Ｓ１６のＹ）、動視差補正部３０は動視差補正制御を実行する（Ｓ１８）。映像再生部３２が再生するコンテンツの種類が２次元映像の場合（Ｓ１２のＮ）か、視点検出部２６の検出した人物が二人以上の場合（Ｓ１６のＮ）、動視差補正部３０は２次元表示制御を実行する（Ｓ２０）。具体的には、動視差補正部３０は、映像識別部３８から取得した映像に特段の処理をせずに表示部３６に出力する。画像表示装置１００は、以上の処理を継続することで動視差補正を実現する。
【００５４】
図６は、動視差補正制御の処理の流れを説明するフローチャートであり、図５におけるステップＳ１８を詳細に説明する図である。
【００５５】
視点検出部２６は、検出したユーザの顔をもとにユーザの目を検出して追跡する（Ｓ２２）。動視差補正部３０は、視点検出部２６の検出したユーザの視点の移動距離が所定の長さ以下の場合（Ｓ２４のＹ）、かつユーザの視点の移動速度が所定の大きさ以上となった場合（Ｓ２６のＹ）、視点の移動量に動視差の補正量を決定する（Ｓ２８）。
【００５６】
ここで動視差の補正量とは、例えば映像再生部３２が再生する映像が投影すべき物体の３次元モデルを持った３次元ゲームコンテンツ等の場合には視点の位置そのものであり、映像再生部３２が再生する映像がステレオ動画の場合、深度マップに基づく画像の変換量である。動視差補正部３０は、求めた補正量をもとに視差画像を変換する（Ｓ３０）。
【００５７】
ステップＳ２４において視点の移動距離が所定の長さ以上の場合（Ｓ２４のＮ）、動視差補正部３０は独断の処理をせず、視点検出部２６はユーザの視点の追跡を継続する。ステップＳ２６においてユーザの視点の移動速度が所定の大きさ以下となった場合（Ｓ２６のＮ）、動視差補正部３０は、映像変更検出部２８より映像の変更の有無を取得する。映像の変更がない場合（Ｓ３２のＮ）、動視差補正部３０は現在の補正量を段階的に減少する（Ｓ３４）。映像の変更があった場合（Ｓ３２のＹ）、動視差補正部３０は現在の補正量をキャンセルする（Ｓ３６）。以上の処理を繰り返すことにより、画像表示装置１００は動視差補正を実現する。
【００５８】
図７は、実施の形態に係る画像表示装置１００によるバリア制御処理の流れを説明するフローチャートである。本フローチャートの処理は、表示部３６がパララックスバリア方式の表示デバイスの場合に画像表示装置１００が実行する処理である。
【００５９】
映像識別部３８は、映像再生部３２が再生するコンテンツの種類を識別して取得する（Ｓ１０）。ここでコンテンツの種類とは、そのコンテンツが被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを示す情報を意味する。映像再生部３２が再生するコンテンツの種類が立体映像の場合（Ｓ１２のＹ）、視点検出部２６は、撮像部２４から取得した映像に含まれる人物の顔を検出する（Ｓ１４）。
【００６０】
視点検出部２６の検出した人物が一人の場合（Ｓ１６のＹ）、バリア制御部３４はバリア制御を実行する（Ｓ３８）。具体的には、バリア制御部３４は、視点検出部２６から取得したユーザの視点の移動に同期して、視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００６１】
映像再生部３２が再生するコンテンツの種類が２次元映像の場合（Ｓ１２のＮ）か、視点検出部２６の検出した人物が二人以上の場合（Ｓ１６のＮ）、バリア制御部３４および動視差補正部３０は２次元表示制御を実行する（Ｓ２０）。具体的には、バリア制御部３４はバリアの表示を消す。これにより、映像再生部３２が再生するコンテンツの種類が２次元映像の場合に再生に際して不必要なバリアを表示しないため、ユーザにとって視聴しやすい映像を提示することが可能となる。動視差補正部３０は、映像再生部３２が再生するコンテンツの種類が立体映像の場合であっても、いずれか一方の視差画像のみを表示部３６に出力する。これにより、パララックスバリア方式の表示デバイスで複数のユーザが立体映像を視聴しようとする際に生じうる、適正に視聴できない方向から映像を観察することを防止できる。
【００６２】
以上の構成による動作は以下のとおりである。ユーザが実施の形態に係る画像表示装置１００を用いて立体映像を観察すると、動視差補正部３０は、視点検出部２６が追跡したユーザの視点の移動量をもとに立体映像を動視差補正する。ユーザの視点が停止したことを契機として、動視差補正部３０は、立体映像を徐々に動視差補正前の映像に戻す。また、表示部３６がパララックスバリア方式の場合、バリア制御部３４は、ユーザの視点の移動量に応じて、移動後の視点から表示部３６を視聴したときに立体視可能となる位置にバリアの位置を変位させる。
【００６３】
以上説明したとおり、実施の形態によれば立体映像を視聴するユーザの顔から得られる情報を立体映像の提示に利用する技術を提供できる。
【００６４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
上記の説明では、視点検出部２６がユーザの視点を追跡する際にユーザの目を検出する場合について説明したが、視点の追跡は目以外の構造を検出すべき特徴点として用いてもよい。例えば、ユーザの鼻先をユーザの視点とみなして鼻を検出してもよいし、めがねフレーム等の人工物を追跡するのでもよい。
【００６６】
特に、表示部３６が偏光めがねやシャッタめがねを用いる方式の３ＤＴＶの場合、表示部３６を観察するユーザがめがねを装着していることが保証される。この状況を利用して、ユーザの装着するめがねにＬＥＤ（Light Emitting Diode）等の検出用マーカを装着して視点移動の検出に利用してもよい。あるいは、ユーザの装着するめがねがシャッタめがねの場合には、シャッタめがねのシャッタの開閉を検出して視点移動の検出に利用してもよい。いずれの場合も、視点検出部２６が、撮像部２４から取得したユーザの装着しているめがねを含む映像を画像解析することにより視点を検出する。めがね等は規格化された人工物であるため、ユーザの目を検出する場合と比較して誤検出を低減しうる点で有利である。
【符号の説明】
【００６７】
２４ 撮像部、 ２６ 視点検出部、 ２８ 映像変更検出部、 ３０ 動視差補正部、 ３２ 映像再生部、 ３４ バリア制御部、 ３６ 表示部、 ３８ 映像識別部、 １００ 画像表示装置。
【特許請求の範囲】
【請求項１】
パララックスバリア方式で映像を表示する表示部と、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出する視点検出部と、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する映像識別部と、
バリアを制御するバリア制御部とを含み、
前記視点検出部が二人以上のユーザの視点を検出し、かつ前記映像識別部がユーザの視聴する映像が立体映像であると識別した場合、前記バリア制御部はバリアの表示を消すとともに、前記表示部は左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示することを特徴とする画像表示装置。
【請求項２】
パララックスバリア方式で立体映像を表示するステップと、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出するステップと、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別するステップと、
二人以上のユーザの視点を検出し、かつユーザの視聴する映像が立体映像であると識別した場合、バリアの表示を消すとともに、左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示するステップとをプロセッサに実行させることを特徴とする画像表示方法。
【請求項３】
パララックスバリア方式で立体映像を表示する機能と、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出する機能と、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する機能と、
二人以上のユーザの視点を検出し、かつユーザの視聴する映像が立体映像であると識別した場合、バリアの表示を消すとともに、左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１】
パララックスバリア方式で映像を表示する表示部と、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出する視点検出部と、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する映像識別部と、
バリアを制御するバリア制御部とを含み、
前記視点検出部が二人以上のユーザの視点を検出し、かつ前記映像識別部がユーザの視聴する映像が立体映像であると識別した場合、前記バリア制御部はバリアの表示を消すとともに、前記表示部は左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示することを特徴とする画像表示装置。
【請求項２】
パララックスバリア方式で立体映像を表示するステップと、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出するステップと、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別するステップと、
二人以上のユーザの視点を検出し、かつユーザの視聴する映像が立体映像であると識別した場合、バリアの表示を消すとともに、左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示するステップとをプロセッサに実行させることを特徴とする画像表示方法。
【請求項３】
パララックスバリア方式で立体映像を表示する機能と、
被写体を視聴基準位置から見た場合の左目用の視差画像と右目用の視差画像とを含む立体映像を視聴するユーザの視点を検出する機能と、
ユーザの視聴する映像が、被写体の左目用の視差画像と右目用の視差画像とを含む立体映像か２次元映像かを識別する機能と、
二人以上のユーザの視点を検出し、かつユーザの視聴する映像が立体映像であると識別した場合、バリアの表示を消すとともに、左目用の視差画像と右目用の視差画像とのいずれか一方の視差画像を表示する機能とをコンピュータに実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２０１９４（Ｐ２０１２−１２０１９４Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１２−５２１（Ｐ２０１２−５２１）
【出願日】平成２４年１月５日（２０１２．１．５）
【分割の表示】特願２０１０−１７８８５２（Ｐ２０１０−１７８８５２）の分割
【原出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２４年１月５日（２０１２．１．５）
【分割の表示】特願２０１０−１７８８５２（Ｐ２０１０−１７８８５２）の分割
【原出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]