表示装置及び表示方法
【課題】複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整える。
【解決手段】複数の視点画像を表示する表示部１００と、複数の透過部１０５ａを有し、表示部１００からの光を分離させるパララックスバリア１０５と、視点画像のフレーム間の相関情報に基づき、表示部１００上の各視点画像の表示位置又はパララックスバリア１０５の各透過部１０５ａの透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部１２５とを有する表示装置１０が提供される。
【解決手段】複数の視点画像を表示する表示部１００と、複数の透過部１０５ａを有し、表示部１００からの光を分離させるパララックスバリア１０５と、視点画像のフレーム間の相関情報に基づき、表示部１００上の各視点画像の表示位置又はパララックスバリア１０５の各透過部１０５ａの透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部１２５とを有する表示装置１０が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に関し、特に複数の視点画像を表示する表示装置及び表示方法に関する。
【背景技術】
【０００２】
近年、左右の目に互いに異なった視点画像を導光することにより、立体映像の視聴を可能とする裸眼用の立体視表示装置（以下、表示装置と称呼する。）が普及しつつある。表示装置は、パララックスバリアやレンチキュラーレンズを用いて複数の視点画像のうち所定の視点画像を観察者の眼球に導光する。図８に示した表示装置９０では、パララックスバリア９０５の透過部９０５ａを通過する光線のうち、視点５，６の視点画像が観察者の左目、右目にそれぞれ導光されることにより、画像の立体視が可能になる。
【０００３】
表示部９００の表示画面上の各画素には、各視点画像が周期的に配置されている。このため、各周期の境界部分（例えば、６視点の場合には視点６と視点１）では、右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視現象が発生する。逆視領域では、観察者は立体画像の手前と奥とが反転した映像を知覚する、あるいは不自然に融合して見えるという違和感のある映像を見ることになる。
【０００４】
逆視現象は、裸眼用の表示装置において原理的に生じるものであるため根本的な解決は難しい。そこで、従来から、観察者の顔の位置を検出し、観察者の位置が逆視領域に入らないように制御する技術が提案されている。例えば、特許文献１，２には、観察者が逆視領域にいる又は逆視領域に近づいた場合、観察者の位置が逆視領域でなくなるように、多視点画像の表示位置を連続的に切り替える表示方法が提案されている。たとえば、図８では、上図で視点１〜６の視点画像を表示していたのに対して、下図で視点３〜８の視点画像を表示するように、多視点画像の表示位置を視点１〜６→視点２〜７→視点３〜８と「連続的に」切り替え、これにより、観察者の位置が正視領域になるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８２２１７号公報
【特許文献２】特開平７−３８９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記方法により正視領域を拡大するためには、かなり多くの視点画像を入力または生成しておく必要があり、画像処理の負担が大きかった。
【０００７】
表示画面に表示する画像の視点数を多くすることにより正視領域を拡大することも考えられる。しかし、表示画面に表示する視点数が多くなるほど画像の解像度が悪くなる。よって、正視領域を拡大するためにむやみに視点数を増やすと画質が低下してしまう。
【０００８】
上記課題に対して、本発明の目的とするところは、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることが可能な、新規かつ改良された表示装置及び表示方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、複数の視点画像を表示する表示部と、複数の透過部を有し、前記表示部からの光を分離させる光分離部と、前記視点画像のフレーム間の相関情報に基づき、前記表示部上の各視点画像の表示位置又は前記光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部と、を備える表示装置が提供される。
【００１０】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像のシーンチェンジに基づき、前記切り替えタイミングを制御してもよい。
【００１１】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像の変動度の大きさに基づき、前記切り替えタイミングを制御してもよい。
【００１２】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１３】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１４】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１５】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１６】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１７】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わなくてもよい。
【００１８】
前記表示制御部は、前記観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わなくてもよい。
【００１９】
前記表示制御部は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された複数の視点画像のフレーム間の相関情報を取得するステップと、前記取得された前記視点画像のフレーム間の相関情報に基づき前記表示部上の各視点画像の表示位置又は前記表示部からの光を分離させる複数の透過部を有する光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御するステップと、を含む表示方法が提供される。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る表示装置の概略構成図である。
【図２】一実施形態に係る立体ディスプレイとパララックスバリアとの概略構成図である。
【図３】一実施形態に係る表示装置の機能構成図である。
【図４】一実施形態に係る多視点画像の位置切替処理フローを示した図である。
【図５】一実施形態の変形例１に係る多視点画像の位置切替処理フローを示した図である。
【図６】変形例１に係る効果を説明するための図である。
【図７】一実施形態の変形例２に係る多視点画像の位置切替処理フローを示した図である。
【図８】多視点画像の位置切替の比較例を示した図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の各実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、本発明の実施形態は次の順序で説明される。
＜一実施形態＞
［表示装置の概略構成］
［表示装置の機能構成］
［表示装置の動作］
＜変形例１＞
［表示装置の動作］
＜変形例２＞
［表示装置の動作］
【００２５】
＜一実施形態＞
［表示装置の概略構成］
まず、本発明の一実施形態に係る表示装置の概略構成について説明する。図１及び図２に示すように、本実施形態に係る表示装置１０は、表示部１００及びパララックスバリア１０５を有し、立体視画像を表示する。表示部１００は、複数の視点画像を表示する。本実施形態では、表示部１００には６視点の視点画像が周期的に配置されている。パララックスバリア１０５は、各視点画像から右目用の画像及び左目用の画像を分離させる。図２に示したように、パララックスバリア１０５は、複数の透過部１０５ａを有し、各透過部１０５ａの透過率を変えることにより、表示部１００からの光を分離させる。
【００２６】
表示部１００は、例えばＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、または有機ＥＬ（Electro-Luminescence）パネルなどのディスプレイであってもよい。
【００２７】
パララックスバリア１０５は、表示部１００からの光を分離させる光分離部の一例である。光分離部の他の例としては、レンチキュラーレンズ等のパララックス素子が挙げられる。パララックス素子としては、３Ｄモード固定のパッシブ素子や、２Ｄ／３Ｄ切り替えが可能なアクティブ素子が考えられるが、本実施形態においては、これらを限定しない。また、本実施形態では、パララックスバリア１１０は、表示部１００の画素面の前方に置かれているが、表示部が非自発光型の場合はこれに限られず、表示部１００の後方に置かれてもよい。
【００２８】
本実施形態では、図１に示したように、観察者は、パララックスバリア１０５を通して各視点画像を見るため、正視領域では右目には右目用の画像だけが入り、左目には左目用の画像だけが入る。このようにして右目に見える映像と左目に見える映像とが異なることにより、立体表示部１００ａに映し出される映像は立体的に見える。
【００２９】
視点数が６の場合、６つの視点画像が、表示部１００の各画素の位置に周期的に配置される。表示部１００の前のパララックスバリア１０５は、透過部１０５ａにより６視点の視点画像をそれぞれ空間的に分離させる。図１では、観察者は、右目で右目用の視点４の視点画像を観察し、左目で左目用の視点３の視点画像を観察している。ここでは、観察者は、６視点の視点画像のうちの中心画像である、視点３、４の視点画像を観察するため、逆視領域に最も遠い、最もよい位置にいるといえる。このように初期位置では、観察者は中心画像を見る位置にいる。
【００３０】
（逆視領域／準正視領域）
前述したように、視点画像が周期的に配置されることにより、各周期の境界部分では右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視領域が存在する。逆視領域では、観察者に不快な映像を見せることになるため好ましくない。
【００３１】
逆視領域での視聴を避けるためには、例えば、図８の上図に示したように、観察者が逆視領域にいるか、逆視領域に近づいた場合、観察者の位置が正視領域になるように、多視点画像の表示位置を「連続的に」切り替えて表示する方法が考えられる。図８では、上図で視点１〜６の視点画像を表示していたのに対して、下図で視点３〜８の視点画像を表示するように、多視点画像の表示位置を視点１〜６→視点２〜７→視点３〜８と「連続的に」切り替えている。
【００３２】
このように正視領域をずらすためには、かなり多くの視点画像を入力または生成して用意しておく必要がある。しかし、多くの視点画像を用意する際、画像処理量が多く、処理の負担が大きくなってしまう。よって、以下に説明する本実施形態では、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整える方法を提案する。
【００３３】
なお、逆視領域以外は正視領域であるが、本明細書では、逆視領域と正視領域とに跨った領域を準正視領域とも称呼する。例えば、図１では、視点６、１の視点画像を視聴する領域が逆視領域である。これに対して、逆視領域の両側の領域、つまり、視点画像が視点５、視点６となる領域、及び視点画像が視点１、視点２となる領域が準正視領域である。しかしながら、準正視領域は、これに限られず、より多くの領域を準正視領域としてもよいし、準正視領域を設けなくてもよい。
【００３４】
［表示装置の機能構成］
本実施形態に係る表示装置１０の機能構成について図３を参照しながら説明する。本実施形態に係る表示装置１０は、表示部１００、パララックスバリア１０５、視点位置検出部１１０、多視点画像生成部１１５、フレーム間相関検出部１２０、画像制御部１２５、表示駆動部１３０及び記憶部１３５を有する。表示部１００及びパララックスバリア１０５については、上述したため、ここでは説明を省略し、他の機能部についての説明に留める。
【００３５】
視点位置検出部１１０は、図示しないカメラを用いて観察者を撮像し、得られた画像から観察者の顔を認識する。市販のデジタルスチルカメラにおいて、顔を検出してフォーカシングするといった機能を持つものがあるように、顔検出技術として存在する既存技術を用いることができる。また、テンプレートと比較することにより撮像された顔を識別する顔認識の既存技術も用いることができる。本実施形態では、このような公知のあらゆる顔認識技術を使うことができる。なお、カメラの仕様としては、Ｗｅｂカメラのような動画像を撮像できるものを仕様してもよい。また、一般的に距離計測を行うためには２台以上のカメラが必要であるが、１台のカメラでも物体認識技術により距離情報を取得することができる。
【００３６】
視点位置検出部１１０は、このようにして撮影した画像データから顔検出機能により、観察者が存在する方向を検出する。視点位置検出部１１０は、認識された観察者の顔から観察者の位置と距離を算出する。観察者が複数存在する場合には、視点位置検出部１１０は、全観察者の位置と距離を算出する。視点位置検出部１１０により行われる距離の測定方法としては、大きく次の２つが考えられる。
【００３７】
距離測定方法の１つとしては、観察者は、ある決められた位置（例えば画面中央より２ｍの位置）に移動し、その位置においてカメラと用いて顔を撮影する。そのときに撮像される顔画像の大きさを基準とする。基準画像の撮像は、コンテンツ視聴前に初期設定としての処理を行う。より具体的には、視点位置検出部１１０は、視距離に対する画像上の平均的な顔の大きさを予め調べておき、記憶部１３５に記録しておく。検出した観察者の顔画像の大きさと記憶部１３５に記憶されたデータとを比較し、対応する距離データを読み出すことにより、観察者の位置情報及び表示部１００から観察者までの距離情報を取得することができる。なお、視点位置検出部１１０は、観察者の位置を検出するために、顔検出機能を用いたフェイストラッキングを用いてもよいが、これに限られず、例えば、ヘッドトラッキングやアイトラッキングを用いてもよい。
【００３８】
距離測定方法の他の１つとしては、上記顔認識機能により観察者の左右の眼の検出が可能である。カメラにより撮像された左右の眼のそれぞれの重心位置の距離を算出する。一般に、裸眼用の立体ディスプレイには、設計視距離がある。また、人間の左右の瞳孔間距離（眼間距離）は平均６５ｍｍといわれている。瞳孔間距離６５ｍｍの観察者がカメラから「設計視距離」だけ離れたときを基準とし、視点位置検出部１１０は、上記顔認識動作の際、算出された左右の眼の重心位置の距離から観察者までの距離を算出する。
【００３９】
多視点画像生成部１１５は、複数の視点画像を入力又は生成する。本実施形態では、６視点の視点画像が入力されるか、又は入力画像から６視点の視点画像が生成される。
【００４０】
フレーム間相関検出部１２０は、視点画像のフレーム間の相関情報を検出し、画像制御部１２５に出力する。視点画像のフレーム間の相関情報の一例としては、視点画像のシーンチェンジが挙げられる。この場合、視点画像のシーンチェンジが検出されたとき、視点画像が切り替えられることになる。
【００４１】
シーンとは、例えば、空間的に連続するひとまとまりの画像区間（画像クリップ）を意味し、シーンチェンジとは、例えば、シーンの切り替え点、すなわち、時間的若しくは空間的に不連続な画像クリップ同士が連結された境界である画像の変化点を意味する。なお、シーンチェンジは、カットチェンジ、ショットチェンジ、画像変化点等と称されることもあるが、本明細書ではシーンチェンジと称する。
【００４２】
例えば、フレーム間相関検出部１２０は、フレーム間の画像の輝度が大きく変わった場合をシーンチェンジとして検出してもよい。また、フレーム間相関検出部１２０は、フレーム間の画像のカラーバランスの変化、フレーム間の画像の色の変化、フレーム間の画像におけるテロップなどの出現等からシーンチェンジを検出してもよい。
【００４３】
フレーム間相関検出部１２０により実行されるシーンチェンジの検出には公知のあらゆる技術を用いることができる。シーンチェンジの検出方法の一例としては、統計量差分法、画像差分法、符号化データ法、エッジ法、ヒストグラム差分法等が挙げられる。
【００４４】
例えば、ＭＰＲＧのＤＣＴ（離散コサイン変換）のＤＣ係数の所定フレーム間差分や所定ヒストグラムデータ量の相違、または画像のベースバンド帯域での輝度信号、若しくは色信号の所定ヒストグラムデータ量のフレーム間差分等により所定のシーンチェンジを検出することができる。また、画像のエッジ量が変化する特性を用いて行われる所定の信号処理によりフェードやワイプといったゆっくりとしたシーンチェンジを検出することができる。このように、シーンチェンジの検出には、上記技術を用いて、画像上の場面の切り替えによるカットチェンジ、画像上のディゾルブやフェードやワイプによるシーンチェンジ等を検出することが含まれる。また、取得される画像内に予め埋め込まれたチャプタ点の情報を検出することにより、シーンチェンジを検出してもよい。
【００４５】
視点画像のフレーム間の相関情報の他の例としては、視点画像の変動度の大きさが挙げられる。この場合、視点画像の変動度が予め定められた所定の閾値以上の大きさとなったとき、視点画像が切り替えられることになる。例えば、カメラワークのように、シーンが切り替わるのではなく、カメラがある方向に動いているような場合や、ズームインやズームアウト等カメラのカットは変わらないが視点画像全体が変動している場合が検出対象となる。
【００４６】
変動度の大きさの検出方法としては、例えば、動きベクトルを用いて視点画像の変動度の大きさを推測することができる。また、画像中の撮影対象の移動や変形、高速に移動する物体の出現や消滅の変化などから視点画像の変動度の大きさを検出してもよい。また、カメラの絞りなどの情報をカメラ側から取得することにより、視点画像の変動度の大きさを検出してもよい。なお、以上に示した視点画像のフレーム間の相関とは、動画像だけが対象ではなく、静止画の画像間の相関も含む。
【００４７】
画像制御部１２５は、多視点画像生成部１１５により生成された視点画像を図１の初期位置に表示するように制御する。例えば、表示装置１０がテレビの場合には、テレビの３Ｄモードをオンした時、又は、３Ｄのテレビの電源をオンした時に、視点位置を検出して観察者に多視点画像の中心画像を提示する。
【００４８】
画像制御部１２５は、視点画像のフレーム間の相関情報に基づき、表示部１００上の各視点画像の表示位置又はパララックスバリア１０５の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する。画像制御部１２５は、切り替えのタイミングになったら、観察者の目の位置に中心画像が表示されるように、表示部１００の表示位置又はパララックスバリア１０５の複数の透過部１０５ａの透過率の少なくともいずれかを切り替える。例えば、表示制御部１２５は、視点画像のフレーム間の相関情報が低い場面で上記切り替えを行うように制御する。視点画像のフレーム間の相関情報が低い場面とは、視点画像のシーンチェンジを検出した場合や、視点画像の変動度が所定以上の大きさになったことを検出した場合である。
【００４９】
表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に近づくように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５０】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５１】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５２】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５３】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５４】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わないようにしてもよい。
【００５５】
また、表示制御部１２５は、観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わないようにしてもよい。
【００５６】
また、表示制御部１２５は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記中心画像が各観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５７】
なお、前記各視点画像の表示位置を切り替えるとは、各視点画像を表示する担当画素を切り替えることをいう。また、可変のパララックスバリアの各透過部の透過率を切り替えるとは、バリアに配置された電極にどのような大きさの電圧を印加するかによって各透過部１０５ａの透過率の高低を制御することをいうが、パララックスバリアの物理的な位置を変えてもよい。
【００５８】
表示駆動部１３０は、表示部１００とパララックスバリア１０５のそれぞれを上記の方法で電気的又は物理的に駆動する。
【００５９】
記憶部１３５は、画像制御部１２５等の各部の機能を実現するためのプログラムや各種データが記憶されている。
【００６０】
なお、表示装置１０は、例えばテレビやＰＣ、モバイル機器などであり得るが、必ずしも同じ筐体に表示部１００を含む必要はない。例えば、表示部１００は、表示装置１０と一体であってその表面に設けられてもよいし、表示装置１０には含まれずに独立して設けられていてもよい。また、表示装置１０は、必ずしも同じ筐体に上記各構成要素のすべてを含む必要はない。例えば、記憶部１３５は表示装置１０には含まれずに、例えばネットワーク上のストレージによってその機能が提供されてもよい。
【００６１】
表示装置１０は、画像を適切な位置に表示するための各種演算を行う演算処理部を有しており、例えばＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、またはＤＳＰ（Digital Signal Processor）などによって実現されうる。表示装置１０の各部は、記憶部１３５に格納されたプログラムに従って動作してもよい。
【００６２】
［表示装置の動作］
次に、図４のフローチャートを参照しながら、本実施形態に係る表示装置１０の動作について説明する。図４で処理が開始されると、ステップＳ４００にて、視点位置検出部１１０は、カメラに視聴環境を撮像させ、撮像空間内の顔を検出し、観察者空間内の観察者の位置を検出する。次に、ステップＳ４０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。シーンチェンジの検出は、前述の通りフレーム間の相関関係を示す情報の一例である。
【００６３】
ステップＳ４０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ４０５にて、シーンチェンジを検出したと判定された場合、ステップＳ４１０に進んで、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ４１５にて、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像を表示させ、本処理を終了する。
【００６４】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、観察者の視聴位置に多視点画像の中心画像（例えば、６視点の場合には視点３，４の画像）が配置されるように、表示する多視点画像を切り替えることができる（図６を参照）。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。これにより、観察者は、違和感なく絶えず正視領域で良好な画像を視聴することができる。また、観察者は、必ずしも表示画面の中央で視聴しなくても正視領域での視聴が可能になる。このようにして、観察者に対して快適な立体映像の視聴環境を提供することができる。
【００６５】
また、本実施形態では、観察者の視聴位置に多視点画像の中心画像が配置されるように視点画像の切り替えが行われる。これにより、画像処理で生成する又はカメラで撮影する多視点画像をたくさん用意しておく必要がなくなり、処理負担を軽減できる。なお、上記のように観察者の視聴位置に多視点画像の中心画像が配置されるように画像を切り替えることが好ましいが、必ずしもこれに限られず、例えば、視点画像の中心画像が観察者の位置に近づくように各視点画像の配置を切り替えるようにしてもよい。
【００６６】
＜変形例１＞
［表示装置の動作］
次に、変形例１に係る表示装置１０の動作について、図５のフローチャートを参照しながら説明する。図５で処理が開始されると、ステップＳ５００にて、視点位置検出部１１０は、観察者空間内の観察者の位置を検出する。次に、ステップＳ５０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。
【００６７】
ステップＳ５０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ５０５にて、シーンチェンジを検出したと判定された場合、ステップＳ５１０に進んで、表示制御部１２５は、観察者が逆視領域又は準正視領域にいるかを判定する。図１に示したように、準正視領域は、逆視領域に近接する領域である。ここでは、準正視領域は、視点５，６及び視点１、２の領域であるが、これに限られず、例えば、視点５，６及び視点１、２の領域とともに、視点４，５及び視点２、３を準正視領域に含めてもよい。
【００６８】
ステップＳ５１０にて、観察者が逆視領域又は準正視領域にいないと判定された場合、本処理を終了する。一方、ステップＳ５１０にて、観察者が逆視領域又は準正視領域にいると判定された場合、ステップＳ５１５に進んで、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ５２０にて、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像を表示させ、本処理を終了する。例えば、図６の上図に示したように観察者が準正視領域にいる場合、画像のシーンが変わるタイミングで、下図に示したように観察者の位置に視点３、４の中心画像が配置される。よって、観察者は、視聴位置を変えることなく逆視領域での視聴を回避することができる。
【００６９】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、観察者の視聴位置に多視点画像の中心画像（例えば、６視点の場合には視点３，４の画像）が配置されるように、表示する多視点画像を切り替える。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。特に、本変形例では、観察者が正視領域にいる場合には上記切り替えをしないことにより、画像の切り替えが頻繁に生じることを回避することができる。
【００７０】
＜変形例２＞
［表示装置の動作］
次に、変形例２に係る表示装置１０の動作について、図７のフローチャートを参照しながら説明する。変形例２では、複数の観察者が視聴していることを想定する。
【００７１】
図７で処理が開始されると、ステップＳ７００にて、視点位置検出部１１０は、観察者の位置を検出し、ステップＳ７０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。
【００７２】
ステップＳ７０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ７０５にて、シーンチェンジを検出したと判定された場合、ステップＳ７１０に進んで、表示制御部１２５は、観察者が一人でも逆視領域にいるかを判定する。ここでは逆視領域のみを判定対象としているが、変形例１のように観察者が逆視領域又は準正視領域にいるかを判定してもよい。
【００７３】
ステップＳ７１０にて、観察者が一人も逆視領域にいないと判定された場合、本処理を終了する。一方、ステップＳ７１０にて、観察者が一人でも逆視領域にいると判定された場合、ステップＳ７１５に進んで、表示制御部１２５は、切り替え後、全ての観察者が正視領域にいるかを判定する。切り替え後、観察者が一人でも逆視領域にいることになると判定された場合、本処理を終了する。一方、ステップＳ７１５にて、切り替え後、全ての観察者が正視領域にいることになると判定された場合、ステップＳ７２０に進んで、表示制御部１２５は、全ての観察者が正視領域にいるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ７２５にて、表示制御部１２５は、全ての観察者が正視領域で視聴するように各視点画像を表示させ、本処理を終了する。
【００７４】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、極力、全ての観察者が正視領域で視聴できるように、表示する多視点画像が切り替えられる。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の全ての観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。
【００７５】
上記実施形態及び変形例において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、表示装置の実施形態を、表示方法の実施形態とすることができる。
【００７６】
以上に説明した実施形態及び各変形例によれば、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることが可能な表示装置１０を提供することができる。
【００７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７８】
例えば、上記実施形態及び各変形例では、眼間２視点の場合について説明したが、これに限られない。本発明では、眼間３視点の場合にも適用可能である。たとえば、眼間３視点の場合にも逆視領域に近接する区域を準正視領域として、観察者が逆視領域又は準正視領域に位置する場合、上記シーンチェンジのタイミングにて観察者の位置に中心画像が配置されるように画像を切り替えてもよい。なお、眼間３視点の場合であって視点数が７視点の場合、中心画像は、視点３，５となる。
【００７９】
また、本発明では、準正視領域に観察者が入っても逆視領域でなければ画像の切り替えをしなくてもよい。例えば、逆視領域から±１視点又は±２視点は切り替えないとしてもよい。
【００８０】
また、フレーム間の相関が低い状態が検出されても、画像の切り替えを行わない制御条件を設けてもよい。例えば、観察者の視聴位置の変位を検出し、その変位が小さい場合には、フレーム間の相関が低い状態が検出されても画像の切り替えを行わないように制御してもよい。視聴位置の変位が小さい場合とは、例えば、観察者の元の位置から±１視点の範囲の変位であってもよいし、±２視点の範囲の変位であってもよい。また、例えば、視聴位置の変位が小さい場合とは、生成された多視点画像の半分の範囲の変位であってもよい。生成された多視点画像が８視点の場合、±視点２の範囲の変位になる。
【００８１】
なお、本発明では、右眼用及び左眼用画像の空間分離をレンチキュラーレンズやパララックスバリアで制御したが、裸眼で立体映像を視聴できれば他のどんな機構を用いてもよい。
【００８２】
また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００８３】
１０ 表示装置
１００ 表示部
１０５ パララックスバリア
１０５ａ 透過部
１１０ 視点位置検出部
１１５ 多視点画像生成部
１２０ フレーム間相関検出部
１２５ 画像制御部
１３０ 表示駆動部
１３５ 記憶部
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に関し、特に複数の視点画像を表示する表示装置及び表示方法に関する。
【背景技術】
【０００２】
近年、左右の目に互いに異なった視点画像を導光することにより、立体映像の視聴を可能とする裸眼用の立体視表示装置（以下、表示装置と称呼する。）が普及しつつある。表示装置は、パララックスバリアやレンチキュラーレンズを用いて複数の視点画像のうち所定の視点画像を観察者の眼球に導光する。図８に示した表示装置９０では、パララックスバリア９０５の透過部９０５ａを通過する光線のうち、視点５，６の視点画像が観察者の左目、右目にそれぞれ導光されることにより、画像の立体視が可能になる。
【０００３】
表示部９００の表示画面上の各画素には、各視点画像が周期的に配置されている。このため、各周期の境界部分（例えば、６視点の場合には視点６と視点１）では、右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視現象が発生する。逆視領域では、観察者は立体画像の手前と奥とが反転した映像を知覚する、あるいは不自然に融合して見えるという違和感のある映像を見ることになる。
【０００４】
逆視現象は、裸眼用の表示装置において原理的に生じるものであるため根本的な解決は難しい。そこで、従来から、観察者の顔の位置を検出し、観察者の位置が逆視領域に入らないように制御する技術が提案されている。例えば、特許文献１，２には、観察者が逆視領域にいる又は逆視領域に近づいた場合、観察者の位置が逆視領域でなくなるように、多視点画像の表示位置を連続的に切り替える表示方法が提案されている。たとえば、図８では、上図で視点１〜６の視点画像を表示していたのに対して、下図で視点３〜８の視点画像を表示するように、多視点画像の表示位置を視点１〜６→視点２〜７→視点３〜８と「連続的に」切り替え、これにより、観察者の位置が正視領域になるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８２２１７号公報
【特許文献２】特開平７−３８９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記方法により正視領域を拡大するためには、かなり多くの視点画像を入力または生成しておく必要があり、画像処理の負担が大きかった。
【０００７】
表示画面に表示する画像の視点数を多くすることにより正視領域を拡大することも考えられる。しかし、表示画面に表示する視点数が多くなるほど画像の解像度が悪くなる。よって、正視領域を拡大するためにむやみに視点数を増やすと画質が低下してしまう。
【０００８】
上記課題に対して、本発明の目的とするところは、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることが可能な、新規かつ改良された表示装置及び表示方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、複数の視点画像を表示する表示部と、複数の透過部を有し、前記表示部からの光を分離させる光分離部と、前記視点画像のフレーム間の相関情報に基づき、前記表示部上の各視点画像の表示位置又は前記光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部と、を備える表示装置が提供される。
【００１０】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像のシーンチェンジに基づき、前記切り替えタイミングを制御してもよい。
【００１１】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像の変動度の大きさに基づき、前記切り替えタイミングを制御してもよい。
【００１２】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１３】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１４】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１５】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１６】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００１７】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わなくてもよい。
【００１８】
前記表示制御部は、前記観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わなくてもよい。
【００１９】
前記表示制御部は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された複数の視点画像のフレーム間の相関情報を取得するステップと、前記取得された前記視点画像のフレーム間の相関情報に基づき前記表示部上の各視点画像の表示位置又は前記表示部からの光を分離させる複数の透過部を有する光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御するステップと、を含む表示方法が提供される。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る表示装置の概略構成図である。
【図２】一実施形態に係る立体ディスプレイとパララックスバリアとの概略構成図である。
【図３】一実施形態に係る表示装置の機能構成図である。
【図４】一実施形態に係る多視点画像の位置切替処理フローを示した図である。
【図５】一実施形態の変形例１に係る多視点画像の位置切替処理フローを示した図である。
【図６】変形例１に係る効果を説明するための図である。
【図７】一実施形態の変形例２に係る多視点画像の位置切替処理フローを示した図である。
【図８】多視点画像の位置切替の比較例を示した図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の各実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、本発明の実施形態は次の順序で説明される。
＜一実施形態＞
［表示装置の概略構成］
［表示装置の機能構成］
［表示装置の動作］
＜変形例１＞
［表示装置の動作］
＜変形例２＞
［表示装置の動作］
【００２５】
＜一実施形態＞
［表示装置の概略構成］
まず、本発明の一実施形態に係る表示装置の概略構成について説明する。図１及び図２に示すように、本実施形態に係る表示装置１０は、表示部１００及びパララックスバリア１０５を有し、立体視画像を表示する。表示部１００は、複数の視点画像を表示する。本実施形態では、表示部１００には６視点の視点画像が周期的に配置されている。パララックスバリア１０５は、各視点画像から右目用の画像及び左目用の画像を分離させる。図２に示したように、パララックスバリア１０５は、複数の透過部１０５ａを有し、各透過部１０５ａの透過率を変えることにより、表示部１００からの光を分離させる。
【００２６】
表示部１００は、例えばＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、または有機ＥＬ（Electro-Luminescence）パネルなどのディスプレイであってもよい。
【００２７】
パララックスバリア１０５は、表示部１００からの光を分離させる光分離部の一例である。光分離部の他の例としては、レンチキュラーレンズ等のパララックス素子が挙げられる。パララックス素子としては、３Ｄモード固定のパッシブ素子や、２Ｄ／３Ｄ切り替えが可能なアクティブ素子が考えられるが、本実施形態においては、これらを限定しない。また、本実施形態では、パララックスバリア１１０は、表示部１００の画素面の前方に置かれているが、表示部が非自発光型の場合はこれに限られず、表示部１００の後方に置かれてもよい。
【００２８】
本実施形態では、図１に示したように、観察者は、パララックスバリア１０５を通して各視点画像を見るため、正視領域では右目には右目用の画像だけが入り、左目には左目用の画像だけが入る。このようにして右目に見える映像と左目に見える映像とが異なることにより、立体表示部１００ａに映し出される映像は立体的に見える。
【００２９】
視点数が６の場合、６つの視点画像が、表示部１００の各画素の位置に周期的に配置される。表示部１００の前のパララックスバリア１０５は、透過部１０５ａにより６視点の視点画像をそれぞれ空間的に分離させる。図１では、観察者は、右目で右目用の視点４の視点画像を観察し、左目で左目用の視点３の視点画像を観察している。ここでは、観察者は、６視点の視点画像のうちの中心画像である、視点３、４の視点画像を観察するため、逆視領域に最も遠い、最もよい位置にいるといえる。このように初期位置では、観察者は中心画像を見る位置にいる。
【００３０】
（逆視領域／準正視領域）
前述したように、視点画像が周期的に配置されることにより、各周期の境界部分では右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視領域が存在する。逆視領域では、観察者に不快な映像を見せることになるため好ましくない。
【００３１】
逆視領域での視聴を避けるためには、例えば、図８の上図に示したように、観察者が逆視領域にいるか、逆視領域に近づいた場合、観察者の位置が正視領域になるように、多視点画像の表示位置を「連続的に」切り替えて表示する方法が考えられる。図８では、上図で視点１〜６の視点画像を表示していたのに対して、下図で視点３〜８の視点画像を表示するように、多視点画像の表示位置を視点１〜６→視点２〜７→視点３〜８と「連続的に」切り替えている。
【００３２】
このように正視領域をずらすためには、かなり多くの視点画像を入力または生成して用意しておく必要がある。しかし、多くの視点画像を用意する際、画像処理量が多く、処理の負担が大きくなってしまう。よって、以下に説明する本実施形態では、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整える方法を提案する。
【００３３】
なお、逆視領域以外は正視領域であるが、本明細書では、逆視領域と正視領域とに跨った領域を準正視領域とも称呼する。例えば、図１では、視点６、１の視点画像を視聴する領域が逆視領域である。これに対して、逆視領域の両側の領域、つまり、視点画像が視点５、視点６となる領域、及び視点画像が視点１、視点２となる領域が準正視領域である。しかしながら、準正視領域は、これに限られず、より多くの領域を準正視領域としてもよいし、準正視領域を設けなくてもよい。
【００３４】
［表示装置の機能構成］
本実施形態に係る表示装置１０の機能構成について図３を参照しながら説明する。本実施形態に係る表示装置１０は、表示部１００、パララックスバリア１０５、視点位置検出部１１０、多視点画像生成部１１５、フレーム間相関検出部１２０、画像制御部１２５、表示駆動部１３０及び記憶部１３５を有する。表示部１００及びパララックスバリア１０５については、上述したため、ここでは説明を省略し、他の機能部についての説明に留める。
【００３５】
視点位置検出部１１０は、図示しないカメラを用いて観察者を撮像し、得られた画像から観察者の顔を認識する。市販のデジタルスチルカメラにおいて、顔を検出してフォーカシングするといった機能を持つものがあるように、顔検出技術として存在する既存技術を用いることができる。また、テンプレートと比較することにより撮像された顔を識別する顔認識の既存技術も用いることができる。本実施形態では、このような公知のあらゆる顔認識技術を使うことができる。なお、カメラの仕様としては、Ｗｅｂカメラのような動画像を撮像できるものを仕様してもよい。また、一般的に距離計測を行うためには２台以上のカメラが必要であるが、１台のカメラでも物体認識技術により距離情報を取得することができる。
【００３６】
視点位置検出部１１０は、このようにして撮影した画像データから顔検出機能により、観察者が存在する方向を検出する。視点位置検出部１１０は、認識された観察者の顔から観察者の位置と距離を算出する。観察者が複数存在する場合には、視点位置検出部１１０は、全観察者の位置と距離を算出する。視点位置検出部１１０により行われる距離の測定方法としては、大きく次の２つが考えられる。
【００３７】
距離測定方法の１つとしては、観察者は、ある決められた位置（例えば画面中央より２ｍの位置）に移動し、その位置においてカメラと用いて顔を撮影する。そのときに撮像される顔画像の大きさを基準とする。基準画像の撮像は、コンテンツ視聴前に初期設定としての処理を行う。より具体的には、視点位置検出部１１０は、視距離に対する画像上の平均的な顔の大きさを予め調べておき、記憶部１３５に記録しておく。検出した観察者の顔画像の大きさと記憶部１３５に記憶されたデータとを比較し、対応する距離データを読み出すことにより、観察者の位置情報及び表示部１００から観察者までの距離情報を取得することができる。なお、視点位置検出部１１０は、観察者の位置を検出するために、顔検出機能を用いたフェイストラッキングを用いてもよいが、これに限られず、例えば、ヘッドトラッキングやアイトラッキングを用いてもよい。
【００３８】
距離測定方法の他の１つとしては、上記顔認識機能により観察者の左右の眼の検出が可能である。カメラにより撮像された左右の眼のそれぞれの重心位置の距離を算出する。一般に、裸眼用の立体ディスプレイには、設計視距離がある。また、人間の左右の瞳孔間距離（眼間距離）は平均６５ｍｍといわれている。瞳孔間距離６５ｍｍの観察者がカメラから「設計視距離」だけ離れたときを基準とし、視点位置検出部１１０は、上記顔認識動作の際、算出された左右の眼の重心位置の距離から観察者までの距離を算出する。
【００３９】
多視点画像生成部１１５は、複数の視点画像を入力又は生成する。本実施形態では、６視点の視点画像が入力されるか、又は入力画像から６視点の視点画像が生成される。
【００４０】
フレーム間相関検出部１２０は、視点画像のフレーム間の相関情報を検出し、画像制御部１２５に出力する。視点画像のフレーム間の相関情報の一例としては、視点画像のシーンチェンジが挙げられる。この場合、視点画像のシーンチェンジが検出されたとき、視点画像が切り替えられることになる。
【００４１】
シーンとは、例えば、空間的に連続するひとまとまりの画像区間（画像クリップ）を意味し、シーンチェンジとは、例えば、シーンの切り替え点、すなわち、時間的若しくは空間的に不連続な画像クリップ同士が連結された境界である画像の変化点を意味する。なお、シーンチェンジは、カットチェンジ、ショットチェンジ、画像変化点等と称されることもあるが、本明細書ではシーンチェンジと称する。
【００４２】
例えば、フレーム間相関検出部１２０は、フレーム間の画像の輝度が大きく変わった場合をシーンチェンジとして検出してもよい。また、フレーム間相関検出部１２０は、フレーム間の画像のカラーバランスの変化、フレーム間の画像の色の変化、フレーム間の画像におけるテロップなどの出現等からシーンチェンジを検出してもよい。
【００４３】
フレーム間相関検出部１２０により実行されるシーンチェンジの検出には公知のあらゆる技術を用いることができる。シーンチェンジの検出方法の一例としては、統計量差分法、画像差分法、符号化データ法、エッジ法、ヒストグラム差分法等が挙げられる。
【００４４】
例えば、ＭＰＲＧのＤＣＴ（離散コサイン変換）のＤＣ係数の所定フレーム間差分や所定ヒストグラムデータ量の相違、または画像のベースバンド帯域での輝度信号、若しくは色信号の所定ヒストグラムデータ量のフレーム間差分等により所定のシーンチェンジを検出することができる。また、画像のエッジ量が変化する特性を用いて行われる所定の信号処理によりフェードやワイプといったゆっくりとしたシーンチェンジを検出することができる。このように、シーンチェンジの検出には、上記技術を用いて、画像上の場面の切り替えによるカットチェンジ、画像上のディゾルブやフェードやワイプによるシーンチェンジ等を検出することが含まれる。また、取得される画像内に予め埋め込まれたチャプタ点の情報を検出することにより、シーンチェンジを検出してもよい。
【００４５】
視点画像のフレーム間の相関情報の他の例としては、視点画像の変動度の大きさが挙げられる。この場合、視点画像の変動度が予め定められた所定の閾値以上の大きさとなったとき、視点画像が切り替えられることになる。例えば、カメラワークのように、シーンが切り替わるのではなく、カメラがある方向に動いているような場合や、ズームインやズームアウト等カメラのカットは変わらないが視点画像全体が変動している場合が検出対象となる。
【００４６】
変動度の大きさの検出方法としては、例えば、動きベクトルを用いて視点画像の変動度の大きさを推測することができる。また、画像中の撮影対象の移動や変形、高速に移動する物体の出現や消滅の変化などから視点画像の変動度の大きさを検出してもよい。また、カメラの絞りなどの情報をカメラ側から取得することにより、視点画像の変動度の大きさを検出してもよい。なお、以上に示した視点画像のフレーム間の相関とは、動画像だけが対象ではなく、静止画の画像間の相関も含む。
【００４７】
画像制御部１２５は、多視点画像生成部１１５により生成された視点画像を図１の初期位置に表示するように制御する。例えば、表示装置１０がテレビの場合には、テレビの３Ｄモードをオンした時、又は、３Ｄのテレビの電源をオンした時に、視点位置を検出して観察者に多視点画像の中心画像を提示する。
【００４８】
画像制御部１２５は、視点画像のフレーム間の相関情報に基づき、表示部１００上の各視点画像の表示位置又はパララックスバリア１０５の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する。画像制御部１２５は、切り替えのタイミングになったら、観察者の目の位置に中心画像が表示されるように、表示部１００の表示位置又はパララックスバリア１０５の複数の透過部１０５ａの透過率の少なくともいずれかを切り替える。例えば、表示制御部１２５は、視点画像のフレーム間の相関情報が低い場面で上記切り替えを行うように制御する。視点画像のフレーム間の相関情報が低い場面とは、視点画像のシーンチェンジを検出した場合や、視点画像の変動度が所定以上の大きさになったことを検出した場合である。
【００４９】
表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に近づくように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５０】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５１】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに、生成された視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５２】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５３】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５４】
また、表示制御部１２５は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わないようにしてもよい。
【００５５】
また、表示制御部１２５は、観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わないようにしてもよい。
【００５６】
また、表示制御部１２５は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記中心画像が各観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替えてもよい。
【００５７】
なお、前記各視点画像の表示位置を切り替えるとは、各視点画像を表示する担当画素を切り替えることをいう。また、可変のパララックスバリアの各透過部の透過率を切り替えるとは、バリアに配置された電極にどのような大きさの電圧を印加するかによって各透過部１０５ａの透過率の高低を制御することをいうが、パララックスバリアの物理的な位置を変えてもよい。
【００５８】
表示駆動部１３０は、表示部１００とパララックスバリア１０５のそれぞれを上記の方法で電気的又は物理的に駆動する。
【００５９】
記憶部１３５は、画像制御部１２５等の各部の機能を実現するためのプログラムや各種データが記憶されている。
【００６０】
なお、表示装置１０は、例えばテレビやＰＣ、モバイル機器などであり得るが、必ずしも同じ筐体に表示部１００を含む必要はない。例えば、表示部１００は、表示装置１０と一体であってその表面に設けられてもよいし、表示装置１０には含まれずに独立して設けられていてもよい。また、表示装置１０は、必ずしも同じ筐体に上記各構成要素のすべてを含む必要はない。例えば、記憶部１３５は表示装置１０には含まれずに、例えばネットワーク上のストレージによってその機能が提供されてもよい。
【００６１】
表示装置１０は、画像を適切な位置に表示するための各種演算を行う演算処理部を有しており、例えばＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、またはＤＳＰ（Digital Signal Processor）などによって実現されうる。表示装置１０の各部は、記憶部１３５に格納されたプログラムに従って動作してもよい。
【００６２】
［表示装置の動作］
次に、図４のフローチャートを参照しながら、本実施形態に係る表示装置１０の動作について説明する。図４で処理が開始されると、ステップＳ４００にて、視点位置検出部１１０は、カメラに視聴環境を撮像させ、撮像空間内の顔を検出し、観察者空間内の観察者の位置を検出する。次に、ステップＳ４０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。シーンチェンジの検出は、前述の通りフレーム間の相関関係を示す情報の一例である。
【００６３】
ステップＳ４０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ４０５にて、シーンチェンジを検出したと判定された場合、ステップＳ４１０に進んで、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ４１５にて、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像を表示させ、本処理を終了する。
【００６４】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、観察者の視聴位置に多視点画像の中心画像（例えば、６視点の場合には視点３，４の画像）が配置されるように、表示する多視点画像を切り替えることができる（図６を参照）。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。これにより、観察者は、違和感なく絶えず正視領域で良好な画像を視聴することができる。また、観察者は、必ずしも表示画面の中央で視聴しなくても正視領域での視聴が可能になる。このようにして、観察者に対して快適な立体映像の視聴環境を提供することができる。
【００６５】
また、本実施形態では、観察者の視聴位置に多視点画像の中心画像が配置されるように視点画像の切り替えが行われる。これにより、画像処理で生成する又はカメラで撮影する多視点画像をたくさん用意しておく必要がなくなり、処理負担を軽減できる。なお、上記のように観察者の視聴位置に多視点画像の中心画像が配置されるように画像を切り替えることが好ましいが、必ずしもこれに限られず、例えば、視点画像の中心画像が観察者の位置に近づくように各視点画像の配置を切り替えるようにしてもよい。
【００６６】
＜変形例１＞
［表示装置の動作］
次に、変形例１に係る表示装置１０の動作について、図５のフローチャートを参照しながら説明する。図５で処理が開始されると、ステップＳ５００にて、視点位置検出部１１０は、観察者空間内の観察者の位置を検出する。次に、ステップＳ５０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。
【００６７】
ステップＳ５０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ５０５にて、シーンチェンジを検出したと判定された場合、ステップＳ５１０に進んで、表示制御部１２５は、観察者が逆視領域又は準正視領域にいるかを判定する。図１に示したように、準正視領域は、逆視領域に近接する領域である。ここでは、準正視領域は、視点５，６及び視点１、２の領域であるが、これに限られず、例えば、視点５，６及び視点１、２の領域とともに、視点４，５及び視点２、３を準正視領域に含めてもよい。
【００６８】
ステップＳ５１０にて、観察者が逆視領域又は準正視領域にいないと判定された場合、本処理を終了する。一方、ステップＳ５１０にて、観察者が逆視領域又は準正視領域にいると判定された場合、ステップＳ５１５に進んで、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ５２０にて、表示制御部１２５は、視点画像の中心画像が観察者の位置に配置されるように各視点画像を表示させ、本処理を終了する。例えば、図６の上図に示したように観察者が準正視領域にいる場合、画像のシーンが変わるタイミングで、下図に示したように観察者の位置に視点３、４の中心画像が配置される。よって、観察者は、視聴位置を変えることなく逆視領域での視聴を回避することができる。
【００６９】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、観察者の視聴位置に多視点画像の中心画像（例えば、６視点の場合には視点３，４の画像）が配置されるように、表示する多視点画像を切り替える。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。特に、本変形例では、観察者が正視領域にいる場合には上記切り替えをしないことにより、画像の切り替えが頻繁に生じることを回避することができる。
【００７０】
＜変形例２＞
［表示装置の動作］
次に、変形例２に係る表示装置１０の動作について、図７のフローチャートを参照しながら説明する。変形例２では、複数の観察者が視聴していることを想定する。
【００７１】
図７で処理が開始されると、ステップＳ７００にて、視点位置検出部１１０は、観察者の位置を検出し、ステップＳ７０５にて、画像制御部１２５は、シーンチェンジを検出したかを判定する。
【００７２】
ステップＳ７０５にて、シーンチェンジを検出しないと判定された場合、本処理を終了する。一方、ステップＳ７０５にて、シーンチェンジを検出したと判定された場合、ステップＳ７１０に進んで、表示制御部１２５は、観察者が一人でも逆視領域にいるかを判定する。ここでは逆視領域のみを判定対象としているが、変形例１のように観察者が逆視領域又は準正視領域にいるかを判定してもよい。
【００７３】
ステップＳ７１０にて、観察者が一人も逆視領域にいないと判定された場合、本処理を終了する。一方、ステップＳ７１０にて、観察者が一人でも逆視領域にいると判定された場合、ステップＳ７１５に進んで、表示制御部１２５は、切り替え後、全ての観察者が正視領域にいるかを判定する。切り替え後、観察者が一人でも逆視領域にいることになると判定された場合、本処理を終了する。一方、ステップＳ７１５にて、切り替え後、全ての観察者が正視領域にいることになると判定された場合、ステップＳ７２０に進んで、表示制御部１２５は、全ての観察者が正視領域にいるように各視点画像の表示位置又は各透過部の透過率の少なくともいずれかを切り替える。そして、ステップＳ７２５にて、表示制御部１２５は、全ての観察者が正視領域で視聴するように各視点画像を表示させ、本処理を終了する。
【００７４】
以上に説明したように、本実施形態に係る表示装置１０によれば、表示する画像のシーンが変わるタイミングで、極力、全ての観察者が正視領域で視聴できるように、表示する多視点画像が切り替えられる。このように、シーンチェンジの検出と切り替えタイミングとを連動させることにより、視聴中の全ての観察者に違和感を与えずに、視点画像の表示位置を切り替えることができる。
【００７５】
上記実施形態及び変形例において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、表示装置の実施形態を、表示方法の実施形態とすることができる。
【００７６】
以上に説明した実施形態及び各変形例によれば、複数の視点画像を表示する表示装置にて観察者が視聴しやすい環境を整えることが可能な表示装置１０を提供することができる。
【００７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７８】
例えば、上記実施形態及び各変形例では、眼間２視点の場合について説明したが、これに限られない。本発明では、眼間３視点の場合にも適用可能である。たとえば、眼間３視点の場合にも逆視領域に近接する区域を準正視領域として、観察者が逆視領域又は準正視領域に位置する場合、上記シーンチェンジのタイミングにて観察者の位置に中心画像が配置されるように画像を切り替えてもよい。なお、眼間３視点の場合であって視点数が７視点の場合、中心画像は、視点３，５となる。
【００７９】
また、本発明では、準正視領域に観察者が入っても逆視領域でなければ画像の切り替えをしなくてもよい。例えば、逆視領域から±１視点又は±２視点は切り替えないとしてもよい。
【００８０】
また、フレーム間の相関が低い状態が検出されても、画像の切り替えを行わない制御条件を設けてもよい。例えば、観察者の視聴位置の変位を検出し、その変位が小さい場合には、フレーム間の相関が低い状態が検出されても画像の切り替えを行わないように制御してもよい。視聴位置の変位が小さい場合とは、例えば、観察者の元の位置から±１視点の範囲の変位であってもよいし、±２視点の範囲の変位であってもよい。また、例えば、視聴位置の変位が小さい場合とは、生成された多視点画像の半分の範囲の変位であってもよい。生成された多視点画像が８視点の場合、±視点２の範囲の変位になる。
【００８１】
なお、本発明では、右眼用及び左眼用画像の空間分離をレンチキュラーレンズやパララックスバリアで制御したが、裸眼で立体映像を視聴できれば他のどんな機構を用いてもよい。
【００８２】
また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００８３】
１０ 表示装置
１００ 表示部
１０５ パララックスバリア
１０５ａ 透過部
１１０ 視点位置検出部
１１５ 多視点画像生成部
１２０ フレーム間相関検出部
１２５ 画像制御部
１３０ 表示駆動部
１３５ 記憶部
【特許請求の範囲】
【請求項１】
複数の視点画像を表示する表示部と、
複数の透過部を有し、前記表示部からの光を分離させる光分離部と、
前記視点画像のフレーム間の相関情報に基づき、前記表示部上の各視点画像の表示位置又は前記光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部と、
を備える表示装置。
【請求項２】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像のシーンチェンジに基づき、前記切り替えタイミングを制御する請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像の変動度の大きさに基づき、前記切り替えタイミングを制御する請求項１に記載の表示装置。
【請求項４】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項５】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項４に記載の表示装置。
【請求項６】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項５に記載の表示装置。
【請求項７】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項８】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項９】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わない請求項１に記載の表示装置。
【請求項１０】
前記表示制御部は、前記観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わない請求項１に記載の表示装置。
【請求項１１】
前記表示制御部は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
請求項１に記載の表示装置。
【請求項１２】
表示部に表示された複数の視点画像のフレーム間の相関情報を取得するステップと、
前記取得された前記視点画像のフレーム間の相関情報に基づき前記表示部上の各視点画像の表示位置又は前記表示部からの光を分離させる複数の透過部を有する光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御するステップと、
を含む表示方法。
【請求項１】
複数の視点画像を表示する表示部と、
複数の透過部を有し、前記表示部からの光を分離させる光分離部と、
前記視点画像のフレーム間の相関情報に基づき、前記表示部上の各視点画像の表示位置又は前記光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御する表示制御部と、
を備える表示装置。
【請求項２】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像のシーンチェンジに基づき、前記切り替えタイミングを制御する請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記視点画像のフレーム間の相関情報として検出された視点画像の変動度の大きさに基づき、前記切り替えタイミングを制御する請求項１に記載の表示装置。
【請求項４】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項５】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されるように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項４に記載の表示装置。
【請求項６】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記複数の視点画像の中心画像が前記観察者の位置に配置されていない場合、該視点画像の中心画像が前記観察者の位置に近づくように前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項５に記載の表示装置。
【請求項７】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項８】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が逆視領域又は該逆視領域に隣接する準正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
【請求項９】
前記表示制御部は、観察者の位置を取得し、前記切り替えタイミングに前記観察者が正視領域にいる場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わない請求項１に記載の表示装置。
【請求項１０】
前記表示制御部は、前記観察者の位置の変化が所定の閾値以下の場合、前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかの切り替えを行わない請求項１に記載の表示装置。
【請求項１１】
前記表示制御部は、複数の観察者の位置を取得し、前記切り替え後、前記複数の観察者のすべてが正視領域で視聴可能な場合、前記切り替えタイミングに前記各視点画像の表示位置又は前記各透過部の透過率の少なくともいずれかを切り替える請求項１に記載の表示装置。
請求項１に記載の表示装置。
【請求項１２】
表示部に表示された複数の視点画像のフレーム間の相関情報を取得するステップと、
前記取得された前記視点画像のフレーム間の相関情報に基づき前記表示部上の各視点画像の表示位置又は前記表示部からの光を分離させる複数の透過部を有する光分離部の各透過部の透過率の少なくともいずれかを切り替えるタイミングを制御するステップと、
を含む表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１６９８５８（Ｐ２０１２−１６９８５８Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２９０６４（Ｐ２０１１−２９０６４）
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]