表示装置、表示方法、及びプログラム
【課題】観察領域を高分解能でシフトさせることができるようにする。
【解決手段】表示装置は、観察者の観察位置を検出し、検出された観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、決定された生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、生成された各視点用の多視点画像を、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な表示素子に表示する。
【解決手段】表示装置は、観察者の観察位置を検出し、検出された観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、決定された生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、生成された各視点用の多視点画像を、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な表示素子に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示装置、表示方法、及びプログラムに関し、特に、観察領域を高分解能でシフトさせることができるようにした表示装置、表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、映像を立体的に表示できる表示装置が普及している。立体映像を表示する方式には、裸眼方式として、パララックスバリア方式やレンチキュラー方式が知られている。
【０００３】
また、例えば、立体映像を観察している観察者が立ち上がった場合など、観察者の視線の高さが変化すると、水平方向に視点が変化したり、逆視領域に入ったりする場合があり、その場合には視点画像が変化してしまう。そのため、観察者の頭部位置を検出して、その検出結果に応じて画像を切り替えることで、観察領域をシフトさせる技術が提案されている。（例えば、特許文献１，２参照）
【０００４】
特許文献１では、観察者の頭部位置に応じて、画像を水平方向に１画素単位でシフトさせる技術が開示されている。また、特許文献２には、垂直方向に１画素単位で画像をシフトさせることにより、等価的に水平方向に1/n画素単位（n：視点数）でシフトさせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−２３３５００号公報
【特許文献２】特開２００７−９４０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術であると、画像を、画素単位又は1/n画素単位でシフトさせていたため、観察領域のシフト量の分解能に制約があった。
【０００７】
観察者に対して適切な立体映像を観察させるためには、より細かい分解能でシフトさせることが望ましい。そのため、さらに細かい分解能によりシフト量を調整するための技術が求められていた。
【０００８】
本技術はこのような状況に鑑みてなされたものであり、観察領域を高分解能でシフトさせることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の表示装置は、観察者の観察位置を検出する観察位置検出部と、検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子とを備える。
【００１０】
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する。
【００１１】
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する。
【００１２】
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する。
【００１３】
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する。
【００１４】
前記光線制御子は、スリットアレイ又はレンズアレイである。
【００１５】
表示装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００１６】
本技術の一側面の表示方法又はプログラムは、前述した本技術の一側面の表示装置に対応する表示方法又はプログラムである。
【００１７】
本技術の一側面の表示装置、表示方法、及びプログラムにおいては、観察者の観察位置が検出され、検出された観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相が決定され、決定された生成位相に応じて、所定の画像から、各視点用の視点画像が生成され、生成された各視点用の視点画像が、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な表示素子に表示される。
【発明の効果】
【００１８】
本技術によれば、観察領域を高分解能でシフトさせることができる。
【図面の簡単な説明】
【００１９】
【図１】表示装置のディスプレイ面を示す図である。
【図２】表示素子の各画素とマスク開口部との関係を示す図である。
【図３】観察者の視線方向と各視点画像との関係を示す図である。
【図４】観察者の観察位置の高さに応じて変化する視線方向を示す図である。
【図５】観察者がマスク開口部を正面から見た場合の視線方向を示す図である。
【図６】観察者の観察位置が高くなった場合の視線方向を示す図である。
【図７】本技術の原理を示す図である。
【図８】表示装置の構成を示す図である。
【図９】生成位相制御処理を示すフローチャートである。
【図１０】標準状態を示す図である。
【図１１】標準状態からずれた状態を示す図である。
【図１２】各視点の生成位相の算出方法を示す図である。
【図１３】各視点の生成位相の算出方法の具体例を示す図である。
【図１４】位置ずれがない場合の観察領域の関係を示す図である。
【図１５】位置ずれがある場合の観察領域の関係を示す図である。
【図１６】本技術の原理を示す図である。
【図１７】表示装置の他の構成を示す図である。
【図１８】製造時のバリアずれ補正制御処理を示すフローチャートである。
【図１９】位置ずれの状態を示す図である。
【図２０】生成位相補正量オフセット値の算出方法を示す図である。
【図２１】使用時のバリアずれ補正制御処理を示すフローチャートである。
【図２２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２１】
＜第１の実施の形態＞
［本技術の第１の実施の形態の原理］
まず、図１乃至７を参照して、本技術の第１の実施の形態の原理について説明する。
【００２２】
図１には、表示装置１０のディスプレイ面を図示している。
【００２３】
表示装置１０は、パララックスバリア方式により、裸眼立体視を可能にする立体映像表示装置である。表示装置１０のディスプレイ面には、表示素子２０とパララックスバリア２１が所定の間隔で配置される。
【００２４】
表示素子２０は、例えば、カラー液晶パネルにより構成され、照明部２３からの光を受けて、前段の表示制御部（後述する図８の表示制御部３３）から供給される立体映像を観察させるための多視点画像を表示する。
【００２５】
パララックスバリア２１は、表示素子２０の前方に配置され、表示素子２０から出射する光線方向を限定する。パララックスバリア２１は、光を透過させるためのスリット状の孔が多数設けられた遮蔽板である。各スリットのピッチは、複数の画素分に相当する。このスリットによって、表示素子２０の各画素から出射される光に指向性を与えることで、立体映像を観察者１に認識させることができる。
【００２６】
図２に示すように、パララックスバリア２１には、マスク開口部２２が、表示素子２０の画素配列の斜め方向に連続して並ぶように形成されている。なお、図２では、パララックスバリア２１に形成されたマスク開口部２２の一部を拡大したものを図示しており、マスク開口部２２以外の部分は、遮光部となる。表示素子２０は画素が複数配列された表示領域を有しており、図２において、各画素を表した四角に示す数字は、各視点ごとの視点画像の生成位相を表している。観察者１は、左右両眼で、生成位相1.0乃至6.0の視点画像のいずれかを見ることで、立体映像を観察することができる。なお、生成位相は、位相の異なる多視点画像を生成するときに指定されるパラメータであって、各視点用の視点画像は、生成位相に応じて生成される。
【００２７】
図３は、表示装置１０を＋ｙ軸方向から見た場合における観察者１の視線方向と各視点画像との関係を示している。図３に示すように、表示装置１０のディスプレイ面に対して略中央にいる観察者１は、表示素子２０に表示された生成位相1.0乃至6.0の視点画像のうち、左眼は生成位相3.0の視点画像を、右眼は生成位相4.0の視点画像を、パララックスバリア２１を介してそれぞれ見ることで、立体映像の観察が可能となる。
【００２８】
図４乃至図７は、表示装置１０を−ｘ軸方向から見た場合における観察者１の視線方向と各視点画像との関係を示している。なお、図４乃至図７では、説明の便宜上、表示素子２０とパララックスバリア２１の一部を拡大したものを図示している。
【００２９】
ここで、観察者１の左眼の視線方向に注目すれば、図４に示すように、観察者１の観察位置の高さに応じて、例えば、視線方向Ａ１乃至Ａ３の３通りの視線方向が考えられる。例えば、図１の観察者１が、表示装置１０に表示された番組を座って視聴している場合、その観察位置の高さがＨで、視線方向がＡ１となるので、図５に示すように、左眼は、生成位相3.0の視点画像を見ることになる。この場合、観察者１は、マスク開口部２２を真正面から見ると、図３に示したように、左眼が生成位相3.0の視点画像を、右眼が生成位相4.0の視点画像をそれぞれ見ることになり、正常に番組の立体映像を視聴することができる。
【００３０】
それに対して、例えば、番組を座って視聴していた観察者１が立ち上がった場合、その観察位置の高さはＨよりも高くなり、視線方向がＡ２となるので、図６に示すように、左眼は、生成位相2.0の視点画像を見ることになる。この場合、本来、観察者１の左眼は、生成位相3.0の視点画像を見るべきところ、その下側に位置する生成位相2.0の視点画像を見てしまうことになる。同様に、観察者１の視線方向がＡ３となる場合、左眼は、本来、生成位相3.0の視点画像を見るべきところ、その上側に位置する生成位相4.0の視点画像を見てしまうことになる。これらの場合、観察者１は、観察領域内の中央ではなく、左寄り又は右寄りから見た立体映像を見ることになる。
【００３１】
すなわち、観察者１の観察位置の高さが変わると、それに応じて視点が変わってしまい、観察者１は違和感を感じる。あるいは、観察者１が初めに見ていたのが、観察領域内で左寄り又は右寄りであった場合には、観察者１が立ち上がるか又は座ることにより観察領域がシフトしてしまい、正視状態ではなく、逆視状態になる場合も発生する。なお、「逆視」とは立体映像の奥行きが逆転してしまうような組み合わせの視点画像を左眼と右眼で観察することをいう。このとき、観察者１は、正常な立体映像を観察することはできない。一方、立体映像の奥行きが正常に観察される組み合わせの視点画像を観察する状態を、「正視」という。
【００３２】
そこで、本技術では、観察者１の観察位置を検出して、その検出結果に応じて生成位相を変化させた視点画像が表示されるようにする。例えば、図７に示すように、観察者１の視線方向がＡ４となる場合、表示装置１０では、その観察位置の高さを検出して、その検出結果に応じた生成位相を決定する。そして、表示装置１０は、決定された生成位相に応じた多視点画像を生成して、表示素子２０に表示させる。その結果、表示素子２０において、生成位相3.0の視点画像を表示していた画素には、生成位相3.4の視点画像が表示されることなる。また、他の画素についても同様に、それぞれ、生成位相が0.4ずつ加算された視点画像が表示されることになる。
【００３３】
これにより、視線方向Ａ４からは、生成位相3.0の視点画像が見えるかのように認識され、観察者１は、立っても座っても（視聴高さが変わっても）、視点が左右に移動してしまうことなく、立体映像を観察することができるようになる。
【００３４】
ところで、仮に、観察者１とは異なる別の観察者が、図１のＡ１方向から観察している場合、観察領域が左右に移動することが認識される。このように観察者１の視聴高さに応じて、観察領域を水平にシフトさせることにより、当該観察者１にとっては観察領域がシフトしないようにしているのである。
【００３５】
なお、図６において、画像を、画素単位でシフトさせる場合には、例えば、表示素子２０の各画素に表示される生成位相1.0乃至5.0の視点画像を、生成位相2.0乃至6.0の視点画像にシフトさせることになるが、各視点画像をシフトさせることが前提となるため、観察領域のシフト量の分解能に制限がある。一方、本技術では、各視点画像を生成する段階で、観察者１の観察位置に応じた中間的な視点画像を生成しているため、画素単位でシフトさせる場合と比べて、観察領域を高分解能でシフトさせることが可能となる。
【００３６】
以下、本技術の第１の実施の形態の原理の具体的な実現方法について説明する。
【００３７】
［表示装置の構成例］
図８は、第１の実施の形態における表示装置の構成を示す図である。
【００３８】
表示装置１０は、表示素子２０、視差抽出部３１、多視点画像生成部３２、表示制御部３３、観察位置検出部３４、及び生成位相制御部３５から構成される。なお、図８の構成には、図示していないが、表示装置１０は、パララックスバリア２１及び照明部２３を有する。
【００３９】
視差抽出部３１は、外部から入力される左眼用画像及び右眼用画像を取得して、左眼用画像及び右眼用画像から視差情報を抽出する。視差抽出部３１は、左眼用画像、右眼用画像、及び視差情報を多視点画像生成部３２に供給する。
【００４０】
なお、外部から入力される画像のデータ形式は様々なものがあるが、いずれの形式であってもよい。例えば、上記の左眼用画像及び右眼用画像のステレオ画像で供給される形式のほか、３以上の複数の視点画像から構成される多視点画像で供給される形式や、２次元画像とその視差情報というかたちで供給される形式などがある。また、視差情報は、左眼用画像及び右眼用画像の水平方向のずれ量をディスパリティマップとして生成することで得られる。
【００４１】
多視点画像生成部３２は、視差抽出部３１からの左眼用画像、右眼用画像、及び視差情報に基づいて、左眼用画像及び右眼用画像の補間画像としての多視点画像（各視点用の視点画像）を生成し、表示制御部３３に供給する。多視点画像生成部３２は、多視点画像生成部３２−１乃至多視点画像生成部３２−６から構成される。
【００４２】
表示制御部３３は、多視点画像生成部３２からの各視点用の視点画像を、表示素子２０に表示させる。
【００４３】
前述したように、表示素子２０は、画素が複数配置された表示領域を有し、各視点に対応する複数の観察領域のそれぞれにおいて各視点用の視点画像を観察可能であって、表示制御部３３からの各視点用の視点画像を表示する。なお、表示素子２０の前方に配置されるパララックスバリア２１は、表示素子２０の画素配列の斜め方向に連続して並ぶように形成されたマスク開口部２２を有しており、表示素子２０から出射される光線方向を限定する。表示素子２０とパララックスバリア２１は、所定の間隔で配置される。
【００４４】
観察位置検出部３４は、観察者１の観察位置を検出し、生成位相制御部３５に供給する。例えば、観察位置検出部３４は、撮像部を有しており、観察者１を撮像して得られる画像データを解析することで、観察者１の顔画像から、頭部や顔、又は眼などの位置を、観察位置として検出する。この検出方法としては、各種の文献などによって開示されている、公知の技術を用いることができる。
【００４５】
生成位相制御部３５は、生成位相を制御する処理を行う。具体的には、生成位相制御部３５は、生成位相決定部４１を有する。生成位相決定部４１は、観察位置検出部３４からの観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する。生成位相制御部３５は、生成位相決定部４１により決定された各視点用の生成位相を、多視点画像生成部３２−１乃至多視点画像生成部３２−６にそれぞれ供給する。
【００４６】
多視点画像生成部３２−１乃至多視点画像生成部３２−６は、生成位相制御部３５からの生成位相に応じて、各視点用の視点画像をそれぞれ生成し、表示制御部３３に供給する。
【００４７】
なお、本実施の形態では、６視点の視点画像が生成される例を説明するため、６視点分の視点画像を生成するための多視点画像生成部３２−１乃至多視点画像生成部３２−６が設けられた構成を図示しているが、この構成は一例であって、視点数に応じて、任意の数の多視点画像生成部３２が設けられる。
【００４８】
表示装置１０は、以上のように構成される。
【００４９】
［生成位相制御処理］
次に、図９のフローチャートを参照して、観察位置検出部３４及び生成位相制御部３５により実行される生成位相制御処理について説明する。
【００５０】
ステップＳ１１において、観察位置検出部３４は、観察者１の観察位置を検出する。
【００５１】
ここで、図１０及び図１１を参照して、観察者１の観察位置の検出方法の詳細について説明する。
【００５２】
なお、図１０及び図１１は、表示装置１０のディスプレイ面側から、観察者１を見たときの様子を模式的に表している。また、図中の矩形領域ＲＡは、適正視距離ｄにおけるｘｙ平面内矩形領域を表しており、この領域内に観察者１が存在することを想定する。また、これらの事項については、後述する図１２及び図１３でも同様とされる。
【００５３】
ここでは、図１０に示すように、例えば、ディスプレイ面上の水平方向の点線ｈ−ｈ'と、垂直方向の点線ｖ−ｖ'とが交差する点をディスプレイ面の中心位置（原点）とした場合、その中心位置に観察者１の左眼があるときを、「標準状態」と定義する。また、図中の「1」乃至「6」の数字は、生成位相1.0乃至6.0の視点画像のそれぞれに対応する観察領域を表している。従って、標準状態にある観察者１は、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることで、立体映像を観察することができる。
【００５４】
なお、標準状態の定義は、必ずしも適切でない場合も想定されるが、本技術の原理を説明する便宜上、このように定義する。また、パララックスバリア２１に形成されたマスク開口部２２は、表示素子２０の画素配列の斜め方向に形成されているため、それに対応して各視点用の視点画像が全体にわたってきれいに観察される範囲（観察領域）も傾いている。
【００５５】
その後、例えば、観察者１が立ち上がった場合など、観察位置が、図１０の標準状態から、図１１に示す状態に変化したとき、観察者１は、左眼で生成位相2.0の視点画像、右眼で生成位相3.0の視点画像を見ることになる。この場合、観察者１は、図１０の標準状態での立体映像の観察と比べて、水平方向に視点が移動したと感じることになる。
【００５６】
観察位置検出部３４は、観察者１を撮像して得られる画像データを解析することで、観察者１の顔画像から例えば、ディスプレイ面の中心を原点としたときの観察者の左眼の座標（xo，yo，zo）を算出する。なお、ここでは、観察者１の左眼の座標（xo，yo，zo）を、観察位置として定義しているが、これ以外にも、頭部の中央や眼間の中央など様々な部位を標準状態と定義することが可能である。
【００５７】
図９のフローチャートに戻り、ステップＳ１２において、生成位相制御部３５は、ステップＳ１１にて検出された観察位置に基づいて、生成位相補正量（dphase）を決定する。ステップＳ１２が終了すると、次に、生成位相決定部４１は、ステップＳ１３において、ステップＳ１２にて決定された生成位相補正量に基づいて、各視点用の生成位相（phase_i）を決定する。
【００５８】
ここで、図１２及び図１３を参照して、生成位相補正量及び各視点用の生成位相の決定方法の詳細について説明する。
【００５９】
図１２に示すように、観察位置（xo，yo，zo）を適正視距離ｄにおけるｘｙ平面上に投影した座標を、（xp，yp）とすると、xp，ypは、式（１）により算出される。
【００６０】
xp = xo × ｄ / zo
yp = yo × ｄ / zo ・・・（１）
【００６１】
また、観察領域の正視範囲のｘ軸方向の長さをＬとし、観察領域のｘ軸に対する傾き角度をθとすると、生成位相補正量（dphase）は、式（２）により算出される。
【００６２】
dphase = 1.0 × yp / （Ｌ × tanθ） ・・・（２）
【００６３】
なお、式（２）の「1.0」であるが、視点数と生成位相の関係により定まる定数である。すなわち、図１２の例では、隣接する視点間では生成位相が1.0ずつ変化する例を示しているので、式（２）の定数が、「1.0」に定められている。このような関係を有することから、例えば、ｘ軸方向に長さＬだけ移動すると、生成位相として6.0ずれることになるし、また、ｙ軸方向に長さ（Ｌ × tanθ）だけ移動すると、生成位相として6.0ずれることになる。
【００６４】
以上により、生成位相制御部３５によって、生成位相補正量が決定される（図９のステップＳ１２）。次に、生成位相決定部４１は、この生成位相補正量から、各視点用の生成位相を決定する（図９のステップＳ１３）。
【００６５】
具体的には、図１２のｘｙ平面上で考えると、各視点用の生成位相（phase_i）は、式（３）により算出される。
【００６６】
phase_i = phase_std_i + dphase
（i = 1,2,3,・・・,6） ・・・（３）
【００６７】
なお、式（３）において、phase_iは、視点番号iの生成位相を示し、phase_std_iは、視点番号iの標準状態の生成位相を示す。また、dphaseは、式（２）により算出される生成位相補正量である。
【００６８】
例えば、観察位置がypであって、yp / （Ｌ × tanθ） = 1.0となる場合、式（２）により、dphase = 1.0（1.0 × 1.0 = 1.0）が求められる。この場合、各視点用の生成位相phase_iは、標準状態の生成位相phase_std_iに対して、1.0ずつ加算すれば求められることになる。
【００６９】
図１３に示すように、例えば、i = 2の場合、式（３）により、phase_2 = phase_std_2 + dphase = 2.0 +1.0 = 3.0が求められる。つまり、観察者１は、左眼で、生成位相3.0の視点画像を見ることになる。また、他の視点の生成位相も同様に生成位相補正量が加算され、phase_i（i = 1,2,3,・・・,6）として、2.0，3.0，4.0，5.0，6.0，7.0（1.0）が得られるので、観察者は、右眼で、生成位相4.0の視点画像を見ることになる。その結果、観察者１は、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることで、視聴高さが変わる前と同一の立体映像を観察することになる。
【００７０】
なお、各視点用の生成位相の計算において、phase_iの値が、生成位相の標準値1.0〜6.0の範囲外となる場合がある。その場合には、0.5〜6.5の範囲を超える部分については、標準値1.0〜6.0の区間が繰り返されていると考えて、標準値1.0〜6.0の範囲、又はそれを包含する0.5〜6.5の範囲に、計算結果を加減算して補正することで、それを、phase_iの値とすればよい。具体的には、例えば、phase_i = 7.0が算出された場合、6.0を減算して、phase_i = 1.0とする。また、例えば、phase_i = 0.0が算出された場合、phase_iは1.0から1.0だけ少なく、次の繰り返しの視点番号iの生成位相であるべきなので、phase_i = 6.0とする。
【００７１】
また、例えば、観察位置がyp/2となる場合には、式（２）により、dphase = 0.5が求められる。この場合、各視点用の生成位相phase_iは、標準状態の生成位相phase_std_iに対して、0.5ずつ加算すれば求められることになる。
【００７２】
例えば、i = 2の場合、式（３）により、phase_2 = phase_std_2 + dphase = 2.0 + 0.5 = 2.5が求められる。また、他の視点の生成位相も同様に生成位相補正量が加算され、phase_i（i = 1,2,3,・・・,6）として、1.5，2.5，3.5，4.5，5.5，6.5が得られる。その結果、観察者１は、左眼で、生成位相2.5の視点画像と生成位相3.5の視点画像とを、右眼で、生成位相3.5の視点画像と生成位相4.5の視点画像とをそれぞれ見ることになり、等価的に、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像を見ることとなり、観察位置（高さ）yp = 0のときと同様の立体映像を観察することができる。
【００７３】
図９のフローチャートに戻り、ステップＳ１４において、生成位相制御部３５は、多視点画像生成部３２−１乃至３２−６のそれぞれに対して、ステップＳ１３にて決定された各視点用の生成位相を設定する。そして、多視点画像生成部３２−１乃至３２−６のそれぞれは、生成位相制御部３５により設定された生成位相に応じて、視点画像を生成する。具体的には、例えば、多視点画像生成部３２−１は、設定された生成位相2.0に応じて、生成位相2.0の視点画像を生成する。同様に、多視点画像生成部３２−２乃至多視点画像生成部３２−６によって、生成位相3.0乃至7.0（1.0）に応じた生成位相3.0乃至7.0（1.0）の視点画像が生成される。表示制御部３３は、多視点画像生成部３２−１乃至３２−６により生成された生成位相2.0乃至7.0（1.0）の視点画像のそれぞれを、表示素子２０の所定の画素に表示させる。
【００７４】
これにより、例えば、観察者１は、立ち上がった状態で、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることになる。その結果、観察者１は、立ち上がる前のときと同様の立体映像を観察することができる。
【００７５】
ステップＳ１５において、生成位相制御部３５は、生成位相の更新をするか否かを判定する。例えば、外部から１フレーム分の画像が入力されるタイミングに同期して、生成位相の更新を行うようにすることで、多視点画像の生成時に、フレーム毎に常に更新された生成位相を用いて、各視点用の視点画像を生成することができる。あるいは、生成位相の更新頻度は、適宜変更できるものとして、フレーム毎の更新を行わないようにしてもよい。また、生成位相の更新頻度と、観察位置の検出の頻度を一致させずに、例えば、観察位置の検出は毎回行うが、生成位相の更新は毎回は行わない、といった設定も可能である。なお、生成位相が算出される度に、それをそのまま利用するのは一つの方法であるが、別の方法として、LPF（Low Pass Filter：低域通過フィルタ）等の適切なフィルタリングを行ってから利用するようにしてもよい。
【００７６】
ステップＳ１５において、生成位相を更新すると判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、この場合、ステップＳ１１乃至Ｓ１４の処理が繰り返され、生成位相を更新する処理が行われる。
【００７７】
一方、ステップＳ１５において、生成位相の更新をしないと判定された場合、処理は、ステップＳ１６に進められる。ステップＳ１６において、生成位相制御部３５は、例えば観察者１によって表示装置１０の電源がオフされるなどに起因する信号をシステム全体の制御部（図示せず）から受信し、処理を終了するか否かを判定する。
【００７８】
ステップＳ１６において、処理を終了しないと判定された場合、処理は、ステップＳ１５に戻る。すなわち、生成位相の更新を行うか（ステップＳ１５の「Yes」）、又は処理を終了する（ステップＳ１６の「Yes」）まで、ステップＳ１５の判定処理が繰り返される。そして、ステップＳ１６において、処理を終了すると判定された場合、処理は終了する。
【００７９】
以上、図９の生成位相制御処理について説明した。
【００８０】
このように、生成位相制御処理では、観察位置検出部３４によって、観察者１の観察位置が検出され、生成位相決定部４１によって、検出された観察位置に応じて、各視点用の生成位相が決定される。そして、多視点画像生成部３２によって、決定された生成位相に応じて、各視点用の視点画像が生成され、生成された各視点用の視点画像が、表示素子２０の所定の画素に表示される。
【００８１】
これにより、各視点画像を生成する段階で、観察者１の観察位置に応じた中間的な視点画像を生成することが可能となり、例えば、画素単位でシフトさせる場合と比べて、観察領域を高分解能でシフトさせることができる。また、本技術は、ある一人の観察者の観察位置に応じて生成位相が変化するため、複数の観察者によって同時に観察されることを前提としていない表示装置に適用すると好適である。
【００８２】
＜第２の実施の形態＞
［本技術の第２の実施の形態の原理］
ところで、表示装置１０の製造時に、表示素子２０とパララックスバリア２１の位置合わせを行い、それらを適切な位置に配置することになるが、表示素子２０に対するパララックスバリア２１の配置位置が所望位置からずれてしまった場合、観察領域がずれてしまうことになる。このような場合、製造された表示装置１０ごとに観察領域が異なることになる。そこで、次に、第２の実施の形態として、パララックスバリア２１の位置がずれてしまった場合における対応について説明する。
【００８３】
まず、図１４乃至図１６を参照して、本技術の第２の実施の形態の原理について説明する。
【００８４】
図１４乃至図１６は、表示装置１０を＋ｙ軸方向から見た場合における所望の観察領域と実際の観察領域との関係を示している。なお、図１４乃至図１６では、説明の便宜上、表示素子２０とパララックスバリア２１の一部を拡大したものを図示している。
【００８５】
図１４に示すように、表示素子２０に対してパララックスバリア２１の位置がずれていない場合、所望の観察領域と実際の観察領域が一致することになる。そのため、観察者１は、表示素子２０に表示された生成位相1.0乃至生成位相6.0の視点画像のうち、例えば、左眼で生成位相3.0の視点画像と、右眼で生成位相4.0の視点画像を、パララックスバリア２１を介してそれぞれ見ることで、立体映像を視認する。
【００８６】
一方、図１５に示すように、表示素子２０に対してパララックスバリア２１の位置がずれて配置されている場合、所望の観察領域と実際の観察領域がずれることになる。そのため、観察者１は、所望の観察領域での観察を行うと、本来、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像を見るべきところ、パララックスバリア２１の位置ずれに応じて、実際の観察領域が、図中の左側にずれてしまうため、図１４の場合と比べるとやや右側から見た立体映像を視認することになる。
【００８７】
すなわち、パララックスバリア２１の位置がずれて配置されると、それに応じて観察領域の位置が変化してしまい、製品の標準仕様として決めた所望の観察領域の位置を製品間で一定に保つことができなくなる。そこで、本技術では、表示素子２０の各画素に表示される視点画像の生成位相をずらして、等価的に、実際の観察領域を所望の観察領域と一致させる。例えば、図１６に示すように、観察者１の左眼に生成位相3.0の視点画像を提示しようとする場合、パララックスバリア２１の位置のずれ量を測定して、その測定結果に応じて、図１４で生成位相3.0の視点画像を表示していた画素に、生成位相2.3の視点画像を表示させる。また、他の画素についても同様に、それぞれ、生成位相が0.7ずつ減算された視点画像を表示させる。
【００８８】
これにより、図中の点線で示す「中心」の位置で観察される視点画像は、生成位相3.0の視点画像そのものではないが、実際の観察領域で、生成位相3.0の視点画像が見えるべき位置が、所望の観察領域のそれと一致するように各視点画像が表示されることになる。その結果、観察者１は、図１４と同様の立体映像を観察することができるようになる。
【００８９】
以下、本技術の第２の実施の形態の原理の具体的な実現方法について説明する。
【００９０】
［表示装置の構成例］
図１７は、第２の実施の形態における表示装置の構成を示す図である。
【００９１】
なお、図１７において、図８と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。
【００９２】
すなわち、図１７の表示装置１０は、図８の表示装置１０と比べて、ずれ量測定部３６及び記憶部３７が追加して設けられている。
【００９３】
ずれ量測定部３６は、表示素子２０に対するパララックスバリア２１の配置位置の所望位置からのずれ量を測定し、生成位相制御部３５に供給する。なお、ずれ量測定部３６は、表示装置１０の内部ブロックであるとして説明するが、ずれ量測定装置として、外部の装置として構成され、表示装置１０に接続されるようにしてもよい。
【００９４】
生成位相制御部３５は、ずれ量測定部３６からの測定値（ずれ量）に基づいて、生成位相補正量オフセット値を決定し、記憶部３７に記憶させる。また、生成位相決定部４１は、生成位相の決定時に、記憶部３７から生成位相補正量オフセット値を読み出して、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相を決定する。
【００９５】
表示装置１０は、以上のように構成される。
【００９６】
［製造時のバリアずれ補正制御処理］
次に、図１８のフローチャートを参照して、生成位相制御部３５及びずれ量測定部３６により実行される製造時のバリアずれ補正制御処理について説明する。
【００９７】
ステップＳ３１において、ずれ量測定部３６は、パララックスバリア２１の位置ずれ量（dbar）を測定する。
【００９８】
なお、パララックスバリア２１の位置ずれ量dbarの測定方法であるが、例えば、表示装置１０の製造後、視点番号３に対応する視点画像のみを白色、他の視点番号に対応する視点画像を黒色とする画像を、表示素子２０に表示し、撮像部によりその画像を撮影して、画面全体が白色になる部分の位置を求めることで、測定することができる。
【００９９】
ステップＳ３２において、生成位相制御部３５は、ステップＳ３１にて測定された位置ずれ量に基づいて、生成位相補正量オフセット値（dphase_ofst）を決定する。
【０１００】
ここで、図１９及び図２０を参照して、生成位相補正量オフセット値の決定方法の詳細について説明する。なお、図１９及び図２０は、前述した図１０乃至図１３と同様に、表示装置１０のディスプレイ面側から、観察者１を見たときの様子を模式的に表している。
【０１０１】
図１９は、図１０乃至図１３と比べて、パララックスバリア２１の位置がずれたために観察領域が１つの視点番号に対応する観察領域分だけ、＋ｘ軸方向にずれた状態を示している。なお、図１９では、説明の便宜上、１つの視点番号に対応する観察領域分だけずれた場合を説明する。
【０１０２】
この場合、観察者１は、左眼で生成位相2.0の視点画像、右眼で生成位相3.0の視点画像をそれぞれ見るので、図１０に示した標準状態のときと比べて、水平方向に視点がずれていると感じることになる。すなわち、パララックスバリア２１の位置がずれると、そのずれに対応して、観察領域全体が水平方向にずれることになる。
【０１０３】
また、図２０に示すように、視点番号３に対応する観察領域の中心の原点からのずれ量を、dbarとし、観察領域の正視範囲のｘ軸方向の長さをＬとすると、生成位相補正量オフセット値（dphase_ofst）は、式（４）により算出される。
【０１０４】
dphase_ofst = 1.0 × dbar / Ｌ ・・・（４）
【０１０５】
なお、式（４）において、dbarは、ステップＳ３１にてずれ量測定部３６により測定される測定値となる。また、式（４）の「1.0」であるが、前述した式（２）と同様に、視点数と生成位相の関係により定まる定数であって、図１９及び図２０の例でも、隣接する視点間では生成位相が1.0ずつ変化する例を示しているので、式（４）の定数が、「1.0」に定められている。
【０１０６】
図１８のフローチャートに戻り、ステップＳ３３において、生成位相制御部３５は、ステップＳ３２にて決定した生成位相補正量オフセット値を、記憶部３７に記憶させる。ステップＳ３３が終了すると、処理は終了する。
【０１０７】
以上、図１８の製造時のバリアずれ補正制御処理について説明した。
【０１０８】
このように、製造時のバリアずれ補正制御処理では、生成位相制御部３５によって、パララックスバリア２１の位置ずれ量が測定され、ずれ量測定部３６によって、測定された位置ずれ量に応じた生成位相補正量オフセット値が決定され、記憶部３７に記憶される。
【０１０９】
これにより、表示素子２０に対してパララックスバリア２１の位置がずれている場合でも、記憶部３７に記憶された生成位相補正量オフセット値を用いて生成位相を補正することが可能となる。
【０１１０】
［使用時のバリアずれ補正制御処理］
次に、図２１のフローチャートを参照して、生成位相制御部３５により実行される使用時のバリアずれ補正制御処理について説明する。
【０１１１】
ステップＳ５１，Ｓ５２においては、図９のステップＳ１１，Ｓ１２と同様に、観察位置検出部３４によって観察者１の観察位置が検出され、生成位相制御部３５によって、生成位相補正量が決定される。
【０１１２】
ステップＳ５３において、生成位相決定部４１は、図１８のステップＳ３３にて記憶部３７に記憶された生成位相補正量オフセット値を読み出して、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相を決定する。
【０１１３】
具体的には、各視点用の生成位相（phase_i）は、式（５）により算出される。
【０１１４】
phase_i = phase_std_i + dphase + dphase_ofst
（i = 1,2,3,・・・,6） ・・・（５）
【０１１５】
なお、式（５）において、式（３）と同様に、phase_iは、視点番号iの生成位相を示し、phase_std_iは、視点番号iの標準状態の生成位相を示す。また、dphaseは、式（２）により算出される生成位相補正量である。また、dphase_ofstは、記憶部３７に記憶される生成位相補正量オフセット値を示す。
【０１１６】
ステップＳ５４においては、図９のステップＳ１４と同様に、生成位相制御部３５によって、多視点画像生成部３２−１乃至３２−６のそれぞれに対して、ステップＳ５３にて決定された各視点用の生成位相が設定される。そして、多視点画像生成部３２−１乃至３２−６においては、生成位相制御部３５により設定された生成位相に応じて、視点画像が生成される。
【０１１７】
ステップＳ５５，Ｓ５６においては、図９のステップＳ１５，Ｓ１６と同様に、生成位相の更新を行う場合には、ステップＳ５１乃至Ｓ５４の処理が繰り返されることになる。そして、ステップＳ５６において、例えば、表示装置１０の電源がオフされるなどして、処理を終了すると判定された場合、処理は終了する。
【０１１８】
以上、図２１の使用時のバリアずれ補正制御処理について説明した。
【０１１９】
このように、使用時のバリアずれ補正制御処理では、観察位置検出部３４によって、観察者１の観察位置が検出され、生成位相決定部４１によって、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相が決定される。そして、多視点画像生成部３２によって、決定された生成位相に応じて、各視点用の視点画像が生成され、生成された各視点用の視点画像が、表示素子２０の所定の画素に表示される。
【０１２０】
これにより、表示素子２０に対してパララックスバリア２１の位置がずれていて、そのままでは製造された表示装置１０ごとに観察領域が異なる場合でも、生成位相補正量オフセット値により補正された生成位相を用いて、各視点用の視点画像を生成するので、製品の標準仕様として決めた観察領域の位置を、製品間で一定に保つことができるようになる。
【０１２１】
＜変形例＞
前述した説明では、例えば、図１に示したように、表示素子２０の前方（＋ｚ軸方向）にパララックスバリア２１を配置する例を説明したが、パララックスバリア２１は、表示素子２０と、照明部２３との間に配置されるようにしてもよい。すなわち、パララックスバリア２１は、表示素子２０の前方又は後方に配置され、表示素子２０から出射又は表示素子２０に入射する光線を限定することができる。
【０１２２】
また、前述した説明では、マスク開口部２２が、表示素子２０の画素配列の斜め方向に形成される例を説明したが、マスク開口部２２は、表示素子２０の画素配列に対して垂直方向に伸びるように形成されるようにしてもよい。さらに、前述した説明では、光線制御子として、パララックスバリア２１を用いたパララックスバリア方式を例に説明したが、レンチキュラーレンズを用いて、レンチキュラー方式を採用するようにしてもよい。
【０１２３】
［本技術を適用したコンピュータの説明］
前述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１２４】
そこで、図２２は、前述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２５】
プログラムは、コンピュータ１００に内蔵されているハードディスク等の記憶部１０８やROM(Read Only Memory)１０２に予め記録しておくことができる。
【０１２６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルメディア１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２７】
なお、プログラムは、前述したようなリムーバブルメディア１１１からコンピュータ１００にインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータ１００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１００に有線で転送し、コンピュータ１００では、そのようにして転送されてくるプログラムを、通信部１０９で受信し、記憶部１０８にインストールすることができる。
【０１２８】
コンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１には、バス１０４を介して、入出力インタフェース１０５が接続されており、CPU１０１は、入出力インタフェース１０５を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０６が操作等されることにより指令が入力されると、それに従って、ROM１０２に格納されているプログラムを実行する。あるいは、また、CPU１０１は、記憶部１０８に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０９で受信されて記憶部１０８にインストールされたプログラム、又はドライブ１１０に装着されたリムーバブルメディア１１１から読み出されて記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。
【０１２９】
これにより、CPU１０１は、前述したフローチャートにしたがった処理、あるいは前述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０５を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０７から出力、あるいは、通信部１０９から送信、さらには、記憶部１０８に記録等させる。
【０１３０】
ここで、本明細書において、コンピュータ１００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３１】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１３２】
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
また、本技術は、以下の構成とすることも可能である。
【０１３４】
［１］
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、
前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子と
を備える表示装置。
［２］
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する
［１］に記載の表示装置。
［３］
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、
前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する
［１］又は［２］に記載の表示装置。
［４］
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、
前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する
［１］乃至［３］のいずれかに記載の表示装置。
［５］
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する
［１］乃至［４］のいずれかに記載の表示装置。
［６］
前記光線制御子は、スリットアレイ又はレンズアレイである
［１］乃至［５］に記載の表示装置。
［７］
表示装置が、
観察者の観察位置を検出し、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する
ステップを含む表示方法。
［８］
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する表示制御部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０１３５】
１０ 表示装置， ２０ 表示素子， ２１ パララックスバリア， ２２ マスク開口部， ２３ 照明部， ３１ 視差抽出部， ３２，３２−１乃至３２−６ 多視点画像生成部， ３３ 表示制御部， ３４ 観察位置検出部， ３５ 生成位相制御部， ３６ ずれ量測定部， ３７ 記憶部， ４１ 生成位相決定部， １００ コンピュータ， １０１ CPU
【技術分野】
【０００１】
本技術は、表示装置、表示方法、及びプログラムに関し、特に、観察領域を高分解能でシフトさせることができるようにした表示装置、表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、映像を立体的に表示できる表示装置が普及している。立体映像を表示する方式には、裸眼方式として、パララックスバリア方式やレンチキュラー方式が知られている。
【０００３】
また、例えば、立体映像を観察している観察者が立ち上がった場合など、観察者の視線の高さが変化すると、水平方向に視点が変化したり、逆視領域に入ったりする場合があり、その場合には視点画像が変化してしまう。そのため、観察者の頭部位置を検出して、その検出結果に応じて画像を切り替えることで、観察領域をシフトさせる技術が提案されている。（例えば、特許文献１，２参照）
【０００４】
特許文献１では、観察者の頭部位置に応じて、画像を水平方向に１画素単位でシフトさせる技術が開示されている。また、特許文献２には、垂直方向に１画素単位で画像をシフトさせることにより、等価的に水平方向に1/n画素単位（n：視点数）でシフトさせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−２３３５００号公報
【特許文献２】特開２００７−９４０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術であると、画像を、画素単位又は1/n画素単位でシフトさせていたため、観察領域のシフト量の分解能に制約があった。
【０００７】
観察者に対して適切な立体映像を観察させるためには、より細かい分解能でシフトさせることが望ましい。そのため、さらに細かい分解能によりシフト量を調整するための技術が求められていた。
【０００８】
本技術はこのような状況に鑑みてなされたものであり、観察領域を高分解能でシフトさせることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の表示装置は、観察者の観察位置を検出する観察位置検出部と、検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子とを備える。
【００１０】
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する。
【００１１】
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する。
【００１２】
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する。
【００１３】
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する。
【００１４】
前記光線制御子は、スリットアレイ又はレンズアレイである。
【００１５】
表示装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００１６】
本技術の一側面の表示方法又はプログラムは、前述した本技術の一側面の表示装置に対応する表示方法又はプログラムである。
【００１７】
本技術の一側面の表示装置、表示方法、及びプログラムにおいては、観察者の観察位置が検出され、検出された観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相が決定され、決定された生成位相に応じて、所定の画像から、各視点用の視点画像が生成され、生成された各視点用の視点画像が、画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な表示素子に表示される。
【発明の効果】
【００１８】
本技術によれば、観察領域を高分解能でシフトさせることができる。
【図面の簡単な説明】
【００１９】
【図１】表示装置のディスプレイ面を示す図である。
【図２】表示素子の各画素とマスク開口部との関係を示す図である。
【図３】観察者の視線方向と各視点画像との関係を示す図である。
【図４】観察者の観察位置の高さに応じて変化する視線方向を示す図である。
【図５】観察者がマスク開口部を正面から見た場合の視線方向を示す図である。
【図６】観察者の観察位置が高くなった場合の視線方向を示す図である。
【図７】本技術の原理を示す図である。
【図８】表示装置の構成を示す図である。
【図９】生成位相制御処理を示すフローチャートである。
【図１０】標準状態を示す図である。
【図１１】標準状態からずれた状態を示す図である。
【図１２】各視点の生成位相の算出方法を示す図である。
【図１３】各視点の生成位相の算出方法の具体例を示す図である。
【図１４】位置ずれがない場合の観察領域の関係を示す図である。
【図１５】位置ずれがある場合の観察領域の関係を示す図である。
【図１６】本技術の原理を示す図である。
【図１７】表示装置の他の構成を示す図である。
【図１８】製造時のバリアずれ補正制御処理を示すフローチャートである。
【図１９】位置ずれの状態を示す図である。
【図２０】生成位相補正量オフセット値の算出方法を示す図である。
【図２１】使用時のバリアずれ補正制御処理を示すフローチャートである。
【図２２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２１】
＜第１の実施の形態＞
［本技術の第１の実施の形態の原理］
まず、図１乃至７を参照して、本技術の第１の実施の形態の原理について説明する。
【００２２】
図１には、表示装置１０のディスプレイ面を図示している。
【００２３】
表示装置１０は、パララックスバリア方式により、裸眼立体視を可能にする立体映像表示装置である。表示装置１０のディスプレイ面には、表示素子２０とパララックスバリア２１が所定の間隔で配置される。
【００２４】
表示素子２０は、例えば、カラー液晶パネルにより構成され、照明部２３からの光を受けて、前段の表示制御部（後述する図８の表示制御部３３）から供給される立体映像を観察させるための多視点画像を表示する。
【００２５】
パララックスバリア２１は、表示素子２０の前方に配置され、表示素子２０から出射する光線方向を限定する。パララックスバリア２１は、光を透過させるためのスリット状の孔が多数設けられた遮蔽板である。各スリットのピッチは、複数の画素分に相当する。このスリットによって、表示素子２０の各画素から出射される光に指向性を与えることで、立体映像を観察者１に認識させることができる。
【００２６】
図２に示すように、パララックスバリア２１には、マスク開口部２２が、表示素子２０の画素配列の斜め方向に連続して並ぶように形成されている。なお、図２では、パララックスバリア２１に形成されたマスク開口部２２の一部を拡大したものを図示しており、マスク開口部２２以外の部分は、遮光部となる。表示素子２０は画素が複数配列された表示領域を有しており、図２において、各画素を表した四角に示す数字は、各視点ごとの視点画像の生成位相を表している。観察者１は、左右両眼で、生成位相1.0乃至6.0の視点画像のいずれかを見ることで、立体映像を観察することができる。なお、生成位相は、位相の異なる多視点画像を生成するときに指定されるパラメータであって、各視点用の視点画像は、生成位相に応じて生成される。
【００２７】
図３は、表示装置１０を＋ｙ軸方向から見た場合における観察者１の視線方向と各視点画像との関係を示している。図３に示すように、表示装置１０のディスプレイ面に対して略中央にいる観察者１は、表示素子２０に表示された生成位相1.0乃至6.0の視点画像のうち、左眼は生成位相3.0の視点画像を、右眼は生成位相4.0の視点画像を、パララックスバリア２１を介してそれぞれ見ることで、立体映像の観察が可能となる。
【００２８】
図４乃至図７は、表示装置１０を−ｘ軸方向から見た場合における観察者１の視線方向と各視点画像との関係を示している。なお、図４乃至図７では、説明の便宜上、表示素子２０とパララックスバリア２１の一部を拡大したものを図示している。
【００２９】
ここで、観察者１の左眼の視線方向に注目すれば、図４に示すように、観察者１の観察位置の高さに応じて、例えば、視線方向Ａ１乃至Ａ３の３通りの視線方向が考えられる。例えば、図１の観察者１が、表示装置１０に表示された番組を座って視聴している場合、その観察位置の高さがＨで、視線方向がＡ１となるので、図５に示すように、左眼は、生成位相3.0の視点画像を見ることになる。この場合、観察者１は、マスク開口部２２を真正面から見ると、図３に示したように、左眼が生成位相3.0の視点画像を、右眼が生成位相4.0の視点画像をそれぞれ見ることになり、正常に番組の立体映像を視聴することができる。
【００３０】
それに対して、例えば、番組を座って視聴していた観察者１が立ち上がった場合、その観察位置の高さはＨよりも高くなり、視線方向がＡ２となるので、図６に示すように、左眼は、生成位相2.0の視点画像を見ることになる。この場合、本来、観察者１の左眼は、生成位相3.0の視点画像を見るべきところ、その下側に位置する生成位相2.0の視点画像を見てしまうことになる。同様に、観察者１の視線方向がＡ３となる場合、左眼は、本来、生成位相3.0の視点画像を見るべきところ、その上側に位置する生成位相4.0の視点画像を見てしまうことになる。これらの場合、観察者１は、観察領域内の中央ではなく、左寄り又は右寄りから見た立体映像を見ることになる。
【００３１】
すなわち、観察者１の観察位置の高さが変わると、それに応じて視点が変わってしまい、観察者１は違和感を感じる。あるいは、観察者１が初めに見ていたのが、観察領域内で左寄り又は右寄りであった場合には、観察者１が立ち上がるか又は座ることにより観察領域がシフトしてしまい、正視状態ではなく、逆視状態になる場合も発生する。なお、「逆視」とは立体映像の奥行きが逆転してしまうような組み合わせの視点画像を左眼と右眼で観察することをいう。このとき、観察者１は、正常な立体映像を観察することはできない。一方、立体映像の奥行きが正常に観察される組み合わせの視点画像を観察する状態を、「正視」という。
【００３２】
そこで、本技術では、観察者１の観察位置を検出して、その検出結果に応じて生成位相を変化させた視点画像が表示されるようにする。例えば、図７に示すように、観察者１の視線方向がＡ４となる場合、表示装置１０では、その観察位置の高さを検出して、その検出結果に応じた生成位相を決定する。そして、表示装置１０は、決定された生成位相に応じた多視点画像を生成して、表示素子２０に表示させる。その結果、表示素子２０において、生成位相3.0の視点画像を表示していた画素には、生成位相3.4の視点画像が表示されることなる。また、他の画素についても同様に、それぞれ、生成位相が0.4ずつ加算された視点画像が表示されることになる。
【００３３】
これにより、視線方向Ａ４からは、生成位相3.0の視点画像が見えるかのように認識され、観察者１は、立っても座っても（視聴高さが変わっても）、視点が左右に移動してしまうことなく、立体映像を観察することができるようになる。
【００３４】
ところで、仮に、観察者１とは異なる別の観察者が、図１のＡ１方向から観察している場合、観察領域が左右に移動することが認識される。このように観察者１の視聴高さに応じて、観察領域を水平にシフトさせることにより、当該観察者１にとっては観察領域がシフトしないようにしているのである。
【００３５】
なお、図６において、画像を、画素単位でシフトさせる場合には、例えば、表示素子２０の各画素に表示される生成位相1.0乃至5.0の視点画像を、生成位相2.0乃至6.0の視点画像にシフトさせることになるが、各視点画像をシフトさせることが前提となるため、観察領域のシフト量の分解能に制限がある。一方、本技術では、各視点画像を生成する段階で、観察者１の観察位置に応じた中間的な視点画像を生成しているため、画素単位でシフトさせる場合と比べて、観察領域を高分解能でシフトさせることが可能となる。
【００３６】
以下、本技術の第１の実施の形態の原理の具体的な実現方法について説明する。
【００３７】
［表示装置の構成例］
図８は、第１の実施の形態における表示装置の構成を示す図である。
【００３８】
表示装置１０は、表示素子２０、視差抽出部３１、多視点画像生成部３２、表示制御部３３、観察位置検出部３４、及び生成位相制御部３５から構成される。なお、図８の構成には、図示していないが、表示装置１０は、パララックスバリア２１及び照明部２３を有する。
【００３９】
視差抽出部３１は、外部から入力される左眼用画像及び右眼用画像を取得して、左眼用画像及び右眼用画像から視差情報を抽出する。視差抽出部３１は、左眼用画像、右眼用画像、及び視差情報を多視点画像生成部３２に供給する。
【００４０】
なお、外部から入力される画像のデータ形式は様々なものがあるが、いずれの形式であってもよい。例えば、上記の左眼用画像及び右眼用画像のステレオ画像で供給される形式のほか、３以上の複数の視点画像から構成される多視点画像で供給される形式や、２次元画像とその視差情報というかたちで供給される形式などがある。また、視差情報は、左眼用画像及び右眼用画像の水平方向のずれ量をディスパリティマップとして生成することで得られる。
【００４１】
多視点画像生成部３２は、視差抽出部３１からの左眼用画像、右眼用画像、及び視差情報に基づいて、左眼用画像及び右眼用画像の補間画像としての多視点画像（各視点用の視点画像）を生成し、表示制御部３３に供給する。多視点画像生成部３２は、多視点画像生成部３２−１乃至多視点画像生成部３２−６から構成される。
【００４２】
表示制御部３３は、多視点画像生成部３２からの各視点用の視点画像を、表示素子２０に表示させる。
【００４３】
前述したように、表示素子２０は、画素が複数配置された表示領域を有し、各視点に対応する複数の観察領域のそれぞれにおいて各視点用の視点画像を観察可能であって、表示制御部３３からの各視点用の視点画像を表示する。なお、表示素子２０の前方に配置されるパララックスバリア２１は、表示素子２０の画素配列の斜め方向に連続して並ぶように形成されたマスク開口部２２を有しており、表示素子２０から出射される光線方向を限定する。表示素子２０とパララックスバリア２１は、所定の間隔で配置される。
【００４４】
観察位置検出部３４は、観察者１の観察位置を検出し、生成位相制御部３５に供給する。例えば、観察位置検出部３４は、撮像部を有しており、観察者１を撮像して得られる画像データを解析することで、観察者１の顔画像から、頭部や顔、又は眼などの位置を、観察位置として検出する。この検出方法としては、各種の文献などによって開示されている、公知の技術を用いることができる。
【００４５】
生成位相制御部３５は、生成位相を制御する処理を行う。具体的には、生成位相制御部３５は、生成位相決定部４１を有する。生成位相決定部４１は、観察位置検出部３４からの観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する。生成位相制御部３５は、生成位相決定部４１により決定された各視点用の生成位相を、多視点画像生成部３２−１乃至多視点画像生成部３２−６にそれぞれ供給する。
【００４６】
多視点画像生成部３２−１乃至多視点画像生成部３２−６は、生成位相制御部３５からの生成位相に応じて、各視点用の視点画像をそれぞれ生成し、表示制御部３３に供給する。
【００４７】
なお、本実施の形態では、６視点の視点画像が生成される例を説明するため、６視点分の視点画像を生成するための多視点画像生成部３２−１乃至多視点画像生成部３２−６が設けられた構成を図示しているが、この構成は一例であって、視点数に応じて、任意の数の多視点画像生成部３２が設けられる。
【００４８】
表示装置１０は、以上のように構成される。
【００４９】
［生成位相制御処理］
次に、図９のフローチャートを参照して、観察位置検出部３４及び生成位相制御部３５により実行される生成位相制御処理について説明する。
【００５０】
ステップＳ１１において、観察位置検出部３４は、観察者１の観察位置を検出する。
【００５１】
ここで、図１０及び図１１を参照して、観察者１の観察位置の検出方法の詳細について説明する。
【００５２】
なお、図１０及び図１１は、表示装置１０のディスプレイ面側から、観察者１を見たときの様子を模式的に表している。また、図中の矩形領域ＲＡは、適正視距離ｄにおけるｘｙ平面内矩形領域を表しており、この領域内に観察者１が存在することを想定する。また、これらの事項については、後述する図１２及び図１３でも同様とされる。
【００５３】
ここでは、図１０に示すように、例えば、ディスプレイ面上の水平方向の点線ｈ−ｈ'と、垂直方向の点線ｖ−ｖ'とが交差する点をディスプレイ面の中心位置（原点）とした場合、その中心位置に観察者１の左眼があるときを、「標準状態」と定義する。また、図中の「1」乃至「6」の数字は、生成位相1.0乃至6.0の視点画像のそれぞれに対応する観察領域を表している。従って、標準状態にある観察者１は、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることで、立体映像を観察することができる。
【００５４】
なお、標準状態の定義は、必ずしも適切でない場合も想定されるが、本技術の原理を説明する便宜上、このように定義する。また、パララックスバリア２１に形成されたマスク開口部２２は、表示素子２０の画素配列の斜め方向に形成されているため、それに対応して各視点用の視点画像が全体にわたってきれいに観察される範囲（観察領域）も傾いている。
【００５５】
その後、例えば、観察者１が立ち上がった場合など、観察位置が、図１０の標準状態から、図１１に示す状態に変化したとき、観察者１は、左眼で生成位相2.0の視点画像、右眼で生成位相3.0の視点画像を見ることになる。この場合、観察者１は、図１０の標準状態での立体映像の観察と比べて、水平方向に視点が移動したと感じることになる。
【００５６】
観察位置検出部３４は、観察者１を撮像して得られる画像データを解析することで、観察者１の顔画像から例えば、ディスプレイ面の中心を原点としたときの観察者の左眼の座標（xo，yo，zo）を算出する。なお、ここでは、観察者１の左眼の座標（xo，yo，zo）を、観察位置として定義しているが、これ以外にも、頭部の中央や眼間の中央など様々な部位を標準状態と定義することが可能である。
【００５７】
図９のフローチャートに戻り、ステップＳ１２において、生成位相制御部３５は、ステップＳ１１にて検出された観察位置に基づいて、生成位相補正量（dphase）を決定する。ステップＳ１２が終了すると、次に、生成位相決定部４１は、ステップＳ１３において、ステップＳ１２にて決定された生成位相補正量に基づいて、各視点用の生成位相（phase_i）を決定する。
【００５８】
ここで、図１２及び図１３を参照して、生成位相補正量及び各視点用の生成位相の決定方法の詳細について説明する。
【００５９】
図１２に示すように、観察位置（xo，yo，zo）を適正視距離ｄにおけるｘｙ平面上に投影した座標を、（xp，yp）とすると、xp，ypは、式（１）により算出される。
【００６０】
xp = xo × ｄ / zo
yp = yo × ｄ / zo ・・・（１）
【００６１】
また、観察領域の正視範囲のｘ軸方向の長さをＬとし、観察領域のｘ軸に対する傾き角度をθとすると、生成位相補正量（dphase）は、式（２）により算出される。
【００６２】
dphase = 1.0 × yp / （Ｌ × tanθ） ・・・（２）
【００６３】
なお、式（２）の「1.0」であるが、視点数と生成位相の関係により定まる定数である。すなわち、図１２の例では、隣接する視点間では生成位相が1.0ずつ変化する例を示しているので、式（２）の定数が、「1.0」に定められている。このような関係を有することから、例えば、ｘ軸方向に長さＬだけ移動すると、生成位相として6.0ずれることになるし、また、ｙ軸方向に長さ（Ｌ × tanθ）だけ移動すると、生成位相として6.0ずれることになる。
【００６４】
以上により、生成位相制御部３５によって、生成位相補正量が決定される（図９のステップＳ１２）。次に、生成位相決定部４１は、この生成位相補正量から、各視点用の生成位相を決定する（図９のステップＳ１３）。
【００６５】
具体的には、図１２のｘｙ平面上で考えると、各視点用の生成位相（phase_i）は、式（３）により算出される。
【００６６】
phase_i = phase_std_i + dphase
（i = 1,2,3,・・・,6） ・・・（３）
【００６７】
なお、式（３）において、phase_iは、視点番号iの生成位相を示し、phase_std_iは、視点番号iの標準状態の生成位相を示す。また、dphaseは、式（２）により算出される生成位相補正量である。
【００６８】
例えば、観察位置がypであって、yp / （Ｌ × tanθ） = 1.0となる場合、式（２）により、dphase = 1.0（1.0 × 1.0 = 1.0）が求められる。この場合、各視点用の生成位相phase_iは、標準状態の生成位相phase_std_iに対して、1.0ずつ加算すれば求められることになる。
【００６９】
図１３に示すように、例えば、i = 2の場合、式（３）により、phase_2 = phase_std_2 + dphase = 2.0 +1.0 = 3.0が求められる。つまり、観察者１は、左眼で、生成位相3.0の視点画像を見ることになる。また、他の視点の生成位相も同様に生成位相補正量が加算され、phase_i（i = 1,2,3,・・・,6）として、2.0，3.0，4.0，5.0，6.0，7.0（1.0）が得られるので、観察者は、右眼で、生成位相4.0の視点画像を見ることになる。その結果、観察者１は、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることで、視聴高さが変わる前と同一の立体映像を観察することになる。
【００７０】
なお、各視点用の生成位相の計算において、phase_iの値が、生成位相の標準値1.0〜6.0の範囲外となる場合がある。その場合には、0.5〜6.5の範囲を超える部分については、標準値1.0〜6.0の区間が繰り返されていると考えて、標準値1.0〜6.0の範囲、又はそれを包含する0.5〜6.5の範囲に、計算結果を加減算して補正することで、それを、phase_iの値とすればよい。具体的には、例えば、phase_i = 7.0が算出された場合、6.0を減算して、phase_i = 1.0とする。また、例えば、phase_i = 0.0が算出された場合、phase_iは1.0から1.0だけ少なく、次の繰り返しの視点番号iの生成位相であるべきなので、phase_i = 6.0とする。
【００７１】
また、例えば、観察位置がyp/2となる場合には、式（２）により、dphase = 0.5が求められる。この場合、各視点用の生成位相phase_iは、標準状態の生成位相phase_std_iに対して、0.5ずつ加算すれば求められることになる。
【００７２】
例えば、i = 2の場合、式（３）により、phase_2 = phase_std_2 + dphase = 2.0 + 0.5 = 2.5が求められる。また、他の視点の生成位相も同様に生成位相補正量が加算され、phase_i（i = 1,2,3,・・・,6）として、1.5，2.5，3.5，4.5，5.5，6.5が得られる。その結果、観察者１は、左眼で、生成位相2.5の視点画像と生成位相3.5の視点画像とを、右眼で、生成位相3.5の視点画像と生成位相4.5の視点画像とをそれぞれ見ることになり、等価的に、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像を見ることとなり、観察位置（高さ）yp = 0のときと同様の立体映像を観察することができる。
【００７３】
図９のフローチャートに戻り、ステップＳ１４において、生成位相制御部３５は、多視点画像生成部３２−１乃至３２−６のそれぞれに対して、ステップＳ１３にて決定された各視点用の生成位相を設定する。そして、多視点画像生成部３２−１乃至３２−６のそれぞれは、生成位相制御部３５により設定された生成位相に応じて、視点画像を生成する。具体的には、例えば、多視点画像生成部３２−１は、設定された生成位相2.0に応じて、生成位相2.0の視点画像を生成する。同様に、多視点画像生成部３２−２乃至多視点画像生成部３２−６によって、生成位相3.0乃至7.0（1.0）に応じた生成位相3.0乃至7.0（1.0）の視点画像が生成される。表示制御部３３は、多視点画像生成部３２−１乃至３２−６により生成された生成位相2.0乃至7.0（1.0）の視点画像のそれぞれを、表示素子２０の所定の画素に表示させる。
【００７４】
これにより、例えば、観察者１は、立ち上がった状態で、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像をそれぞれ見ることになる。その結果、観察者１は、立ち上がる前のときと同様の立体映像を観察することができる。
【００７５】
ステップＳ１５において、生成位相制御部３５は、生成位相の更新をするか否かを判定する。例えば、外部から１フレーム分の画像が入力されるタイミングに同期して、生成位相の更新を行うようにすることで、多視点画像の生成時に、フレーム毎に常に更新された生成位相を用いて、各視点用の視点画像を生成することができる。あるいは、生成位相の更新頻度は、適宜変更できるものとして、フレーム毎の更新を行わないようにしてもよい。また、生成位相の更新頻度と、観察位置の検出の頻度を一致させずに、例えば、観察位置の検出は毎回行うが、生成位相の更新は毎回は行わない、といった設定も可能である。なお、生成位相が算出される度に、それをそのまま利用するのは一つの方法であるが、別の方法として、LPF（Low Pass Filter：低域通過フィルタ）等の適切なフィルタリングを行ってから利用するようにしてもよい。
【００７６】
ステップＳ１５において、生成位相を更新すると判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、この場合、ステップＳ１１乃至Ｓ１４の処理が繰り返され、生成位相を更新する処理が行われる。
【００７７】
一方、ステップＳ１５において、生成位相の更新をしないと判定された場合、処理は、ステップＳ１６に進められる。ステップＳ１６において、生成位相制御部３５は、例えば観察者１によって表示装置１０の電源がオフされるなどに起因する信号をシステム全体の制御部（図示せず）から受信し、処理を終了するか否かを判定する。
【００７８】
ステップＳ１６において、処理を終了しないと判定された場合、処理は、ステップＳ１５に戻る。すなわち、生成位相の更新を行うか（ステップＳ１５の「Yes」）、又は処理を終了する（ステップＳ１６の「Yes」）まで、ステップＳ１５の判定処理が繰り返される。そして、ステップＳ１６において、処理を終了すると判定された場合、処理は終了する。
【００７９】
以上、図９の生成位相制御処理について説明した。
【００８０】
このように、生成位相制御処理では、観察位置検出部３４によって、観察者１の観察位置が検出され、生成位相決定部４１によって、検出された観察位置に応じて、各視点用の生成位相が決定される。そして、多視点画像生成部３２によって、決定された生成位相に応じて、各視点用の視点画像が生成され、生成された各視点用の視点画像が、表示素子２０の所定の画素に表示される。
【００８１】
これにより、各視点画像を生成する段階で、観察者１の観察位置に応じた中間的な視点画像を生成することが可能となり、例えば、画素単位でシフトさせる場合と比べて、観察領域を高分解能でシフトさせることができる。また、本技術は、ある一人の観察者の観察位置に応じて生成位相が変化するため、複数の観察者によって同時に観察されることを前提としていない表示装置に適用すると好適である。
【００８２】
＜第２の実施の形態＞
［本技術の第２の実施の形態の原理］
ところで、表示装置１０の製造時に、表示素子２０とパララックスバリア２１の位置合わせを行い、それらを適切な位置に配置することになるが、表示素子２０に対するパララックスバリア２１の配置位置が所望位置からずれてしまった場合、観察領域がずれてしまうことになる。このような場合、製造された表示装置１０ごとに観察領域が異なることになる。そこで、次に、第２の実施の形態として、パララックスバリア２１の位置がずれてしまった場合における対応について説明する。
【００８３】
まず、図１４乃至図１６を参照して、本技術の第２の実施の形態の原理について説明する。
【００８４】
図１４乃至図１６は、表示装置１０を＋ｙ軸方向から見た場合における所望の観察領域と実際の観察領域との関係を示している。なお、図１４乃至図１６では、説明の便宜上、表示素子２０とパララックスバリア２１の一部を拡大したものを図示している。
【００８５】
図１４に示すように、表示素子２０に対してパララックスバリア２１の位置がずれていない場合、所望の観察領域と実際の観察領域が一致することになる。そのため、観察者１は、表示素子２０に表示された生成位相1.0乃至生成位相6.0の視点画像のうち、例えば、左眼で生成位相3.0の視点画像と、右眼で生成位相4.0の視点画像を、パララックスバリア２１を介してそれぞれ見ることで、立体映像を視認する。
【００８６】
一方、図１５に示すように、表示素子２０に対してパララックスバリア２１の位置がずれて配置されている場合、所望の観察領域と実際の観察領域がずれることになる。そのため、観察者１は、所望の観察領域での観察を行うと、本来、左眼で生成位相3.0の視点画像、右眼で生成位相4.0の視点画像を見るべきところ、パララックスバリア２１の位置ずれに応じて、実際の観察領域が、図中の左側にずれてしまうため、図１４の場合と比べるとやや右側から見た立体映像を視認することになる。
【００８７】
すなわち、パララックスバリア２１の位置がずれて配置されると、それに応じて観察領域の位置が変化してしまい、製品の標準仕様として決めた所望の観察領域の位置を製品間で一定に保つことができなくなる。そこで、本技術では、表示素子２０の各画素に表示される視点画像の生成位相をずらして、等価的に、実際の観察領域を所望の観察領域と一致させる。例えば、図１６に示すように、観察者１の左眼に生成位相3.0の視点画像を提示しようとする場合、パララックスバリア２１の位置のずれ量を測定して、その測定結果に応じて、図１４で生成位相3.0の視点画像を表示していた画素に、生成位相2.3の視点画像を表示させる。また、他の画素についても同様に、それぞれ、生成位相が0.7ずつ減算された視点画像を表示させる。
【００８８】
これにより、図中の点線で示す「中心」の位置で観察される視点画像は、生成位相3.0の視点画像そのものではないが、実際の観察領域で、生成位相3.0の視点画像が見えるべき位置が、所望の観察領域のそれと一致するように各視点画像が表示されることになる。その結果、観察者１は、図１４と同様の立体映像を観察することができるようになる。
【００８９】
以下、本技術の第２の実施の形態の原理の具体的な実現方法について説明する。
【００９０】
［表示装置の構成例］
図１７は、第２の実施の形態における表示装置の構成を示す図である。
【００９１】
なお、図１７において、図８と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。
【００９２】
すなわち、図１７の表示装置１０は、図８の表示装置１０と比べて、ずれ量測定部３６及び記憶部３７が追加して設けられている。
【００９３】
ずれ量測定部３６は、表示素子２０に対するパララックスバリア２１の配置位置の所望位置からのずれ量を測定し、生成位相制御部３５に供給する。なお、ずれ量測定部３６は、表示装置１０の内部ブロックであるとして説明するが、ずれ量測定装置として、外部の装置として構成され、表示装置１０に接続されるようにしてもよい。
【００９４】
生成位相制御部３５は、ずれ量測定部３６からの測定値（ずれ量）に基づいて、生成位相補正量オフセット値を決定し、記憶部３７に記憶させる。また、生成位相決定部４１は、生成位相の決定時に、記憶部３７から生成位相補正量オフセット値を読み出して、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相を決定する。
【００９５】
表示装置１０は、以上のように構成される。
【００９６】
［製造時のバリアずれ補正制御処理］
次に、図１８のフローチャートを参照して、生成位相制御部３５及びずれ量測定部３６により実行される製造時のバリアずれ補正制御処理について説明する。
【００９７】
ステップＳ３１において、ずれ量測定部３６は、パララックスバリア２１の位置ずれ量（dbar）を測定する。
【００９８】
なお、パララックスバリア２１の位置ずれ量dbarの測定方法であるが、例えば、表示装置１０の製造後、視点番号３に対応する視点画像のみを白色、他の視点番号に対応する視点画像を黒色とする画像を、表示素子２０に表示し、撮像部によりその画像を撮影して、画面全体が白色になる部分の位置を求めることで、測定することができる。
【００９９】
ステップＳ３２において、生成位相制御部３５は、ステップＳ３１にて測定された位置ずれ量に基づいて、生成位相補正量オフセット値（dphase_ofst）を決定する。
【０１００】
ここで、図１９及び図２０を参照して、生成位相補正量オフセット値の決定方法の詳細について説明する。なお、図１９及び図２０は、前述した図１０乃至図１３と同様に、表示装置１０のディスプレイ面側から、観察者１を見たときの様子を模式的に表している。
【０１０１】
図１９は、図１０乃至図１３と比べて、パララックスバリア２１の位置がずれたために観察領域が１つの視点番号に対応する観察領域分だけ、＋ｘ軸方向にずれた状態を示している。なお、図１９では、説明の便宜上、１つの視点番号に対応する観察領域分だけずれた場合を説明する。
【０１０２】
この場合、観察者１は、左眼で生成位相2.0の視点画像、右眼で生成位相3.0の視点画像をそれぞれ見るので、図１０に示した標準状態のときと比べて、水平方向に視点がずれていると感じることになる。すなわち、パララックスバリア２１の位置がずれると、そのずれに対応して、観察領域全体が水平方向にずれることになる。
【０１０３】
また、図２０に示すように、視点番号３に対応する観察領域の中心の原点からのずれ量を、dbarとし、観察領域の正視範囲のｘ軸方向の長さをＬとすると、生成位相補正量オフセット値（dphase_ofst）は、式（４）により算出される。
【０１０４】
dphase_ofst = 1.0 × dbar / Ｌ ・・・（４）
【０１０５】
なお、式（４）において、dbarは、ステップＳ３１にてずれ量測定部３６により測定される測定値となる。また、式（４）の「1.0」であるが、前述した式（２）と同様に、視点数と生成位相の関係により定まる定数であって、図１９及び図２０の例でも、隣接する視点間では生成位相が1.0ずつ変化する例を示しているので、式（４）の定数が、「1.0」に定められている。
【０１０６】
図１８のフローチャートに戻り、ステップＳ３３において、生成位相制御部３５は、ステップＳ３２にて決定した生成位相補正量オフセット値を、記憶部３７に記憶させる。ステップＳ３３が終了すると、処理は終了する。
【０１０７】
以上、図１８の製造時のバリアずれ補正制御処理について説明した。
【０１０８】
このように、製造時のバリアずれ補正制御処理では、生成位相制御部３５によって、パララックスバリア２１の位置ずれ量が測定され、ずれ量測定部３６によって、測定された位置ずれ量に応じた生成位相補正量オフセット値が決定され、記憶部３７に記憶される。
【０１０９】
これにより、表示素子２０に対してパララックスバリア２１の位置がずれている場合でも、記憶部３７に記憶された生成位相補正量オフセット値を用いて生成位相を補正することが可能となる。
【０１１０】
［使用時のバリアずれ補正制御処理］
次に、図２１のフローチャートを参照して、生成位相制御部３５により実行される使用時のバリアずれ補正制御処理について説明する。
【０１１１】
ステップＳ５１，Ｓ５２においては、図９のステップＳ１１，Ｓ１２と同様に、観察位置検出部３４によって観察者１の観察位置が検出され、生成位相制御部３５によって、生成位相補正量が決定される。
【０１１２】
ステップＳ５３において、生成位相決定部４１は、図１８のステップＳ３３にて記憶部３７に記憶された生成位相補正量オフセット値を読み出して、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相を決定する。
【０１１３】
具体的には、各視点用の生成位相（phase_i）は、式（５）により算出される。
【０１１４】
phase_i = phase_std_i + dphase + dphase_ofst
（i = 1,2,3,・・・,6） ・・・（５）
【０１１５】
なお、式（５）において、式（３）と同様に、phase_iは、視点番号iの生成位相を示し、phase_std_iは、視点番号iの標準状態の生成位相を示す。また、dphaseは、式（２）により算出される生成位相補正量である。また、dphase_ofstは、記憶部３７に記憶される生成位相補正量オフセット値を示す。
【０１１６】
ステップＳ５４においては、図９のステップＳ１４と同様に、生成位相制御部３５によって、多視点画像生成部３２−１乃至３２−６のそれぞれに対して、ステップＳ５３にて決定された各視点用の生成位相が設定される。そして、多視点画像生成部３２−１乃至３２−６においては、生成位相制御部３５により設定された生成位相に応じて、視点画像が生成される。
【０１１７】
ステップＳ５５，Ｓ５６においては、図９のステップＳ１５，Ｓ１６と同様に、生成位相の更新を行う場合には、ステップＳ５１乃至Ｓ５４の処理が繰り返されることになる。そして、ステップＳ５６において、例えば、表示装置１０の電源がオフされるなどして、処理を終了すると判定された場合、処理は終了する。
【０１１８】
以上、図２１の使用時のバリアずれ補正制御処理について説明した。
【０１１９】
このように、使用時のバリアずれ補正制御処理では、観察位置検出部３４によって、観察者１の観察位置が検出され、生成位相決定部４１によって、観察位置及び生成位相補正量オフセット値に応じて、各視点用の生成位相が決定される。そして、多視点画像生成部３２によって、決定された生成位相に応じて、各視点用の視点画像が生成され、生成された各視点用の視点画像が、表示素子２０の所定の画素に表示される。
【０１２０】
これにより、表示素子２０に対してパララックスバリア２１の位置がずれていて、そのままでは製造された表示装置１０ごとに観察領域が異なる場合でも、生成位相補正量オフセット値により補正された生成位相を用いて、各視点用の視点画像を生成するので、製品の標準仕様として決めた観察領域の位置を、製品間で一定に保つことができるようになる。
【０１２１】
＜変形例＞
前述した説明では、例えば、図１に示したように、表示素子２０の前方（＋ｚ軸方向）にパララックスバリア２１を配置する例を説明したが、パララックスバリア２１は、表示素子２０と、照明部２３との間に配置されるようにしてもよい。すなわち、パララックスバリア２１は、表示素子２０の前方又は後方に配置され、表示素子２０から出射又は表示素子２０に入射する光線を限定することができる。
【０１２２】
また、前述した説明では、マスク開口部２２が、表示素子２０の画素配列の斜め方向に形成される例を説明したが、マスク開口部２２は、表示素子２０の画素配列に対して垂直方向に伸びるように形成されるようにしてもよい。さらに、前述した説明では、光線制御子として、パララックスバリア２１を用いたパララックスバリア方式を例に説明したが、レンチキュラーレンズを用いて、レンチキュラー方式を採用するようにしてもよい。
【０１２３】
［本技術を適用したコンピュータの説明］
前述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１２４】
そこで、図２２は、前述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２５】
プログラムは、コンピュータ１００に内蔵されているハードディスク等の記憶部１０８やROM(Read Only Memory)１０２に予め記録しておくことができる。
【０１２６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルメディア１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２７】
なお、プログラムは、前述したようなリムーバブルメディア１１１からコンピュータ１００にインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータ１００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１００に有線で転送し、コンピュータ１００では、そのようにして転送されてくるプログラムを、通信部１０９で受信し、記憶部１０８にインストールすることができる。
【０１２８】
コンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１には、バス１０４を介して、入出力インタフェース１０５が接続されており、CPU１０１は、入出力インタフェース１０５を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０６が操作等されることにより指令が入力されると、それに従って、ROM１０２に格納されているプログラムを実行する。あるいは、また、CPU１０１は、記憶部１０８に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０９で受信されて記憶部１０８にインストールされたプログラム、又はドライブ１１０に装着されたリムーバブルメディア１１１から読み出されて記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。
【０１２９】
これにより、CPU１０１は、前述したフローチャートにしたがった処理、あるいは前述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０５を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０７から出力、あるいは、通信部１０９から送信、さらには、記憶部１０８に記録等させる。
【０１３０】
ここで、本明細書において、コンピュータ１００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３１】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１３２】
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
また、本技術は、以下の構成とすることも可能である。
【０１３４】
［１］
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、
前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子と
を備える表示装置。
［２］
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する
［１］に記載の表示装置。
［３］
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、
前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する
［１］又は［２］に記載の表示装置。
［４］
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、
前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する
［１］乃至［３］のいずれかに記載の表示装置。
［５］
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する
［１］乃至［４］のいずれかに記載の表示装置。
［６］
前記光線制御子は、スリットアレイ又はレンズアレイである
［１］乃至［５］に記載の表示装置。
［７］
表示装置が、
観察者の観察位置を検出し、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する
ステップを含む表示方法。
［８］
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する表示制御部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０１３５】
１０ 表示装置， ２０ 表示素子， ２１ パララックスバリア， ２２ マスク開口部， ２３ 照明部， ３１ 視差抽出部， ３２，３２−１乃至３２−６ 多視点画像生成部， ３３ 表示制御部， ３４ 観察位置検出部， ３５ 生成位相制御部， ３６ ずれ量測定部， ３７ 記憶部， ４１ 生成位相決定部， １００ コンピュータ， １０１ CPU
【特許請求の範囲】
【請求項１】
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、
前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子と
を備える表示装置。
【請求項２】
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する
請求項１に記載の表示装置。
【請求項３】
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、
前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する
請求項１に記載の表示装置。
【請求項４】
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、
前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する
請求項１に記載の表示装置。
【請求項５】
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する
請求項１に記載の表示装置。
【請求項６】
前記光線制御子は、スリットアレイ又はレンズアレイである
請求項１に記載の表示装置。
【請求項７】
表示装置が、
観察者の観察位置を検出し、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する
ステップを含む表示方法。
【請求項８】
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する表示制御部と
して、コンピュータを機能させるためのプログラム。
【請求項１】
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
画素が複数配列された表示領域を有し、複数の観察領域のそれぞれにおいて各視点用の前記視点画像を観察可能に表示する表示素子と、
前記表示素子の前方又は後方に配置され、前記表示素子から出射又は前記表示素子に入射する光線方向を限定する光線制御子と
を備える表示装置。
【請求項２】
前記生成位相決定部は、前記観察位置の基準位置からのずれ量に応じた補正量を算出して、あらかじめ定められた各視点ごとの生成位相にそれぞれ加算することで、前記生成位相を決定する
請求項１に記載の表示装置。
【請求項３】
前記表示素子に対する前記光線制御子の配置位置の所望位置からのずれ量に基づいたオフセット値を記憶する記憶部をさらに備え、
前記生成位相決定部は、記憶された前記オフセット値に基づいて、前記生成位相を決定する
請求項１に記載の表示装置。
【請求項４】
第１の原画像及び第２の原画像を取得する画像取得部をさらに備え、
前記多視点画像生成部は、決定された前記生成位相に応じて、前記第１の原画像及び前記第２の原画像から、各視点用の前記視点画像を生成する
請求項１に記載の表示装置。
【請求項５】
前記観察位置検出部は、前記観察者を撮影して得られる顔画像から頭部、顔、又は眼の位置を検出する
請求項１に記載の表示装置。
【請求項６】
前記光線制御子は、スリットアレイ又はレンズアレイである
請求項１に記載の表示装置。
【請求項７】
表示装置が、
観察者の観察位置を検出し、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定し、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成し、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する
ステップを含む表示方法。
【請求項８】
観察者の観察位置を検出する観察位置検出部と、
検出された前記観察位置に応じて、複数の視点に対する多視点画像の各視点用の生成位相を決定する生成位相決定部と、
決定された前記生成位相に応じて、所定の画像から、各視点用の視点画像を生成する多視点画像生成部と、
生成された各視点用の前記視点画像を、画素が複数配列された表示領域を有する表示素子であって、複数の観察領域のそれぞれにおいて各視点用の視点画像が観察可能な前記表示素子に表示する表示制御部と
して、コンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−６５９５１（Ｐ２０１３−６５９５１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２１６７（Ｐ２０１１−２０２１６７）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]