画像表示システム
【課題】３次元的な運動視差による立体視を容易に実現できるようにした画像表示システムを提供する。
【解決手段】光線再生法により立体的な画像を表示する画像表示装置１と、観察者２０の眼２１の３次元的な位置（視点位置）を検出するための撮影カメラ２Ａ，２Ｂおよび相対位置算出部３と、画像表示装置１で表示する基本的な画像情報を入力する画像信号源入力部４と、視点位置に応じた画像を生成する表示画像生成部５とを備える。画像表示装置１において、画像表示装置１に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像をリアルタイムに演算して表示する。光線再生法により水平方向のみしか運動視差を再現しない画像表示装置１であっても、輻輳のみならず完全に３次元的な運動視差による立体視を容易に実現できる。
【解決手段】光線再生法により立体的な画像を表示する画像表示装置１と、観察者２０の眼２１の３次元的な位置（視点位置）を検出するための撮影カメラ２Ａ，２Ｂおよび相対位置算出部３と、画像表示装置１で表示する基本的な画像情報を入力する画像信号源入力部４と、視点位置に応じた画像を生成する表示画像生成部５とを備える。画像表示装置１において、画像表示装置１に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像をリアルタイムに演算して表示する。光線再生法により水平方向のみしか運動視差を再現しない画像表示装置１であっても、輻輳のみならず完全に３次元的な運動視差による立体視を容易に実現できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体的な画像表示を実現する画像表示システムに関する。
【背景技術】
【０００２】
従来より、コンピュータの演算により仮想３次元空間上の物体を平面上に投影して描画する３ＤＣＧ（3 Dimensional Computer Graphics)技術が知られている。３ＤＣＧでは、最終的な出力先である表示装置は２次元（２Ｄ）であるが、３ＤＣＧは作成時に持っている情報（物体の形状、位置、光源の強度・位置等）が３次元（３Ｄ）である。しかしながら、単純に３ＤＣＧを通常の２次元画像表示装置（液晶表示モニタや投射型ディスプレイ等）に表示しただけでは、いわゆる立体視と呼ばれる立体感を得ることはできない。
【０００３】
立体視を実現する手法として、両眼視差を利用したものがある。代表的なものとして、専用眼鏡を用いて左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置がある。例えば、偏光方向が異なる２つの視差画像を偏光メガネで左眼と右眼とに分離して観察することで立体視を実現する手法が知られている（特許文献１参照）。また、液晶シャッタのような電子的なシャッタを備えた専用眼鏡を利用し、左眼用画像と右眼用画像とを時分割で切り替えて表示する方法もある。また、専用眼鏡を用いることなく、裸眼で両眼視差を利用した立体表示を行うものとして、レンチキュラー方式やパララックス・バリア方式が知られている（特許文献２参照）。レンチキュラー方式は、円筒状のレンチキュラーレンズを画像表示面上に複数配列することで、左眼用画像を形成する光線と右眼用画像を形成する光線とを別々の方向に出射して両眼視差が得られるようにしたものである。パララックス・バリア方式は、左眼用画像を表示する画素と右眼用画像を表示する画素とを水平方向に交互に配列し、その前側に左眼用画像の光束と右眼用画像の光束とを分離するためのスリット状の開口部を有するパララックスバリアを配置したものである。
【０００４】
これらの立体表示方式では、物理的に立体的な画像が意図した位置にあるのではなく、例えば左眼用画像と右眼用画像とが２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。これに対し、実際の３次元物体からの光波と等価な状況を光線によって再現することで立体表示を行う光線再生法と呼ばれる技術がある（特許文献３参照）。光線再生法では、例えば、空間的に変調された光を投射する投射手段を多数配列し、各投射手段から角度の異なる投射光をスクリーン上に投影することで、任意の点に複数の方向からの像を多重結像させる。光線再生法による立体画像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。光線再生技術によれば、視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体画像を提供することができる。それだけでなく、視点位置の移動に伴う画像の変化を連続的に提供することができる。
【特許文献１】特開平１−３１５７３０号公報
【特許文献２】特開平１０−２３４０５７号公報
【特許文献３】特表２００３−５３０６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の両眼視差を利用した専用眼鏡方式やレンチキュラー方式等では、頭（視点）を静止した状態であっても動かした状態であっても、観察者に呈示される画像情報が同じである。このため、視点を静止した状態では違和感なく立体的に見えても、視点を動かしたときには画像が変化しない、すなわち運動視差が実現できていない。このため、視点を移動させたときに不自然に感じてしまうという問題がある。これに対し、特許文献２では、観察者の視点位置の移動を検出する視点位置検出手段と、レンチキュラー方式等による立体ディスプレイと、その立体ディスプレイに表示する視差画像を撮影する立体カメラとを備え、観察者の視点位置の移動に応じて立体ディスプレイを回転させると共に、立体カメラも回転させ、立体ディスプレイに表示する画像を変化させるようにすることで、運動視差の効果を得る手法が提案されている。しかしながら、この方法では、観察者の視点位置の移動に伴ってリアルタイムで立体ディスプレイと立体カメラとを移動させる機構が必要であり、構成が複雑化する。また、この手法では、水平方向の回転移動しかできないため、垂直方向の運動視差を実現できない。垂直方向の運動視差を実現するためには立体ディスプレイと立体カメラとを垂直方向にも移動制御する機構が必要となり、さらに構成が複雑化し、実現が困難である。
【０００６】
一方、光線再生法では、現実の３次元物体からの光波と等価な状況を光線によって再現するので、原理上は、水平、垂直、および奥行き方向の３次元すべての方向について運動視差を実現できる。しかしながら、光線再生法によって３次元すべての方向について運動視差を実現するためには、３次元すべての方向からの光波に対応する光線を高い密度で空間上に散布する必要がある。そのためには例えば投射手段を高密度で多数配置する必要があり、装置全体の大型化や光利用効率の低下の問題等が生じ、現実的には実現するのは困難である。そこで、通常では、水平方向の運動視差のみ実現しているのが一般的であり、垂直方向については運動視差が実現されないため、視点を移動させたときにはやはり不自然に感じる場合がある。例えば視点を固定している場合には、両眼の輻輳角等による立体感を実感できる。また視点が水平方向に動いた場合も、水平方向については光線再生されているため、その装置の視野角の範囲内では正常に運動視差が再現される。しかし、通常は垂直方向については光線再生を行わないために、視点が上下方向に動いた場合は、運動視差が再現されず、従って表示物体が逆に動いたように見えるという問題が発生する。また同様の理由で、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える場合があり、やはり観察者に不自然な感じを与える問題がある。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、３次元的な運動視差による立体視を容易に実現できるようにした画像表示システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係る画像表示システムは、２次元画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、２次元画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、２次元画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。
【０００９】
本発明の第１の観点に係る画像表示システムでは、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。この第１の観点に係る画像表示システムでは、運動視差に対応した２次元画像が表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。
【００１０】
本発明の第２の観点に係る画像表示システムは、観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、観察者の両眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する左眼用画像および右眼用画像として生成する画像生成手段とを備えたものである。
【００１１】
本発明の第２の観点に係る画像表示システムでは、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。
【００１２】
本発明の第３の観点に係る画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。
【００１３】
本発明の第３の観点に係る画像表示システムでは、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。
【発明の効果】
【００１４】
本発明の第１の観点に係る画像表示システムによれば、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応した２次元画像を、２次元画像表示装置に表示するようにしたので、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、３次元的な運動視差による立体視を容易に実現できる。
【００１５】
本発明の第２の観点に係る画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、従来の両眼視差を利用した立体表示装置に比べて、３次元的な運動視差による立体視を容易に実現でき、輻輳を含むより自然な立体視を行うことができる。
【００１６】
本発明の第３の観点に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
【００１８】
図１は、本発明の第１の実施の形態に係る画像表示システムの一構成例を示している。この画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置１と、観察者２０の眼２１の３次元的な位置（視点位置）を検出するための撮影カメラ２Ａ，２Ｂおよび相対位置算出部３と、画像表示装置１で表示する基本的な画像情報を入力する画像信号源入力部４と、視点位置に応じた画像を生成する表示画像生成部５とを備えている。
【００１９】
画像表示装置１は、前面にスクリーン１１を有し、内部には、図２に示したように複数の投射部１０を有している。スクリーン１１は、水平方向に比べて垂直方向に光を広く拡散させるような構成とされている。投射部１０は、水平方向に複数配列されている。また、画像表示装置１の内部の側面は、光を反射するミラー１２が配置されている。複数の投射部１０はそれぞれ独立して機能し、図示しないが内部に、光源と、与えられた画像信号に従って光源からの光を変調する液晶表示デバイス等の空間光変調器と、その空間光変調器によって変調された光をスクリーン１１に向けて投射する投射光学系とを有している。画像表示装置１では、図３に示したように、スクリーン１１の任意の位置に対して、各投射部１０から水平方向について角度の異なる投射光ＬＰが投射される。これにより、任意の点に複数の方向からの像が多重結像される。これにより、観察者２０に対して、水平方向について運動視差を持つ視差画像が表示される。画像表示装置１による立体画像のより詳しい表示原理は後述する。
【００２０】
撮影カメラ２Ａ，２Ｂは、例えばＣＣＤ（Charge Coupled Device）撮像素子を有し、観察者２０の頭部をリアルタイムで撮影するようになっている。撮影カメラ２Ａ，２Ｂを２台設置しているのは、三角測量の原理により３次元的な視点位置を検出するためである。なお、撮影カメラ２Ａ，２Ｂを３台以上、設置しても良い。撮影カメラ２Ａ，２Ｂからの撮像信号は、相対位置算出部３に出力されるようになっている。
【００２１】
相対位置算出部３は、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて３次元的な視点位置を検出するようになっている。相対位置算出部３は、例えば、観察者２０の右眼２１Ｒと左眼２１Ｌとの位置を検出し、それらの中点２２（図６参照）を視点位置として検出するようになっている。この場合において、右眼２１Ｒおよび左眼２１Ｌの検出は、例えば画像処理によって行うことができる。例えばあらかじめ用意された人間の顔画像のテンプレートと実際に撮影された観察者２０の顔画像とを比較して、右眼２１Ｒと左眼２１Ｌとを検出する方法がある。また、撮影カメラ２Ａ，２Ｂにおいて、赤外線等を照射する手段を備え、観察者２０に赤外線等を照射してその反射光から直接、右眼２１Ｒおよび左眼２１Ｌの眼球位置を検出するようにしても良い。
【００２２】
相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出するようになっている。より具体的には、例えば画像表示装置１のスクリーン１１の中心位置（Ｘ０，Ｙ０，Ｚ０）を基準座標（０，０，０）とし、それに対する視点位置の座標（Ｘ１，Ｙ１，Ｚ１）を、相対的な視点位置として算出するようになっている。なお、相対位置算出部３はあらかじめ、撮影カメラ２Ａ，２Ｂの設置位置の情報とスクリーン１１の配置位置の情報とを有している。
【００２３】
相対位置算出部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された所定の演算プログラムを実行することで、上述の相対位置検出のための演算を行うようになってる。
本実施の形態において、撮影カメラ２Ａ，２Ｂおよび相対位置算出部３が、本発明における「検出手段」の一具体例に対応し、相対位置算出部３が、本発明における「相対位置算出手段」の一具体例に対応する。
【００２４】
画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供するものである。画像信号源入力部４は、磁気記録媒体や光記録媒体等の記録媒体を有し、その画像情報を記憶している。例えば撮影装置によって、あらかじめ、画像表示装置１で表示する立体像を複数方向から撮影して、立体画像表示に必要な画像情報を用意し、記録媒体に記憶しておく。なお、実際に撮影したものでなくても３ＤＣＧで作成した画像情報であっても良い。画像信号源入力部４で提供するのは、画像表示装置１の視野角内で表示物の３次元的な表示を行うための演算処理に必要な画像情報である。
【００２５】
表示画像生成部５は、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する画像として生成するものである。表示画像生成部５は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された画像処理用のプログラムを実行することで、画像を生成するようになっている。表示画像生成部５は、相対的な視点位置の変化に追随して随時、リアルタイムで、３ＤＣＧのレンダリング技術によるレンダリング処理を行って画像表示装置１に表示すべき画像を生成するようになっている。
【００２６】
以上のシステム構成において、立体的な画像を表示する動作について説明する。
まず、主に図２を参照して、画像表示装置１における光線再生法による立体画像表示の基本原理について説明する。図２には、立体画像表示に必要なｎ枚分（複数枚分）の画像情報が用意され、このｎ枚分の画像情報を利用した立体画像表示の態様を模式的に示している。例えば投射部１０のうち１つの投射部１０ｍから、矢印ｍ１〜ｍ５で示すように、スクリーン１１に向かって投射光が投射される。なお、側面に配置されたミラー１２によって反射された光も矢印ｍ１´で示すようにスクリーン１１に入射される。
【００２７】
スクリーン１１は水平方向については微小な所定の拡散角を有する構成とされており、ｍ１´，ｍ２〜ｍ５で示す光がスクリーン１１を通過する水平方向の角度は、ほぼ一定に保持される。ここで、１つの投射部１０ｍから投射される、矢印ｍ１´、ｍ２〜ｍ５で示す光は、立体画像を構成する複数枚の画像情報Ｐ１〜Ｐｎのうち、縦方向に分割された一部の画像情報Ｐ２ｍ〜Ｐｎｍを表示するものとなる。これは、スクリーン１１が垂直方向には大きい拡散角を有していると共に、水平方向には微小な所定の拡散角を有する構成とされているため、１つの投射部１０ｍからの情報はほぼ垂直方向にしか拡散されず、縦ラインの表示として見えるためである。すなわち、矢印ｍ１´，ｍ２〜ｍ５で示す光が通過するスクリーン１１の位置を単位画素とすると、垂直方向に延びる単位画素から観察者２０の眼２１に向けて、立体画像を構成する縦ラインの画像情報Ｐ２ｍ〜Ｐｎｍが出射されることとなる。この場合において、スクリーン１１の隣の単位画素の表示ラインはその隣の投射部からの表示情報が眼２１に入る。従って、複数の投射部１０からそれぞれ必要な情報が眼２１に入るようにすることによって、水平方向の視野角内において、左右の眼２１で観察されるスクリーン１１上の画像は、複数の投射部１０による縦ライン表示の合成画像として見える。そしてこの場合、スクリーン１１が水平方向において例えば１°未満程度の微小な拡散角を有していれば、各投射部１０が表示するこれらの縦ラインの間に隙間が生じることなく、良好な立体画像表示を行うことができる。
【００２８】
以上で説明した基本原理による画像表示装置１で表示される立体表示画像は、水平方向の運動視差のみ実現している。すなわち、画像表示装置１自体は垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差の表示には対応していない。しかしながら、本実施の形態では、さらに、画像表示装置１の各投射部１０に与える画像情報自体を垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）ことで、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像は、表示画像生成部５によって生成される。
【００２９】
表示画像生成部５は、３ＤＣＧのレンダリング技術によるレンダリング処理を行うことで、その運動視差に対応した画像を生成する。レンダリング処理は例えば、画像表示装置１で表示する画像の毎フレームごとに行う。３ＤＣＧのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を生成する。表示画像生成部５は、その仮想的なカメラの位置を相対位置算出部３で算出した視点位置とし、その仮想的なカメラによって撮影されるはずの画像を生成する。例えば図５に示したように、視点位置が（Ｘ１，Ｙ１，Ｚ１）から所定量以上変化して（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）となったとき（ΔＸ，ΔＹ，ΔＹはそれぞれ、Ｘ，Ｙ，Ｚ方向の移動量）には、表示画像生成部５は、その変化量に対応した画像をレンダリング処理によって生成する。すなわち、表示画像生成部５は、変化後の視点位置（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）を仮想的なカメラの位置に設定して、その仮想的なカメラによって撮影されるはずの画像を生成する。これによって、垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差に対応した画像を生成する。
【００３０】
これにより、具体的には例えば、視点位置が画像表示装置１のスクリーン１１の基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め上方に変化した場合は、図４（Ａ）のように斜め上方から見た画像が表示され、逆に視点位置が基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め下方に変化した場合は、図４（Ｂ）のように、斜め下方から見た画像が表示される。なお、これは、直方体形状の立体画像を表示し、スクリーン１１の正面から見たときには直方体の正面が見えているものとした場合の例である。このような表示を行うことで、垂直方向の運動視差も再現できるようになる。
【００３１】
以上説明したように、本実施の形態に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置１において、画像表示装置１に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像をリアルタイムに演算して表示するようにしたので、光線再生法により水平方向のみしか運動視差を再現しない画像表示装置１であっても、輻輳のみならず完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。また、光線再生法による立体表示では、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える問題があったが、本実施の形態によれば、奥行き方向について視点位置の移動に応じて表示画像を変化させるので、その問題は自動的に解決される。
［第２の実施の形態］
【００３２】
次に、本発明の第２の実施の形態を説明する。なお、上記第１の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００３３】
上記第１の実施の形態では、表示装置が、光線再生法による立体画像表示装置である場合を例に説明したが、本実施の形態は、専用眼鏡を用いて画像を分離することで、左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置に関するものである。専用眼鏡としては、偏光メガネを利用する方式がある。この場合、図１における画像表示装置１は、偏光方向が互いに異なる左眼用画像と右眼用画像とを表示する。観察者２０は偏光メガネを通して左眼用画像と右眼用画像とを別々に観察する。画像表示装置１に表示される画像自体は２次元画像であるが、左眼と右眼とに視差のある画像（視差画像）が別々に表示されることで、両眼視差を利用した立体視が実現される。なお、電子的なシャッタを備えた専用眼鏡を利用する方式であっても良い。この場合、画像表示装置１は、左眼用画像と右眼用画像とを時分割で切り替えて表示する。観察者２０は専用眼鏡を通して左眼用画像と右眼用画像とを時分割で別々に観察することで、両眼視差を利用した立体視が実現される。
【００３４】
本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。本実施の形態において画像信号源入力部４で提供するのは、立体表示装置による立体視の演算に必要なだけの画像情報である。また、本実施の形態では、相対位置算出部３が、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて観察者２０の両眼の３次元的な視点位置を別々に検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する左眼と右眼の相対的な視点位置をそれぞれ、算出する。この場合、図７に示したような専用眼鏡３０を用いると、視点位置の検出が容易になる。専用眼鏡３０には、視点位置検出用の目印３１が設けられている。目印３１は、人間の眼よりも高いコントラストを持ち、また輪郭のはっきりした特定の形状を有するものである。このような目印３１を設けることで、相対位置算出部３において画像処理で左右の視点位置を検出することが容易になる。
【００３５】
また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成する。ここで、一般的な２眼式の立体表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した左眼および右眼それぞれについての画像が、表示画像生成部５によって生成される。
【００３６】
本実施の形態による画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。
［第３の実施の形態］
【００３７】
次に、本発明の第３の実施の形態を説明する。なお、上記第１または第２の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００３８】
本実施の形態は、画像表示装置１として、２次元画像表示装置を利用するものである。すなわち、立体視用の特別な表示装置ではなく、一般的な液晶表示モニタ等の表示装置を画像表示装置１として用いる。本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。
【００３９】
本実施の形態では、上記第１の実施の形態と同様に、相対位置算出部３が、例えば観察者２０の右眼２１Ｒと左眼２１Ｌとの中点２２（図６参照）を視点位置として検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出する。
【００４０】
また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する２次元画像として生成する。ここで、一般的な２次元画像表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像が、表示画像生成部５によって生成される。
【００４１】
本実施の形態による画像表示システムによれば、２次元画像表示装置に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。
［その他の実施の形態］
【００４２】
本発明は、上記各実施の形態に限定されず、種々の変形実施が可能である。例えば、上記第２の実施の形態では、専用眼鏡を用いて両眼視差を実現する方法について述べたが、レンチキュラー方式やパララックス・バリア方式等、専用眼鏡を用いることなく裸眼で両眼視差を実現する立体表示であっても、本発明は適用可能である。この場合にも、表示画像生成部５が、相対位置算出部３で算出された両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成することで、運動視差を実現できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態に係る画像表示システムの一構成例を示す全体構成図である。
【図２】光線再生法による画像表示装置の内部構成および画像表示の原理を示す説明図である。
【図３】光線再生法による画像表示の原理を示す説明図である。
【図４】視点位置に応じて生成される画像の一例を示す説明図である。
【図５】視点位置と画像表示装置のスクリーンとの相対的な位置関係を示す説明図である。
【図６】本発明の第１の実施の形態に係る画像表示システムにおいて検出する視点位置の説明図である。
【図７】本発明の第２の実施の形態に係る画像表示システムで用いる専用眼鏡の一例を示す構成図である。
【符号の説明】
【００４４】
１…画像表示装置、２Ａ，２Ｂ…撮影カメラ、３…相対位置算出部、４…画像信号源入力部、５…表示画像生成部、１０…投射部、１１…スクリーン、１２…ミラー、２０…観察者、２１…眼、３０…専用眼鏡、３１…目印。
【技術分野】
【０００１】
本発明は、立体的な画像表示を実現する画像表示システムに関する。
【背景技術】
【０００２】
従来より、コンピュータの演算により仮想３次元空間上の物体を平面上に投影して描画する３ＤＣＧ（3 Dimensional Computer Graphics)技術が知られている。３ＤＣＧでは、最終的な出力先である表示装置は２次元（２Ｄ）であるが、３ＤＣＧは作成時に持っている情報（物体の形状、位置、光源の強度・位置等）が３次元（３Ｄ）である。しかしながら、単純に３ＤＣＧを通常の２次元画像表示装置（液晶表示モニタや投射型ディスプレイ等）に表示しただけでは、いわゆる立体視と呼ばれる立体感を得ることはできない。
【０００３】
立体視を実現する手法として、両眼視差を利用したものがある。代表的なものとして、専用眼鏡を用いて左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置がある。例えば、偏光方向が異なる２つの視差画像を偏光メガネで左眼と右眼とに分離して観察することで立体視を実現する手法が知られている（特許文献１参照）。また、液晶シャッタのような電子的なシャッタを備えた専用眼鏡を利用し、左眼用画像と右眼用画像とを時分割で切り替えて表示する方法もある。また、専用眼鏡を用いることなく、裸眼で両眼視差を利用した立体表示を行うものとして、レンチキュラー方式やパララックス・バリア方式が知られている（特許文献２参照）。レンチキュラー方式は、円筒状のレンチキュラーレンズを画像表示面上に複数配列することで、左眼用画像を形成する光線と右眼用画像を形成する光線とを別々の方向に出射して両眼視差が得られるようにしたものである。パララックス・バリア方式は、左眼用画像を表示する画素と右眼用画像を表示する画素とを水平方向に交互に配列し、その前側に左眼用画像の光束と右眼用画像の光束とを分離するためのスリット状の開口部を有するパララックスバリアを配置したものである。
【０００４】
これらの立体表示方式では、物理的に立体的な画像が意図した位置にあるのではなく、例えば左眼用画像と右眼用画像とが２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。これに対し、実際の３次元物体からの光波と等価な状況を光線によって再現することで立体表示を行う光線再生法と呼ばれる技術がある（特許文献３参照）。光線再生法では、例えば、空間的に変調された光を投射する投射手段を多数配列し、各投射手段から角度の異なる投射光をスクリーン上に投影することで、任意の点に複数の方向からの像を多重結像させる。光線再生法による立体画像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。光線再生技術によれば、視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体画像を提供することができる。それだけでなく、視点位置の移動に伴う画像の変化を連続的に提供することができる。
【特許文献１】特開平１−３１５７３０号公報
【特許文献２】特開平１０−２３４０５７号公報
【特許文献３】特表２００３−５３０６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の両眼視差を利用した専用眼鏡方式やレンチキュラー方式等では、頭（視点）を静止した状態であっても動かした状態であっても、観察者に呈示される画像情報が同じである。このため、視点を静止した状態では違和感なく立体的に見えても、視点を動かしたときには画像が変化しない、すなわち運動視差が実現できていない。このため、視点を移動させたときに不自然に感じてしまうという問題がある。これに対し、特許文献２では、観察者の視点位置の移動を検出する視点位置検出手段と、レンチキュラー方式等による立体ディスプレイと、その立体ディスプレイに表示する視差画像を撮影する立体カメラとを備え、観察者の視点位置の移動に応じて立体ディスプレイを回転させると共に、立体カメラも回転させ、立体ディスプレイに表示する画像を変化させるようにすることで、運動視差の効果を得る手法が提案されている。しかしながら、この方法では、観察者の視点位置の移動に伴ってリアルタイムで立体ディスプレイと立体カメラとを移動させる機構が必要であり、構成が複雑化する。また、この手法では、水平方向の回転移動しかできないため、垂直方向の運動視差を実現できない。垂直方向の運動視差を実現するためには立体ディスプレイと立体カメラとを垂直方向にも移動制御する機構が必要となり、さらに構成が複雑化し、実現が困難である。
【０００６】
一方、光線再生法では、現実の３次元物体からの光波と等価な状況を光線によって再現するので、原理上は、水平、垂直、および奥行き方向の３次元すべての方向について運動視差を実現できる。しかしながら、光線再生法によって３次元すべての方向について運動視差を実現するためには、３次元すべての方向からの光波に対応する光線を高い密度で空間上に散布する必要がある。そのためには例えば投射手段を高密度で多数配置する必要があり、装置全体の大型化や光利用効率の低下の問題等が生じ、現実的には実現するのは困難である。そこで、通常では、水平方向の運動視差のみ実現しているのが一般的であり、垂直方向については運動視差が実現されないため、視点を移動させたときにはやはり不自然に感じる場合がある。例えば視点を固定している場合には、両眼の輻輳角等による立体感を実感できる。また視点が水平方向に動いた場合も、水平方向については光線再生されているため、その装置の視野角の範囲内では正常に運動視差が再現される。しかし、通常は垂直方向については光線再生を行わないために、視点が上下方向に動いた場合は、運動視差が再現されず、従って表示物体が逆に動いたように見えるという問題が発生する。また同様の理由で、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える場合があり、やはり観察者に不自然な感じを与える問題がある。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、３次元的な運動視差による立体視を容易に実現できるようにした画像表示システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係る画像表示システムは、２次元画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、２次元画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、２次元画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。
【０００９】
本発明の第１の観点に係る画像表示システムでは、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。この第１の観点に係る画像表示システムでは、運動視差に対応した２次元画像が表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。
【００１０】
本発明の第２の観点に係る画像表示システムは、観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、観察者の両眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する左眼用画像および右眼用画像として生成する画像生成手段とを備えたものである。
【００１１】
本発明の第２の観点に係る画像表示システムでは、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。
【００１２】
本発明の第３の観点に係る画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。
【００１３】
本発明の第３の観点に係る画像表示システムでは、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。
【発明の効果】
【００１４】
本発明の第１の観点に係る画像表示システムによれば、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応した２次元画像を、２次元画像表示装置に表示するようにしたので、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、３次元的な運動視差による立体視を容易に実現できる。
【００１５】
本発明の第２の観点に係る画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、従来の両眼視差を利用した立体表示装置に比べて、３次元的な運動視差による立体視を容易に実現でき、輻輳を含むより自然な立体視を行うことができる。
【００１６】
本発明の第３の観点に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
【００１８】
図１は、本発明の第１の実施の形態に係る画像表示システムの一構成例を示している。この画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置１と、観察者２０の眼２１の３次元的な位置（視点位置）を検出するための撮影カメラ２Ａ，２Ｂおよび相対位置算出部３と、画像表示装置１で表示する基本的な画像情報を入力する画像信号源入力部４と、視点位置に応じた画像を生成する表示画像生成部５とを備えている。
【００１９】
画像表示装置１は、前面にスクリーン１１を有し、内部には、図２に示したように複数の投射部１０を有している。スクリーン１１は、水平方向に比べて垂直方向に光を広く拡散させるような構成とされている。投射部１０は、水平方向に複数配列されている。また、画像表示装置１の内部の側面は、光を反射するミラー１２が配置されている。複数の投射部１０はそれぞれ独立して機能し、図示しないが内部に、光源と、与えられた画像信号に従って光源からの光を変調する液晶表示デバイス等の空間光変調器と、その空間光変調器によって変調された光をスクリーン１１に向けて投射する投射光学系とを有している。画像表示装置１では、図３に示したように、スクリーン１１の任意の位置に対して、各投射部１０から水平方向について角度の異なる投射光ＬＰが投射される。これにより、任意の点に複数の方向からの像が多重結像される。これにより、観察者２０に対して、水平方向について運動視差を持つ視差画像が表示される。画像表示装置１による立体画像のより詳しい表示原理は後述する。
【００２０】
撮影カメラ２Ａ，２Ｂは、例えばＣＣＤ（Charge Coupled Device）撮像素子を有し、観察者２０の頭部をリアルタイムで撮影するようになっている。撮影カメラ２Ａ，２Ｂを２台設置しているのは、三角測量の原理により３次元的な視点位置を検出するためである。なお、撮影カメラ２Ａ，２Ｂを３台以上、設置しても良い。撮影カメラ２Ａ，２Ｂからの撮像信号は、相対位置算出部３に出力されるようになっている。
【００２１】
相対位置算出部３は、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて３次元的な視点位置を検出するようになっている。相対位置算出部３は、例えば、観察者２０の右眼２１Ｒと左眼２１Ｌとの位置を検出し、それらの中点２２（図６参照）を視点位置として検出するようになっている。この場合において、右眼２１Ｒおよび左眼２１Ｌの検出は、例えば画像処理によって行うことができる。例えばあらかじめ用意された人間の顔画像のテンプレートと実際に撮影された観察者２０の顔画像とを比較して、右眼２１Ｒと左眼２１Ｌとを検出する方法がある。また、撮影カメラ２Ａ，２Ｂにおいて、赤外線等を照射する手段を備え、観察者２０に赤外線等を照射してその反射光から直接、右眼２１Ｒおよび左眼２１Ｌの眼球位置を検出するようにしても良い。
【００２２】
相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出するようになっている。より具体的には、例えば画像表示装置１のスクリーン１１の中心位置（Ｘ０，Ｙ０，Ｚ０）を基準座標（０，０，０）とし、それに対する視点位置の座標（Ｘ１，Ｙ１，Ｚ１）を、相対的な視点位置として算出するようになっている。なお、相対位置算出部３はあらかじめ、撮影カメラ２Ａ，２Ｂの設置位置の情報とスクリーン１１の配置位置の情報とを有している。
【００２３】
相対位置算出部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された所定の演算プログラムを実行することで、上述の相対位置検出のための演算を行うようになってる。
本実施の形態において、撮影カメラ２Ａ，２Ｂおよび相対位置算出部３が、本発明における「検出手段」の一具体例に対応し、相対位置算出部３が、本発明における「相対位置算出手段」の一具体例に対応する。
【００２４】
画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供するものである。画像信号源入力部４は、磁気記録媒体や光記録媒体等の記録媒体を有し、その画像情報を記憶している。例えば撮影装置によって、あらかじめ、画像表示装置１で表示する立体像を複数方向から撮影して、立体画像表示に必要な画像情報を用意し、記録媒体に記憶しておく。なお、実際に撮影したものでなくても３ＤＣＧで作成した画像情報であっても良い。画像信号源入力部４で提供するのは、画像表示装置１の視野角内で表示物の３次元的な表示を行うための演算処理に必要な画像情報である。
【００２５】
表示画像生成部５は、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する画像として生成するものである。表示画像生成部５は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された画像処理用のプログラムを実行することで、画像を生成するようになっている。表示画像生成部５は、相対的な視点位置の変化に追随して随時、リアルタイムで、３ＤＣＧのレンダリング技術によるレンダリング処理を行って画像表示装置１に表示すべき画像を生成するようになっている。
【００２６】
以上のシステム構成において、立体的な画像を表示する動作について説明する。
まず、主に図２を参照して、画像表示装置１における光線再生法による立体画像表示の基本原理について説明する。図２には、立体画像表示に必要なｎ枚分（複数枚分）の画像情報が用意され、このｎ枚分の画像情報を利用した立体画像表示の態様を模式的に示している。例えば投射部１０のうち１つの投射部１０ｍから、矢印ｍ１〜ｍ５で示すように、スクリーン１１に向かって投射光が投射される。なお、側面に配置されたミラー１２によって反射された光も矢印ｍ１´で示すようにスクリーン１１に入射される。
【００２７】
スクリーン１１は水平方向については微小な所定の拡散角を有する構成とされており、ｍ１´，ｍ２〜ｍ５で示す光がスクリーン１１を通過する水平方向の角度は、ほぼ一定に保持される。ここで、１つの投射部１０ｍから投射される、矢印ｍ１´、ｍ２〜ｍ５で示す光は、立体画像を構成する複数枚の画像情報Ｐ１〜Ｐｎのうち、縦方向に分割された一部の画像情報Ｐ２ｍ〜Ｐｎｍを表示するものとなる。これは、スクリーン１１が垂直方向には大きい拡散角を有していると共に、水平方向には微小な所定の拡散角を有する構成とされているため、１つの投射部１０ｍからの情報はほぼ垂直方向にしか拡散されず、縦ラインの表示として見えるためである。すなわち、矢印ｍ１´，ｍ２〜ｍ５で示す光が通過するスクリーン１１の位置を単位画素とすると、垂直方向に延びる単位画素から観察者２０の眼２１に向けて、立体画像を構成する縦ラインの画像情報Ｐ２ｍ〜Ｐｎｍが出射されることとなる。この場合において、スクリーン１１の隣の単位画素の表示ラインはその隣の投射部からの表示情報が眼２１に入る。従って、複数の投射部１０からそれぞれ必要な情報が眼２１に入るようにすることによって、水平方向の視野角内において、左右の眼２１で観察されるスクリーン１１上の画像は、複数の投射部１０による縦ライン表示の合成画像として見える。そしてこの場合、スクリーン１１が水平方向において例えば１°未満程度の微小な拡散角を有していれば、各投射部１０が表示するこれらの縦ラインの間に隙間が生じることなく、良好な立体画像表示を行うことができる。
【００２８】
以上で説明した基本原理による画像表示装置１で表示される立体表示画像は、水平方向の運動視差のみ実現している。すなわち、画像表示装置１自体は垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差の表示には対応していない。しかしながら、本実施の形態では、さらに、画像表示装置１の各投射部１０に与える画像情報自体を垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）ことで、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像は、表示画像生成部５によって生成される。
【００２９】
表示画像生成部５は、３ＤＣＧのレンダリング技術によるレンダリング処理を行うことで、その運動視差に対応した画像を生成する。レンダリング処理は例えば、画像表示装置１で表示する画像の毎フレームごとに行う。３ＤＣＧのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を生成する。表示画像生成部５は、その仮想的なカメラの位置を相対位置算出部３で算出した視点位置とし、その仮想的なカメラによって撮影されるはずの画像を生成する。例えば図５に示したように、視点位置が（Ｘ１，Ｙ１，Ｚ１）から所定量以上変化して（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）となったとき（ΔＸ，ΔＹ，ΔＹはそれぞれ、Ｘ，Ｙ，Ｚ方向の移動量）には、表示画像生成部５は、その変化量に対応した画像をレンダリング処理によって生成する。すなわち、表示画像生成部５は、変化後の視点位置（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）を仮想的なカメラの位置に設定して、その仮想的なカメラによって撮影されるはずの画像を生成する。これによって、垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差に対応した画像を生成する。
【００３０】
これにより、具体的には例えば、視点位置が画像表示装置１のスクリーン１１の基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め上方に変化した場合は、図４（Ａ）のように斜め上方から見た画像が表示され、逆に視点位置が基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め下方に変化した場合は、図４（Ｂ）のように、斜め下方から見た画像が表示される。なお、これは、直方体形状の立体画像を表示し、スクリーン１１の正面から見たときには直方体の正面が見えているものとした場合の例である。このような表示を行うことで、垂直方向の運動視差も再現できるようになる。
【００３１】
以上説明したように、本実施の形態に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置１において、画像表示装置１に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像をリアルタイムに演算して表示するようにしたので、光線再生法により水平方向のみしか運動視差を再現しない画像表示装置１であっても、輻輳のみならず完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。また、光線再生法による立体表示では、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える問題があったが、本実施の形態によれば、奥行き方向について視点位置の移動に応じて表示画像を変化させるので、その問題は自動的に解決される。
［第２の実施の形態］
【００３２】
次に、本発明の第２の実施の形態を説明する。なお、上記第１の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００３３】
上記第１の実施の形態では、表示装置が、光線再生法による立体画像表示装置である場合を例に説明したが、本実施の形態は、専用眼鏡を用いて画像を分離することで、左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置に関するものである。専用眼鏡としては、偏光メガネを利用する方式がある。この場合、図１における画像表示装置１は、偏光方向が互いに異なる左眼用画像と右眼用画像とを表示する。観察者２０は偏光メガネを通して左眼用画像と右眼用画像とを別々に観察する。画像表示装置１に表示される画像自体は２次元画像であるが、左眼と右眼とに視差のある画像（視差画像）が別々に表示されることで、両眼視差を利用した立体視が実現される。なお、電子的なシャッタを備えた専用眼鏡を利用する方式であっても良い。この場合、画像表示装置１は、左眼用画像と右眼用画像とを時分割で切り替えて表示する。観察者２０は専用眼鏡を通して左眼用画像と右眼用画像とを時分割で別々に観察することで、両眼視差を利用した立体視が実現される。
【００３４】
本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。本実施の形態において画像信号源入力部４で提供するのは、立体表示装置による立体視の演算に必要なだけの画像情報である。また、本実施の形態では、相対位置算出部３が、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて観察者２０の両眼の３次元的な視点位置を別々に検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する左眼と右眼の相対的な視点位置をそれぞれ、算出する。この場合、図７に示したような専用眼鏡３０を用いると、視点位置の検出が容易になる。専用眼鏡３０には、視点位置検出用の目印３１が設けられている。目印３１は、人間の眼よりも高いコントラストを持ち、また輪郭のはっきりした特定の形状を有するものである。このような目印３１を設けることで、相対位置算出部３において画像処理で左右の視点位置を検出することが容易になる。
【００３５】
また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成する。ここで、一般的な２眼式の立体表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した左眼および右眼それぞれについての画像が、表示画像生成部５によって生成される。
【００３６】
本実施の形態による画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。
［第３の実施の形態］
【００３７】
次に、本発明の第３の実施の形態を説明する。なお、上記第１または第２の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００３８】
本実施の形態は、画像表示装置１として、２次元画像表示装置を利用するものである。すなわち、立体視用の特別な表示装置ではなく、一般的な液晶表示モニタ等の表示装置を画像表示装置１として用いる。本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。
【００３９】
本実施の形態では、上記第１の実施の形態と同様に、相対位置算出部３が、例えば観察者２０の右眼２１Ｒと左眼２１Ｌとの中点２２（図６参照）を視点位置として検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出する。
【００４０】
また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する２次元画像として生成する。ここで、一般的な２次元画像表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像が、表示画像生成部５によって生成される。
【００４１】
本実施の形態による画像表示システムによれば、２次元画像表示装置に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。
［その他の実施の形態］
【００４２】
本発明は、上記各実施の形態に限定されず、種々の変形実施が可能である。例えば、上記第２の実施の形態では、専用眼鏡を用いて両眼視差を実現する方法について述べたが、レンチキュラー方式やパララックス・バリア方式等、専用眼鏡を用いることなく裸眼で両眼視差を実現する立体表示であっても、本発明は適用可能である。この場合にも、表示画像生成部５が、相対位置算出部３で算出された両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成することで、運動視差を実現できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態に係る画像表示システムの一構成例を示す全体構成図である。
【図２】光線再生法による画像表示装置の内部構成および画像表示の原理を示す説明図である。
【図３】光線再生法による画像表示の原理を示す説明図である。
【図４】視点位置に応じて生成される画像の一例を示す説明図である。
【図５】視点位置と画像表示装置のスクリーンとの相対的な位置関係を示す説明図である。
【図６】本発明の第１の実施の形態に係る画像表示システムにおいて検出する視点位置の説明図である。
【図７】本発明の第２の実施の形態に係る画像表示システムで用いる専用眼鏡の一例を示す構成図である。
【符号の説明】
【００４４】
１…画像表示装置、２Ａ，２Ｂ…撮影カメラ、３…相対位置算出部、４…画像信号源入力部、５…表示画像生成部、１０…投射部、１１…スクリーン、１２…ミラー、２０…観察者、２１…眼、３０…専用眼鏡、３１…目印。
【特許請求の範囲】
【請求項１】
２次元画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記２次元画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記２次元画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項２】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記２次元画像表示装置に表示する画像を生成する
ことを特徴とする請求項１に記載の画像表示システム。
【請求項４】
観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、
観察者の両眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する前記左眼用画像および前記右眼用画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項５】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項４に記載の画像表示システム。
【請求項６】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項４に記載の画像表示システム。
【請求項７】
前記画像表示装置からの画像を観察者の両眼に前記左眼用画像と前記右眼用画像とに分離する立体視用眼鏡をさらに備え、
前記立体視用眼鏡に、前記検出手段が観察者の両眼の位置を検出するための目印が設けられている
ことを特徴とする請求項４に記載の画像表示システム。
【請求項８】
光線再生法により立体的な画像を表示する画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項９】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１０】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１１】
前記画像表示装置は、空間的に変調された光を投射する複数の投射手段と、前記複数の投射手段からの投射光が投影されるスクリーンとを有し、光線再生法により水平方向に視差を持つ画像を表示するものである
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１】
２次元画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記２次元画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記２次元画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項２】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記２次元画像表示装置に表示する画像を生成する
ことを特徴とする請求項１に記載の画像表示システム。
【請求項４】
観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、
観察者の両眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する前記左眼用画像および前記右眼用画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項５】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項４に記載の画像表示システム。
【請求項６】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項４に記載の画像表示システム。
【請求項７】
前記画像表示装置からの画像を観察者の両眼に前記左眼用画像と前記右眼用画像とに分離する立体視用眼鏡をさらに備え、
前記立体視用眼鏡に、前記検出手段が観察者の両眼の位置を検出するための目印が設けられている
ことを特徴とする請求項４に記載の画像表示システム。
【請求項８】
光線再生法により立体的な画像を表示する画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。
【請求項９】
前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１０】
前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１１】
前記画像表示装置は、空間的に変調された光を投射する複数の投射手段と、前記複数の投射手段からの投射光が投影されるスクリーンとを有し、光線再生法により水平方向に視差を持つ画像を表示するものである
ことを特徴とする請求項８に記載の画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１４６２２１（Ｐ２００８−１４６２２１Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３０６６５（Ｐ２００６−３３０６６５）
【出願日】平成１８年１２月７日（２００６．１２．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月７日（２００６．１２．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]