３次元画像表示システム
【課題】多視差立体動画表示を行う場合の同期制御を行いやすくする。
【解決手段】各再生用ＰＣ１５において複数の視差画像を、１フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各３次元表示装置１０において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。また、各再生用ＰＣ１５は、所定数のフレームごとに、視差画像に制御情報を含めた画像を再生する。３次元表示装置１０では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【解決手段】各再生用ＰＣ１５において複数の視差画像を、１フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各３次元表示装置１０において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。また、各再生用ＰＣ１５は、所定数のフレームごとに、視差画像に制御情報を含めた画像を再生する。３次元表示装置１０では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視差画像により多視差立体表示を行う３次元画像表示システムに関する。
【背景技術】
【０００２】
従来、立体映像を生成する技術として、観察者の両眼に視差画像と呼ばれる各々異なる映像を見せることにより立体感が得られる２眼式立体映像技術や、それら視差画像を複数組用意することにより異なる視点からの立体映像を提供する多眼式立体映像技術があり、それらに関わる技術が多く開発されている。しかしながら、上述の技術による立体映像は、物理的に立体画像として意図した位置にあるのではなく、例えば各々の画像が２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。
【０００３】
一方、実世界において物体表面の情報は、光波を媒体として観察者の眼球まで伝搬する。物理的に実世界の物体からの光波を人工的に再現することができる技術としてホログラフィ技術がある。ホログラフィ技術を用いた立体映像は、光の干渉により生成された干渉縞を用い、その干渉縞に光が照明された際に生じる回折波面そのものを映像情報媒体として用いている。そのため、観察者が実世界において物体を観察しているときと同様の輻輳、調節などの視覚系生理反応が起き、眼精疲労の少ない映像を提供することができる。さらに、物体からの光波面が再現されていることは、映像情報を伝達する方向に対して連続性が確保されていることといえる。そのことから、観察者の視点が移動することにより、その移動に応じた異なる角度からの適切な映像を連続的に提示することが可能であり、運動視差が連続的に提供される映像提供の手法でもある。
【０００４】
しかしながら、ホログラフィ技術では３次元空間情報を２次元空間における干渉縞として記録しており、その空間周波数は同じ物体を撮影した写真などの２次元空間の情報と比較すると極めて膨大な量になる。これは、３次元空間の情報を２次元空間に変換する際に、その情報が２次元空間上における密度に変換されていると考えることができる。そのために、ＣＧＨ（Computer Generated Hologram）による干渉縞を表示するデバイスに求められる空間分解能は極めて高く、また膨大な情報量が必要であることから、実時間ホログラムにより立体映像を実現することは、現状において技術的に困難である。
【０００５】
そこで、ホログラフィ技術による立体映像が物体からの情報を連続的な情報と見なすことのできる光波を情報媒体としていることに対して、その光波を離散化し、理論的にはほぼ実世界における光波からなる場と等価である状況を光線によって再現することで立体映像を生成する光線再生技術がある。光線再生法またはインテグラルフォトグラフィ法と呼ばれる立体映像技術は、光線再生技術に属する技術である。
【０００６】
光線再生技術では、あらかじめ多くの方向へ伝搬する多数の光線からなる光線群を光学的手段により空間に散布する。次に、任意の位置に配置する仮想的な物体表面より伝搬すべき光線を、その光線群より選択し、選択された光線の強度や位相の変調を行うことによって、空間に光線からなる像を生成し、観察者はそれを立体映像として観察することができる。光線再生技術による立体映像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。
【０００７】
以上で述べた光線再生を実現するための装置として、液晶ディスプレイやプラズマディスプレイなどのディスプレイデバイスとマイクロレンズアレイやピンホールアレイとを組み合わせた装置が提案されている。また、プロジェクタを多数並べた装置も考えられている。図２９は、プロジェクタを用いて光線再生を実現した３次元表示装置の一構成例を示している。この装置は、多数のプロジェクタユニット１０１を縦方向と横方向とに並列的に配置し、各プロジェクタユニット１０１から角度の異なる光線を出射するようにしたものである。これにより、ある断面１０２内の任意の点において多視角の像を多重再生し、立体映像を実現している。
【０００８】
このような光線再生法による立体表示では、多数の視差画像を同時に再生する必要があり、視差数の分だけ情報量が増大する。そこで、特許文献１には、光線再生法による立体表示を行う画像表示システムにおいて、視差画像の一部を表示する視差画像表示手段を複数備え、各視差画像表示手段に、視差画像として圧縮符号化された動画像情報を送り込むことで多数の視差画像の再生を行えるようにした技術が開示されている。
【特許文献１】特開２００４−３２２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記した光線再生技術によれば、２眼式および多眼式立体映像では不可能であった視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体映像を提供することができる。それだけでなく、仮想物体上の同一要素より複数の方向へ連続的に光線が出射されていることから、視点位置の移動に伴う映像の変化を連続的に提供することができる。
【００１０】
しかしながら、現状の光線再生技術により生成された映像は、実世界における物体と比較すると臨場感に欠ける。これは、現状の光線再生技術による立体映像が実世界の物体から観察者が得る情報量に対して非常に少量の情報、すなわち少量の光線によって生成されていることが原因であると考えられる。一般的に人間の視認限界は角度分解能で１分程度といわれており、現状の光線再生技術による立体映像は、この人間の視覚に対して不十分な光線によって生成されている。従って、実世界の物体が持つような高い臨場感やリアリティを有する立体映像を生成するためには、少なくとも多量の光線により映像を生成することが課題であるといえる。
【００１１】
この実現のためには、まず空間的に高い密度で光線群を生成することのできる技術が必要である。解決手段としては、液晶ディスプレイなどのディスプレイデバイスの表示密度を高くすることが考えられる。また、図２９に示したような多数のプロジェクタユニット１０１を配置する装置の場合には、各プロジェクタユニット１０１を極小化し、空間的に高い密度で並べることが考えられる。しかしながら、現在のディスプレイデバイスにおける表示密度の飛躍的な向上は光利用効率や回折限界の問題から困難である。図２９の装置の場合には、各プロジェクタユニット１０１を極小化するのには限界があるため、空間的に高い密度で並べることは困難であると考えられる。いずれの場合にも高密度光線群を生成するためには、複数のデバイスが必要となり、装置全体の大型化は避けられない。
【００１２】
また、光線再生法を用いた立体映像を再生する際には、数多くの視差画像を同時に投射しなければならない。例えば、１００視差の立体動画を再生するには、１００個の視差画像を同時に投射することになる。したがって、再生する情報量は２次元動画の１００倍になる。従来の技術では、再生機器(コンピュータなど)が事前に各視差画像再生装置に画像データを転送し、各視差画像を同時に再生させる。この方法を使えば、フルカラーの立体静止画を表示できる。しかしながら、高精細な動画を再生するには、次の問題がある。動画のデータ量は静止画より大きいため、大量のデータを転送しなければならない。かつ高速で転送しなければならない。従来の技術では、高精細の立体静止画を生成するための各視差画像を各再生装置に転送するには数秒がかかるので、動画の再生ができない。従来では、動画を再生するためには、視差画像の解像度を低下させる必要がある。または動画のフレームレートを低く設定することになる。従って、光線再生法を用いて高精細な動画を再生するために、大量の視差画像を高速で再生する技術の開発が望まれている。上記特許文献１では、視差画像として圧縮符号化されたデータを転送するなどして視差画像の再生の高速化を図っているが、これよりもさらに大量、かつ高速な再生手法が必要とされている。
【００１３】
このような大量、かつ高速な再生手法としては、例えば、１フレーム内に複数の視差画像が含められた画像を第１の画像再生装置で再生すると共に、その再生された視差画像の所定数分を多視差立体動画の１フレームに変換し、第２の画像再生装置（３次元表示装置）で多視差立体動画表示を行うことが考えられる。この場合、第１の画像再生装置では２次元画像を再生するのに対し、第２の画像再生装置では立体画像の再生を行うことになるので、第１の画像再生装置で再生する画像のフレームレート（第１のフレームレート）と第２の画像再生装置でのフレームレート（第１のフレームレート）とに違いが生ずることが考えられる。一般に、動画の再生を行う場合、フレームの垂直同期パルスを用いて同期制御を行うことが多いが、第１の画像再生装置と第２の画像再生装置とでフレームレートが異なる場合、第１の画像再生装置から出力された垂直同期パルスを第２の画像再生装置での同期制御に用いることはできない。視差画像を提供する側（第１の画像再生装置）とその視差画像を用いて多視差立体動画表示を行う側（第２の画像再生装置）とで適切な同期が取れていないと、立体動画として認識できなくなる可能性がある。
【００１４】
本発明はかかる問題点に鑑みてなされたもので、その目的は、多視差立体動画表示を行う場合の同期制御を行いやすくできるようにした３次元画像表示システムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明による３次元画像表示システムは、１フレーム内に複数の視差画像が含められた２次元画像を第１のフレームレートで再生する多視差画像再生装置と、所定数の視差画像からなる多視差画像を立体動画の１フレームとし、多視差画像再生装置によって再生された複数の視差画像に基づいて第２のフレームレートで多視差立体動画表示を行う３次元表示装置とを備え、多視差画像再生装置が、１または複数のフレームごとに、視差画像に制御情報を含めた画像を再生し、３次元表示装置が、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたものである。
【００１６】
本発明による３次元画像表示システムでは、多視差画像再生装置から、１または複数のフレームごとに、視差画像に制御情報を含めた画像が再生される。３次元表示装置では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
例えば、多視差画像再生装置が、所定数の複数のフレームごとに、制御情報としてフレームを識別する識別信号を含めた画像を再生し、外部制御回路が、識別信号に基づいて３次元表示装置において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、３次元表示装置が、頭出し信号に基づいて動画フレームの頭出しを行うことで、第１のフレームレートとは異なる第２のフレームレートで多視差立体動画表示を行うようにすれば、多視差立体動画表示を行う場合の同期制御を行うことができる。
【００１７】
ここで、本発明による３次元画像表示システムにおいて、多視差画像再生装置としては、例えば、１フレームの画像を複数のビットプレーンに分けて時分割で表示する機能を有するものを使用すると良い。この場合、多視差画像再生装置は、１フレームが複数のビットプレーン群に分割されると共に、各ビットプレーン群が１または２以上のビットプレーンで構成され、各ビットプレーン群に少なくとも１つの視差画像の情報が割り当てられることにより、１フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、信号発生部から出力された画像信号に基づいて、複数の視差画像を１フレーム内で時間的に分割して順次再生する画像形成部とを有する構成にすると良い。
より具体的には、多視差画像再生装置としては、例えば、１フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有するものを使用することができる。この場合、例えば、各色の階調ビットプレーンに視差画像の情報が割り当てられ、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられ、その画像信号に基づいて、複数の視差画像が時間的に分割して順次再生される。
このようにすることで、従来よりカラー画像表示装置において用いられている階調ビットプレーンを、視差画像を再生するためのビットプレーンとして用いることが可能となり、大量の視差画像を高速で再生することが可能となる。
【発明の効果】
【００１８】
本発明の３次元画像表示システムによれば、視差画像自体に制御情報を含め、その視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
【００２０】
まず、本発明の第１の実施の形態に係る３次元表示システムについて説明する。
図１は、本実施の形態に係る３次元画像表示システムの一構成例を示している。この３次元画像表示システムは、複数の３次元表示装置を組み合わせたマルチユニット方式の表示システムとなっている。図１では、一例として、６つの３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６を備えたシステムを示している（以下、各３次元表示装置を総称する場合には単に「３次元表示装置１０」と記す）。この３次元画像表示システムはまた、３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６のそれぞれに対応して設けられ、各３次元表示装置１０に視差画像を提供するための再生用ＰＣ（パーソナル・コンピュータ）１５−１，１５−２，１５−３，１５−４，１５−５，１５−６を備えている（以下、各再生用ＰＣを総称する場合には単に「再生用ＰＣ１５」と記す）。この３次元画像表示システムはまた、３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６のそれぞれに対応して設けられ、各３次元表示装置１０における多視差立体表示のタイミングを制御するための外部制御回路１４−１，１４−２，１４−３，１４−４，１４−５，１４−６を備えている（以下、各外部制御回路を総称する場合には単に「外部制御回路１４」と記す）。この３次元画像表示システムはまた、各再生用ＰＣ１５の制御を行うためのモニタ用ＰＣ（パーソナル・コンピュータ）２００およびモニタ用スクリーン２１５と、制御回路２１４とを備えている。各３次元表示装置１０は、ＳＬＭ（空間光変調器）３（３−１，３−２）と、空間フィルタ４とを有している。各再生用ＰＣ１５は、画像データ記憶部１１と、画像信号発生部１２と、同期制御部１３とを有している。モニタ用ＰＣ２００は、画像データ記憶部２１１と、画像信号発生部２１２と、同期制御部２１３とを有している。各再生用ＰＣ１５、制御回路２１４、およびモニタ用ＰＣ２００は、例えばＬＡＮ（ローカル・エリア・ネットワーク）２０１によって互いにネットワーク接続されている。
【００２１】
ここで、本実施の形態において、再生用ＰＣ１５と空間光変調器３とが、本発明における「多視差画像再生装置」の一具体例に対応する。特に、画像信号発生部１２が本発明における「信号発生部」の一具体例に対応し、空間光変調器３が本発明における「画像形成部」の一具体例に対応する。また、本実施の形態では、３次元表示装置１０内に画像形成部（空間光変調器３）が含まれている。
【００２２】
まず、３次元表示装置１０の構成および作用を詳しく説明する。なお、本発明の３次元画像表示システムにおいて適用される３次元表示装置１０の構成は、以下で説明するものに限定されず、例えば図２９に示したような多数のプロジェクタユニット１０１を単純に配置したものであっても構わない。
【００２３】
図２（Ａ），図２（Ｂ）は、３次元表示装置１０の一構成例を示している。ここで、光軸方向をｚとし、このｚ方向に直交する平面内での直交座標をｘｙとして、図２（Ａ）は、ｙｚ断面内での構成を示し、図２（Ｂ）はｘｚ断面内での構成を示す。一般的な光線再生技術による３次元表示では、任意の位置に存在する仮想物体表面を仮想的な原点とした複数の光線を出射することを目的として、あらかじめ様々な角度で出射する光線を提供できる装置を備えておくことが必要である。例えば、図２９に示した装置にあっては、多数（例えば、Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を水平方向および垂直方向に並列的に配置しなければならない。一方、本実施の形態に係る３次元表示装置１０は、図２（Ａ），図２（Ｂ）に示した構成要素を備える装置単体で、従来に比べて空間的に密度が高く、かつ大量の光線群を生成することが可能となっている。従って、この３次元表示装置１０は、図２（Ａ），図２（Ｂ）に示した装置単体でも表示装置として機能し得る。１つの３次元表示装置１０で、図２９に示した多数（Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を配置した装置と等価の機能を有する。図１のようにマルチユニット方式とする場合には、例えば図３に示すように、３次元表示装置１０を縦方向ｙと横方向ｘとに複数、並列的に配置する。
【００２４】
３次元表示装置１０は、光源１と、光源１からの光を整形する照明光学系２と、複数の画素を有し、光源からの光を画素ごとに変調して２次元映像を生成するＳＬＭ（空間光変調器）３と、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を形成する第１のレンズＬ１と、フーリエ変換像を空間的かつ時間的にフィルタリングするための時間的な開口制御が可能な空間フィルタ４とを備えている。この３次元表示装置１０はさらに、空間フィルタ４によりフィルタリングされたフーリエ変換像を逆フーリエ変換することにより、空間光変調器３により生成された２次元映像の実像（逆フーリエ変換像）５を形成する第２のレンズＬ２と、空間フィルタ４によりフィルタリングされたフーリエ変換像の共役像６を形成する第３のレンズＬ３とを備えている。図２（Ａ），図２（Ｂ）において、ｆ１は第１のレンズＬ１の焦点距離、ｆ２は第２のレンズＬ２の焦点距離、ｆ３は第３のレンズＬ３の焦点距離を示す。
【００２５】
光源１および照明光学系２は、空間光変調器３に対する照明光を生成するものである。照明光としては、例えば空間コヒーレンスの高い光源を平行光に整形した光を用いる。空間光変調器３は、２次元的に配列された複数の画素を有する２次元空間光変調器である。２次元空間光変調器としては、例えば透過型の液晶表示装置を用いることができる。空間光変調器３における映像表示エリアの中心を通り、空間光変調器３の映像表示面に直交する方向に向かう直線を光軸とする。
【００２６】
空間光変調器３は、例えばｘ方向およびｙ方向に沿って２次元マトリクス状に配列されたＰ×Ｑ個の開口（画素）を有し、光源１からの光の通過を開口ごとに制御することで２次元画像を生成するようになっている。空間光変調器３は、その２次元画像に基づき、開口ごとに、ｘ方向に沿って第ｍ次から第ｍ’次までのＭ組（ただし、ｍおよびｍ’は整数であり、Ｍは正の整数）、ｙ方向に沿って第ｎ次から第ｎ’次までのＮ組の（ただし、ｎおよびｎ’は整数であり、Ｎは正の整数）、合計、Ｍ×Ｎ組の回折光を生成する２次元画像形成装置を構成している。例えばＰ＝１０２４（画素）、Ｑ＝７６８（画素）であり、ｍ＝−５、ｍ’＝５、Ｍ＝ｍ’−ｍ＋１＝１１、ｎ＝−５、ｎ’＝５、Ｎ＝ｎ’−ｎ＋１＝１１である。ただし、これらの値に限定するものではない。本実施の形態では、空間光変調器３として、例えばそれぞれが１０２４（画素）×７６８（画素）の２つの空間光変調器３−１，３−２を有し、例えば全体として２０４８×７６８画素の２次元画像を生成するようになっている。なお、空間光変調器３の開口の平面形状は矩形とすることが望ましい。開口の平面形状を矩形とするとき、フラウンホーファー回折が生じ、空間光変調器３−１，３−２の各開口（画素）について、Ｍ×Ｎ組の回折光が生成される。すなわち、係る開口によって、入射光波の振幅（強度）を周期的に変調し、格子の光透過率分布に一致した光量分布が得られる振幅格子が形成される。例えば各画素において、Ｍ×Ｎ組＝１２１組の回折光が生成される。言い換えれば、画素の数は空間光変調器３−１，３−２のそれぞれでＰ×Ｑであるが故に、総計、２×（Ｐ×Ｑ×Ｍ×Ｎ）本の回折光が生じると考えることもできる。
【００２７】
第１のレンズＬ１は、その前側焦点面上に空間光変調器３の２次元映像の生成面が位置するように配置され、その後側焦点面にフーリエ変換像を形成している。第１のレンズＬ１は、フーリエ変換像として、空間光変調器３の各画素ごとに生ずる複数次数の回折光（Ｍ×Ｎ組の回折光）を各回折次数ごとに集光し、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を各回折次数ごとに形成するようになっている。
【００２８】
空間フィルタ４は、第１のレンズＬ１の後側焦点面上に配置されている。空間フィルタ４は、図１０に示したように複数の開口４Ａを有している。複数の開口４Ａは、空間光変調器３の各画素で生じた回折光の各回折次数の空間位置に対応して設けられている。開口４Ａは、少なくとも、複数の回折次数に対応する数（例えばＭ×Ｎ＝１２１個）だけ設けられている。空間フィルタ４は、空間光変調器３による２次元映像の生成タイミングと同期しつつ複数の開口４Ａを各回折次数ごとに光学的に選択的に開閉制御することにより、フーリエ変換像を空間的かつ時間的にフィルタリングするようになされている。空間フィルタ４は、任意の位置の開口４Ａを光学的に開閉制御可能であれば良く、例えば強誘電性液晶を用いた透過型または反射型の液晶表示装置で構成される。また、２次元型のＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）など用いても良い。
【００２９】
図１１は、空間フィルタ４における開口４Ａと空間光変調器３の各画素で生じた回折光の各回折次数との対応関係の一例を示している。空間フィルタ４は、図１１において、数字（ｍ，ｎ）は、開口４Ａの番号を示し、かつ、回折次数を示す。例えば、第（３，２）番目の開口４Ａには、ｍ＝３，ｎ＝２の回折次数を有するフーリエ変換像が入射する。
【００３０】
第２のレンズＬ２は、第１のレンズＬ１と同一の光軸を有するように配置されている。また第２のレンズＬ２は、その前側焦点面上に空間フィルタ４が位置するように配置され、その後側焦点面に空間光変調器３により生成された２次元映像の実像５を形成している。ここで得られる実像５の空間光変調器３に対する倍率は、第２のレンズＬ２の焦点距離ｆ２を任意に選択することによって変化させることができる。
【００３１】
第３のレンズＬ３は、第１のレンズＬ１および第２のレンズＬ２と同一の光軸を有するように配置されている。また第３のレンズＬ３は、その後側焦点面に共役像６を形成すると共に、その前側焦点面が第２のレンズＬ２の後側焦点面に一致するように配置されている。ここで、第３のレンズＬ３の後側焦点面は空間フィルタ４の共役面であることから、空間フィルタ４上の１つの開口部に相当する部分から、空間光変調器３の画素数分（２×Ｐ×Ｑ）の光線が出力されている。最終的に生成・出力される光線の量は、その画素数分の光線に、光学系を透過した回折次数分（Ｍ×Ｎ）を乗じた量で定義することができる。第３のレンズＬ３の後側焦点面においては、光線群が２次元的に整然と配置されているとみなせる。すなわち、全体としては、第３のレンズＬ３の後側焦点面に、図２９に示したプロジェクタユニット１０１が複数の回折次数分（具体的にはＭ×Ｎ個）、配置されている状態と等価である。
【００３２】
次に、３次元表示装置１０の作用を説明する。
この３次元表示装置１０では、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像が、空間フィルタ４により、空間的かつ時間的にフィルタリングされ、そのフィルタリングされたフーリエ変換像の共役像６が形成される。
【００３３】
ここで、図１２に模式的に示したように空間光変調器３からは、複数次数の回折光が生じる。なお、図１２では、０次（０ｔｈ）光、±１次（１ｔｈ）光、および±２次（２ｔｈ）光の回折光のみを代表して図示しているが、実際にはさらに高次の回折光が生じ、それらの高次回折光も立体表示に利用される。例えばｘ方向に沿って第−５次から第＋５次までの１１組、ｙ方向に沿って第−５次から第＋５’次までの１１組、合計、Ｍ×Ｎ組＝１２１組の回折光が生成される。この回折光は各画素ごとに生ずる。従って、各次数の回折光にはそれぞれ、空間光変調器３により生成された２次元映像の全情報（全画素の情報）が集約されている。空間光変調器３上の同一画素から回折により生成される複数の光線は、同時刻においてすべて同一の情報を有する。
【００３４】
第１のレンズＬ１では、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を、各回折次数ごとに空間フィルタ４上に集光する。高次回折による回折像を利用することで、高い空間的な密度を有する光線群が生成される。
ここで、照明光の波長をλ（ｍｍ），空間光変調器３上の映像を含む構造の空間周波数をν（ｌｐ／ｍｍ），第１のレンズＬ１の焦点距離をｆ１（ｍｍ）とすると，レンズＬ１の後側焦点面では、光軸から距離ｘａ（ｍｍ）の位置にその構造を構成する空間周波数を示す光が現れる。ここで，ｘａは、
ｘａ＝ｆ１λν ……（１）
で示される。
【００３５】
図１３は、第１のレンズＬ１による集光作用を模式的に示している。Ｌは、空間光変調器３上の２次元映像の大きさを示す。第１のレンズＬ１によって、各次数の回折光が空間フィルタ４上の別々の開口位置に集光する。空間フィルタ４への集光角（空間フィルタ４を出射後の発散角）θは、各回折光で同一である。空間フィルタ４上において、隣接する回折次数間の間隔は上記（１）式の関係で表される。上記（１）式より、第１のレンズＬ１の焦点距離ｆ１を任意に選択することによって、フーリエ変換像の位置（空間フィルタ４上の結像位置）を変化させることも可能であることが分かる。第１のレンズＬ１に高い回折次数成分を透過させるためには、利用する回折次数成分に応じてレンズの開口率を選択する必要があり、焦点距離に関わらず第１のレンズＬ１以降のすべてのレンズの開口率が第１のレンズＬ１の開口率以上である必要がある。
【００３６】
ここで、空間光変調器３に表示された映像の空間周波数は、映像が画素より構成される空間光変調器３により生成されていることから、最高でも空間光変調器３を構成する連続した２つの画素からなる周期を有する周波数である。
【００３７】
図１４は、空間光変調器３に表示された映像の空間周波数が最も低い状態を示している。符号３Ａは、１つの画素を示す。最も空間周波数が低い状態とは、全画素をブラック表示、またはホワイト表示にした場合であり、この場合の回折光は平面波成分の情報のみを有する。なお、図１４ではホワイト表示にした場合を示している。図１５は、空間光変調器３を図１４の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。各回折光のピークは、周波数ν１の間隔で現れる。
【００３８】
一方、図１６は空間光変調器３に最も高い空間周波数を表示した状態を示す。最も空間周波数が高い映像は、図示したように各画素３Ａの表示をブラック表示とホワイト表示とに隣り合う２つの画素に交互に表示した場合である。図１７は、空間光変調器３を図１６の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。図１５の最低空間周波数の場合と比べて、ピークが周波数ν１／２の間隔で現れる。
【００３９】
図１８（Ａ），図１８（Ｂ）は、空間フィルタ上における回折光の分布を模式的に示したものであり、図１８（Ａ）はｘｙ平面上での分布を示し、図１８（Ｂ）はｘ軸上での分布強度を示す。図１８（Ｂ）では、最低空間周波数成分（平面波成分）と、最高空間周波数成分とを同時に示している。符号１５１で示した部分が最低空間周波数成分で現れるピークを示し、符号１５２で示した部分が最高空間周波数成分で現れるピークを示す。空間フィルタ４の開口形状は、フーリエ変換像の回折パターンに依存し、回折光の平面波成分のピーク位置を中心として、各々の回折次数に対して独立した開口４Ａを有する。すなわち、各開口４Ａの中心位置４Ｂに平面波成分のピーク位置が存在する。
【００４０】
空間フィルタ４では、すべての光線に任意の強度もしくは位相変調を加えるために回折の次数に対応して開口４Ａの開閉制御を行う。空間フィルタ４は、空間光変調器３における平面波成分が空間光変調器３の画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンを中心として、空間光変調器３上に表示することのできる正負の最高空間周波数をすべて得ることができるような開口４Ａを１つの要素としている。
【００４１】
上記式（１）より、空間光変調器３における画素構造に起因する空間周波数が、空間光変調器３上に表示される映像の最高空間周波数の２倍であるので、画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンの間隔の半分の位置までに映像の空間周波数はすべて現れる。このことから、すべての開口４Ａは、空間的に干渉することなく配置することができる。これにより、平面波成分ごとに独立した開口４Ａを有する空間フィルタ４上において、単一の開口部に空間光変調器３上における映像のすべての空間周波数成分の情報が存在し、開口４Ａの空間的な制限により空間光変調器３上の映像の空間周波数成分が欠落することはない。
【００４２】
すなわち、開口４Ａは、上記式（１）によるｘａの大きさを有する。一例として、照明光の波長λを５３２ｎｍ、第１のレンズＬ１の焦点距離ｆ１を５０ｍｍ、空間光変調器３の１画素の大きさを１３μｍ〜１４μｍ程度とすると、ｘａは約２ｍｍとなる。これは、空間フィルタ４上において、約２ｍｍ間隔という高い密度で各回折次数の光線群を生成することができることを意味する。
【００４３】
この３次元表示装置１０では、空間光変調器３により光線の強度および位相を変化させることができる。しかし、このとき回折によって生成されているすべての次数における同じ空間光変調器３の画素から伝搬した光線が同じ変調を受けている。そこで、空間フィルタ４の開口４Ａを任意に選択することにより、任意の回折次数を選択し、任意の画素を変調することによって、本装置が生成するすべての光線の強度・位相変調を行うことができる。このようにして本装置は高次回折による膨大な量の光線を生成できることと同時に、空間フィルタ４の利用によりすべての光線を任意に制御できることを特徴とする。以下、この開閉制御のタイミングについて説明する。
【００４４】
空間フィルタ４は、任意の回折次数の光線を選択するために、空間光変調器３の映像出力と同期して各開口４Ａの開閉制御を行う。この概念を、図１９（Ａ），図１９（Ｂ），図１９（Ｃ）、図２０および図２１を参照して説明する。図１９（Ａ）は空間光変調器３における映像出力のタイミングを示している。図１９（Ｂ）は、空間フィルタ４におけるある開口４Ａαの開閉タイミングを示し、図１９（Ｃ）は別の開口４Ａβの開閉タイミングを示している。
【００４５】
なお、本実施の形態では、空間フィルタ４における各開口４Ａの開閉制御が、図１の外部制御回路１４によって行われる。
【００４６】
図１９（Ａ）に示すように、空間光変調器３において例えば時間ｔ１〜ｔ２の間（期間Ｔ１）に映像Ａを表示し、時間ｔ３〜ｔ４の間（期間Ｔ２）間に映像Ｂが表示されているとする。このとき空間フィルタ４では、図１９（Ｂ），図１９（Ｃ）に示したように、期間Ｔ１では開口４Ａαを、期間Ｔ２では開口４Ａβを開く動作を行うとすると、空間光変調器３における同じ画素、異なる回折次数として生成される光線に異なる情報を付加することができる。
【００４７】
図２０は、この映像表示のタイミングと開口制御のタイミングを模式的に示したものである。期間Ｔ１では空間光変調器３において期間Ｔ１で映像Ａが表示され、次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ１では、ある１つの開口４Ａαのみを開く動作を行う。次に、期間Ｔ２では空間光変調器３において期間Ｔ２で映像Ｂが表示され、同様に次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ２では、開口４Ａαとは別のある１つの開口４Ａβのみを開く動作を行う。以下順次、空間光変調器３の映像表示タイミングに同期して空間フィルタ４の各開口４Ａを開閉制御する。
【００４８】
図２１は、このようなタイミングで映像表示と開閉制御とを行った場合に、この３次元表示装置１０の最終出力として得られる立体映像（共役像６）を模式的に示している。なお、正確には同時に図２１に示したような映像が得られるわけではないが、映像の切り替え期間は非常に短時間なので、人間の目には同時に表示されているように観察される。例えば、１フレームの表示期間内に、すべての次数分の映像表示切り替えが行われ、すべての開口４Ａの開閉制御が一通り行われる。また、図２１では平面的に図示しているが、実際に観察されるのは立体映像である。
【００４９】
以上説明したように、本実施の形態に係る３次元表示装置１０によれば、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を、空間フィルタ４により空間的かつ時間的にフィルタリングし、そのフィルタリングされたフーリエ変換像の共役像６を形成するようにしたので、装置全体を大型化することなく、空間的に高い密度で光線群を生成・散布することができる。また、光線群の構成要素である個々の光線を独立して時間的および空間的に制御することができる。これにより、実世界の物体と同質に近い光線による立体映像を得ることができる。
【００５０】
また、この３次元表示装置１０によれば、光線再生技術を利用しているので、焦点調節、輻輳および運動視差などの視覚機能を満足した映像を提供することができる。また、この３次元表示装置１０によれば、高次回折光を効率的に利用していることにより、従来の映像出力の手法と比較して、１つの映像出力デバイス（空間光変調器３）から、制御可能な光線を大量に得ることができる。またこの３次元表示装置１０によれば、空間的かつ時間的にフィルタリングを行うので、表示映像の空間分解能として、映像出力デバイスの時間的特性を空間的特性として得ることができる。また、拡散スクリーンを用いることなく立体映像を提供することができる。また、どのような方向からの観察に対しても適切な映像を提供することができる。また、空間的に高い密度で光線群を生成・散布することができるので、視認限界に近い精細な空間映像を提供することができる。
【００５１】
次に、図１に戻って、３次元表示装置１０以外の部分の構成および作用について詳しく説明する。この３次元画像表示システムにおいて、各再生用ＰＣ１５およびモニタ用ＰＣ２００は、周知のパーソナルコンピュータで構成しても良いし、いわゆるワークステーションで構成しても良い。
【００５２】
各再生用ＰＣ１５において、画像データ記憶部１１は、各再生用ＰＣ１５において再生すべき画像（３次元表示装置１０で表示させる視差画像）を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部１３は、各再生用ＰＣ１５間の同期制御を行うためのものである。画像信号発生部１２は、画像データ記憶部１１に記憶された画像データに基づいて、画像信号を生成して、その画像信号を空間光変調器３（３−１，３−２）に出力するものである。
【００５３】
画像信号発生部１２は、２つの空間光変調器３−１，３−２に信号を出力するため、２チャネルの出力インタフェース、例えば２チャネルのＤＶＩ（Digital Visual Interface）を有している。画像信号発生部１２は、具体的には、いわゆるビデオカード（ビデオアダプタ、ビデオボードあるいはグラフィックスカード）とも呼ばれ、コンピュータに装着して画面表示機能を追加する拡張カードで構成することができる。ここで、ビデオカードは、通常、画像描画のためのＬＳＩチップ、画面イメージを保持するためのメモリ（ＶＲＡＭ）、画像信号を出力するための端子等から構成されている。あるいはまた、コンピュータを構成するマザーボード上に搭載された画面表示機能を有するオンボード回路で構成しても良い。なお、画像信号発生部１２は、ゲンロック（Gen-lock, Generator lock）機能を備えている必要がある。ここで、ゲンロックとは、同期結合とも呼ばれ、独立した同期信号発生器を内蔵するシステム間で周波数、位相を合わせ、完全同期させることを意味し、あるいはまた、基準となる信号に対し、複数の画像機器間で画像信号の位相と周波数を同期させることを意味する。本実施の形態では、このゲンロック機能を同期制御部１３が有している。
【００５４】
モニタ用スクリーン２１５は、モニタ用の画像を表示するものであり、例えば液晶モニタで構成されている。モニタ用ＰＣ２００において、画像データ記憶部２１１は、モニタ用の画像を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部２１３は、同期制御用のクロック信号を出力するものであり、例えば０．０１Ｈｚの精度で６０Ｈｚのクロック信号を出力する。画像信号発生部２１２は、画像データ記憶部２１１に記憶された画像データに基づいて、所定の画像信号を生成して、その画像信号を出力するものである。画像信号発生部２１２は、各再生用ＰＣ１５の画像信号発生部１２と同様、ビデオカード等で構成されている。画像信号発生部２１２は、出力端子として例えばＤＶＩを有し、モニタ用の画像信号をＤＶＩから出力するようになっている。画像信号発生部２１２はまた、例えばＶＧＡインタフェースを有し、同期制御部２１３からのクロック信号に同期して、同期信号としてＶＧＡのＶ−Ｓｙｎｃ信号（垂直同期信号）をＶＧＡインタフェースから出力するようになっている。制御回路２１４は、画像信号発生部２１２からのＶ−Ｓｙｎｃ信号を増幅し、６つのＴＴＬレベルの同期信号に変換して、各再生用ＰＣ１５の同期制御部１３に出力するようになっている。各再生用ＰＣ１５は、そのＴＴＬレベルの同期信号に基づいて、同期制御される。結果的に、本システムでは、モニタ用ＰＣ２００の同期制御部２１３が生成したクロック信号によって、システム全体が同期制御される。
【００５５】
ここで、各再生用ＰＣ１５において画像信号発生部１２から出力される画像信号について説明する。上述したように、画像信号発生部１２は、一般にコンピュータで使用されているビデオカード等で構成される。以下、一例として、本実施の形態では、２４ビット（Ｒ，Ｇ，Ｂ、各８ビット）のカラー画像信号を同時に２つＤＶＩ出力できるようなビデオカードを使用するものとする。また、１つの出力につき１０２４×７６８画素、全体として２０４８×７６８画素の信号出力を行うものとする。これにより、第１の空間光変調器３−１には第１のＤＶＩ（ＤＶＩ１）から１０２４×７６８画素、２４ビットの画像信号が出力され、第２の空間光変調器３−２には第２のＤＶＩ（ＤＶＩ２）から１０２４×７６８画素、２４ビットの画像信号が出力される。全体として２０４８×７６８画素、２４ビットの画像信号が出力される。
【００５６】
図５（Ａ）は、垂直同期信号（Ｖ−Ｓｙｎｃ）のタイミングチャートを示している。図５（Ｂ）は、通常のカラー画像信号における階調ビットのタイミングチャートを示している。なお、図５（Ｂ）では、Ｒ信号の階調ビットを代表して示している。画像の表示状態が基本的にオン／オフ（発光（明）／非発光（暗））の２状態しか取り得ない、いわゆる２値制御型のディジタル画像表示装置（ＦＬＣ（Ferroelectric Liquid Cristal；強誘電性液晶）やＤＭＤ等）では、基本的に、ＣＲＴ（Cathode Ray Tube；陰極線管）に代表されるいわゆるアナログ型の表示装置のような連続的な階調表現を行うことができない。このため、ディジタル画像表示装置では、階調表現を多段階に行う方法として、例えば発光時間幅変調方式（ＰＷＭ（Pulse Width Modulation；パルス幅変調））が使用されている。この方式は、光源の輝度の大きさを一定に保ち、発光時間の幅を輝度に応じて変化させることにより、階調表現を行う方式である。このようなディジタル画像表示装置では、光学変調素子に、光源から輝度の一定の光が連続的に照射される。光学変調素子は、表示しようとする画像の輝度に応じて、画素ごとに光を明暗２つの状態に変調制御する。このとき、光学変調素子は、光の変調制御として、画像表示面に到達する光をパルス状にオン（発光）／（非発光）オフ制御する。そして、光学変調素子は、画素ごとにオン／オフの切り換えタイミングを変化させることにより、光のパルス幅を変化させ、階調表現を行う。このようにして変調された光が画像表示面に照射されることにより多段階の階調で画像が表示される。このようなディジタル画像表示装置における階調表現は、人間の視覚系の残光特性を利用したものである。すなわち、人間の視覚系は、ある一定期間中に網膜に入射した光を時間的に積分した値を、光の強度として認識する。このため、一定期間中に、発光期間の短い光のパルス幅を高速に変化させることにより、人間の目に輝度の階調があるように認識させることができる。
【００５７】
２５６階調の画像は、例えば、１フレーム内において輝度の異なる少なくとも８種類の画像を組み合わせることにより表現することが可能である。すなわち、２５６階調を表現する場合には、まず、輝度を画素ごとに例えば８つの階調ビットに量子化する。そして、例えば１フレームの画像データを、各階調ビットで重み付けされた８種類の画像データの組み合わせで表現する。このとき、階調ビットごとの画像データの集まりは、通常、「ビットプレーン」と称される。階調表現で使用されるビットプレーンは、階調ビットごとの輝度の情報面である。
【００５８】
図５（Ｂ）に示したＲ０〜Ｒ７は、各ビットプレーンの表示期間（照明時間）を示している。Ｒ０〜Ｒ７は、それぞれ表示期間が異なっており、それらを組み合わせることで８ビットの階調が実現できる。例えば、Ｒ７（１２８の値）のビットプレーンの照明時間はＲ６（６４の値）の２倍となる。
【００５９】
このような原理で、本実施の形態では、画像信号発生部１２と空間光変調器３とが、１フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有している。特に、画像信号発生部１２は、１フレーム内に複数色の階調ビットの情報が含められたカラー画像信号を出力する機能を有している。また、空間光変調器３は、画像信号発生部１２から出力されたカラー画像信号に基づいてカラー画像を再生する機能を有している。
【００６０】
さらに、本実施の形態では、画像信号発生部１２が、各色の階調ビットプレーンに視差画像の情報を割り当てる機能を有している。そして、空間光変調器３は、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられた場合に、その画像信号に基づいて、複数の視差画像を時間的に分割して順次再生する機能を有している。
【００６１】
図５（Ｃ）は画像信号発生部１２の第１の信号出力部（ＤＶＩ１）から出力される視差画像の信号波形を示し、図５（Ｄ）は第２の信号出力部（ＤＶＩ２）から出力される視差画像の信号波形を示している。本システムでは、視差画像としてバイナリ映像（１ビットの階調の画像、白黒２値のワイヤフレーム画像）を使用し、１つの視差画像を１つのビットプレーンに配置するようになっている。すなわち、通常、図５（Ｂ）のような階調ビットプレーンとして使用されているものを視差画像表示のためのビットプレーンとして使用する。例えば図５（Ｃ）に示したように、第１の空間光変調器３−１についてのＲ０〜Ｒ７の各ビットプレーンの表示期間を均等の時間に割り振り、Ｒ０〜Ｒ７の各ビットプレーンをそれぞれ１ビット階調の視差画像信号として使用する。第２の空間光変調器３−２についても同様にして、図５（Ｄ）に示したように、Ｒ０〜Ｒ７の各ビットプレーンをそれぞれ１ビット階調の視差画像信号として使用する。なお、図５（Ｃ），図５（Ｄ）には、Ｒチャネルしか描かないが、ＧチャネルとＢチャネルでも同様である。ここで、図５（Ｃ）では、各ビットプレーンを表示する間に、隙間がある。これは例えば第１の空間光変調器３−１としてＦＬＣ表示デバイスを使用した場合に、ＤＣバランスをとるための電極の反転状態であり、照明は行われない期間である。本実施の形態では、第１の空間光変調器３−１と第２の空間光変調器３−２の表示周期をずらすことで、この反転状態の期間を有効利用している。すなわち、第１の空間光変調器３−１の反転期間に、第２の空間光変調器３−２の表示期間が来るように表示周期を調整している。すなわち、１フレームの期間に、２つの空間光変調器３−１，３−２による同時表示を可能にしている。
【００６２】
各外部制御回路１４は、この画像信号発生部１２から出力される視差画像の信号に基づいて、各３次元表示装置１０の各空間フィルタ４における各開口４Ａの開閉制御を行うようになっている。これにより、各３次元表示装置１０では、空間光変調器３によって再生された各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行うことができる。
【００６３】
次に、この３次元画像表示システムによって、動画の立体表示を行う場合の具体例を説明する。
【００６４】
上述したように、各３次元表示装置１０において、空間フィルタ４は例えば、空間光変調器３の各画素によって生ずる複数の回折次数に対応する数、例えばＭ×Ｎ＝１２１個の開口４Ａを有している（図１０，図１１）。これにより、例えば１２１個のプロジェクタが並列配置されたものと等価な光学系を形成している。本実施の形態では、各３次元表示装置１０において、例えば１２０個のプロジェクタ（空間フィルタ４の１２０個分の開口４Ａ）を光線再生法による動画表示に使用する。すなわち、立体動画としての１フレームを１２０視差で構成する。
【００６５】
立体動画としての１フレームを１２０視差で構成する場合、空間光変調器３（３−１，３−２）で表示するフレーム構成は、例えば図６に示したようになる。図６に示したように、第１の空間光変調器３−１は、１フレーム（２次元画像の１フレーム）につき、１０２４×７６８画素の視差画像を時分割で順次表示する。時分割の方法は、図５（Ｃ）に示したとおりである。Ｒ，Ｇ，Ｂで各８ビット、合計２４ビットの各階調ビットを、１ビットの１０２４×７６８画素の各視差画像に割り当てて時分割表示する。すなわち、第１の空間光変調器３−１は、１フレームについて２４視差画像を時分割表示する。第２の空間光変調器３−２についても同様である。この場合、２つの空間光変調器３−１，３−２全体として２４×２＝４８視差画像を時分割表示することになる。すなわち、１つの再生用ＰＣ１５は、画像信号発生部１２の２つの信号出力部（ＤＶＩ１，ＤＶＩ２）から、ＤＶＩの１周期で４８視差画像を含む画像信号を出力する。この場合、図７に示したように、動画の１フレーム（１２０視差画像）を形成するためには、ＤＶＩの２．５周期分の画像信号を出力すれば良い。ＤＶＩの出力周期が６０Ｈｚ（第１のフレームレート）であるならば、２４Ｈｚ（第２のフレームレート）で立体動画の１フレーム（立体動画の１シーン）を再生することとなる（６０Ｈｚ／２．５＝２４ｆｐｓ）。さらに、図１に示した３次元画像表示システムでは、６つの再生用ＰＣ１５がネットワーク接続された分散処理システムを構成し、６つの３次元表示装置１０で立体動画を同期して表示するので、システム全体としては、１シーンについて１２０×６＝７２０視差の立体動画を２４Ｈｚで表示することができる。
【００６６】
以上のような表示をする場合、各再生用ＰＣ１５からの５フレーム分で立体動画の２シーンを再生することとなる（図７参照）。再生用ＰＣ１５および３次元表示装置１０を複数用いて立体動画を表示する場合、各３次元表示装置１０で動画フレームの同期を取る必要がある。この場合例えば、各再生用ＰＣ１５の画像信号発生部１２から５フレームに１回の割合でフレームの識別情報を出力し、各外部制御回路１４が、この識別情報に基づいて、各３次元表示装置１０の各空間フィルタ４における各開口４Ａの開閉制御の同期を取るようにすれば良い。
【００６７】
図８は、図６および図７に示したようなフレーム構造で多視差立体動画を表示させる場合において、３次元表示装置１０の空間フィルタ４における各開口４Ａに対する、各視差画像のビットプレーンの割り当ての一例を示している。図８において、Ｒ０〜Ｒ７は画像信号発生部１２の各信号出力部（ＤＶＩ１，ＤＶＩ２）から出力される８ビットのＲチャネルを示し、Ｇ０〜Ｇ７は８ビットのＧチャネルを示し、Ｂ０〜Ｂ７は８ビットのＢチャネルを示す。また、Ｓは第１の信号出力部（ＤＶＩ１）からのチャネル、Ｐは第２の信号出力部（ＤＶＩ２）からのチャネルであることを示す。例えばＳ−Ｒ０は、第１の信号出力部（ＤＶＩ１）からのＲ０ビットのチャネルによるビットプレーンであることを示す。図８において、左側が立体動画としての１フレーム目を示し、右側が立体動画としての２フレーム目を示す。図７を用いて説明したように画像信号発生部１２からの２．５フレームが立体動画としての１フレームに対応する。画像信号発生部１２からの２．５フレーム分のビットプレーンが立体動画としての１フレーム目に割り振られ、次の２．５フレーム分のビットプレーンが立体動画としての２フレーム目に割り振られる。
【００６８】
ここで、図８において最も左上の開口に割り振られたＳ−Ｒ０のビットプレーンは、画像信号発生部１２からの５フレームに１回の割合で割り当てられる。例えば、このＳ−Ｒ０のビットプレーンを識別する識別情報を画像信号発生部１２から出力するようにし、それを動画フレームの頭出し信号として用いるようにすれば、各３次元表示装置１０において立体動画表示する場合の動画フレームの同期制御をすることができる。なお、この同期制御は各外部制御回路１４が、各空間フィルタ４における各開口４Ａの開閉制御の同期を取ることで行われる。
【００６９】
図９（Ａ）〜図９（Ｄ）を参照して、動画フレームの同期を取るための制御の具体例を説明する。図９（Ａ）は、再生用ＰＣ１５からの出力に基づくフレーム画像を簡略化して示している。また、図９（Ｂ）は、再生用ＰＣ１５から出力されるフレーム画像における垂直同期信号（Ｖ−Ｓｙｎｃ信号）のパルス波形を示している。なお、本実施の形態では、再生用ＰＣ１５から１フレーム内に複数の視差画像が含まれた画像信号を出力するので、実際の画像はもっと複雑に見えている。Ｆ１〜Ｆ５は、立体動画の２フレームを形成するために再生用ＰＣ１５から出力される１セット（５フレーム）の画像フレームを示している。図９（Ａ）に示したように、再生用ＰＣ１５から出力される１セットのフレーム画像Ｆ１〜Ｆ５のうち、５番目のフレーム画像Ｆ５の例えば最も左上部分、１ピクセルの画素４００に制御情報として、フレームを識別するための情報をあらかじめ埋め込んでおく。
【００７０】
図９（Ｃ）は、各再生用ＰＣ１５で再生される画像に含まれる同期パルス（識別信号）ＲＳの信号波形を示している。また、図９（Ｄ）は、３次元表示装置１０において動画フレームの頭出しを行うための頭出し信号ＦＳの信号波形を示している。外部制御回路１４は、各再生用ＰＣ１５で再生される画像に含まれる識別信号ＲＳを検出すると共に、検出した識別信号ＲＳに基づいて、３次元表示装置１０において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号ＦＳを生成する。なお、図９（Ｄ）において、頭出し信号ＦＳ１は、識別信号ＲＳに基づいて生成された信号であり、他の頭出し信号ＦＳ２は、外部制御回路１４自身の内部クロックにより生成した信号である。
【００７１】
３次元表示装置１０は、外部制御回路１４が生成した頭出し信号ＦＳに基づいて動画フレームの頭出しを行う。これにより、各再生用ＰＣ１５でのフレームレート（第１のフレームレート）とは異なる第２のフレームレートで多視差立体動画表示を行うことができる。１セットのフレーム画像Ｆ１〜Ｆ５のうち５番目のフレーム画像Ｆ５に同期パルスＲＳが含められていることで、次のフレームがセットの１番目のフレーム画像であることを知ることができる。３次元表示装置１０において、頭出し信号ＦＳ１によって再生されるフレーム画像は、１セットのフレーム画像Ｆ１〜Ｆ５のうち１番目のフレーム画像Ｆ１である。従来の再生装置では、同期制御のための信号は、Ｖ−Ｓｙｎｃ、Ｈ−Ｓｙｎｃ（水平同期信号）などの信号しかなく、立体動画の頭だしフレームと他のフレームとを区別できないが、本実施の形態では、以上のような制御により、頭だしフレームと他のフレームとを容易に区別できる。
【００７２】
なお、１ピクセルではなく、複数ピクセルに制御情報を含めるようにしても良い。また、ライン状に制御情報を含めるようにしても良い。例えば画像の１ライン目に制御情報を含めるようにしても良い。２以上のピクセルに制御情報を含めることで、同期制御に限らず、より複雑な制御情報を入れることも可能となる。この場合、２以上のピクセルに、例えば２進数の数字を入れることが考えられる。具体的には、例えば制御情報に基づいて、空間光変調器３でのガンマ値を変える制御を行うことが考えられる。また、本実施の形態では、バイナリ画像を再生しているので、輝度は白黒の２値しかないが、その白であるか黒であるかの判別を行うためのの閾値を制御情報に含めるようにしても良い。
【００７３】
次に、以上のような各再生用ＰＣ１５で再生する視差画像の生成方法を説明する。図４は、視差画像を生成するオーサリングシステムの一例を模式的に示している。視差画像は、３ＤＣＧ（3 Dimensional Computer Graphics)技術により生成することができる。多視差の視差画像は、３ＤＣＧのレンダリング技術によるレンダリング処理を行うことで生成することができる。３ＤＣＧのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を視差画像として生成する。
【００７４】
図１の３次元表示システムで表示する視差画像を生成するためには、多数のレンダリング処理を行う必要がある（各３次元表示装置１０の動画の１シーンに対して１２０回のレンダリング）。レンダリングの速度はシーンの複雑さに依存し、リアルタイムでのレンダリング処理では処理速度が足りないので、再生する動画を事前にオーサリングツールで生成する。図４はこのオーサリングツールを模式的に示している。
【００７５】
オーサリングツールはバッチ処理プログラムであり、設定ファイル２２０の指示に従い、すべての再生フレームを生成する。設定ファイル２２０には、各３Ｄシーンのパラメータ、光学システムの寸法と配置、出力画面のサイズ、フレームファイルの保存場所などが定義される。
【００７６】
このオーサリングツールにおいて、まず、３Ｄシーンを作成する。ここでは、「３ＤＳ Ｌｏａｄｅｒ」モジュール２０３によって汎用の３ＤＳ形式のファイル２０１から３Ｄのオブジェクトをロードする。そして、「ＳｃｅｎｅＬａｂ」モジュール２０２によって、各シーンにつき移動、回転、伸縮変換パラメータよる３Ｄのシーンリスト２０４を作成する（図４のブロック２００の部分）。
【００７７】
次に、光学システムの寸法、投射レンズの視野角度、投射プロジェクタ間の距離などの設定情報による３Ｄシーンに光学システムの情報を追加する。各ユニットの投射プロジェクタをカメラ３００（仮想カメラ）として扱い、プロジェクタ配列をカメラ配列とする。なお、ここでいう各ユニットとは、図１の３次元表示装置１０−１〜１０−６に対応する。
【００７８】
次に、各３Ｄシーンに対して、すべてのカメラ３００が順番でそのシーンをワイヤフレームでレンダリングする（図４においてカメラ３００からシーンリスト２０４に挿す矢印）。レンダリングした結果は２４ビットの視差画像であり、その視差画像をビットプレーンに配置するため、レンダリングした映像を２値化し、２値化した視差画像を順番で２つの出力分のビットプレーン（２つのＤＶＩ出力分のフルカラーのフレームバッファ）に配置する（図４のブロック２１０）。４８視差を配置したあと、フルカラーのフレームバッファを１フレームファイルとして保存する。次の４８視差をレンダリングする場合には、バッファをクリアして同様の処理を行う。
【００７９】
以上の処理を繰り返し、すべての光学ユニット（３次元表示装置１０−１〜１０−６）用の動画を集中的に作成して、分散システムの各再生用ＰＣ１５に配置する（各再生用ＰＣ１５の画像データ記憶部１１に記憶する）。各再生用ＰＣ１５に配置した動画フレームに同一の番号リストを付けることで、動画再生時にフレームの番号を照合してからフレームの同期をとることができる。
【００８０】
以上説明したように、本実施の形態に係る３次元画像表示システムによれば、各再生用ＰＣ１５において複数の視差画像を、１フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各３次元表示装置１０において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。この３次元画像表示システムによれば、１フレーム内に複数の視差画像の情報が含められた画像信号を出力し、その出力された画像信号に基づいて、複数の視差画像を、１フレーム内で時間的に分割して順次再生するようにしたので、大量の視差画像を高速で再生することができる。その大量、かつ高速に再生された視差画像に基づいて多視差立体表示を行うことで、光線再生法を用いた立体映像を良好に動画再生することができる。
【００８１】
また、この３次元画像表示システムによれば、立体動画を形成する視差画像を複数の再生用ＰＣ１５に分散配置し、各再生用ＰＣ１５が各視差画像をローカルで管理するようにしたので、再生時に各再生用ＰＣ１５間の通信の負担が軽減される。このため、各再生用ＰＣ１５の数には制限がなく、拡張性が高い。
【００８２】
なお、以上の説明では、オーサリングツールによるバッチ処理であらかじめ立体動画用の視差画像を生成するようにしたが、各再生用ＰＣ１５の台数が増えて、レンダリング処理をさらに分散すれば、リアルタイムでのレンダリングも可能である。また、リアルタイムでのレンダリングができれば、インタラクティブでの立体動画表示も可能である。また、以上の説明では、立体動画用の視差画像を３Ｄオブジェクトの処理によるＣＧ動画として生成するようにしたが、仮想カメラではなく、実際のカメラを配置して視差画像を生成するようにすれば、ＣＧではなく現実世界の立体動画も生成できる。
【００８３】
さらに、本実施の形態に係る３次元画像表示システムによれば、視差画像自体に制御情報としてフレームを識別する信号を含め、その視差画像に含められた識別信号に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。立体映像の視差数が増える場合、処理するデータの量も増え、再生ユニット（再生用ＰＣ１５および３次元表示装置１０）を追加する必要がある。再生用ＰＣ１５同士の通信が多くなると、再生用ＰＣ１５間の同期の精度に影響が出る。本実施の形態に係る３次元画像表示システムによれば、各再生ユニット内で３次元表示装置１０が再生する立体動画が適切に同期制御されているので、再生用ＰＣ１５同士の同期精度が低くなったとしても、立体動画は破綻せず、適切に表示することができる。
＜第１の実施の形態の変形例＞
【００８４】
次に、本実施の形態に係る立体像表示装置の変形例を説明する。なお、上記第１の実施の形態に係る立体像表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００８５】
図２２は、その変形例を示している。図２（Ａ），図２（Ｂ）では空間光変調器３として、透過型のものを用いた光学系の構成例を示したが、空間光変調器３として反射型のものを用いても良い。反射型の空間光変調器３Ａとしては、例えば反射型の液晶表示装置や、ＤＭＤ（Digital MicromirrorDevice）を用いた表示装置などがある。
【００８６】
この第１の変形例に係る３次元表示装置は、光軸上にビームスプリッタ７を備えている。ビームスプリッタ７は、偏光成分の違いにより光を透過または反射させる機能を有している。ビームスプリッタ７は、照明光７０を反射型の空間光変調器３Ａに向けて反射する。また、空間光変調器３Ａからの反射光を透過する。なお、光源１および照明光学系２は、図２（Ａ），図２（Ｂ）の構成と同様のものを用いることができる。それ以外の構成も、図２（Ａ），図２（Ｂ）の構成と同様であり、光学系の条件も同様である。
［第２の実施の形態］
【００８７】
次に、本発明の第２の実施の形態に係る３次元画像表示システムについて説明する。上記第１の実施の形態では、空間光変調器３として２次元空間光変調器を使用した場合の構成について説明したが、本実施の形態は、空間光変調器３に代えて、１次元映像を生成する１次元空間光変調器を用いた３次元表示装置に関するものである。
【００８８】
図２３は、その３次元表示装置の一構成例を示している。この３次元表示装置は、１次元空間光変調器としてのＧＬＶ（Grating Light Valve）４１と、ＧＬＶ４１により生成された１次元映像を２次元空間に展開して２次元映像を生成する走査光学系と、２次元映像の生成面に配置され、２次元映像の画素ごとに高次回折光を生じさせる格子フィルタ４５と、１次元方向に生じている回折光を２次元方向に拡散させる異方性拡散フィルタ４６とを備えている。走査光学系は、ＧＬＶ４１側から順に、走査用の第１のレンズ系４２と、ガルバノミラーやポリゴンミラーなどからなる偏光器４３と、走査用の第２のレンズ系４４とを有している。ＧＬＶ４１による１次元映像の生成方向は横方向であり、走査光学系による走査方向は、格子フィルタ４５上において図示したように縦方向Ｙ１となる。ただし、ＧＬＶ４１による１次元映像の生成方向を縦方向、走査光学系による走査方向を横方向にしても良い。
【００８９】
この３次元表示装置はさらに、格子フィルタ４５に形成された２次元映像における空間周波数に対するフーリエ変換像を形成する第１のレンズＬ１１と、フーリエ変換像を空間的かつ時間的にフィルタリングする空間フィルタ１４と、格子フィルタ４５に形成された２次元映像の実像（逆フーリエ変換像）１５を形成する第２のレンズＬ１２と、空間フィルタ１４によりフィルタリングされたフーリエ変換像の共役像を形成する第３のレンズＬ１３とを備えている。第１のレンズＬ１１、空間フィルタ１４、第２のレンズＬ１２、および第３のレンズＬ１３の構成および作用は、図２（Ａ），図２（Ｂ）における第１のレンズＬ１、空間フィルタ４、第２のレンズＬ２、および第３のレンズＬ３と同様である。なお、図２３においてｆ４〜ｆ８は、その部分のレンズ成分の焦点距離を示す。
【００９０】
ＧＬＶ４１は、同一ライン上に配列された複数のリボン状ミラー（以下、単にリボンという）からなり、電圧印加によりリボンの位置変位により回折格子化し、得られる回折光の振幅変調を行うことにより任意の１次元光信号を得ることができるものである。ＧＬＶ４１は、±１次の回折光を信号光として出射するようになっている。ＧＬＶ４１は、一次元の光回折器として機能する。
【００９１】
本発明による３次元表示装置を実施する場合において、空間光変調器として１次元のものを用いる場合、２次元空間光変調器を用いる場合との違いは、第１に、同時に取り出すことのできる映像が１次元であることから、２次元映像を生成するために１次元映像を２次元映像に空間的に展開するための光学系が必要である点である。第１のレンズ系４２、偏光器４３および第２のレンズ系４４からなる走査光学系は、この役割を担っている。第２の相違点として、１次元空間光変調器を用いる場合、同時に取得できる映像が１次元であることから回折も１次元空間において起こる。このことから、得られる１次元空間に対して鉛直方向に拡散させることを目的とした光学系が必要となる。異方性拡散フィルタ４６は、この役割を担っている。第３の相違点として、ＧＬＶ４１は±１次回折光を信号光とすることから、さらに高次の回折光を用いるためには、信号光から生成される画像に対して、振幅型もしくは位相型のフィルタを２次元展開された面に配置することで新たに回折光を生成することが必要となる点である。格子フィルタ４５は、この役割を担っている。第４の相違点として、ＧＬＶ４１が同時に出力する光信号が１次元であることから、空間フィルタにおける開口の並べ方は１次元，２次元のいずれであっても良い。
【００９２】
この３次元表示装置では、ＧＬＶ４１により生成された±１次回折光からなる１次元映像が、走査光学系により２次元的に展開され、その展開された２次元映像が格子フィルタ４５上に得られる。格子フィルタ４５では、その２次元映像の各画素ごとに高次の回折光を生成する。その後の空間フィルタ１４でのフィルタリング動作は、上記第１の実施の形態と同様である。
【００９３】
なお、３次元画像表示システムとしての全体構成は、上記第１の実施の形態（図１）と同様である。
［第３の実施の形態］
【００９４】
次に、本発明の第３の実施の形態に係る３次元画像表示システムについて説明する。上記第１の実施の形態では、視差画像がバイナリ映像である場合について説明したが、本発明は、視差画像が２ビット以上の階調（グレースケール）を有する場合にも適用可能である。この場合、各再生用ＰＣ１５の画像信号発生部１２において、１フレームを複数のビットプレーン群に分割すると共に、各ビットプレーン群が２以上のビットプレーンで構成された画像信号を出力するようにすればよい。そして、各ビットプレーン群内に、少なくとも１つの視差画像の情報を割り当て、各ビットプレーン群内で階調表現を行うようにすれば良い。各ビットプレーン群の表示期間は互いに等しく設定する。なお、上記第１の実施の形態では、１つのビットプレーン群に１つのビットプレーンが割り当てられ、かつ１つのビットプレーンに１つの視差画像の情報が割り当てられていたと考えることができる。
【００９５】
図２４（Ｃ）は、各視差画像につき、２ビットで４階調のグレースケールを実現する場合のビットプレーンの配置を示している。この場合、１フレームが４つのビットプレーン群で構成されると共に、各ビットプレーン群が表示期間の異なる２つのビットプレーンを有している。例えば、表示期間の異なるＲ０とＲ１とからなる２つのビットプレーンで１つのビットプレーン群が構成されている。なお、図２４（Ａ）は、照明光を照射する期間のパルス波形を示し、図２４（Ｂ）は１視差画像を１ビットの階調（２階調）で表示する場合のビットプレーンの配置の例を示している。なお、図２４（Ｂ），図２４（Ｃ）では、画像信号発生部１２の第１の信号出力部（ＤＶＩ１）から出力される信号についての波形を示しているが、第２の信号出力部（ＤＶＩ２）についても同様である。また、図２４（Ｂ），図２４（Ｃ）には、Ｒチャネルしか描かないが、ＧチャネルとＢチャネルでも同様である。図２４（Ｃ）のような配置とすることで、１つのＤＶＩのＲチャネルにき、１フレーム内に４階調のグレースケールで表現された４つの視差画像の情報が含まれて出力される。Ｒ，Ｇ，Ｂ、２４ビットのカラー画像にビットプレーンを割り振るとすれば、１つのＤＶＩにき、１フレーム内に４×３＝１２個の視差画像の情報が含まれて出力される。画像信号発生部１２全体（２つのＤＶＩ）としては、２４の視差画像の情報が含まれて出力される。
【００９６】
このような諧調付きの視差画像を使用することにより，より臨場感のある立体動画を再生することができる。
［第４の実施の形態］
【００９７】
上記各実施の形態では、視差画像が単一色である場合について説明したが、本発明は、視差画像を複数色で表示する場合（カラー表示）にも適用可能である。
【００９８】
すなわち、上記各実施の形態では、Ｒチャネル、Ｇチャネル、およびＢチャネルのビットプレーンをすべて別々の視差画像に割り振るようにしたが、通常のカラー画像と同様にＲチャネル、Ｇチャネル、およびＢチャネルのビットプレーンをカラー画像としてのビットプレーンとして使用するようにすれば良い。
【００９９】
なお、カラー表示を行う場合、各３次元表示装置１０において、複数色の照明光を発生する必要がある。図２５は、カラー表示用の照明光学系の第１の構成例を示している。光源１の波長帯域は広帯域に及ぶものとする。図２５の構成例は、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関するものである。これにより、カラー画像表示を行う場合における照明光を生成することができる。この構成例の場合、各３次元表示装置１０において、照明光学系２における最終レンズＬ１０の出射側に、ダイクロイックプリズム９と、１つの狭帯域フィルタ８Ｇとを配置する。ダイクロイックプリズム９は、例えば赤色光Ｒ、青色光Ｂを別々の方向に反射すると共に、緑色光Ｇを含む光線を透過する。ダイクロイックプリズム９における緑色光Ｇを含む光線の出射側に、緑色光Ｇを分別・選択する狭帯域フィルタ８Ｇが配置されている。
【０１００】
図２６は、カラー表示用の照明光学系の第２の構成例を示している。この構成例も、図２５の構成例と同様、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関する。この構成例の場合、各３次元表示装置１０において、照明光学系２における最終レンズＬ１０の出射側に、ダイクロイックプリズム９Ａと、２つの狭帯域フィルタ８Ｒ，８Ｂを備えている。ダイクロイックプリズム９Ａは、例えば赤色光Ｒ、および青色光Ｂを含む光線を別々の方向に反射すると共に、緑色光Ｇを透過する。ダイクロイックプリズム９Ａにおける赤色光Ｒを含む光線の出射側に、赤色光Ｒを分別・選択する狭帯域フィルタ８Ｒが配置されている。また、ダイクロイックプリズム９Ａにおける青色光Ｂを含む光線の出射側に、青色光Ｂを分別・選択する狭帯域フィルタ８Ｂが配置されている。
【０１０１】
なお、図２５および図２６の照明光学系を用いてカラー画像表示を行う場合には、さらに、折り曲げ光学系、および合成光学系を備え、カラー画像の構成要素たる波長帯域からなる複数の照明光に対する複数の空間光変調器３に各色光を照明する。また、空間光変調器３と空間フィルタ４とを各色光ごとに空間的かつ時間的に制御する。
【０１０２】
なお、カラー画像表示を行う場合における照明光の生成方法は、図２５および図２６に示したものに限定されない。例えばダイクロイックプリズムと狭帯域フィルタとの波長選択特性によって、他の構成（狭帯域フィルタを配置する位置を変える等）もあり得る。
［第５の実施の形態］
【０１０３】
次に、本発明の第５の実施の形態について説明する。なお、上記第１の実施の形態に係る３次元画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。上記第１の実施の形態では、各再生用ＰＣ１５で再生される画像に制御情報（フレームの識別信号）を含め、その制御情報に基づいて、各３次元表示装置１０に設けられた外部制御回路１４が立体動画再生のための同期制御を行うようにしたが、この制御をモニタ用ＰＣ２００側の制御回路２１４で行うようにしても良い。
【０１０４】
図２７は、本実施の形態に係る３次元画像表示システムの一構成例を示している。本実施の形態では、図１の外部制御回路１４に変えてモニタ用ＰＣ２００側の制御回路２１４が、立体動画再生のための同期制御を行う機能を有している。それ以外の部分の構成は、基本的に上記第１の実施の形態と同様である。
【０１０５】
図２８（Ａ）〜図２８（Ｅ）を参照して、本実施の形態において、動画フレームの同期を取るための制御の具体例を説明する。図２８（Ａ）は、モニタ用ＰＣ２００から同期制御のために出力される制御用のフレーム画像の一例を示している。これは、図９（Ａ）に示した再生用ＰＣ１５からの出力に基づくフレーム画像Ｆ１〜Ｆ５に対応したフレーム画像である。ただし、モニタ用ＰＣ２００では実際の視差画像を再生する必要はなく、再生用ＰＣ１５でのフレームレート（第１のフレームレート）と同期が取れていれば任意の画像でよい。図２８（Ａ）の例では、５フレームに一回の割合で黒い画面に１本の白い横線のある画像を再生している。１本の白い横線を、図９（Ａ）における１ピクセルの画素４００と同様、制御情報（フレームの識別情報）として使用する。図９（Ａ）の場合と同様、１セットのフレーム画像Ｆ１〜Ｆ５のうち、５番目のフレーム画像Ｆ５に識別情報（１本の白い横線）を埋め込む。そのほかの４フレームＦ１〜Ｆ４は例えば単なる黒い画面にしておく。
【０１０６】
図２８（Ｂ）は、モニタ用ＰＣ２００から出力されるフレーム画像における垂直同期信号（Ｖ−Ｓｙｎｃ信号）のパルス波形を示している。図２８（Ｃ）は、モニタ用ＰＣ２００で再生される画像に含まれる同期パルス（識別信号）ＲＳの信号波形を示している。
図２８（Ｄ）は、制御回路２１４において識別信号ＲＳを検出するための信号波形を示している。また、図２８（Ｅ）は、３次元表示装置１０において動画フレームの頭出しを行うための頭出し信号ＦＳの信号波形を示している。制御回路２１４は、モニタ用ＰＣ２００で再生される画像に含まれる識別信号ＲＳを検出すると共に、検出した識別信号ＲＳに基づいて、各３次元表示装置１０において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号ＦＳを生成する。なお、図９（Ｅ）において、頭出し信号ＦＳ１は、識別信号ＲＳに基づいて生成された信号であり、他の頭出し信号ＦＳ２は、制御回路２１４自身の内部クロックにより生成した信号である。
【０１０７】
３次元表示装置１０は、制御回路２１４が生成した頭出し信号ＦＳに基づいて動画フレームの頭出しを行う。これにより、各再生用ＰＣ１５でのフレームレート（第１のフレームレート）とは異なる第２のフレームレートで多視差立体動画表示を行うことができる。同期制御の原理は、基本的に上記第１の実施の形態と同様である。
［その他の実施の形態］
【０１０８】
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、各再生用ＰＣ１５の画像信号発生部１２において、１つのビットプレーンに空間的に２以上の視差画像の情報が割り当てられた信号を出力するようにしても良い。そして、空間光変調器３が、複数の視差画像を、時間的、かつ空間的に分割して順次再生するよようにしても良い。
【０１０９】
また、上記各実施の形態の説明では、５フレームに１回の割合で制御情報を付加するようにしたが、制御情報を付加する割合は、この割合に限らず、制御の内容や立体動画のフレームレート等に応じて適宜変更可能である。すなわち、制御情報は１または任意の複数のフレームごとに付加することが可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の第１の実施の形態に係る３次元表示システムの全体構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る３次元表示装置の全体構成を示す図であり、（Ａ）はｙｚ断面内での構成図、（Ｂ）はｘｚ断面内での構成図である。
【図３】本発明の第１の実施の形態に係る３次元表示装置を複数組み合わせたシステム構成例を示す構成図である。
【図４】視差画像を生成するシステムの一例を示すブロック図である。
【図５】画像信号の構成例を示すタイミングチャート図であり、（Ａ）は垂直同期信号のパルス波形を示し、（Ｂ）は通常の８ビットの階調を実現する場合の信号波形を示し、（Ｃ）は第１の信号出力部から出力される視差画像の信号波形を示し、（Ｄ）は第２の信号出力部から出力される視差画像の信号波形を示す。
【図６】フレームとビットプレーンとの対応関係を示す説明図である。
【図７】視差画像と立体動画のフレームとの対応関係を示す説明図である。
【図８】空間フィルタにおける視差画像の配置例を示す説明図である。
【図９】動画フレームの同期を取るための制御を示す説明図であり、（Ａ）は各再生用ＰＣで再生される画像を模式的に示し、（Ｂ）は各再生用ＰＣから出力される画像信号における垂直同期信号のパルス波形を示し、（Ｃ）は各再生用ＰＣで再生される画像に含まれる同期パルス（識別信号）の信号波形を示し、（Ｄ）は３次元表示装置において動画フレームの頭出しを行うための頭出し信号の信号波形を示す。
【図１０】空間フィルタの一構成例を示す図である。
【図１１】空間フィルタの開口と回折光の次数との対応関係の一例を示す説明図である。
【図１２】空間光変調器の作用を説明するための図である。
【図１３】第１のレンズＬ１による作用を示す説明図である。
【図１４】空間光変調器において最も空間周波数が低い映像を表示した状態を模式的に示す説明図である。
【図１５】最も低い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。
【図１６】空間光変調器において最も空間周波数が高い映像を表示した状態を模式的に示す説明図である。
【図１７】最も高い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。
【図１８】空間フィルタ上における回折光の分布を説明するための図であり、（Ａ）はｘｙ平面上での分布を示し、（Ｂ）はｘ軸上での分布強度を示す。
【図１９】空間光変調器における映像表示タイミングと空間フィルタの開口の開閉タイミングとを示す図であり、（Ａ）は空間光変調器における映像表示タイミングを示し、（Ｂ）は空間フィルタにおける開口αの開閉タイミングを示し、（Ｃ）は空間フィルタにおける開口βの開閉タイミングを示す。
【図２０】空間フィルタによる空間フィルタリングの概念を模式的に時系列で示した説明図である。
【図２１】空間フィルタリングの結果得られる映像の一例を模式的に示す説明図である。
【図２２】反射型の空間光変調器を用いた３次元表示装置の一構成例を示す図である。
【図２３】１次元空間光変調器を用いた３次元表示装置の一構成例を示す図である。
【図２４】グレースケール表示を行う場合の画像信号の構成例を示すタイミングチャート図であり、（Ａ）は照明光を照射する期間のパルス波形を示し、（Ｂ）は１視差画像を１ビットの階調（２階調）で表示する場合の信号波形を示し、（Ｃ）は１視差画像を２ビットの階調（４階調）で表示する場合の信号波形を示す。
【図２５】カラー表示用の照明光学系の一構成例を示す図である。
【図２６】カラー表示用の照明光学系の他の構成例を示す図である。
【図２７】本発明の第５の実施の形態に係る３次元表示システムの全体構成を示すブロック図である。
【図２８】動画フレームの同期を取るための制御を示す説明図であり、（Ａ）はモニタ用ＰＣで再生される制御用の画像を模式的に示し、（Ｂ）はモニタ用ＰＣから出力される画像信号における垂直同期信号のパルス波形を示し、（Ｃ）はモニタ用ＰＣで再生される画像に含まれる同期パルス（識別信号）の信号波形を示し、（Ｄ）は識別信号を検出するための信号の信号波形を示し、（Ｅ）は３次元表示装置において動画フレームの頭出しを行うための頭出し信号の信号波形を示す。
【図２９】従来の３次元表示装置の一構成例を示す図である。
【符号の説明】
【０１１１】
Ｌ１…第１のレンズ、Ｌ２…第２のレンズ、Ｌ３…第３のレンズ、１…光源、２…照明光学系、３（３−１，３−２）…空間光変調器（ＳＬＭ）、４…空間フィルタ、１０（１０−１，１０−２，１０−３，１０−４，１０−５，１０−６）…３次元表示装置、１１…画像データ記憶部、１２…画像信号発生部、１３…同期制御部、１４（１４−１，１４−２，１４−３，１４−４，１４−５，１４−６）…外部制御回路、１５（１５−１，１５−２，１５−３，１５−４，１５−５，１５−６）…再生用ＰＣ、２００…モニタ用ＰＣ、２０１…ＬＡＮ、２１４…制御回路、２１５…モニタ用スクリーン。
【技術分野】
【０００１】
本発明は、複数の視差画像により多視差立体表示を行う３次元画像表示システムに関する。
【背景技術】
【０００２】
従来、立体映像を生成する技術として、観察者の両眼に視差画像と呼ばれる各々異なる映像を見せることにより立体感が得られる２眼式立体映像技術や、それら視差画像を複数組用意することにより異なる視点からの立体映像を提供する多眼式立体映像技術があり、それらに関わる技術が多く開発されている。しかしながら、上述の技術による立体映像は、物理的に立体画像として意図した位置にあるのではなく、例えば各々の画像が２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。
【０００３】
一方、実世界において物体表面の情報は、光波を媒体として観察者の眼球まで伝搬する。物理的に実世界の物体からの光波を人工的に再現することができる技術としてホログラフィ技術がある。ホログラフィ技術を用いた立体映像は、光の干渉により生成された干渉縞を用い、その干渉縞に光が照明された際に生じる回折波面そのものを映像情報媒体として用いている。そのため、観察者が実世界において物体を観察しているときと同様の輻輳、調節などの視覚系生理反応が起き、眼精疲労の少ない映像を提供することができる。さらに、物体からの光波面が再現されていることは、映像情報を伝達する方向に対して連続性が確保されていることといえる。そのことから、観察者の視点が移動することにより、その移動に応じた異なる角度からの適切な映像を連続的に提示することが可能であり、運動視差が連続的に提供される映像提供の手法でもある。
【０００４】
しかしながら、ホログラフィ技術では３次元空間情報を２次元空間における干渉縞として記録しており、その空間周波数は同じ物体を撮影した写真などの２次元空間の情報と比較すると極めて膨大な量になる。これは、３次元空間の情報を２次元空間に変換する際に、その情報が２次元空間上における密度に変換されていると考えることができる。そのために、ＣＧＨ（Computer Generated Hologram）による干渉縞を表示するデバイスに求められる空間分解能は極めて高く、また膨大な情報量が必要であることから、実時間ホログラムにより立体映像を実現することは、現状において技術的に困難である。
【０００５】
そこで、ホログラフィ技術による立体映像が物体からの情報を連続的な情報と見なすことのできる光波を情報媒体としていることに対して、その光波を離散化し、理論的にはほぼ実世界における光波からなる場と等価である状況を光線によって再現することで立体映像を生成する光線再生技術がある。光線再生法またはインテグラルフォトグラフィ法と呼ばれる立体映像技術は、光線再生技術に属する技術である。
【０００６】
光線再生技術では、あらかじめ多くの方向へ伝搬する多数の光線からなる光線群を光学的手段により空間に散布する。次に、任意の位置に配置する仮想的な物体表面より伝搬すべき光線を、その光線群より選択し、選択された光線の強度や位相の変調を行うことによって、空間に光線からなる像を生成し、観察者はそれを立体映像として観察することができる。光線再生技術による立体映像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。
【０００７】
以上で述べた光線再生を実現するための装置として、液晶ディスプレイやプラズマディスプレイなどのディスプレイデバイスとマイクロレンズアレイやピンホールアレイとを組み合わせた装置が提案されている。また、プロジェクタを多数並べた装置も考えられている。図２９は、プロジェクタを用いて光線再生を実現した３次元表示装置の一構成例を示している。この装置は、多数のプロジェクタユニット１０１を縦方向と横方向とに並列的に配置し、各プロジェクタユニット１０１から角度の異なる光線を出射するようにしたものである。これにより、ある断面１０２内の任意の点において多視角の像を多重再生し、立体映像を実現している。
【０００８】
このような光線再生法による立体表示では、多数の視差画像を同時に再生する必要があり、視差数の分だけ情報量が増大する。そこで、特許文献１には、光線再生法による立体表示を行う画像表示システムにおいて、視差画像の一部を表示する視差画像表示手段を複数備え、各視差画像表示手段に、視差画像として圧縮符号化された動画像情報を送り込むことで多数の視差画像の再生を行えるようにした技術が開示されている。
【特許文献１】特開２００４−３２２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記した光線再生技術によれば、２眼式および多眼式立体映像では不可能であった視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体映像を提供することができる。それだけでなく、仮想物体上の同一要素より複数の方向へ連続的に光線が出射されていることから、視点位置の移動に伴う映像の変化を連続的に提供することができる。
【００１０】
しかしながら、現状の光線再生技術により生成された映像は、実世界における物体と比較すると臨場感に欠ける。これは、現状の光線再生技術による立体映像が実世界の物体から観察者が得る情報量に対して非常に少量の情報、すなわち少量の光線によって生成されていることが原因であると考えられる。一般的に人間の視認限界は角度分解能で１分程度といわれており、現状の光線再生技術による立体映像は、この人間の視覚に対して不十分な光線によって生成されている。従って、実世界の物体が持つような高い臨場感やリアリティを有する立体映像を生成するためには、少なくとも多量の光線により映像を生成することが課題であるといえる。
【００１１】
この実現のためには、まず空間的に高い密度で光線群を生成することのできる技術が必要である。解決手段としては、液晶ディスプレイなどのディスプレイデバイスの表示密度を高くすることが考えられる。また、図２９に示したような多数のプロジェクタユニット１０１を配置する装置の場合には、各プロジェクタユニット１０１を極小化し、空間的に高い密度で並べることが考えられる。しかしながら、現在のディスプレイデバイスにおける表示密度の飛躍的な向上は光利用効率や回折限界の問題から困難である。図２９の装置の場合には、各プロジェクタユニット１０１を極小化するのには限界があるため、空間的に高い密度で並べることは困難であると考えられる。いずれの場合にも高密度光線群を生成するためには、複数のデバイスが必要となり、装置全体の大型化は避けられない。
【００１２】
また、光線再生法を用いた立体映像を再生する際には、数多くの視差画像を同時に投射しなければならない。例えば、１００視差の立体動画を再生するには、１００個の視差画像を同時に投射することになる。したがって、再生する情報量は２次元動画の１００倍になる。従来の技術では、再生機器(コンピュータなど)が事前に各視差画像再生装置に画像データを転送し、各視差画像を同時に再生させる。この方法を使えば、フルカラーの立体静止画を表示できる。しかしながら、高精細な動画を再生するには、次の問題がある。動画のデータ量は静止画より大きいため、大量のデータを転送しなければならない。かつ高速で転送しなければならない。従来の技術では、高精細の立体静止画を生成するための各視差画像を各再生装置に転送するには数秒がかかるので、動画の再生ができない。従来では、動画を再生するためには、視差画像の解像度を低下させる必要がある。または動画のフレームレートを低く設定することになる。従って、光線再生法を用いて高精細な動画を再生するために、大量の視差画像を高速で再生する技術の開発が望まれている。上記特許文献１では、視差画像として圧縮符号化されたデータを転送するなどして視差画像の再生の高速化を図っているが、これよりもさらに大量、かつ高速な再生手法が必要とされている。
【００１３】
このような大量、かつ高速な再生手法としては、例えば、１フレーム内に複数の視差画像が含められた画像を第１の画像再生装置で再生すると共に、その再生された視差画像の所定数分を多視差立体動画の１フレームに変換し、第２の画像再生装置（３次元表示装置）で多視差立体動画表示を行うことが考えられる。この場合、第１の画像再生装置では２次元画像を再生するのに対し、第２の画像再生装置では立体画像の再生を行うことになるので、第１の画像再生装置で再生する画像のフレームレート（第１のフレームレート）と第２の画像再生装置でのフレームレート（第１のフレームレート）とに違いが生ずることが考えられる。一般に、動画の再生を行う場合、フレームの垂直同期パルスを用いて同期制御を行うことが多いが、第１の画像再生装置と第２の画像再生装置とでフレームレートが異なる場合、第１の画像再生装置から出力された垂直同期パルスを第２の画像再生装置での同期制御に用いることはできない。視差画像を提供する側（第１の画像再生装置）とその視差画像を用いて多視差立体動画表示を行う側（第２の画像再生装置）とで適切な同期が取れていないと、立体動画として認識できなくなる可能性がある。
【００１４】
本発明はかかる問題点に鑑みてなされたもので、その目的は、多視差立体動画表示を行う場合の同期制御を行いやすくできるようにした３次元画像表示システムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明による３次元画像表示システムは、１フレーム内に複数の視差画像が含められた２次元画像を第１のフレームレートで再生する多視差画像再生装置と、所定数の視差画像からなる多視差画像を立体動画の１フレームとし、多視差画像再生装置によって再生された複数の視差画像に基づいて第２のフレームレートで多視差立体動画表示を行う３次元表示装置とを備え、多視差画像再生装置が、１または複数のフレームごとに、視差画像に制御情報を含めた画像を再生し、３次元表示装置が、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたものである。
【００１６】
本発明による３次元画像表示システムでは、多視差画像再生装置から、１または複数のフレームごとに、視差画像に制御情報を含めた画像が再生される。３次元表示装置では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
例えば、多視差画像再生装置が、所定数の複数のフレームごとに、制御情報としてフレームを識別する識別信号を含めた画像を再生し、外部制御回路が、識別信号に基づいて３次元表示装置において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、３次元表示装置が、頭出し信号に基づいて動画フレームの頭出しを行うことで、第１のフレームレートとは異なる第２のフレームレートで多視差立体動画表示を行うようにすれば、多視差立体動画表示を行う場合の同期制御を行うことができる。
【００１７】
ここで、本発明による３次元画像表示システムにおいて、多視差画像再生装置としては、例えば、１フレームの画像を複数のビットプレーンに分けて時分割で表示する機能を有するものを使用すると良い。この場合、多視差画像再生装置は、１フレームが複数のビットプレーン群に分割されると共に、各ビットプレーン群が１または２以上のビットプレーンで構成され、各ビットプレーン群に少なくとも１つの視差画像の情報が割り当てられることにより、１フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、信号発生部から出力された画像信号に基づいて、複数の視差画像を１フレーム内で時間的に分割して順次再生する画像形成部とを有する構成にすると良い。
より具体的には、多視差画像再生装置としては、例えば、１フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有するものを使用することができる。この場合、例えば、各色の階調ビットプレーンに視差画像の情報が割り当てられ、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられ、その画像信号に基づいて、複数の視差画像が時間的に分割して順次再生される。
このようにすることで、従来よりカラー画像表示装置において用いられている階調ビットプレーンを、視差画像を再生するためのビットプレーンとして用いることが可能となり、大量の視差画像を高速で再生することが可能となる。
【発明の効果】
【００１８】
本発明の３次元画像表示システムによれば、視差画像自体に制御情報を含め、その視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
【００２０】
まず、本発明の第１の実施の形態に係る３次元表示システムについて説明する。
図１は、本実施の形態に係る３次元画像表示システムの一構成例を示している。この３次元画像表示システムは、複数の３次元表示装置を組み合わせたマルチユニット方式の表示システムとなっている。図１では、一例として、６つの３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６を備えたシステムを示している（以下、各３次元表示装置を総称する場合には単に「３次元表示装置１０」と記す）。この３次元画像表示システムはまた、３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６のそれぞれに対応して設けられ、各３次元表示装置１０に視差画像を提供するための再生用ＰＣ（パーソナル・コンピュータ）１５−１，１５−２，１５−３，１５−４，１５−５，１５−６を備えている（以下、各再生用ＰＣを総称する場合には単に「再生用ＰＣ１５」と記す）。この３次元画像表示システムはまた、３次元表示装置１０−１，１０−２，１０−３，１０−４，１０−５，１０−６のそれぞれに対応して設けられ、各３次元表示装置１０における多視差立体表示のタイミングを制御するための外部制御回路１４−１，１４−２，１４−３，１４−４，１４−５，１４−６を備えている（以下、各外部制御回路を総称する場合には単に「外部制御回路１４」と記す）。この３次元画像表示システムはまた、各再生用ＰＣ１５の制御を行うためのモニタ用ＰＣ（パーソナル・コンピュータ）２００およびモニタ用スクリーン２１５と、制御回路２１４とを備えている。各３次元表示装置１０は、ＳＬＭ（空間光変調器）３（３−１，３−２）と、空間フィルタ４とを有している。各再生用ＰＣ１５は、画像データ記憶部１１と、画像信号発生部１２と、同期制御部１３とを有している。モニタ用ＰＣ２００は、画像データ記憶部２１１と、画像信号発生部２１２と、同期制御部２１３とを有している。各再生用ＰＣ１５、制御回路２１４、およびモニタ用ＰＣ２００は、例えばＬＡＮ（ローカル・エリア・ネットワーク）２０１によって互いにネットワーク接続されている。
【００２１】
ここで、本実施の形態において、再生用ＰＣ１５と空間光変調器３とが、本発明における「多視差画像再生装置」の一具体例に対応する。特に、画像信号発生部１２が本発明における「信号発生部」の一具体例に対応し、空間光変調器３が本発明における「画像形成部」の一具体例に対応する。また、本実施の形態では、３次元表示装置１０内に画像形成部（空間光変調器３）が含まれている。
【００２２】
まず、３次元表示装置１０の構成および作用を詳しく説明する。なお、本発明の３次元画像表示システムにおいて適用される３次元表示装置１０の構成は、以下で説明するものに限定されず、例えば図２９に示したような多数のプロジェクタユニット１０１を単純に配置したものであっても構わない。
【００２３】
図２（Ａ），図２（Ｂ）は、３次元表示装置１０の一構成例を示している。ここで、光軸方向をｚとし、このｚ方向に直交する平面内での直交座標をｘｙとして、図２（Ａ）は、ｙｚ断面内での構成を示し、図２（Ｂ）はｘｚ断面内での構成を示す。一般的な光線再生技術による３次元表示では、任意の位置に存在する仮想物体表面を仮想的な原点とした複数の光線を出射することを目的として、あらかじめ様々な角度で出射する光線を提供できる装置を備えておくことが必要である。例えば、図２９に示した装置にあっては、多数（例えば、Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を水平方向および垂直方向に並列的に配置しなければならない。一方、本実施の形態に係る３次元表示装置１０は、図２（Ａ），図２（Ｂ）に示した構成要素を備える装置単体で、従来に比べて空間的に密度が高く、かつ大量の光線群を生成することが可能となっている。従って、この３次元表示装置１０は、図２（Ａ），図２（Ｂ）に示した装置単体でも表示装置として機能し得る。１つの３次元表示装置１０で、図２９に示した多数（Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を配置した装置と等価の機能を有する。図１のようにマルチユニット方式とする場合には、例えば図３に示すように、３次元表示装置１０を縦方向ｙと横方向ｘとに複数、並列的に配置する。
【００２４】
３次元表示装置１０は、光源１と、光源１からの光を整形する照明光学系２と、複数の画素を有し、光源からの光を画素ごとに変調して２次元映像を生成するＳＬＭ（空間光変調器）３と、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を形成する第１のレンズＬ１と、フーリエ変換像を空間的かつ時間的にフィルタリングするための時間的な開口制御が可能な空間フィルタ４とを備えている。この３次元表示装置１０はさらに、空間フィルタ４によりフィルタリングされたフーリエ変換像を逆フーリエ変換することにより、空間光変調器３により生成された２次元映像の実像（逆フーリエ変換像）５を形成する第２のレンズＬ２と、空間フィルタ４によりフィルタリングされたフーリエ変換像の共役像６を形成する第３のレンズＬ３とを備えている。図２（Ａ），図２（Ｂ）において、ｆ１は第１のレンズＬ１の焦点距離、ｆ２は第２のレンズＬ２の焦点距離、ｆ３は第３のレンズＬ３の焦点距離を示す。
【００２５】
光源１および照明光学系２は、空間光変調器３に対する照明光を生成するものである。照明光としては、例えば空間コヒーレンスの高い光源を平行光に整形した光を用いる。空間光変調器３は、２次元的に配列された複数の画素を有する２次元空間光変調器である。２次元空間光変調器としては、例えば透過型の液晶表示装置を用いることができる。空間光変調器３における映像表示エリアの中心を通り、空間光変調器３の映像表示面に直交する方向に向かう直線を光軸とする。
【００２６】
空間光変調器３は、例えばｘ方向およびｙ方向に沿って２次元マトリクス状に配列されたＰ×Ｑ個の開口（画素）を有し、光源１からの光の通過を開口ごとに制御することで２次元画像を生成するようになっている。空間光変調器３は、その２次元画像に基づき、開口ごとに、ｘ方向に沿って第ｍ次から第ｍ’次までのＭ組（ただし、ｍおよびｍ’は整数であり、Ｍは正の整数）、ｙ方向に沿って第ｎ次から第ｎ’次までのＮ組の（ただし、ｎおよびｎ’は整数であり、Ｎは正の整数）、合計、Ｍ×Ｎ組の回折光を生成する２次元画像形成装置を構成している。例えばＰ＝１０２４（画素）、Ｑ＝７６８（画素）であり、ｍ＝−５、ｍ’＝５、Ｍ＝ｍ’−ｍ＋１＝１１、ｎ＝−５、ｎ’＝５、Ｎ＝ｎ’−ｎ＋１＝１１である。ただし、これらの値に限定するものではない。本実施の形態では、空間光変調器３として、例えばそれぞれが１０２４（画素）×７６８（画素）の２つの空間光変調器３−１，３−２を有し、例えば全体として２０４８×７６８画素の２次元画像を生成するようになっている。なお、空間光変調器３の開口の平面形状は矩形とすることが望ましい。開口の平面形状を矩形とするとき、フラウンホーファー回折が生じ、空間光変調器３−１，３−２の各開口（画素）について、Ｍ×Ｎ組の回折光が生成される。すなわち、係る開口によって、入射光波の振幅（強度）を周期的に変調し、格子の光透過率分布に一致した光量分布が得られる振幅格子が形成される。例えば各画素において、Ｍ×Ｎ組＝１２１組の回折光が生成される。言い換えれば、画素の数は空間光変調器３−１，３−２のそれぞれでＰ×Ｑであるが故に、総計、２×（Ｐ×Ｑ×Ｍ×Ｎ）本の回折光が生じると考えることもできる。
【００２７】
第１のレンズＬ１は、その前側焦点面上に空間光変調器３の２次元映像の生成面が位置するように配置され、その後側焦点面にフーリエ変換像を形成している。第１のレンズＬ１は、フーリエ変換像として、空間光変調器３の各画素ごとに生ずる複数次数の回折光（Ｍ×Ｎ組の回折光）を各回折次数ごとに集光し、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を各回折次数ごとに形成するようになっている。
【００２８】
空間フィルタ４は、第１のレンズＬ１の後側焦点面上に配置されている。空間フィルタ４は、図１０に示したように複数の開口４Ａを有している。複数の開口４Ａは、空間光変調器３の各画素で生じた回折光の各回折次数の空間位置に対応して設けられている。開口４Ａは、少なくとも、複数の回折次数に対応する数（例えばＭ×Ｎ＝１２１個）だけ設けられている。空間フィルタ４は、空間光変調器３による２次元映像の生成タイミングと同期しつつ複数の開口４Ａを各回折次数ごとに光学的に選択的に開閉制御することにより、フーリエ変換像を空間的かつ時間的にフィルタリングするようになされている。空間フィルタ４は、任意の位置の開口４Ａを光学的に開閉制御可能であれば良く、例えば強誘電性液晶を用いた透過型または反射型の液晶表示装置で構成される。また、２次元型のＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）など用いても良い。
【００２９】
図１１は、空間フィルタ４における開口４Ａと空間光変調器３の各画素で生じた回折光の各回折次数との対応関係の一例を示している。空間フィルタ４は、図１１において、数字（ｍ，ｎ）は、開口４Ａの番号を示し、かつ、回折次数を示す。例えば、第（３，２）番目の開口４Ａには、ｍ＝３，ｎ＝２の回折次数を有するフーリエ変換像が入射する。
【００３０】
第２のレンズＬ２は、第１のレンズＬ１と同一の光軸を有するように配置されている。また第２のレンズＬ２は、その前側焦点面上に空間フィルタ４が位置するように配置され、その後側焦点面に空間光変調器３により生成された２次元映像の実像５を形成している。ここで得られる実像５の空間光変調器３に対する倍率は、第２のレンズＬ２の焦点距離ｆ２を任意に選択することによって変化させることができる。
【００３１】
第３のレンズＬ３は、第１のレンズＬ１および第２のレンズＬ２と同一の光軸を有するように配置されている。また第３のレンズＬ３は、その後側焦点面に共役像６を形成すると共に、その前側焦点面が第２のレンズＬ２の後側焦点面に一致するように配置されている。ここで、第３のレンズＬ３の後側焦点面は空間フィルタ４の共役面であることから、空間フィルタ４上の１つの開口部に相当する部分から、空間光変調器３の画素数分（２×Ｐ×Ｑ）の光線が出力されている。最終的に生成・出力される光線の量は、その画素数分の光線に、光学系を透過した回折次数分（Ｍ×Ｎ）を乗じた量で定義することができる。第３のレンズＬ３の後側焦点面においては、光線群が２次元的に整然と配置されているとみなせる。すなわち、全体としては、第３のレンズＬ３の後側焦点面に、図２９に示したプロジェクタユニット１０１が複数の回折次数分（具体的にはＭ×Ｎ個）、配置されている状態と等価である。
【００３２】
次に、３次元表示装置１０の作用を説明する。
この３次元表示装置１０では、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像が、空間フィルタ４により、空間的かつ時間的にフィルタリングされ、そのフィルタリングされたフーリエ変換像の共役像６が形成される。
【００３３】
ここで、図１２に模式的に示したように空間光変調器３からは、複数次数の回折光が生じる。なお、図１２では、０次（０ｔｈ）光、±１次（１ｔｈ）光、および±２次（２ｔｈ）光の回折光のみを代表して図示しているが、実際にはさらに高次の回折光が生じ、それらの高次回折光も立体表示に利用される。例えばｘ方向に沿って第−５次から第＋５次までの１１組、ｙ方向に沿って第−５次から第＋５’次までの１１組、合計、Ｍ×Ｎ組＝１２１組の回折光が生成される。この回折光は各画素ごとに生ずる。従って、各次数の回折光にはそれぞれ、空間光変調器３により生成された２次元映像の全情報（全画素の情報）が集約されている。空間光変調器３上の同一画素から回折により生成される複数の光線は、同時刻においてすべて同一の情報を有する。
【００３４】
第１のレンズＬ１では、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を、各回折次数ごとに空間フィルタ４上に集光する。高次回折による回折像を利用することで、高い空間的な密度を有する光線群が生成される。
ここで、照明光の波長をλ（ｍｍ），空間光変調器３上の映像を含む構造の空間周波数をν（ｌｐ／ｍｍ），第１のレンズＬ１の焦点距離をｆ１（ｍｍ）とすると，レンズＬ１の後側焦点面では、光軸から距離ｘａ（ｍｍ）の位置にその構造を構成する空間周波数を示す光が現れる。ここで，ｘａは、
ｘａ＝ｆ１λν ……（１）
で示される。
【００３５】
図１３は、第１のレンズＬ１による集光作用を模式的に示している。Ｌは、空間光変調器３上の２次元映像の大きさを示す。第１のレンズＬ１によって、各次数の回折光が空間フィルタ４上の別々の開口位置に集光する。空間フィルタ４への集光角（空間フィルタ４を出射後の発散角）θは、各回折光で同一である。空間フィルタ４上において、隣接する回折次数間の間隔は上記（１）式の関係で表される。上記（１）式より、第１のレンズＬ１の焦点距離ｆ１を任意に選択することによって、フーリエ変換像の位置（空間フィルタ４上の結像位置）を変化させることも可能であることが分かる。第１のレンズＬ１に高い回折次数成分を透過させるためには、利用する回折次数成分に応じてレンズの開口率を選択する必要があり、焦点距離に関わらず第１のレンズＬ１以降のすべてのレンズの開口率が第１のレンズＬ１の開口率以上である必要がある。
【００３６】
ここで、空間光変調器３に表示された映像の空間周波数は、映像が画素より構成される空間光変調器３により生成されていることから、最高でも空間光変調器３を構成する連続した２つの画素からなる周期を有する周波数である。
【００３７】
図１４は、空間光変調器３に表示された映像の空間周波数が最も低い状態を示している。符号３Ａは、１つの画素を示す。最も空間周波数が低い状態とは、全画素をブラック表示、またはホワイト表示にした場合であり、この場合の回折光は平面波成分の情報のみを有する。なお、図１４ではホワイト表示にした場合を示している。図１５は、空間光変調器３を図１４の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。各回折光のピークは、周波数ν１の間隔で現れる。
【００３８】
一方、図１６は空間光変調器３に最も高い空間周波数を表示した状態を示す。最も空間周波数が高い映像は、図示したように各画素３Ａの表示をブラック表示とホワイト表示とに隣り合う２つの画素に交互に表示した場合である。図１７は、空間光変調器３を図１６の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。図１５の最低空間周波数の場合と比べて、ピークが周波数ν１／２の間隔で現れる。
【００３９】
図１８（Ａ），図１８（Ｂ）は、空間フィルタ上における回折光の分布を模式的に示したものであり、図１８（Ａ）はｘｙ平面上での分布を示し、図１８（Ｂ）はｘ軸上での分布強度を示す。図１８（Ｂ）では、最低空間周波数成分（平面波成分）と、最高空間周波数成分とを同時に示している。符号１５１で示した部分が最低空間周波数成分で現れるピークを示し、符号１５２で示した部分が最高空間周波数成分で現れるピークを示す。空間フィルタ４の開口形状は、フーリエ変換像の回折パターンに依存し、回折光の平面波成分のピーク位置を中心として、各々の回折次数に対して独立した開口４Ａを有する。すなわち、各開口４Ａの中心位置４Ｂに平面波成分のピーク位置が存在する。
【００４０】
空間フィルタ４では、すべての光線に任意の強度もしくは位相変調を加えるために回折の次数に対応して開口４Ａの開閉制御を行う。空間フィルタ４は、空間光変調器３における平面波成分が空間光変調器３の画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンを中心として、空間光変調器３上に表示することのできる正負の最高空間周波数をすべて得ることができるような開口４Ａを１つの要素としている。
【００４１】
上記式（１）より、空間光変調器３における画素構造に起因する空間周波数が、空間光変調器３上に表示される映像の最高空間周波数の２倍であるので、画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンの間隔の半分の位置までに映像の空間周波数はすべて現れる。このことから、すべての開口４Ａは、空間的に干渉することなく配置することができる。これにより、平面波成分ごとに独立した開口４Ａを有する空間フィルタ４上において、単一の開口部に空間光変調器３上における映像のすべての空間周波数成分の情報が存在し、開口４Ａの空間的な制限により空間光変調器３上の映像の空間周波数成分が欠落することはない。
【００４２】
すなわち、開口４Ａは、上記式（１）によるｘａの大きさを有する。一例として、照明光の波長λを５３２ｎｍ、第１のレンズＬ１の焦点距離ｆ１を５０ｍｍ、空間光変調器３の１画素の大きさを１３μｍ〜１４μｍ程度とすると、ｘａは約２ｍｍとなる。これは、空間フィルタ４上において、約２ｍｍ間隔という高い密度で各回折次数の光線群を生成することができることを意味する。
【００４３】
この３次元表示装置１０では、空間光変調器３により光線の強度および位相を変化させることができる。しかし、このとき回折によって生成されているすべての次数における同じ空間光変調器３の画素から伝搬した光線が同じ変調を受けている。そこで、空間フィルタ４の開口４Ａを任意に選択することにより、任意の回折次数を選択し、任意の画素を変調することによって、本装置が生成するすべての光線の強度・位相変調を行うことができる。このようにして本装置は高次回折による膨大な量の光線を生成できることと同時に、空間フィルタ４の利用によりすべての光線を任意に制御できることを特徴とする。以下、この開閉制御のタイミングについて説明する。
【００４４】
空間フィルタ４は、任意の回折次数の光線を選択するために、空間光変調器３の映像出力と同期して各開口４Ａの開閉制御を行う。この概念を、図１９（Ａ），図１９（Ｂ），図１９（Ｃ）、図２０および図２１を参照して説明する。図１９（Ａ）は空間光変調器３における映像出力のタイミングを示している。図１９（Ｂ）は、空間フィルタ４におけるある開口４Ａαの開閉タイミングを示し、図１９（Ｃ）は別の開口４Ａβの開閉タイミングを示している。
【００４５】
なお、本実施の形態では、空間フィルタ４における各開口４Ａの開閉制御が、図１の外部制御回路１４によって行われる。
【００４６】
図１９（Ａ）に示すように、空間光変調器３において例えば時間ｔ１〜ｔ２の間（期間Ｔ１）に映像Ａを表示し、時間ｔ３〜ｔ４の間（期間Ｔ２）間に映像Ｂが表示されているとする。このとき空間フィルタ４では、図１９（Ｂ），図１９（Ｃ）に示したように、期間Ｔ１では開口４Ａαを、期間Ｔ２では開口４Ａβを開く動作を行うとすると、空間光変調器３における同じ画素、異なる回折次数として生成される光線に異なる情報を付加することができる。
【００４７】
図２０は、この映像表示のタイミングと開口制御のタイミングを模式的に示したものである。期間Ｔ１では空間光変調器３において期間Ｔ１で映像Ａが表示され、次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ１では、ある１つの開口４Ａαのみを開く動作を行う。次に、期間Ｔ２では空間光変調器３において期間Ｔ２で映像Ｂが表示され、同様に次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ２では、開口４Ａαとは別のある１つの開口４Ａβのみを開く動作を行う。以下順次、空間光変調器３の映像表示タイミングに同期して空間フィルタ４の各開口４Ａを開閉制御する。
【００４８】
図２１は、このようなタイミングで映像表示と開閉制御とを行った場合に、この３次元表示装置１０の最終出力として得られる立体映像（共役像６）を模式的に示している。なお、正確には同時に図２１に示したような映像が得られるわけではないが、映像の切り替え期間は非常に短時間なので、人間の目には同時に表示されているように観察される。例えば、１フレームの表示期間内に、すべての次数分の映像表示切り替えが行われ、すべての開口４Ａの開閉制御が一通り行われる。また、図２１では平面的に図示しているが、実際に観察されるのは立体映像である。
【００４９】
以上説明したように、本実施の形態に係る３次元表示装置１０によれば、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を、空間フィルタ４により空間的かつ時間的にフィルタリングし、そのフィルタリングされたフーリエ変換像の共役像６を形成するようにしたので、装置全体を大型化することなく、空間的に高い密度で光線群を生成・散布することができる。また、光線群の構成要素である個々の光線を独立して時間的および空間的に制御することができる。これにより、実世界の物体と同質に近い光線による立体映像を得ることができる。
【００５０】
また、この３次元表示装置１０によれば、光線再生技術を利用しているので、焦点調節、輻輳および運動視差などの視覚機能を満足した映像を提供することができる。また、この３次元表示装置１０によれば、高次回折光を効率的に利用していることにより、従来の映像出力の手法と比較して、１つの映像出力デバイス（空間光変調器３）から、制御可能な光線を大量に得ることができる。またこの３次元表示装置１０によれば、空間的かつ時間的にフィルタリングを行うので、表示映像の空間分解能として、映像出力デバイスの時間的特性を空間的特性として得ることができる。また、拡散スクリーンを用いることなく立体映像を提供することができる。また、どのような方向からの観察に対しても適切な映像を提供することができる。また、空間的に高い密度で光線群を生成・散布することができるので、視認限界に近い精細な空間映像を提供することができる。
【００５１】
次に、図１に戻って、３次元表示装置１０以外の部分の構成および作用について詳しく説明する。この３次元画像表示システムにおいて、各再生用ＰＣ１５およびモニタ用ＰＣ２００は、周知のパーソナルコンピュータで構成しても良いし、いわゆるワークステーションで構成しても良い。
【００５２】
各再生用ＰＣ１５において、画像データ記憶部１１は、各再生用ＰＣ１５において再生すべき画像（３次元表示装置１０で表示させる視差画像）を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部１３は、各再生用ＰＣ１５間の同期制御を行うためのものである。画像信号発生部１２は、画像データ記憶部１１に記憶された画像データに基づいて、画像信号を生成して、その画像信号を空間光変調器３（３−１，３−２）に出力するものである。
【００５３】
画像信号発生部１２は、２つの空間光変調器３−１，３−２に信号を出力するため、２チャネルの出力インタフェース、例えば２チャネルのＤＶＩ（Digital Visual Interface）を有している。画像信号発生部１２は、具体的には、いわゆるビデオカード（ビデオアダプタ、ビデオボードあるいはグラフィックスカード）とも呼ばれ、コンピュータに装着して画面表示機能を追加する拡張カードで構成することができる。ここで、ビデオカードは、通常、画像描画のためのＬＳＩチップ、画面イメージを保持するためのメモリ（ＶＲＡＭ）、画像信号を出力するための端子等から構成されている。あるいはまた、コンピュータを構成するマザーボード上に搭載された画面表示機能を有するオンボード回路で構成しても良い。なお、画像信号発生部１２は、ゲンロック（Gen-lock, Generator lock）機能を備えている必要がある。ここで、ゲンロックとは、同期結合とも呼ばれ、独立した同期信号発生器を内蔵するシステム間で周波数、位相を合わせ、完全同期させることを意味し、あるいはまた、基準となる信号に対し、複数の画像機器間で画像信号の位相と周波数を同期させることを意味する。本実施の形態では、このゲンロック機能を同期制御部１３が有している。
【００５４】
モニタ用スクリーン２１５は、モニタ用の画像を表示するものであり、例えば液晶モニタで構成されている。モニタ用ＰＣ２００において、画像データ記憶部２１１は、モニタ用の画像を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部２１３は、同期制御用のクロック信号を出力するものであり、例えば０．０１Ｈｚの精度で６０Ｈｚのクロック信号を出力する。画像信号発生部２１２は、画像データ記憶部２１１に記憶された画像データに基づいて、所定の画像信号を生成して、その画像信号を出力するものである。画像信号発生部２１２は、各再生用ＰＣ１５の画像信号発生部１２と同様、ビデオカード等で構成されている。画像信号発生部２１２は、出力端子として例えばＤＶＩを有し、モニタ用の画像信号をＤＶＩから出力するようになっている。画像信号発生部２１２はまた、例えばＶＧＡインタフェースを有し、同期制御部２１３からのクロック信号に同期して、同期信号としてＶＧＡのＶ−Ｓｙｎｃ信号（垂直同期信号）をＶＧＡインタフェースから出力するようになっている。制御回路２１４は、画像信号発生部２１２からのＶ−Ｓｙｎｃ信号を増幅し、６つのＴＴＬレベルの同期信号に変換して、各再生用ＰＣ１５の同期制御部１３に出力するようになっている。各再生用ＰＣ１５は、そのＴＴＬレベルの同期信号に基づいて、同期制御される。結果的に、本システムでは、モニタ用ＰＣ２００の同期制御部２１３が生成したクロック信号によって、システム全体が同期制御される。
【００５５】
ここで、各再生用ＰＣ１５において画像信号発生部１２から出力される画像信号について説明する。上述したように、画像信号発生部１２は、一般にコンピュータで使用されているビデオカード等で構成される。以下、一例として、本実施の形態では、２４ビット（Ｒ，Ｇ，Ｂ、各８ビット）のカラー画像信号を同時に２つＤＶＩ出力できるようなビデオカードを使用するものとする。また、１つの出力につき１０２４×７６８画素、全体として２０４８×７６８画素の信号出力を行うものとする。これにより、第１の空間光変調器３−１には第１のＤＶＩ（ＤＶＩ１）から１０２４×７６８画素、２４ビットの画像信号が出力され、第２の空間光変調器３−２には第２のＤＶＩ（ＤＶＩ２）から１０２４×７６８画素、２４ビットの画像信号が出力される。全体として２０４８×７６８画素、２４ビットの画像信号が出力される。
【００５６】
図５（Ａ）は、垂直同期信号（Ｖ−Ｓｙｎｃ）のタイミングチャートを示している。図５（Ｂ）は、通常のカラー画像信号における階調ビットのタイミングチャートを示している。なお、図５（Ｂ）では、Ｒ信号の階調ビットを代表して示している。画像の表示状態が基本的にオン／オフ（発光（明）／非発光（暗））の２状態しか取り得ない、いわゆる２値制御型のディジタル画像表示装置（ＦＬＣ（Ferroelectric Liquid Cristal；強誘電性液晶）やＤＭＤ等）では、基本的に、ＣＲＴ（Cathode Ray Tube；陰極線管）に代表されるいわゆるアナログ型の表示装置のような連続的な階調表現を行うことができない。このため、ディジタル画像表示装置では、階調表現を多段階に行う方法として、例えば発光時間幅変調方式（ＰＷＭ（Pulse Width Modulation；パルス幅変調））が使用されている。この方式は、光源の輝度の大きさを一定に保ち、発光時間の幅を輝度に応じて変化させることにより、階調表現を行う方式である。このようなディジタル画像表示装置では、光学変調素子に、光源から輝度の一定の光が連続的に照射される。光学変調素子は、表示しようとする画像の輝度に応じて、画素ごとに光を明暗２つの状態に変調制御する。このとき、光学変調素子は、光の変調制御として、画像表示面に到達する光をパルス状にオン（発光）／（非発光）オフ制御する。そして、光学変調素子は、画素ごとにオン／オフの切り換えタイミングを変化させることにより、光のパルス幅を変化させ、階調表現を行う。このようにして変調された光が画像表示面に照射されることにより多段階の階調で画像が表示される。このようなディジタル画像表示装置における階調表現は、人間の視覚系の残光特性を利用したものである。すなわち、人間の視覚系は、ある一定期間中に網膜に入射した光を時間的に積分した値を、光の強度として認識する。このため、一定期間中に、発光期間の短い光のパルス幅を高速に変化させることにより、人間の目に輝度の階調があるように認識させることができる。
【００５７】
２５６階調の画像は、例えば、１フレーム内において輝度の異なる少なくとも８種類の画像を組み合わせることにより表現することが可能である。すなわち、２５６階調を表現する場合には、まず、輝度を画素ごとに例えば８つの階調ビットに量子化する。そして、例えば１フレームの画像データを、各階調ビットで重み付けされた８種類の画像データの組み合わせで表現する。このとき、階調ビットごとの画像データの集まりは、通常、「ビットプレーン」と称される。階調表現で使用されるビットプレーンは、階調ビットごとの輝度の情報面である。
【００５８】
図５（Ｂ）に示したＲ０〜Ｒ７は、各ビットプレーンの表示期間（照明時間）を示している。Ｒ０〜Ｒ７は、それぞれ表示期間が異なっており、それらを組み合わせることで８ビットの階調が実現できる。例えば、Ｒ７（１２８の値）のビットプレーンの照明時間はＲ６（６４の値）の２倍となる。
【００５９】
このような原理で、本実施の形態では、画像信号発生部１２と空間光変調器３とが、１フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有している。特に、画像信号発生部１２は、１フレーム内に複数色の階調ビットの情報が含められたカラー画像信号を出力する機能を有している。また、空間光変調器３は、画像信号発生部１２から出力されたカラー画像信号に基づいてカラー画像を再生する機能を有している。
【００６０】
さらに、本実施の形態では、画像信号発生部１２が、各色の階調ビットプレーンに視差画像の情報を割り当てる機能を有している。そして、空間光変調器３は、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられた場合に、その画像信号に基づいて、複数の視差画像を時間的に分割して順次再生する機能を有している。
【００６１】
図５（Ｃ）は画像信号発生部１２の第１の信号出力部（ＤＶＩ１）から出力される視差画像の信号波形を示し、図５（Ｄ）は第２の信号出力部（ＤＶＩ２）から出力される視差画像の信号波形を示している。本システムでは、視差画像としてバイナリ映像（１ビットの階調の画像、白黒２値のワイヤフレーム画像）を使用し、１つの視差画像を１つのビットプレーンに配置するようになっている。すなわち、通常、図５（Ｂ）のような階調ビットプレーンとして使用されているものを視差画像表示のためのビットプレーンとして使用する。例えば図５（Ｃ）に示したように、第１の空間光変調器３−１についてのＲ０〜Ｒ７の各ビットプレーンの表示期間を均等の時間に割り振り、Ｒ０〜Ｒ７の各ビットプレーンをそれぞれ１ビット階調の視差画像信号として使用する。第２の空間光変調器３−２についても同様にして、図５（Ｄ）に示したように、Ｒ０〜Ｒ７の各ビットプレーンをそれぞれ１ビット階調の視差画像信号として使用する。なお、図５（Ｃ），図５（Ｄ）には、Ｒチャネルしか描かないが、ＧチャネルとＢチャネルでも同様である。ここで、図５（Ｃ）では、各ビットプレーンを表示する間に、隙間がある。これは例えば第１の空間光変調器３−１としてＦＬＣ表示デバイスを使用した場合に、ＤＣバランスをとるための電極の反転状態であり、照明は行われない期間である。本実施の形態では、第１の空間光変調器３−１と第２の空間光変調器３−２の表示周期をずらすことで、この反転状態の期間を有効利用している。すなわち、第１の空間光変調器３−１の反転期間に、第２の空間光変調器３−２の表示期間が来るように表示周期を調整している。すなわち、１フレームの期間に、２つの空間光変調器３−１，３−２による同時表示を可能にしている。
【００６２】
各外部制御回路１４は、この画像信号発生部１２から出力される視差画像の信号に基づいて、各３次元表示装置１０の各空間フィルタ４における各開口４Ａの開閉制御を行うようになっている。これにより、各３次元表示装置１０では、空間光変調器３によって再生された各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行うことができる。
【００６３】
次に、この３次元画像表示システムによって、動画の立体表示を行う場合の具体例を説明する。
【００６４】
上述したように、各３次元表示装置１０において、空間フィルタ４は例えば、空間光変調器３の各画素によって生ずる複数の回折次数に対応する数、例えばＭ×Ｎ＝１２１個の開口４Ａを有している（図１０，図１１）。これにより、例えば１２１個のプロジェクタが並列配置されたものと等価な光学系を形成している。本実施の形態では、各３次元表示装置１０において、例えば１２０個のプロジェクタ（空間フィルタ４の１２０個分の開口４Ａ）を光線再生法による動画表示に使用する。すなわち、立体動画としての１フレームを１２０視差で構成する。
【００６５】
立体動画としての１フレームを１２０視差で構成する場合、空間光変調器３（３−１，３−２）で表示するフレーム構成は、例えば図６に示したようになる。図６に示したように、第１の空間光変調器３−１は、１フレーム（２次元画像の１フレーム）につき、１０２４×７６８画素の視差画像を時分割で順次表示する。時分割の方法は、図５（Ｃ）に示したとおりである。Ｒ，Ｇ，Ｂで各８ビット、合計２４ビットの各階調ビットを、１ビットの１０２４×７６８画素の各視差画像に割り当てて時分割表示する。すなわち、第１の空間光変調器３−１は、１フレームについて２４視差画像を時分割表示する。第２の空間光変調器３−２についても同様である。この場合、２つの空間光変調器３−１，３−２全体として２４×２＝４８視差画像を時分割表示することになる。すなわち、１つの再生用ＰＣ１５は、画像信号発生部１２の２つの信号出力部（ＤＶＩ１，ＤＶＩ２）から、ＤＶＩの１周期で４８視差画像を含む画像信号を出力する。この場合、図７に示したように、動画の１フレーム（１２０視差画像）を形成するためには、ＤＶＩの２．５周期分の画像信号を出力すれば良い。ＤＶＩの出力周期が６０Ｈｚ（第１のフレームレート）であるならば、２４Ｈｚ（第２のフレームレート）で立体動画の１フレーム（立体動画の１シーン）を再生することとなる（６０Ｈｚ／２．５＝２４ｆｐｓ）。さらに、図１に示した３次元画像表示システムでは、６つの再生用ＰＣ１５がネットワーク接続された分散処理システムを構成し、６つの３次元表示装置１０で立体動画を同期して表示するので、システム全体としては、１シーンについて１２０×６＝７２０視差の立体動画を２４Ｈｚで表示することができる。
【００６６】
以上のような表示をする場合、各再生用ＰＣ１５からの５フレーム分で立体動画の２シーンを再生することとなる（図７参照）。再生用ＰＣ１５および３次元表示装置１０を複数用いて立体動画を表示する場合、各３次元表示装置１０で動画フレームの同期を取る必要がある。この場合例えば、各再生用ＰＣ１５の画像信号発生部１２から５フレームに１回の割合でフレームの識別情報を出力し、各外部制御回路１４が、この識別情報に基づいて、各３次元表示装置１０の各空間フィルタ４における各開口４Ａの開閉制御の同期を取るようにすれば良い。
【００６７】
図８は、図６および図７に示したようなフレーム構造で多視差立体動画を表示させる場合において、３次元表示装置１０の空間フィルタ４における各開口４Ａに対する、各視差画像のビットプレーンの割り当ての一例を示している。図８において、Ｒ０〜Ｒ７は画像信号発生部１２の各信号出力部（ＤＶＩ１，ＤＶＩ２）から出力される８ビットのＲチャネルを示し、Ｇ０〜Ｇ７は８ビットのＧチャネルを示し、Ｂ０〜Ｂ７は８ビットのＢチャネルを示す。また、Ｓは第１の信号出力部（ＤＶＩ１）からのチャネル、Ｐは第２の信号出力部（ＤＶＩ２）からのチャネルであることを示す。例えばＳ−Ｒ０は、第１の信号出力部（ＤＶＩ１）からのＲ０ビットのチャネルによるビットプレーンであることを示す。図８において、左側が立体動画としての１フレーム目を示し、右側が立体動画としての２フレーム目を示す。図７を用いて説明したように画像信号発生部１２からの２．５フレームが立体動画としての１フレームに対応する。画像信号発生部１２からの２．５フレーム分のビットプレーンが立体動画としての１フレーム目に割り振られ、次の２．５フレーム分のビットプレーンが立体動画としての２フレーム目に割り振られる。
【００６８】
ここで、図８において最も左上の開口に割り振られたＳ−Ｒ０のビットプレーンは、画像信号発生部１２からの５フレームに１回の割合で割り当てられる。例えば、このＳ−Ｒ０のビットプレーンを識別する識別情報を画像信号発生部１２から出力するようにし、それを動画フレームの頭出し信号として用いるようにすれば、各３次元表示装置１０において立体動画表示する場合の動画フレームの同期制御をすることができる。なお、この同期制御は各外部制御回路１４が、各空間フィルタ４における各開口４Ａの開閉制御の同期を取ることで行われる。
【００６９】
図９（Ａ）〜図９（Ｄ）を参照して、動画フレームの同期を取るための制御の具体例を説明する。図９（Ａ）は、再生用ＰＣ１５からの出力に基づくフレーム画像を簡略化して示している。また、図９（Ｂ）は、再生用ＰＣ１５から出力されるフレーム画像における垂直同期信号（Ｖ−Ｓｙｎｃ信号）のパルス波形を示している。なお、本実施の形態では、再生用ＰＣ１５から１フレーム内に複数の視差画像が含まれた画像信号を出力するので、実際の画像はもっと複雑に見えている。Ｆ１〜Ｆ５は、立体動画の２フレームを形成するために再生用ＰＣ１５から出力される１セット（５フレーム）の画像フレームを示している。図９（Ａ）に示したように、再生用ＰＣ１５から出力される１セットのフレーム画像Ｆ１〜Ｆ５のうち、５番目のフレーム画像Ｆ５の例えば最も左上部分、１ピクセルの画素４００に制御情報として、フレームを識別するための情報をあらかじめ埋め込んでおく。
【００７０】
図９（Ｃ）は、各再生用ＰＣ１５で再生される画像に含まれる同期パルス（識別信号）ＲＳの信号波形を示している。また、図９（Ｄ）は、３次元表示装置１０において動画フレームの頭出しを行うための頭出し信号ＦＳの信号波形を示している。外部制御回路１４は、各再生用ＰＣ１５で再生される画像に含まれる識別信号ＲＳを検出すると共に、検出した識別信号ＲＳに基づいて、３次元表示装置１０において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号ＦＳを生成する。なお、図９（Ｄ）において、頭出し信号ＦＳ１は、識別信号ＲＳに基づいて生成された信号であり、他の頭出し信号ＦＳ２は、外部制御回路１４自身の内部クロックにより生成した信号である。
【００７１】
３次元表示装置１０は、外部制御回路１４が生成した頭出し信号ＦＳに基づいて動画フレームの頭出しを行う。これにより、各再生用ＰＣ１５でのフレームレート（第１のフレームレート）とは異なる第２のフレームレートで多視差立体動画表示を行うことができる。１セットのフレーム画像Ｆ１〜Ｆ５のうち５番目のフレーム画像Ｆ５に同期パルスＲＳが含められていることで、次のフレームがセットの１番目のフレーム画像であることを知ることができる。３次元表示装置１０において、頭出し信号ＦＳ１によって再生されるフレーム画像は、１セットのフレーム画像Ｆ１〜Ｆ５のうち１番目のフレーム画像Ｆ１である。従来の再生装置では、同期制御のための信号は、Ｖ−Ｓｙｎｃ、Ｈ−Ｓｙｎｃ（水平同期信号）などの信号しかなく、立体動画の頭だしフレームと他のフレームとを区別できないが、本実施の形態では、以上のような制御により、頭だしフレームと他のフレームとを容易に区別できる。
【００７２】
なお、１ピクセルではなく、複数ピクセルに制御情報を含めるようにしても良い。また、ライン状に制御情報を含めるようにしても良い。例えば画像の１ライン目に制御情報を含めるようにしても良い。２以上のピクセルに制御情報を含めることで、同期制御に限らず、より複雑な制御情報を入れることも可能となる。この場合、２以上のピクセルに、例えば２進数の数字を入れることが考えられる。具体的には、例えば制御情報に基づいて、空間光変調器３でのガンマ値を変える制御を行うことが考えられる。また、本実施の形態では、バイナリ画像を再生しているので、輝度は白黒の２値しかないが、その白であるか黒であるかの判別を行うためのの閾値を制御情報に含めるようにしても良い。
【００７３】
次に、以上のような各再生用ＰＣ１５で再生する視差画像の生成方法を説明する。図４は、視差画像を生成するオーサリングシステムの一例を模式的に示している。視差画像は、３ＤＣＧ（3 Dimensional Computer Graphics)技術により生成することができる。多視差の視差画像は、３ＤＣＧのレンダリング技術によるレンダリング処理を行うことで生成することができる。３ＤＣＧのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を視差画像として生成する。
【００７４】
図１の３次元表示システムで表示する視差画像を生成するためには、多数のレンダリング処理を行う必要がある（各３次元表示装置１０の動画の１シーンに対して１２０回のレンダリング）。レンダリングの速度はシーンの複雑さに依存し、リアルタイムでのレンダリング処理では処理速度が足りないので、再生する動画を事前にオーサリングツールで生成する。図４はこのオーサリングツールを模式的に示している。
【００７５】
オーサリングツールはバッチ処理プログラムであり、設定ファイル２２０の指示に従い、すべての再生フレームを生成する。設定ファイル２２０には、各３Ｄシーンのパラメータ、光学システムの寸法と配置、出力画面のサイズ、フレームファイルの保存場所などが定義される。
【００７６】
このオーサリングツールにおいて、まず、３Ｄシーンを作成する。ここでは、「３ＤＳ Ｌｏａｄｅｒ」モジュール２０３によって汎用の３ＤＳ形式のファイル２０１から３Ｄのオブジェクトをロードする。そして、「ＳｃｅｎｅＬａｂ」モジュール２０２によって、各シーンにつき移動、回転、伸縮変換パラメータよる３Ｄのシーンリスト２０４を作成する（図４のブロック２００の部分）。
【００７７】
次に、光学システムの寸法、投射レンズの視野角度、投射プロジェクタ間の距離などの設定情報による３Ｄシーンに光学システムの情報を追加する。各ユニットの投射プロジェクタをカメラ３００（仮想カメラ）として扱い、プロジェクタ配列をカメラ配列とする。なお、ここでいう各ユニットとは、図１の３次元表示装置１０−１〜１０−６に対応する。
【００７８】
次に、各３Ｄシーンに対して、すべてのカメラ３００が順番でそのシーンをワイヤフレームでレンダリングする（図４においてカメラ３００からシーンリスト２０４に挿す矢印）。レンダリングした結果は２４ビットの視差画像であり、その視差画像をビットプレーンに配置するため、レンダリングした映像を２値化し、２値化した視差画像を順番で２つの出力分のビットプレーン（２つのＤＶＩ出力分のフルカラーのフレームバッファ）に配置する（図４のブロック２１０）。４８視差を配置したあと、フルカラーのフレームバッファを１フレームファイルとして保存する。次の４８視差をレンダリングする場合には、バッファをクリアして同様の処理を行う。
【００７９】
以上の処理を繰り返し、すべての光学ユニット（３次元表示装置１０−１〜１０−６）用の動画を集中的に作成して、分散システムの各再生用ＰＣ１５に配置する（各再生用ＰＣ１５の画像データ記憶部１１に記憶する）。各再生用ＰＣ１５に配置した動画フレームに同一の番号リストを付けることで、動画再生時にフレームの番号を照合してからフレームの同期をとることができる。
【００８０】
以上説明したように、本実施の形態に係る３次元画像表示システムによれば、各再生用ＰＣ１５において複数の視差画像を、１フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各３次元表示装置１０において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。この３次元画像表示システムによれば、１フレーム内に複数の視差画像の情報が含められた画像信号を出力し、その出力された画像信号に基づいて、複数の視差画像を、１フレーム内で時間的に分割して順次再生するようにしたので、大量の視差画像を高速で再生することができる。その大量、かつ高速に再生された視差画像に基づいて多視差立体表示を行うことで、光線再生法を用いた立体映像を良好に動画再生することができる。
【００８１】
また、この３次元画像表示システムによれば、立体動画を形成する視差画像を複数の再生用ＰＣ１５に分散配置し、各再生用ＰＣ１５が各視差画像をローカルで管理するようにしたので、再生時に各再生用ＰＣ１５間の通信の負担が軽減される。このため、各再生用ＰＣ１５の数には制限がなく、拡張性が高い。
【００８２】
なお、以上の説明では、オーサリングツールによるバッチ処理であらかじめ立体動画用の視差画像を生成するようにしたが、各再生用ＰＣ１５の台数が増えて、レンダリング処理をさらに分散すれば、リアルタイムでのレンダリングも可能である。また、リアルタイムでのレンダリングができれば、インタラクティブでの立体動画表示も可能である。また、以上の説明では、立体動画用の視差画像を３Ｄオブジェクトの処理によるＣＧ動画として生成するようにしたが、仮想カメラではなく、実際のカメラを配置して視差画像を生成するようにすれば、ＣＧではなく現実世界の立体動画も生成できる。
【００８３】
さらに、本実施の形態に係る３次元画像表示システムによれば、視差画像自体に制御情報としてフレームを識別する信号を含め、その視差画像に含められた識別信号に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。立体映像の視差数が増える場合、処理するデータの量も増え、再生ユニット（再生用ＰＣ１５および３次元表示装置１０）を追加する必要がある。再生用ＰＣ１５同士の通信が多くなると、再生用ＰＣ１５間の同期の精度に影響が出る。本実施の形態に係る３次元画像表示システムによれば、各再生ユニット内で３次元表示装置１０が再生する立体動画が適切に同期制御されているので、再生用ＰＣ１５同士の同期精度が低くなったとしても、立体動画は破綻せず、適切に表示することができる。
＜第１の実施の形態の変形例＞
【００８４】
次に、本実施の形態に係る立体像表示装置の変形例を説明する。なお、上記第１の実施の形態に係る立体像表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００８５】
図２２は、その変形例を示している。図２（Ａ），図２（Ｂ）では空間光変調器３として、透過型のものを用いた光学系の構成例を示したが、空間光変調器３として反射型のものを用いても良い。反射型の空間光変調器３Ａとしては、例えば反射型の液晶表示装置や、ＤＭＤ（Digital MicromirrorDevice）を用いた表示装置などがある。
【００８６】
この第１の変形例に係る３次元表示装置は、光軸上にビームスプリッタ７を備えている。ビームスプリッタ７は、偏光成分の違いにより光を透過または反射させる機能を有している。ビームスプリッタ７は、照明光７０を反射型の空間光変調器３Ａに向けて反射する。また、空間光変調器３Ａからの反射光を透過する。なお、光源１および照明光学系２は、図２（Ａ），図２（Ｂ）の構成と同様のものを用いることができる。それ以外の構成も、図２（Ａ），図２（Ｂ）の構成と同様であり、光学系の条件も同様である。
［第２の実施の形態］
【００８７】
次に、本発明の第２の実施の形態に係る３次元画像表示システムについて説明する。上記第１の実施の形態では、空間光変調器３として２次元空間光変調器を使用した場合の構成について説明したが、本実施の形態は、空間光変調器３に代えて、１次元映像を生成する１次元空間光変調器を用いた３次元表示装置に関するものである。
【００８８】
図２３は、その３次元表示装置の一構成例を示している。この３次元表示装置は、１次元空間光変調器としてのＧＬＶ（Grating Light Valve）４１と、ＧＬＶ４１により生成された１次元映像を２次元空間に展開して２次元映像を生成する走査光学系と、２次元映像の生成面に配置され、２次元映像の画素ごとに高次回折光を生じさせる格子フィルタ４５と、１次元方向に生じている回折光を２次元方向に拡散させる異方性拡散フィルタ４６とを備えている。走査光学系は、ＧＬＶ４１側から順に、走査用の第１のレンズ系４２と、ガルバノミラーやポリゴンミラーなどからなる偏光器４３と、走査用の第２のレンズ系４４とを有している。ＧＬＶ４１による１次元映像の生成方向は横方向であり、走査光学系による走査方向は、格子フィルタ４５上において図示したように縦方向Ｙ１となる。ただし、ＧＬＶ４１による１次元映像の生成方向を縦方向、走査光学系による走査方向を横方向にしても良い。
【００８９】
この３次元表示装置はさらに、格子フィルタ４５に形成された２次元映像における空間周波数に対するフーリエ変換像を形成する第１のレンズＬ１１と、フーリエ変換像を空間的かつ時間的にフィルタリングする空間フィルタ１４と、格子フィルタ４５に形成された２次元映像の実像（逆フーリエ変換像）１５を形成する第２のレンズＬ１２と、空間フィルタ１４によりフィルタリングされたフーリエ変換像の共役像を形成する第３のレンズＬ１３とを備えている。第１のレンズＬ１１、空間フィルタ１４、第２のレンズＬ１２、および第３のレンズＬ１３の構成および作用は、図２（Ａ），図２（Ｂ）における第１のレンズＬ１、空間フィルタ４、第２のレンズＬ２、および第３のレンズＬ３と同様である。なお、図２３においてｆ４〜ｆ８は、その部分のレンズ成分の焦点距離を示す。
【００９０】
ＧＬＶ４１は、同一ライン上に配列された複数のリボン状ミラー（以下、単にリボンという）からなり、電圧印加によりリボンの位置変位により回折格子化し、得られる回折光の振幅変調を行うことにより任意の１次元光信号を得ることができるものである。ＧＬＶ４１は、±１次の回折光を信号光として出射するようになっている。ＧＬＶ４１は、一次元の光回折器として機能する。
【００９１】
本発明による３次元表示装置を実施する場合において、空間光変調器として１次元のものを用いる場合、２次元空間光変調器を用いる場合との違いは、第１に、同時に取り出すことのできる映像が１次元であることから、２次元映像を生成するために１次元映像を２次元映像に空間的に展開するための光学系が必要である点である。第１のレンズ系４２、偏光器４３および第２のレンズ系４４からなる走査光学系は、この役割を担っている。第２の相違点として、１次元空間光変調器を用いる場合、同時に取得できる映像が１次元であることから回折も１次元空間において起こる。このことから、得られる１次元空間に対して鉛直方向に拡散させることを目的とした光学系が必要となる。異方性拡散フィルタ４６は、この役割を担っている。第３の相違点として、ＧＬＶ４１は±１次回折光を信号光とすることから、さらに高次の回折光を用いるためには、信号光から生成される画像に対して、振幅型もしくは位相型のフィルタを２次元展開された面に配置することで新たに回折光を生成することが必要となる点である。格子フィルタ４５は、この役割を担っている。第４の相違点として、ＧＬＶ４１が同時に出力する光信号が１次元であることから、空間フィルタにおける開口の並べ方は１次元，２次元のいずれであっても良い。
【００９２】
この３次元表示装置では、ＧＬＶ４１により生成された±１次回折光からなる１次元映像が、走査光学系により２次元的に展開され、その展開された２次元映像が格子フィルタ４５上に得られる。格子フィルタ４５では、その２次元映像の各画素ごとに高次の回折光を生成する。その後の空間フィルタ１４でのフィルタリング動作は、上記第１の実施の形態と同様である。
【００９３】
なお、３次元画像表示システムとしての全体構成は、上記第１の実施の形態（図１）と同様である。
［第３の実施の形態］
【００９４】
次に、本発明の第３の実施の形態に係る３次元画像表示システムについて説明する。上記第１の実施の形態では、視差画像がバイナリ映像である場合について説明したが、本発明は、視差画像が２ビット以上の階調（グレースケール）を有する場合にも適用可能である。この場合、各再生用ＰＣ１５の画像信号発生部１２において、１フレームを複数のビットプレーン群に分割すると共に、各ビットプレーン群が２以上のビットプレーンで構成された画像信号を出力するようにすればよい。そして、各ビットプレーン群内に、少なくとも１つの視差画像の情報を割り当て、各ビットプレーン群内で階調表現を行うようにすれば良い。各ビットプレーン群の表示期間は互いに等しく設定する。なお、上記第１の実施の形態では、１つのビットプレーン群に１つのビットプレーンが割り当てられ、かつ１つのビットプレーンに１つの視差画像の情報が割り当てられていたと考えることができる。
【００９５】
図２４（Ｃ）は、各視差画像につき、２ビットで４階調のグレースケールを実現する場合のビットプレーンの配置を示している。この場合、１フレームが４つのビットプレーン群で構成されると共に、各ビットプレーン群が表示期間の異なる２つのビットプレーンを有している。例えば、表示期間の異なるＲ０とＲ１とからなる２つのビットプレーンで１つのビットプレーン群が構成されている。なお、図２４（Ａ）は、照明光を照射する期間のパルス波形を示し、図２４（Ｂ）は１視差画像を１ビットの階調（２階調）で表示する場合のビットプレーンの配置の例を示している。なお、図２４（Ｂ），図２４（Ｃ）では、画像信号発生部１２の第１の信号出力部（ＤＶＩ１）から出力される信号についての波形を示しているが、第２の信号出力部（ＤＶＩ２）についても同様である。また、図２４（Ｂ），図２４（Ｃ）には、Ｒチャネルしか描かないが、ＧチャネルとＢチャネルでも同様である。図２４（Ｃ）のような配置とすることで、１つのＤＶＩのＲチャネルにき、１フレーム内に４階調のグレースケールで表現された４つの視差画像の情報が含まれて出力される。Ｒ，Ｇ，Ｂ、２４ビットのカラー画像にビットプレーンを割り振るとすれば、１つのＤＶＩにき、１フレーム内に４×３＝１２個の視差画像の情報が含まれて出力される。画像信号発生部１２全体（２つのＤＶＩ）としては、２４の視差画像の情報が含まれて出力される。
【００９６】
このような諧調付きの視差画像を使用することにより，より臨場感のある立体動画を再生することができる。
［第４の実施の形態］
【００９７】
上記各実施の形態では、視差画像が単一色である場合について説明したが、本発明は、視差画像を複数色で表示する場合（カラー表示）にも適用可能である。
【００９８】
すなわち、上記各実施の形態では、Ｒチャネル、Ｇチャネル、およびＢチャネルのビットプレーンをすべて別々の視差画像に割り振るようにしたが、通常のカラー画像と同様にＲチャネル、Ｇチャネル、およびＢチャネルのビットプレーンをカラー画像としてのビットプレーンとして使用するようにすれば良い。
【００９９】
なお、カラー表示を行う場合、各３次元表示装置１０において、複数色の照明光を発生する必要がある。図２５は、カラー表示用の照明光学系の第１の構成例を示している。光源１の波長帯域は広帯域に及ぶものとする。図２５の構成例は、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関するものである。これにより、カラー画像表示を行う場合における照明光を生成することができる。この構成例の場合、各３次元表示装置１０において、照明光学系２における最終レンズＬ１０の出射側に、ダイクロイックプリズム９と、１つの狭帯域フィルタ８Ｇとを配置する。ダイクロイックプリズム９は、例えば赤色光Ｒ、青色光Ｂを別々の方向に反射すると共に、緑色光Ｇを含む光線を透過する。ダイクロイックプリズム９における緑色光Ｇを含む光線の出射側に、緑色光Ｇを分別・選択する狭帯域フィルタ８Ｇが配置されている。
【０１００】
図２６は、カラー表示用の照明光学系の第２の構成例を示している。この構成例も、図２５の構成例と同様、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関する。この構成例の場合、各３次元表示装置１０において、照明光学系２における最終レンズＬ１０の出射側に、ダイクロイックプリズム９Ａと、２つの狭帯域フィルタ８Ｒ，８Ｂを備えている。ダイクロイックプリズム９Ａは、例えば赤色光Ｒ、および青色光Ｂを含む光線を別々の方向に反射すると共に、緑色光Ｇを透過する。ダイクロイックプリズム９Ａにおける赤色光Ｒを含む光線の出射側に、赤色光Ｒを分別・選択する狭帯域フィルタ８Ｒが配置されている。また、ダイクロイックプリズム９Ａにおける青色光Ｂを含む光線の出射側に、青色光Ｂを分別・選択する狭帯域フィルタ８Ｂが配置されている。
【０１０１】
なお、図２５および図２６の照明光学系を用いてカラー画像表示を行う場合には、さらに、折り曲げ光学系、および合成光学系を備え、カラー画像の構成要素たる波長帯域からなる複数の照明光に対する複数の空間光変調器３に各色光を照明する。また、空間光変調器３と空間フィルタ４とを各色光ごとに空間的かつ時間的に制御する。
【０１０２】
なお、カラー画像表示を行う場合における照明光の生成方法は、図２５および図２６に示したものに限定されない。例えばダイクロイックプリズムと狭帯域フィルタとの波長選択特性によって、他の構成（狭帯域フィルタを配置する位置を変える等）もあり得る。
［第５の実施の形態］
【０１０３】
次に、本発明の第５の実施の形態について説明する。なお、上記第１の実施の形態に係る３次元画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。上記第１の実施の形態では、各再生用ＰＣ１５で再生される画像に制御情報（フレームの識別信号）を含め、その制御情報に基づいて、各３次元表示装置１０に設けられた外部制御回路１４が立体動画再生のための同期制御を行うようにしたが、この制御をモニタ用ＰＣ２００側の制御回路２１４で行うようにしても良い。
【０１０４】
図２７は、本実施の形態に係る３次元画像表示システムの一構成例を示している。本実施の形態では、図１の外部制御回路１４に変えてモニタ用ＰＣ２００側の制御回路２１４が、立体動画再生のための同期制御を行う機能を有している。それ以外の部分の構成は、基本的に上記第１の実施の形態と同様である。
【０１０５】
図２８（Ａ）〜図２８（Ｅ）を参照して、本実施の形態において、動画フレームの同期を取るための制御の具体例を説明する。図２８（Ａ）は、モニタ用ＰＣ２００から同期制御のために出力される制御用のフレーム画像の一例を示している。これは、図９（Ａ）に示した再生用ＰＣ１５からの出力に基づくフレーム画像Ｆ１〜Ｆ５に対応したフレーム画像である。ただし、モニタ用ＰＣ２００では実際の視差画像を再生する必要はなく、再生用ＰＣ１５でのフレームレート（第１のフレームレート）と同期が取れていれば任意の画像でよい。図２８（Ａ）の例では、５フレームに一回の割合で黒い画面に１本の白い横線のある画像を再生している。１本の白い横線を、図９（Ａ）における１ピクセルの画素４００と同様、制御情報（フレームの識別情報）として使用する。図９（Ａ）の場合と同様、１セットのフレーム画像Ｆ１〜Ｆ５のうち、５番目のフレーム画像Ｆ５に識別情報（１本の白い横線）を埋め込む。そのほかの４フレームＦ１〜Ｆ４は例えば単なる黒い画面にしておく。
【０１０６】
図２８（Ｂ）は、モニタ用ＰＣ２００から出力されるフレーム画像における垂直同期信号（Ｖ−Ｓｙｎｃ信号）のパルス波形を示している。図２８（Ｃ）は、モニタ用ＰＣ２００で再生される画像に含まれる同期パルス（識別信号）ＲＳの信号波形を示している。
図２８（Ｄ）は、制御回路２１４において識別信号ＲＳを検出するための信号波形を示している。また、図２８（Ｅ）は、３次元表示装置１０において動画フレームの頭出しを行うための頭出し信号ＦＳの信号波形を示している。制御回路２１４は、モニタ用ＰＣ２００で再生される画像に含まれる識別信号ＲＳを検出すると共に、検出した識別信号ＲＳに基づいて、各３次元表示装置１０において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号ＦＳを生成する。なお、図９（Ｅ）において、頭出し信号ＦＳ１は、識別信号ＲＳに基づいて生成された信号であり、他の頭出し信号ＦＳ２は、制御回路２１４自身の内部クロックにより生成した信号である。
【０１０７】
３次元表示装置１０は、制御回路２１４が生成した頭出し信号ＦＳに基づいて動画フレームの頭出しを行う。これにより、各再生用ＰＣ１５でのフレームレート（第１のフレームレート）とは異なる第２のフレームレートで多視差立体動画表示を行うことができる。同期制御の原理は、基本的に上記第１の実施の形態と同様である。
［その他の実施の形態］
【０１０８】
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、各再生用ＰＣ１５の画像信号発生部１２において、１つのビットプレーンに空間的に２以上の視差画像の情報が割り当てられた信号を出力するようにしても良い。そして、空間光変調器３が、複数の視差画像を、時間的、かつ空間的に分割して順次再生するよようにしても良い。
【０１０９】
また、上記各実施の形態の説明では、５フレームに１回の割合で制御情報を付加するようにしたが、制御情報を付加する割合は、この割合に限らず、制御の内容や立体動画のフレームレート等に応じて適宜変更可能である。すなわち、制御情報は１または任意の複数のフレームごとに付加することが可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の第１の実施の形態に係る３次元表示システムの全体構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る３次元表示装置の全体構成を示す図であり、（Ａ）はｙｚ断面内での構成図、（Ｂ）はｘｚ断面内での構成図である。
【図３】本発明の第１の実施の形態に係る３次元表示装置を複数組み合わせたシステム構成例を示す構成図である。
【図４】視差画像を生成するシステムの一例を示すブロック図である。
【図５】画像信号の構成例を示すタイミングチャート図であり、（Ａ）は垂直同期信号のパルス波形を示し、（Ｂ）は通常の８ビットの階調を実現する場合の信号波形を示し、（Ｃ）は第１の信号出力部から出力される視差画像の信号波形を示し、（Ｄ）は第２の信号出力部から出力される視差画像の信号波形を示す。
【図６】フレームとビットプレーンとの対応関係を示す説明図である。
【図７】視差画像と立体動画のフレームとの対応関係を示す説明図である。
【図８】空間フィルタにおける視差画像の配置例を示す説明図である。
【図９】動画フレームの同期を取るための制御を示す説明図であり、（Ａ）は各再生用ＰＣで再生される画像を模式的に示し、（Ｂ）は各再生用ＰＣから出力される画像信号における垂直同期信号のパルス波形を示し、（Ｃ）は各再生用ＰＣで再生される画像に含まれる同期パルス（識別信号）の信号波形を示し、（Ｄ）は３次元表示装置において動画フレームの頭出しを行うための頭出し信号の信号波形を示す。
【図１０】空間フィルタの一構成例を示す図である。
【図１１】空間フィルタの開口と回折光の次数との対応関係の一例を示す説明図である。
【図１２】空間光変調器の作用を説明するための図である。
【図１３】第１のレンズＬ１による作用を示す説明図である。
【図１４】空間光変調器において最も空間周波数が低い映像を表示した状態を模式的に示す説明図である。
【図１５】最も低い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。
【図１６】空間光変調器において最も空間周波数が高い映像を表示した状態を模式的に示す説明図である。
【図１７】最も高い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。
【図１８】空間フィルタ上における回折光の分布を説明するための図であり、（Ａ）はｘｙ平面上での分布を示し、（Ｂ）はｘ軸上での分布強度を示す。
【図１９】空間光変調器における映像表示タイミングと空間フィルタの開口の開閉タイミングとを示す図であり、（Ａ）は空間光変調器における映像表示タイミングを示し、（Ｂ）は空間フィルタにおける開口αの開閉タイミングを示し、（Ｃ）は空間フィルタにおける開口βの開閉タイミングを示す。
【図２０】空間フィルタによる空間フィルタリングの概念を模式的に時系列で示した説明図である。
【図２１】空間フィルタリングの結果得られる映像の一例を模式的に示す説明図である。
【図２２】反射型の空間光変調器を用いた３次元表示装置の一構成例を示す図である。
【図２３】１次元空間光変調器を用いた３次元表示装置の一構成例を示す図である。
【図２４】グレースケール表示を行う場合の画像信号の構成例を示すタイミングチャート図であり、（Ａ）は照明光を照射する期間のパルス波形を示し、（Ｂ）は１視差画像を１ビットの階調（２階調）で表示する場合の信号波形を示し、（Ｃ）は１視差画像を２ビットの階調（４階調）で表示する場合の信号波形を示す。
【図２５】カラー表示用の照明光学系の一構成例を示す図である。
【図２６】カラー表示用の照明光学系の他の構成例を示す図である。
【図２７】本発明の第５の実施の形態に係る３次元表示システムの全体構成を示すブロック図である。
【図２８】動画フレームの同期を取るための制御を示す説明図であり、（Ａ）はモニタ用ＰＣで再生される制御用の画像を模式的に示し、（Ｂ）はモニタ用ＰＣから出力される画像信号における垂直同期信号のパルス波形を示し、（Ｃ）はモニタ用ＰＣで再生される画像に含まれる同期パルス（識別信号）の信号波形を示し、（Ｄ）は識別信号を検出するための信号の信号波形を示し、（Ｅ）は３次元表示装置において動画フレームの頭出しを行うための頭出し信号の信号波形を示す。
【図２９】従来の３次元表示装置の一構成例を示す図である。
【符号の説明】
【０１１１】
Ｌ１…第１のレンズ、Ｌ２…第２のレンズ、Ｌ３…第３のレンズ、１…光源、２…照明光学系、３（３−１，３−２）…空間光変調器（ＳＬＭ）、４…空間フィルタ、１０（１０−１，１０−２，１０−３，１０−４，１０−５，１０−６）…３次元表示装置、１１…画像データ記憶部、１２…画像信号発生部、１３…同期制御部、１４（１４−１，１４−２，１４−３，１４−４，１４−５，１４−６）…外部制御回路、１５（１５−１，１５−２，１５−３，１５−４，１５−５，１５−６）…再生用ＰＣ、２００…モニタ用ＰＣ、２０１…ＬＡＮ、２１４…制御回路、２１５…モニタ用スクリーン。
【特許請求の範囲】
【請求項１】
１フレーム内に複数の視差画像が含められた２次元画像を第１のフレームレートで再生する多視差画像再生装置と、
所定数の視差画像からなる多視差画像を立体動画の１フレームとし、前記多視差画像再生装置によって再生された複数の視差画像に基づいて第２のフレームレートで多視差立体動画表示を行う３次元表示装置と
を備え、
前記多視差画像再生装置は、１または複数のフレームごとに、前記視差画像に制御情報を含めた画像を再生し、
前記３次元表示装置は、前記視差画像に含められた制御情報に応じた制御を行って前記多視差立体動画表示を行う
ことを特徴とする３次元画像表示システム。
【請求項２】
前記多視差画像再生装置によって再生された画像から前記制御情報を検出し、前記制御情報に基づいて前記３次元表示装置を制御する外部制御回路をさらに備えた
ことを特徴とする請求項１に記載の３次元画像表示システム。
【請求項３】
前記多視差画像再生装置は、所定数の複数のフレームごとに、前記制御情報としてフレームを識別する識別信号を含めた画像を再生し、
前記外部制御回路は、前記識別信号に基づいて前記３次元表示装置において前記多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、
前記３次元表示装置は、前記頭出し信号に基づいて動画フレームの頭出しを行うことで、前記第１のフレームレートとは異なる第２のフレームレートで前記多視差立体動画表示を行う
ことを特徴とする請求項２に記載の３次元画像表示システム。
【請求項４】
前記３次元表示装置は、
所定数の視差画像をそれぞれ空間中の異なる位置に投射する複数のプロジェクタ、または複数のプロジェクタと等価な投射手段を有し、
前記外部制御回路は、前記制御情報に基づいて、前記複数のプロジェクタ、または前記投射手段による投射タイミングの制御を行う
ことを特徴とする請求項２に記載の３次元画像表示システム。
【請求項５】
前記多視差画像再生装置は、
１フレームが複数のビットプレーン群に分割されると共に、前記各ビットプレーン群が１または２以上のビットプレーンで構成され、前記各ビットプレーン群に少なくとも１つの視差画像の情報が割り当てられることにより、１フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、
前記信号発生部から出力された前記画像信号に基づいて、複数の視差画像を１フレーム内で時間的に分割して順次再生する画像形成部とを有し、
前記３次元表示装置は、
前記画像形成部によって再生された前記各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う
ことを特徴とする請求項１に記載の３次元画像表示システム。
【請求項１】
１フレーム内に複数の視差画像が含められた２次元画像を第１のフレームレートで再生する多視差画像再生装置と、
所定数の視差画像からなる多視差画像を立体動画の１フレームとし、前記多視差画像再生装置によって再生された複数の視差画像に基づいて第２のフレームレートで多視差立体動画表示を行う３次元表示装置と
を備え、
前記多視差画像再生装置は、１または複数のフレームごとに、前記視差画像に制御情報を含めた画像を再生し、
前記３次元表示装置は、前記視差画像に含められた制御情報に応じた制御を行って前記多視差立体動画表示を行う
ことを特徴とする３次元画像表示システム。
【請求項２】
前記多視差画像再生装置によって再生された画像から前記制御情報を検出し、前記制御情報に基づいて前記３次元表示装置を制御する外部制御回路をさらに備えた
ことを特徴とする請求項１に記載の３次元画像表示システム。
【請求項３】
前記多視差画像再生装置は、所定数の複数のフレームごとに、前記制御情報としてフレームを識別する識別信号を含めた画像を再生し、
前記外部制御回路は、前記識別信号に基づいて前記３次元表示装置において前記多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、
前記３次元表示装置は、前記頭出し信号に基づいて動画フレームの頭出しを行うことで、前記第１のフレームレートとは異なる第２のフレームレートで前記多視差立体動画表示を行う
ことを特徴とする請求項２に記載の３次元画像表示システム。
【請求項４】
前記３次元表示装置は、
所定数の視差画像をそれぞれ空間中の異なる位置に投射する複数のプロジェクタ、または複数のプロジェクタと等価な投射手段を有し、
前記外部制御回路は、前記制御情報に基づいて、前記複数のプロジェクタ、または前記投射手段による投射タイミングの制御を行う
ことを特徴とする請求項２に記載の３次元画像表示システム。
【請求項５】
前記多視差画像再生装置は、
１フレームが複数のビットプレーン群に分割されると共に、前記各ビットプレーン群が１または２以上のビットプレーンで構成され、前記各ビットプレーン群に少なくとも１つの視差画像の情報が割り当てられることにより、１フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、
前記信号発生部から出力された前記画像信号に基づいて、複数の視差画像を１フレーム内で時間的に分割して順次再生する画像形成部とを有し、
前記３次元表示装置は、
前記画像形成部によって再生された前記各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う
ことを特徴とする請求項１に記載の３次元画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２００８−１９１４７２（Ｐ２００８−１９１４７２Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−２６７６０（Ｐ２００７−２６７６０）
【出願日】平成１９年２月６日（２００７．２．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年２月６日（２００７．２．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]