説明

ホログラム生成装置およびホログラム生成方法

【課題】立体ディスプレイの視覚特性を満たし、被写体空間の立体構造を求める前処理を必要とせず、従来の点充填法に比べて高速にホログラムデータを生成することが可能なホログラム生成装置を提供する。
【解決手段】ホログラム生成装置1は、画像情報に位相を付加する位相付加手段10と、距離情報で特定される距離に応じて、位相が付加された画像情報をカメラCの画角に応じた大きさでフレネル変換し、加算することで、1次複素振幅分布を生成する画角付き物体光算出手段20と、複数のカメラCに対応した1次複素振幅分布を統合する統合物体光算出手段30と、統合した2次複素振幅分布である統合物体光複素振幅分布と参照光データとから、ホログラムデータ(干渉縞)を生成する干渉縞算出手段40と、を備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元映像の情報を記録および再生するためのホログラム(ホログラムデータ)を生成するホログラム生成装置およびホログラム生成方法に関する。
【背景技術】
【0002】
従来、3次元映像の記録・再生方式として、ホログラフィ技術が知られている。このホログラフィ技術は、物体から反射してくる光(物体光)と、物体光とは異なる光(参照光)とを干渉させ、その干渉によって形成される縞(干渉縞)を感光媒体に記録する。この干渉縞を記録した感光媒体をホログラムと呼ぶ。すなわち、ホログラムは、3次元映像の情報を2次元平面の記録したものである。
そして、ホログラフィ技術は、ホログラムに対して、参照光と同一の振幅および位相を持つ光(照明光)を照射し、光の回折により物体光を再生する。
【0003】
このホログラムの記録および再生の現象を、図13および数式によって説明する。
図13(a)に示す物体光Oや参照光Rといった光は、振幅と位相とを有している。すなわち、物体Tから反射してくる物体光Oの振幅を|O|、位相をφとしたとき、物体光Oは、以下の(1)式に示す複素振幅で表すことができる。同様に、参照光Rの振幅を|R|、位相をφとしたとき、参照光Rは、以下の(2)式に示す複素振幅で表すことができる。
【0004】
【数1】

【0005】
ここで、物体光Oと参照光Rとが干渉することで、ホログラムデータIとして、以下の(3)式で表すことができる干渉縞がホログラム面に記録される。なお、は複素共役を示す。
【0006】
【数2】

【0007】
また、図13(b)に示すように、ホログラムデータIを記録したホログラムHに、参照光Rと同一の振幅および位相を持つ照明光Rを照射することで、ホログラムHからは、以下の(4)式に示す光IRが再生される。
【0008】
【数3】

【0009】
この(4)式において、右辺の第1項((|O|+|R|)R)は、照明光Rが透過してきた光(透過光)であって、再生には不要な妨害光である。また、第2項(O|R|)は、照明光(物体光)Rの振幅の2乗倍の光であるが、元の物体の像を形成するため、再生光となる。また、第3項(O)は、再生光に対して共役位相を持つ光(共役光)であって、再生には不要な妨害光である。
このようなホログラフィ技術において、ホログラムを生成する種々は手法が存在する。例えば、点充填法、距離画像法、ステレオグラム法等が知られている。以下、点充填法、距離画像法、ステレオグラム法について、簡単に説明しておく。
【0010】
〔点充填法〕
CGからホログラムを生成する手法は、計算機ホログラム(CGH:Computer Generated Hologram)と呼ばれ、一般的には、点充填法が用いられている。
点充填法は、被写体空間を点の集まり、すなわち、物体を点物体の集合であるとみなして、点光源の波面を加算することでホログラムを生成する方法である。
この点充填法は、図14に示すように、物体T上の1点から出た光(物体光データ)がホログラムHの全点に記録される(図14中A)。逆に、ホログラムH上の1点において、当該点に到達するすべての被写体空間の光が記録される(図14中B)。一方、当該点に到達しない光、例えば、手前の物体Tによって、遮られた物体Tの光は、記録されない(図14中C)。
しかし、この一般的な点充填法では、物体が数百〜数千程度の点で構成されるワイヤーフレームモデルのような単純な立体形状の場合はよいが、物体の形状が複雑化し、ホログラムの解像度が高解像度化するにつれて、計算量が膨大になり、例えば、100万点程度の物体からホログラムを計算するためには、数日〜数ヶ月を要してしまう。
そこで、点充填法を効率的に行うため、物体(被写体)からホログラム面までの距離に応じた光の回折マップを予め用意し、ホログラム計算時にそれを加算することで計算する手法が開示されている(特許文献1参照)。
【0011】
〔距離画像法〕
距離画像法は、点充填法とは異なり、被写体空間を点の集まりではなく、平面の集まりであるとみなしてホログラムを生成する手法である(特許文献2参照)。
この距離画像法は、被写体空間に存在する物体の距離情報をもとに、奥行きごとに標本化した画像を生成し、その標本化された画像を、1枚の透過型2次元表示装置に順番に表示させながら、コヒーレント光で読み出しを行い物体光とすることでホログラムを生成する。
【0012】
〔ステレオグラム法〕
ステレオグラム法は、特許文献1,2で開示されている点充填法や距離画像法とは異なり、物体(被写体)までの距離の情報を用いることなく、多数の視点(通常、数百〜数千視点)で撮影した2次元画像を縮小投影してホログラムの微小領域に記録し、立体像を再生するものである(非特許文献1参照)。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】特許第3653361号公報
【特許文献2】特許第4331873号公報
【非特許文献】
【0014】
【非特許文献1】J.T.McCrickerd and Nicholas George,"Holographic stereogram from sequential component photographs,"Appl.Phys. Lett., 12, No.1, p10-12, 1968
【発明の概要】
【発明が解決しようとする課題】
【0015】
一般に、立体ディスプレイの視覚特性には、3つの特性が必要である。
第1特性として、再生された立体像において、被写体までの距離が表現され、視認した際のピント調節が可能であることが必要である。以下、この特性を「調節の再現」と呼ぶ。
また、第2特性として、再生された立体像を視認した際に、視点を動かすことで立体像の見え方が変わることが必要である。以下、この特性を「視差の再現」と呼ぶ。
また、第3特性として、再生された立体像を視認した際に、ある視点で見えていなかった立体物の一部が別の視点では見えるようになる、あるいは、その逆の効果を示すオクルージョンが再現できることが必要である。以下、この特性を「隠蔽関係の再現」と呼ぶ。
【0016】
前記した従来の技術において、一般的な点充填法によって生成されたホログラムは、「調節の再現」、「視差の再現」および「隠蔽関係の再現」の特性を有している。しかし、一般的な点充填法は、前記したように、CGから計算機によってホログラムを生成するには、計算量が膨大になり、ホログラムの生成時間が非常に長くなってしまうことがあるという問題がある。
【0017】
これを改善する特許文献1に開示された技術では、被写体からホログラム面までの距離に応じた光の回折マップを予め用意する必要がある。この場合、特許文献1には記載がないが、少なくとも物体に隠蔽関係があって、隠蔽により光が到達しない場合は、回折マップの一部分(到達する光のみ)をホログラム上で加算する必要がある。すなわち、特許文献1に開示された技術では、ホログラムの計算を行う前に、被写体シーンの形状、すなわち、被写体同士の相対的な位置関係と、ホログラムに対する絶対的な位置関係とがすべて既知である必要がある。
これは、主にポリゴン・テクスチャモデルで作成されたオブジェクトを仮想空間に複数個配置することで被写体空間を構成するCGであれば、位置関係(相対的、絶対的)が既知であるため、特許文献1に開示された技術でホログラムを生成することは可能である。
しかし、被写体の隠蔽関係を表現できないボクセル表現の3次元画像では、事前に被写体空間の立体構造を求める前処理が必要になる。また、実写の3次元画像(距離情報付き画像)は、隠蔽関係が表現されていないため、特許文献1に開示された技術では、「隠蔽関係の再現」を特性に持つホログラムを生成することができないという問題がある。
【0018】
また、前記した従来の技術において、距離画像法は、CGの原画から距離情報を容易に得ることができる。また、実写の場合であっても、レンジファインダ(距離カメラ)を用いることで、比較的容易に距離情報(距離画像)を得ることができる。
しかし、距離画像法は、被写体を真正面から見た場合の画像をホログラム化するものであるため、生成されたホログラムの再生像は、例えば、レンジファインダの死角になっていた部分の光は正常に再生されないことになる.
つまり、距離画像法によって生成されるホログラムは、「調節の再現」および「視差の再現」の2つの特性は有しているが、「隠蔽関係の再現」を特性として有していないというという問題がある。
【0019】
また、前記した従来の技術において、ステレオグラム法は、撮影された被写体の微小画像をホログラムに記録、再生するものであるため、被写体を構成する各点については、距離に対応した波面を再生することができない。そのため、ステレオグラム法で生成されたホログラムからは、少なくも微小画像の幅以上のボケを持った像が再生されることになる。このボケを小さくするためには、非常に多くの視点で撮影を行わなければならず、視点位置や画角の調整等、撮影は困難で長時間に及んでしまう。
また、ステレオグラム法は、被写体までの距離の情報を使用せずに、光を単に光線として捉えているため、波面再生が可能な他のホログラムのように、遠景と近景との両方でシャープな結像を得ることは原理的にできない。
つまり、ステレオグラム法によって生成されるホログラムは、「視差の再現」および「隠蔽関係の再現」の2つの特性は有しているが、「調節の再現」を特性として有していないというという問題がある。
【0020】
本発明は、このような問題点に鑑みてなされたものであり、計算機ホログラムを生成する場合に、立体ディスプレイの視覚特性(「調節の再現」、「視差の再現」および「隠蔽関係の再現」)を満たし、被写体空間の立体構造を求める前処理を必要とせず、従来の点充填法に比べて高速にホログラム(ホログラムデータ)を生成することが可能なホログラム生成装置およびホログラム生成方法を提供することを課題とする。
【課題を解決するための手段】
【0021】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項1に記載のホログラム生成装置は、複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成装置であって、位相付加手段と、画角付き物体光算出手段と、統合物体光算出手段と、干渉縞算出手段と、を備える構成とした。
【0022】
かかる構成において、ホログラム生成装置は、位相付加手段によって、視点位置ごとに、画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する。例えば、一様乱数となるランダム位相や、ガウシアン分布を持った位相を付加する。これによって、画像情報を光の波面情報として捉えることができる。
【0023】
そして、ホログラム生成装置は、画角付き物体光算出手段によって、距離情報で特定される距離平面上で画角に含まれる複素振幅分布に対して、距離平面ごとに回折演算を行い加算する。この回折演算において回折結果の対象とする平面は、複数の視点位置からの画角によって覆われる領域に隙間がない被写体空間上の距離平面である1次複素振幅面とする。これによって、1次複素振幅面において、画角に対応する物体光の複素振幅分布が生成されることになる。なお、各視点位置における画角は、生成対象のホログラムの視域と同一とするため、ホログラムの最大回折角とする。
【0024】
そして、ホログラム生成装置は、統合物体光算出手段によって、1次複素振幅面に生成された複素振幅分布に対して、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である2次複素振幅面までの回折演算を行う。これによって、2次複素振幅面のどの位置においても、少なくとも2つの視点位置から見たときの物体光の情報が含まれ、統合した物体光の複素振幅分布が生成されることになる。
そして、ホログラム生成装置は、干渉縞算出手段によって、2次複素振幅面に生成された統合した物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する。
【0025】
また、請求項2に記載のホログラム生成装置は、複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成装置であって、位相付加手段と、画角付き物体光算出手段と、物体光加算手段と、干渉縞算出手段と、を備える構成とした。
【0026】
かかる構成において、ホログラム生成装置は、位相付加手段によって、視点位置ごとに、画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する。
そして、ホログラム生成装置は、画角付き物体光算出手段によって、距離情報で特定される距離平面上で画角に含まれる複素振幅分布に対して、距離平面ごとに回折演算を行い加算する。この回折演算において回折結果の対象とする平面は、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である1次複素振幅面とする。これによって、1次複素振幅面の画角に対応するどの位置においても、少なくとも2つの視点位置から見たときの物体光の情報が含まれることになる。なお、各視点位置における画角は、ホログラムの最大回折角とする。
【0027】
そして、ホログラム生成装置は、物体光加算手段によって、1次複素振幅面に生成された複素振幅分布を、画角が重複した領域ごとに加算する。これによって、複数の視点位置の複素振幅分布が統合されることになる。
そして、ホログラム生成装置は、干渉縞算出手段によって、物体光加算手段で生成された物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する。
【0028】
さらに、請求項3に記載のホログラム生成装置は、請求項1または請求項2に記載のホログラム生成装置において、画角付き物体光算出手段が、距離別フレネル順変換手段と、画角付き物体光切り出し手段と、画角付き物体光加算手段と、を備える構成とした。
【0029】
かかる構成において、ホログラム生成装置は、距離別フレネル順変換手段によって、距離情報で特定される複数の距離平面に対応する画素の複素振幅を、距離平面ごとに、1次複素振幅面までフレネル順変換を行い、距離別複素振幅分布を生成する。これによって、光の波面の伝播を模擬した演算により、複素振幅分布を対象となる距離平面上に伝播させることができる。
そして、ホログラム生成装置は、画角付き物体光切り出し手段によって、距離別複素振幅分布から、画角に対応した中央領域の分布を切り出す。
そして、ホログラム生成装置は、画角付き物体光加算手段によって、距離別複素振幅分布を距離ごとに加算する。これによって、画角に対応する物体光の複素振幅分布が生成されることになる。
【0030】
また、請求項4に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、前記統合物体光算出手段が、フレネル逆変換手段と、画角付き物体光切り出し手段と、を備える構成とした。
【0031】
かかる構成において、ホログラム生成装置は、フレネル逆変換手段によって、画角付き物体光算出手段で生成された視点位置ごとの複素振幅分布を、2次複素振幅面、すなわち、複数の視点位置からの画角をすべて覆い、かつ、複数の視点位置からの画角が重複する領域に隙間がない被写体空間上の距離平面まで、フレネル逆変換を行う。これによって、光の波面の逆伝播を模擬した演算により、複素振幅分布を対象となる距離平面上に伝播させることができる。
そして、ホログラム生成装置は、画角付き物体光切り出し手段によって、2次複素振幅面に生成された複素振幅分布の中央領域の画角に対応する分布を切り出す。
このように切り出された複素振幅分布は、どの位置においても、少なくとも2つの視点位置から見たときの物体光の情報が含まれ、統合した物体光の複素振幅分布となる。
【0032】
また、請求項5に記載のホログラム生成方法は、複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成方法であって、位相付加ステップと、画角付き物体光算出ステップと、統合物体光算出ステップと、干渉縞算出ステップと、を含むことを特徴とする。
【0033】
かかる手順において、ホログラム生成方法は、位相付加手段によって、視点位置ごとに、画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する(位相付加ステップ)。
そして、ホログラム生成方法は、画角付き物体光算出手段によって、距離情報で特定される距離平面上で画角に含まれる複素振幅分布に対して、距離平面ごとに回折演算を行い加算する(画角付き物体光算出ステップ)。この回折演算において回折結果の対象とする平面は、複数の視点位置からの画角によって覆われる領域に隙間がない被写体空間上の距離平面である1次複素振幅面とする。また、各視点位置における画角は、ホログラムの最大回折角とする。
そして、ホログラム生成方法は、統合物体光算出手段によって、1次複素振幅面に生成された複素振幅分布に対して、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である2次複素振幅面までの回折演算を行う(統合物体光算出ステップ)。
そして、ホログラム生成方法は、干渉縞算出手段によって、2次複素振幅面に生成された統合した物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する(干渉縞算出ステップ)。
【0034】
また、請求項6に記載のホログラム生成方法は、複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成方法であって、位相付加ステップと、画角付き物体光算出ステップと、統合物体光算出ステップと、干渉縞算出ステップと、を含むことを特徴とする。
【0035】
かかる手順において、ホログラム生成方法は、位相付加手段によって、視点位置ごとに、画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、画素位置に複素振幅を対応付けた複素振幅分布を生成する(位相付加ステップ)。
そして、ホログラム生成方法は、画角付き物体光算出手段によって、距離情報で特定される距離平面上で画角に含まれる複素振幅分布に対して、距離平面ごとに回折演算を行い加算する(画角付き物体光算出ステップ)。この回折演算において回折結果の対象とする平面は、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である1次複素振幅面とする。また、各視点位置における画角は、ホログラムの最大回折角とする。
そして、ホログラム生成方法は、物体光加算手段によって、1次複素振幅面に生成された複素振幅分布を、画角が重複した領域ごとに加算する(物体光加算ステップ)。
そして、ホログラム生成方法は、干渉縞算出手段によって、物体光加算手段で生成された物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する(干渉縞算出ステップ)。
【発明の効果】
【0036】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、平面から平面へ複素振幅分布の伝播によって、物体光データを生成するため、被写体を構成する点とホログラムすべての点とを対応付けて、すべての点において、光の回折を計算する従来の点充填法に比べ、計算量が少なく、高速にホログラムデータを生成することができる。
また、本発明は、距離情報から、物体(被写体)の位置を特定するため、被写体空間の立体構造を求める前処理を必要とせず、実写画像からもホログラムデータを生成することができる。
【0037】
さらに、本発明は、従来と比較して高速に、かつ、前処理を必要とせずホログラムデータを生成するにもかかわらず、視点位置からの画角と距離に応じたホログラムデータを生成するとともに、複数の視点位置に対応する複素振幅分布を統合するため、従来の点充填法と同様に、生成したホログラムデータによって再生される立体像は、「調節の再現」、「視差の再現」および「隠蔽関係の再現」といった立体ディスプレイの視覚特性を満たすことができる。
【図面の簡単な説明】
【0038】
【図1】本発明の第1,2実施形態に係るホログラム生成装置を含んだホログラム生成システムの構成を示すブロック図である。
【図2】距離情報付き画像における距離情報の内容を説明するための説明図である。
【図3】本発明の第1実施形態に係るホログラム生成装置におけるホログラムデータ生成手法の概要を説明するための説明図である。
【図4】本発明の第1実施形態に係るホログラム生成装置の構成を示すブロック構成図である。
【図5】距離別フレネル順変換手段の処理内容を説明するための説明図である。
【図6】フレネル逆変換手段の処理内容を説明するための説明図である。
【図7】干渉縞算出手段の処理内容を説明するための説明図である。
【図8】本発明の第1実施形態に係るホログラム生成装置の動作を示すフローチャートである。
【図9】本発明の第2実施形態に係るホログラム生成装置におけるホログラムデータ生成手法の概要を説明するための説明図である。
【図10】本発明の第2実施形態に係るホログラム生成装置の構成を示すブロック構成図である。
【図11】本発明の第2実施形態に係るホログラム生成装置の動作を示すフローチャートである。
【図12】本発明の第1,2実施形態に係るホログラム生成装置が生成したホログラムを再生する手法を説明するための説明図である。
【図13】従来のホログラムの記録および再生を説明するための説明図である。
【図14】従来の点充填法のホログラム生成手法を説明するための説明図である。
【発明を実施するための形態】
【0039】
以下、本発明の実施形態について図面を参照して説明する。
[ホログラム生成システムの構成]
まず、図1を参照して、本発明の実施形態に係るホログラム生成装置を含んだホログラム生成システムの構成について説明する。
【0040】
ホログラム生成システムSは、複数のカメラC(C,C,…,C)と、ホログラム生成装置1(1B)とを備えている。
カメラCは、物体Tを含んだ被写体空間を撮影したモノクロ画像またはカラー画像である画像情報Fと、物体Tが存在する被写体空間におけるカメラCからの距離を示す距離情報Dとからなる距離情報付き画像Gを撮影するカメラである。例えば、カメラCは、一般的な測距カメラである。このカメラCは、複数の視点位置での画像を再現するため、2〜10視点程度の台数とする。
【0041】
ここで、画像情報Fは、カメラCで撮影された実写の2次元画像である。
距離情報Dは、画像情報Fと同じ画角に対応し、多階調で、カメラCからの奥行きを示す距離画像である。例えば、図1に示した距離情報Dは、カメラCからの距離が近いほど白く、遠いほど黒い画素値で表している。
この距離情報Dは、図2に示すように、カメラC(視点位置)からの距離zmin〜zmaxの範囲の物体Tの距離を示す。なお、図2中、tは、物体Tを点物体の集合であるとみなしたときの個々の点物体を示している。ここで、距離情報Dの階調が256階調であれば、距離情報Dは、距離zmin〜zmaxを256個(0〜255)の値でサンプリングした値を持つ情報である。
【0042】
ホログラム生成装置1(1B)は、複数の視点位置に対応した距離情報付き画像G(G,G,…,G)と、参照光の波面を表した参照光データRとから、ホログラムデータIを生成するものである。
なお、ここでは、カメラCによって、実写画像を撮影することとしているが、距離情報付き画像Gは、CGによって、仮想カメラで撮影された画像として生成されたものであっても構わない。その場合、仮想カメラの位置が仮想的な視点位置となる。
以下、本発明を実施するための形態として、第1実施形態および第2実施形態を例として説明する。
【0043】
[第1実施形態]
〔ホログラム生成の概要〕
まず、図1および図3を参照して、本発明の第1実施形態に係るホログラム生成装置1におけるホログラムデータの生成手法の概要について説明する。
図3は、ホログラム生成装置1が、仮想的な被写体空間(xyz座標)において、カメラC(ここでは、C〜C)と、物体T(点物体t,…,t)とを配置し、ホログラムデータを計算するための手順を模式的に示したものである。なお、ここで、tは、物体Tを点物体の集合であるとみなしたときの個々の点物体を示す。
【0044】
まず、ホログラム生成装置1は、カメラC〜Cごとに、視点位置(z=0)から点物体t,…,tまでの距離z(距離情報D)に対応する画像情報Fの画素値を複素数の振幅値である複素振幅とし、それぞれの点物体t,…,tの距離zから、カメラCの画角が互いに重なることなく、かつ、隙間のない位置(1次複素振幅面;図3中、距離z)まで、フレネル変換(フレネル順変換)を行う。
また、ホログラム生成装置1は、フレネル順変換後の複素振幅分布(1次複素振幅分布)のうち、カメラC〜Cごとに、カメラCの画角φに対応する分布を画角(パース)付き物体光複素振幅分布U〜Uとして切り出す。
これによって、個々の画角付き物体光複素振幅分布U〜Uは、画角φに存在する点物体t,…,tの距離に応じた物体光データとなる。
【0045】
さらに、ホログラム生成装置1は、少なくとも2台のカメラCの画角が重複する位置(図3中、距離z)まで、画角付き物体光複素振幅分布U〜Uを、フレネル変換(フレネル逆変換)を行い、加算する。
そして、ホログラム生成装置1は、フレネル逆変換後の複素振幅分布(2次複素振幅分布)のうち、少なくとも2台のカメラCの画角が重複する分布を統合物体光複素振幅分布Oとして切り出す。
この統合物体光複素振幅分布Oは、図3に示すように、どの位置においても、カメラC〜Cの少なくとも2台で撮影された物体光が重畳されていることになる。
そして、ホログラム生成装置1は、物体光データである統合物体光複素振幅分布Oと、予め準備した参照光データRの複素振幅分布(不図示)とから、ホログラムデータIを生成する。
【0046】
このように、ホログラム生成装置1は、物体Tの距離と画角に応じて生成した複数の視点位置における物体光データを統合することで、立体ディスプレイの視覚特性(「調節の再現」、「視差の再現」および「隠蔽関係の再現」)を満たしたホログラムデータを生成することができる。
また、このとき、ホログラム生成装置1は、距離情報付き画像Gを用いることで、被写体空間の立体構造を求める前処理を行うことない。さらに、ホログラム生成装置1は、距離平面ごとに、複素振幅分布を求めるため、点充填法のような点ごとの計算を行う手法に比べて計算量を抑え、高速にホログラムデータを生成することができる。
【0047】
なお、図3に示した画角φは、生成するホログラムによって定まる最大回折角度と等しい角度である。この最大回折角度(φ)は、照明光(参照光)の波長をλ、ホログラムの等価的な画素ピッチ(サンプリングピッチ)をΔpとしたとき、以下の(5)式によって求めることができる。
【0048】
【数4】

【0049】
例えば、波長λ=633nmのHe−Neレーザ、画素ピッチΔp=2.27μmであった場合、(5)式により、最大回折角度は16°となる。
この図3の例において、最大回折角度φを16°とし、生成するホログラムの幅(図3中、統合物体光複素振幅分布Oのx軸上の長さ)を36.8mmとした場合、視点間隔Lは18.4mm、視点位置(z=0)から画角付き物体光複素分布Uまでの距離zは65.6mm、視点(z=0)から統合物体光複素振幅分布Oまでの距離zは131.2mmとなる。なお、実際にカメラCを用いて撮影を行う場合、10倍程度の縮尺で撮影を行うのが現実的である。すなわち、カメラCの間隔(視点間隔L)を18.4cmで撮影した後、実際の物体Tまでの距離を、1/10倍の縮尺として、ホログラムの生成位置等を決めればよい。
以下、図3に示したホログラムデータを生成する手順を実現するホログラム生成装置1の構成および動作について詳細に説明する。
【0050】
〔ホログラム生成装置の構成〕
まず、図4を参照(適宜図1参照)して、本発明の第1実施形態に係るホログラム生成装置1の構成について説明する。図4に示すように、ホログラム生成装置1は、位相付加手段10と、画角付き物体光算出手段20と、統合物体光算出手段30と、干渉縞算出手段40と、を備えている。
【0051】
位相付加手段10は、視点位置に配置されたカメラC(または仮想カメラ)で撮影された距離情報付き画像Gの画像情報Fの画素値に位相(位相情報)を付加するものである。ここでは、ホログラム生成装置1は、カメラCに応じて、位相付加手段10を複数(10,10,…,10)備えている。なお、個々の位相付加手段10,10,…,10は、入力される画像が異なるだけで、機能は同じものである。
【0052】
ここで、カメラCが撮影した距離情報付き画像Gにおける距離情報Dは、通常数m以上の距離範囲を多階調で表現したもので、距離情報の分解能は、光の波長(0.45〜0.65μm)と比較して十分に長い距離であるため、距離情報付き画像Gには、位相情報の一部のみしか撮影されていないことになる。そのため、距離情報付き画像Gに対しては、図3で説明したフレネル変換を行うことができない。
そこで、位相付加手段10は、画像情報Fの画素値(スカラ振幅)に対して、xy座標に応じて位相を一様に変化させることで、画素ごとに、物体光の振幅情報と位相情報とからなる複素振幅を生成する。
具体的には、位相付加手段10は、画像情報Fのxy座標の画素に対応する画素値(スカラ振幅)をA(x,y)としたとき、以下の(6)式により、位相を付加した複素振幅g(x,y)を生成する。
【0053】
【数5】

【0054】
ここで、eは自然対数の底、jは虚数単位である(なお、以下に示す数式においても同様である)。また、rnd(x,y)は区間[0,1)上(0以上1未満)の一様乱数である。これによって、画素値A(x,y)に対して、0〜2πのランダム位相が重畳された複素振幅分布g(x,y)が生成される。なお、ここで重畳する位相は、ランダム位相としたが、ガウシアン分布等の他の分布持った位相を重畳することとしてもよい。
また、ここで、画像情報Fが、RGBカラーで撮影された画像であった場合には、位相付加手段10は、RGBの波長ごとに、前記(6)式を計算し、RGB個別の複素振幅分布を生成する。
【0055】
この位相付加手段10は、生成した複素振幅分布を画角付き物体光算出手段20に出力する。なお、位相付加手段10は、入力された距離情報Dについては、そのまま、画角付き物体光算出手段20に出力することとする。もちろん、距離情報Dは、位相付加手段10を介することなく、直接、画角付き物体光算出手段20に入力される形態であっても構わない。
【0056】
画角付き物体光算出手段20は、位相付加手段10で生成された複素振幅分布のうちで、距離情報Dで特定される複数の距離平面に対応する画素の複素振幅であって、カメラC(視点位置)の画角に含まれる複素振幅を、複数の視点位置からの画角によって覆われる領域に隙間がない被写体空間上の距離平面(1次複素振幅面)まで、回折演算により、光の波面情報として仮想的に伝播させて、視点位置ごとの物体光の複素振幅分布(1次複素振幅分布)を生成するものである。
ここでは、ホログラム生成装置1は、カメラCに応じて、画角付き物体光算出手段20を複数(20,20,…,20)備えている。なお、個々の画角付き物体光算出手段20,20,…,20は、複素振幅分布の入力元が異なるだけで、機能は同じものである。
この画角付き物体光算出手段20は、距離別フレネル順変換手段21と、画角付き物体光切り出し手段22と、画角付き物体光加算手段23と、を備えている。
【0057】
距離別フレネル順変換手段21は、位相付加手段10で生成された複素振幅分布g(x,y)に対して、距離情報Dで特定される距離zごとの距離平面から、予め定めた距離平面(1次複素振幅面)までフレネル変換(フレネル順変換)を行うものである。
ここで、距離zごとの距離平面とは、距離情報D(x,y)の値(距離に対応する画素値)で特定される距離に対応した平面であって、距離情報Dの階調の数(例えば、256階調であれば、256平面)だけ存在する。なお、この距離平面の数は、画像の複雑さによって変化し、最大で距離情報Dの階調数となる。
【0058】
ここでは、各距離平面における複素振幅分布は、距離情報D(x,y)の値(距離に対応する画素値)が、フレネル変換を行う対象となる距離zに対応する(x,y)座標の値には、位相付加手段10で生成された複素振幅分布g(x,y)の複素振幅値を用い、距離zに対応しない(x,y)座標の値には、値を“0”とした距離別複素振幅分布g(x,y)とする。
また、予め定めた距離平面(1次複素振幅面)とは、少なくとも複数のカメラCの画角によって覆われる領域に隙間がない被写体空間上の距離平面である。例えば、図3の場合、距離z以上、視点位置(カメラC)から離れたxy平面である。ここでは、一例として、カメラCの画角が互いに重なることがない距離平面(図3中、距離z)とする。
【0059】
なお、距離別フレネル順変換手段21は、距離別複素振幅分布g(x,y)については、その距離によって特定される距離平面において、画角(最大回折角度)φに対応する範囲について、フレネル順変換を行う。これによって、1次複素振幅面において、画角φに対応した複素振幅の情報が生成されることになる。
そして、距離別フレネル順変換手段21は、距離情報Dで特定される距離ごとに生成した1次複素振幅分布u(x′,y′)を、画角付き物体光切り出し手段22に出力する。
【0060】
ここで、図5を参照して、距離別フレネル順変換手段21が行う処理について具体的に説明する。
図5(a)に示すように、距離別フレネル順変換手段21は、位相付加手段10で生成された複素振幅分布g(x,y)のうちで、距離情報Dで特定される距離zに対応した画角(最大回折角度)φに対応する角度の範囲(領域の幅Wz)の距離別複素振幅分布g(x,y)を、1次複素振幅面(z=z)までフレネル順変換することで、1次複素振幅分布を生成する。
なお、領域の幅Wzは、画角に対応したものであるため、図5(b)に示すように、距離zに応じて変わり、1次複素振幅面(z=z)からの距離が遠いほど広がり、距離が近いほど狭くなる。また、距離zは、距離情報Dに対応する距離であって、最小距離zmin〜最大距離zmaxは、距離情報Dの階調に対応している。
この幅Wzは、画角をφ、距離をzとしたとき、以下の(7)式で求めることができる。
【0061】
【数6】

【0062】
そして、距離別フレネル順変換手段21は、距離zの距離平面に対応する距離別複素振幅分布g(x,y)から、距離z=zの距離平面における1次複素振幅分布u(x′,y′)をフレネル順変換により求める。
この平面から平面へのフレネル順変換は、既知の方法で求めることができる。
例えば、以下の(8)式により求めることができる。
【0063】
【数7】

【0064】
なお、このフレネル順変換は、フーリエ変換の組み合わせにしてから、2回のFFT(Fast Fourier Transform)で解く方法が広く知られている。
すなわち、距離別複素振幅分布g(x,y)、1次複素振幅分布u(x′,y′)に対し、距離zの関数である伝達関数をp(x,y)とし、定数項を無視して畳み込み積分(コンボリューション)を用いて、フレネル変換の式を書くと、以下の(9)式となる。なお、*は、畳み込み積分の演算子を示す。
【0065】
【数8】

【0066】
そして、u(x′,y′)、g(x,y)およびp(x,y)のフーリエ変換を、それぞれ、U(ξ,η)、G(ξ,η)およびP(ξ,η)とおくと、以下の(10)式の関係が成立する。
【0067】
【数9】

【0068】
したがって、距離別フレネル順変換手段21は、g(x,y)およびp(x,y)のフーリエ変換を求め、両者の積を逆フーリエ変換することで、u(x′,y′)を算出する。
このように、距離別フレネル順変換手段21は、図5(a)に示すように、1次複素振幅面(z=z)において、距離別複素振幅分布g(x,y)と同一のサンプリング間隔で、同一幅Wzとなる1次複素振幅分布u(x′,y′)を算出する。
【0069】
そして、距離別フレネル順変換手段21は、距離情報Dに対応する距離zごとの距離別複素振幅分布g(x,y)から、1次複素振幅分布u(x′,y′)を算出する。このとき、距離別複素振幅分布g(x,y)の分布の幅Wzは、画角φに応じた大きさである。そこで、図5(b)に示すように、1次複素振幅面(z=z)において生成される1次複素振幅分布u(x′,y′)は、近景tから遠景tまで多数の距離平面で構成された被写体空間を、あたかも、1次複素振幅面(z=z)に透視投影したものに相当する。
図4に戻って、ホログラム生成装置1の構成について説明を続ける。
【0070】
画角付き物体光切り出し手段22は、距離別フレネル順変換手段21において距離情報Dで特定される距離ごとに生成された1次複素振幅分布u(x′,y′)から、当該分布の中央領域であって、画角φに対応する領域を切り出すものである。
この画角付き物体光切り出し手段22は、図5(b)のz=zの1次複素振幅面に生成された1次複素振幅分布u(x′,y′)について、画角をφとしたとき、以下の(11)式に示す幅Wzで、1次複素振幅分布u(x′,y′)の中央領域を切り出す。
【0071】
【数10】

【0072】
そして、画角付き物体光切り出し手段22は、距離ごとに切り出した1次複素振幅分布u(x′,y′)を、画角付き物体光加算手段23に出力する。
【0073】
画角付き物体光加算手段23は、画角付き物体光切り出し手段22で切り出された距離別の1次複素振幅分布u(x′,y′)を、加算するものである。
この画角付き物体光加算手段23は、1次複素振幅分布u(x′,y′)の各画素に相当するそれぞれの複素振幅について、すべての距離について複素和を計算する。
なお、この画角付き物体光加算手段23で生成された複素振幅分布は、図5(b)に示したように、距離別複素振幅分布を、画角φに対応してフレネル変換したものを加算したものであるため、1台のカメラCから見た画角内の近景から遠景までの物体光の複素振幅分布を含んだ画角付き物体光複素振幅分布となる。
この画角付き物体光加算手段23は、生成した画角付き物体光複素振幅分布を、統合物体光算出手段30に出力する。
【0074】
統合物体光算出手段30は、画角付き物体光算出手段20(20,20,…,20)で1次複素平面に生成された複素振幅分布を、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面(2次複素振幅面)まで、回折演算により、光の波面情報として仮想的に伝播させて、統合した物体光の複素振幅分布を生成するものである。
ここでは、統合物体光算出手段30は、フレネル逆変換手段31と、統合物体光切り出し手段32と、を備えている。
【0075】
フレネル逆変換手段31は、画角付き物体光算出手段20で算出された1次複素平面上の複数の画角付き物体光複素振幅分布に対して、予め定めたホログラム生成面(2次振幅複素面)まで、フレネル変換(フレネル逆変換)を行うものである。
ここで、予め定めたホログラム生成面とは、複数のカメラC(視点位置)からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上のカメラCの画角によって重複して覆われる位置に設定した距離平面である。
図3に示したように、画角付き物体光算出手段20で算出された画角付き物体光複素振幅分布は、被写体空間において、カメラCの画角が互いに重なることなく、かつ、隙間のない位置(z=z)に生成されている。また、ここでは、少なくとも2台のカメラCの画角が重複し、その重複領域に隙間がない位置(図3中、距離z)をホログラム生成面としている。
そこで、フレネル逆変換手段31は、z=zの距離平面に配置された画角付き物体光複素振幅分布に対して、z=zの距離平面まで、光の回折を考慮して、フレネル逆変換する。
【0076】
例えば、図3に示したように、3台のカメラCを水平方向に配置した画像を用いた場合、フレネル逆変換手段31は、図6に示すように、水平方向に隙間なく配置されたz=zの距離平面(1次複素振幅面)に生成された3つの画角付き物体光複素振幅分布を、z=zの距離平面(2次複素振幅面)までフレネル逆変換する。このとき、フレネル逆変換を行う際に変化元となる被変換複素振幅分布の幅Whは、個々の画角付き物体光複素振幅分布の幅Wzの3倍となる。
すなわち、フレネル逆変換手段31は、被変換複素振幅分布(3つの画角付き物体光複素振幅分布)をu(x′,y′)としたとき、以下の(12)式のフレネル変換を行う。
【0077】
【数11】

【0078】
なお、この(12)式のフレネル変換は、前記した(8)式と同様に、フーリエ変換によって解くこととしてもよい。
これによって、z=zの距離平面における複素振幅分布(2次複素振幅分布)O(x,y)が求められることになる。
このように算出された複素振幅分布は、統合物体光切り出し手段32に出力される。
【0079】
統合物体光切り出し手段32は、フレネル逆変換手段31で生成された複素振幅分布から、少なくとも2台のカメラCの画角が重複する領域の分布を、統合物体光複素振幅分布として切り出すものである。
【0080】
図6で説明したように、フレネル逆変換手段31によって生成される振幅複素分布の領域の大きさは、被変換複素振幅分布(3つの画角付き物体光複素振幅分布)と同じである。この場合、図3でも分かるように、フレネル逆変換手段31によって生成される振幅複素分布の中央部分のみが、複数のカメラCの画角に含まれていることになる。
そこで、統合物体光切り出し手段32は、複数のカメラCの画角が重複する領域のみを、切り出すこととする。
例えば、図6において、z×2=zであった場合、O(x,y)の中央部分で水平の幅が2Wzの分布のみを切り出せばよい。
このように切り出された統合物体光複素振幅分布(2次複素振幅分布)は、図3でも分かるように、2つ以上の視点から観察した被写体の物体光データが重畳されている。
そして、統合物体光切り出し手段32は、切り出した統合物体光複素振幅分布(2次複素振幅分布)を、干渉縞算出手段40に出力する。
【0081】
干渉縞算出手段40は、統合物体光切り出し手段32で切り出された統合物体光複素振幅分布から、ホログラムとして記録可能なホログラムデータ(干渉縞情報)を生成するものである。
この干渉縞算出手段40は、外部から入力した参照光データ(複素振幅分布)Rを用いて、統合物体光複素振幅分布からホログラムデータ(干渉縞情報)を生成する。
物体光データとなる複素振幅分布(ここでは、統合物体光複素振幅分布)から、参照データとなる複素振幅分を用いて、干渉縞情報を生成する手法は、一般的なものを用いればよい。ここでは、一例として、オフアクシス型の振幅ホログラムを生成する例について説明するが、位相ホログラムを生成することとしてもよい。
オフアクシス型のホログラムは、斜め上方から角度θで入射する平行光を参照光とするため、図7に示すような参照光を表す参照光データRは、以下の(13)式で表すことができる。
【0082】
【数12】

【0083】
この(13)式の参照光データRを用いで、ホログラムデータI(x,y)を算出するには、物体光データ(統合物体光複素振幅分布)Oと参照光データ(複素振幅分布)Rとの複素和の2乗を計算すればよい。
すなわち、干渉縞算出手段40は、以下の(14)式によりホログラムデータI(x,y)を算出する。なお、は複素共役を示す。
【0084】
【数13】

【0085】
なお、参考までに、この(14)式で、ホログラム媒体に記録可能な複素数の虚数部分が削除されたホログラムデータI(x,y)が算出されることを示しておく。
前記(14)式の右辺の最初の2項(|O|,|R|)は、ホログラム全体にほぼ一様に分布する成分であるため、(14)式は、以下の(15)式とみなすことができる。
【0086】
【数14】

【0087】
ここで、複素振幅である物体光データOと参照光データRの複素振幅を、それぞれ、O=Ore+Oimj,R=Rre+Rimj(Ore,Rreは複素数の実部、Oim,Rimは複素数の虚部)とおくと、前記(15)式は、以下の(16)式のように変形することができる。
【0088】
【数15】

【0089】
この(16)式に示すように、ホログラムデータI(x,y)は、ホログラム媒体に記録可能な実数のデータとなる。
以上説明したホログラム生成装置1は、コンピュータを、前記した各手段として機能させるホログラム生成プログラムで動作させることができる。
【0090】
〔ホログラム生成装置の動作〕
次に、図8を参照(適宜図1,図4参照)して、本発明の第1実施形態に係るホログラム生成装置1の動作(ホログラム生成方法)について説明する。
まず、ホログラム生成装置1は、位相付加手段10によって、カメラCが撮影した距離情報付き画像Gの画像情報Fの画素値(スカラ振幅)に対して、xy座標に応じて位相を一様に変化させることで、画素ごとに、物体光の振幅情報と位相情報とからなる複素振幅を生成する(ステップS1)。
【0091】
そして、ホログラム生成装置1は、画角付き物体光算出手段20によって、ステップS1で生成された画素ごとの複素振幅からなる複素振幅分布から、予め定めた距離平面(1次複素振幅面)における画角付きの物体光データとなる画角付き物体光複素振幅分布を生成する。
【0092】
すなわち、ホログラム生成装置1は、画角付き物体光算出手段20の距離別フレネル順変換手段21によって、ステップS1で生成された複素振幅分布を、距離情報Dで特定される距離平面ごとに、複数のカメラCの画角によって覆われる領域に隙間がない被写体空間上の平面(1次複素振幅面)までフレネル順変換を行うことで、距離別複素振幅分布を生成する(ステップS2)。
このとき、距離別フレネル順変換手段21は、ステップS1で生成された複素振幅分布について、画角(最大回折角度)に対応する距離平面の範囲についてフレネル変換を行う。
【0093】
そして、ホログラム生成装置1は、画角付き物体光算出手段20の画角付き物体光切り出し手段22によって、ステップS2で生成された1次複素振幅面における距離別複素振幅分布から、1次複素振幅面の画角に対応する領域を切り出す(ステップS3)。
【0094】
そして、ホログラム生成装置1は、画角付き物体光算出手段20の画角付き物体光加算手段23によって、ステップS3で切り出された複素振幅分布を複素和演算により加算することで、1次複素振幅面における画角付き物体光複素振幅分布を生成する(ステップS4)。
なお、このステップS1からステップS4までの動作は、カメラCに対応した位相付加手段10と画角付き物体光算出手段20とが、カメラCごとに並行して動作するものとする。すなわち、このステップS4が完了した段階で、カメラCの数と同じ数の画角付き物体光複素振幅分布が生成されることになる。
【0095】
このように、複数のカメラCに対応した画角付き物体光複素振幅分布が生成された後、ホログラム生成装置1は、統合物体光算出手段30によって、ステップS4で生成された複数の画角付き物体光複素振幅分布を統合する。
【0096】
すなわち、ホログラム生成装置1は、統合物体光算出手段30のフレネル逆変換手段31によって、ステップS4で1次複素振幅面に生成された複数の画角付き物体光複素振幅分布を、ホログラム生成面(2次複素振幅面)まで、一括してフレネル逆変換する(ステップS5)。
これによって、複数の画角付き物体光複素振幅分布がホログラム生成面において統合されることになる。
【0097】
そして、ホログラム生成装置1は、統合物体光算出手段30の統合物体光切り出し手段32によって、ステップS5で生成されたホログラム生成面において統合された画角付き物体光複素振幅分布から、少なくとも2台のカメラCの画角が重複する領域の分布を、ホログラム生成用の統合物体光複素振幅分布として切り出す(ステップS6)。
【0098】
その後、ホログラム生成装置1は、干渉縞算出手段40によって、ステップS6で切り出された統合物体光複素振幅分布(物体光データ)と、外部から入力した参照光データの複素振幅分布とから、ホログラムデータ(干渉縞情報)を算出する(ステップS7)。
例えば、干渉縞算出手段40は、振幅ホログラムを生成する場合、干渉縞算出手段40は、物体光データ(統合物体光複素振幅分布)と参照光データ(複素振幅分布)との複素和の2乗を計算することで、ホログラムデータを算出する。
【0099】
[第2実施形態]
〔ホログラム生成の概要〕
次に、図1および図9を参照して、本発明の第2実施形態に係るホログラム生成装置1Bにおけるホログラムデータの生成手法の概要について説明する。
図9は、ホログラム生成装置1Bが、仮想的な被写体空間(xyz座標)において、カメラC(ここでは、C〜C)と、物体T(点物体t,…,t)とを配置し、ホログラムデータを計算するための手順を模式的に示したものである。なお、ここで、tは、物体Tを点物体の集合であるとみなしたときの個々の点物体を示す。
【0100】
まず、ホログラム生成装置1Bは、カメラC〜Cごとに、視点位置(z=0)から点物体t,…,tまでの距離z(距離情報D)に対応する画像情報Fの画素値を複素数の振幅値である複素振幅とし、それぞれの点物体t,…,tの距離zから、カメラCの画角が互いに重複(両端のカメラC1,C4の外側視域は除く)する位置(1次複素振幅面;図9中、距離z)まで、フレネル変換(フレネル順変換)を行う。
また、ホログラム生成装置1Bは、ホログラム生成装置1と同様、フレネル順変換後の複素振幅分布(1次複素振幅分布)のうち、カメラC〜Cごとに、カメラCの画角φに対応する分布を画角(パース)付き物体光複素振幅分布U〜Uとして切り出す。
これによって、個々の画角付き物体光複素振幅分布U〜Uは、画角φに存在する点物体t,…,tの距離に応じた物体光データとなる。
【0101】
さらに、ホログラム生成装置1Bは、1次複素振幅面(z=z)において、画角付き物体光複素振幅分布U〜Uから、少なくとも2台のカメラCの画角が重複する分布を統合物体光複素振幅分布Oとして切り出す。すなわち、ホログラム生成装置1Bが、統合物体光複素振幅分布Oを生成する2次複素振幅面(z=z)は、1次複素振幅面(z=z)と同じである。
この統合物体光複素振幅分布Oは、図9に示すように、どの位置においても、カメラC〜Cの少なくとも2台で撮影された物体光が重畳されていることになる。
【0102】
そして、ホログラム生成装置1Bは、物体光データである統合物体光複素振幅分布Oと、予め準備した参照光データRの複素振幅分布(不図示)とから、ホログラムデータIを生成する。
なお、カメラCの画角(ホログラムの最大解析角度)φや、カメラCの配置間隔(視点間隔)等の具体例は、図3と同様であるため、説明を省略する。
【0103】
〔ホログラム生成装置の構成〕
次に、図10を参照(適宜図1参照)して、本発明の第2実施形態に係るホログラム生成装置1Bの構成について説明する。図10に示すように、ホログラム生成装置1Bは、位相付加手段10と、画角付き物体光算出手段20Bと、統合物体光算出手段30Bと、干渉縞算出手段40と、を備えている。位相付加手段10および干渉縞算出手段40は、図4で説明したホログラム生成装置1と同一の構成であるため、同一の符号を付して説明を省略する。
【0104】
画角付き物体光算出手段20Bは、位相付加手段10で生成された複素振幅分布のうちで、距離情報Dで特定される複数の距離平面に対応する画素の複素振幅であって、カメラC(視点位置)の画角に含まれる複素振幅を、複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面(1次複素振幅面)まで、回折演算により、光の波面情報として仮想的に伝播させて、視点位置ごとの物体光の複素振幅分布(1次複素振幅分布)を生成するものである。
【0105】
このホログラム生成装置1Bは、カメラCに応じて、画角付き物体光算出手段20Bを複数(20B,20B,…,20B)備えている。なお、個々の画角付き物体光算出手段20B,20B,…,20Bは、複素振幅分布の入力元が異なるだけで、機能は同じものである。
ここでは、画角付き物体光算出手段20Bは、距離別フレネル順変換手段21Bと、画角付き物体光切り出し手段22と、画角付き物体光加算手段23と、を備えている。画角付き物体光切り出し手段22および画角付き物体光加算手段23は、図4で説明したホログラム生成装置1と同一の構成であるため、同一の符号を付して説明を省略する。
【0106】
距離別フレネル順変換手段21Bは、位相付加手段10で生成された複素振幅分布に対して、距離情報Dで特定される距離zごとの距離平面から、予め定めた距離平面(1次複素振幅面)までフレネル変換(フレネル順変換)を行うものである。
この距離別フレネル順変換手段21Bは、距離情報Dで特定される距離ごとにフレネル変換によって生成した複素振幅分布を、画角付き物体光切り出し手段22に出力する。
なお、この距離別フレネル順変換手段21Bは、フレネル変換を行う1次複素振幅面までの距離が距離別フレネル順変換手段21(図4)と異なるだけで、処理内容は同一である。
【0107】
また、この距離別フレネル順変換手段21Bがフレネル変換を行う対象となる予め定めた距離平面(1次複素振幅面)とは、複数のカメラC(視点位置)からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上のカメラCの画角によって重複して覆われる被写体空間上の距離平面である。ここでは、隣接するカメラCの画角が互いに重複し、その重複領域に隙間がない(両端のカメラC,Cの外側視域は除く)位置(図9中、距離z)とする。
この距離別フレネル順変換手段21Bで生成された距離情報Dで特定される距離ごとの複素振幅分布は、図4で説明した画角付き物体光切り出し手段22および画角付き物体光加算手段23によって、図9に示したように、z=zの1次複素振幅面に、カメラC,…,Cの画角φに対応する1次複素振幅分布U,…,Uとして生成される。
【0108】
統合物体光算出手段30Bは、画角付き物体光算出手段20B(20B,20B,…,20B)で算出された個々のカメラC(C,C,…,C)に対応する画角付き物体光複素振幅分布を統合するものである。
ここでは、統合物体光算出手段30Bは、物体光加算手段33を備えている。
【0109】
物体光加算手段33は、画角付き物体光算出手段20Bで算出された複数の画角付き物体光複素振幅分布のうちで、カメラCの画角が重複している領域の分布をそれぞれ加算するものである。すなわち、この物体光加算手段33は、画角付き物体光算出手段20Bで算出された複素振幅分布(1次複素振幅分布)の各画素に相当するそれぞれの複素振幅について、同一のxy座標に対応する画素の複素振幅の複素和を算出する。
これによって、統合物体光算出手段30Bは、図9に示すように、画角付き物体光算出手段20Bで算出された複数の画角付き物体光複素振幅分布(1次複素振幅分布)を生成したz=zの1次複素振幅面と同一の平面に、それぞれの画角付き物体光複素振幅分布を統合した統合物体光複素振幅分布(2次複素振幅分布)を生成する。
【0110】
そして、物体光加算手段33は、生成した統合物体光複素振幅分布(2次複素振幅分布)を、干渉縞算出手段40に出力する。
この物体光加算手段33で生成された統合物体光複素振幅分布(2次複素振幅分布)は、図4で説明した干渉縞算出手段40によって、ホログラムデータ(干渉縞情報)に変換される。
以上説明したホログラム生成装置1Bは、コンピュータを、前記した各手段として機能させるホログラム生成プログラムで動作させることができる。
【0111】
〔ホログラム生成装置の動作〕
次に、図11を参照(適宜図1,図10参照)して、本発明の第2実施形態に係るホログラム生成装置1Bの動作(ホログラム生成方法)について説明する。
このホログラム生成装置1Bの基本動作は、ホログラム生成装置1の動作(図8参照)と同じであるため、主に相違点について説明する。
【0112】
ホログラム生成装置1Bは、ステップS1で、位相付加手段10によって、カメラCが撮影した距離情報付き画像Gに位相を付加して複素振幅分布を生成した後、画角付き物体光算出手段20Bの距離別フレネル順変換手段21Bによって、その複素振幅分布を、距離情報Dで特定される距離平面ごとに、複数のカメラCからの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上のカメラCの画角によって重複して覆われる被写体空間上の平面(1次複素振幅面)までフレネル順変換を行うことで、距離別複素振幅分布を生成する(ステップS2B)。
このとき、距離別フレネル順変換手段21Bは、ステップS1で生成された複素振幅分布について、画角(最大回折角度)に対応する距離平面の範囲についてフレネル変換を行う。
【0113】
その後、ホログラム生成装置1Bは、ホログラム生成装置1と同様に、ステップS2で生成された1次複素振幅面における距離別複素振幅分布から、1次複素振幅面の画角に対応する領域を切り出し(ステップS3)、加算することで、1次複素振幅面における画角付き物体光複素振幅分布を生成する(ステップS4)。
【0114】
そして、ホログラム生成装置1Bは、統合物体光算出手段30Bの物体光加算手段33によって、ステップS4で生成されたカメラCごとの画角付き物体光複素振幅分布のうちで、カメラCの画角が重複している領域の分布をそれぞれ加算することで、統合物体光複素振幅分布(2次複素振幅分布)を生成する(ステップS5B)。
【0115】
その後、ホログラム生成装置1は、ホログラム生成装置1と同様に、干渉縞算出手段40によって、ステップS5Bで生成された統合物体光複素振幅分布(物体光データ)と、外部から入力した参照光データの複素振幅分布とから、ホログラムデータ(干渉縞情報)を算出する(ステップS7)。
【0116】
[ホログラムの再生]
ホログラム生成装置1,1Bで生成されたホログラム(ホログラムデータ)は、従来と同様に、参照光(参照光データ)と同一の振幅および位相を持つ照明光(照明光データ)を用いて、物体の像を再生することができる。
ここで、図12を参照して、ホログラム生成装置1,1Bで生成されたホログラムデータIを記録したホログラムHから、像が再生される現象について説明しておく。
図12に示すように、ホログラムデータIを生成する際に用いた参照光データ(以下、参照光R)と同じ位相と振幅を持つ照明光Rを、ホログラムHに照射すると、物体光データ(以下、物体光O)が再生される。観察者Mは、この物体光Oを視認することで、物体を再生した物体再生像Tを認識する。
この過程を数式で表すと、以下の(17)式で表すことができる。
【0117】
【数16】

【0118】
一般に振幅ホログラムを再生すると、(17)式に示すように、大きく3つの光成分が出力される。この(17)式おいて、右辺の第1項((|O|+|R|)R)は、照明光R(x,y)と同一位相を持つ光で、透過光(または直接光)と呼ばれる。
この透過光は、図12に示すように、角度が付いて入射される光であるため、観察者Mには視認されない。
【0119】
また、右辺の第2項(O)は、物体光O(x,y)の複素共役であって、共役光と呼ばれる妨害光となる。この妨害光は、Rの進行方向に進む光であるため、照明光Rが角度を持って入射された場合には分離可能で、観察者Mには視認されない。
また、右辺の第3項(O|R|)は、物体光O(x,y)と同一の位相および強度を持ち、これに|R|なる強度が乗算されたものである。すなわち、右辺の第3項は、照明光の強さの2乗に比例した明るさを持つ物体光そのものである。よって、図12に示すように、観察者Mが、ホログラムHを観察すると、ホログラムH越しに物体が元々あった位置に物体再生像Tが見えることになる。
この物体再生像Tは、図3で示した例では3台のカメラC、図9で示した例では4台のカメラCで撮影された情報を統合して含んでいる。
【0120】
以上説明したように、ホログラム生成装置1,1Bは、画角付き物体光算出手段20,20Bによって、物体光データ(位相が付加された画像)から、カメラCの画角(ホログラムの最大回折角度)の範囲で、被写体距離に応じて1次複素振幅分布を生成する。そのため、この1次複素振幅分布から生成されるホログラムデータは、視点位置からの画角と距離に応じたデータとなる。これによって、ホログラム生成装置1,1Bが生成するホログラムデータは、立体ディスプレイの視覚特性の「調節の再現」と「視差の再現」とを満たすことができる。
【0121】
また、ホログラム生成装置1,1Bは、複数のカメラCの画角が重複する領域において、1次複素振幅分布を統合するため、複数の視点位置から物体を視認したホログラムデータを生成することができる。これによって、ホログラム生成装置1,1Bが生成するホログラムデータは、立体ディスプレイの視覚特性の「隠蔽関係の再現」を満たすことができる。
【0122】
さらに、ホログラム生成装置1,1Bは、画角付き物体光算出手段20,20Bにおいて、平面から平面へのフレネル変換によって、物体光データ(複素振幅分布)を生成するため、被写体を構成する点とホログラムすべての点とを対応付けて、すべての点において、光の回折を計算する従来の点充填法に比べ、計算量が少なく、高速にホログラムデータを生成することができる。
【0123】
また、ホログラム生成装置1,1Bは、距離情報付き画像Gから、物体の位置を特定するため、被写体空間の立体構造を求める前処理を必要とせず、実写画像からもホログラムデータを生成することができる。
【0124】
[変形例]
以上、本発明の実施形態に係るホログラム生成装置1,1Bの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
第1実施形態に係るホログラム生成装置1では、画角付き物体光算出手段20において、1次複素振幅面(z=z)を、複数のカメラCの画角によって覆われる領域に隙間がない被写体空間上の平面であって、カメラCの画角が互いに重なることがない平面とした(図3参照)。また、第2実施形態に係るホログラム生成装置1Bでは、画角付き物体光算出手段20Bにおいて、1次複素振幅面(z=z)を、複数のカメラCのうちで少なくとも2台のカメラCの画角が重複する距離平面であって、その重複領域に隙間がない被写体空間上の平面とした(図9参照)。
【0125】
しかし、この1次複素振幅面の位置は、この2箇所に限定されず、複数のカメラCからの画角によって覆われる領域に隙間がなく、かつ、カメラCの画角が互いに重なることがない被写体空間上の平面またはそれよりも遠方であればよい。このとき、少なくとも2台のカメラCの画角が重複する領域に隙間がある場合は、第1実施形態のように、統合物体光算出手段30によって、2次複素振幅面(z=z)を、少なくとも2台のカメラCの画角が重複する位置に設定して、1次複素振幅面から2次複素振幅面まで、複素振幅をフレネル逆変換すればよい。
【0126】
また、1次複素振幅面において、すでに、少なくとも2台のカメラCの画角が重複する領域に隙間がない場合は、第2実施形態のように、1次複素振幅面と2次複素振幅面とを同一として、その重複領域の複素振幅を加算して、統合物体光複素振幅分布とすればよい。もちろん、この場合であっても、ホログラム生成面を2次複素振幅面とは異なる位置に設定したい場合は、さらに、フレネル変換を行えば、任意の位置をホログラム面としたホログラムデータを生成することができる。
【0127】
また、ここでは、カメラC(仮想カメラ)を水平方向に設置した例で説明したが、水平方向および垂直方向にそれぞれ複数設置してもよい。これによって、視点を水平方向に移動させた場合と同様に、視点を垂直方向に移動させた場合でも、立体像として物体を視認することが可能なホログラムデータを生成することができる。
【符号の説明】
【0128】
S ホログラム生成システム
1 ホログラム生成装置
10 位相付加手段
20 画角付き物体光算出手段
21 距離別フレネル順変換手段
22 画角付き物体光切り出し手段
23 画角付き物体光加算手段
30 統合物体光算出手段
31 フレネル逆変換手段
32 統合物体光切り出し手段
33 物体光加算手段
40 干渉縞算出手段

【特許請求の範囲】
【請求項1】
複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成装置であって、
前記視点位置ごとに、前記画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する位相付加手段と、
前記視点位置における画角を生成対象のホログラムの最大回折角とし、前記距離情報で特定される距離平面上で前記画角に含まれる前記複素振幅分布に対して、前記距離平面ごとに、前記複数の視点位置からの画角によって覆われる領域に隙間がない被写体空間上の距離平面である1次複素振幅面までの回折演算を行い加算することで、前記視点位置ごとの物体光の複素振幅分布を生成する画角付き物体光算出手段と、
前記1次複素振幅面に生成された複素振幅分布に対して、前記複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である2次複素振幅面までの回折演算を行うことで、統合した物体光の複素振幅分布を生成する統合物体光算出手段と、
前記2次複素振幅面に生成された統合した物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する干渉縞算出手段と、
を備えることを特徴とするホログラム生成装置。
【請求項2】
複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成装置であって、
前記視点位置ごとに、前記画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する位相付加手段と、
前記視点位置における画角を生成対象のホログラムの最大回折角とし、前記距離情報で特定される距離平面上で前記画角に含まれる前記複素振幅分布に対して、前記距離平面ごとに、前記複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である1次複素振幅面までの回折演算を行い加算することで、前記視点位置ごとの物体光の複素振幅分布を生成する画角付き物体光算出手段と、
前記1次複素振幅面に生成された複素振幅分布を、前記画角が重複した領域ごとに加算して、統合した物体光の複素振幅分布を生成する物体光加算手段と、
この物体光加算手段で生成された物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する干渉縞算出手段と、
を備えることを特徴とするホログラム生成装置。
【請求項3】
前記画角付き物体光算出手段は、
前記距離情報で特定される複数の距離平面に対応する画素の複素振幅を、距離平面ごとに、前記1次複素振幅面までフレネル順変換を行い、距離別複素振幅分布を生成する距離別フレネル順変換手段と、
この距離別フレネル順変換手段で生成された距離別複素振幅分布から、前記画角に対応した中央領域の分布を切り出す画角付き物体光切り出し手段と、
この画角付き物体光切り出し手段で切り出された距離別複素振幅分布を距離ごとに加算することで、前記画角に対応する物体光の複素振幅分布を生成する画角付き物体光加算手段と、
を備えることを特徴とする請求項1または請求項2に記載のホログラム生成装置。
【請求項4】
前記統合物体光算出手段は、
前記画角付き物体光算出手段で生成された前記視点位置ごとの複素振幅分布を、前記2次複素振幅面まで、フレネル逆変換を行うフレネル逆変換手段と、
前記2次複素振幅面に生成された複素振幅分布の中央領域の前記画角に対応する分布を切り出す画角付き物体光切り出し手段と、
を備えることを特徴とする請求項1に記載のホログラム生成装置。
【請求項5】
複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成方法であって、
位相付加手段によって、前記視点位置ごとに、前記画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する位相付加ステップと、
前記視点位置における画角を生成対象のホログラムの最大回折角とし、画角付き物体光算出手段によって、前記距離情報で特定される距離平面上で前記画角に含まれる前記複素振幅分布に対して、前記距離平面ごとに、前記複数の視点位置からの画角によって覆われる領域に隙間がない被写体空間上の距離平面である1次複素振幅面までの回折演算を行い加算することで、前記視点位置ごとの物体光の複素振幅分布を生成する画角付き物体光算出ステップと、
統合物体光算出手段によって、前記1次複素振幅面に生成された複素振幅分布に対して、前記複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である2次複素振幅面までの回折演算を行うことで、統合した物体光の複素振幅分布を生成する統合物体光算出ステップと、
干渉縞算出手段によって、前記2次複素振幅面に生成された統合した物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する干渉縞算出ステップと、
を含むことを特徴とするホログラム生成方法。
【請求項6】
複数の視点位置で撮影された2次元画像である画像情報と、当該画像情報の画素ごとに被写体までの距離を対応付けた距離情報とから、ホログラムデータを生成するホログラム生成方法であって、
位相付加手段によって、前記視点位置ごとに、前記画像情報の各画素において、画素値を振幅とし、予め定めた分布の位相を付加することで、各画素位置に複素振幅を対応付けた複素振幅分布を生成する位相付加ステップと、
前記視点位置における画角を生成対象のホログラムの最大回折角とし、画角付き物体光算出手段によって、前記視点位置における画角を生成対象のホログラムの最大回折角とし、前記距離情報で特定される距離平面上で前記画角に含まれる前記複素振幅分布に対して、前記距離平面ごとに、前記複数の視点位置からの画角によって覆われる領域に隙間がなく、かつ、その領域が少なくとも2つ以上の視点位置の画角によって重複して覆われる被写体空間上の距離平面である1次複素振幅面までの回折演算を行い加算することで、前記視点位置ごとの物体光の複素振幅分布を生成する画角付き物体光算出ステップと、
物体光加算手段によって、前記1次複素振幅面に生成された複素振幅分布を、前記画角が重複した領域ごとに加算して、統合した物体光の複素振幅分布を生成する物体光加算ステップと、
干渉縞算出手段によって、前記物体光加算手段で生成された物体光の複素振幅分布と、予め定めた参照光の複素振幅分布とから、ホログラムの干渉縞となるホログラムデータを生成する干渉縞算出ステップと、
を含むことを特徴とするホログラム生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2013−54068(P2013−54068A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−190069(P2011−190069)
【出願日】平成23年8月31日(2011.8.31)
【出願人】(301022471)独立行政法人情報通信研究機構 (1,071)
【Fターム(参考)】