三次元情報統合装置および三次元情報統合プログラム
【課題】複数の三次元情報が互いに重なり合う部分にいわゆるファントム現象を発生させることなく、複数の三次元情報を統合して、一つの三次元情報を生成することが可能な三次元情報統合装置および三次元情報統合プログラムを提供することを目的とする。
【解決手段】本実施形態に係る三次元情報統合装置1は、要素画像分離手段2と、画素記憶手段3と、立体画像奥行き制御手段4と、統合三次元情報記憶手段5、画素値割り当て済み位置記憶手段6と、画素値割り当て手段7と、出力手段8と、を備える。
【解決手段】本実施形態に係る三次元情報統合装置1は、要素画像分離手段2と、画素記憶手段3と、立体画像奥行き制御手段4と、統合三次元情報記憶手段5、画素値割り当て済み位置記憶手段6と、画素値割り当て手段7と、出力手段8と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテグラルフォトグラフィ(Integral Photography:以下IP)方式により複数の要素画像からなる三次元情報(要素画像群)を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置および三次元情報統合プログラムに関する。
【背景技術】
【0002】
一般に、レンズアレイや空間フィルタを通して被写体の三次元情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する手法として、IP方式が知られている。
【0003】
ここで、図16(a)および図16(b)を用いてIP方式に基づく通常の立体画像撮影について説明する。図16(a)に示す立体画像撮影装置は、矢印で示す撮影方向114から、例えば、凸レンズで構成されたレンズ群112を通して被写体111を撮影する。ここで撮影方向114は、立体画像撮影装置がレンズ群112の前方(図16(a)では左方)に配置された被写体111を撮影する方向である。このときレンズ群112の後方(図16(a)では右方)の撮影板113には、レンズ群112を構成する凸レンズの個数と同じ個数だけ被写体111の像、例えば、像115が結像する。ここで、撮影板113は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、CCD(Charge Coupled Device)撮像素子である。
【0004】
図16(b)は、一平面状に凸レンズを配列したレンズ群122と表示素子123により構成される立体画像表示装置、および立体像121、観察方向124、レンズ群の像125を示す図である。ここで、表示素子123には、図16(a)に示した立体画像撮影装置の撮影板113により撮影された像115に対応する像125を表示する。この表示素子123は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置から表示させた結果、図16(b)に示すように、被写体111が存在した場所と同じ場所に立体像121が生成される。ただし、立体像121は逆視像として生成される。すなわち、図16(a)に示すように、撮影方向114から見た場合には、被写体111の円柱が角柱に対して手前に存在している。ところが、図16(b)に示すように、被写体111に対応する立体像121では、観察方向124から見て、角柱が円柱の手前に生成されている。
【0005】
なお、図16(a)、図16(b)には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ(空間フィルタ)を使用しても良い。
【0006】
図16(a)において、被写体111の角柱の大きさ(高さ)をxc、レンズ群112から被写体111の角柱までの距離をzc、レンズ群112から像115が撮影される面までの距離をdc、レンズ群112を構成する凸レンズピッチをpc、レンズ群112を構成する凸レンズにより生成される被写体の像の大きさ(高さ)をkcとする。また、図16(b)において、立体像121の角柱の大きさ(高さ)をxr、レンズ群122から立体像121の角柱までの距離をzr、レンズ群122から像125が表示される面までの距離をdr、レンズ群122を構成する凸レンズピッチをpr、表示素子123に表示される個々の像の大きさ(高さ)をkrとする。この場合、xcとxrの関係は、非特許文献1により式(101)で表される。
【0007】
【数1】
ここで、
【0008】
前記した式(102)の関係から、図16(a)に示した立体画像撮影装置のレンズ群112を構成する凸レンズのピッチpcと、図16(b)に示した立体画像表示装置のレンズ群122を構成する凸レンズのピッチprとを異なるものとすることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。また、同様に、撮影された被写体の像115の大きさkcと、表示する像125の大きさkrとを変化させることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。
【0009】
また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図16(a)に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を図16(b)に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている(特許文献1参照)。
【0010】
特許文献1で開示されている立体画像奥行き変換装置について図17(a)および図17(b)を参照して説明する。図17(a)は、図16(a)で取得した像131、第1の仮想的なレンズアレイ132、仮想的に生成される立体像133、第2の仮想的なレンズアレイ134、第2の仮想的なレンズアレイ134により生成される像135(仮想的に生成された立体像133の像)を示す図である。ここで、像135は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。
【0011】
図17(b)は、図17(a)で演算処理により生成された像141(つまり図16(a)における像135)、一平面状に凸レンズを配列したレンズ群142、立体像143、観察方向144を示す図である。図17(b)に示すように、例えば図16(b)の立体画像表示装置の動作の結果、観察方向144から見て、円柱が角柱に対して手前に観察されることとなる。立体像143は、図16(a)における被写体の奥行き関係と等価である。
【特許文献1】特開2007−114483号公報
【非特許文献1】J. Opt. Soc. Am. A, Vol. 21, pp.951-958, 2004
【発明の開示】
【発明が解決しようとする課題】
【0012】
ところで、近年、より演出効果を高める狙いから、複数の三次元情報を統合し、一つの三次元情報を生成する技術の確立が望まれている。
しかしながら、従来技術では、単一の三次元空間の大きさの比率および奥行き制御処理を行うことができるものの、複数の三次元情報のそれぞれについて大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することができない。また、複数の三次元情報を統合して、一つの三次元情報を生成する際には、一つの三次元情報を立体像として表示させたときに、複数の三次元情報が奥行き方向に互いに重なり合う部分に、いわゆるファントム現象が発生するのを防止することも重要な問題である。
【0013】
かかる事情に鑑み、本発明は、複数の三次元情報が互いに重なり合う部分にいわゆるファントム現象を発生させることなく、複数の三次元情報のそれぞれについて、大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することが可能な三次元情報統合装置および三次元情報統合プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の三次元情報統合装置は、被写体を立体画像として表示するために、インテグラルフォトグラフィ方式により取得した複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するための三次元情報統合装置であって、要素画像分離手段と、画素記憶手段と、立体画像奥行き制御手段と、統合三次元情報記憶手段と、画素値割り当て済み位置記憶手段と、出力手段と、を備えることを特徴とする。
【0015】
かかる構成によれば、三次元情報統合装置は、要素画像分離手段によって、外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する。また、三次元情報統合装置は、要素画像分離手段によって、被写体領域に対応する画素からなる処理対象要素画像群をそれぞれ画素記憶手段に出力して記憶させる。
【0016】
また、三次元情報統合装置は、立体画像奥行き制御手段によって、複数の処理対象要素画像群について、外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に画素記憶手段から読み出し、当該読み出した処理対象要素画像群について大きさの比率および奥行き制御処理を行う。
【0017】
そして、三次元情報統合装置は、統合三次元情報記憶手段によって、立体画像奥行き制御手段により生成された処理済要素画像群を記憶する。そして、三次元情報統合装置は、画素値割り当て済み位置記憶手段によって、立体画像奥行き制御手段から入力された、統合三次元情報記憶手段に画素値が割り当てられた位置を記憶する。
【0018】
ここで、三次元情報統合装置は、二番目以降に統合の処理対象となる処理対象要素画像群については、立体画像奥行き制御手段によって、画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき画素のうち、統合三次元情報記憶手段においてまだ情報が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を統合三次元情報記憶手段の画素に割り当てる。
【0019】
これによれば、複数の三次元情報の大きさの比率および奥行きを操作者の任意で制御して統合することができる。さらに、統合三次元情報において最も手前に配置される被写体の要素画像群から順に、大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段に画素値を割り当てるとともに、奥行き方向に複数の画素値を割り当てないようにしたため、統合三次元情報を立体画像として表示させたときに、複数の被写体が重なり合う部分については、手前に配置される被写体のみが表示されることとなる。これにより、複数の被写体が互いに重なりあう部分に、いわゆるファントム現象が発生することを防止することができる。
【0020】
また、三次元情報統合装置は、全ての処理対象要素画像群についての大きさの比率および奥行き制御の終了後、出力手段によって、統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する。出力先としては、例えば、表示装置や記憶媒体等が該当する。
【0021】
請求項2に記載の三次元情報統合装置は、立体画像奥行き制御手段での全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段において、まだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えることを特徴とする。これにより、統合三次元情報記憶手段の全ての画素に画素値を割り当てることができる。
【0022】
また、請求項3に記載の三次元情報統合プログラムは、複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するために、コンピュータを、要素画像分離手段、画素記憶手段、立体画像奥行き制御手段、統合三次元情報記憶手段、画素値割り当て済み位置記憶手段、出力手段、として機能させることを特徴とする。
【発明の効果】
【0023】
本発明は、以下に示す優れた効果を奏するものである。請求項1および請求項3に記載の発明によれば、複数の三次元情報を統合した統合三次元情報を生成することができる。また、統合三次元情報記憶手段においてすでに画素値が割り当てられた位置には重複して画素値を割り当てないようにしているため、当該統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生しない統合三次元情報を生成することができる。また、複数の被写体の大きさの比率および奥行きを操作者の任意で制御して統合することができる。このため、様々なバリエーションの立体画像を生成することができ、画像の演出効果を高めることができる。さらに、本発明によれば、複数の三次元情報を統合した統合三次元情報を演算により生成することができるため、装置の構成を簡素化することができる。また、請求項2に記載の発明によれば、請求項1に記載の発明の効果に加え、統合三次元情報記憶手段において統合三次元情報が割り当てられない画素にも、画素値を割り当てることができる。
【発明を実施するための最良の形態】
【0024】
以下、本実施形態について、適宜図面を参照しながら詳細に説明する。
[概略]
まず、本実施形態に係る三次元情報統合装置の詳細な説明に先立ち、本発明の概略について図1を参照して簡単に説明する。図1は、本発明の概略を説明するための図であり、複数の三次元情報(要素画像群)を統合して一つの三次元情報(要素画像群)を生成する様子を説明するための説明図である。
【0025】
図1に示すように、要素画像群301および要素画像群302は、フィルムに、ピンホールまたは凸レンズの大きさおよび数に応じた縮小された被写体の倒立像(要素画像)を撮影してなるものである。本実施形態の場合、要素画像群301は、円柱と三角錐からなる被写体および背景を撮影したものであり、要素画像群302は、球体と三角錐からなる被写体および背景を撮影したものである。本発明の三次元情報統合装置は、この要素画像群301の一部、例えば被写体領域と、要素画像群302の一部、例えば被写体領域のそれぞれについて、大きさの比率および奥行き制御処理を行った後に統合し、図1の最右図に示すような統合三次元情報を生成するものである。
【0026】
また、本発明の三次元情報統合装置は、IP方式により被写体を撮影して得られた要素画像群における被写体の大きさおよび奥行きに関わらず、複数の要素画像群のそれぞれの大きさの比率および奥行きを操作者の任意で制御した後に統合することが可能である。
【0027】
[三次元情報統合装置の構成]
以下、図2を参照して、三次元情報統合装置1の構成について説明する。図2は、本実施形態に係る三次元情報統合装置の構成を示すブロック図である。
図2に示すように、本実施形態に係る三次元情報統合装置1は、要素画像分離手段2と、画素記憶手段3と、立体画像奥行き制御手段4と、統合三次元情報記憶手段5と、画素値割り当て済み位置記憶手段6と、画素値割り当て手段7と、出力手段8と、を備えている。
【0028】
要素画像分離手段2は、外部から入力された操作信号に基づいて、IP方式で撮影された複数の三次元情報(要素画像群)を受け取り、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離するものである。
【0029】
要素画像分離手段2は、例えば、映像信号の色・輝度成分を利用するものや、被写体の奥行き情報を利用するものが該当する。映像信号の色成分を利用する手法としては、クロマキー技術を利用することができる。これは、ある特定の色(キー信号)の背景の前面に被写体を配置して三次元情報を生成し、外部から入力された操作信号に基づいて、個々の要素画像から特定の色を有する映像信号のみをキー信号として分離し、キー信号以外の映像信号のみを抽出するものである。これによれば、所望の奥行き範囲に存在する被写体領域(キー信号以外の映像信号)とそれ以外の領域(キー信号)を分離することができる。
【0030】
また、被写体の奥行き情報を利用する手法では、個々の要素画像から被写体の奥行き情報を算出し、算出した奥行き情報を用いて、所望の奥行き範囲に存在する被写体領域とそれ以外の領域を分離することができる。
複数の要素画像群のそれぞれについて、操作者により入力手段を介して所望の奥行き範囲が入力されると、要素画像分離手段2が、算出された奥行き情報に基づいて、個々の要素画像から当該奥行き範囲に存在する画素を抽出することにより、所望の奥行き範囲に存在する被写体領域とそれ以外の領域(背景領域)を分離できるようになっている。複数の被写体が重なり合っている場合には、複数の被写体を全て抽出するか、あるいは、一番手前の被写体のみを抽出する。要素画像分離手段2によって分離された所望の奥行き範囲に存在する被写体に対応する画素は、処理対象要素画像群として画素記憶手段3に出力され、記憶される。
【0031】
ここで、外部から入力された操作信号とは、本実施形態では、入力手段20を介した操作者による三次元情報統合装置1への所定の操作信号の入力をいう。入力手段20とは、例えば、コンピュータのキーボード等が該当し、所定の操作信号の入力とは、例えば、コンピュータのキーボードの操作等が該当する。例えば、被写体の奥行き情報を利用する手法では、コンピュータのキーボードで奥行き範囲の数値を入力することが該当する。
【0032】
画素記憶手段3は、要素画像分離手段2から入力された所望の奥行き範囲に存在する被写体領域に対応する画素で構成される複数の処理対象要素画像群を記憶するものである。この画素記憶手段3は、例えば、ハードディスクや光メモリ、磁気ディスク等であって、画像を記憶するのに十分な容量を有するものが使用される。
【0033】
立体画像奥行き制御手段4は、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、読み出した処理対象要素画像群の大きさの比率および奥行き制御を行うものである。
【0034】
ここで、外部から入力された操作信号とは、例えば、入力手段20がコンピュータのキーボードの場合、統合三次元情報での被写体の奥行き位置を表す数値などが該当する。
例えば、操作者が、奥行値“0”や奥行値“51”などの任意の数値を入力することにより、統合三次元情報での被写体の奥行き位置が決定される。
【0035】
立体画像奥行き制御手段4における被写体に対応する画素の大きさの比率および奥行きの制御処理は、処理対象となる被写体の大きさや奥行きを利用して行うことができる。処理対象となる被写体の大きさや奥行きの情報は、三次元情報が生成されたときの被写体の大きさや奥行きの情報を予め取得し、これを用いても良い。また、特開2002−51358号公報に示すように、要素画像群から算出された被写体の奥行き情報を用いても良い。
【0036】
立体画像奥行き制御手段4としては、例えば、特開2007−114483号公報に記載のような立体画像奥行き変換装置を用いることができる。
次に、図3および適宜図4を参照して、本実施形態に係る立体画像奥行き制御手段4の構成について詳細に説明する。図3は、本実施形態に係る立体画像奥行き制御手段の構成を示すブロック構成図、図4は、本実施形態に係る立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【0037】
なお、立体画像奥行き制御手段4に入力される要素画像群は、立体画像撮影装置(図示せず)において、CCD等によって撮影された映像信号、あるいは、計算機によって生成された、CCDと等価な映像信号である。本実施形態に係る立体画像奥行き変換手段4は、図4に示すような、光学系による立体画像の奥行き制御を演算で行うものである。
【0038】
図3に示すように、立体画像奥行き制御手段4は、分配手段41と、要素画像分の要素画像変換手段42、奥行き変換手段43および要素画像再生手段44と、加算手段45とを備えている。
【0039】
分配手段41は、入力された要素画像群を要素画像単位に分割するものである。ここで、分配手段41は、入力された要素画像群における第1の要素画像面11aの表示面に表示される処理対象要素画像群のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、m番目の要素画像に予め対応付けられている要素画像変換手段42に出力する。なお、ここで、光波とは、画素値を光の波動として扱った場合の振幅と位相を複素数で表したものである。
【0040】
要素画像変換手段(処理対象要素画像光波変換手段)42は、要素画像の光波を、予め定めた焦点距離となる要素レンズ(仮想のピンホールまたはレンズ)を通した際の光波に変換するものである。ここでは、要素画像変換手段42は、光波計算手段42aと、位相シフト手段42bとを備えている。
【0041】
光波計算手段42aは、要素画像の光波をフレネル近似(Fresnel diffraction)することで、要素レンズ(仮想のピンホールまたはレンズ)に入射する光波を演算するものである。光波計算統合手段42aから出力された光波は、位相シフト手段42bに出力される。
【0042】
位相シフト手段42bは、光波計算手段42aから入力された要素画像の光波(Ri,m(xo,m,yo,m))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。
この要素画像ごとの光波(Ro,m(xo,m,yo,m))は、奥行き変換手段43に出力される。
【0043】
奥行き変換手段43は、要素画像変換手段42で変換された光波を、予め定めた焦点距離となる仮想の奥行き制御レンズL(凸レンズ)を通した際の光波に変換するものである。ここでは、奥行き変換手段43は、位相シフト手段43aと、再分配手段43bとを備えている。
位相シフト手段43aは、要素画像変換手段42で変換された光波の位相を仮想の凸レンズに相当する位相分だけシフトさせた光波を演算するものである。
【0044】
再分配手段43bは、位相シフト手段43aから入力された要素画像ごとの光波(Rd,m(xo,m,yo,m))から、第2の仮想的な開口群12bの開口部(要素レンズ)に入射する光波を演算するものである。
この第2の仮想的な開口群12bの開口部ごとの光波(Rp,n,m(xp,n,yp,n))は、要素画像再生手段44に出力される。
【0045】
要素画像再生手段(処理済要素画像光波変換手段)44は、奥行き変換手段43で変換された光波を、予め定めた焦点距離となる要素レンズ(仮想のピンホールまたはレンズ)を通した際の光波に変換するものである。ここでは、要素画像再生手段44は、位相シフト手段44aと、光波計算手段44bとを備えている。
【0046】
位相シフト手段44aは、奥行き変換手段43で変換された光波(Rp,n,m(xp,n,yp,n))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。
【0047】
光波計算手段44bは、要素レンズごとの光波をフレネル近似することで、要素レンズ(仮想のピンホールまたはレンズ)から出射し、第2の要素画像面12aの撮影面に到達する光波を演算するものである。
【0048】
加算手段45は、要素画像再生手段44から出力された要素画像ごとの光波から、その光波電力の総和を演算することで、奥行き変換処理が施された映像信号、すなわち、第2要素画像群(処理済要素画像群)となる映像信号を生成するものである。また、加算手段45は、光波電力の総和を演算する際に、画素値割り当て済み位置記憶手段6を参照し、統合三次元情報記憶手段5において画素値が割り当てられた位置に対応する画素については、演算を行わない。
【0049】
このように構成された立体画像奥行き制御手段4は、演算により、立体画像として表示される再生像の奥行きを変化させた画像(処理済要素画像群)を生成することができる。
また、立体画像奥行き制御手段4は、大きさの比率および奥行き制御処理を行った処理済要素画像群の画素値を統合三次元情報記憶手段5に出力し、記憶させる。
【0050】
さらに、立体画像奥行き制御手段4は、統合三次元情報記憶手段5において画素値が割り当てられた位置の情報を画素値割り当て済み位置記憶手段6に出力し、記憶させる。例えば、立体画像奥行き制御手段4は、統合三次元情報記憶手段5において画素値が割り当てられた画素と対応する画素値割り当て済み位置記憶手段6の画素に“1”を割り当て、統合三次元情報記憶手段5において画素値が割り当てられていない画素と対応する画素値割り当て済み位置記憶手段の画素には“0”を割り当てる。
【0051】
図2に戻って、統合三次元情報記憶手段5は、立体画像奥行き制御手段4から入力された、大きさの比率および奥行きが制御された画素を記憶するものである。統合三次元情報記憶手段5は、立体画像奥行き制御手段4から入力された処理済要素画像群を全て記憶可能な容量を有している。
【0052】
画素値割り当て済み位置記憶手段6は、立体画像奥行き制御手段4から入力された、統合三次元情報記憶手段5に画素値が割り当てられた位置を記憶する。画素値割り当て済み位置記憶手段6は、統合三次元情報記憶手段5に画素値が割り当てられた位置を全て記憶可能な容量を有している。
【0053】
画素値割り当て手段7は、全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段5においてまだ画素値が割り当てられていない画素に画素値を割り当てるものである。出力手段8は、統合三次元情報記憶手段5に記憶された統合三次元情報を外部へ出力するものである。出力先は、例えば、表示装置や記憶媒体等である。なお、画素値割り当て手段7は、設けなくても良い。この場合、統合三次元情報記憶手段5において統合三次元情報が割り当てられない画素については、画素値を割り当てない(映像信号を0とする)。
【0054】
[三次元情報統合装置の動作]
以下、図5ないし図8および適宜図2ないし図4を参照して、本実施形態に係る三次元情報統合装置1の動作を説明する。具体的には、異なる三次元空間に配置された被写体同士を統合する際の三次元情報統合装置1の動作を説明する。
参照する図5は、本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図、図6は、画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図、図7(a)〜(e)は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、(f)〜(h)は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図、図8は、本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。なお、図7(a)および(f)に示すように、統合三次元情報記憶手段5および画素値割り当て済み位置記憶手段6は、初期状態であるものとする。
【0055】
図2および図5に示すように、外部から複数の要素画像群30が入力されると、三次元情報統合装置1は、要素画像分離手段2によって、外部から入力された操作信号に基づき、複数の要素画像群30(要素画像群301〜要素画像群30n)についてそれぞれ、個々の要素画像から所望の奥行き範囲に存在する被写体領域とそれ以外の範囲に存在する領域を分離する。
【0056】
例えば、図5に示すように、要素画像群303において、操作信号により指定された奥行き範囲に存在する三角形と、三角形と一部重なり合って奥に配置される四角形からなる被写体領域と、それ以外の範囲に存在する領域(図5で薄いグレーで表された背景領域)を分離する。また、要素画像群30nにおいて、操作信号により指定された奥行き範囲に存在する円形の被写体領域と、それ以外の範囲に存在する領域(三角形の被写体領域および濃いグレーで表された背景領域)を分離する。
そして、要素画像分離手段2は、このようにして複数の要素画像群30からそれぞれ分離された複数の処理対象要素画像群31(処理対象要素画像群311〜処理対象要素画像群31n)を画素記憶手段3に出力し、順次記憶させる(ステップS1)。
【0057】
図2および図6に示すように、三次元情報統合装置1は、立体画像奥行き制御手段4によって、外部から入力された操作信号により特定された順番に従って、画素記憶手段3に記憶された複数の処理対象要素画像群31を読み出す。ここでいう順番とは、操作者により任意に決定された、統合三次元情報における複数の被写体の奥行き方向の並び順であり、立体画像奥行き制御手段4は、複数の処理対象要素画像群31のうち、統合三次元情報において最も手前に配置される被写体に対応づけられた処理対象要素画像群から順に画素記憶手段3から読み出す(ステップS2)。
【0058】
例えば、本実施形態では、図6左図に示すように、画素記憶手段3によって、処理対象要素画像群311〜処理対象要素画像群31nが記憶されているところ、立体画像奥行き制御手段4によって、操作信号により指定された順、例えば、本実施形態では図6右図に示すように、処理対象要素画像群313、処理対象要素画像群31n、処理対象要素画像群311・・処理対象要素画像群312の順に読み出す。なお、複数の処理対象要素画像群の処理順序は、全ての処理対象要素画像群について一度に決定しても良いし、一つの処理対象要素画像群についての処理が終了する都度、次に処理を行う処理対象要素画像群を決定するようにしても良い。
【0059】
次に、三次元情報統合装置1は、立体画像奥行き制御手段4によって、画素値割り当て済み位置記憶手段6から、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置を読み出す(ステップS3)。
【0060】
そして、立体画像奥行き制御手段4は、処理対象要素画像群313の大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段5に制御後の画素値を割り当てる(ステップS4)。ただし、立体画像奥行き制御手段4は、画素値割り当て済み位置記憶手段6を参照した結果、処理対象要素画像群313の大きさの比率および奥行き制御処理を行った後の画素値が割り当てられるべき画素にすでに他の処理済要素画像群の画素値が割り当てられている場合には、当該割り当て済み画素に対応する位置の画素を除いて、処理済要素画像群323を生成する。
【0061】
すなわち、立体画像奥行き制御手段4は、次のように動作する。立体画像奥行き制御手段4は、分配手段41によって、入力された映像信号における第1の要素画像面11aの表示面に表示される処理対象要素画像群313のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、m番目の要素画像に予め対応付けられている要素画像変換手段42に出力する。
【0062】
立体画像奥行き制御手段4は、光波計算手段42aによって、第1の仮想的な開口群11bのm番目の開口部(要素レンズ等)に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(2)により要素画像ごとの光波(Ri,m(xo,m,yo,m))を演算する。
【0063】
【数2】
【0064】
ここで、xs,m、xo,mは、それぞれ画像全体(処理対象要素画像群)におけるm番目の要素画像の中心のx座標、第1の仮想的な開口群11bのm番目の開口部の光軸中心からのx座標である。また、ys,m、yo,mは、それぞれ画像全体(処理対象要素画像群)におけるm番目の要素画像の中心のy座標、第1の仮想的な開口群11bのm番目の開口部の光軸中心からのy座標である。また、f1は第1の仮想的な開口群11bの開口部(要素レンズ)の焦点距離、kは波数2π/λ(λは波長)である。
この要素画像ごとの光波(Ri,m(xo,m,yo,m))は、位相シフト手段42bに出力される。
【0065】
立体画像奥行き制御手段4は、位相シフト手段42bによって、以下の式(3)に示すように、要素レンズに相当する位相分だけ光波(Ri,m(xo,m,yo,m))をシフトさせることで、要素レンズから出射する光波に相当する信号(光波Ro,m(xo,m,yo,m))を演算する。
【0066】
【数3】
【0067】
この要素画像ごとの光波(Ro,m(xo,m,yo,m))は、奥行き変換手段43に出力される。
立体画像奥行き制御手段4は、奥行き変換手段43の位相シフト手段43aによって、以下の(4)式に示すように、奥行き制御レンズLに相当する位相分だけ光波(Ro,m(xo,m,yo,m))をシフトさせることで、奥行き制御レンズLから出射する光波に相当する信号(光波Rd,m(xo,m,yo,m))を演算する。
【0068】
【数4】
【0069】
ここで、x0,y0は奥行き制御レンズLの光学中心からの距離である。また、第1の仮想的な開口群11bの開口部(要素レンズ)のピッチをPとすると、xo=xo,m+mP、yo=yo,m+mPの関係が成り立つ。
この位相シフト手段43aで演算された要素画像ごとの光波(Rd,m(xo,m,yo,m))は、再分配手段43bに出力される。
【0070】
位相シフト手段43aで演算された光波(Rd,m(xo,m,yo,m))は、m番目の要素レンズに到達するだけではなく、周辺の要素レンズにも到達することになる。そこで、再分配手段43bは、位相シフト手段43aから入力された要素画像ごとの光波(Rd,m(xo,m,yo,m))が、第2の仮想的な開口群12bの開口部(要素レンズ)に分配された結果となるn番目の要素レンズに到達した光波(Rp,n,m(xp,n,yp,n))を、一般的なフレネル近似を用いて、以下の式(5)により演算する。
【0071】
【数5】
【0072】
ここで、xp,n、yp,nは、それぞれn番目の第2の仮想的な開口群12bの開口部(要素レンズ)の光学中心からのx座標、y座標である。また、Ldは奥行き制御レンズLと第2の仮想的な開口群12bとの距離である。
この第2の仮想的な開口群12bの開口部ごとの光波(Rp,n,m(xp,n,yp,n))は、要素画像再生手段44に出力される。
【0073】
立体画像奥行き制御手段4は、要素画像再生手段44の位相シフト手段44aによって、奥行き変換手段43で変換された光波(Rp,n,m(xp,n,yp,n))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段44aは、以下の式(6)に示すように、要素レンズに相当する位相分だけ光波(Rp,n,m(xp,n,yp,n))をシフトさせることで、要素レンズから出射する光波に相当する信号(光波Rr,n,m(xo,m,yo,m))を演算する。
【0074】
【数6】
【0075】
ここで、f2は第2の仮想的な開口群12bの開口部(要素レンズ)の焦点距離である。この要素レンズごとの光波(Rr,n,m(xp,n,yp,n))は、光波計算手段44bに出力される。
【0076】
立体画像奥行き制御手段4は、要素画像再生手段44の光波計算手段44bによって、以下の式(7)により、n番目の要素レンズから出射されて第2の要素画像面12aの撮影面に到達する光波(Re,n,m(xe,n,ye,n))を演算する。
【0077】
【数7】
【0078】
ここで、xe,n、ye,nは、それぞれ要素画像の中心からのx座標、y座標である。この光波計算手段44bで演算された光波(Re,n,m(xe,n,ye,n))は、加算手段45に出力される。
【0079】
ところで、要素画像再生手段44から出力される第2の要素画像面12aの撮影面に到達する光波(Re,n,m(xe,n,ye,n))の電力は、光の振幅の2乗で表すことができる。また、処理対象要素画像群313の各要素画像として発せられた光波は、インコヒーレント(波長や位相が一定ではない)であるため、光波の位相は無相関であるとみなすことができる。
【0080】
そこで、立体画像奥行き制御手段4は、加算手段45によって、処理対象要素画像群313の各要素画像(−M〜M)として発せられた光波の電力の総和を、以下の式(8)により演算することで、処理対象要素画像群313の一つの要素画像(式(8)ではn番目の要素画像)の電力を求め、その電力に比例した映像信号を出力する。
【0081】
【数8】
【0082】
本実施形態では、画素値割り当て済み位置記憶手段6を参照すると、図7(f)に示すように、現時点では、統合三次元情報記憶手段5の全ての画素に画素値が割り当てられていない状態であることがわかるため、加算手段45によって、処理対象要素画像群313の全ての画素について、光波の電力の総和を求める。これにより、図7(b)に示すような処理済要素画像群323が生成されるので、立体画像奥行き制御手段4は、統合三次元情報記憶手段5に出力し、記憶させる。
【0083】
このようにして、三次元情報統合装置1は、立体画像奥行き制御手段4によって、処理対象要素画像群313の光をあたかも光学的に表示して再撮影したかのような演算処理を実行する。また、光波は、開口のピッチが異なる二つの仮想的な開口群(第1の仮想的な開口群11bと第2の仮想的な開口群12b)を通過するので、被写体の大きさから変化させた自由な大きさの再生像を表示させる処理済要素画像群を生成することができる。
【0084】
三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(g)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる(ステップS6)。
【0085】
なお、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、当該画素を除いて処理済要素画像群を生成する。処理対象要素画像群31nの処理を行う場合を例にとって説明する。画素値割り当て済み位置記憶手段6を参照すると、図7(g)に示すように、統合三次元情報記憶手段5には、すでに処理済要素画像群323が割り当てられていることがわかる。このため、加算手段45によって、大きさの比率および奥行き制御を行った処理対象要素画像群31nから、処理済要素画像群323が割り当てられている画素に対応する位置の画素を除いて、光波の電力の総和を求める。このようにして、図7(c)に示すように、統合三次元情報記憶手段5に処理済要素画像群323が割り当てられている位置に対応する画素を除いて処理済要素画像群32nを生成する。
【0086】
三次元情報統合装置1は、図7(c)に示すように、立体画像奥行き制御手段4によって、生成した処理済要素画像群32nを統合三次元情報記憶手段5に出力し、記憶させる。なお、図7(c)では、見易さのため、すでに割り当てられている処理済要素画像群323については、破線で表示している。また、三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(h)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群32nが割り当てられた位置)の情報を出力し、記憶させる。
【0087】
また、三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(g)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる(ステップS6)。
【0088】
このようにして、全ての処理対象要素画像群についての処理が終了するまでステップS2からステップS6を繰り返す。
【0089】
そして、全ての処理対象要素画像群について処理が終了した場合(ステップS7でYes)、立体画像奥行き制御手段4は、画素値割り当て手段7へ処理の終了を通知する制御信号を出力する。
【0090】
画素値割り当て手段7は、立体画像奥行き制御手段4から制御信号が入力されると、画素値割り当て済み位置記憶手段6から、統合三次元情報記憶手段5において画素値が割り当てられた画素を読み出す(ステップS8)。
【0091】
そして、外部から入力された操作信号に基づき、図7(d)に示すように、統合三次元情報記憶手段5に画素値が割り当てられていない画素に画素値を割り当てる(ステップS9)。例えば、操作者が単色の背景となる三次元空間を構築する場合には、所望の単色情報を情報が割り当てられていない画素に割り当てる。なお、画素値割り当て手段7を設けない場合には、統合三次元情報記憶手段5に画素値が割り当てられていない画素に画素値を割り当てない。このようにして、図7(e)に示すように、統合三次元情報が生成される。
そして、統合三次元情報記憶手段5は、統合三次元情報を出力手段8へ出力する。
【0092】
出力手段8は、統合三次元情報記憶手段5から入力された統合三次元情報を外部へ出力する(ステップS10)。
以上が、三次元情報統合装置1の一連の動作である。
【0093】
なお、本発明は、この構成に限定されるものではない。例えば、本実施形態では、要素画像群から被写体の奥行き情報を算出したが、これに限られず、三次元情報を計算機で生成する場合には、被写体の大きさや奥行き位置情報を予め取得しておいても良いし、三次元情報をCCD等によって撮影された映像信号から生成する場合には、変調された赤外光等を被写体に照射することにより被写体の奥行き情報を取得してもよいことはもちろんである。
【0094】
また例えば、立体画像の奥行き制御手段として、前記した立体画像奥行き制御手段4に替えて、次に説明する立体画像奥行き制御手段4Bを用いても良い。
[立体画像奥行き制御手段の構成の概要]
図9を参照して立体画像奥行き制御手段の他の構成例を説明する。図9は、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【0095】
立体画像奥行き制御手段4Bは、立体画像として表示されたときに被写体の凹凸が反転した再生像となる処理対象要素画像群(以下、「第1要素画像群」ともいう。)の光波を変換し、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる処理済要素画像群(以下、「第2要素画像群」ともいう。)を生成するものである。なお、立体画像奥行き制御手段4Bは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、処理を行う。この立体画像奥行き制御手段4Bに入力される第1要素画像群は、立体画像撮影装置(図示せず)において、CCD等の撮像素子によって撮影された映像信号である。この立体画像奥行き制御手段4Bで生成された第2要素画像群は、立体画像表示装置(図示せず)に出力される。
【0096】
図9に示すように、立体画像奥行き制御手段4Bは、分配手段41Bと、第1要素画像変換手段42Bと、加算手段43Bと、再分配手段44Bと、第2要素画像変換手段45Bと、結合手段46Bとを備えている。立体画像奥行き制御手段4Bは、図10に示すような、光学系による立体画像の奥行き制御を演算で行うものである。
【0097】
分配手段41Bは、第1要素画像群の光波を要素画像毎に分配するものである。ここでは、分配された要素画像をm(−M≦m≦M)で識別することとする。第1要素画像変換手段42Bは、この分配された例えば(2M+1)個の要素画像毎に機能する。そして、分配された要素画像mは、その後、加算手段43Bで加算され、再分配手段44Bで再び分配される。このとき再分配された要素画像をn(−N≦n≦N)で識別することとする。第2要素画像変換手段45Bは、この再分配された例えば(2N+1)個の要素画像毎に機能する。そして、再分配された要素画像nは、その後、結合手段46Bで結合され処理済要素画像群(第2要素画像群)が生成されることとなる。
【0098】
[立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要]
次に、本実施形態の立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要について図10を参照(適宜図9参照)して説明する。図10は、立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。図9に示す第1要素画像変換手段42Bは、分配手段41Bで分配された要素画像の光波を、第1の仮想的な開口群11Bb(図10参照)を通過して第2の仮想的な開口群12Bb(図10参照)へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。また、開口群を構成する要素(開口)は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を図10に示すように凸レンズ(要素レンズ)で表すこととする。また、図10に示すように、第1の仮想的な開口群11Bbと第2の仮想的な開口群12Bbとは所定距離Lだけ離間している。図10のように第1の仮想的な開口群11Bbが仮想的なレンズアレイであれば、この所定距離Lは、要素レンズの焦点距離とすることができる。なお、第1および第2の仮想的な開口群11Bb,12Bbは実際には存在せず、立体画像奥行き制御手段4Bが演算処理を行うために想定したものである。
【0099】
図10において、第1要素画像群の光波は、第1の要素画像面11Baから出射して、図10において厚み方向を示した平面状の第1および第2の仮想的な開口群11Bb,12Bbを、左から右へ通過して第2の要素画像面12Baに入射する。また、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は第1要素画像群(第1の要素画像面11Ba)から第1の仮想的な開口群11Bbまでの距離を示す。同様に、k2は第2要素画像群におけるn番目の要素画像の領域を示し、d2は第2の仮想的な開口群12Bbから第2要素画像群(第2の要素画像面12Ba)までの距離を示す。
【0100】
また、図10において、p1は第1の仮想的な開口群11Bbを形成する要素レンズのピッチを示し、p2は第2の仮想的な開口群12Bbを形成する要素レンズのピッチを示す。本実施形態では、以下の式(9)で表わされるピッチの比ΦをΦ≠1として設定する。つまり、第1および第2の仮想的な開口群11Bb,12Bbの要素レンズ(開口)のピッチは異なる。なお、図10では、Φ<1の状態が図示されているが、Φ>1と設定してもよい。
【0101】
【数9】
【0102】
[立体画像奥行き制御手段の詳細な構成]
分配手段41Bは、入力された映像信号(第1要素画像群の光波)を要素画像単位に分割する。入力された映像信号(第1の要素画像面11Baから出射する光波)は、第1要素画像群を構成する各要素画像の光波の束に相当し、これを第1要素画像群t1と表記することとする。この分配手段41Bは、入力された映像信号における第1要素画像群t1のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、このm番目の要素画像に予め対応付けられている第1要素画像変換手段42Bに出力する。ここで、xs,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のx座標を示す。同様に、ys,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のy座標を示す。
【0103】
第1要素画像変換手段42Bは、図9に示すように、光波計算手段42Baと、位相シフト手段42Bbと、光波計算手段42Bcとを備えている。
光波計算手段42Baは、要素画像の光波から、フレネル近似に基づいて、第1の仮想的な開口群11Bb(図10参照)を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段42Baは、第1の仮想的な開口群11Bbのm番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(10)により要素画像毎の光波(Ri,m(xo,m,yo,m))を演算する。
【0104】
【数10】
【0105】
ここで、xo,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yo,mは、第1の仮想的な開口群11Bbの要素レンズ群のm番目の開口部の光軸中心を原点とした場合のy座標である。また、f1は、第1の仮想的な開口群11Bbの要素レンズの焦点距離を示す。また、kは、波数2π/λ(λは光波の波長)である。この要素画像毎の光波(Ri,m(xo,m,yo,m))は、位相シフト手段42Bbに出力される。
【0106】
位相シフト手段42Bbは、入力された要素画像の光波(Ri,m(xo,m,yo,m))から、位相を、第1の仮想的な開口群11Bbの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段42Bbは、以下の式(11)に示すように、光波(Ri,m(xo,m,yo,m))を、第1の仮想的な開口群11Bbの要素レンズに相当する位相分だけシフトさせることで、第1の仮想的な開口群11Bbの要素レンズから出射する光波に相当する信号(Ro,m(xo,m,yo,m))を演算する。この光波(Ro,m(xo,m,yo,m))は、光波計算手段42Bcへ出力される。
【0107】
【数11】
【0108】
光波計算手段42Bcは、第1の仮想的な開口群11Bbの要素レンズから出射する光波、すなわち、位相シフト手段42Bbから入力された要素画像の光波(Ro,m(xo,m,yo,m))をフレネル近似することで、第2の仮想的な開口群12Bb(図10参照)の要素レンズに入射する光波を演算するものである。つまり、光波計算手段42Bcは、第2の仮想的な開口群12Bbの要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(12)により要素画像毎の光波(Rd,m(xd,m,yd,m))を演算する。この要素画像毎の光波(Rd,m(xd,m,yd,m))は加算手段43Bへ出力される。
【0109】
【数12】
【0110】
式(12)において、xd,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群12Bbの入射面におけるx座標である。同様に、yd,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群12Bbの入射面におけるy座標を示す。また、Lは、第1の仮想的な開口群11Bbと第2の仮想的な開口群12Bbとの距離である。また、積分計算を実施する範囲は、m番目の要素画像(要素画像(m))の拡がる範囲と等価に設定することとする。第1要素画像群におけるm番目の要素画像が広がる範囲wの一例を図11に示す。この場合、第1要素画像群におけるm番目の要素画像が広がる範囲wは式(13)で表わされる。なお、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は処理対象要素画像群(第1の要素画像面11Ba)から第1の仮想的な開口群11Bbまでの距離を示す。
【0111】
【数13】
【0112】
加算手段43Bは、第1要素画像変換手段42Bで変換されたそれぞれの要素画像の光波を、分配手段41Bで分配された数だけ、第2の仮想的な開口群12Bbの入射面で加算するものである。加算手段43Bは、第1の仮想的な開口群11Bbの要素レンズの画角に対応する光波を加算する。この加算手段43Bは、第1の仮想的な開口群11Bbの要素レンズから出射されて第2の仮想的な開口群12Bbの要素レンズの入射面に到達する光波(Rd,m(xd,m,yd,m))を、第2の仮想的な開口群12Bbの領域内で加算する。つまり、第2の仮想的な開口群12Bbの入射面での光波に相当する信号として、以下の式(14)により、第2の仮想的な開口群12Bbの入射面での光波(Rp(xp,yp))を演算する。
【0113】
【数14】
【0114】
ここで、xpは、第2の仮想的な開口群12Bbの中心を原点とした場合のx座標であり、同様に、ypは、第2の仮想的な開口群12Bbの中心を原点とした場合のy座標である。この光波(Rp(xp,yp))は再分配手段44Bへ出力される。
【0115】
再分配手段44Bは、加算手段43Bで加算された光波を、第2要素画像群を構成する要素画像毎に再分配するものである。この再分配手段44Bは、加算手段43Bから入力された光波(Rp(xp,yp))を要素画像単位に分割する。光波(Rp(xp,yp))を再分配した要素画像ごとの光波として、第2の仮想的な開口群12Bbを構成するn番目の要素レンズに対応する光波を、(Rp,n(xp,n,yp,n))とする。ここで、再分配手段14は、第2の仮想的な開口群12Bbを構成する各要素レンズに入力された光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群12Bbを横成するn番目の要素レンズに予め対応付けられている第2要素画像変換手段45Bに出力する。
【0116】
第2要素画像変換手段45Bは、再分配手段44Bで分配された要素画像の光波を、第2の仮想的な開口群12Bbを通過して結像するまでの距離だけ伝搬した光波に変換するものである。この第2要素画像変換手段45Bは、再分配手段44Bから入力された光波を、第2の仮想的な開口群12Bbの要素レンズ(焦点距離f2)の開口領域に再分配した後、その要素レンズ(焦点距離f2)を通過する光波に変換し、さらに、その要素レンズの焦点距離f2だけ光波を伝搬させる。第2要素画像変換手段45Bは、例えば(2N+1)個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第2要素画像群が構成されることとなる。これを第2要素画像群t2と表記することとする。つまり、第2要素画像変換手段45Bは、第2要素画像群t2を演算する。第2要素画像変換手段45Bは、図9に示すように、位相シフト手段45Baと、光波計算手段45Bbとを備えている。
【0117】
位相シフト手段45Baは、再分配手段44Bから入力された光波(Rp,n(xp,n,yp,n))から、位相を、第2の仮想的な開口群12Bbの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段45Baは、以下の式(15)に示すように、光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群12Bbの要素レンズに相当する位相分だけシフトさせることで、第2の仮想的な開口群12Bbの要素レンズから出射する光波に相当する信号(Rr,n(xp,n,yp,n))を演算する。
【0118】
【数15】
【0119】
ここで、xp,nは、第2の仮想的な開口群12Bbのn番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yp,nは、第2の仮想的な開口群12Bbのn番目の要素レンズの光軸中心を原点とした場合のy座標である。また、f2は、第2の仮想的な開口群12Bbの要素レンズの焦点距離である。この要素画像毎の光波(Rr,n(xp,n,yp,n))は、光波計算手段45Bbへ出力される。
【0120】
光波計算手段45Bbは、第2の仮想的な開口群12Bbの要素レンズ毎の光波をフレネル近似することで、第2の仮想的な開口群12Bbの要素レンズから出射し、第2の要素画像面12Ba(図10参照)に到達する光波を演算するものである。すなわち、光波計算手段45Bbは、以下の式(16)により、第2の仮想的な開口群12Bbのn番目の要素レンズから出射されて第2の要素画像面12Baに到達する光波(Re,n(xe,n,ye,n))を演算する。
【0121】
【数16】
【0122】
ここで、xe,nは、出力画像全体(第2要素画像群)におけるn番目の要素画像の中心からのx座標である。同様に、ye,nは出力画像全体におけるn番目の要素画像の中心からのy座標である。この光波計算手段45Bbで演算された光波(Re,n(xe,n,ye,n))は結合手段46Bへ出力される。
【0123】
結合手段46Bは、第2要素画像変換手段45Bで変換された光波を、再分配手段44Bで再分配された数だけ結合することで、第2要素画像群を生成するものである。この結合手段46Bは、第2要素画像変換手段45Bから出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第2要素画像群t2となる映像信号を生成する。この結合手段46Bで得られた第2要素画像群t2は、立体画像表示装置(図示せず)へ出力される。
【0124】
ここで、第2要素画像変換手段45Bから出力される第2の要素画像面12Baに到達する光波(Re,n(xe,n,ye,n))の電力は、光の振幅の2乗で表わすことができる。また、第1要素画像群t1の各要素画像として発せられた光波は、インコヒーレント(波長や位相が一定ではない)であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段46Bは、以下の式(17)に示すように、第2の要素画像面12Baに到達する各要素画像の光波(例えばn番目の要素画像であればその光波は(Re,n(xe,n,ye,n))である)の2乗を計算し、その和をとることで、第2要素画像群t2全体の映像信号を得る。
【0125】
【数17】
【0126】
このとき、立体画像奥行き制御手段4Bは、画素値割り当て済み位置記憶手段6から統合三次元情報記憶手段5においてすでに画素値が割り当てられている画素の情報を取得し、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がない場合、結合手段46Bによって、第1要素画像群(例えば、図6に示す処理対象要素画像群313)の全ての画素について、光波の電力の総和を求める。これにより、第2要素画像群(図7に示す処理済要素画像群323)が生成されるので、立体画像奥行き制御手段4Bは、統合三次元情報記憶手段5に出力し、記憶させる。
【0127】
一方、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、結合手段45Bによって、当該画素を除いた光波の電力の総和を求める。
【0128】
立体画像奥行き制御手段4Bは、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(例えば、処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる。その他の構成の動作は、前記した三次元情報統合装置1と同様であるので、記載を省略する。
【0129】
[再生像の大きさの比率制御]
立体画像奥行き制御手段4Bは、前記のように詳細に説明した構成を備えており、前記した式(9)で表わされるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。仮に、立体画像奥行き制御手段4Bの処理を行わない場合、つまり、第1および第2の仮想的な開口群11Bb,12Bbを用いない場合には、被写体の大きさxc(図16(a)参照)と再生される立体像の大きさxr(図16(b)参照)との関係は、前記した式(101)の通りである。このように立体画像奥行き制御手段4Bを用いない場合、前記した式(101)において、α=γとすると、被写体の大きさxc(図16(a)参照)と、再生される立体像の大きさxr(図16(b)参照)との関係は、以下の式(18)で表わされることとなる。
【0130】
【数18】
【0131】
つまり、図9において、立体画像奥行き制御手段4Bを無視して、要素レンズのピッチpc(図16(a)参照)と、要素レンズのピッチpr(図16(b)参照)とが等しい場合には、被写体の大きさxc(図16(a)参照)と、再生像される立体像の大きさxr(図16(b)参照)とは等しくなってしまう。一方、立体画像奥行き制御手段4Bを用いた場合には、被写体の大きさxc(図16(a)参照)と、再生される立体像の大きさxr(図16(b)参照)との関係は、以下の式(19)で表わされる。
【0132】
【数19】
【0133】
つまり、図9において、要素レンズのピッチpc(図16(a)参照)と、要素レンズのピッチpr(図16(b)参照)とが仮に等しかったとしても、第1の仮想的な開口群11Bbの要素レンズのピッチp1(図10参照)と、第2の仮想的な開口群12Bbの要素レンズのピッチp2(図10参照)とを制御することで、被写体の大きさxc(図16(a)参照)に対する再生される立体像の大きさxr(図16(b)参照)を変化させることが可能となる。
【0134】
なお、説明の都合上、前記した式(18)および式(19)の説明において、前記した式(101)においてαとγとが等しい場合について記述したが、本発明では、前記した式(101)においてα≠γとしてもよい。同様に、要素レンズのピッチpcと、要素レンズのピッチprとが等しい場合について記述したが、pc≠prとしてもよい。
【0135】
このような立体画像奥行き制御手段4Bによれば、第1要素画像群t1を、各要素画像mの光波が、第1および第2の仮想的な開口群11Bb,12Bbを通過したものとして演算処理することで、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第2要素画像群t2へと変換することができる。したがって、このように演算処理で立体像の大きさを変化できるので、従来のようにレンズ等の撮影および表示に用いる光学的な装置を変更する必要がない。また、立体画像奥行き制御手段4Bによれば、演算処理により、被写体を複数の要素画像として撮影した要素画像群としての画像から発せられる光を再度撮影した場合と等価な画像を生成することができる。さらに、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることが可能となる。
【0136】
なお、立体画像奥行き制御手段4Bは、演算回路によって実現することも可能であるし、中央演算処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。
【0137】
なお、前記した立体画像奥行き制御手段4、4Bはそれぞれ、波動光学的手法を用いて立体画像の奥行きを制御するものであるが、これに限られるものではなく、幾何光学的手法を用いても良い。以下、幾何光学的手法により立体画像の奥行きを制御する立体画像奥行き制御手段4Cについて説明する。
【0138】
図12に示すのは、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図および要素画像群撮像装置の構成例を模式的に示した模式図である。
立体画像奥行き制御手段4Cは、予め設定された要素画像群撮像装置50の要素レンズ群51と撮像手段52の撮像面との距離g1、および、隣接する2要素レンズL1、L1のピッチp1の情報に基づいて、被写体の処理対象要素画像群(以下、「第1要素画像群」ともいう)を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる処理済要素画像群(以下、「第2要素画像群」ともいう)に変換するものである。なお、
要素画像群撮像装置50と立体画像奥行き制御手段4Cの間には、図示しないが、要素画像分離手段2(図2参照)と画素記憶手段3(図2参照)が配置されている。
立体画像奥行き制御手段4Cは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、処理を行う。ここでは、立体画像奥行き制御手段4Cは、第2要素画像生成手段47を備える。
【0139】
第2要素画像生成手段47は、要素画像群撮像装置50によって撮像された第1要素画像群(例えば、図6に示す処理対象要素画像群313)を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる第2要素画像群(図7に示す処理対象要素画像群323)に変換するものである。第2要素画像生成手段47は、立体情報割当手段47aと、立体情報補間手段47bとを備える。
【0140】
なお、ここでは、要素画像群撮像装置50によって撮像された第1要素画像群313の各画素の輝度値の情報は、画素記憶手段3(図2参照)に記憶されていることとし、第2要素画像生成手段47が、画素記憶手段3(図2参照)から、各画素の輝度値の情報を読み出すこととした。
【0141】
ここで、図13を参照(適宜図12参照)して、第2要素画像生成手段47が第1要素画像群313を変換する方法について説明する。図13は、奥行き変換手段の第1要素画像群の変換方法を説明するための説明図である。
【0142】
図13に示すように、第2要素画像生成手段47は、第1要素画像群313を仮想的に表示する第1の要素画像面11Caと、要素レンズ群31と要素レンズL1のピッチp1の同じ仮想的な複数の仮想要素レンズである第1の仮想的な開口L1’が同一平面上に配列された第1の仮想的な開口群11Cbと、この第1の仮想的な開口群11Cbによって仮想的に再生された立体像(図示せず)の像I、I、…を結像する仮想要素レンズである第2の仮想的な開口L2’が同一平面上に配列された第2の仮想的な開口群12Cbと、像Iからなる第2要素画像群323が仮想的に結像する第2の要素画像面12Caとを仮想的に(計算によって)設定する。そして、第2要素画像生成手段47は、要素画像群撮像装置50によって撮像された第1要素画像群313の各々の画素の輝度値(画素値)に基づいて、第1の要素画像面11Caに仮想的に表示された第1要素画像群313からの光が、第1の仮想的な開口群11Cbおよび第2の仮想的な開口群12Cbを介して第2の要素画像面12Caに結像して生成される第2要素画像群323上の画素の輝度値を算出することで、第2要素画像群323を生成することとした。
【0143】
ここで、第1の要素画像面11Caと第1の仮想的な開口群11Cbとの距離g1は、要素画像群撮像装置50の要素レンズ群51と撮像手段52との撮像面(図示せず)との距離g1に等しい。また、第1の仮想的な開口L1’と、第2の仮想的な開口L2’とは、光軸が平行である。一方、第1の仮想的な開口L1’と、第2の仮想的な開口L2’とは、ピッチp1、p2が等しくても異なっていてもよく、第1の要素画像面11Caと第1の仮想的な開口群11Cbとの距離g1、および、第2の仮想的な開口群12Cbと第2の要素画像面12Caとの距離g2も、等しくても異なっていても良い。
【0144】
なお、図13では、図12の被写体Sの位置に第2の仮想的な開口L2’が配置される場合を例に示したが、第2要素画像生成手段47は、第2の仮想的な開口群12Cbと第2の要素画像面12Caとを、第1の仮想的な開口群11Cbから出射された第1の要素画像面11Caの第1要素画像群313からの光の仮想的な光路上において任意の位置に設定することができる。そして、第2要素画像生成手段47によって、第1の仮想的な開口群11Cbから出射された光の仮想的な光路上において設定された第2の仮想的な開口群12Cbおよび第2の要素画像面12Caから被写体Sの位置に相当する位置までの距離に応じて、立体画像表示装置(図示せず)によって表示される立体像(図示せず)の立体画像表示装置(図示せず)からの奥行き方向の距離が定まる。このように、第2要素画像生成手段47は、第2の仮想的な開口群12Cbと第2の要素画像面12Caとを、立体像を表示する奥行き方向の位置に対応する位置に設定することで、立体像をこの奥行き方向の位置に表示することができる第2要素画像群323を生成することができる。
【0145】
さらに、第2要素画像生成手段47は、第1の仮想的な開口群11Cbから出射された第1の要素画像面11Caの第1要素画像群313からの光を、第2の仮想的な開口群12Cbによって第2の要素画像面12Caに仮想的に結像させた第2要素画像群323を生成するため、この第2要素画像群323は、図12の要素画像群撮像装置50の撮影方向とは逆向きの撮影方向から撮像されたものとなる。これによって、第2要素画像生成手段47は、立体画像表示装置(図示せず)によって被写体Sと比較して奥行きの位置関係の正しい立体像(図示せず)を表示することができる。
【0146】
図12に戻って説明を続ける。立体情報割当手段(割当手段)47aは、要素画像群撮像装置50によって撮像された第1要素画像群313の各々の画素の輝度値を、当該画素からの光が、第1の仮想的な開口群11Cbおよび第2の仮想的な開口群12Cbを介して第2の要素画像面12Caに結像する第2要素画像群323上の画素の輝度値とするものである。
【0147】
ここで、図14を参照して、立体情報割当手段47aが第1要素画像群313の各々の画素の輝度値を第2要素画像群323上の画素に割り当てる方法について説明する。図14は、立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図である。
【0148】
図14に示すように、立体情報割当手段47aが、第1の要素画像面11Caと、第1の仮想的な開口群11Cbと、第2の仮想的な開口群12Cbと、第2の要素画像面12Caとを仮想的に設定し、第1要素画像群313には被写体Saの像Ia1、Ia2が含まれているとする。そして、第1要素画像群313の像Ia1の画素から第1の仮想的な開口L1’の中心を通過する仮想的な光(以下、仮想光線という)が、第2の仮想的な開口L2’の中心を通過する場合には、立体情報割当手段47aは、この仮想光線と第2の要素画像面12Caとの交点に当たる第2要素画像群323の画素に、この第1要素画像群313の画素の輝度値を割り当てる。
【0149】
一方、第1要素画像群313の像Ia2の画素から第1の仮想的な開口L1’の中心を通過する仮想光線が、第2の仮想的な開口L2’の中心を通過しない場合には、立体情報割当手段47aは、この仮想光線に平行で、当該第2の仮想的な開口L2’の中心を通過する線と第2の要素画像面12Caとの交点に当たる第2要素画像群323の画素に、この第1要素画像群313の画素の輝度値を割り当てる。
【0150】
図12に戻って説明を続ける。立体情報補間手段47bは、立体情報割当手段47aによって輝度値の割り当てられていない第2要素画像群323の画素の輝度値を、当該画素の近傍の画素の輝度値に基づいて補間して算出するものである。
【0151】
ここで、図15を参照して、立体情報補間手段47bが近傍の画素の輝度値に基づいて、第2要素画像群323の画素の輝度値を補間して算出する方法について説明する。図15は、立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図であり、(a)は、仮想的に設定された第1の要素画像面と、第1の仮想的な開口群と、第2の仮想的な開口群と、第2の要素画像面と、第2要素画像群に仮想的に含まれる像とを模式的に示す模式図、(b)は、(a)におけるAに示した部分を拡大して示した、第2要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。
【0152】
図15(a)に示すように、第1要素画像群313には、異なる被写体(図示せず)の像Ia、Ibが含まれているとする。そして、立体情報割当手段47aによって、第1要素画像群313の像Iaの画素に対応する第2要素画像群323の画素と、第1要素画像群313の像Ibの画素に対応する第2要素画像群323の画素とに、各々対応する第1要素画像群313の画素の輝度値が割り当てられていることとする。また、図15(b)に示すように、この像Ia、Ib(図15(a)参照)の画素Pa、Pbの間の画素Pcには、立体情報割当手段47aによって輝度値が割り当てられていないこととする。
【0153】
そうすると、立体情報補間手段47bは、画素Pcの上下の画素Pa、Pbの輝度値に基づいて、画素Pcの輝度値mcを、以下の式(20)によって算出する。ここで、ma、mbは、画素Pa、Pbの輝度値であり、a、bは、画素Pcからの画素Pa、Pbまでの距離である。
【0154】
【数20】
【0155】
なお、ここでは、立体情報補間手段47bが、画素Pcの上下の画素Pa、Pbの輝度値に基づいて、式(20)に示す一次元の補間式を用いて補間する場合について説明したが、補間対象となる画素Pcの上下左右や斜めにある画素(図示せず)の輝度値に基づいて補間することとしてもよい。このとき、立体情報補間手段47bは、例えば、井上誠喜他、「C言語で学ぶ実践画像処理」、オーム社、1999、p.149に記載されるような、二次元に拡張した補間式を用いて補間することができる。
【0156】
また、立体情報補間手段47bが、城戸健一、「ディジタル信号処理入門」、丸善、1985、p.31−35に記載されるような、離散的なデータ列から連続的なデータ関数を生成する標本化関数を用いて、画素ごとの離散的な輝度値の情報を連続的な情報として、補間対象となる画素Pcの輝度値を求めることとしてもよい。
【0157】
このようにして生成された第2仮想要素画像群323は、立体画像奥行き制御手段4Cによって、統合三次元情報記憶手段5に出力される。また、立体画像奥行き制御手段4Cは、統合三次元情報記憶手段5において画素値が割り当てられた画素の位置が画素値割り当て済み位置記憶手段6に出力する。このようにして、全ての処理対象要素画像群についての処理が終了するまで、同様の処理を繰り返す。なお、二番目以降に処理対象となる処理対象要素画像群については、立体画像奥行き制御手段4Cは、画素値割り当て済み位置記憶手段6を参照し、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、立体情報割当手段47aおよび立体情報補間手段47bで、当該画素を除いて演算を行う。
【0158】
そして、全ての処理対象要素画像群についての処理を終了後、立体画像奥行き制御手段4Cは、処理の終了を知らせる制御信号を画素値割り当て手段7に出力する。なお、画素値割り当て手段7を設けない場合には、当該信号を出力しない。
【0159】
以上説明したような立体画像奥行き制御手段4Cによれば、第2の仮想的な開口群12Cbの、第1要素画像群および第1の仮想的な開口群11Cbに対する位置に応じて、再生時の立体像の奥行き方向の距離が定まるので、第2の仮想的な開口群12Cbの位置を調整することで、立体像を所望の奥行き方向の位置に表示させることができる第2要素画像群を生成することができる。
【0160】
なお、立体画像奥行き制御手段4Cは、演算回路によって実現することも可能であるし、中央演算処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。
【0161】
以上説明したように、三次元情報統合装置1によれば、複数の三次元情報を統合した一つの三次元情報(統合三次元情報)を生成することができる。また、複数の三次元情報についてそれぞれ操作者の任意の大きさの比率および奥行きに制御した状態で統合することができる。
【0162】
さらに、三次元情報統合装置1によれば、統合三次元情報記憶手段5の画素に複数の画素値が割り当てられない、すなわち、複数の被写体が互いに重なり合う部分には、最も手前に配置される被写体に対応する処理対象要素画像群のみ割り当てるため、統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生することを防止できる。
【0163】
加えて、三次元情報統合装置1によれば、処理対象要素画像群のうち、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に割り当てられる画素を除いて処理済要素画像群を生成するため、演算量を削減することができ、処理速度を向上させることができる。
【0164】
なお、前記した実施形態では、異なる三次元空間の被写体同士を統合する手法について説明したが、同一の三次元空間の被写体同士を統合する場合には、大きさの比率および奥行きの制御を行わなくても良い。
【0165】
以上説明した三次元情報統合装置1は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラム(三次元情報統合プログラム)により動作させることで実現することも可能である。以上説明したように、本発明は、再生像の大きさの比率および奥行きの制御処理を光学系ではなく演算により行うことで、装置を小型化することができる効果を奏することになる。
【図面の簡単な説明】
【0166】
【図1】本発明の概略を説明するための図であり、複数の三次元情報(要素画像群)を統合して一つの三次元情報(要素画像群)を生成する様子を説明するための説明図である。
【図2】本実施形態に係る三次元情報統合装置の構成を示すブロック図である。
【図3】本実施形態に係る三次元情報統合装置における立体画像奥行き制御手段の構成を示すブロック構成図である。
【図4】本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【図5】本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図である。
【図6】画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図である。
【図7】(a)〜(e)は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、(f)〜(h)は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図である。
【図8】本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。
【図9】本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【図10】立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。
【図11】立体画像奥行き制御手段の演算処理で用いる積分範囲の例を模式的に示す説明図である。
【図12】本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【図13】奥行き変換手段の第1要素画像群の変換方法を説明するための説明図である。
【図14】立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図である。
【図15】立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図であり、(a)は、仮想的に設定された第1の要素画像面と、第1の仮想的な開口群と、第2の仮想的な開口群と、第2の要素画像面と、処理済要素画像群に仮想的に含まれる像とを模式的に示す模式図、(b)は、(a)におけるAに示した部分を拡大して示した、第2要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。
【図16】従来のIP方式による立体画像の撮影および再生を模式的に示す説明図であり、(a)は、立体画像撮影装置、(b)は、立体画像表示装置をそれぞれ示している。
【図17】従来の逆視を回避する方法を模式的に示す説明図であり、(a)は、撮影で取得された情報を交換する立体画像奥行き制御手段、(b)は、変換された像を表示する立体画像表示装置をそれぞれ示している。
【符号の説明】
【0167】
1 三次元情報統合装置
2 要素画像分離手段
3 画素記憶手段
4 立体画像奥行き制御手段
41 分配手段
42 要素画像変換手段
43 奥行き変換手段
44 要素画像再生手段
45 加算手段
5 統合三次元情報記憶手段
6 画素値割り当て済み位置記憶手段
7 未処理画素割り当て手段
8 出力手段
【技術分野】
【0001】
本発明は、インテグラルフォトグラフィ(Integral Photography:以下IP)方式により複数の要素画像からなる三次元情報(要素画像群)を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置および三次元情報統合プログラムに関する。
【背景技術】
【0002】
一般に、レンズアレイや空間フィルタを通して被写体の三次元情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する手法として、IP方式が知られている。
【0003】
ここで、図16(a)および図16(b)を用いてIP方式に基づく通常の立体画像撮影について説明する。図16(a)に示す立体画像撮影装置は、矢印で示す撮影方向114から、例えば、凸レンズで構成されたレンズ群112を通して被写体111を撮影する。ここで撮影方向114は、立体画像撮影装置がレンズ群112の前方(図16(a)では左方)に配置された被写体111を撮影する方向である。このときレンズ群112の後方(図16(a)では右方)の撮影板113には、レンズ群112を構成する凸レンズの個数と同じ個数だけ被写体111の像、例えば、像115が結像する。ここで、撮影板113は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、CCD(Charge Coupled Device)撮像素子である。
【0004】
図16(b)は、一平面状に凸レンズを配列したレンズ群122と表示素子123により構成される立体画像表示装置、および立体像121、観察方向124、レンズ群の像125を示す図である。ここで、表示素子123には、図16(a)に示した立体画像撮影装置の撮影板113により撮影された像115に対応する像125を表示する。この表示素子123は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置から表示させた結果、図16(b)に示すように、被写体111が存在した場所と同じ場所に立体像121が生成される。ただし、立体像121は逆視像として生成される。すなわち、図16(a)に示すように、撮影方向114から見た場合には、被写体111の円柱が角柱に対して手前に存在している。ところが、図16(b)に示すように、被写体111に対応する立体像121では、観察方向124から見て、角柱が円柱の手前に生成されている。
【0005】
なお、図16(a)、図16(b)には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ(空間フィルタ)を使用しても良い。
【0006】
図16(a)において、被写体111の角柱の大きさ(高さ)をxc、レンズ群112から被写体111の角柱までの距離をzc、レンズ群112から像115が撮影される面までの距離をdc、レンズ群112を構成する凸レンズピッチをpc、レンズ群112を構成する凸レンズにより生成される被写体の像の大きさ(高さ)をkcとする。また、図16(b)において、立体像121の角柱の大きさ(高さ)をxr、レンズ群122から立体像121の角柱までの距離をzr、レンズ群122から像125が表示される面までの距離をdr、レンズ群122を構成する凸レンズピッチをpr、表示素子123に表示される個々の像の大きさ(高さ)をkrとする。この場合、xcとxrの関係は、非特許文献1により式(101)で表される。
【0007】
【数1】
ここで、
【0008】
前記した式(102)の関係から、図16(a)に示した立体画像撮影装置のレンズ群112を構成する凸レンズのピッチpcと、図16(b)に示した立体画像表示装置のレンズ群122を構成する凸レンズのピッチprとを異なるものとすることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。また、同様に、撮影された被写体の像115の大きさkcと、表示する像125の大きさkrとを変化させることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。
【0009】
また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図16(a)に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を図16(b)に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている(特許文献1参照)。
【0010】
特許文献1で開示されている立体画像奥行き変換装置について図17(a)および図17(b)を参照して説明する。図17(a)は、図16(a)で取得した像131、第1の仮想的なレンズアレイ132、仮想的に生成される立体像133、第2の仮想的なレンズアレイ134、第2の仮想的なレンズアレイ134により生成される像135(仮想的に生成された立体像133の像)を示す図である。ここで、像135は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。
【0011】
図17(b)は、図17(a)で演算処理により生成された像141(つまり図16(a)における像135)、一平面状に凸レンズを配列したレンズ群142、立体像143、観察方向144を示す図である。図17(b)に示すように、例えば図16(b)の立体画像表示装置の動作の結果、観察方向144から見て、円柱が角柱に対して手前に観察されることとなる。立体像143は、図16(a)における被写体の奥行き関係と等価である。
【特許文献1】特開2007−114483号公報
【非特許文献1】J. Opt. Soc. Am. A, Vol. 21, pp.951-958, 2004
【発明の開示】
【発明が解決しようとする課題】
【0012】
ところで、近年、より演出効果を高める狙いから、複数の三次元情報を統合し、一つの三次元情報を生成する技術の確立が望まれている。
しかしながら、従来技術では、単一の三次元空間の大きさの比率および奥行き制御処理を行うことができるものの、複数の三次元情報のそれぞれについて大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することができない。また、複数の三次元情報を統合して、一つの三次元情報を生成する際には、一つの三次元情報を立体像として表示させたときに、複数の三次元情報が奥行き方向に互いに重なり合う部分に、いわゆるファントム現象が発生するのを防止することも重要な問題である。
【0013】
かかる事情に鑑み、本発明は、複数の三次元情報が互いに重なり合う部分にいわゆるファントム現象を発生させることなく、複数の三次元情報のそれぞれについて、大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することが可能な三次元情報統合装置および三次元情報統合プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の三次元情報統合装置は、被写体を立体画像として表示するために、インテグラルフォトグラフィ方式により取得した複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するための三次元情報統合装置であって、要素画像分離手段と、画素記憶手段と、立体画像奥行き制御手段と、統合三次元情報記憶手段と、画素値割り当て済み位置記憶手段と、出力手段と、を備えることを特徴とする。
【0015】
かかる構成によれば、三次元情報統合装置は、要素画像分離手段によって、外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する。また、三次元情報統合装置は、要素画像分離手段によって、被写体領域に対応する画素からなる処理対象要素画像群をそれぞれ画素記憶手段に出力して記憶させる。
【0016】
また、三次元情報統合装置は、立体画像奥行き制御手段によって、複数の処理対象要素画像群について、外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に画素記憶手段から読み出し、当該読み出した処理対象要素画像群について大きさの比率および奥行き制御処理を行う。
【0017】
そして、三次元情報統合装置は、統合三次元情報記憶手段によって、立体画像奥行き制御手段により生成された処理済要素画像群を記憶する。そして、三次元情報統合装置は、画素値割り当て済み位置記憶手段によって、立体画像奥行き制御手段から入力された、統合三次元情報記憶手段に画素値が割り当てられた位置を記憶する。
【0018】
ここで、三次元情報統合装置は、二番目以降に統合の処理対象となる処理対象要素画像群については、立体画像奥行き制御手段によって、画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき画素のうち、統合三次元情報記憶手段においてまだ情報が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を統合三次元情報記憶手段の画素に割り当てる。
【0019】
これによれば、複数の三次元情報の大きさの比率および奥行きを操作者の任意で制御して統合することができる。さらに、統合三次元情報において最も手前に配置される被写体の要素画像群から順に、大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段に画素値を割り当てるとともに、奥行き方向に複数の画素値を割り当てないようにしたため、統合三次元情報を立体画像として表示させたときに、複数の被写体が重なり合う部分については、手前に配置される被写体のみが表示されることとなる。これにより、複数の被写体が互いに重なりあう部分に、いわゆるファントム現象が発生することを防止することができる。
【0020】
また、三次元情報統合装置は、全ての処理対象要素画像群についての大きさの比率および奥行き制御の終了後、出力手段によって、統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する。出力先としては、例えば、表示装置や記憶媒体等が該当する。
【0021】
請求項2に記載の三次元情報統合装置は、立体画像奥行き制御手段での全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段において、まだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えることを特徴とする。これにより、統合三次元情報記憶手段の全ての画素に画素値を割り当てることができる。
【0022】
また、請求項3に記載の三次元情報統合プログラムは、複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するために、コンピュータを、要素画像分離手段、画素記憶手段、立体画像奥行き制御手段、統合三次元情報記憶手段、画素値割り当て済み位置記憶手段、出力手段、として機能させることを特徴とする。
【発明の効果】
【0023】
本発明は、以下に示す優れた効果を奏するものである。請求項1および請求項3に記載の発明によれば、複数の三次元情報を統合した統合三次元情報を生成することができる。また、統合三次元情報記憶手段においてすでに画素値が割り当てられた位置には重複して画素値を割り当てないようにしているため、当該統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生しない統合三次元情報を生成することができる。また、複数の被写体の大きさの比率および奥行きを操作者の任意で制御して統合することができる。このため、様々なバリエーションの立体画像を生成することができ、画像の演出効果を高めることができる。さらに、本発明によれば、複数の三次元情報を統合した統合三次元情報を演算により生成することができるため、装置の構成を簡素化することができる。また、請求項2に記載の発明によれば、請求項1に記載の発明の効果に加え、統合三次元情報記憶手段において統合三次元情報が割り当てられない画素にも、画素値を割り当てることができる。
【発明を実施するための最良の形態】
【0024】
以下、本実施形態について、適宜図面を参照しながら詳細に説明する。
[概略]
まず、本実施形態に係る三次元情報統合装置の詳細な説明に先立ち、本発明の概略について図1を参照して簡単に説明する。図1は、本発明の概略を説明するための図であり、複数の三次元情報(要素画像群)を統合して一つの三次元情報(要素画像群)を生成する様子を説明するための説明図である。
【0025】
図1に示すように、要素画像群301および要素画像群302は、フィルムに、ピンホールまたは凸レンズの大きさおよび数に応じた縮小された被写体の倒立像(要素画像)を撮影してなるものである。本実施形態の場合、要素画像群301は、円柱と三角錐からなる被写体および背景を撮影したものであり、要素画像群302は、球体と三角錐からなる被写体および背景を撮影したものである。本発明の三次元情報統合装置は、この要素画像群301の一部、例えば被写体領域と、要素画像群302の一部、例えば被写体領域のそれぞれについて、大きさの比率および奥行き制御処理を行った後に統合し、図1の最右図に示すような統合三次元情報を生成するものである。
【0026】
また、本発明の三次元情報統合装置は、IP方式により被写体を撮影して得られた要素画像群における被写体の大きさおよび奥行きに関わらず、複数の要素画像群のそれぞれの大きさの比率および奥行きを操作者の任意で制御した後に統合することが可能である。
【0027】
[三次元情報統合装置の構成]
以下、図2を参照して、三次元情報統合装置1の構成について説明する。図2は、本実施形態に係る三次元情報統合装置の構成を示すブロック図である。
図2に示すように、本実施形態に係る三次元情報統合装置1は、要素画像分離手段2と、画素記憶手段3と、立体画像奥行き制御手段4と、統合三次元情報記憶手段5と、画素値割り当て済み位置記憶手段6と、画素値割り当て手段7と、出力手段8と、を備えている。
【0028】
要素画像分離手段2は、外部から入力された操作信号に基づいて、IP方式で撮影された複数の三次元情報(要素画像群)を受け取り、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離するものである。
【0029】
要素画像分離手段2は、例えば、映像信号の色・輝度成分を利用するものや、被写体の奥行き情報を利用するものが該当する。映像信号の色成分を利用する手法としては、クロマキー技術を利用することができる。これは、ある特定の色(キー信号)の背景の前面に被写体を配置して三次元情報を生成し、外部から入力された操作信号に基づいて、個々の要素画像から特定の色を有する映像信号のみをキー信号として分離し、キー信号以外の映像信号のみを抽出するものである。これによれば、所望の奥行き範囲に存在する被写体領域(キー信号以外の映像信号)とそれ以外の領域(キー信号)を分離することができる。
【0030】
また、被写体の奥行き情報を利用する手法では、個々の要素画像から被写体の奥行き情報を算出し、算出した奥行き情報を用いて、所望の奥行き範囲に存在する被写体領域とそれ以外の領域を分離することができる。
複数の要素画像群のそれぞれについて、操作者により入力手段を介して所望の奥行き範囲が入力されると、要素画像分離手段2が、算出された奥行き情報に基づいて、個々の要素画像から当該奥行き範囲に存在する画素を抽出することにより、所望の奥行き範囲に存在する被写体領域とそれ以外の領域(背景領域)を分離できるようになっている。複数の被写体が重なり合っている場合には、複数の被写体を全て抽出するか、あるいは、一番手前の被写体のみを抽出する。要素画像分離手段2によって分離された所望の奥行き範囲に存在する被写体に対応する画素は、処理対象要素画像群として画素記憶手段3に出力され、記憶される。
【0031】
ここで、外部から入力された操作信号とは、本実施形態では、入力手段20を介した操作者による三次元情報統合装置1への所定の操作信号の入力をいう。入力手段20とは、例えば、コンピュータのキーボード等が該当し、所定の操作信号の入力とは、例えば、コンピュータのキーボードの操作等が該当する。例えば、被写体の奥行き情報を利用する手法では、コンピュータのキーボードで奥行き範囲の数値を入力することが該当する。
【0032】
画素記憶手段3は、要素画像分離手段2から入力された所望の奥行き範囲に存在する被写体領域に対応する画素で構成される複数の処理対象要素画像群を記憶するものである。この画素記憶手段3は、例えば、ハードディスクや光メモリ、磁気ディスク等であって、画像を記憶するのに十分な容量を有するものが使用される。
【0033】
立体画像奥行き制御手段4は、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、読み出した処理対象要素画像群の大きさの比率および奥行き制御を行うものである。
【0034】
ここで、外部から入力された操作信号とは、例えば、入力手段20がコンピュータのキーボードの場合、統合三次元情報での被写体の奥行き位置を表す数値などが該当する。
例えば、操作者が、奥行値“0”や奥行値“51”などの任意の数値を入力することにより、統合三次元情報での被写体の奥行き位置が決定される。
【0035】
立体画像奥行き制御手段4における被写体に対応する画素の大きさの比率および奥行きの制御処理は、処理対象となる被写体の大きさや奥行きを利用して行うことができる。処理対象となる被写体の大きさや奥行きの情報は、三次元情報が生成されたときの被写体の大きさや奥行きの情報を予め取得し、これを用いても良い。また、特開2002−51358号公報に示すように、要素画像群から算出された被写体の奥行き情報を用いても良い。
【0036】
立体画像奥行き制御手段4としては、例えば、特開2007−114483号公報に記載のような立体画像奥行き変換装置を用いることができる。
次に、図3および適宜図4を参照して、本実施形態に係る立体画像奥行き制御手段4の構成について詳細に説明する。図3は、本実施形態に係る立体画像奥行き制御手段の構成を示すブロック構成図、図4は、本実施形態に係る立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【0037】
なお、立体画像奥行き制御手段4に入力される要素画像群は、立体画像撮影装置(図示せず)において、CCD等によって撮影された映像信号、あるいは、計算機によって生成された、CCDと等価な映像信号である。本実施形態に係る立体画像奥行き変換手段4は、図4に示すような、光学系による立体画像の奥行き制御を演算で行うものである。
【0038】
図3に示すように、立体画像奥行き制御手段4は、分配手段41と、要素画像分の要素画像変換手段42、奥行き変換手段43および要素画像再生手段44と、加算手段45とを備えている。
【0039】
分配手段41は、入力された要素画像群を要素画像単位に分割するものである。ここで、分配手段41は、入力された要素画像群における第1の要素画像面11aの表示面に表示される処理対象要素画像群のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、m番目の要素画像に予め対応付けられている要素画像変換手段42に出力する。なお、ここで、光波とは、画素値を光の波動として扱った場合の振幅と位相を複素数で表したものである。
【0040】
要素画像変換手段(処理対象要素画像光波変換手段)42は、要素画像の光波を、予め定めた焦点距離となる要素レンズ(仮想のピンホールまたはレンズ)を通した際の光波に変換するものである。ここでは、要素画像変換手段42は、光波計算手段42aと、位相シフト手段42bとを備えている。
【0041】
光波計算手段42aは、要素画像の光波をフレネル近似(Fresnel diffraction)することで、要素レンズ(仮想のピンホールまたはレンズ)に入射する光波を演算するものである。光波計算統合手段42aから出力された光波は、位相シフト手段42bに出力される。
【0042】
位相シフト手段42bは、光波計算手段42aから入力された要素画像の光波(Ri,m(xo,m,yo,m))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。
この要素画像ごとの光波(Ro,m(xo,m,yo,m))は、奥行き変換手段43に出力される。
【0043】
奥行き変換手段43は、要素画像変換手段42で変換された光波を、予め定めた焦点距離となる仮想の奥行き制御レンズL(凸レンズ)を通した際の光波に変換するものである。ここでは、奥行き変換手段43は、位相シフト手段43aと、再分配手段43bとを備えている。
位相シフト手段43aは、要素画像変換手段42で変換された光波の位相を仮想の凸レンズに相当する位相分だけシフトさせた光波を演算するものである。
【0044】
再分配手段43bは、位相シフト手段43aから入力された要素画像ごとの光波(Rd,m(xo,m,yo,m))から、第2の仮想的な開口群12bの開口部(要素レンズ)に入射する光波を演算するものである。
この第2の仮想的な開口群12bの開口部ごとの光波(Rp,n,m(xp,n,yp,n))は、要素画像再生手段44に出力される。
【0045】
要素画像再生手段(処理済要素画像光波変換手段)44は、奥行き変換手段43で変換された光波を、予め定めた焦点距離となる要素レンズ(仮想のピンホールまたはレンズ)を通した際の光波に変換するものである。ここでは、要素画像再生手段44は、位相シフト手段44aと、光波計算手段44bとを備えている。
【0046】
位相シフト手段44aは、奥行き変換手段43で変換された光波(Rp,n,m(xp,n,yp,n))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。
【0047】
光波計算手段44bは、要素レンズごとの光波をフレネル近似することで、要素レンズ(仮想のピンホールまたはレンズ)から出射し、第2の要素画像面12aの撮影面に到達する光波を演算するものである。
【0048】
加算手段45は、要素画像再生手段44から出力された要素画像ごとの光波から、その光波電力の総和を演算することで、奥行き変換処理が施された映像信号、すなわち、第2要素画像群(処理済要素画像群)となる映像信号を生成するものである。また、加算手段45は、光波電力の総和を演算する際に、画素値割り当て済み位置記憶手段6を参照し、統合三次元情報記憶手段5において画素値が割り当てられた位置に対応する画素については、演算を行わない。
【0049】
このように構成された立体画像奥行き制御手段4は、演算により、立体画像として表示される再生像の奥行きを変化させた画像(処理済要素画像群)を生成することができる。
また、立体画像奥行き制御手段4は、大きさの比率および奥行き制御処理を行った処理済要素画像群の画素値を統合三次元情報記憶手段5に出力し、記憶させる。
【0050】
さらに、立体画像奥行き制御手段4は、統合三次元情報記憶手段5において画素値が割り当てられた位置の情報を画素値割り当て済み位置記憶手段6に出力し、記憶させる。例えば、立体画像奥行き制御手段4は、統合三次元情報記憶手段5において画素値が割り当てられた画素と対応する画素値割り当て済み位置記憶手段6の画素に“1”を割り当て、統合三次元情報記憶手段5において画素値が割り当てられていない画素と対応する画素値割り当て済み位置記憶手段の画素には“0”を割り当てる。
【0051】
図2に戻って、統合三次元情報記憶手段5は、立体画像奥行き制御手段4から入力された、大きさの比率および奥行きが制御された画素を記憶するものである。統合三次元情報記憶手段5は、立体画像奥行き制御手段4から入力された処理済要素画像群を全て記憶可能な容量を有している。
【0052】
画素値割り当て済み位置記憶手段6は、立体画像奥行き制御手段4から入力された、統合三次元情報記憶手段5に画素値が割り当てられた位置を記憶する。画素値割り当て済み位置記憶手段6は、統合三次元情報記憶手段5に画素値が割り当てられた位置を全て記憶可能な容量を有している。
【0053】
画素値割り当て手段7は、全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段5においてまだ画素値が割り当てられていない画素に画素値を割り当てるものである。出力手段8は、統合三次元情報記憶手段5に記憶された統合三次元情報を外部へ出力するものである。出力先は、例えば、表示装置や記憶媒体等である。なお、画素値割り当て手段7は、設けなくても良い。この場合、統合三次元情報記憶手段5において統合三次元情報が割り当てられない画素については、画素値を割り当てない(映像信号を0とする)。
【0054】
[三次元情報統合装置の動作]
以下、図5ないし図8および適宜図2ないし図4を参照して、本実施形態に係る三次元情報統合装置1の動作を説明する。具体的には、異なる三次元空間に配置された被写体同士を統合する際の三次元情報統合装置1の動作を説明する。
参照する図5は、本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図、図6は、画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図、図7(a)〜(e)は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、(f)〜(h)は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図、図8は、本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。なお、図7(a)および(f)に示すように、統合三次元情報記憶手段5および画素値割り当て済み位置記憶手段6は、初期状態であるものとする。
【0055】
図2および図5に示すように、外部から複数の要素画像群30が入力されると、三次元情報統合装置1は、要素画像分離手段2によって、外部から入力された操作信号に基づき、複数の要素画像群30(要素画像群301〜要素画像群30n)についてそれぞれ、個々の要素画像から所望の奥行き範囲に存在する被写体領域とそれ以外の範囲に存在する領域を分離する。
【0056】
例えば、図5に示すように、要素画像群303において、操作信号により指定された奥行き範囲に存在する三角形と、三角形と一部重なり合って奥に配置される四角形からなる被写体領域と、それ以外の範囲に存在する領域(図5で薄いグレーで表された背景領域)を分離する。また、要素画像群30nにおいて、操作信号により指定された奥行き範囲に存在する円形の被写体領域と、それ以外の範囲に存在する領域(三角形の被写体領域および濃いグレーで表された背景領域)を分離する。
そして、要素画像分離手段2は、このようにして複数の要素画像群30からそれぞれ分離された複数の処理対象要素画像群31(処理対象要素画像群311〜処理対象要素画像群31n)を画素記憶手段3に出力し、順次記憶させる(ステップS1)。
【0057】
図2および図6に示すように、三次元情報統合装置1は、立体画像奥行き制御手段4によって、外部から入力された操作信号により特定された順番に従って、画素記憶手段3に記憶された複数の処理対象要素画像群31を読み出す。ここでいう順番とは、操作者により任意に決定された、統合三次元情報における複数の被写体の奥行き方向の並び順であり、立体画像奥行き制御手段4は、複数の処理対象要素画像群31のうち、統合三次元情報において最も手前に配置される被写体に対応づけられた処理対象要素画像群から順に画素記憶手段3から読み出す(ステップS2)。
【0058】
例えば、本実施形態では、図6左図に示すように、画素記憶手段3によって、処理対象要素画像群311〜処理対象要素画像群31nが記憶されているところ、立体画像奥行き制御手段4によって、操作信号により指定された順、例えば、本実施形態では図6右図に示すように、処理対象要素画像群313、処理対象要素画像群31n、処理対象要素画像群311・・処理対象要素画像群312の順に読み出す。なお、複数の処理対象要素画像群の処理順序は、全ての処理対象要素画像群について一度に決定しても良いし、一つの処理対象要素画像群についての処理が終了する都度、次に処理を行う処理対象要素画像群を決定するようにしても良い。
【0059】
次に、三次元情報統合装置1は、立体画像奥行き制御手段4によって、画素値割り当て済み位置記憶手段6から、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置を読み出す(ステップS3)。
【0060】
そして、立体画像奥行き制御手段4は、処理対象要素画像群313の大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段5に制御後の画素値を割り当てる(ステップS4)。ただし、立体画像奥行き制御手段4は、画素値割り当て済み位置記憶手段6を参照した結果、処理対象要素画像群313の大きさの比率および奥行き制御処理を行った後の画素値が割り当てられるべき画素にすでに他の処理済要素画像群の画素値が割り当てられている場合には、当該割り当て済み画素に対応する位置の画素を除いて、処理済要素画像群323を生成する。
【0061】
すなわち、立体画像奥行き制御手段4は、次のように動作する。立体画像奥行き制御手段4は、分配手段41によって、入力された映像信号における第1の要素画像面11aの表示面に表示される処理対象要素画像群313のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、m番目の要素画像に予め対応付けられている要素画像変換手段42に出力する。
【0062】
立体画像奥行き制御手段4は、光波計算手段42aによって、第1の仮想的な開口群11bのm番目の開口部(要素レンズ等)に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(2)により要素画像ごとの光波(Ri,m(xo,m,yo,m))を演算する。
【0063】
【数2】
【0064】
ここで、xs,m、xo,mは、それぞれ画像全体(処理対象要素画像群)におけるm番目の要素画像の中心のx座標、第1の仮想的な開口群11bのm番目の開口部の光軸中心からのx座標である。また、ys,m、yo,mは、それぞれ画像全体(処理対象要素画像群)におけるm番目の要素画像の中心のy座標、第1の仮想的な開口群11bのm番目の開口部の光軸中心からのy座標である。また、f1は第1の仮想的な開口群11bの開口部(要素レンズ)の焦点距離、kは波数2π/λ(λは波長)である。
この要素画像ごとの光波(Ri,m(xo,m,yo,m))は、位相シフト手段42bに出力される。
【0065】
立体画像奥行き制御手段4は、位相シフト手段42bによって、以下の式(3)に示すように、要素レンズに相当する位相分だけ光波(Ri,m(xo,m,yo,m))をシフトさせることで、要素レンズから出射する光波に相当する信号(光波Ro,m(xo,m,yo,m))を演算する。
【0066】
【数3】
【0067】
この要素画像ごとの光波(Ro,m(xo,m,yo,m))は、奥行き変換手段43に出力される。
立体画像奥行き制御手段4は、奥行き変換手段43の位相シフト手段43aによって、以下の(4)式に示すように、奥行き制御レンズLに相当する位相分だけ光波(Ro,m(xo,m,yo,m))をシフトさせることで、奥行き制御レンズLから出射する光波に相当する信号(光波Rd,m(xo,m,yo,m))を演算する。
【0068】
【数4】
【0069】
ここで、x0,y0は奥行き制御レンズLの光学中心からの距離である。また、第1の仮想的な開口群11bの開口部(要素レンズ)のピッチをPとすると、xo=xo,m+mP、yo=yo,m+mPの関係が成り立つ。
この位相シフト手段43aで演算された要素画像ごとの光波(Rd,m(xo,m,yo,m))は、再分配手段43bに出力される。
【0070】
位相シフト手段43aで演算された光波(Rd,m(xo,m,yo,m))は、m番目の要素レンズに到達するだけではなく、周辺の要素レンズにも到達することになる。そこで、再分配手段43bは、位相シフト手段43aから入力された要素画像ごとの光波(Rd,m(xo,m,yo,m))が、第2の仮想的な開口群12bの開口部(要素レンズ)に分配された結果となるn番目の要素レンズに到達した光波(Rp,n,m(xp,n,yp,n))を、一般的なフレネル近似を用いて、以下の式(5)により演算する。
【0071】
【数5】
【0072】
ここで、xp,n、yp,nは、それぞれn番目の第2の仮想的な開口群12bの開口部(要素レンズ)の光学中心からのx座標、y座標である。また、Ldは奥行き制御レンズLと第2の仮想的な開口群12bとの距離である。
この第2の仮想的な開口群12bの開口部ごとの光波(Rp,n,m(xp,n,yp,n))は、要素画像再生手段44に出力される。
【0073】
立体画像奥行き制御手段4は、要素画像再生手段44の位相シフト手段44aによって、奥行き変換手段43で変換された光波(Rp,n,m(xp,n,yp,n))から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段44aは、以下の式(6)に示すように、要素レンズに相当する位相分だけ光波(Rp,n,m(xp,n,yp,n))をシフトさせることで、要素レンズから出射する光波に相当する信号(光波Rr,n,m(xo,m,yo,m))を演算する。
【0074】
【数6】
【0075】
ここで、f2は第2の仮想的な開口群12bの開口部(要素レンズ)の焦点距離である。この要素レンズごとの光波(Rr,n,m(xp,n,yp,n))は、光波計算手段44bに出力される。
【0076】
立体画像奥行き制御手段4は、要素画像再生手段44の光波計算手段44bによって、以下の式(7)により、n番目の要素レンズから出射されて第2の要素画像面12aの撮影面に到達する光波(Re,n,m(xe,n,ye,n))を演算する。
【0077】
【数7】
【0078】
ここで、xe,n、ye,nは、それぞれ要素画像の中心からのx座標、y座標である。この光波計算手段44bで演算された光波(Re,n,m(xe,n,ye,n))は、加算手段45に出力される。
【0079】
ところで、要素画像再生手段44から出力される第2の要素画像面12aの撮影面に到達する光波(Re,n,m(xe,n,ye,n))の電力は、光の振幅の2乗で表すことができる。また、処理対象要素画像群313の各要素画像として発せられた光波は、インコヒーレント(波長や位相が一定ではない)であるため、光波の位相は無相関であるとみなすことができる。
【0080】
そこで、立体画像奥行き制御手段4は、加算手段45によって、処理対象要素画像群313の各要素画像(−M〜M)として発せられた光波の電力の総和を、以下の式(8)により演算することで、処理対象要素画像群313の一つの要素画像(式(8)ではn番目の要素画像)の電力を求め、その電力に比例した映像信号を出力する。
【0081】
【数8】
【0082】
本実施形態では、画素値割り当て済み位置記憶手段6を参照すると、図7(f)に示すように、現時点では、統合三次元情報記憶手段5の全ての画素に画素値が割り当てられていない状態であることがわかるため、加算手段45によって、処理対象要素画像群313の全ての画素について、光波の電力の総和を求める。これにより、図7(b)に示すような処理済要素画像群323が生成されるので、立体画像奥行き制御手段4は、統合三次元情報記憶手段5に出力し、記憶させる。
【0083】
このようにして、三次元情報統合装置1は、立体画像奥行き制御手段4によって、処理対象要素画像群313の光をあたかも光学的に表示して再撮影したかのような演算処理を実行する。また、光波は、開口のピッチが異なる二つの仮想的な開口群(第1の仮想的な開口群11bと第2の仮想的な開口群12b)を通過するので、被写体の大きさから変化させた自由な大きさの再生像を表示させる処理済要素画像群を生成することができる。
【0084】
三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(g)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる(ステップS6)。
【0085】
なお、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、当該画素を除いて処理済要素画像群を生成する。処理対象要素画像群31nの処理を行う場合を例にとって説明する。画素値割り当て済み位置記憶手段6を参照すると、図7(g)に示すように、統合三次元情報記憶手段5には、すでに処理済要素画像群323が割り当てられていることがわかる。このため、加算手段45によって、大きさの比率および奥行き制御を行った処理対象要素画像群31nから、処理済要素画像群323が割り当てられている画素に対応する位置の画素を除いて、光波の電力の総和を求める。このようにして、図7(c)に示すように、統合三次元情報記憶手段5に処理済要素画像群323が割り当てられている位置に対応する画素を除いて処理済要素画像群32nを生成する。
【0086】
三次元情報統合装置1は、図7(c)に示すように、立体画像奥行き制御手段4によって、生成した処理済要素画像群32nを統合三次元情報記憶手段5に出力し、記憶させる。なお、図7(c)では、見易さのため、すでに割り当てられている処理済要素画像群323については、破線で表示している。また、三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(h)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群32nが割り当てられた位置)の情報を出力し、記憶させる。
【0087】
また、三次元情報統合装置1は、立体画像奥行き制御手段4によって、図7(g)に示すように、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる(ステップS6)。
【0088】
このようにして、全ての処理対象要素画像群についての処理が終了するまでステップS2からステップS6を繰り返す。
【0089】
そして、全ての処理対象要素画像群について処理が終了した場合(ステップS7でYes)、立体画像奥行き制御手段4は、画素値割り当て手段7へ処理の終了を通知する制御信号を出力する。
【0090】
画素値割り当て手段7は、立体画像奥行き制御手段4から制御信号が入力されると、画素値割り当て済み位置記憶手段6から、統合三次元情報記憶手段5において画素値が割り当てられた画素を読み出す(ステップS8)。
【0091】
そして、外部から入力された操作信号に基づき、図7(d)に示すように、統合三次元情報記憶手段5に画素値が割り当てられていない画素に画素値を割り当てる(ステップS9)。例えば、操作者が単色の背景となる三次元空間を構築する場合には、所望の単色情報を情報が割り当てられていない画素に割り当てる。なお、画素値割り当て手段7を設けない場合には、統合三次元情報記憶手段5に画素値が割り当てられていない画素に画素値を割り当てない。このようにして、図7(e)に示すように、統合三次元情報が生成される。
そして、統合三次元情報記憶手段5は、統合三次元情報を出力手段8へ出力する。
【0092】
出力手段8は、統合三次元情報記憶手段5から入力された統合三次元情報を外部へ出力する(ステップS10)。
以上が、三次元情報統合装置1の一連の動作である。
【0093】
なお、本発明は、この構成に限定されるものではない。例えば、本実施形態では、要素画像群から被写体の奥行き情報を算出したが、これに限られず、三次元情報を計算機で生成する場合には、被写体の大きさや奥行き位置情報を予め取得しておいても良いし、三次元情報をCCD等によって撮影された映像信号から生成する場合には、変調された赤外光等を被写体に照射することにより被写体の奥行き情報を取得してもよいことはもちろんである。
【0094】
また例えば、立体画像の奥行き制御手段として、前記した立体画像奥行き制御手段4に替えて、次に説明する立体画像奥行き制御手段4Bを用いても良い。
[立体画像奥行き制御手段の構成の概要]
図9を参照して立体画像奥行き制御手段の他の構成例を説明する。図9は、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【0095】
立体画像奥行き制御手段4Bは、立体画像として表示されたときに被写体の凹凸が反転した再生像となる処理対象要素画像群(以下、「第1要素画像群」ともいう。)の光波を変換し、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる処理済要素画像群(以下、「第2要素画像群」ともいう。)を生成するものである。なお、立体画像奥行き制御手段4Bは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、処理を行う。この立体画像奥行き制御手段4Bに入力される第1要素画像群は、立体画像撮影装置(図示せず)において、CCD等の撮像素子によって撮影された映像信号である。この立体画像奥行き制御手段4Bで生成された第2要素画像群は、立体画像表示装置(図示せず)に出力される。
【0096】
図9に示すように、立体画像奥行き制御手段4Bは、分配手段41Bと、第1要素画像変換手段42Bと、加算手段43Bと、再分配手段44Bと、第2要素画像変換手段45Bと、結合手段46Bとを備えている。立体画像奥行き制御手段4Bは、図10に示すような、光学系による立体画像の奥行き制御を演算で行うものである。
【0097】
分配手段41Bは、第1要素画像群の光波を要素画像毎に分配するものである。ここでは、分配された要素画像をm(−M≦m≦M)で識別することとする。第1要素画像変換手段42Bは、この分配された例えば(2M+1)個の要素画像毎に機能する。そして、分配された要素画像mは、その後、加算手段43Bで加算され、再分配手段44Bで再び分配される。このとき再分配された要素画像をn(−N≦n≦N)で識別することとする。第2要素画像変換手段45Bは、この再分配された例えば(2N+1)個の要素画像毎に機能する。そして、再分配された要素画像nは、その後、結合手段46Bで結合され処理済要素画像群(第2要素画像群)が生成されることとなる。
【0098】
[立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要]
次に、本実施形態の立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要について図10を参照(適宜図9参照)して説明する。図10は、立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。図9に示す第1要素画像変換手段42Bは、分配手段41Bで分配された要素画像の光波を、第1の仮想的な開口群11Bb(図10参照)を通過して第2の仮想的な開口群12Bb(図10参照)へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。また、開口群を構成する要素(開口)は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を図10に示すように凸レンズ(要素レンズ)で表すこととする。また、図10に示すように、第1の仮想的な開口群11Bbと第2の仮想的な開口群12Bbとは所定距離Lだけ離間している。図10のように第1の仮想的な開口群11Bbが仮想的なレンズアレイであれば、この所定距離Lは、要素レンズの焦点距離とすることができる。なお、第1および第2の仮想的な開口群11Bb,12Bbは実際には存在せず、立体画像奥行き制御手段4Bが演算処理を行うために想定したものである。
【0099】
図10において、第1要素画像群の光波は、第1の要素画像面11Baから出射して、図10において厚み方向を示した平面状の第1および第2の仮想的な開口群11Bb,12Bbを、左から右へ通過して第2の要素画像面12Baに入射する。また、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は第1要素画像群(第1の要素画像面11Ba)から第1の仮想的な開口群11Bbまでの距離を示す。同様に、k2は第2要素画像群におけるn番目の要素画像の領域を示し、d2は第2の仮想的な開口群12Bbから第2要素画像群(第2の要素画像面12Ba)までの距離を示す。
【0100】
また、図10において、p1は第1の仮想的な開口群11Bbを形成する要素レンズのピッチを示し、p2は第2の仮想的な開口群12Bbを形成する要素レンズのピッチを示す。本実施形態では、以下の式(9)で表わされるピッチの比ΦをΦ≠1として設定する。つまり、第1および第2の仮想的な開口群11Bb,12Bbの要素レンズ(開口)のピッチは異なる。なお、図10では、Φ<1の状態が図示されているが、Φ>1と設定してもよい。
【0101】
【数9】
【0102】
[立体画像奥行き制御手段の詳細な構成]
分配手段41Bは、入力された映像信号(第1要素画像群の光波)を要素画像単位に分割する。入力された映像信号(第1の要素画像面11Baから出射する光波)は、第1要素画像群を構成する各要素画像の光波の束に相当し、これを第1要素画像群t1と表記することとする。この分配手段41Bは、入力された映像信号における第1要素画像群t1のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、このm番目の要素画像に予め対応付けられている第1要素画像変換手段42Bに出力する。ここで、xs,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のx座標を示す。同様に、ys,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のy座標を示す。
【0103】
第1要素画像変換手段42Bは、図9に示すように、光波計算手段42Baと、位相シフト手段42Bbと、光波計算手段42Bcとを備えている。
光波計算手段42Baは、要素画像の光波から、フレネル近似に基づいて、第1の仮想的な開口群11Bb(図10参照)を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段42Baは、第1の仮想的な開口群11Bbのm番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(10)により要素画像毎の光波(Ri,m(xo,m,yo,m))を演算する。
【0104】
【数10】
【0105】
ここで、xo,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yo,mは、第1の仮想的な開口群11Bbの要素レンズ群のm番目の開口部の光軸中心を原点とした場合のy座標である。また、f1は、第1の仮想的な開口群11Bbの要素レンズの焦点距離を示す。また、kは、波数2π/λ(λは光波の波長)である。この要素画像毎の光波(Ri,m(xo,m,yo,m))は、位相シフト手段42Bbに出力される。
【0106】
位相シフト手段42Bbは、入力された要素画像の光波(Ri,m(xo,m,yo,m))から、位相を、第1の仮想的な開口群11Bbの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段42Bbは、以下の式(11)に示すように、光波(Ri,m(xo,m,yo,m))を、第1の仮想的な開口群11Bbの要素レンズに相当する位相分だけシフトさせることで、第1の仮想的な開口群11Bbの要素レンズから出射する光波に相当する信号(Ro,m(xo,m,yo,m))を演算する。この光波(Ro,m(xo,m,yo,m))は、光波計算手段42Bcへ出力される。
【0107】
【数11】
【0108】
光波計算手段42Bcは、第1の仮想的な開口群11Bbの要素レンズから出射する光波、すなわち、位相シフト手段42Bbから入力された要素画像の光波(Ro,m(xo,m,yo,m))をフレネル近似することで、第2の仮想的な開口群12Bb(図10参照)の要素レンズに入射する光波を演算するものである。つまり、光波計算手段42Bcは、第2の仮想的な開口群12Bbの要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(12)により要素画像毎の光波(Rd,m(xd,m,yd,m))を演算する。この要素画像毎の光波(Rd,m(xd,m,yd,m))は加算手段43Bへ出力される。
【0109】
【数12】
【0110】
式(12)において、xd,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群12Bbの入射面におけるx座標である。同様に、yd,mは、第1の仮想的な開口群11Bbのm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群12Bbの入射面におけるy座標を示す。また、Lは、第1の仮想的な開口群11Bbと第2の仮想的な開口群12Bbとの距離である。また、積分計算を実施する範囲は、m番目の要素画像(要素画像(m))の拡がる範囲と等価に設定することとする。第1要素画像群におけるm番目の要素画像が広がる範囲wの一例を図11に示す。この場合、第1要素画像群におけるm番目の要素画像が広がる範囲wは式(13)で表わされる。なお、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は処理対象要素画像群(第1の要素画像面11Ba)から第1の仮想的な開口群11Bbまでの距離を示す。
【0111】
【数13】
【0112】
加算手段43Bは、第1要素画像変換手段42Bで変換されたそれぞれの要素画像の光波を、分配手段41Bで分配された数だけ、第2の仮想的な開口群12Bbの入射面で加算するものである。加算手段43Bは、第1の仮想的な開口群11Bbの要素レンズの画角に対応する光波を加算する。この加算手段43Bは、第1の仮想的な開口群11Bbの要素レンズから出射されて第2の仮想的な開口群12Bbの要素レンズの入射面に到達する光波(Rd,m(xd,m,yd,m))を、第2の仮想的な開口群12Bbの領域内で加算する。つまり、第2の仮想的な開口群12Bbの入射面での光波に相当する信号として、以下の式(14)により、第2の仮想的な開口群12Bbの入射面での光波(Rp(xp,yp))を演算する。
【0113】
【数14】
【0114】
ここで、xpは、第2の仮想的な開口群12Bbの中心を原点とした場合のx座標であり、同様に、ypは、第2の仮想的な開口群12Bbの中心を原点とした場合のy座標である。この光波(Rp(xp,yp))は再分配手段44Bへ出力される。
【0115】
再分配手段44Bは、加算手段43Bで加算された光波を、第2要素画像群を構成する要素画像毎に再分配するものである。この再分配手段44Bは、加算手段43Bから入力された光波(Rp(xp,yp))を要素画像単位に分割する。光波(Rp(xp,yp))を再分配した要素画像ごとの光波として、第2の仮想的な開口群12Bbを構成するn番目の要素レンズに対応する光波を、(Rp,n(xp,n,yp,n))とする。ここで、再分配手段14は、第2の仮想的な開口群12Bbを構成する各要素レンズに入力された光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群12Bbを横成するn番目の要素レンズに予め対応付けられている第2要素画像変換手段45Bに出力する。
【0116】
第2要素画像変換手段45Bは、再分配手段44Bで分配された要素画像の光波を、第2の仮想的な開口群12Bbを通過して結像するまでの距離だけ伝搬した光波に変換するものである。この第2要素画像変換手段45Bは、再分配手段44Bから入力された光波を、第2の仮想的な開口群12Bbの要素レンズ(焦点距離f2)の開口領域に再分配した後、その要素レンズ(焦点距離f2)を通過する光波に変換し、さらに、その要素レンズの焦点距離f2だけ光波を伝搬させる。第2要素画像変換手段45Bは、例えば(2N+1)個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第2要素画像群が構成されることとなる。これを第2要素画像群t2と表記することとする。つまり、第2要素画像変換手段45Bは、第2要素画像群t2を演算する。第2要素画像変換手段45Bは、図9に示すように、位相シフト手段45Baと、光波計算手段45Bbとを備えている。
【0117】
位相シフト手段45Baは、再分配手段44Bから入力された光波(Rp,n(xp,n,yp,n))から、位相を、第2の仮想的な開口群12Bbの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段45Baは、以下の式(15)に示すように、光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群12Bbの要素レンズに相当する位相分だけシフトさせることで、第2の仮想的な開口群12Bbの要素レンズから出射する光波に相当する信号(Rr,n(xp,n,yp,n))を演算する。
【0118】
【数15】
【0119】
ここで、xp,nは、第2の仮想的な開口群12Bbのn番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yp,nは、第2の仮想的な開口群12Bbのn番目の要素レンズの光軸中心を原点とした場合のy座標である。また、f2は、第2の仮想的な開口群12Bbの要素レンズの焦点距離である。この要素画像毎の光波(Rr,n(xp,n,yp,n))は、光波計算手段45Bbへ出力される。
【0120】
光波計算手段45Bbは、第2の仮想的な開口群12Bbの要素レンズ毎の光波をフレネル近似することで、第2の仮想的な開口群12Bbの要素レンズから出射し、第2の要素画像面12Ba(図10参照)に到達する光波を演算するものである。すなわち、光波計算手段45Bbは、以下の式(16)により、第2の仮想的な開口群12Bbのn番目の要素レンズから出射されて第2の要素画像面12Baに到達する光波(Re,n(xe,n,ye,n))を演算する。
【0121】
【数16】
【0122】
ここで、xe,nは、出力画像全体(第2要素画像群)におけるn番目の要素画像の中心からのx座標である。同様に、ye,nは出力画像全体におけるn番目の要素画像の中心からのy座標である。この光波計算手段45Bbで演算された光波(Re,n(xe,n,ye,n))は結合手段46Bへ出力される。
【0123】
結合手段46Bは、第2要素画像変換手段45Bで変換された光波を、再分配手段44Bで再分配された数だけ結合することで、第2要素画像群を生成するものである。この結合手段46Bは、第2要素画像変換手段45Bから出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第2要素画像群t2となる映像信号を生成する。この結合手段46Bで得られた第2要素画像群t2は、立体画像表示装置(図示せず)へ出力される。
【0124】
ここで、第2要素画像変換手段45Bから出力される第2の要素画像面12Baに到達する光波(Re,n(xe,n,ye,n))の電力は、光の振幅の2乗で表わすことができる。また、第1要素画像群t1の各要素画像として発せられた光波は、インコヒーレント(波長や位相が一定ではない)であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段46Bは、以下の式(17)に示すように、第2の要素画像面12Baに到達する各要素画像の光波(例えばn番目の要素画像であればその光波は(Re,n(xe,n,ye,n))である)の2乗を計算し、その和をとることで、第2要素画像群t2全体の映像信号を得る。
【0125】
【数17】
【0126】
このとき、立体画像奥行き制御手段4Bは、画素値割り当て済み位置記憶手段6から統合三次元情報記憶手段5においてすでに画素値が割り当てられている画素の情報を取得し、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がない場合、結合手段46Bによって、第1要素画像群(例えば、図6に示す処理対象要素画像群313)の全ての画素について、光波の電力の総和を求める。これにより、第2要素画像群(図7に示す処理済要素画像群323)が生成されるので、立体画像奥行き制御手段4Bは、統合三次元情報記憶手段5に出力し、記憶させる。
【0127】
一方、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、結合手段45Bによって、当該画素を除いた光波の電力の総和を求める。
【0128】
立体画像奥行き制御手段4Bは、画素値割り当て済み位置記憶手段6に、統合三次元情報記憶手段5に画素値が割り当てられた位置(例えば、処理済要素画像群323が割り当てられた位置)の情報を出力し、記憶させる。その他の構成の動作は、前記した三次元情報統合装置1と同様であるので、記載を省略する。
【0129】
[再生像の大きさの比率制御]
立体画像奥行き制御手段4Bは、前記のように詳細に説明した構成を備えており、前記した式(9)で表わされるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。仮に、立体画像奥行き制御手段4Bの処理を行わない場合、つまり、第1および第2の仮想的な開口群11Bb,12Bbを用いない場合には、被写体の大きさxc(図16(a)参照)と再生される立体像の大きさxr(図16(b)参照)との関係は、前記した式(101)の通りである。このように立体画像奥行き制御手段4Bを用いない場合、前記した式(101)において、α=γとすると、被写体の大きさxc(図16(a)参照)と、再生される立体像の大きさxr(図16(b)参照)との関係は、以下の式(18)で表わされることとなる。
【0130】
【数18】
【0131】
つまり、図9において、立体画像奥行き制御手段4Bを無視して、要素レンズのピッチpc(図16(a)参照)と、要素レンズのピッチpr(図16(b)参照)とが等しい場合には、被写体の大きさxc(図16(a)参照)と、再生像される立体像の大きさxr(図16(b)参照)とは等しくなってしまう。一方、立体画像奥行き制御手段4Bを用いた場合には、被写体の大きさxc(図16(a)参照)と、再生される立体像の大きさxr(図16(b)参照)との関係は、以下の式(19)で表わされる。
【0132】
【数19】
【0133】
つまり、図9において、要素レンズのピッチpc(図16(a)参照)と、要素レンズのピッチpr(図16(b)参照)とが仮に等しかったとしても、第1の仮想的な開口群11Bbの要素レンズのピッチp1(図10参照)と、第2の仮想的な開口群12Bbの要素レンズのピッチp2(図10参照)とを制御することで、被写体の大きさxc(図16(a)参照)に対する再生される立体像の大きさxr(図16(b)参照)を変化させることが可能となる。
【0134】
なお、説明の都合上、前記した式(18)および式(19)の説明において、前記した式(101)においてαとγとが等しい場合について記述したが、本発明では、前記した式(101)においてα≠γとしてもよい。同様に、要素レンズのピッチpcと、要素レンズのピッチprとが等しい場合について記述したが、pc≠prとしてもよい。
【0135】
このような立体画像奥行き制御手段4Bによれば、第1要素画像群t1を、各要素画像mの光波が、第1および第2の仮想的な開口群11Bb,12Bbを通過したものとして演算処理することで、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第2要素画像群t2へと変換することができる。したがって、このように演算処理で立体像の大きさを変化できるので、従来のようにレンズ等の撮影および表示に用いる光学的な装置を変更する必要がない。また、立体画像奥行き制御手段4Bによれば、演算処理により、被写体を複数の要素画像として撮影した要素画像群としての画像から発せられる光を再度撮影した場合と等価な画像を生成することができる。さらに、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることが可能となる。
【0136】
なお、立体画像奥行き制御手段4Bは、演算回路によって実現することも可能であるし、中央演算処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。
【0137】
なお、前記した立体画像奥行き制御手段4、4Bはそれぞれ、波動光学的手法を用いて立体画像の奥行きを制御するものであるが、これに限られるものではなく、幾何光学的手法を用いても良い。以下、幾何光学的手法により立体画像の奥行きを制御する立体画像奥行き制御手段4Cについて説明する。
【0138】
図12に示すのは、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図および要素画像群撮像装置の構成例を模式的に示した模式図である。
立体画像奥行き制御手段4Cは、予め設定された要素画像群撮像装置50の要素レンズ群51と撮像手段52の撮像面との距離g1、および、隣接する2要素レンズL1、L1のピッチp1の情報に基づいて、被写体の処理対象要素画像群(以下、「第1要素画像群」ともいう)を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる処理済要素画像群(以下、「第2要素画像群」ともいう)に変換するものである。なお、
要素画像群撮像装置50と立体画像奥行き制御手段4Cの間には、図示しないが、要素画像分離手段2(図2参照)と画素記憶手段3(図2参照)が配置されている。
立体画像奥行き制御手段4Cは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段3から読み出し、処理を行う。ここでは、立体画像奥行き制御手段4Cは、第2要素画像生成手段47を備える。
【0139】
第2要素画像生成手段47は、要素画像群撮像装置50によって撮像された第1要素画像群(例えば、図6に示す処理対象要素画像群313)を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる第2要素画像群(図7に示す処理対象要素画像群323)に変換するものである。第2要素画像生成手段47は、立体情報割当手段47aと、立体情報補間手段47bとを備える。
【0140】
なお、ここでは、要素画像群撮像装置50によって撮像された第1要素画像群313の各画素の輝度値の情報は、画素記憶手段3(図2参照)に記憶されていることとし、第2要素画像生成手段47が、画素記憶手段3(図2参照)から、各画素の輝度値の情報を読み出すこととした。
【0141】
ここで、図13を参照(適宜図12参照)して、第2要素画像生成手段47が第1要素画像群313を変換する方法について説明する。図13は、奥行き変換手段の第1要素画像群の変換方法を説明するための説明図である。
【0142】
図13に示すように、第2要素画像生成手段47は、第1要素画像群313を仮想的に表示する第1の要素画像面11Caと、要素レンズ群31と要素レンズL1のピッチp1の同じ仮想的な複数の仮想要素レンズである第1の仮想的な開口L1’が同一平面上に配列された第1の仮想的な開口群11Cbと、この第1の仮想的な開口群11Cbによって仮想的に再生された立体像(図示せず)の像I、I、…を結像する仮想要素レンズである第2の仮想的な開口L2’が同一平面上に配列された第2の仮想的な開口群12Cbと、像Iからなる第2要素画像群323が仮想的に結像する第2の要素画像面12Caとを仮想的に(計算によって)設定する。そして、第2要素画像生成手段47は、要素画像群撮像装置50によって撮像された第1要素画像群313の各々の画素の輝度値(画素値)に基づいて、第1の要素画像面11Caに仮想的に表示された第1要素画像群313からの光が、第1の仮想的な開口群11Cbおよび第2の仮想的な開口群12Cbを介して第2の要素画像面12Caに結像して生成される第2要素画像群323上の画素の輝度値を算出することで、第2要素画像群323を生成することとした。
【0143】
ここで、第1の要素画像面11Caと第1の仮想的な開口群11Cbとの距離g1は、要素画像群撮像装置50の要素レンズ群51と撮像手段52との撮像面(図示せず)との距離g1に等しい。また、第1の仮想的な開口L1’と、第2の仮想的な開口L2’とは、光軸が平行である。一方、第1の仮想的な開口L1’と、第2の仮想的な開口L2’とは、ピッチp1、p2が等しくても異なっていてもよく、第1の要素画像面11Caと第1の仮想的な開口群11Cbとの距離g1、および、第2の仮想的な開口群12Cbと第2の要素画像面12Caとの距離g2も、等しくても異なっていても良い。
【0144】
なお、図13では、図12の被写体Sの位置に第2の仮想的な開口L2’が配置される場合を例に示したが、第2要素画像生成手段47は、第2の仮想的な開口群12Cbと第2の要素画像面12Caとを、第1の仮想的な開口群11Cbから出射された第1の要素画像面11Caの第1要素画像群313からの光の仮想的な光路上において任意の位置に設定することができる。そして、第2要素画像生成手段47によって、第1の仮想的な開口群11Cbから出射された光の仮想的な光路上において設定された第2の仮想的な開口群12Cbおよび第2の要素画像面12Caから被写体Sの位置に相当する位置までの距離に応じて、立体画像表示装置(図示せず)によって表示される立体像(図示せず)の立体画像表示装置(図示せず)からの奥行き方向の距離が定まる。このように、第2要素画像生成手段47は、第2の仮想的な開口群12Cbと第2の要素画像面12Caとを、立体像を表示する奥行き方向の位置に対応する位置に設定することで、立体像をこの奥行き方向の位置に表示することができる第2要素画像群323を生成することができる。
【0145】
さらに、第2要素画像生成手段47は、第1の仮想的な開口群11Cbから出射された第1の要素画像面11Caの第1要素画像群313からの光を、第2の仮想的な開口群12Cbによって第2の要素画像面12Caに仮想的に結像させた第2要素画像群323を生成するため、この第2要素画像群323は、図12の要素画像群撮像装置50の撮影方向とは逆向きの撮影方向から撮像されたものとなる。これによって、第2要素画像生成手段47は、立体画像表示装置(図示せず)によって被写体Sと比較して奥行きの位置関係の正しい立体像(図示せず)を表示することができる。
【0146】
図12に戻って説明を続ける。立体情報割当手段(割当手段)47aは、要素画像群撮像装置50によって撮像された第1要素画像群313の各々の画素の輝度値を、当該画素からの光が、第1の仮想的な開口群11Cbおよび第2の仮想的な開口群12Cbを介して第2の要素画像面12Caに結像する第2要素画像群323上の画素の輝度値とするものである。
【0147】
ここで、図14を参照して、立体情報割当手段47aが第1要素画像群313の各々の画素の輝度値を第2要素画像群323上の画素に割り当てる方法について説明する。図14は、立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図である。
【0148】
図14に示すように、立体情報割当手段47aが、第1の要素画像面11Caと、第1の仮想的な開口群11Cbと、第2の仮想的な開口群12Cbと、第2の要素画像面12Caとを仮想的に設定し、第1要素画像群313には被写体Saの像Ia1、Ia2が含まれているとする。そして、第1要素画像群313の像Ia1の画素から第1の仮想的な開口L1’の中心を通過する仮想的な光(以下、仮想光線という)が、第2の仮想的な開口L2’の中心を通過する場合には、立体情報割当手段47aは、この仮想光線と第2の要素画像面12Caとの交点に当たる第2要素画像群323の画素に、この第1要素画像群313の画素の輝度値を割り当てる。
【0149】
一方、第1要素画像群313の像Ia2の画素から第1の仮想的な開口L1’の中心を通過する仮想光線が、第2の仮想的な開口L2’の中心を通過しない場合には、立体情報割当手段47aは、この仮想光線に平行で、当該第2の仮想的な開口L2’の中心を通過する線と第2の要素画像面12Caとの交点に当たる第2要素画像群323の画素に、この第1要素画像群313の画素の輝度値を割り当てる。
【0150】
図12に戻って説明を続ける。立体情報補間手段47bは、立体情報割当手段47aによって輝度値の割り当てられていない第2要素画像群323の画素の輝度値を、当該画素の近傍の画素の輝度値に基づいて補間して算出するものである。
【0151】
ここで、図15を参照して、立体情報補間手段47bが近傍の画素の輝度値に基づいて、第2要素画像群323の画素の輝度値を補間して算出する方法について説明する。図15は、立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図であり、(a)は、仮想的に設定された第1の要素画像面と、第1の仮想的な開口群と、第2の仮想的な開口群と、第2の要素画像面と、第2要素画像群に仮想的に含まれる像とを模式的に示す模式図、(b)は、(a)におけるAに示した部分を拡大して示した、第2要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。
【0152】
図15(a)に示すように、第1要素画像群313には、異なる被写体(図示せず)の像Ia、Ibが含まれているとする。そして、立体情報割当手段47aによって、第1要素画像群313の像Iaの画素に対応する第2要素画像群323の画素と、第1要素画像群313の像Ibの画素に対応する第2要素画像群323の画素とに、各々対応する第1要素画像群313の画素の輝度値が割り当てられていることとする。また、図15(b)に示すように、この像Ia、Ib(図15(a)参照)の画素Pa、Pbの間の画素Pcには、立体情報割当手段47aによって輝度値が割り当てられていないこととする。
【0153】
そうすると、立体情報補間手段47bは、画素Pcの上下の画素Pa、Pbの輝度値に基づいて、画素Pcの輝度値mcを、以下の式(20)によって算出する。ここで、ma、mbは、画素Pa、Pbの輝度値であり、a、bは、画素Pcからの画素Pa、Pbまでの距離である。
【0154】
【数20】
【0155】
なお、ここでは、立体情報補間手段47bが、画素Pcの上下の画素Pa、Pbの輝度値に基づいて、式(20)に示す一次元の補間式を用いて補間する場合について説明したが、補間対象となる画素Pcの上下左右や斜めにある画素(図示せず)の輝度値に基づいて補間することとしてもよい。このとき、立体情報補間手段47bは、例えば、井上誠喜他、「C言語で学ぶ実践画像処理」、オーム社、1999、p.149に記載されるような、二次元に拡張した補間式を用いて補間することができる。
【0156】
また、立体情報補間手段47bが、城戸健一、「ディジタル信号処理入門」、丸善、1985、p.31−35に記載されるような、離散的なデータ列から連続的なデータ関数を生成する標本化関数を用いて、画素ごとの離散的な輝度値の情報を連続的な情報として、補間対象となる画素Pcの輝度値を求めることとしてもよい。
【0157】
このようにして生成された第2仮想要素画像群323は、立体画像奥行き制御手段4Cによって、統合三次元情報記憶手段5に出力される。また、立体画像奥行き制御手段4Cは、統合三次元情報記憶手段5において画素値が割り当てられた画素の位置が画素値割り当て済み位置記憶手段6に出力する。このようにして、全ての処理対象要素画像群についての処理が終了するまで、同様の処理を繰り返す。なお、二番目以降に処理対象となる処理対象要素画像群については、立体画像奥行き制御手段4Cは、画素値割り当て済み位置記憶手段6を参照し、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に対応する画素がある場合には、立体情報割当手段47aおよび立体情報補間手段47bで、当該画素を除いて演算を行う。
【0158】
そして、全ての処理対象要素画像群についての処理を終了後、立体画像奥行き制御手段4Cは、処理の終了を知らせる制御信号を画素値割り当て手段7に出力する。なお、画素値割り当て手段7を設けない場合には、当該信号を出力しない。
【0159】
以上説明したような立体画像奥行き制御手段4Cによれば、第2の仮想的な開口群12Cbの、第1要素画像群および第1の仮想的な開口群11Cbに対する位置に応じて、再生時の立体像の奥行き方向の距離が定まるので、第2の仮想的な開口群12Cbの位置を調整することで、立体像を所望の奥行き方向の位置に表示させることができる第2要素画像群を生成することができる。
【0160】
なお、立体画像奥行き制御手段4Cは、演算回路によって実現することも可能であるし、中央演算処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。
【0161】
以上説明したように、三次元情報統合装置1によれば、複数の三次元情報を統合した一つの三次元情報(統合三次元情報)を生成することができる。また、複数の三次元情報についてそれぞれ操作者の任意の大きさの比率および奥行きに制御した状態で統合することができる。
【0162】
さらに、三次元情報統合装置1によれば、統合三次元情報記憶手段5の画素に複数の画素値が割り当てられない、すなわち、複数の被写体が互いに重なり合う部分には、最も手前に配置される被写体に対応する処理対象要素画像群のみ割り当てるため、統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生することを防止できる。
【0163】
加えて、三次元情報統合装置1によれば、処理対象要素画像群のうち、統合三次元情報記憶手段5においてすでに画素値が割り当てられている位置に割り当てられる画素を除いて処理済要素画像群を生成するため、演算量を削減することができ、処理速度を向上させることができる。
【0164】
なお、前記した実施形態では、異なる三次元空間の被写体同士を統合する手法について説明したが、同一の三次元空間の被写体同士を統合する場合には、大きさの比率および奥行きの制御を行わなくても良い。
【0165】
以上説明した三次元情報統合装置1は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置(CPU:Central Processing Unit)、主記憶装置(RAM:Random Access Memory)等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラム(三次元情報統合プログラム)により動作させることで実現することも可能である。以上説明したように、本発明は、再生像の大きさの比率および奥行きの制御処理を光学系ではなく演算により行うことで、装置を小型化することができる効果を奏することになる。
【図面の簡単な説明】
【0166】
【図1】本発明の概略を説明するための図であり、複数の三次元情報(要素画像群)を統合して一つの三次元情報(要素画像群)を生成する様子を説明するための説明図である。
【図2】本実施形態に係る三次元情報統合装置の構成を示すブロック図である。
【図3】本実施形態に係る三次元情報統合装置における立体画像奥行き制御手段の構成を示すブロック構成図である。
【図4】本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【図5】本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図である。
【図6】画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図である。
【図7】(a)〜(e)は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、(f)〜(h)は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図である。
【図8】本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。
【図9】本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【図10】立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。
【図11】立体画像奥行き制御手段の演算処理で用いる積分範囲の例を模式的に示す説明図である。
【図12】本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。
【図13】奥行き変換手段の第1要素画像群の変換方法を説明するための説明図である。
【図14】立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図である。
【図15】立体情報割当手段が、第1要素画像群の各々の画素の輝度値を第2要素画像群上の画素に割り当てる方法を説明するための説明図であり、(a)は、仮想的に設定された第1の要素画像面と、第1の仮想的な開口群と、第2の仮想的な開口群と、第2の要素画像面と、処理済要素画像群に仮想的に含まれる像とを模式的に示す模式図、(b)は、(a)におけるAに示した部分を拡大して示した、第2要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。
【図16】従来のIP方式による立体画像の撮影および再生を模式的に示す説明図であり、(a)は、立体画像撮影装置、(b)は、立体画像表示装置をそれぞれ示している。
【図17】従来の逆視を回避する方法を模式的に示す説明図であり、(a)は、撮影で取得された情報を交換する立体画像奥行き制御手段、(b)は、変換された像を表示する立体画像表示装置をそれぞれ示している。
【符号の説明】
【0167】
1 三次元情報統合装置
2 要素画像分離手段
3 画素記憶手段
4 立体画像奥行き制御手段
41 分配手段
42 要素画像変換手段
43 奥行き変換手段
44 要素画像再生手段
45 加算手段
5 統合三次元情報記憶手段
6 画素値割り当て済み位置記憶手段
7 未処理画素割り当て手段
8 出力手段
【特許請求の範囲】
【請求項1】
インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置であって、
外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の
要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する要素画像分離手段と、
前記要素画像分離手段により分離された前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群をそれぞれ記憶する画素記憶手段と、
外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群について大きさの比率および奥行き制御処理を行う立体画像奥行き制御手段と、
前記立体画像奥行き制御手段により生成された処理済要素画像群を記憶する統合三次元情報記憶手段と、
前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を記憶する画素値割り当て済み位置記憶手段と、
前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段と、を備え、
前記立体画像奥行き制御手段は、
二番目以降に統合の処理対象となる処理対象要素画像群については、前記画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき領域のうち、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を前記統合三次元情報記憶手段の画素に割り当てることを特徴とする三次元情報統合装置。
【請求項2】
前記立体画像奥行き制御手段での全ての前記処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えた
ことを特徴とする請求項1に記載の三次元情報統合装置。
【請求項3】
インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するために、コンピュータを、
外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離し、前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群を画素記憶手段に記憶させる要素画像分離手段、
外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群の大きさの比率および奥行き制御処理を行って生成した処理済要素画像群統合三次元情報記憶手段に記憶させるとともに、前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を画素値割り当て済み位置記憶手段に記憶させる立体画像奥行き制御手段、
前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段、
として機能させることを特徴とする三次元情報統合プログラム。
【請求項1】
インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置であって、
外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の
要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する要素画像分離手段と、
前記要素画像分離手段により分離された前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群をそれぞれ記憶する画素記憶手段と、
外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群について大きさの比率および奥行き制御処理を行う立体画像奥行き制御手段と、
前記立体画像奥行き制御手段により生成された処理済要素画像群を記憶する統合三次元情報記憶手段と、
前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を記憶する画素値割り当て済み位置記憶手段と、
前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段と、を備え、
前記立体画像奥行き制御手段は、
二番目以降に統合の処理対象となる処理対象要素画像群については、前記画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき領域のうち、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を前記統合三次元情報記憶手段の画素に割り当てることを特徴とする三次元情報統合装置。
【請求項2】
前記立体画像奥行き制御手段での全ての前記処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えた
ことを特徴とする請求項1に記載の三次元情報統合装置。
【請求項3】
インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するために、コンピュータを、
外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離し、前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群を画素記憶手段に記憶させる要素画像分離手段、
外部から入力された操作信号により特定された、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群の大きさの比率および奥行き制御処理を行って生成した処理済要素画像群統合三次元情報記憶手段に記憶させるとともに、前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を画素値割り当て済み位置記憶手段に記憶させる立体画像奥行き制御手段、
前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段、
として機能させることを特徴とする三次元情報統合プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2010−68251(P2010−68251A)
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願番号】特願2008−232664(P2008−232664)
【出願日】平成20年9月10日(2008.9.10)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願日】平成20年9月10日(2008.9.10)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]