立体画像変換装置およびそのプログラム
【課題】被写体の撮影および表示に用いる光学的な装置に依存することなく演算処理を用いて被写体の凹凸と同じ再生像の大きさの比率を制御できる技術を提供する。
【解決手段】立体画像変換装置１０は、第１要素画像群の光波を要素画像毎に分配する分配手段１１と、分配された要素画像の光波を第１の仮想的な開口群を通過してこれと開口ピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段１２と、この変換されたそれぞれの要素画像の光波を第２の仮想的な開口群の入射面で加算する加算手段１３と、加算された光波を第２要素画像群を構成する要素画像毎に再分配する再分配手段１４と、再分配された要素画像の光波を第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段１５と、この変換された光波を結合することで第２要素画像群を生成する結合手段１６とを備える。
【解決手段】立体画像変換装置１０は、第１要素画像群の光波を要素画像毎に分配する分配手段１１と、分配された要素画像の光波を第１の仮想的な開口群を通過してこれと開口ピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段１２と、この変換されたそれぞれの要素画像の光波を第２の仮想的な開口群の入射面で加算する加算手段１３と、加算された光波を第２要素画像群を構成する要素画像毎に再分配する再分配手段１４と、再分配された要素画像の光波を第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段１５と、この変換された光波を結合することで第２要素画像群を生成する結合手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズアレイや空間フィルタアレイを通して被写体を撮影することで取得した立体情報を、再生像を表示するために用いる画像情報へと変換する立体画像変換装置に係り、特に、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる画像情報へと変換する立体画像変換装置に関する。
【背景技術】
【０００２】
従来、レンズアレイ（微小な光学素子アレイ）や空間フィルタ（微小な開口アレイ）を通して被写体の立体情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する装置として、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式が知られている。
【０００３】
ここで、図６（ａ），図６（ｂ）を用いてＩＰ方式に基づく通常の立体画像撮影について説明する。図６（ａ）に示す立体画像撮影装置は、矢印で示す撮影方向１１４から、例えば、凸レンズで構成されたレンズ群１１２を通して被写体１１１を撮影する。ここで、撮影方向１１４は、立体画像撮影装置がレンズ群１１２の前方（図６（ａ）では左方）に配置された被写体１１１を撮影する方向である。このとき、レンズ群１１２の後方（図６（ａ）では右方）の撮影板１１３には、レンズ群１１２を構成する凸レンズの個数と同じ個数だけ被写体１１１の像、例えば、像１１５が結像する。ここで、撮影板１１３は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。
【０００４】
図６（ｂ）は、一平面状に凸レンズを配列したレンズ群１２２と表示素子１２３により構成される立体画像表示装置、および立体像１２１、観察方向１２４、レンズ群の像１２５を示す図である。ここで、表示素子１２３には、図６（ａ）に示した立体画像撮影装置の撮影板１１３により撮影された像１１５に対応する像１２５を表示する。この表示素子１２３は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置の動作の結果、図６（ｂ）に示すように、被写体１１１が存在した場所と同じ位置に立体像１２１が生成される。ただし、立体像１２１は逆視像として生成される。すなわち、図６（ａ）に示すように、撮影方向１１４から見た場合には、被写体１１１の円柱が角柱に対して手前に存在している。ところが、図６（ｂ）に示すように、被写体１１１に対応する立体像１２１では、観察方向１２４から見て、角柱が円柱の手前に生成されている。つまり、被写体と比較して奥行きが反転した逆視像が生成される。
【０００５】
なお、図６（ａ），図６（ｂ）には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ（空間フィルタ）を使用してもよい。
【０００６】
図６（ａ）において、被写体１１１の角柱の大きさ（高さ）をｘc、レンズ群１１２から被写体１１１の角柱までの距離をｚc、レンズ群１１２から像１１５が撮影される面までの距離をｄc、レンズ群１１２を構成する凸レンズピッチをｐc、レンズ群１１２を構成する凸レンズにより生成される被写体の像の大きさ（高さ）をｋcとする。また、図６（ｂ）において、立体像１２１の角柱の大きさ（高さ）をｘr、レンズ群１２２から立体像１２１の角柱までの距離をｚr、レンズ群１２２から像１２５が表示きれる面までの距離をｄr、レンズ群１２２を構成する凸レンズピッチをｐr、表示素子１２３に表示される個々の像の大きさ（高さ）をｋrとする。この場合、ｘcとｘrとの関係は、非特許文献１により式（１０１）で表わされる。
【０００７】
【数１】
【０００８】
前記した式（１０２ａ）〜式（１０２ｃ）の関係から、図６（ａ）に示した立体画像撮影装置のレンズ群１１２を構成する凸レンズのピッチｐｃと、図６（ｂ）に示した立体画像表示装置のレンズ群１２２を構成する凸レンズのピッチｐrとを異なるものとすることで、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを制御できることが導かれる。また、同様に、撮影された被写体の像１１５の大きさｋｃと、表示する像１２５の大きさｋｒとを変化させることで、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを制御できることが導かれる。
【０００９】
また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図６（ａ）に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を、図６（ｂ）に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている（特許文献１参照）。
【００１０】
特許文献１で開示されている立体画像奥行き変換装置について図７（ａ）および図７（ｂ）を参照して説明する。図７（ａ）は、図６（ａ）で取得した像１３１、第１の仮想的なレンズアレイ１３２、仮想的に生成される立体像１３３、第２の仮想的なレンズアレイ１３４、第２の仮想的なレンズアレイ１３４により生成される像１３５（仮想的に生成された立体像１３３の像）を示す図である。ここで、像１３５は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。
【００１１】
図７（ｂ）は、図７（ａ）で演算処理により生成された像１４１（つまり図７（ａ）における像１３５）、一平面状に凸レンズを配列したレンズ群１４２、立体像１４３、観察方向１４４を示す図である。図７（ｂ）に示すように、例えば図６（ｂ）の立体画像表示装置の動作の結果、観察方向１４４から見て、円柱が角柱に対して手前に観察されることとなる。立体像１４３は、図６（ａ）における被写体の奥行き関係と等価である。
【特許文献１】特開２００７−１１４４８３号公報（段落００５６、図４）
【非特許文献１】J. Opt. Soc. Am. A，Vol. 21，pp.951-958，2004
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１に記載された方法に、前記した式（１０２ａ）〜式（１０２ｃ）の関係から導かれる立体像の大きさの比率を制御する方法を組み合わせれば、逆視像が生成される問題を解決しつつ、正しい奥行きの立体像を生成することが可能である。しかしながら、この場合には、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを変化させようとするときに、比率ｘr／ｘｃに応じて、レンズ群１２２（あるいはレンズ群１１２）を変更する必要が生じてしまう。このように比率ｘr／ｘｃに応じて光学系の装置を変更しなればならないと、例えば、立体テレビジョン方式において、被写体に対する大きさを所望の大きさに変化させた再生像を表示して演出効果を高める、といったことが困難となってしまう。
【００１３】
本発明は、以上のような問題点に鑑みてなされたものであり、被写体の撮影および表示に用いる光学的な装置に依存することなく、演算処理を用いて被写体の凹凸と同じ再生像の大きさの比率を制御できる立体画像変換装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像変換装置は、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成する立体画像変換装置であって、分配手段と、第１要素画像変換手段と、加算手段と、再分配手段と、第２要素画像変換手段と、結合手段とを備えることとした。
【００１５】
かかる構成によれば、立体画像変換装置は、分配手段によって、前記第１要素画像群の光波を要素画像毎に分配する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。そして、立体画像変換装置は、第１要素画像変換手段によって、分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する。ここで、開口とは、レンズ等の光学素子やピンホール等の空間フィルタのことをいう。そして、立体画像変換装置は、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する。したがって、第２の仮想的な開口群の入射面において、第１要素画像群のそれぞれの要素画像が変化を受けた結果として、要素画像群の中間生成段階の状態となる。そして、立体画像変換装置は、再分配手段によって、加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する。そして、立体画像変換装置は、第２要素画像変換手段によって、再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する。したがって、第２の仮想的な開口群を通過することでそれぞれの要素画像が変化を受けた結果として、いわば再撮影された要素画像の状態となる。そして、立体画像変換装置は、結合手段によって、第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する。したがって、立体画像変換装置は、撮影装置で撮影された要素画像群の光をあたかも光学的に表示して再撮影したかのような演算処理を実行する。このとき、光波は、開口のピッチが互いに異なる２つの仮想的な開口群を通過するので、第１要素画像群の領域の長さと、第２要素画像群の領域の長さとが異なることとなる。そのため、この第２要素画像群が立体画像として表示された場合に、第１要素画像群が立体画像として表示された場合とは像の大きさが異なる再生像を表示することが可能となる。その結果、立体画像変換装置は、第２要素画像群を立体画像として表示する立体画像表示装置の光学系を変化させることなく、２つの仮想的な開口群のピッチの比を変化させることで、被写体の大きさから変化させた自由な大きさの再生像を表示させる第２要素画像群を生成することができる。
【００１６】
また、請求項２に記載の立体画像変換装置は、請求項１に記載の立体画像変換装置において、反転情報生成手段をさらに備えることした。
【００１７】
かかる構成によれば、立体画像変換装置は、反転情報生成手段によって、立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記第１要素画像群を生成する。そして、立体画像変換装置は、分配手段によって、前記反転情報生成手段で生成された第１要素画像群の光波を要素画像毎に分配する。
【００１８】
また、請求項３に記載の立体画像変換プログラムは、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するために、コンピュータを、分配手段、第１要素画像変換手段、加算手段、再分配手段、第２要素画像変換手段、結合手段として機能させることとした。
【００１９】
かかる構成によれば、立体画像変換プログラムは、分配手段によって、前記第１要素画像群の光波を要素画像毎に分配し、第１要素画像変換手段によって、分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群とは開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する。そして、立体画像変換プログラムは、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する。そして、立体画像変換プログラムは、再分配手段によって、加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配し、第２要素画像変換手段によって、再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する。そして、立体画像変換プログラムは、結合手段によって、第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する。
【発明の効果】
【００２０】
本発明は、以下に示す効果を奏するものである。
請求項１に記載の発明によれば、立体画像変換装置は、表示されたときに被写体の凹凸が反転した再生像となるような第１要素画像群を、その要素画像の光波が、開口ピッチの異なる２つの開口群を仮想的に通過したものとして演算処理することで、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第２要素画像群へと変換することができる。したがって、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の再生像の大きさの比率を制御できる。そのため、立体像の大きさを変化させる際に、レンズやピンホールなどを変更する必要が生じないという利点を有する。
【００２１】
また、請求項１に記載の発明によれば、立体画像変換装置は、第１要素画像群を、被写体に対する大きさが任意に制御された立体像に対応する第２要素画像群へと変換できるため、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることができる。
【００２２】
また、請求項２に記載の発明によれば、立体画像変換装置は、変換するために入力される要素画像群が、被写体の凹凸が反転した像を再生するものであっても、被写体の凹凸と同じ像を再生するものであってもどちらでも、被写体の凹凸と同じ像を再生する第２要素画像群へと変換できる。
【００２３】
また、請求項３に記載の発明によれば、立体画像変換プログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することで、立体画像変換装置と同等の効果を奏することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の立体画像変換装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
る。
【００２５】
［立体画像変換装置の構成の概要］
まず、本実施形態の立体画像変換装置の構成の概要について説明する。図１は、本発明の実施形態に係る立体画像変換装置の一例を模式的に示す構成図である。
【００２６】
立体画像変換装置１０は、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するものである。この立体画像変換装置１０に入力される第１要素画像群は、立体画像撮影装置２０において、ＣＣＤ等の撮像素子によって撮影された映像信号である。この立体画像変換装置１０で生成された第２要素画像群は、立体画像表示装置３０において、液晶パネル等の情報表示デバイスに表示される。立体画像撮影装置２０および立体画像表示装置３０としては、例えば、図６（ａ）および図６（ｂ）に例示した構成を採用することができる。
【００２７】
立体画像変換装置１０は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ、ハードディスク等の記憶装置（記憶手段）と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、ＬＡＮ（Local Area Network）等の通信回線を介して各種情報の送受信を行うインタフェース装置と、ＬＣＤ（Liquid Crystal Display）等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この立体画像変換装置１０は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、図１に示す分配手段１１と、第１要素画像変換手段１２と、加算手段１３と、再分配手段１４と、第２要素画像変換手段１５と、結合手段１６とが実現される。
【００２８】
分配手段１１は、第１要素画像群の光波を要素画像毎に分配するものである。ここでは、分配された要素画像をｍ（−Ｍ≦ｍ≦Ｍ）で識別することとする。第１要素画像変換手段１２は、この分配された例えば（２Ｍ＋１）個の要素画像毎に機能する。そして、分配された要素画像ｍは、その後、加算手段１３で加算され、再分配手段１４で再び分配される。このとき再分配された要素画像をｎ（−Ｎ≦ｎ≦Ｎ）で識別することとする。第２要素画像変換手段１５は、この再分配された例えば（２Ｎ＋１）個の要素画像毎に機能する。そして、再分配された要素画像ｎは、その後、結合手段１６で結合され第２要素画像群が生成されることとなる。
【００２９】
［立体画像変換装置の演算処理で想定する仮想的な開口群の概要］
次に、本実施形態の立体画像変換装置の演算処理で想定する仮想的な開口群の概要について図２を参照（適宜図１参照）して説明する。図２は、この立体画像変換装置の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。図１に示す第１要素画像変換手段１２は、分配手段１１で分配された要素画像の光波を、第１の仮想的な開口群４１（図２参照）を通過して第２の仮想的な開口群４２（図２参照）へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。また、開口群を構成する要素（開口）は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を図２に示すように凸レンズ（要素レンズ）で表すこととする。また、図２に示すように、第１の仮想的な開口群４１と第２の仮想的な開口群４２とは所定距離Ｌだけ離間している。図２のように第１の仮想的な開口群４１が仮想的なレンズアレイであれば、この所定距離Ｌは、要素レンズの焦点距離とすることができる。なお、第１および第２の仮想的な開口群４１，４２は実際には存在せず、立体画像変換装置１０が演算処理を行うために想定したものである。
【００３０】
図２において、第１要素画像群の光波は、第１の要素画像面４３から出射して、図２において厚み方向を示した平面状の第１および第２の仮想的な開口群４１，４２を、左から右へ通過して第２の要素画像面４４に入射する。また、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。同様に、ｋ２は第２要素画像群におけるｎ番目の要素画像の領域を示し、ｄ２は第２の仮想的な開口群４１から第２要素画像群（第２の要素画像面４４）までの距離を示す。
【００３１】
また、図２において、ｐ1は第１の仮想的な開口群４１を形成する要素レンズのピッチを示し、ｐ２は第２の仮想的な開口群４２を形成する要素レンズのピッチを示す。本実施形態では、以下の式（１）で表わされるピッチの比ΦをΦ≠１として設定する。つまり、第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチは異なる。なお、図２では、Φ＜１の状態が図示されているが、Φ＞１と設定してもよい。
【００３２】
【数２】
【００３３】
［立体画像変換装置の詳細な構成］
＜分配手段＞
分配手段１１は、入力された映像信号（第１要素画像群の光波）を要素画像単位に分割する。入力された映像信号（第１の要素画像面４３から出射する光波）は、第１要素画像群を構成する各要素画像の光波の束に相当し、これを第１要素画像群ｔ１と表記することとする。この分配手段１１は、入力された映像信号における第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇs,m（ｘs,m，ｙs,m））を、このｍ番目の要素画像に予め対応付けられている第１要素画像変換手段１２に出力する。ここで、ｘs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｘ座標を示す。同様に、ｙs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｙ座標を示す。
【００３４】
＜第１要素画像変換手段段＞
第１要素画像変換手段１２は、図１に示すように、光波計算手段１２ａと、位相シフト手段２２ｂと、光波計算手段１２ｃとを備えている。
【００３５】
≪光波計算手段１２ａ≫
光波計算手段１２ａは、要素画像の光波から、フレネル近似（Fresnel diffraction）に基づいて、第１の仮想的な開口群４１（図２参照）を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段１２ａは、第１の仮想的な開口群４１のｍ番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（２）により要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））を演算する。
【００３６】
【数３】
【００３７】
ここで、ｘo,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙo,mは、第１の仮想的な開口群４１の要素レンズ群のｍ番目の開口部の光軸中心を原点とした場合のｙ座標である。また、ｆ1は、第１の仮想的な開口群４１の要素レンズの焦点距離を示す。また、ｋは、波数２π／λ（λは光波の波長）である。この要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））は、位相シフト手段２２ｂに出力される。
【００３８】
≪位相シフト手段２２ｂ≫
位相シフト手段２２ｂは、入力された要素画像の光波（Ｒi,m（ｘo,m，ｙo,m））から、位相を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段２２ｂは、以下の式（３）に示すように、光波（Ｒi,m（ｘo,m，ｙo,m））を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせることで、第１の仮想的な開口群４１の要素レンズから出射する光波に相当する信号（Ｒo,m（ｘo,m，ｙo,m））を演算する。この光波（Ｒo,m（ｘo,m，ｙo,m））は、光波計算手段１２ｃへ出力される。
【００３９】
【数４】
【００４０】
≪光波計算手段１２ｃ≫
光波計算手段１２ｃは、第１の仮想的な開口群４１の要素レンズから出射する光波、すなわち、位相シフト手段２２ｂから入力された要素画像の光波（Ｒo,m（ｘo,m，ｙo,m））をフレネル近似することで、第２の仮想的な開口群４２（図２参照）の要素レンズに入射する光波を演算するものである。つまり、光波計算手段１２ｃは、第２の仮想的な開口群４２の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（４）により要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））を演算する。この要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））は加算手段１３へ出力される。
【００４１】
【数５】
【００４２】
式（４）において、ｘd,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｘ座標である。同様に、ｙd,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｙ座標を示す。また、Ｌは、第１の仮想的な開口群４１と第２の仮想的な開口群４２との距離である。また、積分計算を実施する範囲は、ｍ番目の要素画像（要素画像（ｍ））の拡がる範囲と等価に設定することとする。第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗの一例を図３に示す。この場合、第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗは式（５）で表わされる。なお、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。
【００４３】
【数６】
【００４４】
＜加算手段＞
加算手段１３は、第１要素画像変換手段１２で変換されたそれぞれの要素画像の光波を、分配手段１１で分配された数だけ、第２の仮想的な開口群４２の入射面で加算するものである。加算手段１３は、第１の仮想的な開口群４１の要素レンズの画角に対応する光波を加算する。この加算手段１３は、第１の仮想的な開口群４２の要素レンズから出射されて第２の仮想的な開口群４２の要素レンズの入射面に到達する光波（Ｒd,m（ｘd,m，ｙd,m））を、第２の仮想的な開口群４２の領域内で加算する。つまり、第２の仮想的な開口群４２の入射面での光波に相当する信号として、以下の式（６）により、第２の仮想的な開口群４２の入射面での光波（Ｒp（ｘp，ｙp））を演算する。
【００４５】
【数７】
【００４６】
ここで、ｘpは、第２の仮想的な開口群４２の中心を原点とした場合のｘ座標であり、同様に、ｙpは、第２の仮想的な開口群４２の中心を原点とした場合のｙ座標である。この光波（Ｒp（ｘp，ｙp））は再分配手段１４へ出力される。
【００４７】
＜再分配手段＞
再分配手段１４は、加算手段１３で加算された光波を、第２要素画像群を構成する要素画像毎に再分配するものである。この再分配手段１４は、加算手段１３から入力された光波（Ｒp（ｘp，ｙp））を要素画像単位に分割する。光波（Ｒp（ｘp，ｙp））を再分配した要素画像ごとの光波として、第２の仮想的な開口群４２を構成するｎ番目の要素レンズに対応する光波を、（Ｒp,n（ｘp,n，ｙp,n））とする。ここで、再分配手段１４は、第２の仮想的な開口群４２を構成する各要素レンズに入力された光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群４２を横成するｎ番目の要素レンズに予め対応付けられている第２要素画像変換手段１５に出力する。
【００４８】
＜第２要素画像変換手段＞
第２要素画像変換手段１５は、再分配手段１４で分配された要素画像の光波を、第２の仮想的な開口群４２を通過して結像するまでの距離だけ伝搬した光波に変換するものである。この第２要素画像変換手段１５は、再分配手段１４から入力された光波を、第２の仮想的な開口群４２の要素レンズ（焦点距離ｆ２）の開口領域に再分配した後、その要素レンズ（焦点距離ｆ２）を通過する光波に変換し、さらに、その要素レンズの焦点距離ｆ２だけ光波を伝搬させる。第２要素画像変換手段１５は、例えば（２Ｎ＋１）個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第２要素画像群が構成されることとなる。これを第２要素画像群ｔ２と表記することとする。つまり、第２要素画像変換手段１５は、第２要素画像群ｔ２を演算する。第２要素画像変換手段１５は、図１に示すように、位相シフト手段１５ａと、光波計算手段１５ｂとを備えている。
【００４９】
≪位相シフト手段１５ａ≫
位相シフト手段１５ａは、再分配手段１４から入力された光波（Ｒp,n（ｘp,n，ｙp,n））から、位相を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段１５ａは、以下の式（７）に示すように、光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせることで、第２の仮想的な開口群４２の要素レンズから出射する光波に相当する信号（Ｒr,n（ｘp,n，ｙp,n））を演算する。
【００５０】
【数８】
【００５１】
ここで、ｘp,nは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙp,nは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｙ座標である。また、ｆ2は、第２の仮想的な開口群４２の要素レンズの焦点距離である。この要素画像毎の光波（Ｒr,n（ｘp,n，ｙp,n））は、光波計算手段１５ｂへ出力される。
【００５２】
≪光波計算手段１５ｂ≫
光波計算手段１５ｂは、第２の仮想的な開口群４２の要素レンズ毎の光波をフレネル近似することで、第２の仮想的な開口群４２の要素レンズから出射し、第２の要素画像面４４（図２参照）に到達する光波を演算するものである。すなわち、光波計算手段１５ｂは、以下の式（８）により、第２の仮想的な開口群４２のｎ番目の要素レンズから出射されて第２の要素画像面４４に到達する光波（Ｒe,n（ｘe,n，ｙe,n））を演算する。
【００５３】
【数９】
【００５４】
ここで、ｘe,nは、出力画像全体（第２要素画像群）におけるｎ番目の要素画像の中心からのｘ座標である。同様に、ｙe,nは出力画像全体におけるｎ番目の要素画像の中心からのｙ座標である。この光波計算手段１５ｂで演算された光波（Ｒe,n（ｘe,n，ｙe,n））は結合手段１６へ出力される。
【００５５】
＜結合手段＞
結合手段１６は、第２要素画像変換手段１５で変換された光波を、再分配手段１４で再分配された数だけ結合することで、第２要素画像群を生成するものである。この結合手段１６は、第２要素画像変換手段１５から出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成する。この結合手段１６で得られた第２要素画像群ｔ２は、立体画像表示装置３０（図１参照）へ出力される。
【００５６】
ここで、第２要素画像変換手段１５から出力される第２の要素画像面４４に到達する光波（Ｒe,n（ｘe,n，ｙe,n））の電力は、光の振幅の２乗で表わすことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段１６は、以下の式（９）に示すように、第２の要素画像面４４に到達する各要素画像の光波（例えばｎ番目の要素画像であればその光波は（Ｒe,n（ｘe,n，ｙe,n））である）の２乗を計算し、その和をとることで、第２要素画像群ｔ２全体の映像信号を得る。
【００５７】
【数１０】
【００５８】
［再生像の大きさの比率制御］
立体画像変換装置１０は、前記のように詳細に説明した構成を備えており、前記した式（１）で表わされるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。仮に、本実施形態の立体画像変換装置１０の処理を行わない場合、つまり、第１および第２の仮想的な開口群４１，４２を用いない場合には、被写体の大きさｘc（図６（ａ）参照）と再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、前記した式（１０１）の通りである。このように立体画像変換装置１０を用いない場合、前記した式（１０１）において、α＝γとすると、被写体の大きさｘc（図６（ａ）参照）と、再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、以下の式（１０）で表わされることとなる。
【００５９】
【数１１】
【００６０】
つまり、図１において、立体画像変換装置１０を無視して、立体画像撮影装置２０（図１参照）における要素レンズのピッチｐc（図６（ａ）参照）と、立体画像表示装置３０（図１参照）における要素レンズのピッチｐr（図６（ｂ）参照）とが等しい場合には、被写体の大きさｘc（図６（ａ）参照）と、再生像される立体像の大きさｘr（図６（ｂ）参照）とは等しくなってしまう。一方、本実施形態の立体画像変換装置１０を用いた場合には、被写体の大きさｘc（図６（ａ）参照）と、再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、以下の式（１１）で表わされる。
【００６１】
【数１２】
【００６２】
つまり、図１において、立体画像撮影装置２０（図１参照）における要素レンズのピッチｐc（図６（ａ）参照）と、立体画像表示装置３０（図１参照）における要素レンズのピッチｐr（図６（ｂ）参照）とが仮に等しかったとしても、第１の仮想的な開口群４１の要素レンズのピッチｐ1（図２参照）と、第２の仮想的な開口群４２の要素レンズのピッチｐ2（図２参照）とを制御することで、被写体の大きさｘc（図６（ａ）参照）に対する再生される立体像の大きさｘr（図６（ｂ）参照）を変化させることが可能となる。
【００６３】
なお、説明の都合上、前記した式（１０）および式（１１）の説明において、前記した式（１０１）においてαとγとが等しい場合について記述したが、本発明では、前記した式（１０１）においてα≠γとしてもよい。同様に、立体画像撮影装置２０における要素レンズのピッチｐcと、立体画像表示装置３０における要素レンズのピッチｐrとが等しい場合について記述したが、ｐc≠ｐrとしてもよい。
【００６４】
本実施形態によれば、立体画像変換装置１０は、第１要素画像群ｔ１を、各要素画像ｍの光波が、第１および第２の仮想的な開口群４１，４２を通過したものとして演算処理することで、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第２要素画像群ｔ２へと変換することができる。したがって、このように演算処理で立体像の大きさを変化できるので、従来のようにレンズ等の撮影および表示に用いる光学的な装置を変更する必要がない。また、本実施形態によれば、立体画像変換装置１０は、演算処理により、被写体を複数の要素画像として撮影した要素画像群としての画像から発せられる光を再度撮影した場合と等価な画像を生成することができる。さらに、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることが可能となる。
【００６５】
以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、本実施形態では、立体画像変換装置１０は、立体画像撮影装置２０において撮影されて立体画像として表示されたときに被写体の凹凸が反転した再生像となる入力映像信号をそのまま第１要素画像群として扱うこととして説明したが、本発明では、立体画像として表示されたときに被写体の凹凸が同じ再生像となる要素画像群を入力するようにしてもよい。
【００６６】
この場合の立体画像変換装置の構成例を図４に示す。図４に示す立体画像変換装置１０Ａは、図１に示した構成にさらに反転情報生成手段１９を備えることとした。ここで、反転情報生成手段１９は、立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記した第１要素画像群を生成するものである。図４に示す例では、立体画像撮影装置２０において撮影されて立体画像として表示されたときに被写体の凹凸が反転した再生像となる入力映像信号を反転情報生成手段１９に入力し、反転情報生成手段１９で個々の要素画像をそれぞれ点対称に反転させてから分配手段１１に出力する。そして、分配手段１１は、反転情報生成手段１９で生成された第１要素画像群の光波を要素画像毎に分配する。これにより、図１に示した立体画像変換装置１０と同等の効果を奏することができる。なお、撮影された立体情報を、立体画像変換装置１０Ａの図示しない記憶手段に蓄積しておき、この蓄積された立体情報を反転情報生成手段１９に入力するようにしてもよい。
【００６７】
また、本実施形態では、前記した式（２）、式（４）および式（８）の演算において、フレネル近似を用いる式を示したが、ホイへンス・フレネル（Huygens-Fresnel）の原理による積分や、フランフォーファ近似（Fraunhofer diffraction）による積分を用いて演算してもよい。
【００６８】
また、本実施形態では、前記した式（２）、式（３）、式（７）および式（８）の演算において、第１の仮想的な開口群４１の要素レンズの焦点距離ｆ１、第２の仮想的な開口群４２の要素レンズの焦点距離ｆ２をそれぞれ用いたが、これに限定されない。すなわち、焦点距離は、第１の仮想的な開口群４１を構成する要素レンズ毎に異なっていてもよいし、第２の仮想的な開口群４２を構成する要素レンズ毎に異なっていてもよい。
【００６９】
また、本実施形態では、第１の仮想的な開口群４１を構成する要素レンズの数や密度と、第２の仮想的な開口群４２を構成する要素レンズの数や密度との関係について記述していないが、これらの関係は任意である。例えば、図５に示すように、第１の仮想的な開口群５１を構成する要素レンズが粗に少ない数で配置され、第２の仮想的な開口群４２を構成する要素レンズが密に多数で配置されていてもよい。この場合、第１の仮想的な開口群５１を構成する要素レンズのピッチはｐ３であり、図２に示した第１の仮想的な開口群４１を構成する要素レンズのピッチｐ１とは異なっている。
【００７０】
また、立体画像変換装置１０（１０Ａ）は、前記したようにハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現されるものとした。このプログラム（立体画像変換プログラム）は、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。また、立体画像変換装置１０（１０Ａ）は、前記した各手段を演算回路によって実現することも可能である。
【００７１】
また、本実施形態では、第１および第２の仮想的な開口群４１，４２を構成する開口を要素レンズとして説明したが、ピンホール等の空間フィルタに置き換えてもよい。この場合、要素レンズの焦点距離ｆ１，ｆ２に対応する距離は任意の距離とすることができる。
【００７２】
また、立体画像変換装置１０（１０Ａ）は、立体画像撮影装置２０や立体画像表示装置３０に組み込んで構成することもできる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態に係る立体画像変換装置の一例を模式的に示す構成図である。
【図２】本発明の実施形態に係る立体画像変換装置の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。
【図３】本発明の実施形態に係る立体画像変換装置の演算処理で用いる積分範囲の一例を模式的に示す説明図である。
【図４】本発明の実施形態に係る立体画像変換装置の他の例を模式的に示す構成図である。
【図５】本発明の実施形態に係る立体画像変換装置の演算処理で想定する仮想的な開口群の他の例を模式的に示す説明図である。
【図６】従来のＩＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。
【図７】従来の逆視を回避する方法を模式的に示す説明図であり、（ａ）は撮影で取得された情報を変換する立体画像奥行き変換装置、（ｂ）は変換された像を表示する立体画像表示装置をそれぞれ示している。
【符号の説明】
【００７４】
１０（１０Ａ） 立体画像変換装置
１１ 分配手段
１２ 第１要素画像変換手段
１２ａ 光波計算手段
１２ｂ 位相シフト手段
１２ｃ 光波計算手段
１３ 加算手段
１４ 再分配手段
１５ 第２要素画像変換手段
１５ａ 位相シフト手段
１５ｂ 光波計算手段
１６ 結合手段
１９ 反転情報生成手段
２０ 立体画像撮影装置
３０ 立体画像表示装置
【技術分野】
【０００１】
本発明は、レンズアレイや空間フィルタアレイを通して被写体を撮影することで取得した立体情報を、再生像を表示するために用いる画像情報へと変換する立体画像変換装置に係り、特に、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる画像情報へと変換する立体画像変換装置に関する。
【背景技術】
【０００２】
従来、レンズアレイ（微小な光学素子アレイ）や空間フィルタ（微小な開口アレイ）を通して被写体の立体情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する装置として、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式が知られている。
【０００３】
ここで、図６（ａ），図６（ｂ）を用いてＩＰ方式に基づく通常の立体画像撮影について説明する。図６（ａ）に示す立体画像撮影装置は、矢印で示す撮影方向１１４から、例えば、凸レンズで構成されたレンズ群１１２を通して被写体１１１を撮影する。ここで、撮影方向１１４は、立体画像撮影装置がレンズ群１１２の前方（図６（ａ）では左方）に配置された被写体１１１を撮影する方向である。このとき、レンズ群１１２の後方（図６（ａ）では右方）の撮影板１１３には、レンズ群１１２を構成する凸レンズの個数と同じ個数だけ被写体１１１の像、例えば、像１１５が結像する。ここで、撮影板１１３は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。
【０００４】
図６（ｂ）は、一平面状に凸レンズを配列したレンズ群１２２と表示素子１２３により構成される立体画像表示装置、および立体像１２１、観察方向１２４、レンズ群の像１２５を示す図である。ここで、表示素子１２３には、図６（ａ）に示した立体画像撮影装置の撮影板１１３により撮影された像１１５に対応する像１２５を表示する。この表示素子１２３は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置の動作の結果、図６（ｂ）に示すように、被写体１１１が存在した場所と同じ位置に立体像１２１が生成される。ただし、立体像１２１は逆視像として生成される。すなわち、図６（ａ）に示すように、撮影方向１１４から見た場合には、被写体１１１の円柱が角柱に対して手前に存在している。ところが、図６（ｂ）に示すように、被写体１１１に対応する立体像１２１では、観察方向１２４から見て、角柱が円柱の手前に生成されている。つまり、被写体と比較して奥行きが反転した逆視像が生成される。
【０００５】
なお、図６（ａ），図６（ｂ）には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ（空間フィルタ）を使用してもよい。
【０００６】
図６（ａ）において、被写体１１１の角柱の大きさ（高さ）をｘc、レンズ群１１２から被写体１１１の角柱までの距離をｚc、レンズ群１１２から像１１５が撮影される面までの距離をｄc、レンズ群１１２を構成する凸レンズピッチをｐc、レンズ群１１２を構成する凸レンズにより生成される被写体の像の大きさ（高さ）をｋcとする。また、図６（ｂ）において、立体像１２１の角柱の大きさ（高さ）をｘr、レンズ群１２２から立体像１２１の角柱までの距離をｚr、レンズ群１２２から像１２５が表示きれる面までの距離をｄr、レンズ群１２２を構成する凸レンズピッチをｐr、表示素子１２３に表示される個々の像の大きさ（高さ）をｋrとする。この場合、ｘcとｘrとの関係は、非特許文献１により式（１０１）で表わされる。
【０００７】
【数１】
【０００８】
前記した式（１０２ａ）〜式（１０２ｃ）の関係から、図６（ａ）に示した立体画像撮影装置のレンズ群１１２を構成する凸レンズのピッチｐｃと、図６（ｂ）に示した立体画像表示装置のレンズ群１２２を構成する凸レンズのピッチｐrとを異なるものとすることで、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを制御できることが導かれる。また、同様に、撮影された被写体の像１１５の大きさｋｃと、表示する像１２５の大きさｋｒとを変化させることで、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを制御できることが導かれる。
【０００９】
また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図６（ａ）に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を、図６（ｂ）に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている（特許文献１参照）。
【００１０】
特許文献１で開示されている立体画像奥行き変換装置について図７（ａ）および図７（ｂ）を参照して説明する。図７（ａ）は、図６（ａ）で取得した像１３１、第１の仮想的なレンズアレイ１３２、仮想的に生成される立体像１３３、第２の仮想的なレンズアレイ１３４、第２の仮想的なレンズアレイ１３４により生成される像１３５（仮想的に生成された立体像１３３の像）を示す図である。ここで、像１３５は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。
【００１１】
図７（ｂ）は、図７（ａ）で演算処理により生成された像１４１（つまり図７（ａ）における像１３５）、一平面状に凸レンズを配列したレンズ群１４２、立体像１４３、観察方向１４４を示す図である。図７（ｂ）に示すように、例えば図６（ｂ）の立体画像表示装置の動作の結果、観察方向１４４から見て、円柱が角柱に対して手前に観察されることとなる。立体像１４３は、図６（ａ）における被写体の奥行き関係と等価である。
【特許文献１】特開２００７−１１４４８３号公報（段落００５６、図４）
【非特許文献１】J. Opt. Soc. Am. A，Vol. 21，pp.951-958，2004
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１に記載された方法に、前記した式（１０２ａ）〜式（１０２ｃ）の関係から導かれる立体像の大きさの比率を制御する方法を組み合わせれば、逆視像が生成される問題を解決しつつ、正しい奥行きの立体像を生成することが可能である。しかしながら、この場合には、被写体１１１に対する立体像１２１の大きさの比率ｘr／ｘｃを変化させようとするときに、比率ｘr／ｘｃに応じて、レンズ群１２２（あるいはレンズ群１１２）を変更する必要が生じてしまう。このように比率ｘr／ｘｃに応じて光学系の装置を変更しなればならないと、例えば、立体テレビジョン方式において、被写体に対する大きさを所望の大きさに変化させた再生像を表示して演出効果を高める、といったことが困難となってしまう。
【００１３】
本発明は、以上のような問題点に鑑みてなされたものであり、被写体の撮影および表示に用いる光学的な装置に依存することなく、演算処理を用いて被写体の凹凸と同じ再生像の大きさの比率を制御できる立体画像変換装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像変換装置は、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成する立体画像変換装置であって、分配手段と、第１要素画像変換手段と、加算手段と、再分配手段と、第２要素画像変換手段と、結合手段とを備えることとした。
【００１５】
かかる構成によれば、立体画像変換装置は、分配手段によって、前記第１要素画像群の光波を要素画像毎に分配する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。そして、立体画像変換装置は、第１要素画像変換手段によって、分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する。ここで、開口とは、レンズ等の光学素子やピンホール等の空間フィルタのことをいう。そして、立体画像変換装置は、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する。したがって、第２の仮想的な開口群の入射面において、第１要素画像群のそれぞれの要素画像が変化を受けた結果として、要素画像群の中間生成段階の状態となる。そして、立体画像変換装置は、再分配手段によって、加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する。そして、立体画像変換装置は、第２要素画像変換手段によって、再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する。したがって、第２の仮想的な開口群を通過することでそれぞれの要素画像が変化を受けた結果として、いわば再撮影された要素画像の状態となる。そして、立体画像変換装置は、結合手段によって、第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する。したがって、立体画像変換装置は、撮影装置で撮影された要素画像群の光をあたかも光学的に表示して再撮影したかのような演算処理を実行する。このとき、光波は、開口のピッチが互いに異なる２つの仮想的な開口群を通過するので、第１要素画像群の領域の長さと、第２要素画像群の領域の長さとが異なることとなる。そのため、この第２要素画像群が立体画像として表示された場合に、第１要素画像群が立体画像として表示された場合とは像の大きさが異なる再生像を表示することが可能となる。その結果、立体画像変換装置は、第２要素画像群を立体画像として表示する立体画像表示装置の光学系を変化させることなく、２つの仮想的な開口群のピッチの比を変化させることで、被写体の大きさから変化させた自由な大きさの再生像を表示させる第２要素画像群を生成することができる。
【００１６】
また、請求項２に記載の立体画像変換装置は、請求項１に記載の立体画像変換装置において、反転情報生成手段をさらに備えることした。
【００１７】
かかる構成によれば、立体画像変換装置は、反転情報生成手段によって、立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記第１要素画像群を生成する。そして、立体画像変換装置は、分配手段によって、前記反転情報生成手段で生成された第１要素画像群の光波を要素画像毎に分配する。
【００１８】
また、請求項３に記載の立体画像変換プログラムは、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するために、コンピュータを、分配手段、第１要素画像変換手段、加算手段、再分配手段、第２要素画像変換手段、結合手段として機能させることとした。
【００１９】
かかる構成によれば、立体画像変換プログラムは、分配手段によって、前記第１要素画像群の光波を要素画像毎に分配し、第１要素画像変換手段によって、分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群とは開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する。そして、立体画像変換プログラムは、加算手段によって、第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する。そして、立体画像変換プログラムは、再分配手段によって、加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配し、第２要素画像変換手段によって、再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する。そして、立体画像変換プログラムは、結合手段によって、第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する。
【発明の効果】
【００２０】
本発明は、以下に示す効果を奏するものである。
請求項１に記載の発明によれば、立体画像変換装置は、表示されたときに被写体の凹凸が反転した再生像となるような第１要素画像群を、その要素画像の光波が、開口ピッチの異なる２つの開口群を仮想的に通過したものとして演算処理することで、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第２要素画像群へと変換することができる。したがって、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の再生像の大きさの比率を制御できる。そのため、立体像の大きさを変化させる際に、レンズやピンホールなどを変更する必要が生じないという利点を有する。
【００２１】
また、請求項１に記載の発明によれば、立体画像変換装置は、第１要素画像群を、被写体に対する大きさが任意に制御された立体像に対応する第２要素画像群へと変換できるため、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることができる。
【００２２】
また、請求項２に記載の発明によれば、立体画像変換装置は、変換するために入力される要素画像群が、被写体の凹凸が反転した像を再生するものであっても、被写体の凹凸と同じ像を再生するものであってもどちらでも、被写体の凹凸と同じ像を再生する第２要素画像群へと変換できる。
【００２３】
また、請求項３に記載の発明によれば、立体画像変換プログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することで、立体画像変換装置と同等の効果を奏することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の立体画像変換装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
る。
【００２５】
［立体画像変換装置の構成の概要］
まず、本実施形態の立体画像変換装置の構成の概要について説明する。図１は、本発明の実施形態に係る立体画像変換装置の一例を模式的に示す構成図である。
【００２６】
立体画像変換装置１０は、立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するものである。この立体画像変換装置１０に入力される第１要素画像群は、立体画像撮影装置２０において、ＣＣＤ等の撮像素子によって撮影された映像信号である。この立体画像変換装置１０で生成された第２要素画像群は、立体画像表示装置３０において、液晶パネル等の情報表示デバイスに表示される。立体画像撮影装置２０および立体画像表示装置３０としては、例えば、図６（ａ）および図６（ｂ）に例示した構成を採用することができる。
【００２７】
立体画像変換装置１０は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ、ハードディスク等の記憶装置（記憶手段）と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、ＬＡＮ（Local Area Network）等の通信回線を介して各種情報の送受信を行うインタフェース装置と、ＬＣＤ（Liquid Crystal Display）等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この立体画像変換装置１０は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、図１に示す分配手段１１と、第１要素画像変換手段１２と、加算手段１３と、再分配手段１４と、第２要素画像変換手段１５と、結合手段１６とが実現される。
【００２８】
分配手段１１は、第１要素画像群の光波を要素画像毎に分配するものである。ここでは、分配された要素画像をｍ（−Ｍ≦ｍ≦Ｍ）で識別することとする。第１要素画像変換手段１２は、この分配された例えば（２Ｍ＋１）個の要素画像毎に機能する。そして、分配された要素画像ｍは、その後、加算手段１３で加算され、再分配手段１４で再び分配される。このとき再分配された要素画像をｎ（−Ｎ≦ｎ≦Ｎ）で識別することとする。第２要素画像変換手段１５は、この再分配された例えば（２Ｎ＋１）個の要素画像毎に機能する。そして、再分配された要素画像ｎは、その後、結合手段１６で結合され第２要素画像群が生成されることとなる。
【００２９】
［立体画像変換装置の演算処理で想定する仮想的な開口群の概要］
次に、本実施形態の立体画像変換装置の演算処理で想定する仮想的な開口群の概要について図２を参照（適宜図１参照）して説明する。図２は、この立体画像変換装置の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。図１に示す第１要素画像変換手段１２は、分配手段１１で分配された要素画像の光波を、第１の仮想的な開口群４１（図２参照）を通過して第２の仮想的な開口群４２（図２参照）へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。また、開口群を構成する要素（開口）は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を図２に示すように凸レンズ（要素レンズ）で表すこととする。また、図２に示すように、第１の仮想的な開口群４１と第２の仮想的な開口群４２とは所定距離Ｌだけ離間している。図２のように第１の仮想的な開口群４１が仮想的なレンズアレイであれば、この所定距離Ｌは、要素レンズの焦点距離とすることができる。なお、第１および第２の仮想的な開口群４１，４２は実際には存在せず、立体画像変換装置１０が演算処理を行うために想定したものである。
【００３０】
図２において、第１要素画像群の光波は、第１の要素画像面４３から出射して、図２において厚み方向を示した平面状の第１および第２の仮想的な開口群４１，４２を、左から右へ通過して第２の要素画像面４４に入射する。また、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。同様に、ｋ２は第２要素画像群におけるｎ番目の要素画像の領域を示し、ｄ２は第２の仮想的な開口群４１から第２要素画像群（第２の要素画像面４４）までの距離を示す。
【００３１】
また、図２において、ｐ1は第１の仮想的な開口群４１を形成する要素レンズのピッチを示し、ｐ２は第２の仮想的な開口群４２を形成する要素レンズのピッチを示す。本実施形態では、以下の式（１）で表わされるピッチの比ΦをΦ≠１として設定する。つまり、第１および第２の仮想的な開口群４１，４２の要素レンズ（開口）のピッチは異なる。なお、図２では、Φ＜１の状態が図示されているが、Φ＞１と設定してもよい。
【００３２】
【数２】
【００３３】
［立体画像変換装置の詳細な構成］
＜分配手段＞
分配手段１１は、入力された映像信号（第１要素画像群の光波）を要素画像単位に分割する。入力された映像信号（第１の要素画像面４３から出射する光波）は、第１要素画像群を構成する各要素画像の光波の束に相当し、これを第１要素画像群ｔ１と表記することとする。この分配手段１１は、入力された映像信号における第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇs,m（ｘs,m，ｙs,m））を、このｍ番目の要素画像に予め対応付けられている第１要素画像変換手段１２に出力する。ここで、ｘs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｘ座標を示す。同様に、ｙs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｙ座標を示す。
【００３４】
＜第１要素画像変換手段段＞
第１要素画像変換手段１２は、図１に示すように、光波計算手段１２ａと、位相シフト手段２２ｂと、光波計算手段１２ｃとを備えている。
【００３５】
≪光波計算手段１２ａ≫
光波計算手段１２ａは、要素画像の光波から、フレネル近似（Fresnel diffraction）に基づいて、第１の仮想的な開口群４１（図２参照）を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段１２ａは、第１の仮想的な開口群４１のｍ番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（２）により要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））を演算する。
【００３６】
【数３】
【００３７】
ここで、ｘo,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙo,mは、第１の仮想的な開口群４１の要素レンズ群のｍ番目の開口部の光軸中心を原点とした場合のｙ座標である。また、ｆ1は、第１の仮想的な開口群４１の要素レンズの焦点距離を示す。また、ｋは、波数２π／λ（λは光波の波長）である。この要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））は、位相シフト手段２２ｂに出力される。
【００３８】
≪位相シフト手段２２ｂ≫
位相シフト手段２２ｂは、入力された要素画像の光波（Ｒi,m（ｘo,m，ｙo,m））から、位相を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段２２ｂは、以下の式（３）に示すように、光波（Ｒi,m（ｘo,m，ｙo,m））を、第１の仮想的な開口群４１の要素レンズに相当する位相分だけシフトさせることで、第１の仮想的な開口群４１の要素レンズから出射する光波に相当する信号（Ｒo,m（ｘo,m，ｙo,m））を演算する。この光波（Ｒo,m（ｘo,m，ｙo,m））は、光波計算手段１２ｃへ出力される。
【００３９】
【数４】
【００４０】
≪光波計算手段１２ｃ≫
光波計算手段１２ｃは、第１の仮想的な開口群４１の要素レンズから出射する光波、すなわち、位相シフト手段２２ｂから入力された要素画像の光波（Ｒo,m（ｘo,m，ｙo,m））をフレネル近似することで、第２の仮想的な開口群４２（図２参照）の要素レンズに入射する光波を演算するものである。つまり、光波計算手段１２ｃは、第２の仮想的な開口群４２の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（４）により要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））を演算する。この要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））は加算手段１３へ出力される。
【００４１】
【数５】
【００４２】
式（４）において、ｘd,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｘ座標である。同様に、ｙd,mは、第１の仮想的な開口群４１のｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群４２の入射面におけるｙ座標を示す。また、Ｌは、第１の仮想的な開口群４１と第２の仮想的な開口群４２との距離である。また、積分計算を実施する範囲は、ｍ番目の要素画像（要素画像（ｍ））の拡がる範囲と等価に設定することとする。第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗの一例を図３に示す。この場合、第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗは式（５）で表わされる。なお、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は第１要素画像群（第１の要素画像面４３）から第１の仮想的な開口群４１までの距離を示す。
【００４３】
【数６】
【００４４】
＜加算手段＞
加算手段１３は、第１要素画像変換手段１２で変換されたそれぞれの要素画像の光波を、分配手段１１で分配された数だけ、第２の仮想的な開口群４２の入射面で加算するものである。加算手段１３は、第１の仮想的な開口群４１の要素レンズの画角に対応する光波を加算する。この加算手段１３は、第１の仮想的な開口群４２の要素レンズから出射されて第２の仮想的な開口群４２の要素レンズの入射面に到達する光波（Ｒd,m（ｘd,m，ｙd,m））を、第２の仮想的な開口群４２の領域内で加算する。つまり、第２の仮想的な開口群４２の入射面での光波に相当する信号として、以下の式（６）により、第２の仮想的な開口群４２の入射面での光波（Ｒp（ｘp，ｙp））を演算する。
【００４５】
【数７】
【００４６】
ここで、ｘpは、第２の仮想的な開口群４２の中心を原点とした場合のｘ座標であり、同様に、ｙpは、第２の仮想的な開口群４２の中心を原点とした場合のｙ座標である。この光波（Ｒp（ｘp，ｙp））は再分配手段１４へ出力される。
【００４７】
＜再分配手段＞
再分配手段１４は、加算手段１３で加算された光波を、第２要素画像群を構成する要素画像毎に再分配するものである。この再分配手段１４は、加算手段１３から入力された光波（Ｒp（ｘp，ｙp））を要素画像単位に分割する。光波（Ｒp（ｘp，ｙp））を再分配した要素画像ごとの光波として、第２の仮想的な開口群４２を構成するｎ番目の要素レンズに対応する光波を、（Ｒp,n（ｘp,n，ｙp,n））とする。ここで、再分配手段１４は、第２の仮想的な開口群４２を構成する各要素レンズに入力された光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群４２を横成するｎ番目の要素レンズに予め対応付けられている第２要素画像変換手段１５に出力する。
【００４８】
＜第２要素画像変換手段＞
第２要素画像変換手段１５は、再分配手段１４で分配された要素画像の光波を、第２の仮想的な開口群４２を通過して結像するまでの距離だけ伝搬した光波に変換するものである。この第２要素画像変換手段１５は、再分配手段１４から入力された光波を、第２の仮想的な開口群４２の要素レンズ（焦点距離ｆ２）の開口領域に再分配した後、その要素レンズ（焦点距離ｆ２）を通過する光波に変換し、さらに、その要素レンズの焦点距離ｆ２だけ光波を伝搬させる。第２要素画像変換手段１５は、例えば（２Ｎ＋１）個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第２要素画像群が構成されることとなる。これを第２要素画像群ｔ２と表記することとする。つまり、第２要素画像変換手段１５は、第２要素画像群ｔ２を演算する。第２要素画像変換手段１５は、図１に示すように、位相シフト手段１５ａと、光波計算手段１５ｂとを備えている。
【００４９】
≪位相シフト手段１５ａ≫
位相シフト手段１５ａは、再分配手段１４から入力された光波（Ｒp,n（ｘp,n，ｙp,n））から、位相を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段１５ａは、以下の式（７）に示すように、光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群４２の要素レンズに相当する位相分だけシフトさせることで、第２の仮想的な開口群４２の要素レンズから出射する光波に相当する信号（Ｒr,n（ｘp,n，ｙp,n））を演算する。
【００５０】
【数８】
【００５１】
ここで、ｘp,nは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙp,nは、第２の仮想的な開口群４２のｎ番目の要素レンズの光軸中心を原点とした場合のｙ座標である。また、ｆ2は、第２の仮想的な開口群４２の要素レンズの焦点距離である。この要素画像毎の光波（Ｒr,n（ｘp,n，ｙp,n））は、光波計算手段１５ｂへ出力される。
【００５２】
≪光波計算手段１５ｂ≫
光波計算手段１５ｂは、第２の仮想的な開口群４２の要素レンズ毎の光波をフレネル近似することで、第２の仮想的な開口群４２の要素レンズから出射し、第２の要素画像面４４（図２参照）に到達する光波を演算するものである。すなわち、光波計算手段１５ｂは、以下の式（８）により、第２の仮想的な開口群４２のｎ番目の要素レンズから出射されて第２の要素画像面４４に到達する光波（Ｒe,n（ｘe,n，ｙe,n））を演算する。
【００５３】
【数９】
【００５４】
ここで、ｘe,nは、出力画像全体（第２要素画像群）におけるｎ番目の要素画像の中心からのｘ座標である。同様に、ｙe,nは出力画像全体におけるｎ番目の要素画像の中心からのｙ座標である。この光波計算手段１５ｂで演算された光波（Ｒe,n（ｘe,n，ｙe,n））は結合手段１６へ出力される。
【００５５】
＜結合手段＞
結合手段１６は、第２要素画像変換手段１５で変換された光波を、再分配手段１４で再分配された数だけ結合することで、第２要素画像群を生成するものである。この結合手段１６は、第２要素画像変換手段１５から出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成する。この結合手段１６で得られた第２要素画像群ｔ２は、立体画像表示装置３０（図１参照）へ出力される。
【００５６】
ここで、第２要素画像変換手段１５から出力される第２の要素画像面４４に到達する光波（Ｒe,n（ｘe,n，ｙe,n））の電力は、光の振幅の２乗で表わすことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段１６は、以下の式（９）に示すように、第２の要素画像面４４に到達する各要素画像の光波（例えばｎ番目の要素画像であればその光波は（Ｒe,n（ｘe,n，ｙe,n））である）の２乗を計算し、その和をとることで、第２要素画像群ｔ２全体の映像信号を得る。
【００５７】
【数１０】
【００５８】
［再生像の大きさの比率制御］
立体画像変換装置１０は、前記のように詳細に説明した構成を備えており、前記した式（１）で表わされるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。仮に、本実施形態の立体画像変換装置１０の処理を行わない場合、つまり、第１および第２の仮想的な開口群４１，４２を用いない場合には、被写体の大きさｘc（図６（ａ）参照）と再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、前記した式（１０１）の通りである。このように立体画像変換装置１０を用いない場合、前記した式（１０１）において、α＝γとすると、被写体の大きさｘc（図６（ａ）参照）と、再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、以下の式（１０）で表わされることとなる。
【００５９】
【数１１】
【００６０】
つまり、図１において、立体画像変換装置１０を無視して、立体画像撮影装置２０（図１参照）における要素レンズのピッチｐc（図６（ａ）参照）と、立体画像表示装置３０（図１参照）における要素レンズのピッチｐr（図６（ｂ）参照）とが等しい場合には、被写体の大きさｘc（図６（ａ）参照）と、再生像される立体像の大きさｘr（図６（ｂ）参照）とは等しくなってしまう。一方、本実施形態の立体画像変換装置１０を用いた場合には、被写体の大きさｘc（図６（ａ）参照）と、再生される立体像の大きさｘr（図６（ｂ）参照）との関係は、以下の式（１１）で表わされる。
【００６１】
【数１２】
【００６２】
つまり、図１において、立体画像撮影装置２０（図１参照）における要素レンズのピッチｐc（図６（ａ）参照）と、立体画像表示装置３０（図１参照）における要素レンズのピッチｐr（図６（ｂ）参照）とが仮に等しかったとしても、第１の仮想的な開口群４１の要素レンズのピッチｐ1（図２参照）と、第２の仮想的な開口群４２の要素レンズのピッチｐ2（図２参照）とを制御することで、被写体の大きさｘc（図６（ａ）参照）に対する再生される立体像の大きさｘr（図６（ｂ）参照）を変化させることが可能となる。
【００６３】
なお、説明の都合上、前記した式（１０）および式（１１）の説明において、前記した式（１０１）においてαとγとが等しい場合について記述したが、本発明では、前記した式（１０１）においてα≠γとしてもよい。同様に、立体画像撮影装置２０における要素レンズのピッチｐcと、立体画像表示装置３０における要素レンズのピッチｐrとが等しい場合について記述したが、ｐc≠ｐrとしてもよい。
【００６４】
本実施形態によれば、立体画像変換装置１０は、第１要素画像群ｔ１を、各要素画像ｍの光波が、第１および第２の仮想的な開口群４１，４２を通過したものとして演算処理することで、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第２要素画像群ｔ２へと変換することができる。したがって、このように演算処理で立体像の大きさを変化できるので、従来のようにレンズ等の撮影および表示に用いる光学的な装置を変更する必要がない。また、本実施形態によれば、立体画像変換装置１０は、演算処理により、被写体を複数の要素画像として撮影した要素画像群としての画像から発せられる光を再度撮影した場合と等価な画像を生成することができる。さらに、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることが可能となる。
【００６５】
以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、本実施形態では、立体画像変換装置１０は、立体画像撮影装置２０において撮影されて立体画像として表示されたときに被写体の凹凸が反転した再生像となる入力映像信号をそのまま第１要素画像群として扱うこととして説明したが、本発明では、立体画像として表示されたときに被写体の凹凸が同じ再生像となる要素画像群を入力するようにしてもよい。
【００６６】
この場合の立体画像変換装置の構成例を図４に示す。図４に示す立体画像変換装置１０Ａは、図１に示した構成にさらに反転情報生成手段１９を備えることとした。ここで、反転情報生成手段１９は、立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記した第１要素画像群を生成するものである。図４に示す例では、立体画像撮影装置２０において撮影されて立体画像として表示されたときに被写体の凹凸が反転した再生像となる入力映像信号を反転情報生成手段１９に入力し、反転情報生成手段１９で個々の要素画像をそれぞれ点対称に反転させてから分配手段１１に出力する。そして、分配手段１１は、反転情報生成手段１９で生成された第１要素画像群の光波を要素画像毎に分配する。これにより、図１に示した立体画像変換装置１０と同等の効果を奏することができる。なお、撮影された立体情報を、立体画像変換装置１０Ａの図示しない記憶手段に蓄積しておき、この蓄積された立体情報を反転情報生成手段１９に入力するようにしてもよい。
【００６７】
また、本実施形態では、前記した式（２）、式（４）および式（８）の演算において、フレネル近似を用いる式を示したが、ホイへンス・フレネル（Huygens-Fresnel）の原理による積分や、フランフォーファ近似（Fraunhofer diffraction）による積分を用いて演算してもよい。
【００６８】
また、本実施形態では、前記した式（２）、式（３）、式（７）および式（８）の演算において、第１の仮想的な開口群４１の要素レンズの焦点距離ｆ１、第２の仮想的な開口群４２の要素レンズの焦点距離ｆ２をそれぞれ用いたが、これに限定されない。すなわち、焦点距離は、第１の仮想的な開口群４１を構成する要素レンズ毎に異なっていてもよいし、第２の仮想的な開口群４２を構成する要素レンズ毎に異なっていてもよい。
【００６９】
また、本実施形態では、第１の仮想的な開口群４１を構成する要素レンズの数や密度と、第２の仮想的な開口群４２を構成する要素レンズの数や密度との関係について記述していないが、これらの関係は任意である。例えば、図５に示すように、第１の仮想的な開口群５１を構成する要素レンズが粗に少ない数で配置され、第２の仮想的な開口群４２を構成する要素レンズが密に多数で配置されていてもよい。この場合、第１の仮想的な開口群５１を構成する要素レンズのピッチはｐ３であり、図２に示した第１の仮想的な開口群４１を構成する要素レンズのピッチｐ１とは異なっている。
【００７０】
また、立体画像変換装置１０（１０Ａ）は、前記したようにハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現されるものとした。このプログラム（立体画像変換プログラム）は、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。また、立体画像変換装置１０（１０Ａ）は、前記した各手段を演算回路によって実現することも可能である。
【００７１】
また、本実施形態では、第１および第２の仮想的な開口群４１，４２を構成する開口を要素レンズとして説明したが、ピンホール等の空間フィルタに置き換えてもよい。この場合、要素レンズの焦点距離ｆ１，ｆ２に対応する距離は任意の距離とすることができる。
【００７２】
また、立体画像変換装置１０（１０Ａ）は、立体画像撮影装置２０や立体画像表示装置３０に組み込んで構成することもできる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態に係る立体画像変換装置の一例を模式的に示す構成図である。
【図２】本発明の実施形態に係る立体画像変換装置の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。
【図３】本発明の実施形態に係る立体画像変換装置の演算処理で用いる積分範囲の一例を模式的に示す説明図である。
【図４】本発明の実施形態に係る立体画像変換装置の他の例を模式的に示す構成図である。
【図５】本発明の実施形態に係る立体画像変換装置の演算処理で想定する仮想的な開口群の他の例を模式的に示す説明図である。
【図６】従来のＩＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。
【図７】従来の逆視を回避する方法を模式的に示す説明図であり、（ａ）は撮影で取得された情報を変換する立体画像奥行き変換装置、（ｂ）は変換された像を表示する立体画像表示装置をそれぞれ示している。
【符号の説明】
【００７４】
１０（１０Ａ） 立体画像変換装置
１１ 分配手段
１２ 第１要素画像変換手段
１２ａ 光波計算手段
１２ｂ 位相シフト手段
１２ｃ 光波計算手段
１３ 加算手段
１４ 再分配手段
１５ 第２要素画像変換手段
１５ａ 位相シフト手段
１５ｂ 光波計算手段
１６ 結合手段
１９ 反転情報生成手段
２０ 立体画像撮影装置
３０ 立体画像表示装置
【特許請求の範囲】
【請求項１】
立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成する立体画像変換装置であって、
前記第１要素画像群の光波を要素画像毎に分配する分配手段と、
この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段と、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段と、
この加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段と、
この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段と、
を備えていることを特徴とする立体画像変換装置。
【請求項２】
立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記第１要素画像群を生成する反転情報生成手段をさらに備え、
前記分配手段は、前記反転情報生成手段で生成された第１要素画像群の光波を要素画像毎に分配することを特徴とする請求項１に記載の立体画像変換装置。
【請求項３】
立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するために、コンピュータを、
前記第１要素画像群の光波を要素画像毎に分配する分配手段、
この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群とは開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段、
この加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段、
この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段、
この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段、
として機能させることを特徴とする立体画像変換プログラム。
【請求項１】
立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成する立体画像変換装置であって、
前記第１要素画像群の光波を要素画像毎に分配する分配手段と、
この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段と、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段と、
この加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段と、
この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段と、
を備えていることを特徴とする立体画像変換装置。
【請求項２】
立体画像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで前記第１要素画像群を生成する反転情報生成手段をさらに備え、
前記分配手段は、前記反転情報生成手段で生成された第１要素画像群の光波を要素画像毎に分配することを特徴とする請求項１に記載の立体画像変換装置。
【請求項３】
立体画像として表示されたときに被写体の凹凸が反転した再生像となる第１要素画像群の光波を変換し、立体画像として表示されたときに前記被写体の凹凸と同じで像の大きさが変化した再生像となる第２要素画像群を生成するために、コンピュータを、
前記第１要素画像群の光波を要素画像毎に分配する分配手段、
この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群とは開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段、
この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段、
この加算手段で加算された光波を、前記第２要素画像群を構成する要素画像毎に再分配する再分配手段、
この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段、
この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記第２要素画像群を生成する結合手段、
として機能させることを特徴とする立体画像変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２７２９２２（Ｐ２００９−２７２９２２Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２２０８６（Ｐ２００８−１２２０８６）
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]