立体画像取得装置
【課題】立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することが可能な立体画像取得装置を提供する。
【解決手段】立体画像取得装置１００は、被写体Ｗから近い順に結像光学系１、拡散板２、レンズ３、レンズアレイ４およびカメラ５を備える。結像光学系１は、結像レンズ１１、アパーチャ板１２および結像レンズ１３を含む。アパーチャ板１２は、ｘ方向に延びる長尺状のスリット１２ａを有する。レンズアレイ４は、ｘｙ平面上に規則的に２次元状に配列された複数の要素レンズ４ａを含む。被写体Ｗ上の各物点からの光線が各要素レンズ４ａの焦平面上で結像されることにより、各要素レンズ４ａの焦平面上に被写体Ｗの要素画像ＥＭが形成される。
【解決手段】立体画像取得装置１００は、被写体Ｗから近い順に結像光学系１、拡散板２、レンズ３、レンズアレイ４およびカメラ５を備える。結像光学系１は、結像レンズ１１、アパーチャ板１２および結像レンズ１３を含む。アパーチャ板１２は、ｘ方向に延びる長尺状のスリット１２ａを有する。レンズアレイ４は、ｘｙ平面上に規則的に２次元状に配列された複数の要素レンズ４ａを含む。被写体Ｗ上の各物点からの光線が各要素レンズ４ａの焦平面上で結像されることにより、各要素レンズ４ａの焦平面上に被写体Ｗの要素画像ＥＭが形成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像取得装置に関する。
【背景技術】
【０００２】
立体画像は将来の映像メディアとして注目されており、立体画像用の映像機器の開発および実用化が急速に進展している。特に、立体画像観察用の特殊な眼鏡が不要な裸眼立体画像システムは、家庭用の立体テレビ放送への応用が期待されている。多くの裸眼立体画像システムでは、被写体を撮影して水平方向のみの視差画像を取得し、取得された視差画像を水平視差のみによる２眼または多眼立体ディスプレイに表示する。従来、水平視差画像を取得する技術として、複数台のカメラを水平方向に一列に配置し、それらのカメラにより被写体の視差画像を取得する方法がある。
【０００３】
例えば、特許文献１に記載される立体画像表示装置では、複数のカメラにより互いに異なる方向から被写体が撮影され、これらの複数のカメラにより得られた画像が、対応する光源の点滅と同期するように空間光変調素子（例えば液晶ディスプレイ）に順次表示される。特許文献２に記載される撮像システムでは、複数のカメラにより互いに異なる方向から被写体が撮影され、カメラキャリブレーション、画像補正および画像のマッチング処理等が行われる。
【０００４】
また、１台のカメラで複数の視差画像を取得する方法が提案されている。例えば、特許文献３に記載される立体画像撮影システムでは、一般的なカメラのレンズの前面にアダプタレンズが装着され、アダプタレンズによって被写体からの光束が複数に分割されることにより、視差画像が取得される。特許文献４に記載される立体画像撮像装置では、複数の円形シャッタが順次開閉され、開かれた円形シャッタを通過した光が撮像板に結像されることにより、視差画像が取得される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３２９７６２号公報
【特許文献２】特開２００５−１４２９５７号公報
【特許文献３】特開２００３−５３１４号公報
【特許文献４】特開平１０−２７１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１，２に示されるような複数のカメラを用いた方式では、高精度なカメラキャリブレーションが必要となる。そのため、各カメラの種々の調整が困難である。また、撮影画角の変更またはパン等のカメラワークも困難である。さらに、異なるカメラにより取得された画像間には、輝度および色等のばらつきがあるため、これらの画像の特性を揃えるための補正処理等の煩雑で長時間を要する作業が必要となる。
【０００７】
また、特許文献３，４に示されるような単一のカメラを用いた方式では、結像光学系中のシャッタまたはアパーチャの数に相当する２視差から数視差程度の少ない視差画像を時分割で得ることしか一般的にできない。そのため、広い撮影画角において高密度な多くの視差画像を実時間で得ることが望まれる。
【０００８】
本発明の目的は、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することが可能な立体画像取得装置を提供することである。
【課題を解決するための手段】
【０００９】
（１）本発明に係る立体画像取得装置は、複数の視差画像を取得する立体画像取得装置であって、被写体からの光線を複数の要素画像としてそれぞれ結像する複数の要素レンズと、被写体からの光線を複数の要素レンズに導く導光光学系と、複数の要素レンズによりそれぞれ結像された複数の要素画像を取得する第１の撮影装置とを備え、導光光学系は、第１の方向に沿った光軸を有するとともに、第１の方向と略直交する第２の方向に長尺状に延びる光通過領域を形成し、光通過領域を通過する光線を複数の要素レンズに導き、光通過領域を通過しない光線を複数の要素レンズに導かないように構成されたものである。
【００１０】
その立体画像取得装置においては、被写体からの光線が導光光学系により複数の要素レンズに導かれ、複数の要素レンズにより複数の要素画像として結像される。結像された複数の要素画像が第１の撮影装置により取得される。
【００１１】
この場合、共通の第１の撮影装置により複数の要素画像を同時に取得することができるので、複数の撮影装置を用いる場合とは異なり、複数の要素画像間で特性のばらつきが生じない。そのため、複数の要素画像間の特性を揃えるための煩雑な作業が不要となる。また、画角の変更およびパン等のカメラワークも可能になる。さらに、広い画角において高密度な複数の要素画像を取得することが可能になる。
【００１２】
また、導光光学系においては、第２の方向に長尺状に延びるように光通過領域が形成される。光通過領域を通過する光線が複数の要素レンズに導かれ、光通過領域を通過しない光線が複数の要素レンズに導かれない。このように、複数の要素レンズに導かれる光線が制限されることにより、複数の要素画像間において視差が生じる方向が第２の方向に制限される。通常、複数の要素画像間において一方向に視差があれば、左右の目で立体画像を観察することができる。したがって、多方向に視差がある複数の要素画像を取得する場合に比べて、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することができる。
【００１３】
（２）複数の要素レンズは第２の方向と第１および第２の方向に略直交する第３の方向とに平行な平面上に２次元状に配置され、導光光学系は、光通過領域を通過する光線が第１および第３の方向を含む面内で拡がるように光線を拡散または屈折させる発散光学素子を含んでもよい。
【００１４】
この場合、光通過領域を通過する光線をより多くの要素レンズに導くことができる。それにより、第２の方向に視差がある要素画像をより多く取得することができる。したがって、複数の要素画像間における視差の密度を高くすることができ、高品質な立体画像を表示することが可能になる。
【００１５】
（３）複数の要素レンズは、第３の方向に対して傾斜しかつ互いに平行な複数の線上に並ぶように配置されてもよい。
【００１６】
この場合、第２の方向において複数の要素レンズが密に配置される。したがって、複数の要素画像間における視差の密度をより高くすることができる。
【００１７】
（４）導光光学系は、第１の偏光が透過可能でありかつ第１の偏光と異なる第２の偏光が透過不可能である第１の領域、および第１の偏光が透過不可能でありかつ第２の偏光が透過可能である第２の領域を有する第１の偏光素子と、第１の偏光が透過可能でありかつ第２の偏光が透過不可能である第２の偏光素子とを含み、被写体からの光が第１および第２の偏光素子を順に通して複数の要素レンズに導かれ、第１の偏光素子の第１の領域により光通過領域が形成されてもよい。
【００１８】
この場合、第１の偏光素子の第１の領域を透過した光線は第２の偏光素子を透過し、第１の偏光素子の第２の領域を透過した光線は第２の偏光素子を透過しない。それにより、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【００１９】
（５）立体画像取得装置は、被写体の距離情報を含む距離画像を取得する距離画像取得部をさらに備えてもよい。
【００２０】
この場合、距離画像取得部により取得された距離画像を用いて、複数の要素画像間の補間画像および被写体の３次元モデル等を容易に生成することができる。
【００２１】
（６）複数の要素レンズの各々は、焦点距離を調整可能な焦点可変レンズであってもよい。
【００２２】
この場合、複数の要素画像の画角調整が可能になる。また、複数の要素レンズを光線が収束および発散しない非レンズ状態とすることができる。それにより、視差がある複数の要素画像と視差がない通常の画像とを選択的に取得することが可能になる。
【００２３】
（７）立体画像取得装置は、第２の撮影装置と、導光光学系により複数の要素レンズに導かれる光線の一部を第２の撮影装置に導く分割光学素子とをさらに備えてもよい。
【００２４】
この場合、第１の撮影装置により複数の要素画像を取得するとともに、第２の撮影装置により被写体の高精細な画像を取得することが可能になる。そのため、第２の撮影装置により取得された画像を用いて、複数の要素画像を補正することが可能になるとともに、複数の要素画像間の補間画像を生成することが可能になる。
【００２５】
（８）導光光学系は、光通過領域としての開口が形成された遮光部材を含んでもよい。この場合、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【００２６】
（９）導光光学系は、開口を絞りとして有するテレセントリック光学系であってもよい。この場合、光通過領域を通過した光線を精度よく複数の要素レンズに導くことができるとともに、複数の要素レンズにより複数の要素画像を所望の位置に容易に結像させることができる。
【００２７】
（１０）第１の偏光素子は、偏光特性を調整可能な空間変調素子であってもよい。この場合、光通過領域の形状および配置を容易に調整することができる。それにより、複数の要素画像間において視差が生じる方向を容易に調整することができる。
【００２８】
（１１）導光光学系は、第２の方向に延びる長尺状光学素子を含み、長尺状光学素子により光通過領域が形成されてもよい。この場合、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【発明の効果】
【００２９】
本発明によれば、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態に係る立体画像取得装置の構成を示す図である。
【図２】レンズアレイの複数の要素レンズの配列を示す図である。
【図３】レンズアレイの複数の要素レンズの他の配列例を示す図である。
【図４】第１の実施の形態に係る立体画像取得装置の基本原理について説明するための図である。
【図５】第１の実施の形態に係る立体画像取得装置の基本原理について説明するための図である。
【図６】本発明の第２の実施の形態に係る立体画像取得装置の構成を示す図である。
【図７】第１の偏光子の正面図である。
【図８】本発明の第３の実施の形態に係る立体画像取得装置の構成を示す図である。
【図９】本発明の第４の実施の形態に係る立体画像取得装置の構成を示す図である。
【図１０】第４の実施の形態で用いられるレンズの斜視図である。
【図１１】本発明の第５の実施の形態に係る立体画像取得装置の構成を示す図である。
【図１２】立体画像表示装置の構成を示すブロック図である。
【図１３】制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態に係る立体画像取得装置について図面を参照しながら説明する。本実施の形態に係る立体画像取得装置は、複数の異なる位置から観察された被写体の画像（視差画像）を取得する。以下の説明において、互いに直交する３軸をそれぞれｘ軸、ｙ軸およびｚ軸と定義し、ｘ軸に平行な方向、ｙ軸に平行な方向およびｚ軸に平行な方向をそれぞれｘ方向、ｙ方向およびｚ方向と呼ぶ。ｘ方向およびｚ方向は例えば水平方向に相当し、ｙ方向は例えば鉛直方向に相当する。
【００３２】
（１）第１の実施の形態
（１−１）基本構成
図１は、本発明の第１の実施の形態に係る立体画像取得装置の構成を示す図である。図１に示すように、立体画像取得装置１００は、被写体Ｗから近い順に結像光学系１、拡散板２、レンズ３、レンズアレイ４およびカメラ５を備える。
【００３３】
結像光学系１は、結像レンズ１１、アパーチャ板１２および結像レンズ１３を含む。結像レンズ１１，１３の光軸はそれぞれｚ方向に沿いかつ互いに一致する。アパーチャ板１２は、ｘｙ平面に平行に配置される。アパーチャ板１２は、ｘ方向に延びる長尺状のスリット１２ａを有する。
【００３４】
拡散板２は、ｘｙ平面に平行に配置され、結像光学系１からの光線をｙ方向には拡散し、ｘ方向には拡散しないかまたは僅かに拡散する。拡散板２として、光の回折または屈折により光の拡散の方向を制御可能なホログラフィックな光学素子を用いることができる。例えば、アクリルまたはガラス等からなる透明な材質の板に凹凸が形成された光学素子、またはｘ方向とｙ方向とで屈折率が異なる光学素子等を用いることができる。また、微小な構造を有するレンチキュラスクリーンを拡散板２として用いてもよい。この場合も、選択的に特定の方向にのみ光を拡散することができる。
【００３５】
レンズ３の光軸は結像光学系１の結像レンズ１１，１３の光軸に一致する。レンズ３は、レンズアレイ４により形成される画像の大きさ、画角、および光線の進行方向を制御するフィールドレンズである。レンズ３の代わりにレンズアレイ４とカメラ５との間に他のフィールドレンズが設けられてもよく、またはレンズ３に加えてレンズアレイ４とカメラ５との間に他のフィールドレンズが設けられてもよい。
【００３６】
レンズアレイ４は、ｘｙ平面上に規則的に２次元状に配列された複数の要素レンズ４ａを含む。各要素レンズ４ａの光軸はそれぞれｚ軸に沿う。カメラ５は、撮像レンズ５ａ、ならびにＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（電荷結合素子）等からなる撮像素子５ｂを有する。本実施の形態では、レンズアレイ４の複数の要素レンズ４ａにより複数の要素画像が形成され、その複数の要素画像がカメラ５により撮影される。詳細は後述する。
【００３７】
（１−２）レンズアレイ
図２は、レンズアレイ４の複数の要素レンズ４ａの配列を示す図である。図２に示すように、複数の要素レンズ４ａは、ｘ方向およびｙ’方向に沿って並ぶように配置される。ｙ’方向は、ｙ方向に対して角度θａ傾斜する。以下、ｘ方向に沿った要素レンズ４ａの並びを要素レンズ４ａの行と呼び、ｙ’方向に沿った要素レンズ４ａの並びを要素レンズ４ａの列と呼ぶ。図２の例では、Ｈ個の要素レンズ４ａが各行をなし、Ｖ個の要素レンズ４ａが各列をなす。各行および各列における要素レンズ４ａの個数は、カメラ５（図１）の撮像素子５ｂの形状および画素数に応じて設定される。各行において隣り合う要素レンズ４ａの中心点間の距離はｐｘであり、各列において隣り合う要素レンズ４ａのｙ方向における中心点間の距離はｐｙである。
【００３８】
各列において、隣り合う要素レンズ４ａのｘ方向における中心点間の距離はｐｈである。本例では、ｐｈ＝ｐｘ／Ｖである。この場合、隣り合う各２列において、一方の列の下端に位置する要素レンズ４ａと他方の列の上端に位置する要素レンズ４ａとのｘ方向における中心点間の距離がｐｈとなる。これにより、ｘ方向において全ての要素レンズ４ａが均等に配置される。このようにして、複数の要素レンズ４ａがｘ方向に密に配置される。
【００３９】
図３は、レンズアレイ４の複数の要素レンズ４ａの他の配列例を示す図である。図３の例では、複数の要素レンズ４ａが、ｘ’方向およびｙ’方向に沿って並ぶように配置される。ｘ’方向はｘ方向に対して角度θａ傾斜し、ｙ’方向はｙ方向に対して角度θａ傾斜する。この場合も、複数の要素レンズ４ａがｘ方向に密に配置される。
【００４０】
図３の例では、複数の要素レンズ４ａがマトリクス状に配置されたレンズアレイ４を使用することができる。このようなレンズアレイ４は、製造が容易であり、安価である。したがって、図３の例では、図２の例に比べて、容易にかつ低コストで複数の要素レンズ４ａをｘ方向に密に配置することができる。なお、複数の要素レンズ４ａがマトリクス状に配置されたレンズアレイ４の代わりに、複数の要素レンズ４ａがデルタ配列されたレンズアレイ４を用いてもよい。
【００４１】
図２および図３の例において、各要素レンズ４ａの形状は円形に限らず、四角形または六角形等の他の形状であってもよい。また、複数の要素レンズ４の中心位置が互いに一方向（本例ではｘ方向）に異なっていれば、複数の要素レンズ４の大きさ、形状および焦点距離等のレンズ特性が互いに同一であってもよく、または異なってもよい。
【００４２】
レンズアレイ４の各要素レンズ４ａとして、外部からの電気的または物理的な制御により焦点距離が変化する焦点可変レンズを用いてもよい。例えば液晶材料を用いた液晶焦点可変レンズ、印加電圧により液体の接触角度が変化するElectrowettingの原理に基づく液体レンズ、または圧力により曲率が変化する液体レンズ等の各種焦点可変レンズを使用することができる。
【００４３】
この場合、要素レンズ４ａの焦点距離を変化させることにより、要素画像の画角調整が可能となる。また、このような焦点可変機能を利用して、光を収束させる状態（以下、レンズ状態と呼ぶ）と光を収束および発散させずにそのまま透過させる状態（以下、非レンズ状態と呼ぶ）とに各要素レンズ４ａを切り替えることができる。それにより、共通の立体画像取得装置１００において、視差画像の撮影および通常の２次元画像の撮影を選択的に行うことが可能となる。この場合、レンズ状態と非レンズ状態との切替を高速で行うことにより、視差画像の撮影と通常画像の撮影とを例えばフレーム単位で交互に行うことができる。したがって、視差画像と高精細画像とを並行して取得することができる。
【００４４】
（１−３）基本原理
図４および図５は、本実施の形態に係る立体画像取得装置１００の基本原理について説明するための図である。図４は、ｙｚ平面内における被写体Ｗからの光線の伝播を示す図であり、図５は、ｘｚ平面内における被写体Ｗからの光線の伝播を示す図である。図４および図５においては、結像レンズ１１，１３およびレンズ３の各々の中心点がｚ軸上に配置される。また、以下の説明では、被写体Ｗに向かう方向を前方と呼び、その反対の方向を後方と呼ぶ。
【００４５】
図４および図５に示すように、結像レンズ１１の焦点距離はｆ１であり、結像レンズ１３の焦点距離はｆ２であり、レンズ３の焦点距離はｆ３であり、各要素レンズ４ａの焦点距離はｆ４である。結像レンズ１１とアパーチャ板１２との間の距離はｆ１であり、アパーチャ板１２と結像レンズ１３の中心面との間の距離はｆ２である。アパーチャ板１２のスリット１２ａは結像レンズ１１，１３の共通の光軸上に配置される。ｙｚ平面内において、結像光学系１は両側テレセントリック光学系となる。
【００４６】
結像レンズ１３の中心面と拡散板２との間の距離はｆ２である。拡散板２とレンズ３の中心面との間の距離はｆ３である。本例では、図２のレンズアレイ４が用いられる。レンズアレイ４の略中心に位置する要素レンズ４ａの中心点はｚ軸上に配置される。以下、ｚ軸上に中心点を有する要素レンズ４ａを基準の要素レンズ４ａと呼ぶ。レンズ３の中心面と基準の要素レンズ４ａの中心面との間の距離は（ｆ３＋ｆ４）である。
【００４７】
図４を参照しながらｙｚ平面内における光線の伝播について説明する。ここでは、被写体Ｗ（図１）上の物点Ｐ０からの光線Ｖ１の伝播について説明する。図４において、物点Ｐｏからの主光線が破線で示される。
【００４８】
物点Ｐ０のｙ座標をｙ０とし、物点Ｐ０において光線Ｖ１がｚ軸となす角度（以下、光線角と呼ぶ）をθ０とし、物点Ｐ０と結像レンズ１１の中心面との間の距離をｚ０とする。この場合、結像光学系１を透過した光線Ｖ１は、次式（１）で表される。
【００４９】
【数１】
【００５０】
式（１）において、ｙ１は、結像光学系１を透過した光線Ｖ１が通る地点Ｐ１のｙ座標であり、θ１は、地点Ｐ１での光線角であり、ｚ１は、地点Ｐ１と結像レンズ１３の中心面との間の距離である。
【００５１】
物点Ｐ０からの光線Ｖ１が地点Ｐ１で結像される場合、光線角θ０がいずれの値であってもｙ１は一定であるので、次式（２）が満たされる。
【００５２】
【数２】
【００５３】
式（２）より、次式（３）が得られる。
【００５４】
【数３】
【００５５】
一方、結像光学系１においては、アパーチャ板１２により結像光学系１を透過する光線Ｖ１の光線角θ０が制限される。アパーチャ板１２のスリット１２ａのｙ方向における幅をａとすると、スリット１２ａを通過する光線Ｖ１の光線角θ０の範囲は、次式（４）で表される。
【００５６】
【数４】
【００５７】
式（１）および式（４）より、次式（５）が得られる。
【００５８】
【数５】
【００５９】
スリット１２ａを通過した光線Ｖ１は、地点Ｐ１を通って拡散板２上の地点Ｐ２に入射する。地点Ｐ２における光線Ｖ１の広がりΔｙは、式（１）および式（５）により、次式（６）で表される。
【００６０】
【数６】
【００６１】
結像光学系１は両側テレセントリック光学系であるので、拡散板２の位置が結像光学系１による結像位置からｚ方向にずれていても、拡散板２上に形成される像の大きさは結像光学系１による結像位置に形成される像の大きさとほぼ等しい。しかしながら、光線の広がりΔｙにより、拡散板２上の像がぼやける。
【００６２】
式（６）からわかるように、アパーチャ１２のスリット１２ａの幅ａが小さいほど、光線の広がりΔｙが小さくなる。そのため、拡散板２上の像のぼけが抑制される。一方、幅ａが小さいほど、スリット１２ａの面積が小さくなり、被写体Ｗからの光線のうちスリット１２ａを通過する光線の割合が減少する。したがって、周囲の明るさ等に応じて、良好に被写体Ｗの像が得られるように、スリット１２ａの幅ａが調整されることが好ましい。ここでは、スリット１２ａの幅ａが十分に小さく、光線の広がりΔｙが０であるとする。この場合、地点Ｐ１のｙ座標と拡散板２上の地点Ｐ２のｙ座標とは互いに等しく、ｙ１である。
【００６３】
拡散板２上の地点Ｐ２に入射した光線Ｖ１は、拡散板２によりｙ方向に拡散される。これにより、光線Ｖ１が地点Ｐ２から後方に向かってｙｚ平面内で扇状に拡がる。この場合、拡散板２とレンズ３との間の距離がレンズ３の焦点距離ｆ３と等しいので、地点Ｐ２からの拡散光がレンズ３を通して一定の光線角の平行光となる。レンズ３からの平行光は、レンズアレイ４の各要素レンズ４ａに入射する。入射した平行光が各要素レンズ４ａの焦平面上の像点Ｐｉで結像される。
【００６４】
被写体Ｗ上の各物点からの光線が各要素レンズ４ａの焦平面上で結像されることにより、各要素レンズ４ａの焦平面上に被写体Ｗの画像ＥＭが形成される。以下、各要素レンズ４ａの焦平面上に形成される画像ＥＭを要素画像ＥＭと呼ぶ。
【００６５】
図２に示したように、ｙ方向における要素レンズ４ａの中心点間の距離はｐｙである。また、基準の要素レンズ４ａの中心点のｙ座標は０である。そのため、任意の要素レンズ４ａの中心点のｙ座標は、ｎｐｙ（ｎは整数）で表される。
【００６６】
また、各要素レンズ４ａの中心点から各像点Ｐｉに向かう光線の光線角θ４は、レンズ３からレンズアレイ４に向かう平行光の光線角θ３と等しく、光線角θ３は、地点Ｐ２からレンズ３の中心点に向かう光線の光線角θ２と等しい。これにより、任意の要素レンズ４ａによる像点Ｐｉのｙ座標ｙＬｎは、次式（７）で表される。
【００６７】
【数７】
【００６８】
式（７）からわかるように、像点Ｐｉのｙ座標ｙＬｎは物点Ｐ０と結像光学系１との間の距離ｚ０に依存しない。したがって、複数の要素画像ＥＭ間でｙ方向における視差は生じない。
【００６９】
次に、図５を参照しながらｘｚ平面内における光線の伝播について説明する。ここでは、被写体Ｗ上の物点Ｑ０からの光線Ｖ２の伝播について説明する。
【００７０】
被写体Ｗ上の物点Ｑ０からの光線Ｖ２は、結像光学系１の結像レンズ１１，１３およびレンズ３を介してレンズアレイ４に入射する。ｘｚ平面内においては、光線Ｖ２がアパーチャ板１２および拡散板２の影響を受けない。物点Ｑ０のｘ座標をｘ０とし、物点Ｑ０において光線Ｖ２がｚ軸となす角度（光線角）をφ０とし、物点Ｑ０と結像レンズ１１の中心面との間の距離をｚ４とする。この場合、レンズアレイ４に入射する光線Ｖ２は、次式（８）で表される。式（８）において、Ｆ＝（ｆ２ｆ４）／（ｆ１ｆ３）である。
【００７１】
【数８】
【００７２】
図２に示したように、ｘ方向における要素レンズ４ａの中心点間の距離はＰｈである。また、基準の要素レンズ４ａの中心点のｘ座標は０である。したがって、任意の要素レンズ４ａのｘ座標はｍＰｈ（ｍは整数）で表される。任意の要素レンズ４ａを透過した光線Ｖ２は、次式（９）で表される。
【００７３】
【数９】
【００７４】
式（９）において、ｘＬｍは、任意の要素レンズ４ａを透過した光線Ｖ２が結像される像点Ｑｉのｘ座標であり、φＬｍは、像点Ｑｉでの光線角であり、ｚｍは、像点Ｑｉと要素レンズ４ａの中心面との間の距離である。
【００７５】
像点Ｑｉにおいては、光線角φ０がいずれの値であってもｘＬｍは一定であるので、次式（１０）が満たされる。
【００７６】
【数１０】
【００７７】
式（１０）より、次式（１１）が得られる。
【００７８】
【数１１】
【００７９】
式（９）および式（１１）より、次式（１２）が得られる。
【００８０】
【数１２】
【００８１】
式（１２）からわかるように、像点Ｑｉのｘ座標は物点Ｑ０のｚ座標に依存する。したがって、複数の要素画像ＥＭ間でｘ方向における視差が生じる。このようにして、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像ＥＭが形成される。
【００８２】
カメラ５（図１）の撮像素子５ｂは、複数の要素画像ＥＭにそれぞれ対応する複数の撮像領域を有し、各撮像領域に複数の画素が割り当てられる。複数の要素画像ＥＭからの光が、撮像レンズ５ａを介して撮像素子５ｂの対応する撮像領域において受光される。これにより、１台のカメラ５により複数の要素画像ＥＭが同時に取得される。
【００８３】
１つの要素画像ＥＭを構成する画素数は、撮像素子５ｂの全画素数を要素画像ＥＭの数（要素レンズ４ａの数）で除した値以下になる。そのため、より画素数が多い撮像素子５ｂを用いることが好ましい。例えば、スーパーハイビジョンクラスの８０００×４０００個の画素を有する撮像素子５ｂを用いた場合、１６個のハイビジョンクラスの要素画像ＥＭ、または１００個のＶＧＡ（ビデオグラフィックスアレイ）クラスの要素画像ＥＭを同時に取得することができる。
【００８４】
また、カメラ５により取得された複数の要素画像ＥＭを用いて、これら複数の要素画像ＥＭ間を補間する補間画像を生成することができる。この場合、より高品質な立体画像を表示することができる。さらに、超解像度技術と呼ばれる方法により、複数の要素画像ＥＭ間における情報（例えば差分）を用いて各要素画像ＥＭの解像度を向上させることも可能である。
【００８５】
本実施の形態では、結像光学系１がｙ方向において両側テレセントリック光学系となるように構成されるが、これに限らず、結像光学系１がｙ方向において片側テレセントリック光学系となるように構成されてもよい。また、拡散板２上における像の大きさの変化量を許容範囲内に調整することができるのであれば、結像光学系１がテレセントリック光学系以外の構成を有してもよい。さらに、結像光学系１が倍率可変のズームレンズ光学系であってもよい。この場合、各要素画像ＥＭの撮影倍率を変更することができる。
【００８６】
結像レンズ１３と拡散板２との距離、拡散板２とレンズ３との距離およびレンズ３とレンズアレイ４との距離は、上記の例に限定されず、複数の要素画像ＥＭが適正に得られる許容範囲内で適宜変更してもよい。
【００８７】
上記実施の形態では、ｘ方向に視差がありｙ方向に視差がない複数の要素画像が取得されるが、アパーチャ板１２およびレンズアレイ４をｚ軸周りに９０度回転させることにより、ｙ方向に視差がありｘ方向に視差がない複数の要素画像を取得することができる。これにより、全方向に視差がある複数の要素画像を取得することができる。したがって、全方向から観察可能な立体画像を表示することが可能になる。
【００８８】
（１−４）効果
本実施の形態では、１台のカメラ５により複数の要素画像ＥＭを同時に取得することができるので、複数のカメラを用いる場合とは異なり、複数の要素画像ＥＭ間で輝度および色等の特性のばらつきが生じない。そのため、複数の要素画像ＥＭ間の特性を揃えるための煩雑な作業が不要となる。また、画角の変更およびパン等のカメラワークも可能になる。また、広い画角において高密度な複数の要素画像ＥＭを取得することが可能になる。
【００８９】
また、本実施の形態では、結像光学系１のアパーチャ板１２により、複数の要素レンズ４ａに導かれる光線が制限されるので、複数の要素画像ＥＭ間において視差が生じる方向がｘ方向に制限される。通常、複数の要素画像ＥＭ間において一方向に視差があれば、左右の目で立体画像を観察することができる。したがって、多方向に視差がある複数の要素画像ＥＭを取得する場合に比べて、立体画像の表示に必要な要素画像ＥＭを簡単な構成で効率よく取得することができる。
【００９０】
また、本実施の形態では、複数の要素レンズ４ａがｘ方向（図３の例ではｘ’方向）およびｙ’方向に沿って並ぶように２次元状に配置され、その複数の要素レンズ４ａの各々に、被写体Ｗからの光線が拡散板２を介して導かれる。この場合、複数の要素レンズ４ａがｘ方向において密に配置されるとともに、被写体Ｗからの光線が拡散板２によって拡散されることにより、複数の要素レンズ４ａの各々に確実に導かれる。それにより、複数の要素画像ＥＭ間において、ｘ方向における視差の密度をより高くすることができる。その結果、より高品質な立体画像を表示することが可能となる。
【００９１】
（２）第２の実施の形態
図６は、本発明の第２の実施の形態に係る立体画像取得装置１００の構成を示す図である。図６の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【００９２】
図６の立体画像取得装置１００では、結像光学系１のアパーチャ板１２の代わりに第１の偏光子２１が設けられる。また、結像光学系１と拡散板２との間にハーフミラー２２および第２の偏光子２３が設けられ、ハーフミラー２２による光線の反射方向にカメラ２４が設けられる。カメラ２４は、撮像レンズ２４ａおよび撮像素子２４ｂを含む。
【００９３】
第１の偏光子２１は、ｘｙ平面に平行に配置される。図７は、第１の偏光子２１の正面図である。図７に示すように、第１の偏光子２１は、第１の偏光領域２１ａおよび第２の偏光領域２１ｂを含む。第１の偏光領域２１ａは、第１の実施の形態におけるアパーチャ板１２のスリット１２ａと同様の形状を有し、ｘ方向に長尺状に延びるように設けられる。第２の偏光領域２１ｂは、ｙ方向において第１の偏光領域２１ａの両側に延びるように設けられる。第１の偏光領域２１ａおよび第２の偏光領域２１ｂは、互いに異なる偏光特性を有する。本例では、第１の偏光領域２１ａはｘ方向の偏光のみを透過させ、第２の偏光領域２１ｂはｙ方向の偏光のみを透過させる。
【００９４】
図６に示すように、結像光学系１の後方において、ｚ方向に対して傾斜するようにハーフミラー２２が配置される。図６の例では、ｘ方向に平行でかつｙ方向およびｚ方向に対して４５度の角度をなすようにハーフミラー２２が配置される。
【００９５】
ハーフミラー２２の後方において、ｘｙ平面に平行に第２の偏光子２３が配置される。ハーフミラー２２を透過した光線が第２の偏光子２３に入射する。第２の偏光子２３は、第１の偏光子２１の第１の偏光領域２１ａと同じ偏光特性を有し、ｘ方向の偏光のみを透過させる。
【００９６】
図６の立体画像取得装置１００においては、結像光学系１を透過した光線の一部がハーフミラー２２を透過し、他の一部がハーフミラー２２により反射される。
【００９７】
ハーフミラー２２を透過した光線は、第２の偏光子２３に入射する。この場合、第１の偏光子２１の第１の偏光領域２１ａを透過した光線は第２の偏光子２３を透過し、第１の偏光子２１の第２の偏光領域２１ｂを透過した光線は第２の偏光子２１を透過しない。したがって、被写体Ｗからの光線のうち第１の偏光子２１の第１の偏光領域２１ａを透過した光線のみが第２の偏光子２３の後方に伝播し、カメラ５に入射する。その結果、第１の実施の形態と同様に、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像が取得される。
【００９８】
一方、ハーフミラー２２により反射された光線は、カメラ２４に入射する。カメラ２４に入射する光線は、第１の偏光子２１の第１の偏光領域２１ａを透過した光線および第２の偏光領域２１ｂを透過した光線を含む。そのため、第１の偏光子２１の影響をほとんど受けることなく、結像レンズ１１，１３により結像された被写体Ｗの像が得られる。カメラ２４により取得される画像は撮像素子２４ａの全画素により構成されるので、高精細である。また、Ｓ／Ｎ比が高く、ｙ方向における画角が大きい。それにより、カメラ２４により得られた画像を用いて、カメラ５により得られた複数の要素画像を補正することができるとともに、複数の要素画像間の補間画像を生成することができる。
【００９９】
ハーフミラー２２および第２の偏光素子２３の代わりに偏光ビームスプリッタを用いてもよい。この場合、第１の偏光子２１の第１の偏光領域２１ａを透過した光線が偏光ビームスプリッタを透過し、第２の偏光領域２１ｂを透過した光線が偏光ビームスプリッタによって反射されるように、偏光ビームスプリッタが配置される。第１の偏光領域２１のｙ方向における幅が十分に小さい場合には、第２の偏光領域２１ｂを透過した光線のみで被写体Ｗの像が形成される。したがって、カメラ２４により被写体Ｗの画像を取得することができる。
【０１００】
第１の偏光子２１として、光線の方向を任意に変更可能な空間光変調素子を用いてもよい。空間光変調素子としては、例えば偏光板および液晶を有する空間変調器を用いることができる。第１の偏光子２１として空間光変調素子を用いることにより、第１および第２の偏光領域２１ａ，２１ｂの大きさおよび形状等を任意に変更することができる。それにより、機械的な駆動機構等を用いることなく、複数の要素画像における視差方向および輝度等を制御することができる。また、第１の偏光子２１に入射する光線を偏光とせずにそのまま透過させることも可能となる。
【０１０１】
さらに、ｘ方向に視差がある複数の要素画像とｙ方向に視差がある複数の要素画像とを交互に高速で取得することが可能になる。これにより、全方向に視差がある複数の要素画像を取得することができる。この場合、取得された複数の要素画像を用いて、３次元のモデリングが容易になるとともに、インテグラルフォトグラフィ方式またはホログラム方式の立体画像の生成が容易になる。
【０１０２】
（３）第３の実施の形態
図８は、本発明の第３の実施の形態に係る立体画像取得装置１００の構成を示す図である。図８の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１０３】
図８の例では、結像光学系１において結像レンズ１３の代わりに焦点距離が短い単焦点レンズ３１が設けられ、結像光学系１の後方に拡散板２が設けられていない。この場合、アパーチャ板１２のスリット１２ａを通過した光線が、単焦点レンズ３１により結像され、その結像位置から後方に大きく拡がる。そのため、スリット１２ａを通過した光線をｙ方向に配列された複数の要素レンズ４ａに導くことができる。
【０１０４】
このように、拡散板２の代わりに、ｙ方向に光を拡げる他の光学素子を用いてもよい。図８の単焦点レンズ３１の代わりに、焦点距離が短く曲率が大きいシリコンドリカルレンズを用いてもよく、またはｘ方向に光線を分割して屈折させるプリズム光学素子を用いてもよい。
【０１０５】
（４）第４の実施の形態
図９は、本発明の第４の実施の形態に係る立体画像取得装置１００の構成を示す図である。図９の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１０６】
図９の例では、結像光学系１において、結像レンズ１１およびアパーチャ板１２の代わりに、レンズ５１および遮光部材５１ａが設けられる。図１０は、本実施の形態で用いられるレンズ５１の斜視図である。図１０に示すように、レンズ５１は、ｘ方向に延びるように長尺状に設けられる。レンズ５１として、アクリルまたはプラスティックからなるフレネルレンズ等を用いることができる。ｙ方向においてレンズ５１を挟むように図９の遮光部材５１ａが配置される。
【０１０７】
図９の立体画像取得装置１００においては、レンズ５１のｙ方向における寸法がｘ方向における寸法よりも大幅に小さい。そのため、アパーチャ板１２を設けた場合と同様に、結像光学系１を透過する光線がｙ方向において制限される。それにより、第１の実施の形態と同様に、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像が取得される。
【０１０８】
ｘ方向においてより広い範囲の視差を得るためには、結像光学系１の最も前方に位置するレンズのｘ方向における寸法を大きくする必要がある。図１の結像レンズ１１のような円形のレンズを用いる場合には、レンズの直径を大きくする必要があり、高度なレンズ作製技術および多大なコストが必要になる。それに対して、図１０のレンズ５１を用いた場合には、比較的容易にかつ安価で、ｘ方向においてより広い範囲の視差を得ることが可能となる。
【０１０９】
（５）第５の実施の形態
図１１は、本発明の第５の実施の形態に係る立体画像取得装置１００の構成を示す図である。図１１の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１１０】
図１１の例では、周期的に強度変調した近赤外光を被写体Ｗに照射する光照射部６１がさらに設けられる。また、カメラ５がダイクロイックミラー６２および距離検出撮像部６３をさらに有する。
【０１１１】
図１１の立体画像取得装置１００においては、被写体Ｗからカメラ５に入射した光線がダイクロイックミラー６２により可視光線と近赤外線とに分離される。可視光線は、ダイクロイックミラー６１を透過して受光素子５ｂに入射する。それにより、第１の実施の形態と同様に、複数の要素画像が取得される。
【０１１２】
一方、近赤外線は、ダイクロイックミラー６１により反射されて距離検出撮像部６３に入射する。距離検出撮像部６３は、高速で開閉可能なシャッタ機構を有し、近赤外線の強度変調に応じた高速ゲート撮影を行う。距離検出撮像部６３により取得された画像から、一般的な光飛行時間計測法に基づいて、カメラ５と被写体Ｗ上の各物点との距離を示す距離情報を検出することができる。以下、距離検出撮像部６３により取得された画像を距離画像と呼ぶ。
【０１１３】
このようにして、一台のカメラ５により、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像を取得することができるとともに、被写体Ｗの距離情報を有する距離画像を取得することができる。この場合、距離画像から検出される距離情報に基づいて、上記補間画像を容易に生成することができるとともに、被写体Ｗの３次元モデルを容易に生成することができる。
【０１１４】
また、図６の例において、図１１のカメラ５を用いてもよい。この場合、複数の要素画像、距離画像および高精細画像を同時に取得することができる。それにより、複数の要素画像の補正、補間画像の生成、および３次元モデルの生成をより容易に行うことができる。
【０１１５】
本例では、カメラ５内にダイクロイックミラー６１および距離検出撮像部６２が設けられるが、これに限らない。例えば、レンズアレイ４とカメラ５との間にダイクロイックミラー６１が配置され、その反射方向に距離検出撮像部６２が配置されてもよい。
【０１１６】
（６）立体画像生成装置
以下、立体画像取得装置１００により取得された複数の要素画像を用いて立体画像を表示する立体画像表示装置について説明する。図１２は、立体画像表示装置の構成を示すブロック図である。
【０１１７】
図１２に示すように、立体画像表示装置２００は、制御部２０１および表示部２０２を含む。制御部２０１は、ＣＰＵ（中央演算処理装置）、メモリおよびハードディスク等を備える。立体画像取得装置１００から制御部２０１に複数の要素画像に対応する画像データが与えられる。表示部２０２は、３次元ディスプレイを含み、インテグラルフォトグラフィ方式またはホログラム方式等のいずれかの方式で立体画像を表示する。
【０１１８】
図１３は、立体画像表示装置２００の制御部２０１の動作を示すフローチャートである。図１３に示すように、制御部２０１は、立体画像取得装置１００から与えられた画像データから複数の要素画像にそれぞれ対応する複数の要素画像データを抽出する（ステップＳ１）。次に、制御部２０１は、抽出された各要素画像データに対して、レンズによる歪み等を除去するための幾何学歪み補正処理を行う（ステップＳ２）。
【０１１９】
次に、制御部２０１は、各要素画像データに対して、解像度を向上させるための解像度補正処理を行う（ステップＳ３）。上記のように、各要素画像の画素数は、カメラ５の撮像素子５ｂの全画素数を要素レンズ４ａの数で除した値以下になる。そこで、複数の要素画像データ間における情報を用いて各要素画像の解像度を向上させることができる。また、図６の例では、カメラ２４により被写体Ｗの高精細な画像が得られる。そのため、カメラ２４により得られた画像データを用いて、各要素画像の解像度を向上させることができる。
【０１２０】
次に、制御部２０１は、複数の要素画像データから被写体Ｗの奥行き情報を取得する（ステップＳ４）。奥行き情報は、被写体Ｗの複数の物点のｚ方向における位置を示す。図１１の例では、距離検出撮像部６３により取得された距離画像から容易に奥行き情報が得られる。
【０１２１】
次に、制御部２０１は、取得した奥行き情報に基づいて、ステレオマッチング法等により、被写体Ｗの３次元モデルを生成する（ステップＳ５）。次に、制御部２０１は、生成された３次元モデルに基づいて、表示すべき立体画像の方式に応じたフォーマットの画像データを生成する（ステップＳ６）。例えばインテグラルフォトグラフィ方式で立体画像を表示する場合、制御部２０１は、生成された３次元モデルに基づいて、視差を有する複数の画像に対応する画像データを再生成する。この場合、制御部２０１は、生成された３次元モデルに基づいて、表示される立体画像の奥行き（飛び出し量）を表示部２０１の性能等に応じて調整することができる。また、制御部２０１は、生成された３次元モデルに基づいて、表示される立体画像の非線形な変換処理を行うことも可能である。その後、制御部２０１は、生成された画像データを用いて表示部２０２により立体画像を表示する（ステップＳ７）。
【０１２２】
なお、インテグラルフォトグラフィ方式で立体画像を表示する場合、制御部２０１は、ステップ３において解像度補正処理が行われた複数の要素画像データを用いて、ステップＳ７で表示部２０２により立体画像を表示してもよい。この場合、ステップＳ５，Ｓ６の処理を行う必要がないので、迅速に立体画像を表示することができる。また、この場合には、ステップＳ５で生成された３次元モデルに基づいて、複数の要素画像間の補間画像に対応する補間画像データを生成することもできる。
【０１２３】
（７）請求項の各構成要素と実施の形態の各要素との対応
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明するが、本発明は下記の例に限定されない。
【０１２４】
上記実施の形態では、要素レンズ４ａが要素レンズの例であり、結像光学系１、拡散板２およびレンズ３が導光光学系の例であり、カメラ５が第１の撮影装置の例であり、スリット１２ａ、第１の偏光領域２１ａおよびレンズ５１が光通過領域の例であり、第１の方向がｚ方向の例であり、第２の方向がｘ方向の例であり、第３の方向がｙ方向の例である。
【０１２５】
また、拡散板２または単焦点レンズ３１が発散光学素子の例であり、アパーチャ板１２が遮光部材の例であり、スリット１２ａが開口の例であり、第１の偏光子２１が第１の偏光素子の例であり、第１の偏光領域２１ａが第１の領域の例であり、第２の偏光領域２１ｂが第２の領域の例であり、第２の偏光子２２が第２の偏光素子の例であり、レンズ５１が長尺状光学素子の例であり、距離検出撮像部６３が距離画像取得部の例であり、カメラ２４が第２の撮影装置の例であり、ハーフミラー２２が分割光学素子の例である。
【０１２６】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１２７】
本発明は、種々の立体画像の取得に有効に利用することができる。
【符号の説明】
【０１２８】
１ 結像光学系
２ 拡散板
３，３１ レンズ
４ レンズアレイ
４ａ 要素レンズ
５，２４ カメラ
５ａ，２４ａ 撮像レンズ
５ｂ，２４ｂ 撮像素子
１１ 結像レンズ
１２ アパーチャ板
１３ 結像レンズ
２１ 第１の偏光子
２２ ハーフミラー
２３ 第２の偏光子
５１ 単焦点レンズ
５１ａ 遮光部材
６１ 光照射部
６２ ダイクロイックミラー
６３ 距離検出撮像部
１００ 立体画像取得装置
２００ 立体画像表示装置
２０１ 制御部
２０２ 表示部
【技術分野】
【０００１】
本発明は、立体画像取得装置に関する。
【背景技術】
【０００２】
立体画像は将来の映像メディアとして注目されており、立体画像用の映像機器の開発および実用化が急速に進展している。特に、立体画像観察用の特殊な眼鏡が不要な裸眼立体画像システムは、家庭用の立体テレビ放送への応用が期待されている。多くの裸眼立体画像システムでは、被写体を撮影して水平方向のみの視差画像を取得し、取得された視差画像を水平視差のみによる２眼または多眼立体ディスプレイに表示する。従来、水平視差画像を取得する技術として、複数台のカメラを水平方向に一列に配置し、それらのカメラにより被写体の視差画像を取得する方法がある。
【０００３】
例えば、特許文献１に記載される立体画像表示装置では、複数のカメラにより互いに異なる方向から被写体が撮影され、これらの複数のカメラにより得られた画像が、対応する光源の点滅と同期するように空間光変調素子（例えば液晶ディスプレイ）に順次表示される。特許文献２に記載される撮像システムでは、複数のカメラにより互いに異なる方向から被写体が撮影され、カメラキャリブレーション、画像補正および画像のマッチング処理等が行われる。
【０００４】
また、１台のカメラで複数の視差画像を取得する方法が提案されている。例えば、特許文献３に記載される立体画像撮影システムでは、一般的なカメラのレンズの前面にアダプタレンズが装着され、アダプタレンズによって被写体からの光束が複数に分割されることにより、視差画像が取得される。特許文献４に記載される立体画像撮像装置では、複数の円形シャッタが順次開閉され、開かれた円形シャッタを通過した光が撮像板に結像されることにより、視差画像が取得される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３２９７６２号公報
【特許文献２】特開２００５−１４２９５７号公報
【特許文献３】特開２００３−５３１４号公報
【特許文献４】特開平１０−２７１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１，２に示されるような複数のカメラを用いた方式では、高精度なカメラキャリブレーションが必要となる。そのため、各カメラの種々の調整が困難である。また、撮影画角の変更またはパン等のカメラワークも困難である。さらに、異なるカメラにより取得された画像間には、輝度および色等のばらつきがあるため、これらの画像の特性を揃えるための補正処理等の煩雑で長時間を要する作業が必要となる。
【０００７】
また、特許文献３，４に示されるような単一のカメラを用いた方式では、結像光学系中のシャッタまたはアパーチャの数に相当する２視差から数視差程度の少ない視差画像を時分割で得ることしか一般的にできない。そのため、広い撮影画角において高密度な多くの視差画像を実時間で得ることが望まれる。
【０００８】
本発明の目的は、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することが可能な立体画像取得装置を提供することである。
【課題を解決するための手段】
【０００９】
（１）本発明に係る立体画像取得装置は、複数の視差画像を取得する立体画像取得装置であって、被写体からの光線を複数の要素画像としてそれぞれ結像する複数の要素レンズと、被写体からの光線を複数の要素レンズに導く導光光学系と、複数の要素レンズによりそれぞれ結像された複数の要素画像を取得する第１の撮影装置とを備え、導光光学系は、第１の方向に沿った光軸を有するとともに、第１の方向と略直交する第２の方向に長尺状に延びる光通過領域を形成し、光通過領域を通過する光線を複数の要素レンズに導き、光通過領域を通過しない光線を複数の要素レンズに導かないように構成されたものである。
【００１０】
その立体画像取得装置においては、被写体からの光線が導光光学系により複数の要素レンズに導かれ、複数の要素レンズにより複数の要素画像として結像される。結像された複数の要素画像が第１の撮影装置により取得される。
【００１１】
この場合、共通の第１の撮影装置により複数の要素画像を同時に取得することができるので、複数の撮影装置を用いる場合とは異なり、複数の要素画像間で特性のばらつきが生じない。そのため、複数の要素画像間の特性を揃えるための煩雑な作業が不要となる。また、画角の変更およびパン等のカメラワークも可能になる。さらに、広い画角において高密度な複数の要素画像を取得することが可能になる。
【００１２】
また、導光光学系においては、第２の方向に長尺状に延びるように光通過領域が形成される。光通過領域を通過する光線が複数の要素レンズに導かれ、光通過領域を通過しない光線が複数の要素レンズに導かれない。このように、複数の要素レンズに導かれる光線が制限されることにより、複数の要素画像間において視差が生じる方向が第２の方向に制限される。通常、複数の要素画像間において一方向に視差があれば、左右の目で立体画像を観察することができる。したがって、多方向に視差がある複数の要素画像を取得する場合に比べて、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することができる。
【００１３】
（２）複数の要素レンズは第２の方向と第１および第２の方向に略直交する第３の方向とに平行な平面上に２次元状に配置され、導光光学系は、光通過領域を通過する光線が第１および第３の方向を含む面内で拡がるように光線を拡散または屈折させる発散光学素子を含んでもよい。
【００１４】
この場合、光通過領域を通過する光線をより多くの要素レンズに導くことができる。それにより、第２の方向に視差がある要素画像をより多く取得することができる。したがって、複数の要素画像間における視差の密度を高くすることができ、高品質な立体画像を表示することが可能になる。
【００１５】
（３）複数の要素レンズは、第３の方向に対して傾斜しかつ互いに平行な複数の線上に並ぶように配置されてもよい。
【００１６】
この場合、第２の方向において複数の要素レンズが密に配置される。したがって、複数の要素画像間における視差の密度をより高くすることができる。
【００１７】
（４）導光光学系は、第１の偏光が透過可能でありかつ第１の偏光と異なる第２の偏光が透過不可能である第１の領域、および第１の偏光が透過不可能でありかつ第２の偏光が透過可能である第２の領域を有する第１の偏光素子と、第１の偏光が透過可能でありかつ第２の偏光が透過不可能である第２の偏光素子とを含み、被写体からの光が第１および第２の偏光素子を順に通して複数の要素レンズに導かれ、第１の偏光素子の第１の領域により光通過領域が形成されてもよい。
【００１８】
この場合、第１の偏光素子の第１の領域を透過した光線は第２の偏光素子を透過し、第１の偏光素子の第２の領域を透過した光線は第２の偏光素子を透過しない。それにより、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【００１９】
（５）立体画像取得装置は、被写体の距離情報を含む距離画像を取得する距離画像取得部をさらに備えてもよい。
【００２０】
この場合、距離画像取得部により取得された距離画像を用いて、複数の要素画像間の補間画像および被写体の３次元モデル等を容易に生成することができる。
【００２１】
（６）複数の要素レンズの各々は、焦点距離を調整可能な焦点可変レンズであってもよい。
【００２２】
この場合、複数の要素画像の画角調整が可能になる。また、複数の要素レンズを光線が収束および発散しない非レンズ状態とすることができる。それにより、視差がある複数の要素画像と視差がない通常の画像とを選択的に取得することが可能になる。
【００２３】
（７）立体画像取得装置は、第２の撮影装置と、導光光学系により複数の要素レンズに導かれる光線の一部を第２の撮影装置に導く分割光学素子とをさらに備えてもよい。
【００２４】
この場合、第１の撮影装置により複数の要素画像を取得するとともに、第２の撮影装置により被写体の高精細な画像を取得することが可能になる。そのため、第２の撮影装置により取得された画像を用いて、複数の要素画像を補正することが可能になるとともに、複数の要素画像間の補間画像を生成することが可能になる。
【００２５】
（８）導光光学系は、光通過領域としての開口が形成された遮光部材を含んでもよい。この場合、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【００２６】
（９）導光光学系は、開口を絞りとして有するテレセントリック光学系であってもよい。この場合、光通過領域を通過した光線を精度よく複数の要素レンズに導くことができるとともに、複数の要素レンズにより複数の要素画像を所望の位置に容易に結像させることができる。
【００２７】
（１０）第１の偏光素子は、偏光特性を調整可能な空間変調素子であってもよい。この場合、光通過領域の形状および配置を容易に調整することができる。それにより、複数の要素画像間において視差が生じる方向を容易に調整することができる。
【００２８】
（１１）導光光学系は、第２の方向に延びる長尺状光学素子を含み、長尺状光学素子により光通過領域が形成されてもよい。この場合、簡単な構成で複数の要素レンズに導かれる光線を制限することができる。
【発明の効果】
【００２９】
本発明によれば、立体画像の表示に必要な要素画像を簡単な構成で効率よく取得することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態に係る立体画像取得装置の構成を示す図である。
【図２】レンズアレイの複数の要素レンズの配列を示す図である。
【図３】レンズアレイの複数の要素レンズの他の配列例を示す図である。
【図４】第１の実施の形態に係る立体画像取得装置の基本原理について説明するための図である。
【図５】第１の実施の形態に係る立体画像取得装置の基本原理について説明するための図である。
【図６】本発明の第２の実施の形態に係る立体画像取得装置の構成を示す図である。
【図７】第１の偏光子の正面図である。
【図８】本発明の第３の実施の形態に係る立体画像取得装置の構成を示す図である。
【図９】本発明の第４の実施の形態に係る立体画像取得装置の構成を示す図である。
【図１０】第４の実施の形態で用いられるレンズの斜視図である。
【図１１】本発明の第５の実施の形態に係る立体画像取得装置の構成を示す図である。
【図１２】立体画像表示装置の構成を示すブロック図である。
【図１３】制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態に係る立体画像取得装置について図面を参照しながら説明する。本実施の形態に係る立体画像取得装置は、複数の異なる位置から観察された被写体の画像（視差画像）を取得する。以下の説明において、互いに直交する３軸をそれぞれｘ軸、ｙ軸およびｚ軸と定義し、ｘ軸に平行な方向、ｙ軸に平行な方向およびｚ軸に平行な方向をそれぞれｘ方向、ｙ方向およびｚ方向と呼ぶ。ｘ方向およびｚ方向は例えば水平方向に相当し、ｙ方向は例えば鉛直方向に相当する。
【００３２】
（１）第１の実施の形態
（１−１）基本構成
図１は、本発明の第１の実施の形態に係る立体画像取得装置の構成を示す図である。図１に示すように、立体画像取得装置１００は、被写体Ｗから近い順に結像光学系１、拡散板２、レンズ３、レンズアレイ４およびカメラ５を備える。
【００３３】
結像光学系１は、結像レンズ１１、アパーチャ板１２および結像レンズ１３を含む。結像レンズ１１，１３の光軸はそれぞれｚ方向に沿いかつ互いに一致する。アパーチャ板１２は、ｘｙ平面に平行に配置される。アパーチャ板１２は、ｘ方向に延びる長尺状のスリット１２ａを有する。
【００３４】
拡散板２は、ｘｙ平面に平行に配置され、結像光学系１からの光線をｙ方向には拡散し、ｘ方向には拡散しないかまたは僅かに拡散する。拡散板２として、光の回折または屈折により光の拡散の方向を制御可能なホログラフィックな光学素子を用いることができる。例えば、アクリルまたはガラス等からなる透明な材質の板に凹凸が形成された光学素子、またはｘ方向とｙ方向とで屈折率が異なる光学素子等を用いることができる。また、微小な構造を有するレンチキュラスクリーンを拡散板２として用いてもよい。この場合も、選択的に特定の方向にのみ光を拡散することができる。
【００３５】
レンズ３の光軸は結像光学系１の結像レンズ１１，１３の光軸に一致する。レンズ３は、レンズアレイ４により形成される画像の大きさ、画角、および光線の進行方向を制御するフィールドレンズである。レンズ３の代わりにレンズアレイ４とカメラ５との間に他のフィールドレンズが設けられてもよく、またはレンズ３に加えてレンズアレイ４とカメラ５との間に他のフィールドレンズが設けられてもよい。
【００３６】
レンズアレイ４は、ｘｙ平面上に規則的に２次元状に配列された複数の要素レンズ４ａを含む。各要素レンズ４ａの光軸はそれぞれｚ軸に沿う。カメラ５は、撮像レンズ５ａ、ならびにＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（電荷結合素子）等からなる撮像素子５ｂを有する。本実施の形態では、レンズアレイ４の複数の要素レンズ４ａにより複数の要素画像が形成され、その複数の要素画像がカメラ５により撮影される。詳細は後述する。
【００３７】
（１−２）レンズアレイ
図２は、レンズアレイ４の複数の要素レンズ４ａの配列を示す図である。図２に示すように、複数の要素レンズ４ａは、ｘ方向およびｙ’方向に沿って並ぶように配置される。ｙ’方向は、ｙ方向に対して角度θａ傾斜する。以下、ｘ方向に沿った要素レンズ４ａの並びを要素レンズ４ａの行と呼び、ｙ’方向に沿った要素レンズ４ａの並びを要素レンズ４ａの列と呼ぶ。図２の例では、Ｈ個の要素レンズ４ａが各行をなし、Ｖ個の要素レンズ４ａが各列をなす。各行および各列における要素レンズ４ａの個数は、カメラ５（図１）の撮像素子５ｂの形状および画素数に応じて設定される。各行において隣り合う要素レンズ４ａの中心点間の距離はｐｘであり、各列において隣り合う要素レンズ４ａのｙ方向における中心点間の距離はｐｙである。
【００３８】
各列において、隣り合う要素レンズ４ａのｘ方向における中心点間の距離はｐｈである。本例では、ｐｈ＝ｐｘ／Ｖである。この場合、隣り合う各２列において、一方の列の下端に位置する要素レンズ４ａと他方の列の上端に位置する要素レンズ４ａとのｘ方向における中心点間の距離がｐｈとなる。これにより、ｘ方向において全ての要素レンズ４ａが均等に配置される。このようにして、複数の要素レンズ４ａがｘ方向に密に配置される。
【００３９】
図３は、レンズアレイ４の複数の要素レンズ４ａの他の配列例を示す図である。図３の例では、複数の要素レンズ４ａが、ｘ’方向およびｙ’方向に沿って並ぶように配置される。ｘ’方向はｘ方向に対して角度θａ傾斜し、ｙ’方向はｙ方向に対して角度θａ傾斜する。この場合も、複数の要素レンズ４ａがｘ方向に密に配置される。
【００４０】
図３の例では、複数の要素レンズ４ａがマトリクス状に配置されたレンズアレイ４を使用することができる。このようなレンズアレイ４は、製造が容易であり、安価である。したがって、図３の例では、図２の例に比べて、容易にかつ低コストで複数の要素レンズ４ａをｘ方向に密に配置することができる。なお、複数の要素レンズ４ａがマトリクス状に配置されたレンズアレイ４の代わりに、複数の要素レンズ４ａがデルタ配列されたレンズアレイ４を用いてもよい。
【００４１】
図２および図３の例において、各要素レンズ４ａの形状は円形に限らず、四角形または六角形等の他の形状であってもよい。また、複数の要素レンズ４の中心位置が互いに一方向（本例ではｘ方向）に異なっていれば、複数の要素レンズ４の大きさ、形状および焦点距離等のレンズ特性が互いに同一であってもよく、または異なってもよい。
【００４２】
レンズアレイ４の各要素レンズ４ａとして、外部からの電気的または物理的な制御により焦点距離が変化する焦点可変レンズを用いてもよい。例えば液晶材料を用いた液晶焦点可変レンズ、印加電圧により液体の接触角度が変化するElectrowettingの原理に基づく液体レンズ、または圧力により曲率が変化する液体レンズ等の各種焦点可変レンズを使用することができる。
【００４３】
この場合、要素レンズ４ａの焦点距離を変化させることにより、要素画像の画角調整が可能となる。また、このような焦点可変機能を利用して、光を収束させる状態（以下、レンズ状態と呼ぶ）と光を収束および発散させずにそのまま透過させる状態（以下、非レンズ状態と呼ぶ）とに各要素レンズ４ａを切り替えることができる。それにより、共通の立体画像取得装置１００において、視差画像の撮影および通常の２次元画像の撮影を選択的に行うことが可能となる。この場合、レンズ状態と非レンズ状態との切替を高速で行うことにより、視差画像の撮影と通常画像の撮影とを例えばフレーム単位で交互に行うことができる。したがって、視差画像と高精細画像とを並行して取得することができる。
【００４４】
（１−３）基本原理
図４および図５は、本実施の形態に係る立体画像取得装置１００の基本原理について説明するための図である。図４は、ｙｚ平面内における被写体Ｗからの光線の伝播を示す図であり、図５は、ｘｚ平面内における被写体Ｗからの光線の伝播を示す図である。図４および図５においては、結像レンズ１１，１３およびレンズ３の各々の中心点がｚ軸上に配置される。また、以下の説明では、被写体Ｗに向かう方向を前方と呼び、その反対の方向を後方と呼ぶ。
【００４５】
図４および図５に示すように、結像レンズ１１の焦点距離はｆ１であり、結像レンズ１３の焦点距離はｆ２であり、レンズ３の焦点距離はｆ３であり、各要素レンズ４ａの焦点距離はｆ４である。結像レンズ１１とアパーチャ板１２との間の距離はｆ１であり、アパーチャ板１２と結像レンズ１３の中心面との間の距離はｆ２である。アパーチャ板１２のスリット１２ａは結像レンズ１１，１３の共通の光軸上に配置される。ｙｚ平面内において、結像光学系１は両側テレセントリック光学系となる。
【００４６】
結像レンズ１３の中心面と拡散板２との間の距離はｆ２である。拡散板２とレンズ３の中心面との間の距離はｆ３である。本例では、図２のレンズアレイ４が用いられる。レンズアレイ４の略中心に位置する要素レンズ４ａの中心点はｚ軸上に配置される。以下、ｚ軸上に中心点を有する要素レンズ４ａを基準の要素レンズ４ａと呼ぶ。レンズ３の中心面と基準の要素レンズ４ａの中心面との間の距離は（ｆ３＋ｆ４）である。
【００４７】
図４を参照しながらｙｚ平面内における光線の伝播について説明する。ここでは、被写体Ｗ（図１）上の物点Ｐ０からの光線Ｖ１の伝播について説明する。図４において、物点Ｐｏからの主光線が破線で示される。
【００４８】
物点Ｐ０のｙ座標をｙ０とし、物点Ｐ０において光線Ｖ１がｚ軸となす角度（以下、光線角と呼ぶ）をθ０とし、物点Ｐ０と結像レンズ１１の中心面との間の距離をｚ０とする。この場合、結像光学系１を透過した光線Ｖ１は、次式（１）で表される。
【００４９】
【数１】
【００５０】
式（１）において、ｙ１は、結像光学系１を透過した光線Ｖ１が通る地点Ｐ１のｙ座標であり、θ１は、地点Ｐ１での光線角であり、ｚ１は、地点Ｐ１と結像レンズ１３の中心面との間の距離である。
【００５１】
物点Ｐ０からの光線Ｖ１が地点Ｐ１で結像される場合、光線角θ０がいずれの値であってもｙ１は一定であるので、次式（２）が満たされる。
【００５２】
【数２】
【００５３】
式（２）より、次式（３）が得られる。
【００５４】
【数３】
【００５５】
一方、結像光学系１においては、アパーチャ板１２により結像光学系１を透過する光線Ｖ１の光線角θ０が制限される。アパーチャ板１２のスリット１２ａのｙ方向における幅をａとすると、スリット１２ａを通過する光線Ｖ１の光線角θ０の範囲は、次式（４）で表される。
【００５６】
【数４】
【００５７】
式（１）および式（４）より、次式（５）が得られる。
【００５８】
【数５】
【００５９】
スリット１２ａを通過した光線Ｖ１は、地点Ｐ１を通って拡散板２上の地点Ｐ２に入射する。地点Ｐ２における光線Ｖ１の広がりΔｙは、式（１）および式（５）により、次式（６）で表される。
【００６０】
【数６】
【００６１】
結像光学系１は両側テレセントリック光学系であるので、拡散板２の位置が結像光学系１による結像位置からｚ方向にずれていても、拡散板２上に形成される像の大きさは結像光学系１による結像位置に形成される像の大きさとほぼ等しい。しかしながら、光線の広がりΔｙにより、拡散板２上の像がぼやける。
【００６２】
式（６）からわかるように、アパーチャ１２のスリット１２ａの幅ａが小さいほど、光線の広がりΔｙが小さくなる。そのため、拡散板２上の像のぼけが抑制される。一方、幅ａが小さいほど、スリット１２ａの面積が小さくなり、被写体Ｗからの光線のうちスリット１２ａを通過する光線の割合が減少する。したがって、周囲の明るさ等に応じて、良好に被写体Ｗの像が得られるように、スリット１２ａの幅ａが調整されることが好ましい。ここでは、スリット１２ａの幅ａが十分に小さく、光線の広がりΔｙが０であるとする。この場合、地点Ｐ１のｙ座標と拡散板２上の地点Ｐ２のｙ座標とは互いに等しく、ｙ１である。
【００６３】
拡散板２上の地点Ｐ２に入射した光線Ｖ１は、拡散板２によりｙ方向に拡散される。これにより、光線Ｖ１が地点Ｐ２から後方に向かってｙｚ平面内で扇状に拡がる。この場合、拡散板２とレンズ３との間の距離がレンズ３の焦点距離ｆ３と等しいので、地点Ｐ２からの拡散光がレンズ３を通して一定の光線角の平行光となる。レンズ３からの平行光は、レンズアレイ４の各要素レンズ４ａに入射する。入射した平行光が各要素レンズ４ａの焦平面上の像点Ｐｉで結像される。
【００６４】
被写体Ｗ上の各物点からの光線が各要素レンズ４ａの焦平面上で結像されることにより、各要素レンズ４ａの焦平面上に被写体Ｗの画像ＥＭが形成される。以下、各要素レンズ４ａの焦平面上に形成される画像ＥＭを要素画像ＥＭと呼ぶ。
【００６５】
図２に示したように、ｙ方向における要素レンズ４ａの中心点間の距離はｐｙである。また、基準の要素レンズ４ａの中心点のｙ座標は０である。そのため、任意の要素レンズ４ａの中心点のｙ座標は、ｎｐｙ（ｎは整数）で表される。
【００６６】
また、各要素レンズ４ａの中心点から各像点Ｐｉに向かう光線の光線角θ４は、レンズ３からレンズアレイ４に向かう平行光の光線角θ３と等しく、光線角θ３は、地点Ｐ２からレンズ３の中心点に向かう光線の光線角θ２と等しい。これにより、任意の要素レンズ４ａによる像点Ｐｉのｙ座標ｙＬｎは、次式（７）で表される。
【００６７】
【数７】
【００６８】
式（７）からわかるように、像点Ｐｉのｙ座標ｙＬｎは物点Ｐ０と結像光学系１との間の距離ｚ０に依存しない。したがって、複数の要素画像ＥＭ間でｙ方向における視差は生じない。
【００６９】
次に、図５を参照しながらｘｚ平面内における光線の伝播について説明する。ここでは、被写体Ｗ上の物点Ｑ０からの光線Ｖ２の伝播について説明する。
【００７０】
被写体Ｗ上の物点Ｑ０からの光線Ｖ２は、結像光学系１の結像レンズ１１，１３およびレンズ３を介してレンズアレイ４に入射する。ｘｚ平面内においては、光線Ｖ２がアパーチャ板１２および拡散板２の影響を受けない。物点Ｑ０のｘ座標をｘ０とし、物点Ｑ０において光線Ｖ２がｚ軸となす角度（光線角）をφ０とし、物点Ｑ０と結像レンズ１１の中心面との間の距離をｚ４とする。この場合、レンズアレイ４に入射する光線Ｖ２は、次式（８）で表される。式（８）において、Ｆ＝（ｆ２ｆ４）／（ｆ１ｆ３）である。
【００７１】
【数８】
【００７２】
図２に示したように、ｘ方向における要素レンズ４ａの中心点間の距離はＰｈである。また、基準の要素レンズ４ａの中心点のｘ座標は０である。したがって、任意の要素レンズ４ａのｘ座標はｍＰｈ（ｍは整数）で表される。任意の要素レンズ４ａを透過した光線Ｖ２は、次式（９）で表される。
【００７３】
【数９】
【００７４】
式（９）において、ｘＬｍは、任意の要素レンズ４ａを透過した光線Ｖ２が結像される像点Ｑｉのｘ座標であり、φＬｍは、像点Ｑｉでの光線角であり、ｚｍは、像点Ｑｉと要素レンズ４ａの中心面との間の距離である。
【００７５】
像点Ｑｉにおいては、光線角φ０がいずれの値であってもｘＬｍは一定であるので、次式（１０）が満たされる。
【００７６】
【数１０】
【００７７】
式（１０）より、次式（１１）が得られる。
【００７８】
【数１１】
【００７９】
式（９）および式（１１）より、次式（１２）が得られる。
【００８０】
【数１２】
【００８１】
式（１２）からわかるように、像点Ｑｉのｘ座標は物点Ｑ０のｚ座標に依存する。したがって、複数の要素画像ＥＭ間でｘ方向における視差が生じる。このようにして、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像ＥＭが形成される。
【００８２】
カメラ５（図１）の撮像素子５ｂは、複数の要素画像ＥＭにそれぞれ対応する複数の撮像領域を有し、各撮像領域に複数の画素が割り当てられる。複数の要素画像ＥＭからの光が、撮像レンズ５ａを介して撮像素子５ｂの対応する撮像領域において受光される。これにより、１台のカメラ５により複数の要素画像ＥＭが同時に取得される。
【００８３】
１つの要素画像ＥＭを構成する画素数は、撮像素子５ｂの全画素数を要素画像ＥＭの数（要素レンズ４ａの数）で除した値以下になる。そのため、より画素数が多い撮像素子５ｂを用いることが好ましい。例えば、スーパーハイビジョンクラスの８０００×４０００個の画素を有する撮像素子５ｂを用いた場合、１６個のハイビジョンクラスの要素画像ＥＭ、または１００個のＶＧＡ（ビデオグラフィックスアレイ）クラスの要素画像ＥＭを同時に取得することができる。
【００８４】
また、カメラ５により取得された複数の要素画像ＥＭを用いて、これら複数の要素画像ＥＭ間を補間する補間画像を生成することができる。この場合、より高品質な立体画像を表示することができる。さらに、超解像度技術と呼ばれる方法により、複数の要素画像ＥＭ間における情報（例えば差分）を用いて各要素画像ＥＭの解像度を向上させることも可能である。
【００８５】
本実施の形態では、結像光学系１がｙ方向において両側テレセントリック光学系となるように構成されるが、これに限らず、結像光学系１がｙ方向において片側テレセントリック光学系となるように構成されてもよい。また、拡散板２上における像の大きさの変化量を許容範囲内に調整することができるのであれば、結像光学系１がテレセントリック光学系以外の構成を有してもよい。さらに、結像光学系１が倍率可変のズームレンズ光学系であってもよい。この場合、各要素画像ＥＭの撮影倍率を変更することができる。
【００８６】
結像レンズ１３と拡散板２との距離、拡散板２とレンズ３との距離およびレンズ３とレンズアレイ４との距離は、上記の例に限定されず、複数の要素画像ＥＭが適正に得られる許容範囲内で適宜変更してもよい。
【００８７】
上記実施の形態では、ｘ方向に視差がありｙ方向に視差がない複数の要素画像が取得されるが、アパーチャ板１２およびレンズアレイ４をｚ軸周りに９０度回転させることにより、ｙ方向に視差がありｘ方向に視差がない複数の要素画像を取得することができる。これにより、全方向に視差がある複数の要素画像を取得することができる。したがって、全方向から観察可能な立体画像を表示することが可能になる。
【００８８】
（１−４）効果
本実施の形態では、１台のカメラ５により複数の要素画像ＥＭを同時に取得することができるので、複数のカメラを用いる場合とは異なり、複数の要素画像ＥＭ間で輝度および色等の特性のばらつきが生じない。そのため、複数の要素画像ＥＭ間の特性を揃えるための煩雑な作業が不要となる。また、画角の変更およびパン等のカメラワークも可能になる。また、広い画角において高密度な複数の要素画像ＥＭを取得することが可能になる。
【００８９】
また、本実施の形態では、結像光学系１のアパーチャ板１２により、複数の要素レンズ４ａに導かれる光線が制限されるので、複数の要素画像ＥＭ間において視差が生じる方向がｘ方向に制限される。通常、複数の要素画像ＥＭ間において一方向に視差があれば、左右の目で立体画像を観察することができる。したがって、多方向に視差がある複数の要素画像ＥＭを取得する場合に比べて、立体画像の表示に必要な要素画像ＥＭを簡単な構成で効率よく取得することができる。
【００９０】
また、本実施の形態では、複数の要素レンズ４ａがｘ方向（図３の例ではｘ’方向）およびｙ’方向に沿って並ぶように２次元状に配置され、その複数の要素レンズ４ａの各々に、被写体Ｗからの光線が拡散板２を介して導かれる。この場合、複数の要素レンズ４ａがｘ方向において密に配置されるとともに、被写体Ｗからの光線が拡散板２によって拡散されることにより、複数の要素レンズ４ａの各々に確実に導かれる。それにより、複数の要素画像ＥＭ間において、ｘ方向における視差の密度をより高くすることができる。その結果、より高品質な立体画像を表示することが可能となる。
【００９１】
（２）第２の実施の形態
図６は、本発明の第２の実施の形態に係る立体画像取得装置１００の構成を示す図である。図６の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【００９２】
図６の立体画像取得装置１００では、結像光学系１のアパーチャ板１２の代わりに第１の偏光子２１が設けられる。また、結像光学系１と拡散板２との間にハーフミラー２２および第２の偏光子２３が設けられ、ハーフミラー２２による光線の反射方向にカメラ２４が設けられる。カメラ２４は、撮像レンズ２４ａおよび撮像素子２４ｂを含む。
【００９３】
第１の偏光子２１は、ｘｙ平面に平行に配置される。図７は、第１の偏光子２１の正面図である。図７に示すように、第１の偏光子２１は、第１の偏光領域２１ａおよび第２の偏光領域２１ｂを含む。第１の偏光領域２１ａは、第１の実施の形態におけるアパーチャ板１２のスリット１２ａと同様の形状を有し、ｘ方向に長尺状に延びるように設けられる。第２の偏光領域２１ｂは、ｙ方向において第１の偏光領域２１ａの両側に延びるように設けられる。第１の偏光領域２１ａおよび第２の偏光領域２１ｂは、互いに異なる偏光特性を有する。本例では、第１の偏光領域２１ａはｘ方向の偏光のみを透過させ、第２の偏光領域２１ｂはｙ方向の偏光のみを透過させる。
【００９４】
図６に示すように、結像光学系１の後方において、ｚ方向に対して傾斜するようにハーフミラー２２が配置される。図６の例では、ｘ方向に平行でかつｙ方向およびｚ方向に対して４５度の角度をなすようにハーフミラー２２が配置される。
【００９５】
ハーフミラー２２の後方において、ｘｙ平面に平行に第２の偏光子２３が配置される。ハーフミラー２２を透過した光線が第２の偏光子２３に入射する。第２の偏光子２３は、第１の偏光子２１の第１の偏光領域２１ａと同じ偏光特性を有し、ｘ方向の偏光のみを透過させる。
【００９６】
図６の立体画像取得装置１００においては、結像光学系１を透過した光線の一部がハーフミラー２２を透過し、他の一部がハーフミラー２２により反射される。
【００９７】
ハーフミラー２２を透過した光線は、第２の偏光子２３に入射する。この場合、第１の偏光子２１の第１の偏光領域２１ａを透過した光線は第２の偏光子２３を透過し、第１の偏光子２１の第２の偏光領域２１ｂを透過した光線は第２の偏光子２１を透過しない。したがって、被写体Ｗからの光線のうち第１の偏光子２１の第１の偏光領域２１ａを透過した光線のみが第２の偏光子２３の後方に伝播し、カメラ５に入射する。その結果、第１の実施の形態と同様に、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像が取得される。
【００９８】
一方、ハーフミラー２２により反射された光線は、カメラ２４に入射する。カメラ２４に入射する光線は、第１の偏光子２１の第１の偏光領域２１ａを透過した光線および第２の偏光領域２１ｂを透過した光線を含む。そのため、第１の偏光子２１の影響をほとんど受けることなく、結像レンズ１１，１３により結像された被写体Ｗの像が得られる。カメラ２４により取得される画像は撮像素子２４ａの全画素により構成されるので、高精細である。また、Ｓ／Ｎ比が高く、ｙ方向における画角が大きい。それにより、カメラ２４により得られた画像を用いて、カメラ５により得られた複数の要素画像を補正することができるとともに、複数の要素画像間の補間画像を生成することができる。
【００９９】
ハーフミラー２２および第２の偏光素子２３の代わりに偏光ビームスプリッタを用いてもよい。この場合、第１の偏光子２１の第１の偏光領域２１ａを透過した光線が偏光ビームスプリッタを透過し、第２の偏光領域２１ｂを透過した光線が偏光ビームスプリッタによって反射されるように、偏光ビームスプリッタが配置される。第１の偏光領域２１のｙ方向における幅が十分に小さい場合には、第２の偏光領域２１ｂを透過した光線のみで被写体Ｗの像が形成される。したがって、カメラ２４により被写体Ｗの画像を取得することができる。
【０１００】
第１の偏光子２１として、光線の方向を任意に変更可能な空間光変調素子を用いてもよい。空間光変調素子としては、例えば偏光板および液晶を有する空間変調器を用いることができる。第１の偏光子２１として空間光変調素子を用いることにより、第１および第２の偏光領域２１ａ，２１ｂの大きさおよび形状等を任意に変更することができる。それにより、機械的な駆動機構等を用いることなく、複数の要素画像における視差方向および輝度等を制御することができる。また、第１の偏光子２１に入射する光線を偏光とせずにそのまま透過させることも可能となる。
【０１０１】
さらに、ｘ方向に視差がある複数の要素画像とｙ方向に視差がある複数の要素画像とを交互に高速で取得することが可能になる。これにより、全方向に視差がある複数の要素画像を取得することができる。この場合、取得された複数の要素画像を用いて、３次元のモデリングが容易になるとともに、インテグラルフォトグラフィ方式またはホログラム方式の立体画像の生成が容易になる。
【０１０２】
（３）第３の実施の形態
図８は、本発明の第３の実施の形態に係る立体画像取得装置１００の構成を示す図である。図８の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１０３】
図８の例では、結像光学系１において結像レンズ１３の代わりに焦点距離が短い単焦点レンズ３１が設けられ、結像光学系１の後方に拡散板２が設けられていない。この場合、アパーチャ板１２のスリット１２ａを通過した光線が、単焦点レンズ３１により結像され、その結像位置から後方に大きく拡がる。そのため、スリット１２ａを通過した光線をｙ方向に配列された複数の要素レンズ４ａに導くことができる。
【０１０４】
このように、拡散板２の代わりに、ｙ方向に光を拡げる他の光学素子を用いてもよい。図８の単焦点レンズ３１の代わりに、焦点距離が短く曲率が大きいシリコンドリカルレンズを用いてもよく、またはｘ方向に光線を分割して屈折させるプリズム光学素子を用いてもよい。
【０１０５】
（４）第４の実施の形態
図９は、本発明の第４の実施の形態に係る立体画像取得装置１００の構成を示す図である。図９の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１０６】
図９の例では、結像光学系１において、結像レンズ１１およびアパーチャ板１２の代わりに、レンズ５１および遮光部材５１ａが設けられる。図１０は、本実施の形態で用いられるレンズ５１の斜視図である。図１０に示すように、レンズ５１は、ｘ方向に延びるように長尺状に設けられる。レンズ５１として、アクリルまたはプラスティックからなるフレネルレンズ等を用いることができる。ｙ方向においてレンズ５１を挟むように図９の遮光部材５１ａが配置される。
【０１０７】
図９の立体画像取得装置１００においては、レンズ５１のｙ方向における寸法がｘ方向における寸法よりも大幅に小さい。そのため、アパーチャ板１２を設けた場合と同様に、結像光学系１を透過する光線がｙ方向において制限される。それにより、第１の実施の形態と同様に、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像が取得される。
【０１０８】
ｘ方向においてより広い範囲の視差を得るためには、結像光学系１の最も前方に位置するレンズのｘ方向における寸法を大きくする必要がある。図１の結像レンズ１１のような円形のレンズを用いる場合には、レンズの直径を大きくする必要があり、高度なレンズ作製技術および多大なコストが必要になる。それに対して、図１０のレンズ５１を用いた場合には、比較的容易にかつ安価で、ｘ方向においてより広い範囲の視差を得ることが可能となる。
【０１０９】
（５）第５の実施の形態
図１１は、本発明の第５の実施の形態に係る立体画像取得装置１００の構成を示す図である。図１１の立体画像取得装置１００について、第１の実施の形態に係る立体画像取得装置１００と異なる点を説明する。
【０１１０】
図１１の例では、周期的に強度変調した近赤外光を被写体Ｗに照射する光照射部６１がさらに設けられる。また、カメラ５がダイクロイックミラー６２および距離検出撮像部６３をさらに有する。
【０１１１】
図１１の立体画像取得装置１００においては、被写体Ｗからカメラ５に入射した光線がダイクロイックミラー６２により可視光線と近赤外線とに分離される。可視光線は、ダイクロイックミラー６１を透過して受光素子５ｂに入射する。それにより、第１の実施の形態と同様に、複数の要素画像が取得される。
【０１１２】
一方、近赤外線は、ダイクロイックミラー６１により反射されて距離検出撮像部６３に入射する。距離検出撮像部６３は、高速で開閉可能なシャッタ機構を有し、近赤外線の強度変調に応じた高速ゲート撮影を行う。距離検出撮像部６３により取得された画像から、一般的な光飛行時間計測法に基づいて、カメラ５と被写体Ｗ上の各物点との距離を示す距離情報を検出することができる。以下、距離検出撮像部６３により取得された画像を距離画像と呼ぶ。
【０１１３】
このようにして、一台のカメラ５により、ｙ方向には視差がなくｘ方向には視差がある複数の要素画像を取得することができるとともに、被写体Ｗの距離情報を有する距離画像を取得することができる。この場合、距離画像から検出される距離情報に基づいて、上記補間画像を容易に生成することができるとともに、被写体Ｗの３次元モデルを容易に生成することができる。
【０１１４】
また、図６の例において、図１１のカメラ５を用いてもよい。この場合、複数の要素画像、距離画像および高精細画像を同時に取得することができる。それにより、複数の要素画像の補正、補間画像の生成、および３次元モデルの生成をより容易に行うことができる。
【０１１５】
本例では、カメラ５内にダイクロイックミラー６１および距離検出撮像部６２が設けられるが、これに限らない。例えば、レンズアレイ４とカメラ５との間にダイクロイックミラー６１が配置され、その反射方向に距離検出撮像部６２が配置されてもよい。
【０１１６】
（６）立体画像生成装置
以下、立体画像取得装置１００により取得された複数の要素画像を用いて立体画像を表示する立体画像表示装置について説明する。図１２は、立体画像表示装置の構成を示すブロック図である。
【０１１７】
図１２に示すように、立体画像表示装置２００は、制御部２０１および表示部２０２を含む。制御部２０１は、ＣＰＵ（中央演算処理装置）、メモリおよびハードディスク等を備える。立体画像取得装置１００から制御部２０１に複数の要素画像に対応する画像データが与えられる。表示部２０２は、３次元ディスプレイを含み、インテグラルフォトグラフィ方式またはホログラム方式等のいずれかの方式で立体画像を表示する。
【０１１８】
図１３は、立体画像表示装置２００の制御部２０１の動作を示すフローチャートである。図１３に示すように、制御部２０１は、立体画像取得装置１００から与えられた画像データから複数の要素画像にそれぞれ対応する複数の要素画像データを抽出する（ステップＳ１）。次に、制御部２０１は、抽出された各要素画像データに対して、レンズによる歪み等を除去するための幾何学歪み補正処理を行う（ステップＳ２）。
【０１１９】
次に、制御部２０１は、各要素画像データに対して、解像度を向上させるための解像度補正処理を行う（ステップＳ３）。上記のように、各要素画像の画素数は、カメラ５の撮像素子５ｂの全画素数を要素レンズ４ａの数で除した値以下になる。そこで、複数の要素画像データ間における情報を用いて各要素画像の解像度を向上させることができる。また、図６の例では、カメラ２４により被写体Ｗの高精細な画像が得られる。そのため、カメラ２４により得られた画像データを用いて、各要素画像の解像度を向上させることができる。
【０１２０】
次に、制御部２０１は、複数の要素画像データから被写体Ｗの奥行き情報を取得する（ステップＳ４）。奥行き情報は、被写体Ｗの複数の物点のｚ方向における位置を示す。図１１の例では、距離検出撮像部６３により取得された距離画像から容易に奥行き情報が得られる。
【０１２１】
次に、制御部２０１は、取得した奥行き情報に基づいて、ステレオマッチング法等により、被写体Ｗの３次元モデルを生成する（ステップＳ５）。次に、制御部２０１は、生成された３次元モデルに基づいて、表示すべき立体画像の方式に応じたフォーマットの画像データを生成する（ステップＳ６）。例えばインテグラルフォトグラフィ方式で立体画像を表示する場合、制御部２０１は、生成された３次元モデルに基づいて、視差を有する複数の画像に対応する画像データを再生成する。この場合、制御部２０１は、生成された３次元モデルに基づいて、表示される立体画像の奥行き（飛び出し量）を表示部２０１の性能等に応じて調整することができる。また、制御部２０１は、生成された３次元モデルに基づいて、表示される立体画像の非線形な変換処理を行うことも可能である。その後、制御部２０１は、生成された画像データを用いて表示部２０２により立体画像を表示する（ステップＳ７）。
【０１２２】
なお、インテグラルフォトグラフィ方式で立体画像を表示する場合、制御部２０１は、ステップ３において解像度補正処理が行われた複数の要素画像データを用いて、ステップＳ７で表示部２０２により立体画像を表示してもよい。この場合、ステップＳ５，Ｓ６の処理を行う必要がないので、迅速に立体画像を表示することができる。また、この場合には、ステップＳ５で生成された３次元モデルに基づいて、複数の要素画像間の補間画像に対応する補間画像データを生成することもできる。
【０１２３】
（７）請求項の各構成要素と実施の形態の各要素との対応
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明するが、本発明は下記の例に限定されない。
【０１２４】
上記実施の形態では、要素レンズ４ａが要素レンズの例であり、結像光学系１、拡散板２およびレンズ３が導光光学系の例であり、カメラ５が第１の撮影装置の例であり、スリット１２ａ、第１の偏光領域２１ａおよびレンズ５１が光通過領域の例であり、第１の方向がｚ方向の例であり、第２の方向がｘ方向の例であり、第３の方向がｙ方向の例である。
【０１２５】
また、拡散板２または単焦点レンズ３１が発散光学素子の例であり、アパーチャ板１２が遮光部材の例であり、スリット１２ａが開口の例であり、第１の偏光子２１が第１の偏光素子の例であり、第１の偏光領域２１ａが第１の領域の例であり、第２の偏光領域２１ｂが第２の領域の例であり、第２の偏光子２２が第２の偏光素子の例であり、レンズ５１が長尺状光学素子の例であり、距離検出撮像部６３が距離画像取得部の例であり、カメラ２４が第２の撮影装置の例であり、ハーフミラー２２が分割光学素子の例である。
【０１２６】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１２７】
本発明は、種々の立体画像の取得に有効に利用することができる。
【符号の説明】
【０１２８】
１ 結像光学系
２ 拡散板
３，３１ レンズ
４ レンズアレイ
４ａ 要素レンズ
５，２４ カメラ
５ａ，２４ａ 撮像レンズ
５ｂ，２４ｂ 撮像素子
１１ 結像レンズ
１２ アパーチャ板
１３ 結像レンズ
２１ 第１の偏光子
２２ ハーフミラー
２３ 第２の偏光子
５１ 単焦点レンズ
５１ａ 遮光部材
６１ 光照射部
６２ ダイクロイックミラー
６３ 距離検出撮像部
１００ 立体画像取得装置
２００ 立体画像表示装置
２０１ 制御部
２０２ 表示部
【特許請求の範囲】
【請求項１】
複数の視差画像を取得する立体画像取得装置であって、
被写体からの光線を複数の要素画像としてそれぞれ結像する複数の要素レンズと、
前記被写体からの光線を前記複数の要素レンズに導く導光光学系と、
前記複数の要素レンズによりそれぞれ結像された前記複数の要素画像を取得する第１の撮影装置とを備え、
前記導光光学系は、第１の方向に沿った光軸を有するとともに、前記第１の方向と略直交する第２の方向に長尺状に延びる光通過領域を形成し、前記光通過領域を通過する光線を前記複数の要素レンズに導き、前記光通過領域を通過しない光線を前記複数の要素レンズに導かないように構成されたことを特徴とする立体画像取得装置。
【請求項２】
前記複数の要素レンズは前記第２の方向と前記第１および第２の方向に略直交する第３の方向とに平行な平面上に２次元状に配置され、
前記導光光学系は、前記光通過領域を通過する光線が前記第１および第３の方向を含む面内で拡がるように光線を拡散または屈折させる発散光学素子を含むことを特徴とする請求項１記載の立体画像取得装置。
【請求項３】
前記複数の要素レンズは、前記第３の方向に対して傾斜しかつ互いに平行な複数の線上に並ぶように配置されることを特徴とする請求項２記載の立体画像取得装置。
【請求項４】
前記導光光学系は、
第１の偏光が透過可能でありかつ前記第１の偏光と異なる第２の偏光が透過不可能である第１の領域、および前記第１の偏光が透過不可能でありかつ前記第２の偏光が透過可能である第２の領域を有する第１の偏光素子と、
前記第１の偏光が透過可能でありかつ前記第２の偏光が透過不可能である第２の偏光素子とを含み、
前記被写体からの光が前記第１および第２の偏光素子を順に通して前記複数の要素レンズに導かれ、
前記第１の偏光素子の前記第１の領域により前記光通過領域が形成されることを特徴とする請求項１〜３のいずれかに記載の立体画像取得装置。
【請求項５】
前記被写体の距離情報を含む距離画像を取得する距離画像取得部をさらに備える特徴とする請求項１〜４のいずれかに記載の立体画像取得装置。
【請求項６】
前記複数の要素レンズの各々は、焦点距離を調整可能な焦点可変レンズであることを特徴とする請求項１〜５のいずれかに記載の立体画像取得装置。
【請求項７】
第２の撮影装置と
前記導光光学系により前記複数の要素レンズに導かれる光線の一部を前記第２の撮影装置に導く分割光学素子とをさらに備えることを特徴とする請求項１〜６のいずれかに記載の立体画像取得装置。
【請求項１】
複数の視差画像を取得する立体画像取得装置であって、
被写体からの光線を複数の要素画像としてそれぞれ結像する複数の要素レンズと、
前記被写体からの光線を前記複数の要素レンズに導く導光光学系と、
前記複数の要素レンズによりそれぞれ結像された前記複数の要素画像を取得する第１の撮影装置とを備え、
前記導光光学系は、第１の方向に沿った光軸を有するとともに、前記第１の方向と略直交する第２の方向に長尺状に延びる光通過領域を形成し、前記光通過領域を通過する光線を前記複数の要素レンズに導き、前記光通過領域を通過しない光線を前記複数の要素レンズに導かないように構成されたことを特徴とする立体画像取得装置。
【請求項２】
前記複数の要素レンズは前記第２の方向と前記第１および第２の方向に略直交する第３の方向とに平行な平面上に２次元状に配置され、
前記導光光学系は、前記光通過領域を通過する光線が前記第１および第３の方向を含む面内で拡がるように光線を拡散または屈折させる発散光学素子を含むことを特徴とする請求項１記載の立体画像取得装置。
【請求項３】
前記複数の要素レンズは、前記第３の方向に対して傾斜しかつ互いに平行な複数の線上に並ぶように配置されることを特徴とする請求項２記載の立体画像取得装置。
【請求項４】
前記導光光学系は、
第１の偏光が透過可能でありかつ前記第１の偏光と異なる第２の偏光が透過不可能である第１の領域、および前記第１の偏光が透過不可能でありかつ前記第２の偏光が透過可能である第２の領域を有する第１の偏光素子と、
前記第１の偏光が透過可能でありかつ前記第２の偏光が透過不可能である第２の偏光素子とを含み、
前記被写体からの光が前記第１および第２の偏光素子を順に通して前記複数の要素レンズに導かれ、
前記第１の偏光素子の前記第１の領域により前記光通過領域が形成されることを特徴とする請求項１〜３のいずれかに記載の立体画像取得装置。
【請求項５】
前記被写体の距離情報を含む距離画像を取得する距離画像取得部をさらに備える特徴とする請求項１〜４のいずれかに記載の立体画像取得装置。
【請求項６】
前記複数の要素レンズの各々は、焦点距離を調整可能な焦点可変レンズであることを特徴とする請求項１〜５のいずれかに記載の立体画像取得装置。
【請求項７】
第２の撮影装置と
前記導光光学系により前記複数の要素レンズに導かれる光線の一部を前記第２の撮影装置に導く分割光学素子とをさらに備えることを特徴とする請求項１〜６のいずれかに記載の立体画像取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１７７７５６（Ｐ２０１２−１７７７５６Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−３９７３３（Ｐ２０１１−３９７３３）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]