デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法
【解決手段】プレノプティック光学装置における画像を合成するよう構成されたデジタル撮像システムが、所定の像平面に配置された複数のフォトセンサを有するフォトセンサアレイと、被写体からの光をフォトセンサアレイに対して指向させるよう配置された複数のマイクロレンズを有するマイクロレンズアレイとを備える。前記フォトセンサアレイ及び前記マイクロレンズアレイは、所定の距離に離して配置されており、マイクロレンズは、マイクロレンズアレイ上において変化する異なる合焦距離を有しており、フォトセンサアレイに関する前記像平面は、フォトセンサアレイ及びマイクロレンズアレイ間の距離がマイクロレンズの合焦距離と不等であるような態様で配置されている。さらにデジタル撮像システムを備えるプレノプティック光学装置が記載されており、デジタル撮像システムを用いて収集された画像データを処理するための方法も記載される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレノプティック（plenoptic）光学装置（例えばプレノプティックカメラ）における画像を合成するように構成されたデジタル撮像システムに関する。さらに本発明は、デジタル撮像システムを含む、例えばカメラ装置、走査装置、又は顕微鏡装置のような、光学装置に関する。さらにまた本発明は、デジタル撮像システムを用いて収集された画像データを処理するための方法に関する。特に本発明は、放射輝度写真撮影（Radiance Photography）用のカメラ（プレノプティックカメラ）を用いたシステムに関し、多様な鮮明度を有する写真を作製し表示するためにこのシステムを用いる方法に関する。
【背景技術】
【０００２】
プレノプティックカメラ（ライトフィールドカメラ）は、明視野（light field）において光の分布及び光の方向をサンプリング可能なカメラである。このカメラでは、このような情報に基づいて、大きくした焦点深度で画像を収集できたり、デジタル的に焦点を変更できる。標準的なプレノプティックカメラにおいては、マイクロレンズのアレイが、例えば写真乾板又はフォトセンサアレイとして、像平面（image plane）の前方に配置されている。このような構造により、特定の平面に合焦された光が記録されるだけでなく、レンズから放射する光線照射野（ライトフィールド）も記録される。最終的な画像は、コンピュータのアルゴリズムを使って、記録済みのRAWデータから生成できる。このため、プレノプティックカメラはコンピュータによる写真撮影の分野に属するものとみなされている。また、異なる（仮想の）焦点面においてライトフィールドから画像を生成するためのアルゴリズムと、複数の位置におけるシーン奥行きを推定するためのアルゴリズムが存在する。
【０００３】
これまでに公表されているプレノプティックカメラに関する設計は２つある。
１．１９０８年に初めてリップマン（Lippmann）により発表され、国際公開第ＷＯ２００７／０９２５８１（Ａ２）号（特許文献１）にも記載されており、また、『スタンフォードテックレポート』ＣＴＳＲ２００５−０２（非特許文献１）においてレン・ウン（Ren Ng）らにより発表された標準的なプレノプティックカメラ。このプレノプティックカメラの有効解像度は、使用されるマイクロレンズの数と同じである。
２．２００８年に初めてラムズデインとゲオルギエフによりテクニカルレポート（Ａ・ラムズデイン及びＴ・ゲオルギエフ共著「最大解像度でのライトフィールド・レンダリング」、テクニカルレポート、アドビ・システムズ社、２００８年１月（非特許文献２）及び米国特許公開第２００９／００４１４４８（Ａ１）号（特許文献２）において発表された「焦点調節型プレノプティックカメラ」。これらの刊行物に記載された設計では、より高い有効解像度が達成されている。しかしながら、プレノプティックカメラにおける達成可能な有効解像度の解析的計算を可能にするような理論は何も発表されていない。さらに従来の画像レンダリングアルゴリズムは、画像を周波数領域に変換することにより機能するものである。
【０００４】
改良されたプレノプティックカメラ及びこれに関するアルゴリズムが、国際公開第ＷＯ２００６／０３９４８６（Ａ２）号（特許文献３）に記載されている。標準的な技術の場合と同様、このプレノプティックカメラは、主レンズと、マイクロレンズアレイと、マイクロレンズアレイよりも精細なピッチを有するフォトセンサアレイとを備えている。主レンズの焦点面に配置されているマイクロレンズアレイは、マイクロレンズの一を通過する光が他のマイクロレンズを通過する光と重なり合うことがないような態様で選択された、異なる大きさを有するマイクロレンズ群を備えることができる。また、異なるマイクロレンズを使って、局所的に変化する角度分解能を得ることができるが、全マイクロレンズの焦点は共通の平面（フォトセンサアレイの平面）を共有している。すなわち、従来型プレノプティックカメラの全マイクロレンズは、無限遠点において虚像を撮像するために同じ合焦距離を有している。したがって、国際公開第ＷＯ２００６／０３９４８６号に記載されたプレノプティックカメラの撮像特性は、標準的なプレノプティックカメラの特性と本質的に同一のものである。
【０００５】
従来型プレノプティックカメラは、全て次のような欠点を有している。焦点深度は標準的な設定で大きくできるものの、プレノプティックカメラの有効解像度に関する如何なる改善も、使用するマイクロレンズの数により限定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第ＷＯ２００７／０９２５８１（Ａ２）号
【特許文献２】米国特許公開第２００９／００４１４４８（Ａ１）号
【特許文献３】国際公開第ＷＯ２００６／０３９４８６（Ａ２）号
【非特許文献】
【０００７】
【非特許文献１】『スタンフォードテックレポート』ＣＴＳＲ２００５−０２（“Stanford Tech Report" CTSR 2005-02）
【非特許文献２】Ａ・ラムズデイン及びＴ・ゲオルギエフ共著「最大解像度でのライトフィールド・レンダリング」、テクニカルレポート、アドビ・システムズ社、２００８年１月（A.Lumsdaine and T.Georgiev, Full resolution light field rendering、Technical Report, Adobe Systems、January 2008)）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、プレノプティック光学装置における画像を合成するための改良されたデジタル撮像システムを提供することにある。このデジタル撮像システムは、従来のプレノプティック撮像技術における欠点を回避できる。さらに、本発明の他の目的は、デジタル撮像システムを備える改良された光学装置を提供することにある。さらにまた、本発明の他の目的は、デジタル撮像システムを用いて収集された画像データを処理するための改良された方法を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００９】
これらの目的は、独立請求項の特長を備えたデジタル撮像システム、光学装置、及び方法により解決される。本発明の好ましい実施形態及び用途は従属請求項に記載される。
【００１０】
本発明の第１の態様によれば、上記の目的は、プレノプティック光学装置における画像を合成するように構成されたデジタル撮像システムによって達成される。このデジタル撮像システムは、所定の像平面に配置された複数のフォトセンサを有するフォトセンサアレイと、被写体からの光をフォトセンサアレイに指向させるよう配置された複数のマイクロレンズを有するマイクロレンズアレイ（第１のマイクロレンズアレイ、すなわちメインのマイクロレンズアレイ）と、を備えており、このマイクロレンズアレイは、フォトセンサアレイに対して相対的に所定の直角方向の距離に配置されている。したがって、このデジタル撮像システムは、フォトセンサアレイとマイクロレンズアレイを組み合わせたものを有する。本発明によれば、マイクロレンズは、マイクロレンズアレイに亘って変化する少なくとも２つの異なる合焦距離を有しており、またフォトセンサアレイの像平面は、フォトセンサアレイの像平面とマイクロレンズアレイとの間の距離が如何なるマイクロレンズの合焦距離とも不等となる態様で配置されている。換言すれば、マイクロレンズアレイは複数のマイクロレンズで作製されており、各マイクロレンズは、複数の異なる合焦距離から選択された合焦距離を有する。マイクロレンズアレイは共通の合焦距離を有するマイクロレンズのグループを備えており、異なるグループのマイクロレンズは異なる合焦距離を有する。さらに本発明によれば、フォトセンサアレイの像平面は、像平面及びマイクロレンズアレイ間の距離が如何なるマイクロレンズの合焦距離とも不等となる態様で配置されている。
【００１１】
上述した特長の組み合わせで、本発明のデジタル撮像システムでは以下の技術的効果が得られる。第一に、いずれのマイクロレンズにおいても合焦距離が像平面／マイクロレンズ間の距離から偏差していることにより、従来型プレノプティックカメラを用いて無限遠点における虚像を撮像するのとは異なり、マイクロレンズからの有限距離における虚像が像平面上に撮像される。マイクロレンズは、有限の焦点深度で撮像するために使用される。このような制限は、異なる合焦距離を有するマイクロレンズを提供することによって補償され、これらのマイクロレンズにより、より大きい焦点深度範囲をカバーできるようになる。さらに、また本発明者らが最初に示したように、有限距離における虚像の撮像は、従来のカメラに比して改良された解像度をもたらす。
【００１２】
本発明の第２の態様によれば、上記の目的は、主レンズ光学系と、本発明の上記第１の態様に係る本発明のデジタル撮像システムと、を備えるプレノプティック光学装置によって達成される。好ましくは、デジタル撮像システムのマイクロレンズアレイは、主レンズ光学系の焦線に配置され、被写体からの光を主レンズ光学系経由でフォトセンサアレイに指向させ、また、主レンズ光学系における焦線の特定部分を通過する一組の光線に関し、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知するよう複数のフォトセンサが配置される。本発明の特に好ましい用途によれば、プレノプティック光学装置として、カメラ装置(プレノプティックカメラ)、走査装置、又は顕微鏡装置が挙げられる。用途に応じて、本発明のデジタル撮像システムのマイクロレンズアレイは、マイクロレンズの一次元又は二次元アレイ（直線配列又はマトリックス配列）とできる。本発明のデジタル撮像システムを備えるプレノプティックカメラは、異なる合焦距離を有する複数のマイクロレンズを提供するので、多焦点プレノプティックカメラ（MFPC;multiple focus plenoptic camera)と呼ばれる。
【００１３】
本発明の第３の態様によれば、上記の目的は、上記第１の態様に係るデジタル撮像システムを用いて収集された画像データを処理するための方法によって達成される。この方法は、フォトセンサアレイを用いて収集されたRAW画像データを提供する工程と、虚像点を有する所定の虚像表面を提供する工程と、を含んでおり、各虚像点につき、フォトセンサアレイ上で虚像点を撮像するために最大限の有効解像度比率を有するマイクロレンズのグループが選択され、虚像点がマイクロレンズアレイ平面上に投影され、虚像点の強度値に寄与する選択されたグループのマイクロレンズのマイクロ画像が検出され、RAW画像点が選択され、これらRAW画像点の画像データが虚像点の強度値に寄与し、RAW画像点におけるRAW画像データに関する平均化されたRAW画像強度が検出される。最後に、各虚像点に関する平均化されたRAW画像強度により、取得対象のデジタル画像が提供される。
【００１４】
特に、イ・レン・ウン（Yi-Ren Ng）及びトドール・ゲオルギエフ（Todor Georgiev）によるプレノプティックカメラの設定に比べて、以下のような相違点が顕著である。すなわち、アレイに亘ってマイクロレンズの合焦距離を変化させることにより、共通の合焦距離を有するマイクロレンズアレイと比較した場合、視差の範囲を犠牲にして全体的な有効解像度を大きくできることを本発明者らは示してきた。記述した方法により、特定のタスク又は用途領域に向けてプレノプティックカメラを設計することが可能となる。本発明のレンダリング方法は、任意の仮想焦点面を再構築することを可能とし、高度な並列処理を実行するのに特に適する。
【００１５】
特に本発明のデジタル撮像システムは、従来型のプレノプティックカメラとは対称的に、次のような利点を有する（従来型のプレノプティックカメラでは、像平面からのマイクロレンズの距離がマイクロレンズの合焦距離に等しく、また演算された画像の最大解像度がアレイにおけるマイクロレンズの数と等しくなっている）。
【００１６】
本発明のデジタル撮像システム、すなわち多焦点プレノプティックカメラは、概ね、標準的なプレノプティックカメラよりも低い角度分解能を有しているが、ＭＦＰＣは、標準的なプレノプティックカメラの演算性能を維持しつつ、遙かに高い空間分解能を有する画像を得ることができる。例えば、ＭＦＰＣによって生成されたRAWデータから、異なる焦点の画像が生成でき、シーン奥行きを複数の像点に関して推定できる。例えば、ＭＦＰＣに関する一実施例において、標準的なプレノプティックカメラに比べて７０倍もの高い分解能を得られると共に、マイクロレンズアレイ無しの通常のカメラに比べて約６倍大きい被写界深度を実現する。
【００１７】
標準的なプレノプティックカメラに比べて、本発明の遙かに大きな有効解像度により、ＭＦＰＣは、例えば写真撮影、産業用の自動化検査、３Ｄ写真撮影、３Ｄビデオ、及び顔認識等、多くの分野で応用可能となる。
【００１８】
デジタル撮像システムの好ましい実施形態によれば、マイクロレンズそれぞれの合焦距離は、２つ又は３つの異なる合焦距離から選択される。本発明者らは、２つ又は３つの異なる合焦距離で焦点深度に関する本質的な改良が得られ、それでも角度分解能は、通常のカメラ、スキャナ、又は顕微鏡法の用途に良好に適合しているという知見を得た。あるいは、マイクロレンズそれぞれの合焦距離は、４つ以上の異なる合焦距離から選択することもできる。好適なことにデジタル撮像システムは、特定の走査条件に依存して、例えば、焦点深度範囲に関して一定量拡大するために最適化できる。
【００１９】
デジタル撮像システムに関する他の好ましい実施形態によれば、マイクロレンズそれぞれの合焦距離は、デジタル撮像システムにおける最接近したマイクロレンズそれぞれの合焦距離と異なる。好適なことに、この実施形態は画像上における角度分解能の均質な分布が得られる。
【００２０】
デジタル撮像システムに関する特に好ましい実施形態によれば、マイクロレンズは、連続した焦点深度範囲が得られるような態様で調整できる。まず、マイクロレンズそれぞれが各マイクロレンズの合焦距離とマイクロレンズアレイからの深度距離とに応じて有効解像度比率をもたらすような態様でマイクロレンズが選択され、次に、有効解像度比率が深度距離の隣接範囲において相補性のある最大値を有するような態様でマイクロレンズの合焦距離が選択される。マイクロレンズに関するこのような調整（計画化）は、概略的に後述するプレノプティックカメラの光学的特性に関する説明に基づいたものであり、これは本発明者らが初めて見出したものである。
【００２１】
変化する合焦距離を有するマイクロレンズアレイ内において等しい合焦距離を有するマイクロレンズのグループが規則的なグリッドをもたらすような態様でマイクロレンズが配置されれば、デジタル撮像システムに関して他の改良を得ることもできる。好ましくは、マイクロレンズは、等しい合焦距離を有するマイクロレンズが幾何学的に稠密なレンズ配置という点で利点を有する直交型又は六角形のグリッドをもたらすような態様で配置される。
【００２２】
デジタル撮像システムに関する他の好ましい実施形態によれば、共通の合焦距離を有する全てのマイクロレンズは、同一のレンズ直径を有する。特に好ましいのは、マイクロレンズアレイにおける全てのマイクロレンズが同じ直径を有するような実施形態である。これらの実施形態の場合、画像パラメータ、例えば解像度又はコントラスト、を２Ｄ画像上で均質にした状態で画像を形成することが改善される。
【００２３】
一般にマイクロレンズアレイは、フォトセンサアレイに対するマイクロレンズアレイの上記所定の直角方向の距離をセットして、フォトセンサアレイに固定するよう装着される。あるいは、デジタル撮像システムに関する他の実施形態によれば、フォトセンサアレイ及びマイクロレンズアレイ間の距離は、デジタル撮像システムの制御構体によって調整可能である。例えばカメラ、スキャナ、又は顕微鏡の部品として設けることのできるこの制御構体は、フォトセンサアレイ及びマイクロレンズアレイの可変式又は固定式連結体を備える。
【００２４】
本発明のデジタル撮像システムに関する他の変形例は、少なくとも一の補助的マイクロレンズアレイ、例えば第２のマイクロレンズアレイを備えることを特徴とし、この補助的マイクロレンズアレイは、被写体からの光を第１のマイクロレンズアレイに指向させるよう配置された複数のマイクロレンズを備える。このような実施形態を用いて、プレノプティックカメラの機能を拡大できる。
【００２５】
本発明の他の好ましい実施形態によれば、デジタル撮像システムは、フォトセンサアレイにおける異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズアレイに対するフォトセンサの相対的位置と感知された光の入射角として、合成画像を特徴づける画像データを提供するようコンピュータでプログラム可能なプロセッサを備えている。
【００２６】
本発明に関するさらなる特長及び利点について、添付図面を参照しながら以下に説明する。
【図面の簡単な説明】
【００２７】
【図１】従来の、マイクロレンズアレイがない通常のカメラを示す概略図である。
【図２】従来の、マイクロレンズアレイがない通常のカメラを示す概略図である。
【図３】本発明の多焦点プレノプティックカメラを示す概略図である。
【図４】本発明の多焦点プレノプティックカメラを示す概略図である。
【図５】本発明の根拠となる理論的方法を示す概略図である。
【図６】本発明の根拠となる理論的方法を示す概略図である。
【図７】本発明の根拠となる理論的方法を示す概略図である。
【図８】本発明の根拠となる理論的方法を示す概略図である。
【図９】本発明の根拠となる理論的方法を示す概略図である。
【図１０】本発明の根拠となる理論的方法を示す概略図である。
【図１１】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１２】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１３】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１４】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１５】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１６】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１７】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１８】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１９】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図２０】マイクロレンズの構成を示す概略図である。
【図２１】マイクロレンズの構成を示す概略図である。
【図２２】マイクロレンズの構成を示す概略図である。
【図２３】マイクロレンズの構成を示す概略図である。
【図２４】マイクロレンズの構成を示す概略図である。
【図２５】マイクロレンズの構成を示す概略図である。
【図２６】マイクロレンズの構成を示す概略図である。
【図２７】マイクロレンズの構成を示す概略図である。
【図２８】光軸に沿って２つのマイクロレンズアレイを用いたプレノプティックカメラを例示する概略図である。
【図２９】画像データを処理するための本発明に係る方法を示す概略図である。
【図３０】画像データを処理するための本発明に係る方法を示す概略図である。
【図３１】画像データを処理するための本発明に係る方法を示す概略図である。
【発明を実施するための形態】
【００２８】
デジタル撮像システムと、このデジタル撮像システムが備わったプレノプティックカメラとを参照しながら、本発明の好ましい実施形態について以下に説明する。なお本発明の実施は、図示した実施例に限定されるものではなく、寧ろ、光走査装置又は顕微鏡のような他のプレノプティック光学機器でも利用可能であることを強調しておきたい。光走査装置の場合、通常は直線配列であるフォトセンサアレイは、本発明のデジタル撮像装置、特にフォトセンサアレイとマイクロレンズアレイを組み合わせたもので置換できる。この場合、プレノプティックカメラを参照して以下に言及される主レンズがスキャナ光学系（円筒状のスキャナ用レンズ）によって提供される。顕微鏡の用途は、顕微鏡のフォトセンサアレイを本発明のデジタル撮像装置に置換することを含む。この場合、プレノプティックカメラにおける主レンズによって生成される虚像は、顕微鏡光学系によって生成される。
【００２９】
本発明の特長に関係する限りにおいて、光学機器の構造について以下に説明する。なお、例えばカメラ、走査装置、又は顕微鏡のような光学機器に関する他の光学的又は構造的な特長については、従来技術から周知のことであるので、説明しない。
【００３０】
本発明の好ましい実施形態について、二次元のフォトセンサアレイ（マトリックス配列）を例示的に参照しながら以下に説明する。本発明の実施は、このような形態に限定されるものではなく、寧ろ、一次元のフォトセンサアレイ（直線配列）に対応する態様でも可能であることを強調しておきたい。画像における異なる色強度を収集するための単一ラインのフォトセンサ又は複数ラインのフォトセンサを備える直線センサは、本明細書においてマトリックス配列又は直線配列とみなすことができる。
１．通常のカメラを用いた撮像
【００３１】
ＭＦＰＣの概念について説明する前に、通常のカメラにおける画像生成のプロセスについて説明する。図１は、通常のカメラにおける基本的な構成要素を示している。主レンズ１１０は、右方の被写体１３０から照射又は反射される光を、左方の表面上に合焦させるが、これは虚像１３１とみなせる。被写体１３０が光軸１１１に沿って変化するので、虚像１３１は、光軸に直角方向の平面上には存在しない。得られた画像は、所定の時間に亘って平面１２０上でフォトセンサにより測定された光強度を空間的に組み合わせることによって生成されるが、ここで、フォトセンサ平面１２０は光軸に対して直角方向に指向されている。得られた画像において、虚像１３１がフォトセンサ平面１２０上又は近傍に存在する、被写体１３０の部分のみが合焦した状態にあるように見える。すなわち、虚像１３１がフォトセンサ平面１２０と交差するところは、最適な焦点になっている画像である。被写体１３０の別な部分をフォトセンサ平面１２０上に対して最適に合焦させるためには、矢線１１２で示すように光軸に沿って主レンズ１１０を移動させなければならない。
【００３２】
図２は、上記した通常のカメラの光学的な幾何形態を示す。マイクロレンズを有するカメラの構成について考察する前に、図２におけるこのように簡易化された通常のカメラの構成を見ておくと参考になる。主レンズ１１０は、被写体１３０の右方にある一点から発する多様な光線を左方の一点に合焦させることにより、この一点の画像を生成する。実際には、光線は、正確に一点に合焦されているのではなく、撮像システム全体に依存する強度分布を有しているのである。このような強度分布は、通常、点広がり関数（ＰＳＦ）と呼ばれている。ＰＳＦの空間広がりに関するかなり良好な近似値は、次式の数１から求められる。
【００３３】
【数１】
【００３４】
式中、λは光の波長、Ｆは撮像システムに進入できる光量の測定値である。ＦはＦ値と呼ばれ、数２で定義される。
【００３５】
【数２】
【００３６】
レンズ平面からの距離ａLにおける被写体が投影される、光軸に沿った位置ｂLは、薄肉レンズ方程式である数３で計算できる。
【００３７】
【数３】
【００３８】
図２に示すように、最良の焦点Ｉ1が像平面Ｉ0と一致しない場合、発散する投影光線が像平面において２ピクセル以上離れた途端に、被写体はぼけてしまう。これは、通常のカメラだけが被写体空間における単一平面を像平面上に対して最適に合焦させることを意味している。合焦された画像を生成する、被写体空間の範囲を増やすための一の方法は、開口の大きさを絞ることである。これは、このあとで投影光線が最適な焦点面からさらにゆっくりと発散していくからである。限度は、開口を一点になるまで絞ることであり、この場合、被写体空間全体は合焦するが、カメラ内に進入する光量も無限小となる。通常の写真撮影において、被写界深度及びカメラ速度間の適切な妥協点、すなわち開口の大きさを見つけ出す必要がある。
２．本発明の多焦点プレノプティックカメラを用いた撮像
【００３９】
図３は、本発明のデジタル撮像装置２００を含む多焦点プレノプティックカメラ１００の基本的な構成を示す。複数のマイクロレンズ２２２からなるマイクロレンズアレイ２２１がフォトセンサアレイ平面２２０の前に配置されている。マイクロレンズの直径は、各マイクロレンズが複数のフォトセンサ上に画像を生成できるような態様で、単一のフォトセンサの直径よりも大であるように選定される。フォトセンサアレイは、例えば１２００万個のフォトセンサを備える、例えばＣＣＤのマトリックス配列又は直線配列である。マイクロレンズアレイ２２１は、例えば４万７６０４個のマイクロレンズを備えており、各マイクロレンズは１５３μｍの直径と、例えば３つの合焦距離５２６μｍ、５６７μｍ、６１６μｍから選択された合焦距離とを有する。全てのマイクロレンズは、例えば１５３μｍの同一直径を有する。マイクロレンズアレイ２２１及びフォトセンサアレイ間の距離は、例えば７６５μｍである。マイクロレンズによってフォトセンサ平面上に生成された画像をマイクロ画像と呼ぶことにする。各マイクロイメージは、例えば１７個のフォトセンサで作製される。隣接したマイクロレンズのマイクロイメージは互いに重なり合ってはならない。透明なガラス又はプラスチックで作製されたマイクロレンズアレイは、従来型プレノプティックカメラにおいて知られているように、例えば機械的な枠を使ってフォトセンサアレイに対して固定的に装着されており、このフレームの厚さがマイクロレンズ及びフォトセンサアレイ間の距離を設定している。
【００４０】
主レンズ２１０は、被写体２３０の虚像２３１を生成する。ここでマイクロレンズアレイ２２１内のマイクロレンズは、虚像のさまざまな視野を記録する小さなカメラとして作用する。ここで多様なマイクロイメージを用いて、仮想の像平面２３２と交差する虚像の部分に関して得られた画像が合焦するような態様で、コンピュータで仮想の像平面をシミュレートすることができる。被写体２３０の様々な部分を合焦させるため、２１１で示すように、仮想の像平面のみを光軸に沿って移動させる必要がある。これはコンピュータで行われるので、画像は、RAW画像が記録された後で再フォーカスできる。さらに、仮想の像平面２３２の形状に関する限定はなく、すなわち、仮想の像平面の代わりに任意に形成された虚像表面もシミュレートできる。これは、例えば、得られた画像内で被写体の全部分を合焦させるのに利用できる。
【００４１】
マイクロレンズが有限の被写界深度を有しているので、虚像空間の有限範囲だけをフォトセンサ平面上に合焦できる。撮像システム全体の被写界深度を拡張するために、異なる合焦距離を有するマイクロレンズが使用される。特定の合焦距離を有するマイクロレンズの各グループは、仮想のイメージ空間に関する異なる範囲の深度をフォトセンサ平面上に合焦させる。一実施例では、均質なマイクロレンズを有するマイクロレンズアレイを使うのに比べて、異なる合焦距離を有する３つの異なるタイプのマイクロレンズを有するマイクロレンズアレイを使うことにより、６倍も大きな被写界深度を達成できる。
【００４２】
図３における虚像はマイクロレンズアレイ及び主レンズ間に描かれているが、この虚像は、マイクロレンズアレイ上又は左方に置くこともできる。虚像空間のどの部分がマイクロレンズにより合焦されるかは、これらの合焦距離と、光軸沿いにおけるマイクロレンズアレイの位置による。これは、目の前にある用途に依存する設計上の選択事項である。
【００４３】
図４は、本発明のプレノプティックカメラに関する光学的な幾何形態を概略的に示す。主レンズ３１１は、被写体３４０の虚像３４１を生成する。虚像は、主レンズ３１１の左方のどこかに存在する。画像は、フォトセンサ平面上に形成されていないという意味で仮想のものである。次に虚像は、マイクロレンズアレイ３２２内のマイクロレンズによってフォトセンサ平面３３０（像平面）上に投影される。なお、フォトセンサ平面３３０からのマイクロレンズアレイ３２２の距離はマイクロレンズの合焦距離とは不等である。さらに、レンズの中心を通過する中央の投影光線だけが描画されることにも留意されたい。実際には、複数の光線がレンズに影響されているのである。なお、一般に、図４内に示した３つのマイクロレンズよりも多くのマイクロレンズが存在しており、これらは異なる合焦距離を有している。このような説明は、明確化のためだけに選定したものである。下方に、この構成により各特定の被写体距離における有効解像度が下がるが、有効解像度はより大きな範囲に亘って拡大し、これにより、通常のカメラで可能である以上に大きい開口にて拡大された被写界深度がもたらされることを下に示した。
【００４４】
被写体３４０から発する光は虚像３４１において合焦される。マイクロレンズは、この虚像をフォトセンサ平面３３０上に対して最適に合焦させないことがある。その代わりに、マイクロレンズにおける最適焦点の像平面３４２は、フォトセンサ平面からいくらかの距離において存在し得る。これは、マイクロレンズの合焦距離ｆ及びマイクロレンズアレイからの虚像の距離ａに依存する。マイクロレンズアレイ内において異なる合焦距離を有するマイクロレンズを用いることにより、異なる距離における虚像は、同時にフォトセンサ平面上において合焦できる。
【００４５】
プレノプティックカメラで記録されたデータを使って画像を合成するための本発明によるデジタル撮像システムは、したがって、複数のフォトセンサを有するフォトセンサのライン又はマトリックスと、主レンズ３１１、この主レンズ３１１の少なくとも焦線内に配置されたマイクロレンズの構造３２２を含んでおり、被写体３４０からの光を主レンズ３１１とマイクロレンズのライン構造３２２とを介してフォトセンサのライン又はマトリックスに対して指向させ、これにより各マイクロレンズに関してマイクロイメージ３４３を生成するための光学系構体と、フォトセンサのラインとマイクロレンズの構造との間の相対的距離を設定するための制御構体（図４に図示せず）であって、主レンズ３１１の焦線の特定部分を通過する一組の光線に関し、複数のフォトセンサが像平面３３０内に配置され、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知し、この感知された光線を特徴づける光のデータを出力する制御構体と、異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズの構造３２２に対するフォトセンサの相対的位置と、感知された光による主レンズ３１１の焦線上に対する入射角として、合成画像を特徴づける画像データを提供するためにプログラム可能なコンピュータ構造におけるプロセッサであって、少なくとも一次元構造上のマイクロレンズそれぞれの合焦距離が互いに異なることを特徴とするプロセッサとを備える。
Ｆ値
【００４６】
ＭＦＰＣの設計における重要な制約は、マイクロイメージがフォトセンサ平面上で重なり合ってはならないということである。２つ以上のマイクロレンズにおける画像が重なり合っているようなフォトセンサは、得られた画像をコンピュータで構築するためには使えない。重なり合わずにマイクロイメージが最大限の大きさを有することを確実なものとするために、マイクロレンズ及び主レンズのＦ値を等しくすると良好な近似値となる。
【００４７】
稠密構造のマイクロレンズのアレイにおいて、これは、マイクロレンズにおける画像の大きさがマイクロレンズの直径Ｄよりも小さいか等しくなければならないことを意味している。これは、数４を意味している。
【００４８】
【数４】
【００４９】
式中、ＦはマイクロレンズのＦ値、ＦLは主レンズのＦ値である。通常、Ｂ＜＜ＤLであるから、Ｆ≒ＦLということになる。すなわち、主の撮像システムとマイクロレンズの撮像システムのＦ値は一致するはずである。Ｂ、ＢL、及びＤLが与えられるとすれば、マイクロレンズの最大直径は、数５で求められる。
【００５０】
【数５】
【００５１】
同様に、数６が成立する。
【００５２】
【数６】
【００５３】
図５に関して、主レンズのＦ値はＦL＝ＢL／ＤLより求められ、マイクロレンズのＦ値はＦ＝Ｂ／Ｄより求められる。通常、ＢL＞＞Ｂ及びＤL＞＞Ｄであるから、Ｆ＝ＦLであればマイクロイメージ４２２は最大となり、重なり合うことはない。
多重度、全体カバー平面
【００５４】
他の重要な概念は、図５及び図６に示す全体カバー平面４３０に関する概念である。図５においてマイクロレンズの中心を通るように引かれた中央の投影光線は、対応するマイクロイメージの境界光線である。例えば、マイクロレンズ４２１は、極値的な投影光線４２３及び４２４間に存在するマイクロイメージ上に虚像の点を投影するだけである。したがって、全体カバー平面４３０は、平面上の各点が少なくとも一のマイクロレンズによって投影されているマイクロレンズ平面４２０における左限の平面から右方の平面までである。同様に、マイクロレンズ平面４２０における右限の平面から左方の平面も全体カバー平面である。図５において、左方の全体カバー平面はフォトセンサ平面と同一のものである。同様に、二重カバー平面４３１は、平面上の各点が少なくとも２つのマイクロレンズによって投影されているマイクロレンズ平面における左限の平面から右方の平面である。
【００５５】
図６を参照しながら、全体カバー平面に関する概念についてさらに説明する。テスト点が見えるレンズの数は、図６に示すように光軸に沿ったマイクロレンズ平面からのテスト点の距離に依存する。平面Ｍ1は右方の全体カバー限界であり、これは、平面Ｍ1上又は右方の全点が少なくとも一のマイクロイメージ内に画像を有することを意味している。像平面でもある平面Ｍ-1は左方の全体カバー限界であり、すなわち、平面Ｍ-1上又は左方の全点は、少なくとも一のマイクロイメージ内に画像を有する。平面Ｍ2（Ｍ-2）は二重カバー限界であり、これは、平面Ｍ2（Ｍ-2）上又は右方（左方）の全点が少なくとも２つのマイクロイメージ内に画像を有することを意味している。
【００５６】
中央のレンズが除去されると、今度は全体カバー限界がＭ2及びＭ-2となることが図６から明確になる。中央のレンズを除去しても全体カバー限界平面の外側の点に関して画像をレンダリングする能力に全く影響しないことに留意することが重要である。減じられるのは、後方で示すように、可能な視差の量である。
【００５７】
１Ｄのマイクロレンズアレイに関して、マイクロレンズ平面からの距離ａにある点の多重度Ｍは、Ｍ：＝｜ａ｜／Ｂとして定義できる。２Ｄのマイクロレンズアレイに関して、Ｍの式に新たな因数が導入される。これは、円を有する平面の埋めつくし（tessellation：タイル張り）に現れるギャップを示す。２Ｄにおいて存在する２つだけの規則的な埋めつくしは、図７に示す直交型のパターンと、図８に示す六角形のパターンである。両方の図面において、Ｒは、最接近して取り囲んでいるマイクロレンズの中心から平面上の一点が有し得る最大距離を示している。直交型の場合は、数７として表せる。
【００５８】
【数７】
【００５９】
また六角形の場合には、数８として表せる。
【００６０】
【数８】
【００６１】
１Ｄの場合に関して、最近接したマイクロレンズの中心からの最大離間点は、マイクロレンズの中心からＤ／２の距離を有する。この値に対する比率Ｒは間隔係数と呼ばれており、κで表される。すなわち、数９で表現できる。
【００６２】
【数９】
【００６３】
したがって、数１０が成立する。
【００６４】
【数１０】
【００６５】
したがって、マイクロレンズ平面からの距離ａにおける多重度は、数１１から求められる。
【００６６】
【数１１】
【００６７】
｜ａ｜＝κＢＭであるから、κは小さい方が好ましい。よって、六角形のマイクロレンズアレイが直交型のマイクロレンズアレイよりも好ましい。
【００６８】
マイクロレンズが１Ｄのアレイにおいて稠密構造になっていないが、それらの中心間で距離ｃを有する場合、マイクロレンズ平面からの全体カバー限界平面Ｍ1の距離υ1は、次式数１２の関係を有している。
【００６９】
【数１２】
【００７０】
ここで、γ：＝Ｃ／Ｄは、マイクロレンズの間隔と大きさ間の比率である。２Ｄのマイクロレンズに関しては、多重度Ｍのカバー平面の距離は、数１３から求められる。
【００７１】
【数１３】
【００７２】
したがって、マイクロレンズ平面からの距離ａにおける多重度は、数１４から求められる。
【００７３】
【数１４】
【００７４】
図６における中央のレンズが除去される場合、隣接し合うレンズ間の距離は２倍となり、すなわち、γ＝２である。よって、この場合の多重度は、同じ距離ａにおいて稠密構造のレンズに関する多重度の半分だけとなる。
視差
【００７５】
多重度Ｍを有する平面において、ギャップのない全平面上の画像をレンダリングするのに各マイクロイメージの１／Ｍのみが必要とされる。例えば、Ｍ＝２において、完全な画像をレンダリングするのに各マイクロイメージの半分だけが必要とされ、これは、２つの全く別個の完全なイメージがレンダリングされ得ることを含意している。その効果は、明白な視点における変化である。このような効果により、シーンに関する３Ｄの情報は、通常のステレオカメラシステムに関するのと同様に回復できる。
【００７６】
像平面上で両端の視野間における視差の量は、数１５から求められる。
【００７７】
【数１５】
【００７８】
ここで、Ｎ＝Ｄ／ｐは大きさＤのマイクロイメージにおける大きさの画素数ｐである。したがって、視誤差角（parallax angle）Δαは、数１６から求められる。
【００７９】
【数１６】
【００８０】
ここで、Ｂは再び像平面までのマイクロレンズアレイの距離を示す。さらに、相対視差（relative parallax）Δrは、数１７として定義される。
【００８１】
【数１７】
【００８２】
図６について、中央のレンズが除外される場合、ある位置ａは減少し、これが視差を減少させる。
【００８３】
Δは、数１４を数１５に置換することによりａの関数として表すことができ、この結果数１８となる。
【００８４】
【数１８】
【００８５】
同様に、相対視差は、数１９となる。
【００８６】
【数１９】
【００８７】
なお、Δ、Δr及びΔaに関する式は、｜ａ｜≧ν1に対してのみ有効である。視差が最大である、マイクロレンズ平面からの距離ｌmaxは、数２０から求められる。
【００８８】
【数２０】
【００８９】
有効解像度
【００９０】
多焦点プレノプティックカメラの有効解像度は、純粋に幾何学的な観点からＭＦＰＣにより生成されたRAW画像データからコンピュータで生成できる画像の最大解像度と関係する。得られた画像の解像度は、適切な画像向上用アルゴリズムによりさらに高められ得る。
【００９１】
図４に関して、ＭＦＰＣの有効解像度は、マイクロレンズ平面３２２からの虚像３４１の距離、マイクロレンズにおける被写界深度、及びフォトセンサ平面３３０の解像度に依存する。一般に、ＭＦＰＣの有効解像度は、虚像空間に亘って変化する。
【００９２】
マイクロレンズにおける被写界深度は以下のように規定される。まず、図９における単一のマイクロレンズ５１０による虚像点Ｘoの投影を考える。特に図９は、像平面Ｉ上における、点Ｘoのぼけを示し、このとき、Ｘoの最適に合焦された画像Ｙoは像平面Ｉ上には存在しない。このような観察は、特定の被写体の離間ａにおけるカメラの有効解像度の概念に言い換えることができる。
【００９３】
点Ｘoから発して光線５２１及び５２２内に存在する光線のみが、全ての光線が点Ｙoにおいて集光するよう、マイクロレンズ５１０によって屈折される。すなわち、ＹoはＸoの画像である。マイクロレンズ平面５１１からの点Ｙoの距離ｂは、マイクロレンズ平面５１１までの点Ｘoの距離ａとマイクロレンズの合焦距離ｆを基にして、理想的なレンズ方程式である数２１から求められる。
【００９４】
【数２１】
【００９５】
マイクロレンズ平面５１１とフォトセンサ平面５３０間の距離Ｂがｂと異なる場合、点Ｘoから発する光線は、フォトセンサ平面上の一点において集光しない。その代わり、光線は図９に示す直径ｓのスポットまで広がる。フォトセンサ平面が辺長ｐの複数の正方形フォトセンサで構成されていると仮定すれば、マイクロレンズの解像度比率は、数２２として定義される。
【００９６】
【数２２】
【００９７】
例えば、ｓがピクセルの辺長ｐの２倍の大きさである場合、εL＝１／２となる。ｓ、Ｂ、ｂ、Ｄ間の関係は、ｂ／Ｄ＝（Ｂ−ｂ）／ｓから求められる。数２１を活用すれば、数２３となる。
【００９８】
【数２３】
【００９９】
図９に示すように、２つの隣接する虚像点Ｘo及びＸ1の光点は、光点の中心間の距離がｓである場合に、フォトセンサ平面５３０上で区別され得るだけである。したがって、Ｘoに最も近接していて、なおもＸoから区別され得る虚像点は虚像点Ｘ1である。したがって、Ｘo及びＸ1間の距離ｓaは、マイクロレンズ５１０によってフォトセンサ平面５３０上に投影されるときに、なおも区別できるマイクロレンズ平面からの距離ａでの虚像空間内における存在物の最小限の大きさである。
【０１００】
プレノプティックカメラ及び多焦点プレノプティックカメラの有効解像度比率（effective resolution ratio：ＥＲＲ）は、マイクロレンズ平面からの距離ａにおいて解像できる虚像構造の最小の大きさと、フォトセンサ平面上の正方形フォトセンサ要素の辺長ｐとの比率として定義される。したがって、ε（ａ）で表されるＥＲＲは、数２４から求められる。
【０１０１】
【数２４】
【０１０２】
フォトセンサ平面上の一次元方向におけるフォトセンサ要素の全数をＮtで表せば、その次元方向に沿って得られた画像における画素の最大数は、数２５から求められる。
【０１０３】
【数２５】
【０１０４】
したがって、マイクロレンズ平面からの距離ａにおける光軸に直角な仮想の像平面において得られた画像は、最大でＮe（ａ）2画素で構成される。すなわち、Ｎe（ａ）2は、プレノプティックカメラの有効解像度である。
【０１０５】
相似三角形の方法を使用すれば、ｓ及びａ間の関係は、図９から数２６となる。
【０１０６】
【数２６】
【０１０７】
したがって、単一のレンズεLに関するＥＲＲは、被写体の距離ａの関数として、数２７として表せる。
【０１０８】
【数２７】
【０１０９】
これは、数２８としても表せる。
【０１１０】
【数２８】
【０１１１】
ここで、Ｎ＝Ｄ／ｐは、１マイクロレンズ当たりの画素数である。
【０１１２】
なお、数２７は、回折によるぼけの効果を勘案しておらず、これは、数１で求められる光の波長及び開口に依存する。
【０１１３】
またこのようにプレノプティックカメラにおいて有効解像度を導出することは、図４に関して、主レンズの虚像がマイクロレンズ平面の左方に存在する場合に有効である。図１０は、単一のマイクロレンズ６１０に関するこのような場合を示す。光の方向は(符号)６２０で示されている。主レンズ（この図では示さず）がＸoにおいて虚像を生成する場合、マイクロレンズは、Ｙoにおいて最適に合焦されたＸoの画像を生成する。数２１〜数２５は、ａを−ａで置換した場合を説明したものである。
【０１１４】
例えば特許文献３に係る従来型プレノプティックカメラに関する決定的な一特長は、フォトセンサ平面からのマイクロレンズ平面の距離Ｂがマイクロレンズの合焦距離ｆと等しいことにある旨を既に述べた。ｆ＝Ｂの場合、数２２から得られる解像度比率は、数２９となる。
【０１１５】
【数２９】
【０１１６】
次に有効解像度比率は、数３０から求められる。
【０１１７】
【数３０】
【０１１８】
すなわち、｜ａ｜≦Ｂ（Ｄ／ｐ）の場合、ε＝ｐ／Ｄということになる。ここで、Ｎ：＝Ｄ／ｐは、一次元方向における１マイクロイメージ当たりのフォトセンサ数であり、ＮL：＝Ｎt／Ｎはこの次元方向に沿ったマイクロレンズの数である。したがって、一次元方向に沿って得られた画像における最大画素数は、数３１となる。
【０１１９】
【数３１】
【０１２０】
ゆえに、従来型プレノプティックカメラに関して得られた画像における最大画素数は、マイクロレンズアレイにおけるマイクロレンズの数と等しい。
【０１２１】
図１１は、ＥＲＲに関して例示的な構想を示しており、Ｂ、Ｄ、及びｆは固定されている。画素の大きさはＤ／２０であると想定されている。点Ｘoは最適な焦点位置を示し、ＤｏＦは被写界深度を表している。ぼけは画素の大きさよりも小さいか又は等しい。
【０１２２】
また上述の方法は、図１２及び図１３に示すように、従来型プレノプティックカメラにも有効である。本発明の方法は、特に、マイクロレンズアレイ上の変化する合焦距離を用いてプレノプティックカメラの全有効解像度が改善できる、という知見へ繋がる。従来型プレノプティックカメラの設計（例えば特許文献１）において、マイクロレンズの合焦距離は、像平面までのマイクロレンズ平面の距離に等しく、すなわちＢ＝ｆに設定する。Ｂ＝ｆである場合、数２８は、数３２となる。
【０１２３】
【数３２】
【０１２４】
したがって、プレノプティックカメラに関する有効解像度比率は、数３３となる。
【０１２５】
【数３３】
【０１２６】
すなわち、｜ａ｜≦ＮＢであるマイクロレンズ平面からの全距離ａに関して、ＥＲＲは一定であり、値１／Ｎを取る。数２５から、有効解像度ＮBは、この場合には数３４となる。
【０１２７】
【数３４】
【０１２８】
ここで、ＮLは、マイクロレンズアレイの一次元方向に沿ったマイクロレンズの数である。これは、文献で報告されてきた内容そのものである。すなわち、標準的なプレノプティックカメラの解像度は、マイクロレンズアレイにおけるレンズの数そのものである。図１２は、このような構成における有効解像度比率及び視差を示す。Ａ・ラムズデイン及びＴ・ゲオルギエフの合焦されたプレノプティックカメラ（例えば特許文献２を参照）では、図１３に示すＥＲＲが得られる。
【０１２９】
図１４は、Ｆ値をＦ＝５、フォトセンサの辺長をｐ＝０．００９ｍｍ、マイクロレンズの直径をＤ＝０．１５３ｍｍとして、これで１マイクロイメージ当たりＮ＝１７のフォトセンサと、フォトセンサ平面７１０及びマイクロレンズアレイ平面７１１間の離間Ｂ＝０．７６５ｍｍが得られる、一特定の実施例を実行するための、ＭＦＰＣ及び従来型プレノプティックカメラのＥＲＲの比較を示す。この構成における従来型プレノプティックカメラの場合、全てのマイクロレンズの合焦距離はＢに等しく設定される。ａに対して対応する有効解像度比率の分布はグラフ７３０に示されている。
【０１３０】
これに反して、本発明の多焦点プレノプティックカメラの場合、３つの有効解像度比率のグラフをマイクロレンズタイプの合焦距離ごとに一ずつ得た。この実施例において用いた３つの合焦距離は、ｆ１＝０．５２６ｍｍ、ｆ２＝０．５６７ｍｍ、ｆ３＝０．６１６ｍｍであり、対応するグラフは、それぞれ７３１、７３２、７３３である。これは、ＭＦＰＣが大きな深度範囲に亘って従来型プレノプティックカメラよりも遙かに高い解像度を呈することを示している。
【０１３１】
図１４における有効解像度比率のグラフは、全体カバー限界平面の外側で引いてあるだけであって、これは左方の全体カバー平面７２２と右方の全体カバー平面７２０との間では、得られた完全な画像を構築できないからである。図１４において引かれた全体カバー平面は、対応する多焦点プレノプティックカメラの全体カバー平面である。
【０１３２】
一般に、異なるタイプのマイクロレンズにおける合焦距離は、所定の用途に対して最適な解像度分布を呈するように調整できる。
【０１３３】
他の実施例として、異なる３タイプのマイクロレンズを有する２倍深度の多焦点プレノプティックカメラにおける有効解像度比率の分布を、図１５に示す。Ｉは像平面を表し、Ｌはマイクロレンズ平面を表す。ε1、ε2、ε3は、３タイプのマイクロレンズそれぞれの有効解像度比率であり、Δrは相対的な視差である。図１５は、像平面の前方及び後方に、拡大された高い有効解像度の領域を有する多焦点プレノプティックカメラの有効解像度比率及び視差を示す。これは、ν1における平面上の要素と−ν1における平面上の要素を高い有効解像度で再構築できるという効果を有する。これは、例えば、同時に合焦させる必要がある異なる深度における２つの平行な平面を被写体が有する場合に利用できる。
【０１３４】
なお原理的には、異なるマイクロレンズに関して、増加した数の異なる合焦距離も利用できる。またマイクロレンズアレイ上で合焦距離が略連続的に分布しておれば、プレノプティックカメラの全般的な性能を改善できる。
全体カバー限界
【０１３５】
左右の全体カバー平面は、得られた完全な画像上のどこからコンピュータで生成できるかの限度を与える。図１４に示す実施例に関して、得られた画像が、虚像空間内の全位置に関してコンピュータで生成でき、マイクロレンズアレイ平面からの虚像空間の距離ａは、｜ａ｜≧ｃ1を満足させる。数７で得られる最大の有効解像度比率ε（ａ）が１／｜ａ｜と共に変化するので、マイクロレンズアレイ平面及び全体カバー平面間の距離が大きくなるほど、最大限に達成可能（獲得可能）な有効解像度が低くなる。このためえＭＦＰＣの設計において、マイクロレンズアレイ平面及び全体カバー平面間の距離ｃ1を最低限に抑えることが必須となる。
【０１３６】
図５に示すように、等しい合焦距離のマイクロレンズと、稠密構造の（接触していても重なり合ってはいない）マイクロイメージとを有する一次元のマイクロレンズアレイ（直線配列）の場合、ｃ1の値は、マイクロレンズアレイ平面４２０及びフォトセンサ平面４４０間の距離Ｂと等しい。ゆえに２倍のカバー平面の距離ｃ２は、ｃ2＝２ｃ1となる。
【０１３７】
得られた画像の最大限に達成可能な有効解像度は、全体カバー限界を基にして求めることができる。全体カバー平面において｜ｓ｜≦ｐとなるような態様で、すなわち｜ａ｜＝ｃ1の場合、あるマイクロレンズタイプの合焦距離ｆが選択されれば、有効解像度は最大である。そうであれば、数２２から、εL＝１となり、よってε（ｃ1）＝Ｂ／ｃ1となる。ｃ1＝γＢ（ただしγは全体カバー係数）と書き表せば、ε（ｃ1）＝１／γということになる。よって、全数Ｎt2のフォトセンサを有する正方形のフォトセンサアレイの場合、最大限に達成可能な有効解像度は、数３５となる。
【０１３８】
【数３５】
【０１３９】
これは、全体カバー係数γが小さくなるほど、最大限に達成可能な有効解像度が大きくなることを示している。
【０１４０】
円形のマイクロレンズを有する二次元のマイクロレンズアレイの場合、ｃ１の値を計算するとき、マイクロレンズ同士のギャップを勘案しなくてはならない。図１６は、ｃ１の値を最小限にする３つの異なる合焦距離を有するＭＦＰＣのマイクロレンズアレイにおける円形のマイクロレンズの形態を示す。タイプ１（８２１）、タイプ２（８２２）、タイプ３（８２３）のマイクロレンズは、同じタイプである２つのマイクロレンズが直接隣接しないような態様で、六角形のグリッドで配列されている。
【０１４１】
図１４に示すように、各タイプのマイクロレンズは、虚像空間において特定の深度をカバーする。したがって、同じタイプのマイクロレンズの各サブアレイは、他のマイクロレンズのタイプとは独立に、得られた画像の生成を可能にする。図１７は、図１６に示す全マイクロレンズアレイにおけるタイプ１のマイクロレンズのサブアレイを示す。各マイクロレンズ９２１は、対応するマイクロイメージ９２２を有する。このようなマイクロイメージの組は、もはや稠密構造ではない。
【０１４２】
図１８におけるマイクロレンズ１０２１のマイクロイメージ１０２２に寄与する虚像空間のサブスペースは、マイクロ投影コーン１０２３内に存在する。全体カバー平面は、マイクロ投影コーンがギャップなしの全体カバー平面全体をカバーするような態様で、光学的軸１０３０に対して直角であって、またマイクロレンズアレイ平面１０２０に対して最も接近した平面である。図１８に示すマイクロ投影コーン１０２３は、全体カバー平面ちょうどまで延在する。ここでもＢがフォトセンサ平面１０１０及びマイクロレンズアレイ１０２０間の距離を示すとすれば、マイクロレンズアレイ及び全体カバー平面間の距離ｃ1は、このマイクロレンズ形態に関してｃ1＝２Ｂであり、すなわちγ＝２である。これは、３つの異なるタイプのマイクロレンズに関する最小値ｃ1である。
【０１４３】
図１９は、異なる合焦距離を有する円筒状マイクロレンズのラインで構成される他のマイクロレンズ形態を示す。同じタイプのマイクロレンズのラインに沿って、全体カバー係数はγ＝１であり、マイクロレンズのラインに対して直角方向の場合に全体カバー係数はγ＝３である。
【０１４４】
一般的に、ＭＦＰＣのマイクロレンズアレイにおける多様なマイクロレンズのマイクロイメージが重なり合わない限り、マイクロレンズは任意の形状とできる。例えば、平凸、両凸、平凹、両凹、凹凸、又はこれらを組み合わせたものであってもよい。さらに、マイクロレンズ平面におけるマイクロレンズの形状は、円形、楕円形、正方形、又はいくつかの任意の不規則な形状であってもよい。マイクロレンズの表面形状は、球面又は非球面であってもよい。各マイクロレンズの代わりに、撮像システムの光学的特性を改善するためにマイクロレンズシステムが配置されてもよい。例えば、マイクロイメージを稠密構造にしておきながら、主レンズの可変なＦ値にできるようにするために、このようなマイクロレンズシステムにおける別個の要素間の距離も可変にしておいてもよい。
マイクロレンズアレイの形態
【０１４５】
アレイから１個おきにマイクロレンズを取り除くと全体カバー平面を突出させるだけであって、マイクロレンズ平面からの特定距離における視差を減ずることは以前から注目されていた。しかしながら、特定の位置において有効解像度を減ずることはない。これは、本明細書において紹介された基本的に新たな概念であり、これにより、拡張された被写界深度のような、改良された特性を有するプレノプティックカメラの設計が可能になる。
【０１４６】
図２０及び図２１は、直交型及び六角形のマイクロレンズアレイそれぞれにおけるタイプ１及びタイプ２のマイクロレンズの分布を示す。タイプ１及びタイプ２のマイクロレンズは、合焦距離が異なるのみであって、その他全てのパラメータは一定である。２つの異なるタイプのレンズを有する多焦点プレノプティックカメラに関する間隔係数と間隔比率の積は、直交型の場合でも六角型の場合でも同じである。図２２及び図２３で判るように、両方の場合においてκγ＝２である。
【０１４７】
３つの異なるタイプのマイクロレンズを使う場合、六角形及び直交型のアレイにおいてレンズのタイプを混合させることは、図２４（図２６の１１１０も参照）及び図２５（図２７の１２１０も参照）それぞれに示されている。３つの異なるタイプのレンズを有する多焦点プレノプティックカメラに関する間隔係数κと間隔比率γの積は、直交型及び六角形の場合で異なる。直交型の場合は、次式となる。
【０１４８】
【数３６】
【０１４９】
また六角形の場合は、次式となる。
【０１５０】
【数３７】
【０１５１】
これは、図２４及び図２５それぞれに示されている。したがって、六角形のマイクロレンズアレイにおいて、全体カバー平面は、２つ又は３つの異なるタイプのマイクロレンズが使われているかどうかとは無関係に、全体カバー平面は、マイクロレンズ平面からの距離が同じである。このように、３つの異なるタイプのマイクロレンズを用いることは好適である。
【０１５２】
一般的に、任意数の異なるタイプのマイクロレンズを用いてＭＦＰＣを設計できる。図２６は、対応する数のマイクロレンズタイプに対して最小値ｃ1を有するマイクロレンズの形態に関して、いくつかの実施例を示している。これらの形態における特定のマイクロレンズの各サブアレイは規則的であり、同じ値γを有する。
形態１１１０：γ＝２である３タイプのマイクロレンズ
形態１１２０：γ＝１＋１／ｃｏｓ（π／６）≒２．１５である４タイプのマイクロレンズ
形態１１３０：γ＝１＋３／［２ｃｏｓ（π／６）］≒２．７３である９タイプのマイクロレンズ
形態１１４０：γ＝３である１２タイプのマイクロレンズ
【０１５３】
好ましくは、異なるタイプのマイクロレンズに関する規則的なグリッド形態は、同じタイプのマイクロレンズの各サブアレイが規則的な六角形のグリッドを形成しているグリッド形態である。マイクロレンズアレイにおける異なるタイプの多数のマイクロレンズは、各タイプのマイクロレンズが虚像空間において小さな深度範囲をカバーでき、例えば比較的小さなフォトセンサの場合に有用となる。
【０１５４】
用途次第では、同じタイプのマイクロレンズの不規則な分布を有することも望ましいと言える。図２７は、異なるタイプのマイクロレンズの不規則な形態に関していくつかの実施例を示している。
形態１２１０：直交型のグリッドである３タイプのマイクロレンズ
形態１２２０：六角形のグリッドである２タイプのマイクロレンズ
形態１２３０：六角形のグリッドである３タイプのマイクロレンズ
形態１２４０：六角形のグリッドである２タイプのマイクロレンズ
【０１５５】
形態１２３０の場合、タイプ１のマイクロレンズは中心部に集中しており、タイプ２のマイクロレンズは中心部周りでリングを形成している。タイプ３のマイクロレンズは、さらにタイプ２のマイクロレンズ周りでリングを形成している。このようにして同じタイプのマイクロレンズの各グループが、虚像空間の特定部分に関する高い空間的解像度で以て、得られた画像の生成を可能にする。
【０１５６】
形態１２４０の場合、タイプ１のマイクロレンズの密度は、タイプ２のマイクロレンズの密度よりも低い。この場合に限って、タイプ１のマイクロレンズに関する全体カバー係数はγ＝１＋ｔａｎ（π／３）≒２．７３であって、タイプ２のマイクロレンズに関してはγ＝２である。
複数のマイクロレンズアレイを有するプレノプティックカメラ
【０１５７】
多焦点プレノプティックカメラ以外にも、一だけのマイクロレンズアレイではなく、多数のマイクロレンズアレイを光軸に沿って用いることによって、プレノプティックカメラの機能性をさらに拡張できる。２つのマイクロレンズアレイを有するそのような構造の実施例が図２８に概略的に示されている。この実施例において、２つのマイクロレンズアレイは両凸のマイクロレンズで構成されているが、マイクロレンズアレイ１におけるマイクロレンズは、マイクロレンズアレイ２におけるマイクロレンズよりも小さな直径を有しており、不透明な開口で包囲されている。一般に、レンズタイプを適切なマイクロ開口アレイと任意に組み合わせたものが可能であり、プレノプティックカメラの機能性を拡張できる。
【０１５８】
図２８に示す構造によれば、マイクロレンズアレイ２及び像平面間の離間Ｂと、２つのマイクロレンズアレイ間の離間ｄは適切な機械的構造により可変に保たれる。適切な方法でＢ及びｄを変化させることにより、主レンズシステムのＦ値を変化させるために、一定した直径Ｄ2のマイクロイメージが生成できることを確実にできる。このようにして、複数のマイクロレンズアレイを有するプレノプティックカメラは、変化するＦ値を有するズームレンズか、通常は異なるＦ値を有する異なる固定された合焦距離のレンズで使用した場合にも、一定した有効解像度を達成できる。
【０１５９】
当業者にとって、図２８に示す基本的な実施例を、異なるタイプのマイクロレンズを有するより多くのマイクロレンズアレイを組み合わせることに拡大して、同様の効果を得るのは単純なことである。別の実施例として、複数のマイクロレンズアレイを有するプレノプティックカメラにおけるマイクロレンズのそれぞれを異なる合焦距離のマイクロレンズで構成する例が挙げられる。
３．画像レンダリング
【０１６０】
光軸に沿ったマイクロレンズ平面からの距離ｚに像平面が位置決めされていたならば、光軸に対して直角である像平面上の位置（ｘ，ｙ）において現れたであろう強度値（色値）をレンダリングするために、以下の手順が適用される。
１．（ｘ，ｙ）における点を実際に見ているマイクロレンズの組を見つけ出す。これらのマイクロレンズは、それらの中心部が（ｘ，ｙ）の正射投影を中心にした半径ｒの円内でマイクロレンズの平面上に位置するようなマイクロレンズ全てである。半径ｒはｒ＝（ｚＤ）／（２Ｂ）から求められる。
２．これらのマイクロレンズそれぞれに関して、点（ｘ，ｙ）が各マイクロレンズによって投影される像平面上の画素位置を算出する。
３．最終的な強度値は、前工程において算出された画素位置における像平面上の強度値を加重平均したものである。重み付けは、点（ｘ，ｙ，ｚ）の投影のための画素位置それぞれにおける強度減衰量を示す較正データから取り出せる。
【０１６１】
この方法は、単に平面ではなく、任意の表面上で画像を再構築することを可能にする。これは、湾曲した表面をどこでも合焦させなくてはならない用途には必須である。得られた望ましい解像度は、レンダリング点の増分量を変化させることで簡単に設定でき、これはスーパーサンプリングも含む。
【０１６２】
多焦点プレノプティックカメラ用の本発明による画像レンダリング方法は、上述した方法に基づいている。点の強度値を評価するのに使用するマイクロレンズの選択において、マイクロレンズ平面からの点の距離を考慮する。各距離に関して、色値を最適に評価するのに使用できる一組のマイクロレンズが存在する。一組の光線から画像を合成するためのマイクロレンズ構成及びフォトセンサアレイに関する一次元又は二次元アレイで用いるための、本発明による画像レンダリング方法は、以下の工程、
主レンズ及びフォトセンサアレイにおいて一組の光線を収集して、この一組の光線を特徴づける光のデータを出力する工程と、
主レンズ及びフォトセンサアレイ間に位置決めされたマイクロレンズアレイによって、前記一組の光線を主レンズからフォトセンサアレイに指向させる工程と、
マイクロレンズアレイに対する相対的な位置決め機構においてフォトセンサアレイを設定して、フォトセンサアレイにより収集された光の方向的な特徴を選択的に検出しやすくする工程と、
主レンズ、マイクロレンズアレイ、及びフォトセンサアレイの構成及び相対的位置の関数として光のデータを使って、合成され再フォーカスされた画像を、画像データプロセッサを用いて演算する工程と、
を含み、
合成され再フォーカスされた画像は、フォトセンサアレイによって収集されたままの光線の一組に関する仮想のリダイレクトを表しており、（ｘ，ｙ）における点を実際に見ているマイクロレンズの組は、どのマイクロレンズが（ｘ，ｙ）の正射投影を中心にした半径ｒの円内でマイクロレンズの平面上に位置する中心部を有しているかを見つけ出すことにより選択される。ここで、半径ｒはｒ＝（ｚＤ）／（２Ｂ）である。これらのマイクロレンズそれぞれに関して、点（ｘ，ｙ）が各マイクロレンズによって投影される像平面上の画素位置が計算され、画素が画像として表示される。
【０１６３】
さらに、一組の光線から画像を合成するデジタル撮像方法は、前工程で計算された画素位置における像平面上の色値の加重平均として最終的な色値を見つけ出すために重み付けを行ってもよい。
【０１６４】
設定された一組の光線から画像を合成するための如何なるデジタル撮像方法も、次に、点（ｘ，ｙ，ｚ）を投影するための画素位置それぞれにおける強度減衰量を示す較正データから重みを取り出せる。
好ましい実施例の特長
【０１６５】
図２９は、図２６の１１１０で示したマイクロレンズアレイの形態を用いる場合、ＭＦＰＣのフォトセンサ平面上に作製されたRAW画像の実施例を示す。撮像された被写体は、３タイプのマイクロレンズの一において最適に合焦しているだけである。得られた画像をこのタイプのRAW画像から生成するために、以下の画像レンダリングアルゴリズムが用いられ、フォトセンサアレイから読み取られたRAW画像データを処理する。画像レンダリング処理に関する詳細を、図３０と、図３１のフローチャートに基づいて以下に説明する。
【０１６６】
Ｓ１．虚像表面（１５３０）を選択する。虚像空間の座標系内のｚ成分は、撮像システムの光軸と平行であり、焦点深度を規定する。この虚像表面（１５３０）は、図示した通りに湾曲した表面又は任意形状の表面若しくは平坦な表面である。虚像表面は、特定タイプの既知の被写体と同じ形状を有する態様で選定でき、そのため、得られた画像は、撮像された被写体が既知の形状から偏向していない場合、どこでも合焦している。一実施例として、ある被写体を撮像するために本発明のプレノプティックカメラが使用される。例えば製造工程において、円筒状の製品を監視する目的で、選定された虚像表面が被写体の表面と一致し、そして、例えば円筒状の虚像表面が選択される。
【０１６７】
虚像表面（１５３０）を、必ずしも規則的に分布しているとは言えない虚像点の組に分割する。これらの虚像点の組は、得られた画像を形成する。
【０１６８】
Ｓ２．第１／他の虚像点を選択する。
虚像点それぞれに関して、以下のことを行う。
【０１６９】
Ｓ３．選択された虚像点（１５３１）に関して、虚像点のｚ値において最大の有効解像度比率を有するマイクロレンズサブアレイ中の特定タイプのマイクロレンズ群（共通の合焦距離を有するマイクロレンズのグループ）を選択する。
【０１７０】
例えば、図３０のｚ軸は、図１４の水平軸である。したがって、図７の例示的なマイクロレンズ形態において、ｚ＝３ｍｍにおける最良のマイクロレンズタイプはタイプ２である。
【０１７１】
Ｓ４．ｚ＝０に存在するものとしてみなされる、マイクロレンズアレイ平面（１５２０）上に虚像点（１５３１）を投影する。
【０１７２】
Ｓ５．虚像点の強度値に寄与できるマイクロイメージは、対応する微細な投影錐状体が虚像点（１５３１）を含んでいるマイクロイメージである。これは、全てのマイクロレンズの微細な投影錐状体の場合であって、これらマイクロレンズの中心は、投影された虚像点１５３２）周りの半径Ｒmaxの円内に存在する。値ＲmaxはＲmax＝（ｚＤ）／（２Ｂ）から求められ、ただし、Ｄはマイクロレンズの直径、Ｂはフォトセンサ平面（１５１０）及びマイクロレンズアレイ平面（１５２０）間の距離である。
【０１７３】
Ｓ６．マイクロレンズのマイクロイメージが虚像点の強度値に寄与できるマイクロレンズに関して、虚像点及びマイクロレンズ中心を通過するラインとフォトセンサ平面との交差点を見つけ出す。これらの交差点をRAW画像点と呼ぶ。図３０の実施例において、RAW画像点は、点Ｐ１（１５３３）、点Ｐ２（１５３４）、及び点Ｐ３（１５３５）である。
【０１７４】
Ｓ７．各RAW画像点に関して、対応するRAW画像強度として、フォトセンサの中心がRAW画像点に最接近しているフォトセンサの強度値（RAW画像データ）を選択する。実際の虚像点の最終的な強度値は、対応するRAW画像強度の平均値である。すなわち、RAW画像データの強度が加算され、それぞれのRAW画像点の数で除算される。
【０１７５】
Ｓ８．全ての虚像点が処理されたかどうかをチェックする。未処理の場合、工程Ｓ２に戻る。処理済みの場合、平均化されたRAW画像の強度を用いて得られるデジタル画像を作製する。その後に、このデジタル画像を出力、例えばディスプレイでの表示、印刷、記録、又はデータストレージに記憶できる。
【０１７６】
得られた画像の画質を改良するために、この分野の専門家に周知の既知の画像処理方法を用いて、この基本的なアルゴリズムを幾通りにも変更可能である。このような変形例の幾つかは、例えば以下の通りである。
【０１７７】
RAW画像データは以下の処理で改良できる。
−フォトセンサを飽和させずに、対応するRAW画像の強度が極力高くなる態様で、ＭＦＰＣを用いて均質的に白い表面の較正画像を取り出す。
−ＭＦＰＣを用いて望まれるシーンの画像を取り出す。
−望まれるシーンに関するRAW画像データを較正済みのRAW画像データで除算する。このようにして、光学システム及びフォトセンサ感度による強度の変化をRAW画像から除去する。
【０１７８】
得られた画像におけるエイリアシング効果は、画像レンダリングアルゴリズムの工程Ｓ７を以下の処理に置換することにより、減少できる。
−各RAW画像点に関して、RAW画像点を取り囲んだフォトセンサの組から対応するRAW画像強度を算出する。これは、組になったフォトセンサの平均強度値、又はRAW画像点からのフォトセンサ中心の距離を勘案した補間強度値ともなる。このように多数の補間アルゴリズムが現在の技術水準として周知である。
−画像レンダリングアルゴリズムの工程Ｓ３は、次のものに置き換え得る。各選択された虚像点（１５３１）に関して全てのマイクロレンズタイプを常用する。
−対応する解像度比率εLが所与の値に関してεL≦１を満足させるような全てのマイクロレンズタイプを使用し、斯かるマイクロレンズタイプが存在しない場合、最小のεL（解像度比率）を有するマイクロレンズタイプを使用する。
４．他の用途
【０１７９】
多焦点プレノプティックカメラ及び複数のマイクロレンズアレイを有するプレノプティックカメラ又はこれらを組み合わせたものに関する上述の方法は、単列式カメラ、多列式カメラ、ハンドヘルドスキャナ、フラットベッドスキャナ、又は写真式複写機のような、一次元の感光性装置にも応用できる。
【０１８０】
単列式カメラ、ハンドヘルドスキャナ、フラットベッドスキャナ、又は写真式複写機の場合、光受容器の光路に配置された円筒状レンズの一次元アレイが単一又は多数でも十分であろうが、他タイプのレンズも可能である。通常の装置に比べて、斯かる構造の利点は、走査される表面が平坦であったり、走査平面と心合している必要がないことである。すなわち、非平坦な表面をどこでも合焦でき、また記録された表面の３Ｄ形状も再現できる。対応するレンダリングアルゴリズム及び深度推定アルゴリズムは、一次元のマイクロレンズだけが画像に寄与するというように簡素化しており、以前と同じものである。
【０１８１】
多列式のプレノプティックカメラは、光路に配置された単列又は多列のマイクロレンズを有する平行な多列の光受容器を有する。特定の時間間隔で画像を記録している間に、このようなカメラの下で被写体を移動させるとき、又は被写体の上でカメラを移動させるとき、二次元のプレノプティックカメラのデータセットに相当するデータセットが構築できる。ここでまた、一次元のマイクロレンズラインにおけるマイクロレンズは、異なる合焦距離を有し得るか、多数の斯かるマイクロレンズラインが光路に沿って配置され得るか、又はその両方とできる。斯かる構造の利点は、非常に高い解像度の画像が生成できることである。
【０１８２】
上述の詳細説明、図面、及び特許請求の範囲において開示した本発明の特長は、単独のままであっても組み合わせた状態であっても、多様な実施形態において本発明を実現するために重要なものであり得る。
【符号の説明】
【０１８３】
１００…多焦点プレノプティックカメラ
１１０…主レンズ
１１１…光軸
１１２…矢線
１２０…フォトセンサ平面
１３０…被写体
１３１…虚像
２００…デジタル撮像装置
２１０…主レンズ
２１１…矢線
２２０…フォトセンサアレイ平面
２２１…マイクロレンズアレイ
２２２…マイクロレンズ
２３０…被写体
２３１…虚像
２３２…仮想の像平面
３１１…主レンズ
３２２…マイクロレンズアレイ
３３０…フォトセンサ平面（像平面）
３４０…被写体
３４１…虚像
３４２…最適焦点の像平面
３４３…マイクロイメージ
４２０…マイクロレンズ平面
４２１…マイクロレンズ
４２２…マイクロイメージ
４２３…極値的な投影光線
４２４…極値的な投影光線
４３０…全体カバー平面
４３１…二重カバー平面
４４０…フォトセンサ平面
５１０…単一のマイクロレンズ
５１１…マイクロレンズ平面
５２１…光線
５２２…光線
５３０…フォトセンサ平面
６１０…単一のマイクロレンズ
６２０…光の方向
７１０…フォトセンサ平面
７１１…マイクロレンズアレイ平面
７２０…右方の全体カバー平面
７２２…左方の全体カバー平面
７３０…グラフ
７３１…グラフ
７３２…グラフ
７３３…グラフ
８２１…タイプ１のマイクロレンズ
８２２…タイプ２のマイクロレンズ
８２３…タイプ３のマイクロレンズ
９２１…マイクロレンズ
９２２…マイクロイメージ
１０１０…フォトセンサ平面
１０２０…マイクロレンズアレイ平面
１０２１…マイクロレンズ
１０２２…マイクロイメージ
１０２３…マイクロ投影コーン
１０３０…光学的軸
１１１０…形態１１１０
１１２０…形態１１２０
１１３０…形態１１３０
１１４０…形態１１４０
１２１０…形態１２１０
１２２０…形態１２２０
１２３０…形態１２３０
１２４０…形態１２４０
１５１０…フォトセンサ平面
１５２０…マイクロレンズアレイ平面
１５３０…虚像表面
１５３１…虚像点
１５３２…投影された虚像点
１５３３…点Ｐ１
１５３４…点Ｐ２
１５３５…点Ｐ３
【技術分野】
【０００１】
本発明は、プレノプティック（plenoptic）光学装置（例えばプレノプティックカメラ）における画像を合成するように構成されたデジタル撮像システムに関する。さらに本発明は、デジタル撮像システムを含む、例えばカメラ装置、走査装置、又は顕微鏡装置のような、光学装置に関する。さらにまた本発明は、デジタル撮像システムを用いて収集された画像データを処理するための方法に関する。特に本発明は、放射輝度写真撮影（Radiance Photography）用のカメラ（プレノプティックカメラ）を用いたシステムに関し、多様な鮮明度を有する写真を作製し表示するためにこのシステムを用いる方法に関する。
【背景技術】
【０００２】
プレノプティックカメラ（ライトフィールドカメラ）は、明視野（light field）において光の分布及び光の方向をサンプリング可能なカメラである。このカメラでは、このような情報に基づいて、大きくした焦点深度で画像を収集できたり、デジタル的に焦点を変更できる。標準的なプレノプティックカメラにおいては、マイクロレンズのアレイが、例えば写真乾板又はフォトセンサアレイとして、像平面（image plane）の前方に配置されている。このような構造により、特定の平面に合焦された光が記録されるだけでなく、レンズから放射する光線照射野（ライトフィールド）も記録される。最終的な画像は、コンピュータのアルゴリズムを使って、記録済みのRAWデータから生成できる。このため、プレノプティックカメラはコンピュータによる写真撮影の分野に属するものとみなされている。また、異なる（仮想の）焦点面においてライトフィールドから画像を生成するためのアルゴリズムと、複数の位置におけるシーン奥行きを推定するためのアルゴリズムが存在する。
【０００３】
これまでに公表されているプレノプティックカメラに関する設計は２つある。
１．１９０８年に初めてリップマン（Lippmann）により発表され、国際公開第ＷＯ２００７／０９２５８１（Ａ２）号（特許文献１）にも記載されており、また、『スタンフォードテックレポート』ＣＴＳＲ２００５−０２（非特許文献１）においてレン・ウン（Ren Ng）らにより発表された標準的なプレノプティックカメラ。このプレノプティックカメラの有効解像度は、使用されるマイクロレンズの数と同じである。
２．２００８年に初めてラムズデインとゲオルギエフによりテクニカルレポート（Ａ・ラムズデイン及びＴ・ゲオルギエフ共著「最大解像度でのライトフィールド・レンダリング」、テクニカルレポート、アドビ・システムズ社、２００８年１月（非特許文献２）及び米国特許公開第２００９／００４１４４８（Ａ１）号（特許文献２）において発表された「焦点調節型プレノプティックカメラ」。これらの刊行物に記載された設計では、より高い有効解像度が達成されている。しかしながら、プレノプティックカメラにおける達成可能な有効解像度の解析的計算を可能にするような理論は何も発表されていない。さらに従来の画像レンダリングアルゴリズムは、画像を周波数領域に変換することにより機能するものである。
【０００４】
改良されたプレノプティックカメラ及びこれに関するアルゴリズムが、国際公開第ＷＯ２００６／０３９４８６（Ａ２）号（特許文献３）に記載されている。標準的な技術の場合と同様、このプレノプティックカメラは、主レンズと、マイクロレンズアレイと、マイクロレンズアレイよりも精細なピッチを有するフォトセンサアレイとを備えている。主レンズの焦点面に配置されているマイクロレンズアレイは、マイクロレンズの一を通過する光が他のマイクロレンズを通過する光と重なり合うことがないような態様で選択された、異なる大きさを有するマイクロレンズ群を備えることができる。また、異なるマイクロレンズを使って、局所的に変化する角度分解能を得ることができるが、全マイクロレンズの焦点は共通の平面（フォトセンサアレイの平面）を共有している。すなわち、従来型プレノプティックカメラの全マイクロレンズは、無限遠点において虚像を撮像するために同じ合焦距離を有している。したがって、国際公開第ＷＯ２００６／０３９４８６号に記載されたプレノプティックカメラの撮像特性は、標準的なプレノプティックカメラの特性と本質的に同一のものである。
【０００５】
従来型プレノプティックカメラは、全て次のような欠点を有している。焦点深度は標準的な設定で大きくできるものの、プレノプティックカメラの有効解像度に関する如何なる改善も、使用するマイクロレンズの数により限定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第ＷＯ２００７／０９２５８１（Ａ２）号
【特許文献２】米国特許公開第２００９／００４１４４８（Ａ１）号
【特許文献３】国際公開第ＷＯ２００６／０３９４８６（Ａ２）号
【非特許文献】
【０００７】
【非特許文献１】『スタンフォードテックレポート』ＣＴＳＲ２００５−０２（“Stanford Tech Report" CTSR 2005-02）
【非特許文献２】Ａ・ラムズデイン及びＴ・ゲオルギエフ共著「最大解像度でのライトフィールド・レンダリング」、テクニカルレポート、アドビ・システムズ社、２００８年１月（A.Lumsdaine and T.Georgiev, Full resolution light field rendering、Technical Report, Adobe Systems、January 2008)）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、プレノプティック光学装置における画像を合成するための改良されたデジタル撮像システムを提供することにある。このデジタル撮像システムは、従来のプレノプティック撮像技術における欠点を回避できる。さらに、本発明の他の目的は、デジタル撮像システムを備える改良された光学装置を提供することにある。さらにまた、本発明の他の目的は、デジタル撮像システムを用いて収集された画像データを処理するための改良された方法を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００９】
これらの目的は、独立請求項の特長を備えたデジタル撮像システム、光学装置、及び方法により解決される。本発明の好ましい実施形態及び用途は従属請求項に記載される。
【００１０】
本発明の第１の態様によれば、上記の目的は、プレノプティック光学装置における画像を合成するように構成されたデジタル撮像システムによって達成される。このデジタル撮像システムは、所定の像平面に配置された複数のフォトセンサを有するフォトセンサアレイと、被写体からの光をフォトセンサアレイに指向させるよう配置された複数のマイクロレンズを有するマイクロレンズアレイ（第１のマイクロレンズアレイ、すなわちメインのマイクロレンズアレイ）と、を備えており、このマイクロレンズアレイは、フォトセンサアレイに対して相対的に所定の直角方向の距離に配置されている。したがって、このデジタル撮像システムは、フォトセンサアレイとマイクロレンズアレイを組み合わせたものを有する。本発明によれば、マイクロレンズは、マイクロレンズアレイに亘って変化する少なくとも２つの異なる合焦距離を有しており、またフォトセンサアレイの像平面は、フォトセンサアレイの像平面とマイクロレンズアレイとの間の距離が如何なるマイクロレンズの合焦距離とも不等となる態様で配置されている。換言すれば、マイクロレンズアレイは複数のマイクロレンズで作製されており、各マイクロレンズは、複数の異なる合焦距離から選択された合焦距離を有する。マイクロレンズアレイは共通の合焦距離を有するマイクロレンズのグループを備えており、異なるグループのマイクロレンズは異なる合焦距離を有する。さらに本発明によれば、フォトセンサアレイの像平面は、像平面及びマイクロレンズアレイ間の距離が如何なるマイクロレンズの合焦距離とも不等となる態様で配置されている。
【００１１】
上述した特長の組み合わせで、本発明のデジタル撮像システムでは以下の技術的効果が得られる。第一に、いずれのマイクロレンズにおいても合焦距離が像平面／マイクロレンズ間の距離から偏差していることにより、従来型プレノプティックカメラを用いて無限遠点における虚像を撮像するのとは異なり、マイクロレンズからの有限距離における虚像が像平面上に撮像される。マイクロレンズは、有限の焦点深度で撮像するために使用される。このような制限は、異なる合焦距離を有するマイクロレンズを提供することによって補償され、これらのマイクロレンズにより、より大きい焦点深度範囲をカバーできるようになる。さらに、また本発明者らが最初に示したように、有限距離における虚像の撮像は、従来のカメラに比して改良された解像度をもたらす。
【００１２】
本発明の第２の態様によれば、上記の目的は、主レンズ光学系と、本発明の上記第１の態様に係る本発明のデジタル撮像システムと、を備えるプレノプティック光学装置によって達成される。好ましくは、デジタル撮像システムのマイクロレンズアレイは、主レンズ光学系の焦線に配置され、被写体からの光を主レンズ光学系経由でフォトセンサアレイに指向させ、また、主レンズ光学系における焦線の特定部分を通過する一組の光線に関し、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知するよう複数のフォトセンサが配置される。本発明の特に好ましい用途によれば、プレノプティック光学装置として、カメラ装置(プレノプティックカメラ)、走査装置、又は顕微鏡装置が挙げられる。用途に応じて、本発明のデジタル撮像システムのマイクロレンズアレイは、マイクロレンズの一次元又は二次元アレイ（直線配列又はマトリックス配列）とできる。本発明のデジタル撮像システムを備えるプレノプティックカメラは、異なる合焦距離を有する複数のマイクロレンズを提供するので、多焦点プレノプティックカメラ（MFPC;multiple focus plenoptic camera)と呼ばれる。
【００１３】
本発明の第３の態様によれば、上記の目的は、上記第１の態様に係るデジタル撮像システムを用いて収集された画像データを処理するための方法によって達成される。この方法は、フォトセンサアレイを用いて収集されたRAW画像データを提供する工程と、虚像点を有する所定の虚像表面を提供する工程と、を含んでおり、各虚像点につき、フォトセンサアレイ上で虚像点を撮像するために最大限の有効解像度比率を有するマイクロレンズのグループが選択され、虚像点がマイクロレンズアレイ平面上に投影され、虚像点の強度値に寄与する選択されたグループのマイクロレンズのマイクロ画像が検出され、RAW画像点が選択され、これらRAW画像点の画像データが虚像点の強度値に寄与し、RAW画像点におけるRAW画像データに関する平均化されたRAW画像強度が検出される。最後に、各虚像点に関する平均化されたRAW画像強度により、取得対象のデジタル画像が提供される。
【００１４】
特に、イ・レン・ウン（Yi-Ren Ng）及びトドール・ゲオルギエフ（Todor Georgiev）によるプレノプティックカメラの設定に比べて、以下のような相違点が顕著である。すなわち、アレイに亘ってマイクロレンズの合焦距離を変化させることにより、共通の合焦距離を有するマイクロレンズアレイと比較した場合、視差の範囲を犠牲にして全体的な有効解像度を大きくできることを本発明者らは示してきた。記述した方法により、特定のタスク又は用途領域に向けてプレノプティックカメラを設計することが可能となる。本発明のレンダリング方法は、任意の仮想焦点面を再構築することを可能とし、高度な並列処理を実行するのに特に適する。
【００１５】
特に本発明のデジタル撮像システムは、従来型のプレノプティックカメラとは対称的に、次のような利点を有する（従来型のプレノプティックカメラでは、像平面からのマイクロレンズの距離がマイクロレンズの合焦距離に等しく、また演算された画像の最大解像度がアレイにおけるマイクロレンズの数と等しくなっている）。
【００１６】
本発明のデジタル撮像システム、すなわち多焦点プレノプティックカメラは、概ね、標準的なプレノプティックカメラよりも低い角度分解能を有しているが、ＭＦＰＣは、標準的なプレノプティックカメラの演算性能を維持しつつ、遙かに高い空間分解能を有する画像を得ることができる。例えば、ＭＦＰＣによって生成されたRAWデータから、異なる焦点の画像が生成でき、シーン奥行きを複数の像点に関して推定できる。例えば、ＭＦＰＣに関する一実施例において、標準的なプレノプティックカメラに比べて７０倍もの高い分解能を得られると共に、マイクロレンズアレイ無しの通常のカメラに比べて約６倍大きい被写界深度を実現する。
【００１７】
標準的なプレノプティックカメラに比べて、本発明の遙かに大きな有効解像度により、ＭＦＰＣは、例えば写真撮影、産業用の自動化検査、３Ｄ写真撮影、３Ｄビデオ、及び顔認識等、多くの分野で応用可能となる。
【００１８】
デジタル撮像システムの好ましい実施形態によれば、マイクロレンズそれぞれの合焦距離は、２つ又は３つの異なる合焦距離から選択される。本発明者らは、２つ又は３つの異なる合焦距離で焦点深度に関する本質的な改良が得られ、それでも角度分解能は、通常のカメラ、スキャナ、又は顕微鏡法の用途に良好に適合しているという知見を得た。あるいは、マイクロレンズそれぞれの合焦距離は、４つ以上の異なる合焦距離から選択することもできる。好適なことにデジタル撮像システムは、特定の走査条件に依存して、例えば、焦点深度範囲に関して一定量拡大するために最適化できる。
【００１９】
デジタル撮像システムに関する他の好ましい実施形態によれば、マイクロレンズそれぞれの合焦距離は、デジタル撮像システムにおける最接近したマイクロレンズそれぞれの合焦距離と異なる。好適なことに、この実施形態は画像上における角度分解能の均質な分布が得られる。
【００２０】
デジタル撮像システムに関する特に好ましい実施形態によれば、マイクロレンズは、連続した焦点深度範囲が得られるような態様で調整できる。まず、マイクロレンズそれぞれが各マイクロレンズの合焦距離とマイクロレンズアレイからの深度距離とに応じて有効解像度比率をもたらすような態様でマイクロレンズが選択され、次に、有効解像度比率が深度距離の隣接範囲において相補性のある最大値を有するような態様でマイクロレンズの合焦距離が選択される。マイクロレンズに関するこのような調整（計画化）は、概略的に後述するプレノプティックカメラの光学的特性に関する説明に基づいたものであり、これは本発明者らが初めて見出したものである。
【００２１】
変化する合焦距離を有するマイクロレンズアレイ内において等しい合焦距離を有するマイクロレンズのグループが規則的なグリッドをもたらすような態様でマイクロレンズが配置されれば、デジタル撮像システムに関して他の改良を得ることもできる。好ましくは、マイクロレンズは、等しい合焦距離を有するマイクロレンズが幾何学的に稠密なレンズ配置という点で利点を有する直交型又は六角形のグリッドをもたらすような態様で配置される。
【００２２】
デジタル撮像システムに関する他の好ましい実施形態によれば、共通の合焦距離を有する全てのマイクロレンズは、同一のレンズ直径を有する。特に好ましいのは、マイクロレンズアレイにおける全てのマイクロレンズが同じ直径を有するような実施形態である。これらの実施形態の場合、画像パラメータ、例えば解像度又はコントラスト、を２Ｄ画像上で均質にした状態で画像を形成することが改善される。
【００２３】
一般にマイクロレンズアレイは、フォトセンサアレイに対するマイクロレンズアレイの上記所定の直角方向の距離をセットして、フォトセンサアレイに固定するよう装着される。あるいは、デジタル撮像システムに関する他の実施形態によれば、フォトセンサアレイ及びマイクロレンズアレイ間の距離は、デジタル撮像システムの制御構体によって調整可能である。例えばカメラ、スキャナ、又は顕微鏡の部品として設けることのできるこの制御構体は、フォトセンサアレイ及びマイクロレンズアレイの可変式又は固定式連結体を備える。
【００２４】
本発明のデジタル撮像システムに関する他の変形例は、少なくとも一の補助的マイクロレンズアレイ、例えば第２のマイクロレンズアレイを備えることを特徴とし、この補助的マイクロレンズアレイは、被写体からの光を第１のマイクロレンズアレイに指向させるよう配置された複数のマイクロレンズを備える。このような実施形態を用いて、プレノプティックカメラの機能を拡大できる。
【００２５】
本発明の他の好ましい実施形態によれば、デジタル撮像システムは、フォトセンサアレイにおける異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズアレイに対するフォトセンサの相対的位置と感知された光の入射角として、合成画像を特徴づける画像データを提供するようコンピュータでプログラム可能なプロセッサを備えている。
【００２６】
本発明に関するさらなる特長及び利点について、添付図面を参照しながら以下に説明する。
【図面の簡単な説明】
【００２７】
【図１】従来の、マイクロレンズアレイがない通常のカメラを示す概略図である。
【図２】従来の、マイクロレンズアレイがない通常のカメラを示す概略図である。
【図３】本発明の多焦点プレノプティックカメラを示す概略図である。
【図４】本発明の多焦点プレノプティックカメラを示す概略図である。
【図５】本発明の根拠となる理論的方法を示す概略図である。
【図６】本発明の根拠となる理論的方法を示す概略図である。
【図７】本発明の根拠となる理論的方法を示す概略図である。
【図８】本発明の根拠となる理論的方法を示す概略図である。
【図９】本発明の根拠となる理論的方法を示す概略図である。
【図１０】本発明の根拠となる理論的方法を示す概略図である。
【図１１】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１２】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１３】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１４】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１５】本発明に係るカメラ及び従来のカメラに関する有効解像度比率を示すグラフである。
【図１６】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１７】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１８】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図１９】本発明に係る多焦点プレノプティックカメラに関する他の特長を示す概略的な斜視図である。
【図２０】マイクロレンズの構成を示す概略図である。
【図２１】マイクロレンズの構成を示す概略図である。
【図２２】マイクロレンズの構成を示す概略図である。
【図２３】マイクロレンズの構成を示す概略図である。
【図２４】マイクロレンズの構成を示す概略図である。
【図２５】マイクロレンズの構成を示す概略図である。
【図２６】マイクロレンズの構成を示す概略図である。
【図２７】マイクロレンズの構成を示す概略図である。
【図２８】光軸に沿って２つのマイクロレンズアレイを用いたプレノプティックカメラを例示する概略図である。
【図２９】画像データを処理するための本発明に係る方法を示す概略図である。
【図３０】画像データを処理するための本発明に係る方法を示す概略図である。
【図３１】画像データを処理するための本発明に係る方法を示す概略図である。
【発明を実施するための形態】
【００２８】
デジタル撮像システムと、このデジタル撮像システムが備わったプレノプティックカメラとを参照しながら、本発明の好ましい実施形態について以下に説明する。なお本発明の実施は、図示した実施例に限定されるものではなく、寧ろ、光走査装置又は顕微鏡のような他のプレノプティック光学機器でも利用可能であることを強調しておきたい。光走査装置の場合、通常は直線配列であるフォトセンサアレイは、本発明のデジタル撮像装置、特にフォトセンサアレイとマイクロレンズアレイを組み合わせたもので置換できる。この場合、プレノプティックカメラを参照して以下に言及される主レンズがスキャナ光学系（円筒状のスキャナ用レンズ）によって提供される。顕微鏡の用途は、顕微鏡のフォトセンサアレイを本発明のデジタル撮像装置に置換することを含む。この場合、プレノプティックカメラにおける主レンズによって生成される虚像は、顕微鏡光学系によって生成される。
【００２９】
本発明の特長に関係する限りにおいて、光学機器の構造について以下に説明する。なお、例えばカメラ、走査装置、又は顕微鏡のような光学機器に関する他の光学的又は構造的な特長については、従来技術から周知のことであるので、説明しない。
【００３０】
本発明の好ましい実施形態について、二次元のフォトセンサアレイ（マトリックス配列）を例示的に参照しながら以下に説明する。本発明の実施は、このような形態に限定されるものではなく、寧ろ、一次元のフォトセンサアレイ（直線配列）に対応する態様でも可能であることを強調しておきたい。画像における異なる色強度を収集するための単一ラインのフォトセンサ又は複数ラインのフォトセンサを備える直線センサは、本明細書においてマトリックス配列又は直線配列とみなすことができる。
１．通常のカメラを用いた撮像
【００３１】
ＭＦＰＣの概念について説明する前に、通常のカメラにおける画像生成のプロセスについて説明する。図１は、通常のカメラにおける基本的な構成要素を示している。主レンズ１１０は、右方の被写体１３０から照射又は反射される光を、左方の表面上に合焦させるが、これは虚像１３１とみなせる。被写体１３０が光軸１１１に沿って変化するので、虚像１３１は、光軸に直角方向の平面上には存在しない。得られた画像は、所定の時間に亘って平面１２０上でフォトセンサにより測定された光強度を空間的に組み合わせることによって生成されるが、ここで、フォトセンサ平面１２０は光軸に対して直角方向に指向されている。得られた画像において、虚像１３１がフォトセンサ平面１２０上又は近傍に存在する、被写体１３０の部分のみが合焦した状態にあるように見える。すなわち、虚像１３１がフォトセンサ平面１２０と交差するところは、最適な焦点になっている画像である。被写体１３０の別な部分をフォトセンサ平面１２０上に対して最適に合焦させるためには、矢線１１２で示すように光軸に沿って主レンズ１１０を移動させなければならない。
【００３２】
図２は、上記した通常のカメラの光学的な幾何形態を示す。マイクロレンズを有するカメラの構成について考察する前に、図２におけるこのように簡易化された通常のカメラの構成を見ておくと参考になる。主レンズ１１０は、被写体１３０の右方にある一点から発する多様な光線を左方の一点に合焦させることにより、この一点の画像を生成する。実際には、光線は、正確に一点に合焦されているのではなく、撮像システム全体に依存する強度分布を有しているのである。このような強度分布は、通常、点広がり関数（ＰＳＦ）と呼ばれている。ＰＳＦの空間広がりに関するかなり良好な近似値は、次式の数１から求められる。
【００３３】
【数１】
【００３４】
式中、λは光の波長、Ｆは撮像システムに進入できる光量の測定値である。ＦはＦ値と呼ばれ、数２で定義される。
【００３５】
【数２】
【００３６】
レンズ平面からの距離ａLにおける被写体が投影される、光軸に沿った位置ｂLは、薄肉レンズ方程式である数３で計算できる。
【００３７】
【数３】
【００３８】
図２に示すように、最良の焦点Ｉ1が像平面Ｉ0と一致しない場合、発散する投影光線が像平面において２ピクセル以上離れた途端に、被写体はぼけてしまう。これは、通常のカメラだけが被写体空間における単一平面を像平面上に対して最適に合焦させることを意味している。合焦された画像を生成する、被写体空間の範囲を増やすための一の方法は、開口の大きさを絞ることである。これは、このあとで投影光線が最適な焦点面からさらにゆっくりと発散していくからである。限度は、開口を一点になるまで絞ることであり、この場合、被写体空間全体は合焦するが、カメラ内に進入する光量も無限小となる。通常の写真撮影において、被写界深度及びカメラ速度間の適切な妥協点、すなわち開口の大きさを見つけ出す必要がある。
２．本発明の多焦点プレノプティックカメラを用いた撮像
【００３９】
図３は、本発明のデジタル撮像装置２００を含む多焦点プレノプティックカメラ１００の基本的な構成を示す。複数のマイクロレンズ２２２からなるマイクロレンズアレイ２２１がフォトセンサアレイ平面２２０の前に配置されている。マイクロレンズの直径は、各マイクロレンズが複数のフォトセンサ上に画像を生成できるような態様で、単一のフォトセンサの直径よりも大であるように選定される。フォトセンサアレイは、例えば１２００万個のフォトセンサを備える、例えばＣＣＤのマトリックス配列又は直線配列である。マイクロレンズアレイ２２１は、例えば４万７６０４個のマイクロレンズを備えており、各マイクロレンズは１５３μｍの直径と、例えば３つの合焦距離５２６μｍ、５６７μｍ、６１６μｍから選択された合焦距離とを有する。全てのマイクロレンズは、例えば１５３μｍの同一直径を有する。マイクロレンズアレイ２２１及びフォトセンサアレイ間の距離は、例えば７６５μｍである。マイクロレンズによってフォトセンサ平面上に生成された画像をマイクロ画像と呼ぶことにする。各マイクロイメージは、例えば１７個のフォトセンサで作製される。隣接したマイクロレンズのマイクロイメージは互いに重なり合ってはならない。透明なガラス又はプラスチックで作製されたマイクロレンズアレイは、従来型プレノプティックカメラにおいて知られているように、例えば機械的な枠を使ってフォトセンサアレイに対して固定的に装着されており、このフレームの厚さがマイクロレンズ及びフォトセンサアレイ間の距離を設定している。
【００４０】
主レンズ２１０は、被写体２３０の虚像２３１を生成する。ここでマイクロレンズアレイ２２１内のマイクロレンズは、虚像のさまざまな視野を記録する小さなカメラとして作用する。ここで多様なマイクロイメージを用いて、仮想の像平面２３２と交差する虚像の部分に関して得られた画像が合焦するような態様で、コンピュータで仮想の像平面をシミュレートすることができる。被写体２３０の様々な部分を合焦させるため、２１１で示すように、仮想の像平面のみを光軸に沿って移動させる必要がある。これはコンピュータで行われるので、画像は、RAW画像が記録された後で再フォーカスできる。さらに、仮想の像平面２３２の形状に関する限定はなく、すなわち、仮想の像平面の代わりに任意に形成された虚像表面もシミュレートできる。これは、例えば、得られた画像内で被写体の全部分を合焦させるのに利用できる。
【００４１】
マイクロレンズが有限の被写界深度を有しているので、虚像空間の有限範囲だけをフォトセンサ平面上に合焦できる。撮像システム全体の被写界深度を拡張するために、異なる合焦距離を有するマイクロレンズが使用される。特定の合焦距離を有するマイクロレンズの各グループは、仮想のイメージ空間に関する異なる範囲の深度をフォトセンサ平面上に合焦させる。一実施例では、均質なマイクロレンズを有するマイクロレンズアレイを使うのに比べて、異なる合焦距離を有する３つの異なるタイプのマイクロレンズを有するマイクロレンズアレイを使うことにより、６倍も大きな被写界深度を達成できる。
【００４２】
図３における虚像はマイクロレンズアレイ及び主レンズ間に描かれているが、この虚像は、マイクロレンズアレイ上又は左方に置くこともできる。虚像空間のどの部分がマイクロレンズにより合焦されるかは、これらの合焦距離と、光軸沿いにおけるマイクロレンズアレイの位置による。これは、目の前にある用途に依存する設計上の選択事項である。
【００４３】
図４は、本発明のプレノプティックカメラに関する光学的な幾何形態を概略的に示す。主レンズ３１１は、被写体３４０の虚像３４１を生成する。虚像は、主レンズ３１１の左方のどこかに存在する。画像は、フォトセンサ平面上に形成されていないという意味で仮想のものである。次に虚像は、マイクロレンズアレイ３２２内のマイクロレンズによってフォトセンサ平面３３０（像平面）上に投影される。なお、フォトセンサ平面３３０からのマイクロレンズアレイ３２２の距離はマイクロレンズの合焦距離とは不等である。さらに、レンズの中心を通過する中央の投影光線だけが描画されることにも留意されたい。実際には、複数の光線がレンズに影響されているのである。なお、一般に、図４内に示した３つのマイクロレンズよりも多くのマイクロレンズが存在しており、これらは異なる合焦距離を有している。このような説明は、明確化のためだけに選定したものである。下方に、この構成により各特定の被写体距離における有効解像度が下がるが、有効解像度はより大きな範囲に亘って拡大し、これにより、通常のカメラで可能である以上に大きい開口にて拡大された被写界深度がもたらされることを下に示した。
【００４４】
被写体３４０から発する光は虚像３４１において合焦される。マイクロレンズは、この虚像をフォトセンサ平面３３０上に対して最適に合焦させないことがある。その代わりに、マイクロレンズにおける最適焦点の像平面３４２は、フォトセンサ平面からいくらかの距離において存在し得る。これは、マイクロレンズの合焦距離ｆ及びマイクロレンズアレイからの虚像の距離ａに依存する。マイクロレンズアレイ内において異なる合焦距離を有するマイクロレンズを用いることにより、異なる距離における虚像は、同時にフォトセンサ平面上において合焦できる。
【００４５】
プレノプティックカメラで記録されたデータを使って画像を合成するための本発明によるデジタル撮像システムは、したがって、複数のフォトセンサを有するフォトセンサのライン又はマトリックスと、主レンズ３１１、この主レンズ３１１の少なくとも焦線内に配置されたマイクロレンズの構造３２２を含んでおり、被写体３４０からの光を主レンズ３１１とマイクロレンズのライン構造３２２とを介してフォトセンサのライン又はマトリックスに対して指向させ、これにより各マイクロレンズに関してマイクロイメージ３４３を生成するための光学系構体と、フォトセンサのラインとマイクロレンズの構造との間の相対的距離を設定するための制御構体（図４に図示せず）であって、主レンズ３１１の焦線の特定部分を通過する一組の光線に関し、複数のフォトセンサが像平面３３０内に配置され、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知し、この感知された光線を特徴づける光のデータを出力する制御構体と、異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズの構造３２２に対するフォトセンサの相対的位置と、感知された光による主レンズ３１１の焦線上に対する入射角として、合成画像を特徴づける画像データを提供するためにプログラム可能なコンピュータ構造におけるプロセッサであって、少なくとも一次元構造上のマイクロレンズそれぞれの合焦距離が互いに異なることを特徴とするプロセッサとを備える。
Ｆ値
【００４６】
ＭＦＰＣの設計における重要な制約は、マイクロイメージがフォトセンサ平面上で重なり合ってはならないということである。２つ以上のマイクロレンズにおける画像が重なり合っているようなフォトセンサは、得られた画像をコンピュータで構築するためには使えない。重なり合わずにマイクロイメージが最大限の大きさを有することを確実なものとするために、マイクロレンズ及び主レンズのＦ値を等しくすると良好な近似値となる。
【００４７】
稠密構造のマイクロレンズのアレイにおいて、これは、マイクロレンズにおける画像の大きさがマイクロレンズの直径Ｄよりも小さいか等しくなければならないことを意味している。これは、数４を意味している。
【００４８】
【数４】
【００４９】
式中、ＦはマイクロレンズのＦ値、ＦLは主レンズのＦ値である。通常、Ｂ＜＜ＤLであるから、Ｆ≒ＦLということになる。すなわち、主の撮像システムとマイクロレンズの撮像システムのＦ値は一致するはずである。Ｂ、ＢL、及びＤLが与えられるとすれば、マイクロレンズの最大直径は、数５で求められる。
【００５０】
【数５】
【００５１】
同様に、数６が成立する。
【００５２】
【数６】
【００５３】
図５に関して、主レンズのＦ値はＦL＝ＢL／ＤLより求められ、マイクロレンズのＦ値はＦ＝Ｂ／Ｄより求められる。通常、ＢL＞＞Ｂ及びＤL＞＞Ｄであるから、Ｆ＝ＦLであればマイクロイメージ４２２は最大となり、重なり合うことはない。
多重度、全体カバー平面
【００５４】
他の重要な概念は、図５及び図６に示す全体カバー平面４３０に関する概念である。図５においてマイクロレンズの中心を通るように引かれた中央の投影光線は、対応するマイクロイメージの境界光線である。例えば、マイクロレンズ４２１は、極値的な投影光線４２３及び４２４間に存在するマイクロイメージ上に虚像の点を投影するだけである。したがって、全体カバー平面４３０は、平面上の各点が少なくとも一のマイクロレンズによって投影されているマイクロレンズ平面４２０における左限の平面から右方の平面までである。同様に、マイクロレンズ平面４２０における右限の平面から左方の平面も全体カバー平面である。図５において、左方の全体カバー平面はフォトセンサ平面と同一のものである。同様に、二重カバー平面４３１は、平面上の各点が少なくとも２つのマイクロレンズによって投影されているマイクロレンズ平面における左限の平面から右方の平面である。
【００５５】
図６を参照しながら、全体カバー平面に関する概念についてさらに説明する。テスト点が見えるレンズの数は、図６に示すように光軸に沿ったマイクロレンズ平面からのテスト点の距離に依存する。平面Ｍ1は右方の全体カバー限界であり、これは、平面Ｍ1上又は右方の全点が少なくとも一のマイクロイメージ内に画像を有することを意味している。像平面でもある平面Ｍ-1は左方の全体カバー限界であり、すなわち、平面Ｍ-1上又は左方の全点は、少なくとも一のマイクロイメージ内に画像を有する。平面Ｍ2（Ｍ-2）は二重カバー限界であり、これは、平面Ｍ2（Ｍ-2）上又は右方（左方）の全点が少なくとも２つのマイクロイメージ内に画像を有することを意味している。
【００５６】
中央のレンズが除去されると、今度は全体カバー限界がＭ2及びＭ-2となることが図６から明確になる。中央のレンズを除去しても全体カバー限界平面の外側の点に関して画像をレンダリングする能力に全く影響しないことに留意することが重要である。減じられるのは、後方で示すように、可能な視差の量である。
【００５７】
１Ｄのマイクロレンズアレイに関して、マイクロレンズ平面からの距離ａにある点の多重度Ｍは、Ｍ：＝｜ａ｜／Ｂとして定義できる。２Ｄのマイクロレンズアレイに関して、Ｍの式に新たな因数が導入される。これは、円を有する平面の埋めつくし（tessellation：タイル張り）に現れるギャップを示す。２Ｄにおいて存在する２つだけの規則的な埋めつくしは、図７に示す直交型のパターンと、図８に示す六角形のパターンである。両方の図面において、Ｒは、最接近して取り囲んでいるマイクロレンズの中心から平面上の一点が有し得る最大距離を示している。直交型の場合は、数７として表せる。
【００５８】
【数７】
【００５９】
また六角形の場合には、数８として表せる。
【００６０】
【数８】
【００６１】
１Ｄの場合に関して、最近接したマイクロレンズの中心からの最大離間点は、マイクロレンズの中心からＤ／２の距離を有する。この値に対する比率Ｒは間隔係数と呼ばれており、κで表される。すなわち、数９で表現できる。
【００６２】
【数９】
【００６３】
したがって、数１０が成立する。
【００６４】
【数１０】
【００６５】
したがって、マイクロレンズ平面からの距離ａにおける多重度は、数１１から求められる。
【００６６】
【数１１】
【００６７】
｜ａ｜＝κＢＭであるから、κは小さい方が好ましい。よって、六角形のマイクロレンズアレイが直交型のマイクロレンズアレイよりも好ましい。
【００６８】
マイクロレンズが１Ｄのアレイにおいて稠密構造になっていないが、それらの中心間で距離ｃを有する場合、マイクロレンズ平面からの全体カバー限界平面Ｍ1の距離υ1は、次式数１２の関係を有している。
【００６９】
【数１２】
【００７０】
ここで、γ：＝Ｃ／Ｄは、マイクロレンズの間隔と大きさ間の比率である。２Ｄのマイクロレンズに関しては、多重度Ｍのカバー平面の距離は、数１３から求められる。
【００７１】
【数１３】
【００７２】
したがって、マイクロレンズ平面からの距離ａにおける多重度は、数１４から求められる。
【００７３】
【数１４】
【００７４】
図６における中央のレンズが除去される場合、隣接し合うレンズ間の距離は２倍となり、すなわち、γ＝２である。よって、この場合の多重度は、同じ距離ａにおいて稠密構造のレンズに関する多重度の半分だけとなる。
視差
【００７５】
多重度Ｍを有する平面において、ギャップのない全平面上の画像をレンダリングするのに各マイクロイメージの１／Ｍのみが必要とされる。例えば、Ｍ＝２において、完全な画像をレンダリングするのに各マイクロイメージの半分だけが必要とされ、これは、２つの全く別個の完全なイメージがレンダリングされ得ることを含意している。その効果は、明白な視点における変化である。このような効果により、シーンに関する３Ｄの情報は、通常のステレオカメラシステムに関するのと同様に回復できる。
【００７６】
像平面上で両端の視野間における視差の量は、数１５から求められる。
【００７７】
【数１５】
【００７８】
ここで、Ｎ＝Ｄ／ｐは大きさＤのマイクロイメージにおける大きさの画素数ｐである。したがって、視誤差角（parallax angle）Δαは、数１６から求められる。
【００７９】
【数１６】
【００８０】
ここで、Ｂは再び像平面までのマイクロレンズアレイの距離を示す。さらに、相対視差（relative parallax）Δrは、数１７として定義される。
【００８１】
【数１７】
【００８２】
図６について、中央のレンズが除外される場合、ある位置ａは減少し、これが視差を減少させる。
【００８３】
Δは、数１４を数１５に置換することによりａの関数として表すことができ、この結果数１８となる。
【００８４】
【数１８】
【００８５】
同様に、相対視差は、数１９となる。
【００８６】
【数１９】
【００８７】
なお、Δ、Δr及びΔaに関する式は、｜ａ｜≧ν1に対してのみ有効である。視差が最大である、マイクロレンズ平面からの距離ｌmaxは、数２０から求められる。
【００８８】
【数２０】
【００８９】
有効解像度
【００９０】
多焦点プレノプティックカメラの有効解像度は、純粋に幾何学的な観点からＭＦＰＣにより生成されたRAW画像データからコンピュータで生成できる画像の最大解像度と関係する。得られた画像の解像度は、適切な画像向上用アルゴリズムによりさらに高められ得る。
【００９１】
図４に関して、ＭＦＰＣの有効解像度は、マイクロレンズ平面３２２からの虚像３４１の距離、マイクロレンズにおける被写界深度、及びフォトセンサ平面３３０の解像度に依存する。一般に、ＭＦＰＣの有効解像度は、虚像空間に亘って変化する。
【００９２】
マイクロレンズにおける被写界深度は以下のように規定される。まず、図９における単一のマイクロレンズ５１０による虚像点Ｘoの投影を考える。特に図９は、像平面Ｉ上における、点Ｘoのぼけを示し、このとき、Ｘoの最適に合焦された画像Ｙoは像平面Ｉ上には存在しない。このような観察は、特定の被写体の離間ａにおけるカメラの有効解像度の概念に言い換えることができる。
【００９３】
点Ｘoから発して光線５２１及び５２２内に存在する光線のみが、全ての光線が点Ｙoにおいて集光するよう、マイクロレンズ５１０によって屈折される。すなわち、ＹoはＸoの画像である。マイクロレンズ平面５１１からの点Ｙoの距離ｂは、マイクロレンズ平面５１１までの点Ｘoの距離ａとマイクロレンズの合焦距離ｆを基にして、理想的なレンズ方程式である数２１から求められる。
【００９４】
【数２１】
【００９５】
マイクロレンズ平面５１１とフォトセンサ平面５３０間の距離Ｂがｂと異なる場合、点Ｘoから発する光線は、フォトセンサ平面上の一点において集光しない。その代わり、光線は図９に示す直径ｓのスポットまで広がる。フォトセンサ平面が辺長ｐの複数の正方形フォトセンサで構成されていると仮定すれば、マイクロレンズの解像度比率は、数２２として定義される。
【００９６】
【数２２】
【００９７】
例えば、ｓがピクセルの辺長ｐの２倍の大きさである場合、εL＝１／２となる。ｓ、Ｂ、ｂ、Ｄ間の関係は、ｂ／Ｄ＝（Ｂ−ｂ）／ｓから求められる。数２１を活用すれば、数２３となる。
【００９８】
【数２３】
【００９９】
図９に示すように、２つの隣接する虚像点Ｘo及びＸ1の光点は、光点の中心間の距離がｓである場合に、フォトセンサ平面５３０上で区別され得るだけである。したがって、Ｘoに最も近接していて、なおもＸoから区別され得る虚像点は虚像点Ｘ1である。したがって、Ｘo及びＸ1間の距離ｓaは、マイクロレンズ５１０によってフォトセンサ平面５３０上に投影されるときに、なおも区別できるマイクロレンズ平面からの距離ａでの虚像空間内における存在物の最小限の大きさである。
【０１００】
プレノプティックカメラ及び多焦点プレノプティックカメラの有効解像度比率（effective resolution ratio：ＥＲＲ）は、マイクロレンズ平面からの距離ａにおいて解像できる虚像構造の最小の大きさと、フォトセンサ平面上の正方形フォトセンサ要素の辺長ｐとの比率として定義される。したがって、ε（ａ）で表されるＥＲＲは、数２４から求められる。
【０１０１】
【数２４】
【０１０２】
フォトセンサ平面上の一次元方向におけるフォトセンサ要素の全数をＮtで表せば、その次元方向に沿って得られた画像における画素の最大数は、数２５から求められる。
【０１０３】
【数２５】
【０１０４】
したがって、マイクロレンズ平面からの距離ａにおける光軸に直角な仮想の像平面において得られた画像は、最大でＮe（ａ）2画素で構成される。すなわち、Ｎe（ａ）2は、プレノプティックカメラの有効解像度である。
【０１０５】
相似三角形の方法を使用すれば、ｓ及びａ間の関係は、図９から数２６となる。
【０１０６】
【数２６】
【０１０７】
したがって、単一のレンズεLに関するＥＲＲは、被写体の距離ａの関数として、数２７として表せる。
【０１０８】
【数２７】
【０１０９】
これは、数２８としても表せる。
【０１１０】
【数２８】
【０１１１】
ここで、Ｎ＝Ｄ／ｐは、１マイクロレンズ当たりの画素数である。
【０１１２】
なお、数２７は、回折によるぼけの効果を勘案しておらず、これは、数１で求められる光の波長及び開口に依存する。
【０１１３】
またこのようにプレノプティックカメラにおいて有効解像度を導出することは、図４に関して、主レンズの虚像がマイクロレンズ平面の左方に存在する場合に有効である。図１０は、単一のマイクロレンズ６１０に関するこのような場合を示す。光の方向は(符号)６２０で示されている。主レンズ（この図では示さず）がＸoにおいて虚像を生成する場合、マイクロレンズは、Ｙoにおいて最適に合焦されたＸoの画像を生成する。数２１〜数２５は、ａを−ａで置換した場合を説明したものである。
【０１１４】
例えば特許文献３に係る従来型プレノプティックカメラに関する決定的な一特長は、フォトセンサ平面からのマイクロレンズ平面の距離Ｂがマイクロレンズの合焦距離ｆと等しいことにある旨を既に述べた。ｆ＝Ｂの場合、数２２から得られる解像度比率は、数２９となる。
【０１１５】
【数２９】
【０１１６】
次に有効解像度比率は、数３０から求められる。
【０１１７】
【数３０】
【０１１８】
すなわち、｜ａ｜≦Ｂ（Ｄ／ｐ）の場合、ε＝ｐ／Ｄということになる。ここで、Ｎ：＝Ｄ／ｐは、一次元方向における１マイクロイメージ当たりのフォトセンサ数であり、ＮL：＝Ｎt／Ｎはこの次元方向に沿ったマイクロレンズの数である。したがって、一次元方向に沿って得られた画像における最大画素数は、数３１となる。
【０１１９】
【数３１】
【０１２０】
ゆえに、従来型プレノプティックカメラに関して得られた画像における最大画素数は、マイクロレンズアレイにおけるマイクロレンズの数と等しい。
【０１２１】
図１１は、ＥＲＲに関して例示的な構想を示しており、Ｂ、Ｄ、及びｆは固定されている。画素の大きさはＤ／２０であると想定されている。点Ｘoは最適な焦点位置を示し、ＤｏＦは被写界深度を表している。ぼけは画素の大きさよりも小さいか又は等しい。
【０１２２】
また上述の方法は、図１２及び図１３に示すように、従来型プレノプティックカメラにも有効である。本発明の方法は、特に、マイクロレンズアレイ上の変化する合焦距離を用いてプレノプティックカメラの全有効解像度が改善できる、という知見へ繋がる。従来型プレノプティックカメラの設計（例えば特許文献１）において、マイクロレンズの合焦距離は、像平面までのマイクロレンズ平面の距離に等しく、すなわちＢ＝ｆに設定する。Ｂ＝ｆである場合、数２８は、数３２となる。
【０１２３】
【数３２】
【０１２４】
したがって、プレノプティックカメラに関する有効解像度比率は、数３３となる。
【０１２５】
【数３３】
【０１２６】
すなわち、｜ａ｜≦ＮＢであるマイクロレンズ平面からの全距離ａに関して、ＥＲＲは一定であり、値１／Ｎを取る。数２５から、有効解像度ＮBは、この場合には数３４となる。
【０１２７】
【数３４】
【０１２８】
ここで、ＮLは、マイクロレンズアレイの一次元方向に沿ったマイクロレンズの数である。これは、文献で報告されてきた内容そのものである。すなわち、標準的なプレノプティックカメラの解像度は、マイクロレンズアレイにおけるレンズの数そのものである。図１２は、このような構成における有効解像度比率及び視差を示す。Ａ・ラムズデイン及びＴ・ゲオルギエフの合焦されたプレノプティックカメラ（例えば特許文献２を参照）では、図１３に示すＥＲＲが得られる。
【０１２９】
図１４は、Ｆ値をＦ＝５、フォトセンサの辺長をｐ＝０．００９ｍｍ、マイクロレンズの直径をＤ＝０．１５３ｍｍとして、これで１マイクロイメージ当たりＮ＝１７のフォトセンサと、フォトセンサ平面７１０及びマイクロレンズアレイ平面７１１間の離間Ｂ＝０．７６５ｍｍが得られる、一特定の実施例を実行するための、ＭＦＰＣ及び従来型プレノプティックカメラのＥＲＲの比較を示す。この構成における従来型プレノプティックカメラの場合、全てのマイクロレンズの合焦距離はＢに等しく設定される。ａに対して対応する有効解像度比率の分布はグラフ７３０に示されている。
【０１３０】
これに反して、本発明の多焦点プレノプティックカメラの場合、３つの有効解像度比率のグラフをマイクロレンズタイプの合焦距離ごとに一ずつ得た。この実施例において用いた３つの合焦距離は、ｆ１＝０．５２６ｍｍ、ｆ２＝０．５６７ｍｍ、ｆ３＝０．６１６ｍｍであり、対応するグラフは、それぞれ７３１、７３２、７３３である。これは、ＭＦＰＣが大きな深度範囲に亘って従来型プレノプティックカメラよりも遙かに高い解像度を呈することを示している。
【０１３１】
図１４における有効解像度比率のグラフは、全体カバー限界平面の外側で引いてあるだけであって、これは左方の全体カバー平面７２２と右方の全体カバー平面７２０との間では、得られた完全な画像を構築できないからである。図１４において引かれた全体カバー平面は、対応する多焦点プレノプティックカメラの全体カバー平面である。
【０１３２】
一般に、異なるタイプのマイクロレンズにおける合焦距離は、所定の用途に対して最適な解像度分布を呈するように調整できる。
【０１３３】
他の実施例として、異なる３タイプのマイクロレンズを有する２倍深度の多焦点プレノプティックカメラにおける有効解像度比率の分布を、図１５に示す。Ｉは像平面を表し、Ｌはマイクロレンズ平面を表す。ε1、ε2、ε3は、３タイプのマイクロレンズそれぞれの有効解像度比率であり、Δrは相対的な視差である。図１５は、像平面の前方及び後方に、拡大された高い有効解像度の領域を有する多焦点プレノプティックカメラの有効解像度比率及び視差を示す。これは、ν1における平面上の要素と−ν1における平面上の要素を高い有効解像度で再構築できるという効果を有する。これは、例えば、同時に合焦させる必要がある異なる深度における２つの平行な平面を被写体が有する場合に利用できる。
【０１３４】
なお原理的には、異なるマイクロレンズに関して、増加した数の異なる合焦距離も利用できる。またマイクロレンズアレイ上で合焦距離が略連続的に分布しておれば、プレノプティックカメラの全般的な性能を改善できる。
全体カバー限界
【０１３５】
左右の全体カバー平面は、得られた完全な画像上のどこからコンピュータで生成できるかの限度を与える。図１４に示す実施例に関して、得られた画像が、虚像空間内の全位置に関してコンピュータで生成でき、マイクロレンズアレイ平面からの虚像空間の距離ａは、｜ａ｜≧ｃ1を満足させる。数７で得られる最大の有効解像度比率ε（ａ）が１／｜ａ｜と共に変化するので、マイクロレンズアレイ平面及び全体カバー平面間の距離が大きくなるほど、最大限に達成可能（獲得可能）な有効解像度が低くなる。このためえＭＦＰＣの設計において、マイクロレンズアレイ平面及び全体カバー平面間の距離ｃ1を最低限に抑えることが必須となる。
【０１３６】
図５に示すように、等しい合焦距離のマイクロレンズと、稠密構造の（接触していても重なり合ってはいない）マイクロイメージとを有する一次元のマイクロレンズアレイ（直線配列）の場合、ｃ1の値は、マイクロレンズアレイ平面４２０及びフォトセンサ平面４４０間の距離Ｂと等しい。ゆえに２倍のカバー平面の距離ｃ２は、ｃ2＝２ｃ1となる。
【０１３７】
得られた画像の最大限に達成可能な有効解像度は、全体カバー限界を基にして求めることができる。全体カバー平面において｜ｓ｜≦ｐとなるような態様で、すなわち｜ａ｜＝ｃ1の場合、あるマイクロレンズタイプの合焦距離ｆが選択されれば、有効解像度は最大である。そうであれば、数２２から、εL＝１となり、よってε（ｃ1）＝Ｂ／ｃ1となる。ｃ1＝γＢ（ただしγは全体カバー係数）と書き表せば、ε（ｃ1）＝１／γということになる。よって、全数Ｎt2のフォトセンサを有する正方形のフォトセンサアレイの場合、最大限に達成可能な有効解像度は、数３５となる。
【０１３８】
【数３５】
【０１３９】
これは、全体カバー係数γが小さくなるほど、最大限に達成可能な有効解像度が大きくなることを示している。
【０１４０】
円形のマイクロレンズを有する二次元のマイクロレンズアレイの場合、ｃ１の値を計算するとき、マイクロレンズ同士のギャップを勘案しなくてはならない。図１６は、ｃ１の値を最小限にする３つの異なる合焦距離を有するＭＦＰＣのマイクロレンズアレイにおける円形のマイクロレンズの形態を示す。タイプ１（８２１）、タイプ２（８２２）、タイプ３（８２３）のマイクロレンズは、同じタイプである２つのマイクロレンズが直接隣接しないような態様で、六角形のグリッドで配列されている。
【０１４１】
図１４に示すように、各タイプのマイクロレンズは、虚像空間において特定の深度をカバーする。したがって、同じタイプのマイクロレンズの各サブアレイは、他のマイクロレンズのタイプとは独立に、得られた画像の生成を可能にする。図１７は、図１６に示す全マイクロレンズアレイにおけるタイプ１のマイクロレンズのサブアレイを示す。各マイクロレンズ９２１は、対応するマイクロイメージ９２２を有する。このようなマイクロイメージの組は、もはや稠密構造ではない。
【０１４２】
図１８におけるマイクロレンズ１０２１のマイクロイメージ１０２２に寄与する虚像空間のサブスペースは、マイクロ投影コーン１０２３内に存在する。全体カバー平面は、マイクロ投影コーンがギャップなしの全体カバー平面全体をカバーするような態様で、光学的軸１０３０に対して直角であって、またマイクロレンズアレイ平面１０２０に対して最も接近した平面である。図１８に示すマイクロ投影コーン１０２３は、全体カバー平面ちょうどまで延在する。ここでもＢがフォトセンサ平面１０１０及びマイクロレンズアレイ１０２０間の距離を示すとすれば、マイクロレンズアレイ及び全体カバー平面間の距離ｃ1は、このマイクロレンズ形態に関してｃ1＝２Ｂであり、すなわちγ＝２である。これは、３つの異なるタイプのマイクロレンズに関する最小値ｃ1である。
【０１４３】
図１９は、異なる合焦距離を有する円筒状マイクロレンズのラインで構成される他のマイクロレンズ形態を示す。同じタイプのマイクロレンズのラインに沿って、全体カバー係数はγ＝１であり、マイクロレンズのラインに対して直角方向の場合に全体カバー係数はγ＝３である。
【０１４４】
一般的に、ＭＦＰＣのマイクロレンズアレイにおける多様なマイクロレンズのマイクロイメージが重なり合わない限り、マイクロレンズは任意の形状とできる。例えば、平凸、両凸、平凹、両凹、凹凸、又はこれらを組み合わせたものであってもよい。さらに、マイクロレンズ平面におけるマイクロレンズの形状は、円形、楕円形、正方形、又はいくつかの任意の不規則な形状であってもよい。マイクロレンズの表面形状は、球面又は非球面であってもよい。各マイクロレンズの代わりに、撮像システムの光学的特性を改善するためにマイクロレンズシステムが配置されてもよい。例えば、マイクロイメージを稠密構造にしておきながら、主レンズの可変なＦ値にできるようにするために、このようなマイクロレンズシステムにおける別個の要素間の距離も可変にしておいてもよい。
マイクロレンズアレイの形態
【０１４５】
アレイから１個おきにマイクロレンズを取り除くと全体カバー平面を突出させるだけであって、マイクロレンズ平面からの特定距離における視差を減ずることは以前から注目されていた。しかしながら、特定の位置において有効解像度を減ずることはない。これは、本明細書において紹介された基本的に新たな概念であり、これにより、拡張された被写界深度のような、改良された特性を有するプレノプティックカメラの設計が可能になる。
【０１４６】
図２０及び図２１は、直交型及び六角形のマイクロレンズアレイそれぞれにおけるタイプ１及びタイプ２のマイクロレンズの分布を示す。タイプ１及びタイプ２のマイクロレンズは、合焦距離が異なるのみであって、その他全てのパラメータは一定である。２つの異なるタイプのレンズを有する多焦点プレノプティックカメラに関する間隔係数と間隔比率の積は、直交型の場合でも六角型の場合でも同じである。図２２及び図２３で判るように、両方の場合においてκγ＝２である。
【０１４７】
３つの異なるタイプのマイクロレンズを使う場合、六角形及び直交型のアレイにおいてレンズのタイプを混合させることは、図２４（図２６の１１１０も参照）及び図２５（図２７の１２１０も参照）それぞれに示されている。３つの異なるタイプのレンズを有する多焦点プレノプティックカメラに関する間隔係数κと間隔比率γの積は、直交型及び六角形の場合で異なる。直交型の場合は、次式となる。
【０１４８】
【数３６】
【０１４９】
また六角形の場合は、次式となる。
【０１５０】
【数３７】
【０１５１】
これは、図２４及び図２５それぞれに示されている。したがって、六角形のマイクロレンズアレイにおいて、全体カバー平面は、２つ又は３つの異なるタイプのマイクロレンズが使われているかどうかとは無関係に、全体カバー平面は、マイクロレンズ平面からの距離が同じである。このように、３つの異なるタイプのマイクロレンズを用いることは好適である。
【０１５２】
一般的に、任意数の異なるタイプのマイクロレンズを用いてＭＦＰＣを設計できる。図２６は、対応する数のマイクロレンズタイプに対して最小値ｃ1を有するマイクロレンズの形態に関して、いくつかの実施例を示している。これらの形態における特定のマイクロレンズの各サブアレイは規則的であり、同じ値γを有する。
形態１１１０：γ＝２である３タイプのマイクロレンズ
形態１１２０：γ＝１＋１／ｃｏｓ（π／６）≒２．１５である４タイプのマイクロレンズ
形態１１３０：γ＝１＋３／［２ｃｏｓ（π／６）］≒２．７３である９タイプのマイクロレンズ
形態１１４０：γ＝３である１２タイプのマイクロレンズ
【０１５３】
好ましくは、異なるタイプのマイクロレンズに関する規則的なグリッド形態は、同じタイプのマイクロレンズの各サブアレイが規則的な六角形のグリッドを形成しているグリッド形態である。マイクロレンズアレイにおける異なるタイプの多数のマイクロレンズは、各タイプのマイクロレンズが虚像空間において小さな深度範囲をカバーでき、例えば比較的小さなフォトセンサの場合に有用となる。
【０１５４】
用途次第では、同じタイプのマイクロレンズの不規則な分布を有することも望ましいと言える。図２７は、異なるタイプのマイクロレンズの不規則な形態に関していくつかの実施例を示している。
形態１２１０：直交型のグリッドである３タイプのマイクロレンズ
形態１２２０：六角形のグリッドである２タイプのマイクロレンズ
形態１２３０：六角形のグリッドである３タイプのマイクロレンズ
形態１２４０：六角形のグリッドである２タイプのマイクロレンズ
【０１５５】
形態１２３０の場合、タイプ１のマイクロレンズは中心部に集中しており、タイプ２のマイクロレンズは中心部周りでリングを形成している。タイプ３のマイクロレンズは、さらにタイプ２のマイクロレンズ周りでリングを形成している。このようにして同じタイプのマイクロレンズの各グループが、虚像空間の特定部分に関する高い空間的解像度で以て、得られた画像の生成を可能にする。
【０１５６】
形態１２４０の場合、タイプ１のマイクロレンズの密度は、タイプ２のマイクロレンズの密度よりも低い。この場合に限って、タイプ１のマイクロレンズに関する全体カバー係数はγ＝１＋ｔａｎ（π／３）≒２．７３であって、タイプ２のマイクロレンズに関してはγ＝２である。
複数のマイクロレンズアレイを有するプレノプティックカメラ
【０１５７】
多焦点プレノプティックカメラ以外にも、一だけのマイクロレンズアレイではなく、多数のマイクロレンズアレイを光軸に沿って用いることによって、プレノプティックカメラの機能性をさらに拡張できる。２つのマイクロレンズアレイを有するそのような構造の実施例が図２８に概略的に示されている。この実施例において、２つのマイクロレンズアレイは両凸のマイクロレンズで構成されているが、マイクロレンズアレイ１におけるマイクロレンズは、マイクロレンズアレイ２におけるマイクロレンズよりも小さな直径を有しており、不透明な開口で包囲されている。一般に、レンズタイプを適切なマイクロ開口アレイと任意に組み合わせたものが可能であり、プレノプティックカメラの機能性を拡張できる。
【０１５８】
図２８に示す構造によれば、マイクロレンズアレイ２及び像平面間の離間Ｂと、２つのマイクロレンズアレイ間の離間ｄは適切な機械的構造により可変に保たれる。適切な方法でＢ及びｄを変化させることにより、主レンズシステムのＦ値を変化させるために、一定した直径Ｄ2のマイクロイメージが生成できることを確実にできる。このようにして、複数のマイクロレンズアレイを有するプレノプティックカメラは、変化するＦ値を有するズームレンズか、通常は異なるＦ値を有する異なる固定された合焦距離のレンズで使用した場合にも、一定した有効解像度を達成できる。
【０１５９】
当業者にとって、図２８に示す基本的な実施例を、異なるタイプのマイクロレンズを有するより多くのマイクロレンズアレイを組み合わせることに拡大して、同様の効果を得るのは単純なことである。別の実施例として、複数のマイクロレンズアレイを有するプレノプティックカメラにおけるマイクロレンズのそれぞれを異なる合焦距離のマイクロレンズで構成する例が挙げられる。
３．画像レンダリング
【０１６０】
光軸に沿ったマイクロレンズ平面からの距離ｚに像平面が位置決めされていたならば、光軸に対して直角である像平面上の位置（ｘ，ｙ）において現れたであろう強度値（色値）をレンダリングするために、以下の手順が適用される。
１．（ｘ，ｙ）における点を実際に見ているマイクロレンズの組を見つけ出す。これらのマイクロレンズは、それらの中心部が（ｘ，ｙ）の正射投影を中心にした半径ｒの円内でマイクロレンズの平面上に位置するようなマイクロレンズ全てである。半径ｒはｒ＝（ｚＤ）／（２Ｂ）から求められる。
２．これらのマイクロレンズそれぞれに関して、点（ｘ，ｙ）が各マイクロレンズによって投影される像平面上の画素位置を算出する。
３．最終的な強度値は、前工程において算出された画素位置における像平面上の強度値を加重平均したものである。重み付けは、点（ｘ，ｙ，ｚ）の投影のための画素位置それぞれにおける強度減衰量を示す較正データから取り出せる。
【０１６１】
この方法は、単に平面ではなく、任意の表面上で画像を再構築することを可能にする。これは、湾曲した表面をどこでも合焦させなくてはならない用途には必須である。得られた望ましい解像度は、レンダリング点の増分量を変化させることで簡単に設定でき、これはスーパーサンプリングも含む。
【０１６２】
多焦点プレノプティックカメラ用の本発明による画像レンダリング方法は、上述した方法に基づいている。点の強度値を評価するのに使用するマイクロレンズの選択において、マイクロレンズ平面からの点の距離を考慮する。各距離に関して、色値を最適に評価するのに使用できる一組のマイクロレンズが存在する。一組の光線から画像を合成するためのマイクロレンズ構成及びフォトセンサアレイに関する一次元又は二次元アレイで用いるための、本発明による画像レンダリング方法は、以下の工程、
主レンズ及びフォトセンサアレイにおいて一組の光線を収集して、この一組の光線を特徴づける光のデータを出力する工程と、
主レンズ及びフォトセンサアレイ間に位置決めされたマイクロレンズアレイによって、前記一組の光線を主レンズからフォトセンサアレイに指向させる工程と、
マイクロレンズアレイに対する相対的な位置決め機構においてフォトセンサアレイを設定して、フォトセンサアレイにより収集された光の方向的な特徴を選択的に検出しやすくする工程と、
主レンズ、マイクロレンズアレイ、及びフォトセンサアレイの構成及び相対的位置の関数として光のデータを使って、合成され再フォーカスされた画像を、画像データプロセッサを用いて演算する工程と、
を含み、
合成され再フォーカスされた画像は、フォトセンサアレイによって収集されたままの光線の一組に関する仮想のリダイレクトを表しており、（ｘ，ｙ）における点を実際に見ているマイクロレンズの組は、どのマイクロレンズが（ｘ，ｙ）の正射投影を中心にした半径ｒの円内でマイクロレンズの平面上に位置する中心部を有しているかを見つけ出すことにより選択される。ここで、半径ｒはｒ＝（ｚＤ）／（２Ｂ）である。これらのマイクロレンズそれぞれに関して、点（ｘ，ｙ）が各マイクロレンズによって投影される像平面上の画素位置が計算され、画素が画像として表示される。
【０１６３】
さらに、一組の光線から画像を合成するデジタル撮像方法は、前工程で計算された画素位置における像平面上の色値の加重平均として最終的な色値を見つけ出すために重み付けを行ってもよい。
【０１６４】
設定された一組の光線から画像を合成するための如何なるデジタル撮像方法も、次に、点（ｘ，ｙ，ｚ）を投影するための画素位置それぞれにおける強度減衰量を示す較正データから重みを取り出せる。
好ましい実施例の特長
【０１６５】
図２９は、図２６の１１１０で示したマイクロレンズアレイの形態を用いる場合、ＭＦＰＣのフォトセンサ平面上に作製されたRAW画像の実施例を示す。撮像された被写体は、３タイプのマイクロレンズの一において最適に合焦しているだけである。得られた画像をこのタイプのRAW画像から生成するために、以下の画像レンダリングアルゴリズムが用いられ、フォトセンサアレイから読み取られたRAW画像データを処理する。画像レンダリング処理に関する詳細を、図３０と、図３１のフローチャートに基づいて以下に説明する。
【０１６６】
Ｓ１．虚像表面（１５３０）を選択する。虚像空間の座標系内のｚ成分は、撮像システムの光軸と平行であり、焦点深度を規定する。この虚像表面（１５３０）は、図示した通りに湾曲した表面又は任意形状の表面若しくは平坦な表面である。虚像表面は、特定タイプの既知の被写体と同じ形状を有する態様で選定でき、そのため、得られた画像は、撮像された被写体が既知の形状から偏向していない場合、どこでも合焦している。一実施例として、ある被写体を撮像するために本発明のプレノプティックカメラが使用される。例えば製造工程において、円筒状の製品を監視する目的で、選定された虚像表面が被写体の表面と一致し、そして、例えば円筒状の虚像表面が選択される。
【０１６７】
虚像表面（１５３０）を、必ずしも規則的に分布しているとは言えない虚像点の組に分割する。これらの虚像点の組は、得られた画像を形成する。
【０１６８】
Ｓ２．第１／他の虚像点を選択する。
虚像点それぞれに関して、以下のことを行う。
【０１６９】
Ｓ３．選択された虚像点（１５３１）に関して、虚像点のｚ値において最大の有効解像度比率を有するマイクロレンズサブアレイ中の特定タイプのマイクロレンズ群（共通の合焦距離を有するマイクロレンズのグループ）を選択する。
【０１７０】
例えば、図３０のｚ軸は、図１４の水平軸である。したがって、図７の例示的なマイクロレンズ形態において、ｚ＝３ｍｍにおける最良のマイクロレンズタイプはタイプ２である。
【０１７１】
Ｓ４．ｚ＝０に存在するものとしてみなされる、マイクロレンズアレイ平面（１５２０）上に虚像点（１５３１）を投影する。
【０１７２】
Ｓ５．虚像点の強度値に寄与できるマイクロイメージは、対応する微細な投影錐状体が虚像点（１５３１）を含んでいるマイクロイメージである。これは、全てのマイクロレンズの微細な投影錐状体の場合であって、これらマイクロレンズの中心は、投影された虚像点１５３２）周りの半径Ｒmaxの円内に存在する。値ＲmaxはＲmax＝（ｚＤ）／（２Ｂ）から求められ、ただし、Ｄはマイクロレンズの直径、Ｂはフォトセンサ平面（１５１０）及びマイクロレンズアレイ平面（１５２０）間の距離である。
【０１７３】
Ｓ６．マイクロレンズのマイクロイメージが虚像点の強度値に寄与できるマイクロレンズに関して、虚像点及びマイクロレンズ中心を通過するラインとフォトセンサ平面との交差点を見つけ出す。これらの交差点をRAW画像点と呼ぶ。図３０の実施例において、RAW画像点は、点Ｐ１（１５３３）、点Ｐ２（１５３４）、及び点Ｐ３（１５３５）である。
【０１７４】
Ｓ７．各RAW画像点に関して、対応するRAW画像強度として、フォトセンサの中心がRAW画像点に最接近しているフォトセンサの強度値（RAW画像データ）を選択する。実際の虚像点の最終的な強度値は、対応するRAW画像強度の平均値である。すなわち、RAW画像データの強度が加算され、それぞれのRAW画像点の数で除算される。
【０１７５】
Ｓ８．全ての虚像点が処理されたかどうかをチェックする。未処理の場合、工程Ｓ２に戻る。処理済みの場合、平均化されたRAW画像の強度を用いて得られるデジタル画像を作製する。その後に、このデジタル画像を出力、例えばディスプレイでの表示、印刷、記録、又はデータストレージに記憶できる。
【０１７６】
得られた画像の画質を改良するために、この分野の専門家に周知の既知の画像処理方法を用いて、この基本的なアルゴリズムを幾通りにも変更可能である。このような変形例の幾つかは、例えば以下の通りである。
【０１７７】
RAW画像データは以下の処理で改良できる。
−フォトセンサを飽和させずに、対応するRAW画像の強度が極力高くなる態様で、ＭＦＰＣを用いて均質的に白い表面の較正画像を取り出す。
−ＭＦＰＣを用いて望まれるシーンの画像を取り出す。
−望まれるシーンに関するRAW画像データを較正済みのRAW画像データで除算する。このようにして、光学システム及びフォトセンサ感度による強度の変化をRAW画像から除去する。
【０１７８】
得られた画像におけるエイリアシング効果は、画像レンダリングアルゴリズムの工程Ｓ７を以下の処理に置換することにより、減少できる。
−各RAW画像点に関して、RAW画像点を取り囲んだフォトセンサの組から対応するRAW画像強度を算出する。これは、組になったフォトセンサの平均強度値、又はRAW画像点からのフォトセンサ中心の距離を勘案した補間強度値ともなる。このように多数の補間アルゴリズムが現在の技術水準として周知である。
−画像レンダリングアルゴリズムの工程Ｓ３は、次のものに置き換え得る。各選択された虚像点（１５３１）に関して全てのマイクロレンズタイプを常用する。
−対応する解像度比率εLが所与の値に関してεL≦１を満足させるような全てのマイクロレンズタイプを使用し、斯かるマイクロレンズタイプが存在しない場合、最小のεL（解像度比率）を有するマイクロレンズタイプを使用する。
４．他の用途
【０１７９】
多焦点プレノプティックカメラ及び複数のマイクロレンズアレイを有するプレノプティックカメラ又はこれらを組み合わせたものに関する上述の方法は、単列式カメラ、多列式カメラ、ハンドヘルドスキャナ、フラットベッドスキャナ、又は写真式複写機のような、一次元の感光性装置にも応用できる。
【０１８０】
単列式カメラ、ハンドヘルドスキャナ、フラットベッドスキャナ、又は写真式複写機の場合、光受容器の光路に配置された円筒状レンズの一次元アレイが単一又は多数でも十分であろうが、他タイプのレンズも可能である。通常の装置に比べて、斯かる構造の利点は、走査される表面が平坦であったり、走査平面と心合している必要がないことである。すなわち、非平坦な表面をどこでも合焦でき、また記録された表面の３Ｄ形状も再現できる。対応するレンダリングアルゴリズム及び深度推定アルゴリズムは、一次元のマイクロレンズだけが画像に寄与するというように簡素化しており、以前と同じものである。
【０１８１】
多列式のプレノプティックカメラは、光路に配置された単列又は多列のマイクロレンズを有する平行な多列の光受容器を有する。特定の時間間隔で画像を記録している間に、このようなカメラの下で被写体を移動させるとき、又は被写体の上でカメラを移動させるとき、二次元のプレノプティックカメラのデータセットに相当するデータセットが構築できる。ここでまた、一次元のマイクロレンズラインにおけるマイクロレンズは、異なる合焦距離を有し得るか、多数の斯かるマイクロレンズラインが光路に沿って配置され得るか、又はその両方とできる。斯かる構造の利点は、非常に高い解像度の画像が生成できることである。
【０１８２】
上述の詳細説明、図面、及び特許請求の範囲において開示した本発明の特長は、単独のままであっても組み合わせた状態であっても、多様な実施形態において本発明を実現するために重要なものであり得る。
【符号の説明】
【０１８３】
１００…多焦点プレノプティックカメラ
１１０…主レンズ
１１１…光軸
１１２…矢線
１２０…フォトセンサ平面
１３０…被写体
１３１…虚像
２００…デジタル撮像装置
２１０…主レンズ
２１１…矢線
２２０…フォトセンサアレイ平面
２２１…マイクロレンズアレイ
２２２…マイクロレンズ
２３０…被写体
２３１…虚像
２３２…仮想の像平面
３１１…主レンズ
３２２…マイクロレンズアレイ
３３０…フォトセンサ平面（像平面）
３４０…被写体
３４１…虚像
３４２…最適焦点の像平面
３４３…マイクロイメージ
４２０…マイクロレンズ平面
４２１…マイクロレンズ
４２２…マイクロイメージ
４２３…極値的な投影光線
４２４…極値的な投影光線
４３０…全体カバー平面
４３１…二重カバー平面
４４０…フォトセンサ平面
５１０…単一のマイクロレンズ
５１１…マイクロレンズ平面
５２１…光線
５２２…光線
５３０…フォトセンサ平面
６１０…単一のマイクロレンズ
６２０…光の方向
７１０…フォトセンサ平面
７１１…マイクロレンズアレイ平面
７２０…右方の全体カバー平面
７２２…左方の全体カバー平面
７３０…グラフ
７３１…グラフ
７３２…グラフ
７３３…グラフ
８２１…タイプ１のマイクロレンズ
８２２…タイプ２のマイクロレンズ
８２３…タイプ３のマイクロレンズ
９２１…マイクロレンズ
９２２…マイクロイメージ
１０１０…フォトセンサ平面
１０２０…マイクロレンズアレイ平面
１０２１…マイクロレンズ
１０２２…マイクロイメージ
１０２３…マイクロ投影コーン
１０３０…光学的軸
１１１０…形態１１１０
１１２０…形態１１２０
１１３０…形態１１３０
１１４０…形態１１４０
１２１０…形態１２１０
１２２０…形態１２２０
１２３０…形態１２３０
１２４０…形態１２４０
１５１０…フォトセンサ平面
１５２０…マイクロレンズアレイ平面
１５３０…虚像表面
１５３１…虚像点
１５３２…投影された虚像点
１５３３…点Ｐ１
１５３４…点Ｐ２
１５３５…点Ｐ３
【特許請求の範囲】
【請求項１】
所定の像平面に配置された複数のフォトセンサを有するフォトセンサアレイと、
被写体からの光をフォトセンサアレイに対して指向させるよう配置された複数のマイクロレンズを有するマイクロレンズアレイと、
を備えており、前記フォトセンサアレイ及び前記マイクロレンズアレイは所定の距離を置いて配置されてなる、プレノプティック光学装置における画像を合成するよう構成されたデジタル撮像システムであって、
マイクロレンズは、マイクロレンズアレイ上において変化する異なる合焦距離を有しており、また
フォトセンサアレイに関する前記像平面は、フォトセンサアレイ及びマイクロレンズアレイ間の距離がマイクロレンズの合焦距離と不等であるような態様で配置されることを特徴とするデジタル撮像システム。
【請求項２】
請求項１に記載のデジタル撮像システムであって、
前記マイクロレンズアレイは、共通の合焦距離を有する数組のマイクロレンズを有しており、異なる組のマイクロレンズは異なる合焦距離を有することを特徴とするデジタル撮像システム。
【請求項３】
請求項１または２に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、２つ又は３つの異なる合焦距離から選択されることを特徴とするデジタル撮像システム。
【請求項４】
請求項１又は２に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、４つ以上の異なる合焦距離から選択されることを特徴とするデジタル撮像システム。
【請求項５】
請求項１〜４のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、このマイクロレンズに最も接近したマイクロレンズそれぞれの合焦距離とは異なることを特徴とするデジタル撮像システム。
【請求項６】
請求項１〜５のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズそれぞれは、各マイクロレンズの合焦距離に依存する有効解像度比率と、マイクロレンズアレイからの深度距離とを呈し、また
マイクロレンズの合焦距離は、有効解像度比率が深度距離の隣接範囲において相補性の最大値を有することを特徴とするデジタル撮像システム。
【請求項７】
請求項１〜６のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズは、等しい合焦距離を有するマイクロレンズが規則的なグリッドを呈する態様で配置されることを特徴とするデジタル撮像システム。
【請求項８】
請求項７に記載のデジタル撮像システムであって、
マイクロレンズは、等しい合焦距離を有するマイクロレンズが直交型又は六角形のグリッドを呈することを特徴とするデジタル撮像システム。
【請求項９】
請求項１〜８のいずれか一に記載のデジタル撮像システムであって、
フォトセンサアレイ及びマイクロレンズアレイ間の距離は、フォトセンサアレイ及びマイクロレンズアレイの可変式又は固定式連結体を備えた制御構体により設定されることを特徴とするデジタル撮像システム。
【請求項１０】
請求項１〜９のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズアレイは、マイクロレンズの一次元又は二次元アレイであることを特徴とするデジタル撮像システム。
【請求項１１】
請求項１〜１０のいずれか一に記載のデジタル撮像システムであって、
共通の合焦距離を有する全てのマイクロレンズが同一の直径を有することを特徴とするデジタル撮像システム。
【請求項１２】
請求項１〜１１のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズアレイにおける全てのマイクロレンズが同一の直径を有することを特徴とするデジタル撮像システム。
【請求項１３】
請求項１〜１２のいずれか一に記載のデジタル撮像システムであって、さらに、
被写体からの光をマイクロレンズアレイに対して指向させるよう配置された複数のマイクロレンズを有する少なくとも一の補助的マイクロレンズアレイを備えることを特徴とするデジタル撮像システム。
【請求項１４】
請求項１〜１３のいずれか一に記載のデジタル撮像システムであって、さらに、
異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズアレイに対するフォトセンサの相対的位置と感知された光の入射角として、合成画像を特徴づける画像データを提供するためにコンピュータでプログラム可能なプロセッサを備えることを特徴とするデジタル撮像システム。
【請求項１５】
主レンズ光学系と、
請求項１〜１４のいずれか一に記載のデジタル撮像システムと、
を備えることを特徴とするプレノプティック光学装置。
【請求項１６】
請求項１５に記載のプレノプティック光学装置であって、
デジタル撮像システムのマイクロレンズアレイは、主レンズ光学系の焦線に配置され、被写体からの光を主レンズ光学系経由でフォトセンサアレイに対して指向させ、また、
主レンズ光学系における焦線の特定部分を通過する一組の光線に関し、複数のフォトセンサが配置され、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知することを特徴とするプレノプティック光学装置。
【請求項１７】
請求項１５又は１６に記載のプレノプティック光学装置であって、
カメラ装置、走査装置、又は顕微鏡装置であることを特徴とするプレノプティック光学装置。
【請求項１８】
請求項１〜１４に記載のデジタル撮像システム又は請求項１５〜１７に記載のプレノプティック光学装置を用いて収集された画像データを処理するための方法であって、
フォトセンサアレイを用いて収集されたRAW画像データを提供する工程と、
虚像点を含む所定の虚像表面を提供する工程と、
各虚像点に関して、
マイクロレンズの合焦距離に応じて、フォトセンサアレイ上の虚像点を撮像するために最大の有効解像度比率を有する一組のマイクロレンズを選択する工程と、
マイクロレンズアレイ平面上に虚像点を投影する工程と、
虚像点の強度値に寄与するマイクロレンズの選択された組のマイクロイメージを検出する工程と、
RAW画像点に関するRAW画像データが虚像点の強度値に寄与するようなRAW画像点を選択する工程と、
RAW画像点におけるRAW画像データに関する平均化されたRAW画像強度を検出する工程と、
前記平均化されたRAW画像強度を備えたデジタル画像を生成する工程と、
を含むことを特徴とする画像データを処理するための方法。
【請求項１９】
請求項１８に記載の画像データ処理方法であって、
虚像表面は仮想の像平面であるか、又は撮像対象の被写体に適応した表面であることを特徴とする画像データ処理方法。
【請求項２０】
請求項１８又は１９に記載の画像データ処理方法であって、
デジタル画像を生成する前記工程は、多様な虚像表面を求めて繰り返されることを特徴とする画像データ処理方法。
【請求項１】
所定の像平面に配置された複数のフォトセンサを有するフォトセンサアレイと、
被写体からの光をフォトセンサアレイに対して指向させるよう配置された複数のマイクロレンズを有するマイクロレンズアレイと、
を備えており、前記フォトセンサアレイ及び前記マイクロレンズアレイは所定の距離を置いて配置されてなる、プレノプティック光学装置における画像を合成するよう構成されたデジタル撮像システムであって、
マイクロレンズは、マイクロレンズアレイ上において変化する異なる合焦距離を有しており、また
フォトセンサアレイに関する前記像平面は、フォトセンサアレイ及びマイクロレンズアレイ間の距離がマイクロレンズの合焦距離と不等であるような態様で配置されることを特徴とするデジタル撮像システム。
【請求項２】
請求項１に記載のデジタル撮像システムであって、
前記マイクロレンズアレイは、共通の合焦距離を有する数組のマイクロレンズを有しており、異なる組のマイクロレンズは異なる合焦距離を有することを特徴とするデジタル撮像システム。
【請求項３】
請求項１または２に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、２つ又は３つの異なる合焦距離から選択されることを特徴とするデジタル撮像システム。
【請求項４】
請求項１又は２に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、４つ以上の異なる合焦距離から選択されることを特徴とするデジタル撮像システム。
【請求項５】
請求項１〜４のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズそれぞれの合焦距離は、このマイクロレンズに最も接近したマイクロレンズそれぞれの合焦距離とは異なることを特徴とするデジタル撮像システム。
【請求項６】
請求項１〜５のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズそれぞれは、各マイクロレンズの合焦距離に依存する有効解像度比率と、マイクロレンズアレイからの深度距離とを呈し、また
マイクロレンズの合焦距離は、有効解像度比率が深度距離の隣接範囲において相補性の最大値を有することを特徴とするデジタル撮像システム。
【請求項７】
請求項１〜６のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズは、等しい合焦距離を有するマイクロレンズが規則的なグリッドを呈する態様で配置されることを特徴とするデジタル撮像システム。
【請求項８】
請求項７に記載のデジタル撮像システムであって、
マイクロレンズは、等しい合焦距離を有するマイクロレンズが直交型又は六角形のグリッドを呈することを特徴とするデジタル撮像システム。
【請求項９】
請求項１〜８のいずれか一に記載のデジタル撮像システムであって、
フォトセンサアレイ及びマイクロレンズアレイ間の距離は、フォトセンサアレイ及びマイクロレンズアレイの可変式又は固定式連結体を備えた制御構体により設定されることを特徴とするデジタル撮像システム。
【請求項１０】
請求項１〜９のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズアレイは、マイクロレンズの一次元又は二次元アレイであることを特徴とするデジタル撮像システム。
【請求項１１】
請求項１〜１０のいずれか一に記載のデジタル撮像システムであって、
共通の合焦距離を有する全てのマイクロレンズが同一の直径を有することを特徴とするデジタル撮像システム。
【請求項１２】
請求項１〜１１のいずれか一に記載のデジタル撮像システムであって、
マイクロレンズアレイにおける全てのマイクロレンズが同一の直径を有することを特徴とするデジタル撮像システム。
【請求項１３】
請求項１〜１２のいずれか一に記載のデジタル撮像システムであって、さらに、
被写体からの光をマイクロレンズアレイに対して指向させるよう配置された複数のマイクロレンズを有する少なくとも一の補助的マイクロレンズアレイを備えることを特徴とするデジタル撮像システム。
【請求項１４】
請求項１〜１３のいずれか一に記載のデジタル撮像システムであって、さらに、
異なるフォトセンサにおいて感知された光の関数として、すなわちマイクロレンズアレイに対するフォトセンサの相対的位置と感知された光の入射角として、合成画像を特徴づける画像データを提供するためにコンピュータでプログラム可能なプロセッサを備えることを特徴とするデジタル撮像システム。
【請求項１５】
主レンズ光学系と、
請求項１〜１４のいずれか一に記載のデジタル撮像システムと、
を備えることを特徴とするプレノプティック光学装置。
【請求項１６】
請求項１５に記載のプレノプティック光学装置であって、
デジタル撮像システムのマイクロレンズアレイは、主レンズ光学系の焦線に配置され、被写体からの光を主レンズ光学系経由でフォトセンサアレイに対して指向させ、また、
主レンズ光学系における焦線の特定部分を通過する一組の光線に関し、複数のフォトセンサが配置され、異なる入射角で焦線の特定部分に同時に到達する光線の組のうち異なるものを感知することを特徴とするプレノプティック光学装置。
【請求項１７】
請求項１５又は１６に記載のプレノプティック光学装置であって、
カメラ装置、走査装置、又は顕微鏡装置であることを特徴とするプレノプティック光学装置。
【請求項１８】
請求項１〜１４に記載のデジタル撮像システム又は請求項１５〜１７に記載のプレノプティック光学装置を用いて収集された画像データを処理するための方法であって、
フォトセンサアレイを用いて収集されたRAW画像データを提供する工程と、
虚像点を含む所定の虚像表面を提供する工程と、
各虚像点に関して、
マイクロレンズの合焦距離に応じて、フォトセンサアレイ上の虚像点を撮像するために最大の有効解像度比率を有する一組のマイクロレンズを選択する工程と、
マイクロレンズアレイ平面上に虚像点を投影する工程と、
虚像点の強度値に寄与するマイクロレンズの選択された組のマイクロイメージを検出する工程と、
RAW画像点に関するRAW画像データが虚像点の強度値に寄与するようなRAW画像点を選択する工程と、
RAW画像点におけるRAW画像データに関する平均化されたRAW画像強度を検出する工程と、
前記平均化されたRAW画像強度を備えたデジタル画像を生成する工程と、
を含むことを特徴とする画像データを処理するための方法。
【請求項１９】
請求項１８に記載の画像データ処理方法であって、
虚像表面は仮想の像平面であるか、又は撮像対象の被写体に適応した表面であることを特徴とする画像データ処理方法。
【請求項２０】
請求項１８又は１９に記載の画像データ処理方法であって、
デジタル画像を生成する前記工程は、多様な虚像表面を求めて繰り返されることを特徴とする画像データ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２９】
【図３０】
【公表番号】特表２０１２−５２５０２８（Ｐ２０１２−５２５０２８Ａ）
【公表日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１２−５０６３４５（Ｐ２０１２−５０６３４５）
【出願日】平成２１年１２月４日（２００９．１２．４）
【国際出願番号】ＰＣＴ／ＥＰ２００９／００８６８２
【国際公開番号】ＷＯ２０１０／１２１６３７
【国際公開日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５１１２５６２９９）ライトリックス・ゲー・エム・ベー・ハー (1)
【氏名又は名称原語表記】Ｒａｙｔｒｉｘ ＧｍｂＨ
【Ｆターム（参考）】
【公表日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２１年１２月４日（２００９．１２．４）
【国際出願番号】ＰＣＴ／ＥＰ２００９／００８６８２
【国際公開番号】ＷＯ２０１０／１２１６３７
【国際公開日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５１１２５６２９９）ライトリックス・ゲー・エム・ベー・ハー (1)
【氏名又は名称原語表記】Ｒａｙｔｒｉｘ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]