撮像装置および撮像光学系
【課題】簡易な構成で高解像度のライトフィールドを取得可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像素子と、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役となるように配置されたレンズアレイとを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【解決手段】撮像装置は、撮像素子と、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役となるように配置されたレンズアレイとを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズアレイを備えた撮像装置、および撮像光学系に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体面上での２次元的な光の強度分布と視差情報（合わせて「ライトフィールド」という。）を同時に取得する「Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ」が開示されている。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、画像のピント位置や被写界深度等を変更することができる。
【０００３】
しかし、このような撮像装置は、撮像素子の画素を光の２次元強度分布の保存に加え、視差情報の保存にも利用する必要がある。このため、光の２次元強度分布のみを記憶する撮像装置に対して、空間解像度が低下する。そこで非特許文献２には、主レンズ群によって形成された像面のある一点を、レンズアレイの各レンズが画素に対して異なる位置に結像させる構成が開示されている。そして、このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化する。このような高解像度化手法を「画素ずらし効果」という。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，“Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ”，Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８
【非特許文献２】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ、ｅｔ ａｌ．，“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ”，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献２では、高い解像度を得るために必要となる具体的な構成については何ら開示されていない。
【０００６】
そこで本発明は、簡易な構成で高解像度のライトフィールドを取得可能な撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、撮像素子と、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役となるように配置されたレンズアレイとを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【０００８】
本発明の他の側面としての撮像光学系は、撮像素子に被写体からの光線を集光する撮像光学系であって、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役になるように配置されたレンズアレイを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、簡易な構成で高解像度のライトフィールドを取得可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１、３、４における撮像光学系の概略構成図である。
【図２】実施例２における撮像光学系の概略構成図である。
【図３】本実施形態における撮像装置のブロック図である。
【図４】本実施形態における画素ずらし効果の説明図である。
【図５】本実施形態における撮像光学系の配置の説明図である。
【図６】本実施形態における撮像素子上の像の説明図である。
【図７】距離σ１に対する画素ずれ量を表わす図である。
【図８】距離σ１に対する画素ずれの割合を示す図である。
【図９】実施形態における小レンズのオーバーラップ数の説明図である。
【図１０】本実施形態における画素ずらし効果を含めた空間解像度の説明図である。
【図１１】距離σ１と空間解像度比の関係を示す図である。
【図１２】実施例１における撮像光学系の断面図である。
【図１３】実施例２における撮像光学系の断面図である。
【図１４】実施例３、４における撮像光学系の断面図である。
【図１５】実施例４における画像処理システムの構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１３】
本実施形態の撮像装置は、レンズアレイを用いてライトフィールドを取得するように構成されており、レンズアレイを適切な位置に配置して効率的な高解像度化を実現することができる。まず図１及び図２を参照して、撮像装置（および、撮像装置から少なくとも撮像素子を除いて構成される撮像光学系）の概略構成について説明する。図１は後述の実施例１、３、４における撮像光学系の概略構成図であり、図２は後述の実施例２における撮像光学系の概略構成図である。
【００１４】
図１及び図２に示されるように、撮像光学系は、開口絞り（不図示）を備えた主レンズ群１０１（光学系）を有する。また図２では、その結像面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）より後方（像側）にレンズアレイ１０２及び撮像素子１０３が配置されている。レンズアレイ１０２は、主レンズ群１０１の像側共役面２０２と撮像素子１０３とがレンズアレイ１０２の一対の共役面に対応するように配置されている。
【００１５】
被写体面２０１からの光線は、主レンズ群１０１及びレンズアレイ１０２を介して撮像素子１０３へ入射する。このとき、主レンズ群１０１の結んだ（集光作用により形成された）実像はレンズアレイ１０２により再結像され、被写体面２０１上での光線の位置と角度に応じてその光線が撮像素子１０３の異なる複数の画素に入射する。この結果、撮像素子１０３は、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像を取得する。一方、図１では、レンズアレイ１０２が主レンズ群１０１の結像面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）よりも前方（物体側）に配置され、ライトフィールドが取得される。しかし、いずれの場合でも被写体面２０１に対する主レンズ群１０１の像を、レンズアレイ１０２が物体として見てその像を撮像素子１０３へ結ぶため、本質的には同じである。
【００１６】
次に、図３を参照して、本実施形態における撮像装置の構成について説明する。図３は、本実施形態における撮像装置のブロック図である。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。主レンズ群１０１及びレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１７】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基いた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００１８】
続いて、レンズアレイ１０２の適切な位置について説明する。初めにライトフィールド取得に伴う解像度の劣化について述べ、次に画素ずらし効果による高解像度化に最適な条件を求める。また、画素ずらし効果に対するレンズアレイ１０２の配置敏感度を抑制する条件についても説明する。説明を分かりやすくするため、以下の計算は１次元に対して行う。２次元に対しても同様の計算で求められる。
【００１９】
まず、図４を参照して、ライトフィールドを取得する撮像光学系の解像度劣化について説明する。図４（ａ）〜（ｃ）は、本実施形態における画素ずらし効果の説明図であり、図２の一部を抜き出した図である。図４中の破線は、レンズアレイ１０２の各小レンズ（レンズセル）に対する画角を表す。従来のように光の２次元強度分布のみを取得する撮像光学系では、主レンズ群の被写体面に対する像側共役面に撮像素子が配されて撮影が行われる。このとき、画像の解像度は撮像素子の画素数と等しい。一方、本実施形態のようにライトフィールドを取得する撮像装置では、撮像素子の画素数と比較して解像度は低下する。
【００２０】
図４（ｂ）は、図４（ａ）での画素の光の２次元強度分布のみを取得する場合の撮像面（主レンズ群１０１の被写体面２０１に対する像側共役面）２０２へ投影した図である。図２の撮像光学系では、この投影されて大きくなった画素ピッチで被写体を撮像した解像度となる。このときの空間解像度は、元の撮像素子１０３からレンズアレイ１０２の倍率｜σ２／σ１｜倍（２次元ではその二乗倍）された値になる。ここで、σ１はレンズアレイ１０２の物体側主平面から主レンズ群１０１の被写体面２０１に対する像側共役面２０２までの距離、σ２はレンズアレイ１０２の像側主平面から撮像素子１０３までの距離である。同一の撮像素子１０３で光の２次元強度分布のみを撮影する従来の撮像光学系と同等の撮影画角を確保するには、レンズアレイ１０２は縮小系である必要がある。拡大系のレンズアレイに対して同一の撮像素子１０３を用いると、光線の位置と角度両方の情報が従来の撮像光学系よりも増大する。そのため画素数が不足し、撮影領域が従来の撮像光学系より小さくなる。本実施形態では、レンズアレイ１０２が縮小系であるため、｜σ１／σ２｜＞１が成立し、画像の解像度は撮像素子の画素数より低下する。
【００２１】
次に、画素ずらし効果による空間解像度の向上について説明する。図４（ａ）に示されるように、主レンズ群１０１の被写体面（物体面）に対する像側共役面２０２上で、レンズアレイ１０２の各小レンズが見る画角はオーバーラップしている。画角がオーバーラップする小レンズの数を、小レンズのオーバーラップ数と呼ぶ。図４（ａ）では、３つの小レンズが、像側共役面２０２の一部の領域を投影しており、小レンズのオーバーラップ数は３である。
【００２２】
図４（ｂ）は、各小レンズに対応する撮像素子１０３の画素セットを主レンズ群１０１の像側共役面２０２に投影した図である。図４（ｂ）に示されるように、投影画素が各々ずれていれば、それらを合成することで画素サイズを見かけ上小さくすることができ、再構成画像の高解像度化を図ることができる。
【００２３】
つまり、隣接するレンズセルによって、像側共役面２０２に投影された画素が、投影された画素のピッチの整数倍とは異なる長さだけ互いにずれるように、レンズアレイ１０２を配置すればよい。これにより、高解像度化を図ることができる。言い換えれば、隣接するレンズセルによって投影される画素セットを、それぞれ第１投影画素セット、第２投影画素セットとする。このとき、第１投影画素セットを構成する画素と第２投影画素セットを構成する画素の投影位置が、一致しないように、レンズアレイ１０２を配置すればよい。さらに言い換えれば、隣接するレンズアレイ１０２それぞれによって投影された画素のうち、互いに同じ位置に投影される画素がないように、レンズアレイ１０２を配置すればよい。
【００２４】
逆に、図４（ｃ）に示されるように投影画素が一致する場合、画素ずらし効果を得ることはできず、高解像度化が図れない。画素ずらし効果によって最も高解像度化が図れるのは、画素がずれている割合が小レンズのオーバーラップ数に対応している時である。具体的に言えば、図４では小レンズのオーバーラップ数が３のため、画素ずれの割合が１／３或いは２／３ならば最も高解像度にすることができる。画素ずれの割合と小レンズのオーバーラップ数の関係については、後により詳細な説明を行う。
【００２５】
では、距離σ１と画素ずれの割合との関係を求める。隣り合う小レンズの相対的な画素ずれ量は、レンズアレイ１０２のピッチΔＬＡを主レンズ群１０１の像側共役面２０２上に投影された画素のピッチで割った比｜ΔＬＡσ２／（Δσ１）｜で表される。ここでΔは撮像素子１０３の画素ピッチである。レンズアレイの配置に対する前記の画素ずれ量の振舞いを知るために、図５を用いてσ１、σ２が満たすべき条件を説明する。
【００２６】
図５は図１の詳細な構成を表したものであり、図２の構成に関しても同様の関係が成り立つ。図５中のＦは主レンズ群１０１のＦ値、Ｐｅｘは主レンズ群１０１の射出瞳（近軸射出瞳）と主レンズ群１０１の像側共役面２０２との間の距離である。Ｎは正の実数で、主レンズ群１０１の瞳面の分割数を表す。Ｐｅｘ／（ＮＦ）が撮像素子１０３が取得する角度情報のサンプリングピッチとなる。図５からΔＬＡとσ１には以下の式（１）の関係があることが分かる。
【００２７】
【数１】
【００２８】
ここでσ１は、レンズアレイ１０２の物体側主平面が像側共役面２０２に対して、前方（物体側）にいる場合は正の値を、後方（像側）にいる場合は負の値をとるとする。図５中の一点鎖線はレンズアレイ１０２の小レンズの中心と該小レンズに対応した画素セットの端を結んだ直線であり、その直線の瞳面上での交点と瞳中心との距離は以下の式（２）で与えられる。
【００２９】
【数２】
【００３０】
ここでｌｒは撮像素子上での不感帯とクロストークの度合いを表すパラメータである。図６を用いて不感帯とクロストークについて説明する。
【００３１】
図６（ａ）はｌｒが負の値を持つ場合の撮像素子１０３上における像の様子を描いたものである。白い部分が光線の入射する領域で、灰色の部分が不感帯と呼ばれ、光線が入射しない領域である。ｌｒが小さくなるほど、不感帯が広がる。それは情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが望ましい。逆にｌｒが正の値を持つ場合の撮像素子１０３上における像の様子を描いたものが図６（ｂ）である。異なる小レンズを介して形成された像が重なり合っていることが分かる。この重なり合った領域では、被写体面２０１上で異なる位置と角度を持つ光線が同一の画素に入射しており、この現象をクロストークと呼ぶ。ｌｒが大きくなるほど、クロストークする領域が広がる。クロストークが発生している画素はライトフィールドを取得できていないため、再構成に使用すると正しい画像が生成できなくなる。
【００３２】
クロストークの起きている画素を画像再構成に使用しない場合は、クロストークの領域が広いほど使用できない画素が増えてしまう。よってクロストークしている領域はできる限り小さいことが望ましい。ｌｒが０の時、不感帯とクロストークの発生が最も抑えられる。ただし現実の系では、収差によるベストピント位置のずれや、主レンズ群１０１のヴィネッティング、周辺光量落ちなどの影響により、ｌｒが０から少しずれていても不感帯やクロストークの発生が抑えられる場合がある。
【００３３】
図５と式（２）から、以下の式（３）が成り立つことが分かる。
【００３４】
【数３】
【００３５】
よって、隣り合う小レンズの相対的な画素ずれ量は式（１）と式（３）を用いて、以下の式（４）で与えられる。
【００３６】
【数４】
【００３７】
式（４）は、距離σ１に対する隣り合う小レンズの相対的な画素ずれ量の振舞いを表す式である。
【００３８】
では、距離σ１の画素ずらし効果に対する敏感度について説明する。以下は図１の構成を例にとって説明するが、図２の構成に関しても同様の議論が成り立つ。式（４）から距離σ１に対する画素ずれ量は、図７のように表される。図７中の菱形の点は、小レンズに対応する画素セットの画素数が整数個になる解を表す。この解以外の距離σ１では、前述のクロストークが生じる。ただし、ある小レンズに対応した画素セットへ異なる小レンズからの光線が入射しないように、撮像素子１０３に壁面を設置すれば、小レンズに対応する画素セットが整数でなくともクロストークを抑えることができる。ここで画素の整数倍のずれは図４（ｃ）に示されるように意味がないため、式（４）の整数部分は落として考えてよい。よって画素ずれの割合δは、以下のように表される。
【００３９】
【数５】
【００４０】
ここでｚ＝ｍｏｄ（ｘ，ｙ）は、ｚがｘをｙで割った時の剰余に等しいことを表す。
【００４１】
図８は、所定のパラメータを用いた場合において、式（５）により得られた距離σ１に対する画素ずれの割合δを示した図である。図８で用いたパラメータは、後述の実施例３のものである。理想的には、最も解像度が高くなる画素ずれの割合が得られる距離σ１の位置にレンズアレイ１０２を配置することが望ましい。しかし現実の系では、レンズアレイ１０２の配置に誤差が存在し、その誤差分だけ画素ずらし効果は小さくなる。そこで、誤差が発生しても画素ずらし効果が変化しにくい距離σ１の位置にレンズアレイ１０２を配置することが望ましい。式（４）と図７から、画素ずれの割合は距離σ１の２次関数で表されることが分かる。このため、図７のグラフの両端の傾きが急な部分を避けることで、距離σ１の誤差による画素ずらし効果の低下を抑制できる。これによって距離σ１の敏感度を抑制して、高解像度化を得やすくなる条件が導かれる。
【００４２】
本実施形態において、レンズアレイ１０２を配置する位置は、以下の条件式（６）を満たす。
【００４３】
【数６】
【００４４】
式（６）を満足することによって、図１及び図２に示した構成を有する撮像装置において、高解像な画像を得ることができる。条件式（６）の上限または下限を超えると、距離σ１の誤差による解像度の劣化が起こりやすくなる。
【００４５】
より望ましくは、以下の条件式（６ａ）の範囲とすることで、距離σ１の敏感度を抑えて高解像度化を図りやすくなる。
【００４６】
【数７】
【００４７】
さらに望ましくは、以下の条件式（６ｂ）、（６ｃ）の範囲とすることで、さらに距離σ１の敏感度を抑えて高解像度化を図りやすくなる。
【００４８】
【数８】
【００４９】
【数９】
【００５０】
ただし、条件式（６）及び（６ａ）〜（６ｃ）の値が１に近付くと、レンズアレイの倍率｜σ２／σ１｜が小さくなるため、撮像素子１０３で得られる画像の解像度が減少してしまう。理想的には、１／ｎの画素ずれを起こした小レンズがｎ個オーバーラップしていれば、解像度はｎ倍される。ここでｎは正の整数である。しかし現実の系では、ノイズや主レンズ群１０１の収差の影響によって、画素ずらし効果による解像度の上昇量は理想系より小さくなる。よって、撮像素子１０３で得られる画像の解像度はある程度確保されていることが望ましい。また、図１で示された構成では条件式（６）の値が１に近付くと、レンズアレイが主レンズ群１０１に干渉してしまう場合が存在する。よって、より望ましくは、条件式（６）及び（６ａ）〜（６ｃ）の上限を０．１小さくすることで、敏感度を抑えてさらに高解像度なライトフィールドを取得できる。
【００５１】
次に、画素ずらし効果が得られる条件を考える。前述の通り、式（４）で表される隣り合う小レンズの相対的な画素ずれ量が整数になると、図４（ｃ）に示したように画素ずらし効果は得られない。よって、レンズアレイ１０２の各小レンズを介して、撮像素子１０３の画素を像側共役面２０２上へ投影した際、隣接する２つの小レンズの投影画素のずれが、投影画素の整数倍とならないようにレンズアレイ１０２を配置すればよい。
【００５２】
では、さらに高い画素ずらし効果を得るための条件を求める。そのためにまず小レンズのオーバーラップ数を見積もる。図９は、図４（ｂ）に示される小レンズの番号ｊを横軸、主レンズ群１０１の被写体面２０１に対する像側共役面２０２上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２の任意の小レンズとしてよい。図９中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素セットを像側共役面２０２へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝ΔＬＡ｛ｊ＋｜σ１／（２σ２）｜｝で与えられ、また一点鎖線Ｂはｙ＝ΔＬＡ｛ｊ−｜σ１／（２σ２）｜｝で与えられる。オーバーラップする小レンズの数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応しており、ｊ＝０の小レンズもカウントすると｜σ１／σ２｜＋１個程度と見積もることができる。
【００５３】
続いて、画素ずらし効果を含めた空間解像度を求める。先にも述べた通り、現実の系では画素ずらし効果による解像度の上昇量は理想系より小さくなる。しかし説明を簡単にするため、本実施形態では、理想系として解像度の上昇について説明する。最終的な解像度は、画素ずらし効果によって見かけ上小さくなった画素の中で、最も大きい画素によって決定されると定義する。またその画素サイズを見かけの画素の最大値と呼ぶこととする。
【００５４】
例えば、小レンズのオーバーラップ数が８で、式（５）で表される隣接した小レンズの画素ずれの割合δが０．４５の時、８つの小レンズのそれぞれの画素ずれは０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決める見かけの画素の最大値は０．７０−０．４５＝０．２５となる。次にオーバーラップ数が同じで、δが３／８の場合を考える。この時８つの小レンズのそれぞれの画素ずれは０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素の最大値は１／８となり、小レンズのオーバーラップ数の逆数と一致する。よって、隣接した小レンズが投影する画素のずれの割合が、小レンズのオーバーラップ数の逆数と一致する場合、最も高い画素ずらし効果が得られていることとなる。これは式（５）で表されるδが、１／８、５／８、７／８の場合でも同じである。ただしδが２／８、４／８、６／８の場合は画素ずらし効果が低下する。例としてδが２／８の場合を考える。この時、オーバーラップした８つの小レンズのそれぞれの画素ずれは０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素の最大値が２／８＝１／４となる。よってδが１／８、３／８、５／８、７／８の時に対して、画素ずらし効果は半分になってしまう。
【００５５】
このことから、式（５）で与えられるδがｍ０／Ｍ０に等しい時、最大の画素ずらし効果が得られると分かる。ここでＭ０は小レンズのオーバーラップ数であり、ｍ０はＭ０より小さく、かつＭ０との最大公約数が１となる整数である。Ｍ０は前述したように｜σ１／σ２｜＋１程度と見積もることができ、δがｍ０／Ｍ０に近いほど画素ずらし効果は高くなる。
【００５６】
図１０は、図８と同様のパラメータにおいて、距離σ１に対する見かけの画素の最大値と小レンズのオーバーラップ数の逆数の関係を示した図である。菱形の点で表される見かけの画素の最大値と、破線で表された小レンズのオーバーラップ数の逆数が近い距離σ１ほど、画素ずらし効果が高く、再構成画像の解像度が上昇する。逆に見かけの画素の最大値と、小レンズのオーバーラップ数の逆数が離れている距離σ１では、高い画素ずらし効果は得られない。図１１は図８と同様のパラメータを用いた場合の、距離σ１と空間解像度比の関係である。縦軸の空間解像度比は、再構成画像の空間解像度を撮像素子の画素数で規格化したものである。図１０で菱形の点と小レンズのオーバーラップ数の逆数が近い距離σ１ほど、画素ずらし効果を含めた解像度が高いことが分かる。逆に、図１０で見かけの画素の最大値が１に近い距離σ１では、画素ずらし効果による解像度上昇がほとんどない。また前述の通り、距離｜σ１｜がＰｅｘ／２に近いほど空間解像度比の振動が緩やかになり、レンズアレイの敏感度が抑制されていることが読み取れる。
【００５７】
以上から、画素ずらし効果による解像度の上昇を効率的に得るための条件式（７）が求められる。
【００５８】
【数１０】
【００５９】
ここでＭは次の条件式（８）を満たす整数である。
【００６０】
【数１１】
【００６１】
またｍはＭより小さく、かつＭとの最大公約数が１となる整数である。条件式（７）と条件式（８）は、画素ずらし効果の大きさを表し、条件式（７）及び条件式（８）を満たすことで再構成画像の高解像度化を実現できる。条件式（７）及び条件式（８）の上限または下限を超えると、十分な画素ずらし効果が得られず、空間解像度の向上が不十分となる。
【００６２】
より望ましくは、以下の条件式（７ａ）の範囲とすることで、より高解像度化を図ることができる。
【００６３】
【数１２】
【００６４】
さらに望ましくは以下の条件式（７ｂ）の範囲とすることで、更なる高解像度化を図ることができる。
【００６５】
【数１３】
【００６６】
また望ましくは以下の条件式（８ａ）、更には条件式（８ｂ）の範囲とすることで、より高い画素ずらし効果を得られる。
【００６７】
【数１４】
【００６８】
【数１５】
【００６９】
また、レンズアレイ１０２を構成する小レンズの像側の面は、凸形状であることが望ましい。これにより、レンズアレイ１０２の非点収差を抑え、解像度に対する敏感度を下げることができる。逆に、像側面が凸形状でない場合は非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に使用すると、再構成によって得られた画像が鮮鋭に形成されなくなる。また、レンズアレイ１０２を構成する小レンズの物体側の面は、平面又は凸形状であることがより望ましい。これにより、小レンズの曲率が緩まって収差が抑制され、更に敏感度を下げることができる。
【００７０】
またレンズアレイ１０２は、主レンズ群１０１の被写体面２０１に対する像側共役面２０２よりも物体側に位置していることが望ましい。図１、２の比較から分かるように、図１の場合は図２の場合よりも撮像光学系の全長を縮小化できるためである。また図１は、軸外光線がレンズアレイ１０２及び撮像素子１０３に入射する像高が図２に比べて小さい。以上のとおり、図１のように配置することで撮像光学系の小型化を図ることができる。
【００７１】
本発明のその他の効果は、レンズアレイと撮像素子との関係が適切な条件を満足することによって、光学的に解像度を向上させた画像を得ることができる点にある。
【００７２】
図１及び図２で示される撮像光学系において、撮像素子では撮影視点と撮影領域が異なる小画像が並んだ画像が得られる。これらの画像の全て又は一部の重み付けや、ずらして重ね合わせる方法（再構成方法）により、ピント位置やＦ値、視点を変更した画像を得ることができる。例えば、“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”（Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２）に記載されている。このため、ここでの説明は省略する。上記文献と本実施形態の構成は少し異なるが、主レンズ群の瞳を分割していることは同じであるため、本質的に差異はない。このため、同様の再構成法でピント位置や被写界深度、撮影視点を変更した画像を生成できる。この際にも、画素ずらし効果を使用することで、再構成後の画像の高解像度化が可能である。また、再構成処理は撮像装置とは別の画像処理装置で行ってもよい。
【００７３】
なお、図1と図２に表された被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１より奥、或いは手前に存在する人物や物体に、撮影後でもピントを合わせることができるためである。また、主レンズ群１０１は１枚のレンズからなるものも含む。
【実施例１】
【００７４】
次に、図１２を参照して、実施例１における撮像装置（撮像光学系）について説明する。図１２は、本実施例における撮像光学系の断面図である。図１２において、主レンズ群１０１は単焦点レンズであり、撮影時にＦ値を制御する開口絞りＳＰを備えている。ただし、より多くの視差情報を得るために、開口径は大きい方が望ましい。本実施例では、Ｆ値は撮影後に再構成によって変更できるため、開口径は固定でもよい。
【００７５】
また、主レンズ群１０１は仕様に応じてフォーカス機構を有する。フォーカス機構を有する場合には、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によりレンズ位置が制御される。本実施例では、画像処理によって撮影後にピント位置調整（リフォーカス）が可能であるが、開口径が有限のため撮像素子１０３で得られる視差情報は有限である。このため、リフォーカスが可能な範囲も有限となる。撮影時のフォーカス位置を変化することで、可能なリフォーカス範囲を深度方向にシフトさせることができる。
【００７６】
レンズアレイ１０２は正の屈折力を有し、両面が凸形状の球面固体レンズで構成されている。レンズアレイ１０２の小レンズは表裏のいずれかは平面でもよく、また、非球面の曲面でもよい。また液体レンズ、液晶レンズ、回折光学素子などが並んで構成されていてもよい。レンズアレイ１０２は、主レンズ群１０１により形成された像を虚物体として見ることで、撮像素子１０３に像を結像する。
【００７７】
本実施例において、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ＝６６．４３５７（ｍｍ）、レンズアレイ１０２のピッチΔＬＡ＝４．３５５９（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。また、レンズアレイ１０２は、距離σ１＝３７．７６５７（ｍｍ）、距離σ２＝５．４３２５（ｍｍ）となるように配置されている。このような構成により、高い画素ずらし効果が得られ、画像の高解像度化を図ることができる。更に、レンズアレイ１０２の画素ずらし効果に対する配置敏感度も抑制される。また、Ｆ値やピント位置、被写界深度を変更した再構成画像に対しても、画素ずらし効果を用いて高解像度化することができる。画像の再構成時に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。
【実施例２】
【００７８】
次に、図１３を参照して、実施例２における撮像装置（撮像光学系）について説明する。図１３は、本実施例における撮像光学系の断面図である。図１３において、主レンズ群１０１は単焦点レンズである。レンズアレイ１０２は、物体側に平面状で像側に凸形状の面で構成され、主レンズ群１０１が形成した像を撮像素子１０３へ再結像する。
【００７９】
本実施例において、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ＝６６．４３５７（ｍｍ）、レンズアレイ１０２のピッチΔＬＡ＝０．３７８４（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。レンズアレイ１０２は、距離σ１＝−５．４６７９（ｍｍ）、距離σ２＝１．００３６（ｍｍ）となるように配置されている。レンズアレイ１０２の撮像素子１０３に対する共役面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）がレンズアレイ１０２より物体側に存在するため、距離σ１は負の値となる。
【００８０】
本実施例によれば、レンズアレイの配置敏感度を抑えつつ、画素ずらし効果による効率的な高解像度化を実現した撮像装置を提供することができる。
【実施例３】
【００８１】
次に、図１４を参照して、実施例３における撮像装置（撮像光学系）について説明する。図１４は、本実施例における撮像光学系の断面図である。図１４において、主レンズ群１０１はズームレンズであり、レンズアレイ１０２は両凸の正レンズで構成され、主レンズ群１０１が形成した像を虚物体として見ることで、撮像素子１０３へ像を結像している。
【００８２】
主レンズ群１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍時に第１レンズ群Ｌ２と第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、及び、第４レンズ群Ｌ４が光軸上を移動する。
【００８３】
本実施例において、主レンズ群１０１の広角端では、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ ＝１３３．８１２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝１．９７７６（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。これらのパラメータとＮ＝７、ｌｒ＝０．５を用いて、画像ずれ割合δと画素ずらし効果を含めた解像度を示したのが前述の図７及び図９である。レンズアレイ１０２の小レンズには開口絞り（不図示）が設置されているため、ｌｒ＝０．５でもクロストークは起きない。またレンズアレイ１０２は、距離σ１＝４０．１４５３（ｍｍ）、距離σ２＝４．０１４５（ｍｍ）となるように配置されている。
【００８４】
本実施例によれば、レンズアレイの配置敏感度を抑えつつ、画素ずらし効果による効率的な高解像度化を実現した撮像装置を提供することができる。
【実施例４】
【００８５】
次に、図１５を参照して、実施例４における撮像装置について説明する。図１５は、本実施例における画像処理システムの構成図である。図１５に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図１４で示される実施例３の撮像光学系を有する。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器である。撮像装置３０１で取得された画像は、画像処理装置３０２にて所定の再構成処理が行われ、出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力される。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。
【００８６】
画像処理ソフトウェア３０６は、前述の再構成処理の他に、必要に応じて現像処理やその他の画像処理を行う機能を有する。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。特に、表示機器３０４がＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ−ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を使用したＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｏｒ）タイプのプロジェクタの場合、プロジェクタ内の光学系は図１４と同様の構成にしてもよい。このとき、プロジェクタ内の光学系は、図１４の撮像素子１０３の代わりにＤＭＤを配置した構成を採用することができる。この場合、表示機器３０４には再構成画像を入力するのではなく、撮像装置３０１の撮像素子１０３で得られた画像をそのまま入力すればよい。画像投射時に撮像時と逆の変換が行われるため、スクリーン上には自動的に再構成された画像が出力される。また、ＤＭＤのレンズアレイ１０２に対する共役面で画素ずらし効果が発生するため、出力画像を同様に高解像度化することが可能である。本実施例によれば、レンズアレイの配置敏感度を抑え、効率的な高解像度化を実現した撮像装置及び画像処理システムを提供することができる。
【００８７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。例えば他の実施形態として、撮像素子を有する撮像装置に着脱可能な撮像光学系に対して本発明を適用しても、撮像光学系と撮像素子が上記説明の関係を満足することにより、簡易な構成で高解像度のライトフィールドを取得可能な撮像光学系を提供することができる。
【００８８】
上記各実施例（実施例１〜４）における主レンズ群の数値データ（数値実施例）を以下に示す。ｉは物体側からの面の順序を示し、ｒｉは第ｉ面の曲率半径、ｄｉは第ｉ面と第ｉ＋１面間のレンズ肉厚或いは空気間隔、ｎｉとνｉはそれぞれｄ線に対する屈折率とアッベ（Ａｂｂｅ）数を表す。また表１に、各数値実施例（実施例１〜４）における条件式（６）、（７）、（８）の値を示す。
［数値実施例］
（実施例１、実施例２）
単位 mm
面データ
面番号 r d nd vd 有効径
1 89.763 1.80 1.84666 23.8 40.57
2 35.283 9.50 1.58913 61.2 38.63
3 -104.031 0.15 38.18
4 45.845 3.80 1.77250 49.6 34.85
5 205.586 1.60 34.09
6 190.384 1.50 1.80010 35.0 32.16
7 57.059 3.26 30.16
8 -88.455 1.50 1.56873 63.2 30.22
9 23.683 3.50 1.84666 23.8 28.33
10 37.253 19.26 27.84
11 -380.953 3.00 1.84666 23.8 28.98
12 -70.178 10.00 29.11
13 ∞ 22.12 26.48
14 -37.638 1.20 1.78472 25.7 21.81
15 57.202 4.30 1.52249 59.8 22.35
16 -38.872 0.30 22.71
17 -249.784 2.50 1.77250 49.6 22.78
18 -59.162 0.20 22.89
19 56.254 3.50 1.80400 46.6 22.42
20 -100.510 1.50 21.91
21 -109.205 2.80 1.84666 23.8 20.71
22 -44.064 0.16 20.09
23 -42.571 1.20 1.60311 60.6 19.94
24 41.456 8.27 18.54
25 -84.040 7.29 1.62230 53.2 15.96
26 -19.904 0.15 15.00
27 -19.678 2.00 1.59270 35.3 14.85
28 -118.544 0.00 14.29
29 ∞ (可変) 14.22
像面 ∞
各種データ
ズーム比 1.00
焦点距離 99.96
Fナンバー 2.89
画角 8.31
像高 14.60
レンズ全長 156.82
BF 40.46
d29 40.46
入射瞳位置 117.08
射出瞳位置 -25.97
前側主点位置 66.63
後側主点位置 -59.50
ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 99.96 116.36 66.63 -59.50
単レンズデータ
レンズ 始面 焦点距離
1 1 -69.72
2 2 45.88
3 4 75.59
4 6 -102.35
5 8 -32.69
6 9 68.67
7 11 101.16
8 14 -28.77
9 15 44.99
10 17 99.78
11 19 45.31
12 21 85.56
13 23 -34.64
14 25 40.16
15 27 -40.11
（実施例３、実施例４）
単位 mm
面データ
面番号 r d nd vd 有効径
1 124.447 2.80 1.74950 35.0 69.47
2 75.819 0.15 66.70
3 75.787 12.51 1.49700 81.6 66.68
4 -374.867 0.10 65.27
5 78.754 3.65 1.49700 81.6 62.96
6 102.655 (可変) 62.09
7 54.676 2.20 1.84666 23.8 49.13
8 47.526 1.22 47.37
9 55.346 7.65 1.48749 70.2 47.31
10 1833.147 (可変) 46.11
11 -401.208 1.40 1.80400 46.6 34.13
12 38.875 6.37 32.30
13 -92.113 1.34 1.48749 70.2 32.44
14 39.755 5.23 1.85026 32.3 33.61
15 292.638 4.06 33.53
16 -71.105 4.46 1.84666 23.8 33.56
17 -36.898 1.00 1.72000 46.0 34.09
18 311.857 (可変) 35.08
19 141.625 3.59 1.71300 53.9 35.92
20 -238.303 0.15 36.12
21 431.096 5.95 1.49700 81.6 36.23
22 -48.826 1.00 1.85026 32.3 36.30
23 -140.339 (可変) 36.87
24 81.141 3.98 1.80400 46.6 37.24
25 19006.920 1.15 36.96
26(絞り) ∞ 15.08 36.64
27 45.384 7.49 1.49700 81.6 31.66
28 -839.909 5.33 1.62588 35.7 29.72
29 39.178 23.47 26.68
30 139.400 5.78 1.50378 66.8 25.86
31 -105.607 7.43 26.94
32 -40.699 1.00 1.80100 35.0 28.35
33 -79.231 0.15 29.36
34 115.417 4.09 1.83400 37.2 30.71
35 -493.918 (可変) 31.15
像面 ∞
各種データ
ズーム比 2.67
広角 中間 望遠
焦点距離 72.49 99.90 193.91
Fナンバー 2.90 2.90 2.90
画角 16.59 12.20 6.36
像高 21.60 21.60 21.60
レンズ全長 243.50 243.51 243.49
BF 52.10 52.11 52.08
d 6 8.38 11.42 33.14
d10 1.59 10.49 16.84
d18 30.54 23.46 1.50
d23 11.11 6.25 0.15
d35 52.10 52.11 52.08
入射瞳位置 96.84 140.42 236.01
射出瞳位置 -81.71 -81.71 -81.71
前側主点位置 130.06 165.74 148.88
後側主点位置 -20.39 -47.79 -141.83
ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 179.99 19.21 2.38 -10.26
2 7 155.92 11.07 -0.28 -7.84
3 11 -27.99 23.86 4.82 -11.76
4 19 124.89 10.69 0.62 -6.15
5 24 86.42 74.95 21.42 -59.06
単レンズデータ
レンズ 始面 焦点距離
1 1 -265.43
2 3 128.02
3 5 647.74
4 7 -499.75
5 9 116.90
6 11 -44.02
7 13 -56.78
8 14 53.60
9 16 85.48
10 17 -45.77
11 19 125.08
12 21 88.61
13 22 -88.51
14 24 101.34
15 27 86.88
16 28 -59.67
17 30 120.22
18 32 -105.70
19 34 112.52
【００８９】
【表１】
【符号の説明】
【００９０】
１０１ 主レンズ群
１０２ レンズアレイ
１０３ 撮像素子
【技術分野】
【０００１】
本発明は、レンズアレイを備えた撮像装置、および撮像光学系に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体面上での２次元的な光の強度分布と視差情報（合わせて「ライトフィールド」という。）を同時に取得する「Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ」が開示されている。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、画像のピント位置や被写界深度等を変更することができる。
【０００３】
しかし、このような撮像装置は、撮像素子の画素を光の２次元強度分布の保存に加え、視差情報の保存にも利用する必要がある。このため、光の２次元強度分布のみを記憶する撮像装置に対して、空間解像度が低下する。そこで非特許文献２には、主レンズ群によって形成された像面のある一点を、レンズアレイの各レンズが画素に対して異なる位置に結像させる構成が開示されている。そして、このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化する。このような高解像度化手法を「画素ずらし効果」という。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，“Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ”，Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８
【非特許文献２】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ、ｅｔ ａｌ．，“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ”，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献２では、高い解像度を得るために必要となる具体的な構成については何ら開示されていない。
【０００６】
そこで本発明は、簡易な構成で高解像度のライトフィールドを取得可能な撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、撮像素子と、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役となるように配置されたレンズアレイとを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【０００８】
本発明の他の側面としての撮像光学系は、撮像素子に被写体からの光線を集光する撮像光学系であって、被写体からの光線を像側共役面に集光するレンズ群と、前記像側共役面と前記撮像素子が共役になるように配置されたレンズアレイを有し、前記レンズアレイは所定の条件式を満たすように配置されている。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、簡易な構成で高解像度のライトフィールドを取得可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１、３、４における撮像光学系の概略構成図である。
【図２】実施例２における撮像光学系の概略構成図である。
【図３】本実施形態における撮像装置のブロック図である。
【図４】本実施形態における画素ずらし効果の説明図である。
【図５】本実施形態における撮像光学系の配置の説明図である。
【図６】本実施形態における撮像素子上の像の説明図である。
【図７】距離σ１に対する画素ずれ量を表わす図である。
【図８】距離σ１に対する画素ずれの割合を示す図である。
【図９】実施形態における小レンズのオーバーラップ数の説明図である。
【図１０】本実施形態における画素ずらし効果を含めた空間解像度の説明図である。
【図１１】距離σ１と空間解像度比の関係を示す図である。
【図１２】実施例１における撮像光学系の断面図である。
【図１３】実施例２における撮像光学系の断面図である。
【図１４】実施例３、４における撮像光学系の断面図である。
【図１５】実施例４における画像処理システムの構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１３】
本実施形態の撮像装置は、レンズアレイを用いてライトフィールドを取得するように構成されており、レンズアレイを適切な位置に配置して効率的な高解像度化を実現することができる。まず図１及び図２を参照して、撮像装置（および、撮像装置から少なくとも撮像素子を除いて構成される撮像光学系）の概略構成について説明する。図１は後述の実施例１、３、４における撮像光学系の概略構成図であり、図２は後述の実施例２における撮像光学系の概略構成図である。
【００１４】
図１及び図２に示されるように、撮像光学系は、開口絞り（不図示）を備えた主レンズ群１０１（光学系）を有する。また図２では、その結像面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）より後方（像側）にレンズアレイ１０２及び撮像素子１０３が配置されている。レンズアレイ１０２は、主レンズ群１０１の像側共役面２０２と撮像素子１０３とがレンズアレイ１０２の一対の共役面に対応するように配置されている。
【００１５】
被写体面２０１からの光線は、主レンズ群１０１及びレンズアレイ１０２を介して撮像素子１０３へ入射する。このとき、主レンズ群１０１の結んだ（集光作用により形成された）実像はレンズアレイ１０２により再結像され、被写体面２０１上での光線の位置と角度に応じてその光線が撮像素子１０３の異なる複数の画素に入射する。この結果、撮像素子１０３は、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像を取得する。一方、図１では、レンズアレイ１０２が主レンズ群１０１の結像面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）よりも前方（物体側）に配置され、ライトフィールドが取得される。しかし、いずれの場合でも被写体面２０１に対する主レンズ群１０１の像を、レンズアレイ１０２が物体として見てその像を撮像素子１０３へ結ぶため、本質的には同じである。
【００１６】
次に、図３を参照して、本実施形態における撮像装置の構成について説明する。図３は、本実施形態における撮像装置のブロック図である。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。主レンズ群１０１及びレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１７】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基いた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００１８】
続いて、レンズアレイ１０２の適切な位置について説明する。初めにライトフィールド取得に伴う解像度の劣化について述べ、次に画素ずらし効果による高解像度化に最適な条件を求める。また、画素ずらし効果に対するレンズアレイ１０２の配置敏感度を抑制する条件についても説明する。説明を分かりやすくするため、以下の計算は１次元に対して行う。２次元に対しても同様の計算で求められる。
【００１９】
まず、図４を参照して、ライトフィールドを取得する撮像光学系の解像度劣化について説明する。図４（ａ）〜（ｃ）は、本実施形態における画素ずらし効果の説明図であり、図２の一部を抜き出した図である。図４中の破線は、レンズアレイ１０２の各小レンズ（レンズセル）に対する画角を表す。従来のように光の２次元強度分布のみを取得する撮像光学系では、主レンズ群の被写体面に対する像側共役面に撮像素子が配されて撮影が行われる。このとき、画像の解像度は撮像素子の画素数と等しい。一方、本実施形態のようにライトフィールドを取得する撮像装置では、撮像素子の画素数と比較して解像度は低下する。
【００２０】
図４（ｂ）は、図４（ａ）での画素の光の２次元強度分布のみを取得する場合の撮像面（主レンズ群１０１の被写体面２０１に対する像側共役面）２０２へ投影した図である。図２の撮像光学系では、この投影されて大きくなった画素ピッチで被写体を撮像した解像度となる。このときの空間解像度は、元の撮像素子１０３からレンズアレイ１０２の倍率｜σ２／σ１｜倍（２次元ではその二乗倍）された値になる。ここで、σ１はレンズアレイ１０２の物体側主平面から主レンズ群１０１の被写体面２０１に対する像側共役面２０２までの距離、σ２はレンズアレイ１０２の像側主平面から撮像素子１０３までの距離である。同一の撮像素子１０３で光の２次元強度分布のみを撮影する従来の撮像光学系と同等の撮影画角を確保するには、レンズアレイ１０２は縮小系である必要がある。拡大系のレンズアレイに対して同一の撮像素子１０３を用いると、光線の位置と角度両方の情報が従来の撮像光学系よりも増大する。そのため画素数が不足し、撮影領域が従来の撮像光学系より小さくなる。本実施形態では、レンズアレイ１０２が縮小系であるため、｜σ１／σ２｜＞１が成立し、画像の解像度は撮像素子の画素数より低下する。
【００２１】
次に、画素ずらし効果による空間解像度の向上について説明する。図４（ａ）に示されるように、主レンズ群１０１の被写体面（物体面）に対する像側共役面２０２上で、レンズアレイ１０２の各小レンズが見る画角はオーバーラップしている。画角がオーバーラップする小レンズの数を、小レンズのオーバーラップ数と呼ぶ。図４（ａ）では、３つの小レンズが、像側共役面２０２の一部の領域を投影しており、小レンズのオーバーラップ数は３である。
【００２２】
図４（ｂ）は、各小レンズに対応する撮像素子１０３の画素セットを主レンズ群１０１の像側共役面２０２に投影した図である。図４（ｂ）に示されるように、投影画素が各々ずれていれば、それらを合成することで画素サイズを見かけ上小さくすることができ、再構成画像の高解像度化を図ることができる。
【００２３】
つまり、隣接するレンズセルによって、像側共役面２０２に投影された画素が、投影された画素のピッチの整数倍とは異なる長さだけ互いにずれるように、レンズアレイ１０２を配置すればよい。これにより、高解像度化を図ることができる。言い換えれば、隣接するレンズセルによって投影される画素セットを、それぞれ第１投影画素セット、第２投影画素セットとする。このとき、第１投影画素セットを構成する画素と第２投影画素セットを構成する画素の投影位置が、一致しないように、レンズアレイ１０２を配置すればよい。さらに言い換えれば、隣接するレンズアレイ１０２それぞれによって投影された画素のうち、互いに同じ位置に投影される画素がないように、レンズアレイ１０２を配置すればよい。
【００２４】
逆に、図４（ｃ）に示されるように投影画素が一致する場合、画素ずらし効果を得ることはできず、高解像度化が図れない。画素ずらし効果によって最も高解像度化が図れるのは、画素がずれている割合が小レンズのオーバーラップ数に対応している時である。具体的に言えば、図４では小レンズのオーバーラップ数が３のため、画素ずれの割合が１／３或いは２／３ならば最も高解像度にすることができる。画素ずれの割合と小レンズのオーバーラップ数の関係については、後により詳細な説明を行う。
【００２５】
では、距離σ１と画素ずれの割合との関係を求める。隣り合う小レンズの相対的な画素ずれ量は、レンズアレイ１０２のピッチΔＬＡを主レンズ群１０１の像側共役面２０２上に投影された画素のピッチで割った比｜ΔＬＡσ２／（Δσ１）｜で表される。ここでΔは撮像素子１０３の画素ピッチである。レンズアレイの配置に対する前記の画素ずれ量の振舞いを知るために、図５を用いてσ１、σ２が満たすべき条件を説明する。
【００２６】
図５は図１の詳細な構成を表したものであり、図２の構成に関しても同様の関係が成り立つ。図５中のＦは主レンズ群１０１のＦ値、Ｐｅｘは主レンズ群１０１の射出瞳（近軸射出瞳）と主レンズ群１０１の像側共役面２０２との間の距離である。Ｎは正の実数で、主レンズ群１０１の瞳面の分割数を表す。Ｐｅｘ／（ＮＦ）が撮像素子１０３が取得する角度情報のサンプリングピッチとなる。図５からΔＬＡとσ１には以下の式（１）の関係があることが分かる。
【００２７】
【数１】
【００２８】
ここでσ１は、レンズアレイ１０２の物体側主平面が像側共役面２０２に対して、前方（物体側）にいる場合は正の値を、後方（像側）にいる場合は負の値をとるとする。図５中の一点鎖線はレンズアレイ１０２の小レンズの中心と該小レンズに対応した画素セットの端を結んだ直線であり、その直線の瞳面上での交点と瞳中心との距離は以下の式（２）で与えられる。
【００２９】
【数２】
【００３０】
ここでｌｒは撮像素子上での不感帯とクロストークの度合いを表すパラメータである。図６を用いて不感帯とクロストークについて説明する。
【００３１】
図６（ａ）はｌｒが負の値を持つ場合の撮像素子１０３上における像の様子を描いたものである。白い部分が光線の入射する領域で、灰色の部分が不感帯と呼ばれ、光線が入射しない領域である。ｌｒが小さくなるほど、不感帯が広がる。それは情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが望ましい。逆にｌｒが正の値を持つ場合の撮像素子１０３上における像の様子を描いたものが図６（ｂ）である。異なる小レンズを介して形成された像が重なり合っていることが分かる。この重なり合った領域では、被写体面２０１上で異なる位置と角度を持つ光線が同一の画素に入射しており、この現象をクロストークと呼ぶ。ｌｒが大きくなるほど、クロストークする領域が広がる。クロストークが発生している画素はライトフィールドを取得できていないため、再構成に使用すると正しい画像が生成できなくなる。
【００３２】
クロストークの起きている画素を画像再構成に使用しない場合は、クロストークの領域が広いほど使用できない画素が増えてしまう。よってクロストークしている領域はできる限り小さいことが望ましい。ｌｒが０の時、不感帯とクロストークの発生が最も抑えられる。ただし現実の系では、収差によるベストピント位置のずれや、主レンズ群１０１のヴィネッティング、周辺光量落ちなどの影響により、ｌｒが０から少しずれていても不感帯やクロストークの発生が抑えられる場合がある。
【００３３】
図５と式（２）から、以下の式（３）が成り立つことが分かる。
【００３４】
【数３】
【００３５】
よって、隣り合う小レンズの相対的な画素ずれ量は式（１）と式（３）を用いて、以下の式（４）で与えられる。
【００３６】
【数４】
【００３７】
式（４）は、距離σ１に対する隣り合う小レンズの相対的な画素ずれ量の振舞いを表す式である。
【００３８】
では、距離σ１の画素ずらし効果に対する敏感度について説明する。以下は図１の構成を例にとって説明するが、図２の構成に関しても同様の議論が成り立つ。式（４）から距離σ１に対する画素ずれ量は、図７のように表される。図７中の菱形の点は、小レンズに対応する画素セットの画素数が整数個になる解を表す。この解以外の距離σ１では、前述のクロストークが生じる。ただし、ある小レンズに対応した画素セットへ異なる小レンズからの光線が入射しないように、撮像素子１０３に壁面を設置すれば、小レンズに対応する画素セットが整数でなくともクロストークを抑えることができる。ここで画素の整数倍のずれは図４（ｃ）に示されるように意味がないため、式（４）の整数部分は落として考えてよい。よって画素ずれの割合δは、以下のように表される。
【００３９】
【数５】
【００４０】
ここでｚ＝ｍｏｄ（ｘ，ｙ）は、ｚがｘをｙで割った時の剰余に等しいことを表す。
【００４１】
図８は、所定のパラメータを用いた場合において、式（５）により得られた距離σ１に対する画素ずれの割合δを示した図である。図８で用いたパラメータは、後述の実施例３のものである。理想的には、最も解像度が高くなる画素ずれの割合が得られる距離σ１の位置にレンズアレイ１０２を配置することが望ましい。しかし現実の系では、レンズアレイ１０２の配置に誤差が存在し、その誤差分だけ画素ずらし効果は小さくなる。そこで、誤差が発生しても画素ずらし効果が変化しにくい距離σ１の位置にレンズアレイ１０２を配置することが望ましい。式（４）と図７から、画素ずれの割合は距離σ１の２次関数で表されることが分かる。このため、図７のグラフの両端の傾きが急な部分を避けることで、距離σ１の誤差による画素ずらし効果の低下を抑制できる。これによって距離σ１の敏感度を抑制して、高解像度化を得やすくなる条件が導かれる。
【００４２】
本実施形態において、レンズアレイ１０２を配置する位置は、以下の条件式（６）を満たす。
【００４３】
【数６】
【００４４】
式（６）を満足することによって、図１及び図２に示した構成を有する撮像装置において、高解像な画像を得ることができる。条件式（６）の上限または下限を超えると、距離σ１の誤差による解像度の劣化が起こりやすくなる。
【００４５】
より望ましくは、以下の条件式（６ａ）の範囲とすることで、距離σ１の敏感度を抑えて高解像度化を図りやすくなる。
【００４６】
【数７】
【００４７】
さらに望ましくは、以下の条件式（６ｂ）、（６ｃ）の範囲とすることで、さらに距離σ１の敏感度を抑えて高解像度化を図りやすくなる。
【００４８】
【数８】
【００４９】
【数９】
【００５０】
ただし、条件式（６）及び（６ａ）〜（６ｃ）の値が１に近付くと、レンズアレイの倍率｜σ２／σ１｜が小さくなるため、撮像素子１０３で得られる画像の解像度が減少してしまう。理想的には、１／ｎの画素ずれを起こした小レンズがｎ個オーバーラップしていれば、解像度はｎ倍される。ここでｎは正の整数である。しかし現実の系では、ノイズや主レンズ群１０１の収差の影響によって、画素ずらし効果による解像度の上昇量は理想系より小さくなる。よって、撮像素子１０３で得られる画像の解像度はある程度確保されていることが望ましい。また、図１で示された構成では条件式（６）の値が１に近付くと、レンズアレイが主レンズ群１０１に干渉してしまう場合が存在する。よって、より望ましくは、条件式（６）及び（６ａ）〜（６ｃ）の上限を０．１小さくすることで、敏感度を抑えてさらに高解像度なライトフィールドを取得できる。
【００５１】
次に、画素ずらし効果が得られる条件を考える。前述の通り、式（４）で表される隣り合う小レンズの相対的な画素ずれ量が整数になると、図４（ｃ）に示したように画素ずらし効果は得られない。よって、レンズアレイ１０２の各小レンズを介して、撮像素子１０３の画素を像側共役面２０２上へ投影した際、隣接する２つの小レンズの投影画素のずれが、投影画素の整数倍とならないようにレンズアレイ１０２を配置すればよい。
【００５２】
では、さらに高い画素ずらし効果を得るための条件を求める。そのためにまず小レンズのオーバーラップ数を見積もる。図９は、図４（ｂ）に示される小レンズの番号ｊを横軸、主レンズ群１０１の被写体面２０１に対する像側共役面２０２上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２の任意の小レンズとしてよい。図９中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素セットを像側共役面２０２へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝ΔＬＡ｛ｊ＋｜σ１／（２σ２）｜｝で与えられ、また一点鎖線Ｂはｙ＝ΔＬＡ｛ｊ−｜σ１／（２σ２）｜｝で与えられる。オーバーラップする小レンズの数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応しており、ｊ＝０の小レンズもカウントすると｜σ１／σ２｜＋１個程度と見積もることができる。
【００５３】
続いて、画素ずらし効果を含めた空間解像度を求める。先にも述べた通り、現実の系では画素ずらし効果による解像度の上昇量は理想系より小さくなる。しかし説明を簡単にするため、本実施形態では、理想系として解像度の上昇について説明する。最終的な解像度は、画素ずらし効果によって見かけ上小さくなった画素の中で、最も大きい画素によって決定されると定義する。またその画素サイズを見かけの画素の最大値と呼ぶこととする。
【００５４】
例えば、小レンズのオーバーラップ数が８で、式（５）で表される隣接した小レンズの画素ずれの割合δが０．４５の時、８つの小レンズのそれぞれの画素ずれは０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決める見かけの画素の最大値は０．７０−０．４５＝０．２５となる。次にオーバーラップ数が同じで、δが３／８の場合を考える。この時８つの小レンズのそれぞれの画素ずれは０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素の最大値は１／８となり、小レンズのオーバーラップ数の逆数と一致する。よって、隣接した小レンズが投影する画素のずれの割合が、小レンズのオーバーラップ数の逆数と一致する場合、最も高い画素ずらし効果が得られていることとなる。これは式（５）で表されるδが、１／８、５／８、７／８の場合でも同じである。ただしδが２／８、４／８、６／８の場合は画素ずらし効果が低下する。例としてδが２／８の場合を考える。この時、オーバーラップした８つの小レンズのそれぞれの画素ずれは０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素の最大値が２／８＝１／４となる。よってδが１／８、３／８、５／８、７／８の時に対して、画素ずらし効果は半分になってしまう。
【００５５】
このことから、式（５）で与えられるδがｍ０／Ｍ０に等しい時、最大の画素ずらし効果が得られると分かる。ここでＭ０は小レンズのオーバーラップ数であり、ｍ０はＭ０より小さく、かつＭ０との最大公約数が１となる整数である。Ｍ０は前述したように｜σ１／σ２｜＋１程度と見積もることができ、δがｍ０／Ｍ０に近いほど画素ずらし効果は高くなる。
【００５６】
図１０は、図８と同様のパラメータにおいて、距離σ１に対する見かけの画素の最大値と小レンズのオーバーラップ数の逆数の関係を示した図である。菱形の点で表される見かけの画素の最大値と、破線で表された小レンズのオーバーラップ数の逆数が近い距離σ１ほど、画素ずらし効果が高く、再構成画像の解像度が上昇する。逆に見かけの画素の最大値と、小レンズのオーバーラップ数の逆数が離れている距離σ１では、高い画素ずらし効果は得られない。図１１は図８と同様のパラメータを用いた場合の、距離σ１と空間解像度比の関係である。縦軸の空間解像度比は、再構成画像の空間解像度を撮像素子の画素数で規格化したものである。図１０で菱形の点と小レンズのオーバーラップ数の逆数が近い距離σ１ほど、画素ずらし効果を含めた解像度が高いことが分かる。逆に、図１０で見かけの画素の最大値が１に近い距離σ１では、画素ずらし効果による解像度上昇がほとんどない。また前述の通り、距離｜σ１｜がＰｅｘ／２に近いほど空間解像度比の振動が緩やかになり、レンズアレイの敏感度が抑制されていることが読み取れる。
【００５７】
以上から、画素ずらし効果による解像度の上昇を効率的に得るための条件式（７）が求められる。
【００５８】
【数１０】
【００５９】
ここでＭは次の条件式（８）を満たす整数である。
【００６０】
【数１１】
【００６１】
またｍはＭより小さく、かつＭとの最大公約数が１となる整数である。条件式（７）と条件式（８）は、画素ずらし効果の大きさを表し、条件式（７）及び条件式（８）を満たすことで再構成画像の高解像度化を実現できる。条件式（７）及び条件式（８）の上限または下限を超えると、十分な画素ずらし効果が得られず、空間解像度の向上が不十分となる。
【００６２】
より望ましくは、以下の条件式（７ａ）の範囲とすることで、より高解像度化を図ることができる。
【００６３】
【数１２】
【００６４】
さらに望ましくは以下の条件式（７ｂ）の範囲とすることで、更なる高解像度化を図ることができる。
【００６５】
【数１３】
【００６６】
また望ましくは以下の条件式（８ａ）、更には条件式（８ｂ）の範囲とすることで、より高い画素ずらし効果を得られる。
【００６７】
【数１４】
【００６８】
【数１５】
【００６９】
また、レンズアレイ１０２を構成する小レンズの像側の面は、凸形状であることが望ましい。これにより、レンズアレイ１０２の非点収差を抑え、解像度に対する敏感度を下げることができる。逆に、像側面が凸形状でない場合は非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に使用すると、再構成によって得られた画像が鮮鋭に形成されなくなる。また、レンズアレイ１０２を構成する小レンズの物体側の面は、平面又は凸形状であることがより望ましい。これにより、小レンズの曲率が緩まって収差が抑制され、更に敏感度を下げることができる。
【００７０】
またレンズアレイ１０２は、主レンズ群１０１の被写体面２０１に対する像側共役面２０２よりも物体側に位置していることが望ましい。図１、２の比較から分かるように、図１の場合は図２の場合よりも撮像光学系の全長を縮小化できるためである。また図１は、軸外光線がレンズアレイ１０２及び撮像素子１０３に入射する像高が図２に比べて小さい。以上のとおり、図１のように配置することで撮像光学系の小型化を図ることができる。
【００７１】
本発明のその他の効果は、レンズアレイと撮像素子との関係が適切な条件を満足することによって、光学的に解像度を向上させた画像を得ることができる点にある。
【００７２】
図１及び図２で示される撮像光学系において、撮像素子では撮影視点と撮影領域が異なる小画像が並んだ画像が得られる。これらの画像の全て又は一部の重み付けや、ずらして重ね合わせる方法（再構成方法）により、ピント位置やＦ値、視点を変更した画像を得ることができる。例えば、“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”（Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２）に記載されている。このため、ここでの説明は省略する。上記文献と本実施形態の構成は少し異なるが、主レンズ群の瞳を分割していることは同じであるため、本質的に差異はない。このため、同様の再構成法でピント位置や被写界深度、撮影視点を変更した画像を生成できる。この際にも、画素ずらし効果を使用することで、再構成後の画像の高解像度化が可能である。また、再構成処理は撮像装置とは別の画像処理装置で行ってもよい。
【００７３】
なお、図1と図２に表された被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１より奥、或いは手前に存在する人物や物体に、撮影後でもピントを合わせることができるためである。また、主レンズ群１０１は１枚のレンズからなるものも含む。
【実施例１】
【００７４】
次に、図１２を参照して、実施例１における撮像装置（撮像光学系）について説明する。図１２は、本実施例における撮像光学系の断面図である。図１２において、主レンズ群１０１は単焦点レンズであり、撮影時にＦ値を制御する開口絞りＳＰを備えている。ただし、より多くの視差情報を得るために、開口径は大きい方が望ましい。本実施例では、Ｆ値は撮影後に再構成によって変更できるため、開口径は固定でもよい。
【００７５】
また、主レンズ群１０１は仕様に応じてフォーカス機構を有する。フォーカス機構を有する場合には、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によりレンズ位置が制御される。本実施例では、画像処理によって撮影後にピント位置調整（リフォーカス）が可能であるが、開口径が有限のため撮像素子１０３で得られる視差情報は有限である。このため、リフォーカスが可能な範囲も有限となる。撮影時のフォーカス位置を変化することで、可能なリフォーカス範囲を深度方向にシフトさせることができる。
【００７６】
レンズアレイ１０２は正の屈折力を有し、両面が凸形状の球面固体レンズで構成されている。レンズアレイ１０２の小レンズは表裏のいずれかは平面でもよく、また、非球面の曲面でもよい。また液体レンズ、液晶レンズ、回折光学素子などが並んで構成されていてもよい。レンズアレイ１０２は、主レンズ群１０１により形成された像を虚物体として見ることで、撮像素子１０３に像を結像する。
【００７７】
本実施例において、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ＝６６．４３５７（ｍｍ）、レンズアレイ１０２のピッチΔＬＡ＝４．３５５９（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。また、レンズアレイ１０２は、距離σ１＝３７．７６５７（ｍｍ）、距離σ２＝５．４３２５（ｍｍ）となるように配置されている。このような構成により、高い画素ずらし効果が得られ、画像の高解像度化を図ることができる。更に、レンズアレイ１０２の画素ずらし効果に対する配置敏感度も抑制される。また、Ｆ値やピント位置、被写界深度を変更した再構成画像に対しても、画素ずらし効果を用いて高解像度化することができる。画像の再構成時に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。
【実施例２】
【００７８】
次に、図１３を参照して、実施例２における撮像装置（撮像光学系）について説明する。図１３は、本実施例における撮像光学系の断面図である。図１３において、主レンズ群１０１は単焦点レンズである。レンズアレイ１０２は、物体側に平面状で像側に凸形状の面で構成され、主レンズ群１０１が形成した像を撮像素子１０３へ再結像する。
【００７９】
本実施例において、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ＝６６．４３５７（ｍｍ）、レンズアレイ１０２のピッチΔＬＡ＝０．３７８４（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。レンズアレイ１０２は、距離σ１＝−５．４６７９（ｍｍ）、距離σ２＝１．００３６（ｍｍ）となるように配置されている。レンズアレイ１０２の撮像素子１０３に対する共役面（主レンズ群１０１の被写体面２０１に対する像側共役面２０２）がレンズアレイ１０２より物体側に存在するため、距離σ１は負の値となる。
【００８０】
本実施例によれば、レンズアレイの配置敏感度を抑えつつ、画素ずらし効果による効率的な高解像度化を実現した撮像装置を提供することができる。
【実施例３】
【００８１】
次に、図１４を参照して、実施例３における撮像装置（撮像光学系）について説明する。図１４は、本実施例における撮像光学系の断面図である。図１４において、主レンズ群１０１はズームレンズであり、レンズアレイ１０２は両凸の正レンズで構成され、主レンズ群１０１が形成した像を虚物体として見ることで、撮像素子１０３へ像を結像している。
【００８２】
主レンズ群１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍時に第１レンズ群Ｌ２と第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、及び、第４レンズ群Ｌ４が光軸上を移動する。
【００８３】
本実施例において、主レンズ群１０１の広角端では、主レンズ群１０１の射出瞳から主レンズ群１０１の像側共役面２０２までの距離Ｐｅｘ ＝１３３．８１２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝１．９７７６（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。これらのパラメータとＮ＝７、ｌｒ＝０．５を用いて、画像ずれ割合δと画素ずらし効果を含めた解像度を示したのが前述の図７及び図９である。レンズアレイ１０２の小レンズには開口絞り（不図示）が設置されているため、ｌｒ＝０．５でもクロストークは起きない。またレンズアレイ１０２は、距離σ１＝４０．１４５３（ｍｍ）、距離σ２＝４．０１４５（ｍｍ）となるように配置されている。
【００８４】
本実施例によれば、レンズアレイの配置敏感度を抑えつつ、画素ずらし効果による効率的な高解像度化を実現した撮像装置を提供することができる。
【実施例４】
【００８５】
次に、図１５を参照して、実施例４における撮像装置について説明する。図１５は、本実施例における画像処理システムの構成図である。図１５に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図１４で示される実施例３の撮像光学系を有する。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器である。撮像装置３０１で取得された画像は、画像処理装置３０２にて所定の再構成処理が行われ、出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力される。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。
【００８６】
画像処理ソフトウェア３０６は、前述の再構成処理の他に、必要に応じて現像処理やその他の画像処理を行う機能を有する。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。特に、表示機器３０４がＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ−ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を使用したＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｏｒ）タイプのプロジェクタの場合、プロジェクタ内の光学系は図１４と同様の構成にしてもよい。このとき、プロジェクタ内の光学系は、図１４の撮像素子１０３の代わりにＤＭＤを配置した構成を採用することができる。この場合、表示機器３０４には再構成画像を入力するのではなく、撮像装置３０１の撮像素子１０３で得られた画像をそのまま入力すればよい。画像投射時に撮像時と逆の変換が行われるため、スクリーン上には自動的に再構成された画像が出力される。また、ＤＭＤのレンズアレイ１０２に対する共役面で画素ずらし効果が発生するため、出力画像を同様に高解像度化することが可能である。本実施例によれば、レンズアレイの配置敏感度を抑え、効率的な高解像度化を実現した撮像装置及び画像処理システムを提供することができる。
【００８７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。例えば他の実施形態として、撮像素子を有する撮像装置に着脱可能な撮像光学系に対して本発明を適用しても、撮像光学系と撮像素子が上記説明の関係を満足することにより、簡易な構成で高解像度のライトフィールドを取得可能な撮像光学系を提供することができる。
【００８８】
上記各実施例（実施例１〜４）における主レンズ群の数値データ（数値実施例）を以下に示す。ｉは物体側からの面の順序を示し、ｒｉは第ｉ面の曲率半径、ｄｉは第ｉ面と第ｉ＋１面間のレンズ肉厚或いは空気間隔、ｎｉとνｉはそれぞれｄ線に対する屈折率とアッベ（Ａｂｂｅ）数を表す。また表１に、各数値実施例（実施例１〜４）における条件式（６）、（７）、（８）の値を示す。
［数値実施例］
（実施例１、実施例２）
単位 mm
面データ
面番号 r d nd vd 有効径
1 89.763 1.80 1.84666 23.8 40.57
2 35.283 9.50 1.58913 61.2 38.63
3 -104.031 0.15 38.18
4 45.845 3.80 1.77250 49.6 34.85
5 205.586 1.60 34.09
6 190.384 1.50 1.80010 35.0 32.16
7 57.059 3.26 30.16
8 -88.455 1.50 1.56873 63.2 30.22
9 23.683 3.50 1.84666 23.8 28.33
10 37.253 19.26 27.84
11 -380.953 3.00 1.84666 23.8 28.98
12 -70.178 10.00 29.11
13 ∞ 22.12 26.48
14 -37.638 1.20 1.78472 25.7 21.81
15 57.202 4.30 1.52249 59.8 22.35
16 -38.872 0.30 22.71
17 -249.784 2.50 1.77250 49.6 22.78
18 -59.162 0.20 22.89
19 56.254 3.50 1.80400 46.6 22.42
20 -100.510 1.50 21.91
21 -109.205 2.80 1.84666 23.8 20.71
22 -44.064 0.16 20.09
23 -42.571 1.20 1.60311 60.6 19.94
24 41.456 8.27 18.54
25 -84.040 7.29 1.62230 53.2 15.96
26 -19.904 0.15 15.00
27 -19.678 2.00 1.59270 35.3 14.85
28 -118.544 0.00 14.29
29 ∞ (可変) 14.22
像面 ∞
各種データ
ズーム比 1.00
焦点距離 99.96
Fナンバー 2.89
画角 8.31
像高 14.60
レンズ全長 156.82
BF 40.46
d29 40.46
入射瞳位置 117.08
射出瞳位置 -25.97
前側主点位置 66.63
後側主点位置 -59.50
ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 99.96 116.36 66.63 -59.50
単レンズデータ
レンズ 始面 焦点距離
1 1 -69.72
2 2 45.88
3 4 75.59
4 6 -102.35
5 8 -32.69
6 9 68.67
7 11 101.16
8 14 -28.77
9 15 44.99
10 17 99.78
11 19 45.31
12 21 85.56
13 23 -34.64
14 25 40.16
15 27 -40.11
（実施例３、実施例４）
単位 mm
面データ
面番号 r d nd vd 有効径
1 124.447 2.80 1.74950 35.0 69.47
2 75.819 0.15 66.70
3 75.787 12.51 1.49700 81.6 66.68
4 -374.867 0.10 65.27
5 78.754 3.65 1.49700 81.6 62.96
6 102.655 (可変) 62.09
7 54.676 2.20 1.84666 23.8 49.13
8 47.526 1.22 47.37
9 55.346 7.65 1.48749 70.2 47.31
10 1833.147 (可変) 46.11
11 -401.208 1.40 1.80400 46.6 34.13
12 38.875 6.37 32.30
13 -92.113 1.34 1.48749 70.2 32.44
14 39.755 5.23 1.85026 32.3 33.61
15 292.638 4.06 33.53
16 -71.105 4.46 1.84666 23.8 33.56
17 -36.898 1.00 1.72000 46.0 34.09
18 311.857 (可変) 35.08
19 141.625 3.59 1.71300 53.9 35.92
20 -238.303 0.15 36.12
21 431.096 5.95 1.49700 81.6 36.23
22 -48.826 1.00 1.85026 32.3 36.30
23 -140.339 (可変) 36.87
24 81.141 3.98 1.80400 46.6 37.24
25 19006.920 1.15 36.96
26(絞り) ∞ 15.08 36.64
27 45.384 7.49 1.49700 81.6 31.66
28 -839.909 5.33 1.62588 35.7 29.72
29 39.178 23.47 26.68
30 139.400 5.78 1.50378 66.8 25.86
31 -105.607 7.43 26.94
32 -40.699 1.00 1.80100 35.0 28.35
33 -79.231 0.15 29.36
34 115.417 4.09 1.83400 37.2 30.71
35 -493.918 (可変) 31.15
像面 ∞
各種データ
ズーム比 2.67
広角 中間 望遠
焦点距離 72.49 99.90 193.91
Fナンバー 2.90 2.90 2.90
画角 16.59 12.20 6.36
像高 21.60 21.60 21.60
レンズ全長 243.50 243.51 243.49
BF 52.10 52.11 52.08
d 6 8.38 11.42 33.14
d10 1.59 10.49 16.84
d18 30.54 23.46 1.50
d23 11.11 6.25 0.15
d35 52.10 52.11 52.08
入射瞳位置 96.84 140.42 236.01
射出瞳位置 -81.71 -81.71 -81.71
前側主点位置 130.06 165.74 148.88
後側主点位置 -20.39 -47.79 -141.83
ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 179.99 19.21 2.38 -10.26
2 7 155.92 11.07 -0.28 -7.84
3 11 -27.99 23.86 4.82 -11.76
4 19 124.89 10.69 0.62 -6.15
5 24 86.42 74.95 21.42 -59.06
単レンズデータ
レンズ 始面 焦点距離
1 1 -265.43
2 3 128.02
3 5 647.74
4 7 -499.75
5 9 116.90
6 11 -44.02
7 13 -56.78
8 14 53.60
9 16 85.48
10 17 -45.77
11 19 125.08
12 21 88.61
13 22 -88.51
14 24 101.34
15 27 86.88
16 28 -59.67
17 30 120.22
18 32 -105.70
19 34 112.52
【００８９】
【表１】
【符号の説明】
【００９０】
１０１ 主レンズ群
１０２ レンズアレイ
１０３ 撮像素子
【特許請求の範囲】
【請求項１】
撮像素子と、
被写体からの光線を像側共役面に集光するレンズ群と、
複数のレンズセルを有するレンズアレイを有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役になるように配置され、
前記レンズアレイの物体側主平面から前記像側共役面までの距離をσ１、前記レンズ群の射出瞳から前記像側共役面までの距離をＰｅｘとしたとき、
を満足することを特徴とする撮像装置。
【請求項２】
前記レンズセルを介して、前記撮像素子の画素を前記像側共役面へ投影したとき、隣接するレンズセルによって、前記像側共役面に投影された画素が、前記投影された画素のピッチの整数倍とは異なる長さだけ互いにずれるように、前記レンズアレイを配置することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記レンズアレイの像側主平面から前記撮像素子までの距離をσ２、前記撮像素子の画素ピッチをΔ、前記レンズアレイのピッチをΔＬＡ、
を満たす整数をＭ、Ｍよりも小さく、且つ、Ｍとの最大公約数が１となる整数をｍとしたとき、
を満足することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記レンズセルの像側の面は、凸形状であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記レンズセルの物体側の面は、平面又は凸形状であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記レンズアレイは、前記レンズ群の前記像側共役面よりも物体側に配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮像素子に被写体からの光線を集光する撮像光学系であって、
被写体からの光線を像側共役面に集光するレンズ群と、
複数のレンズセルを有するレンズアレイを有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役になるように配置され、
前記レンズアレイの物体側主平面から前記像側共役面までの距離をσ１、前記レンズ群の射出瞳から前記像側共役面までの距離をＰｅｘとしたとき、
を満足することを特徴とする撮像光学系。
【請求項１】
撮像素子と、
被写体からの光線を像側共役面に集光するレンズ群と、
複数のレンズセルを有するレンズアレイを有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役になるように配置され、
前記レンズアレイの物体側主平面から前記像側共役面までの距離をσ１、前記レンズ群の射出瞳から前記像側共役面までの距離をＰｅｘとしたとき、
を満足することを特徴とする撮像装置。
【請求項２】
前記レンズセルを介して、前記撮像素子の画素を前記像側共役面へ投影したとき、隣接するレンズセルによって、前記像側共役面に投影された画素が、前記投影された画素のピッチの整数倍とは異なる長さだけ互いにずれるように、前記レンズアレイを配置することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記レンズアレイの像側主平面から前記撮像素子までの距離をσ２、前記撮像素子の画素ピッチをΔ、前記レンズアレイのピッチをΔＬＡ、
を満たす整数をＭ、Ｍよりも小さく、且つ、Ｍとの最大公約数が１となる整数をｍとしたとき、
を満足することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記レンズセルの像側の面は、凸形状であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記レンズセルの物体側の面は、平面又は凸形状であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記レンズアレイは、前記レンズ群の前記像側共役面よりも物体側に配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮像素子に被写体からの光線を集光する撮像光学系であって、
被写体からの光線を像側共役面に集光するレンズ群と、
複数のレンズセルを有するレンズアレイを有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役になるように配置され、
前記レンズアレイの物体側主平面から前記像側共役面までの距離をσ１、前記レンズ群の射出瞳から前記像側共役面までの距離をＰｅｘとしたとき、
を満足することを特徴とする撮像光学系。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１９１３７６（Ｐ２０１２−１９１３７６Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２３５２（Ｐ２０１１−５２３５２）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]