画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
【課題】リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法を提供する。
【解決手段】画像処理方法は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる仮想結像面の第２の位置を設定する第２の設定ステップと、仮想結像面を第２の位置に設定した状態で出力画像を生成する生成ステップとを有する。
【解決手段】画像処理方法は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる仮想結像面の第２の位置を設定する第２の設定ステップと、仮想結像面を第２の位置に設定した状態で出力画像を生成する生成ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体空間における光の２次元強度分布および光線の角度情報を取得する撮像装置、及び該撮像装置で取得された画像の画像処理方法に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２、３には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【０００３】
しかし、このような撮像装置は、撮像素子の画素を光の２次元強度分布だけでなく光線の角度情報の保存にも利用する必要がある。このため、光の２次元強度分布のみを記憶する撮像装置に対して、空間解像度が低下する。そこで非特許文献２には、結像光学系により形成された像面のある一点を、レンズアレイを構成する複数の小レンズが撮像する構成が開示されている。このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化することができる。このような高解像度化手法を「画素ずらし効果」という。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ
【非特許文献２】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ”，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ
【非特許文献３】Ａａｒｏｎ Ｉｓａｋｓｅｎ，ｅｔ ａｌ．，“Ｄｙｎａｍｉｃａｌｌｙ Ｒｅｐａｒａｍｅｔｅｒｉｚｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ”，ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．２９７−３０６（２０００）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら非特許文献２では、画素ずらし超解像の効果を得る方法として、特定のピント位置に関してのみ述べられている。リフォーカスにより異なるピント位置の画像を生成する場合には、ピント位置に応じて画素ずらし超解像の効果は変化し、空間解像度が低下する。
【０００６】
そこで本発明は、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップとを有する。
【０００８】
本発明の他の側面としての撮像装置は、画像処理部を有し、前記画像処理部は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得し、指定されたピント位置に対応する仮想結像面として第１の位置を設定し、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定し、前記第２の位置を用いて出力画像を生成する。
【０００９】
本発明の他の側面としての画像処理装置は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得手段と、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定手段、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定手段と、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成手段とを有する。
【００１０】
本発明の他の側面としての画像処理プログラムは、情報処理装置に、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップとを実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における撮像光学系の概略構成図である。
【図２】実施例２乃至５における撮像光学系の概略構成図である。
【図３】実施例２乃至５における撮像光学系の概略構成図である。
【図４】実施例６における撮像光学系の概略構成図である。
【図５】実施例１乃至４における撮像装置のブロック図である。
【図６】実施例１における撮像光学系の断面図である。
【図７】実施例１におけるリフォーカス画像生成に関する説明図である。
【図８】実施例１におけるリフォーカス範囲の説明図である。
【図９】実施例１乃至６における仮想結像面の位置とリフォーカス画像の解像度の概略関係図である。
【図１０】実施例１乃至６における画像処理方法のフローチャートである。
【図１１】実施例２における撮像光学系の断面図である。
【図１２】実施例２乃至５におけるリフォーカス画像生成に関する説明図である。
【図１３】実施例２乃至５におけるリフォーカス範囲の説明図である。
【図１４】実施例２乃至５における撮像光学系の説明図である。
【図１５】実施例２乃至５における撮像素子上に形成される像の説明図である。
【図１６】実施例２乃至５における距離τと画素ずれ量ｇの関係図である。
【図１７】実施例２乃至５における距離τと画素ずれの割合δの関係図である。
【図１８】実施例２乃至５における画素のオーバーラップ数の説明図である。
【図１９】実施例２乃至５で距離τに対する見かけの画素ピッチの最大値と画素のオーバーラップ数の逆数の関係を示した概略図である。
【図２０】実施例２乃至５において、画素ずらし超解像の効果が最小と極大となるピント位置の間隔の最大値に関する説明図である。
【図２１】実施例３における撮像光学系の断面図である。
【図２２】実施例４における撮像光学系の断面図である。
【図２３】実施例５における画像処置システムのブロック図である。
【図２４】実施例５における撮像光学系の断面図である。
【図２５】実施例６における撮像装置のブロック図である。
【図２６】実施例６における撮像光学系の概略構成図である。
【図２７】実施例６における光学系の断面図である。
【図２８】実施例６のリフォーカス画像生成に関する説明図である。
【図２９】実施例６におけるリフォーカス範囲の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
本実施形態の画像処理方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能である。この入力画像は、以下のような撮像装置で取得された画像である。すなわち撮像装置は、正の屈折力を有する光学系を複数配列するか、結像光学系の像側にレンズアレイを配置することで、ライトフィールドを取得可能に構成されている。
【００１６】
図１乃至図４は、このような撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系を構成する。図１乃至図４中に示される被写体面２０１の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために１次元系を用いて行うが、２次元系に関しても同様の議論が成り立つ。
【実施例１】
【００１７】
まず、図５を参照して、本発明の実施例１における撮像装置の構成について説明する。図５は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部１０５により実行される。
【００１８】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。結像光学系１０１（主レンズ群）及びレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１９】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００２０】
次に、図１および図６を参照して、本実施例における撮像光学系の構成について説明する。図１は、撮像光学系の概略構成図である。図６は、撮像光学系の断面図である。撮像光学系は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成される。本実施例において、レンズアレイ１０２は、複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２を構成してもよい。レンズアレイ１０２を構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。
【００２１】
レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。またレンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。被写体面２０１上の同一位置からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、この光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の互いに異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐように機能する。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１に示される構成では、被写体面２０１上の同一の位置を３つの画素（２次元では９画素）が撮像している。このため本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が１／９に低下する。これは、被写体面２０１上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。
【００２２】
続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。図７を参照して、リフォーカス画像を生成する方法の一例について説明する。図７（ａ）、（ｂ）は、図１に示される撮像光学系において、レンズアレイ１０２と撮像素子１０３の部分を詳細に示した図である。図７（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの像側主点を通過する光線の経路を延長したものである。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２の物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２の主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。
【００２３】
例えば、図１中の被写体面２０１にピントの合った画像を生成するには、図７（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２の主平面（像側主平面）に仮想結像面２０３を設定すればよい。図７（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図７（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。
【００２４】
次に、リフォーカスが可能な範囲に関して説明する。結像光学系１０１の開口径は有限であるため、撮像素子１０３で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α±は以下の式（１）のように与えられる。
【００２５】
【数１】
【００２６】
式（１）を用いて表される像側のリフォーカス範囲α＋ｓ２〜α−ｓ２と、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ２は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。
【００２７】
図８は、リフォーカス範囲の説明図である。図８に示される構成例では、レンズアレイ１０２の１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子１０３の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系１０１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（１）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（１）は、撮像素子１０３の画素ピッチΔが結像光学系１０１の射出瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。
【００２８】
【数２】
【００２９】
ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値、ΔＬＡはレンズアレイ１０２のピッチである。図７の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式（２）の最大リフォーカス量を超えたところで、各画素の間隔がΔｙより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。
【００３０】
次に、画像再構成時の画素ずらし超解像に関して説明する。図７（ａ）を参照すると、仮想結像面２０３において、平行移動した画素が互いにずれてオーバーラップしていることが分かる（オーバーラップ画素）。これらを合成することにより、見かけの画素ピッチを小さくすることができる。これを画素ずらし超解像と呼ぶ。一方、図７（ｂ）のように平行移動した画素がずれずに一致してオーバーラップしている場合、画素ずらし超解像の効果を得ることはできず、高解像度化を図ることはできない。オーバーラップしている画素のずれは、画素を平行移動する仮想結像面２０３の位置に応じて変化するため、画素ずらし超解像の効果も仮想結像面２０３により変化する。
【００３１】
ここで、画素ずらし超解像により小さくなった見かけの画素ピッチの中で、最も大きい画素ピッチがリフォーカス画像の解像度を決定すると定義する。また、解像度を決定する画素ピッチを見かけの画素ピッチの最大値と呼ぶ。このとき、被写体面２０１の同一の領域を撮像している１次元方向の画素数がｍ画素であるとする。ここで、ｍは結像光学系１０１の１次元瞳分割数に対応している。画素が１／ｍ画素ずつずれていれば、見かけの画素ピッチの最大値が最小となり、リフォーカス画像が最も高解像度になる。
【００３２】
図７（ａ）に示した状態は、ｍ＝３であり、仮想結像面２０３上で各画素が１／３画素ずつずれているため、リフォーカス画像が最も高解像となる状態である。図７から、同様の効果を得られるリフォーカス画像のピント位置は、リフォーカス範囲内に４点存在していることが分かる。逆に、図７（ｂ）のように平行移動した画素が一致してオーバーラップしている場合、画素ずらし超解像を行うことはできない。この関係を模式的に示したものが、図９の破線である。図９は、仮想結像面２０３の位置とリフォーカス画像の解像度の概略関係図である。図９の横軸は仮想結像面２０３の位置、縦軸は画素ずらし超解像を含めたリフォーカス画像の空間解像度を示している。図９に示されるように、仮想結像面２０３の位置に応じて空間解像度は変化する。
【００３３】
ここまでで、本実施例における撮像光学系の構成と、リフォーカス画像の生成、および、解像度に関して説明した。次に、図１０を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図１０は、本実施例における画像処理方法のフローチャートである。図１０のフローチャートの各ステップは、画像処理部１０５により実行される。
【００３４】
まずステップＳ００１において、図６に示される撮像光学系により撮影された入力画像が取得される。具体的には、被写体面２０１上の同一位置からの光線を結像光学系１０１の瞳領域に応じて撮像素子１０３の異なる画素に入射させることにより入力画像を取得する。入力画像に含まれるライトフィールドの保存方法は、撮像光学系の構成によって変化する。本実施例では、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像として保存される。また入力画像は、画像記録媒体１１０に保存された同様の撮像光学系で撮影された画像でもよい。
【００３５】
続いてステップＳ００２では、入力画像内に含まれている撮影条件情報（撮像光学系の構成に関する情報）から、画像の再構成方法を決定する。本実施例の撮像光学系は図１に示されるような構成を有するため、図７に示されるリフォーカス画像の生成方法を、画像再構成方法として用いる。ただし、図７に示されるリフォーカス画像の生成方法と定性的に同じであれば、画像の再構成方法の詳細は異なっていてもよい。また、撮像光学系が図２乃至図４、またはその他の構成を有する場合、その構成に応じて異なる画像の再構成方法が用いられる。ただし、撮像光学系の構成が変化しない場合、画像の再構成方法は単一の方法を用い、ステップＳ００２は実行しなくてもよい。
【００３６】
次にステップＳ００３（第１の設定ステップ）では、ユーザーが、生成される画像においてピントを合わせたい位置（ピント位置）を指定し、それに対応した仮想結像面２０３の位置ｘ１（第１の位置）を算出あるいは設定する。すなわち、指定されたピント位置に対応する仮想結像面２０３の位置ｘ１を算出する。位置ｘ１を第１ピント位置と呼ぶ。リフォーカスによって正しい画像が生成されるためには、位置ｘ１は式（２）のリフォーカス範囲内に収まっている必要がある。このため、位置ｘ１は以下の条件式（３）を満たすことが好ましい。
【００３７】
【数３】
【００３８】
ここで、本実施例の撮像光学系の構成においては、Δｙ＝ΔＬＡである。ユーザーが指定するピント位置は、物体側のピント位置または像側のピント位置のいずれでもよい。物体側のピント位置が指定された場合、第１ピント位置は、指定されたピント位置と結像光学系１０１を介して共役な面である。像側のピント位置が指定された場合は、像側のピント位置そのものが第１ピント位置となる。
【００３９】
続いてステップＳ００４（第２の設定ステップ）では、出力画像のピント位置を決定する。上述のとおり、画素ずらし超解像の効果は仮想結像面２０３の位置に応じて変化する。このため、ユーザーの指定したピント位置に対応する位置ｘ１（第１の位置）では、十分な画素ずらし超解像の効果を得られない場合がある。しかし、結像光学系１０１の焦点深度内であれば、位置ｘ１から出力画像に対応する仮想結像面２０３の位置が変化しても問題がない。したがって、位置ｘ１から焦点深度内で画素ずらし超解像の効果が最大となる仮想結像面２０３を選択すれば、高解像で且つユーザーの指定したピント位置にピントが合った出力画像を生成することができる。そこで、ステップＳ００４では、画素ずらし超解像の効果が最大となる仮想結像面２０３を再設定する。この出力画像に対応した仮想結像面２０３の位置ｘ２（第２の位置）を第２ピント位置と呼ぶ。位置ｘ２では、画素ずらし超解像の効果が最も高いため、見かけの画素ピッチの最大値は最も小さくなる。
【００４０】
ここで、許容錯乱円の直径をεとしたとき、結像光学系１０１の焦点深度は近似的に±Ｆεで表される。このため、以下の条件式（４）が導かれる。
【００４１】
【数４】
【００４２】
ここで、εは撮像装置に必要とされる性能によって決定される値である。例えば、εは焦点深度内における点像の広がりとピント位置での点像の広がりの差がユーザーに感知できないように決定される。具体的には、εは、見かけの画像ピッチの最大値以上、ΔＬＡの５倍以下であることが好ましい。
【００４３】
焦点深度内で高解像となる位置ｘ２でリフォーカス画像を生成したときの効果を、図９に模式的に表す。図９中の位置ｘ１がユーザーの指定したピント位置に対応する第１ピント位置であり、位置ｘ２が焦点深度±Ｆε内で最も画素ずらし超解像の効果が高くなる第２ピント位置である。焦点深度を考慮することで、ユーザーの指定したピント位置にピントが合っていながら、位置ｘ２での画素ずらし超解像の効果を得ることができる。この効果を図９中の実線で示している。空間解像度に対する仮想結像面２０３の位置の依存性が、位置ｘ１の場合を示す破線に対して低下している。
【００４４】
本実施例では、位置ｘ２を焦点深度内で見かけの画素ピッチの最大値が最小となる仮想結像面２０３の位置としている。ただし、焦点深度内で位置ｘ１以上の空間解像度が得られる位置であればこれに限定されることなく、他の位置を第２の位置として設定してもよい。すなわち、入力画像を再構成することにより形成される見かけの画素ピッチの最大値が小さくなるように、位置ｘ１（第１の位置）を基準として、仮想結像面２０３を結像光学系１０１の焦点深度の範囲内である位置（第２の位置）に設定する。また、位置ｘ１で得られる空間解像度が最大または十分に大きい場合には、ｘ２＝ｘ１としてよい。一方、上記の式（４）の上限を超えると、第２ピント位置におけるリフォーカス画像の指定されたピント位置に対する点像の広がりは、εを超えてしまう。このため、画素ずらし超解像によって解像度は増えても、指定されたピントの被写体がぼけて見えるため鮮鋭さが低下してしまう。
【００４５】
また、リフォーカス画像は仮想結像面２０３の位置がｓ２に近いほど、リフォーカス画像のピント位置での点像の広がりが小さくなる。すなわち、位置ｘ２は位置ｓ２と位置ｘ１の間に設定されることが好ましい。このため、以下の式（５）を満たすことが好ましい。
【００４６】
【数５】
【００４７】
式（５）の上限を超えると、位置ｓ２からの距離の絶対値が、位置ｘ２より位置ｘ１のほうが小さくなる。このため、位置ｘ２でのリフォーカス画像におけるピント位置の点像の広がりは、位置ｘ１の場合よりも大きくなる。
【００４８】
次にステップＳ００５では、ステップＳ００４で決定した第２ピント位置ｘ２に仮想結像面２０３を設定して出力画像を生成する。すなわち、仮想結像面２０３を第２の位置に設定した状態で出力画像を生成する。本実施例では、撮像素子１０３で得られた入力画像に対して上述のリフォーカス画像の生成方法を用いることで、高解像で且つユーザーの指定したピント位置にピントの合ったリフォーカス画像が生成される。また必要に応じて、リフォーカスと同時に、視点や被写界深度を変更する再構成処理を行ってもよい。さらに、画像の再構成処理の際に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。
【００４９】
図６において、結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。このように第１〜第６レンズ群Ｌ１〜Ｌ６を備えて構成される結像光学系１０１は、変倍時に各レンズ群の間隔が変化し、第２レンズ群Ｌ２で合焦を行う。
【００５０】
また、レンズアレイ１０２を構成する小レンズの像側の面は、凸形状であることが好ましい。これにより、レンズアレイ１０２の非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。一方、小レンズの像側の面が凸形状でない場合には非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に用いると、再構成された画像を鮮鋭に形成することができない。また、レンズアレイ１０２を構成する小レンズの物体側の面は、平面又は凸形状であることが好ましい。これにより、小レンズの曲率が緩まって収差が低減し、画像が先鋭になる。
【００５１】
本実施例によれば、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【実施例２】
【００５２】
次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。
【００５３】
続いて図２および図１１を参照して、本実施例における撮像光学系の構成について説明する。図２は、撮像光学系の概略構成図である。図１１は、撮像光学系の断面図である。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側に配置されている。またレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２と撮像素子１０３が共役となる（共役関係を有する）ように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて撮像素子１０３の異なる画素へ入射し、これによりライトフィールドが取得される。被写体面２０１上の同一位置からの光線は、この光線が被写体面２０１となす角に応じて、結像光学系１０１の異なる瞳領域を通過する。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。
【００５４】
図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へさらに縮小結像するためである。その縮小倍率は｜σ２／σ１｜倍である。ここで、σ１は像側共役面２０２とレンズアレイ１０２の物体側主平面の間の距離、σ２はレンズアレイ１０２の像側主平面と撮像素子１０３の間の距離である。したがって、図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が（σ２／σ１）２倍される。
【００５５】
この性質は、図３で示される撮像光学系でも同様である。図３の撮像光学系の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除いて、図２に示される撮像光学系の構成と同様である。図２の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図２と図３に示される撮像光学系の構成は、いずれも、結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。したがって、以下の議論は図３の構成に関しても同様に成り立つ。
【００５６】
次に、図１２（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図１２（ａ）、（ｂ）は、図２に示される撮像光学系の構成において、レンズアレイ１０２と撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。
【００５７】
図１２（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図２中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図１２（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。
【００５８】
続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表される。その関係は、図１３に示されるとおりである。図１３は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δｙ＝Δ｜σ１／σ２｜、Δｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐであるから、式（１）は以下の式（６）のように書き換えられる。
【００５９】
【数６】
【００６０】
ここで、Δは撮像素子１０３の画素ピッチである。実施例１と同様に式（６）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
【００６１】
次に、画素ずらし超解像による空間解像度の向上について説明する。図１２（ａ）に示されるように、仮想結像面２０３へ投影された画素はオーバーラップしている。オーバーラップした画素の数を、画素のオーバーラップ数と呼ぶ。図１２（ａ）のように、投影された画素が各々ずれていれば、それらを合成することで見かけの画素ピッチを小さくすることができる。一方、図１２（ｂ）に示されるように、投影された画素のずれが画素の整数倍になっている場合、画素ずらし超解像の効果は得られない。画素ずらし超解像によって最も高解像度化が図れるのは、画素がずれている割合が画素のオーバーラップ数に対応している場合である。具体的には、図１２（ａ）の場合、画素のオーバーラップ数が３であるため、画素ずれの割合が１／３または２／３のときに解像度を最大にすることができる。画素ずれの割合と画素のオーバーラップ数の関係については、追って詳述する。以上のように本実施例においても、仮想結像面２０３によって画素ずらし超解像の効果が変化する。したがって、リフォーカス範囲内で図９のように、リフォーカス画像の解像度が変化することになる。
【００６２】
続いて、仮想結像面２０３と画素ずらし超解像との関係を具体的に説明する。まず、仮想結像面２０３が被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致している場合を考える。σ１と画素ずれの割合との関係は以下のように求められる。隣接する小レンズを介して、それぞれ投影された画素の相対的な画素ずれ量ｇは、レンズアレイ１０２のピッチΔＬＡを、像側共役面２０２上に投影された画素ピッチで割った比ΔＬＡσ２／｜Δσ１｜で表される。
【００６３】
レンズアレイ１０２の配置に対する画素ずれ量ｇの振舞いを知るために、図１４を用いてσ１とσ２が満たすべき条件を説明する。図１４は本実施例における撮像光学系の説明図であり、図２の詳細な構成を示している。図１４中のＦは結像光学系１０１のＦ値、Ｐは結像光学系１０１の射出瞳と像側共役面２０２の間の距離である。撮像素子１０３の取得する結像光学系１０１の射出瞳面上（角度情報）のサンプリングピッチは、Δｕ＝Ｐ／（ＮＦ）となる。図１４からΔＬＡとσ１には以下の式（７）の関係があることが分かる。
【００６４】
【数７】
【００６５】
図１４の一点鎖線は、レンズアレイ１０２の小レンズの中心と該小レンズに対応した画素セットの端を結んだ直線である。その直線の射出瞳面上での交点と瞳中心との距離は、以下の式（８）で与えられる。
【００６６】
【数８】
【００６７】
ここで、ｌｒは撮像素子１０３上での不感帯とクロストークの度合いを表すパラメータである。
【００６８】
続いて、図１５を参照して、不感帯とクロストークについて説明する。図１５は、撮像素子上に形成される像の説明図である。図１５（ａ）は、ｌｒが負の値を有する場合の撮像素子１０３上における像の様子を示す図である。白い部分が光線の入射する領域で、斜線部分が不感帯と呼ばれ、光線が入射しない領域である。ｌｒが小さくなるほど、不感帯が広がる。このことは、情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが好ましい。
【００６９】
一方、図１５（ｂ）は、ｌｒが正の値を有する場合の撮像素子１０３上における像の様子を示す図である。図１５（ｂ）では、異なる小レンズを介して形成された像が重なり合っている。この重なり合った領域では、被写体面２０１上で異なる位置と角度を有する光線が同一の画素に入射しており、この現象はクロストークと呼ばれる。ｌｒが大きくなるほど、クロストークの領域は広がる。クロストークが発生している画素はライトフィールドを取得できないため、この画素を再構成に用いると正しい画像が生成できない。クロストークが生じている画素を画像再構成に使用しない場合、クロストークの領域が広いほど使用できない画素が増加する。したがって、クロストークの領域はできる限り小さいことが好ましい。ｌｒが０の場合、不感帯とクロストークの発生が最も低減する。ただし現実の系では、収差によるベストピント位置のずれや、結像光学系１０１のヴィネッティング、周辺光量落ちなどの影響により、ｌｒが０から少しずれていても不感帯やクロストークの発生を低減できる場合がある。
【００７０】
図１４と式（８）から、以下の式（９）が成り立つ。
【００７１】
【数９】
【００７２】
したがって、隣接する小レンズの相対的な画素ずれ量ｇは、式（７）と式（９）を用いて、以下の式（１０）で与えられる。
【００７３】
【数１０】
【００７４】
これにより、距離σ１に対する画素ずれ量ｇの振舞いを表す式が得られた。式（１０）から、画素ずれ量ｇは、距離σ１の２次関数で記述されることが分かる。ここで、画素の整数倍のずれは図１２（ｂ）に示されるように意味がないため、式（１０）の整数部分は落として考えてよい。よって、画素ずれの割合δは、以下の式（１１）のように表される。
【００７５】
【数１１】
【００７６】
ここでω＝ｍｏｄ（χ，ψ）は、ωがχをψで割った時の剰余に等しいことを表す。
【００７７】
式（１１）は、仮想結像面２０３が、被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致していた場合の画素ずれの割合を示す。任意の仮想結像面２０３にリフォーカスした画像を生成する場合、画素を投影する仮想結像面２０３の位置を変化させればよい。したがって、任意のピント面では、式（１０）及び式（１１）は、それぞれ以下の式（１２）及び式（１３）のようになる。
【００７８】
【数１２】
【００７９】
【数１３】
【００８０】
ここで、τはレンズアレイ１０２の物体側主平面から仮想結像面２０３までの距離である。式（１２）から、距離τと画素ずれ量ｇは、反比例の関係にあることが分かる。図１６は、距離τと画素ずれ量ｇとの関係を示し、図１７は画素ずれの割合δとの関係を示す。ここで、図１６及び図１７のτ＋とτ−は、式（１）から決定されるリフォーカス可能な範囲の上限および下限であり、以下の式（１４）で表される。
【００８１】
【数１４】
【００８２】
ここでΔｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐとする。以上のとおり、仮想結像面２０３と画素ずれ量の関係が求められる。
【００８３】
次に、リフォーカス範囲内での画素ずらし超解像を含めた空間解像度について説明する。まず、画素のオーバーラップ数を見積もる。図１８は、画素のオーバーラップ数の説明図あり、図１２（ａ）に示される小レンズの番号ｊを横軸、仮想結像面２０３上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２の任意の小レンズとしてよい。図１８中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素の集合を仮想結像面２０３へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝ΔＬＡ｛ｊ＋｜τ／（２σ２）｜｝で与えられ、また一点鎖線Ｂはｙ＝ΔＬＡ｛ｊ−｜τ／（２σ２）｜｝で与えられる。画素のオーバーラップ数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応している。ｊ＝０に対応する画素で最も画素のオーバーラップ数が少なくなるのは、ｙ＝０近傍の画素であり、そのオーバーラップ数は｜τ／σ２｜程度と見積もることができる。
【００８４】
続いて、画素ずらし超解像を含めた空間解像度を求める。理想的には、１／ｍずつ画素ずれを起こした画素がｍ個オーバーラップしていれば、解像度はｍ倍される。ここで、ｍは正の整数である。しかし現実の系では、ノイズや結像光学系の収差の影響により、画素ずらし超解像による解像度の上昇量は理想系より小さくなる。ただし説明を簡単にするため、ここでは理想系における解像度の上昇について説明する。
【００８５】
解像度が最も高くなるのは、画素のオーバーラップ数と式（１３）で表される画素ずれの割合δが対応している場合である。例えば、画素のオーバーラップ数が８で、画素ずれの割合δが０．４５の時、８つの画素のそれぞれの画素ずれは０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決定する見かけの画素ピッチの最大値は０．７０−０．４５＝０．２５となる。次に、オーバーラップ数が同じで、画素ずれの割合δが３／８の場合を考える。このとき、８つの画素のそれぞれの画素ずれは０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素ピッチの最大値は１／８となり、画素のオーバーラップ数の逆数と一致する。よって、最も高い画素ずらし超解像の効果が得られていることとなる。これは、δが１／８、５／８、７／８の場合でも同じである。
【００８６】
ただし、δが２／８、４／８、６／８の場合には、画素ずらし超解像の効果が低下する。例として、δが２／８の場合を考える。このとき、オーバーラップした８つの画素のそれぞれの画素ずれは０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素ピッチの最大値が２／８＝１／４となる。よって、δが１／８、３／８、５／８、７／８の時に対して、画素ずらし超解像の効果は半分になる。このことから、δがｍ０／Ｍ０に等しい時、最大の画素ずらし超解像の効果が得られることになる。ここで、Ｍ０は画素のオーバーラップ数であり、ｍ０はＭ０より小さく、かつＭ０との最大公約数が１となる整数である。Ｍ０は前述したように、｜τ／σ２｜程度と見積もることができ、δがｍ０／Ｍ０に近いほど画素ずらし超解像の効果は高くなる。
【００８７】
図１９は距離τに対する見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数の関係を示した模式図である。実線で表された見かけの画素ピッチの最大値と、一点鎖線で表された画素のオーバーラップ数の逆数が近い距離τほど、画素ずらし超解像の効果が高く、再構成画像の解像度が上昇する。一方、見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数が離れている距離τでは、高い画素ずらし超解像の効果は得られない。これにより、距離τに対する空間解像度は、図９の破線のように変化する。したがって、実施例１と同様に焦点深度を考慮することで、仮想結像面２０３の依存性を低減した高解像なリフォーカス画像が得られる。
【００８８】
本実施例における入力画像から出力画像を生成する画像処理方法は、実施例１で参照した図１０のフローチャートで表され、実施例１と同様の部分についての説明は省略する。ステップＳ００１では、撮像素子１０３によって、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。ステップＳ００２で選択される再構成方法は、例えば本実施例で説明したリフォーカス画像の生成方法である。ステップＳ００３およびステップＳ００４で説明した実施例１の条件式は、本実施例においても成り立つ。ステップＳ００５では、ステップＳ００４で決定した位置ｘ２にピントの合ったリフォーカス画像を出力画像として生成する。このときの生成方法としては、前述の方法などが用いられる。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【００８９】
ここで、撮像素子１０３上に形成されるクロストークまたは不感帯に関して考える。前述のとおり、クロストークや不感帯が発生すると、ライトフィールドの取得効率が低下する。画素ずらし超解像による高解像度化は、より多くのライトフィールド（視差情報）が取得されているほど効果が高まる。このため、より多くのライトフィールドを取得するため、クロストークと不感帯をできる限り低減することが好ましい。そのため、式（９）中のｌｒが０の近傍であればよい。したがって、式（９）を変形することで、ライトフィールドを効率的に取得する条件式（１５）が導かれる。
【００９０】
【数１５】
【００９１】
ここで、Ｆ０は結像光学系１０１の開放Ｆ値である。ＦをＦ０としたのは、結像光学系１０１の開口径が大きいほうが、より多くのライトフィールドを取得できるためである。式（１５）の上限を超えると、撮像素子１０３上で不感帯が増大し、取得できるライトフィールドの量が減少してしまう。一方、式（１５）の下限を超えると、撮像素子１０３上でのクロストークが増大し、同様にライトフィールドの取得効率が減少する。
【００９２】
好ましくは、式（１５）の範囲を以下の式（１５ａ）で表される範囲とすることで、ライトフィールドをより効率的に取得できる。
【００９３】
【数１６】
【００９４】
さらに好ましくは、式（１５）を以下の式（１５ｂ）の範囲とすることで、ライトフィールドを非常に高い効率で取得することが可能である。
【００９５】
【数１７】
【００９６】
本実施例における図２の撮像光学系の構成は、図１の構成と異なり、レンズアレイ１０２の配置に自由度が存在する。レンズアレイ１０２の位置を決定すれば、被写体面２０１と像側共役面２０２が共役となるように、小レンズの焦点距離が決定する。そこで、本実施例の画像処理方法を行う際に、優位となるレンズアレイ１０２の位置を考える。本実施例における上記の議論は、図２および図３の構成いずれにも適用可能である。しかし、図２と図３を比較すると明らかなように、図２は撮像装置の全長の短縮化が図れる利点がある。そこでここからは、図２の構成に絞って議論する。図２の構成ではσ１≧０となる。リフォーカス画像の解像度に対するピント位置の依存性をより低減してさらに高解像な画像を生成するには、図９の実線で示された解像度の極小値が大きくなればよい。空間解像度が極小となるのは、画素ずれの割合が０となるピント位置であり、そのτをτ０とする。距離τ０は、以下の式（１６）を満たす。
【００９７】
【数１８】
【００９８】
ここで、ｋは整数である。次に、距離τ０に最も近い空間解像度が極大値を有するピント位置を考え、その距離をτ０＋ρとする。距離τ０＋ρでの画素ずれ量は、以下の式（１７）のように表される。
【００９９】
【数１９】
【０１００】
このため、距離τ０＋ρでの画素ずれの割合は、式（１７）の右辺第２項で表される。
【０１０１】
ところで、距離τ０＋ρでの画素のオーバーラップ数は、前述のとおり、（τ０＋ρ）／σ２と見積もられるため、ρは以下の式（１８）を満たす。
【０１０２】
【数２０】
【０１０３】
式（１８）より、ρが正の場合にはρ＝τ０Δ／ΔＬＡ、ρが負の場合にはρ＝−τ０Δ／ΔＬＡと見積もることができる。ρをＦεで除した値が小さいほど、空間解像度比の最小値を大きくすることができる。ρはτ０に比例しているため、リフォーカス範囲内でρが最大値ρｍａｘをとるのは、図２０に示したようにτ０＝τ＋となる場合である。図２０中の破線は、画素ずらし超解像を考慮した際のリフォーカス画像の空間解像度であり、一点鎖線は画素ずらし超解像を考慮しない場合の空間解像度を表す。図２０中の実線は、画素ずらし超解像の効果と、さらに焦点深度を加味した空間解像度である。ρｍａｘがＦεで除した値が小さくなれば、指定された位置にピントの合った、より高解像度なリフォーカス画像を生成することができる。
【０１０４】
近接する解像度の極大値と極小値を直線で結んで近似的に考えると、ρｍａｘ／Ｆεが略３以下になれば、両者の差は略３割減らすことができる。これにより、リフォーカス画像の解像度に対するピント位置の依存性を低下させ、高解像度化を図ることができる。上記の式（１４）及び式（１８）から、以下の式（１９）が導かれる。
【０１０５】
【数２１】
【０１０６】
式（１９）が解を持つには、Ｎ／ｎが３未満でなければならない。ここで、Ｎは結像光学系１０１の瞳面の１次元分割数であり、結像光学系１０１の近軸瞳射出面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値である。ｎはレンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値である。
【０１０７】
これにより、焦点深度に対してρｍａｘを小さくする条件として、例えば以下のように設定する。好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の３倍未満であるように設定する。より好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値より小さくなるように設定する。更に好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．３倍未満であるように設定する。このような構成により、リフォーカス画像の更なる高解像度化を図ることができる。
【０１０８】
前述のＮ／ｎは、結像光学系１０１の像側共役面２０２に対してレンズアレイ１０２が物体側へ位置するほど小さくなり、リフォーカス画像の解像度に対するピント位置の依存性を低下させることができる。またこのとき、撮像素子１０３もより物体側に位置するため、光学系全体の小型化も図れる。しかし、レンズアレイ１０２は像側共役面２０２よりも物体側に位置するため、両者の間隔が大きく広がると、レンズアレイ１０２が結像光学系１０１に干渉してしまう。このため、レンズアレイ１０２は、以下の条件式（２０）を満たすように配置すればよい。
【０１０９】
【数２２】
【０１１０】
これにより、小型で、かつピント位置に依存せず高解像なリフォーカス画像を得られる撮像光学系を提供することができる。式（２０）の下限を超えると、ρｍａｘ／Ｆεが大きくなり、リフォーカス画像の高解像度化が不十分となる。一方、式（２０）の上限を超えると、レンズアレイ１０２が結像光学系１０１へ干渉してしまう場合がある。
【０１１１】
好ましくは、上記の式（２０）の範囲を以下の式（２０ａ）の範囲とすることで、より高解像なリフォーカス画像を得ることができる。
【０１１２】
【数２３】
【０１１３】
式（２０）の上限を式（２０ａ）のように変更することで、レンズアレイ１０２が結像光学系１０１へ干渉する可能性を低下させることができる。さらに好ましくは、上記の式（２０）の範囲を以下の式（２０ｂ）の範囲とすることで、レンズアレイ１０２の結像光学系１０１への干渉を避け、リフォーカス画像の十分な高解像度化が図れる。
【０１１４】
【数２４】
【０１１５】
本実施例において、図１１に示される結像光学系１０１は単焦点レンズであり、その開放Ｆ値はＦ０＝２．９、射出瞳から像側共役面２０２までの距離Ｐ＝６３．４９０９（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は２１．８９３４（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝２．４１６６（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。レンズアレイ１０２は、距離σ１＝３５．０４０７（ｍｍ）、距離σ２＝２．１２１９（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、４．３７８７（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．００８９倍となっている。
【０１１６】
また、式（１５）の値は２．４０であり、式（２０）の値は０．５５２である。正の実数ｌを用いて、許容錯乱円の直径εをｌΔとおく。このときの焦点深度は、±ｌＦΔとなる。焦点深度は必要な性能によって変化するが、ここではｌ＝５の場合を例にとって説明する。上記の構成では、画素ずらし超解像の効果が最小となるピント位置と、極大となるピント位置の差の最大値はρｍａｘ＝０．０６２９（ｍｍ）である。それに対し、焦点深度は０．０６２４（ｍｍ）であるため、画素ずらし超解像の効果を得られないピント位置の解像度は、前記の効果が極大値となるピント位置と略同等にできる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得している。このような構成により、本実施例の画像処理方法の効果を高めて高解像なリフォーカス画像が取得することができ、また、小型の撮像装置を実現することができる。
【実施例３】
【０１１７】
次に、本発明の実施例３について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。本実施例における撮像光学系は図２に示される構成をしており、その断面図は図２１で表される。図２１において、結像光学系１０１は単焦点レンズである。レンズアレイ１０２を構成する小レンズは、物体側の面は平面で像側の面は凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３に結像する。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
【０１１８】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝６３．４９０９（ｍｍ）である。したがって、結像光学系１０１の近軸射出瞳面の直径は２１．８９３４（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝０．０５１２（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝３．２６６６（ｍｍ）、距離σ２＝０．１４７５（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、０．９９５２（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の２．７５倍となっている。
【０１１９】
また、式（１５）の値は−１．００であり、式（２０）の値は０．０５１である。ここで例として、許容錯乱円の直径をε＝５Δとおいて上記の構成の効果を説明する。このときの焦点深度は０．０９２８（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．６６３５（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【実施例４】
【０１２０】
次に、本発明の実施例４について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例における撮像光学系は図２で示された構成を有し、その断面図は図２２で表される。図２２において、結像光学系１０１はズームレンズである。レンズアレイ１０２を構成する小レンズは、両面ともに凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３へ像を結像している。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍の際には、第１レンズ群Ｌ１および第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４が光軸上を移動する。なお、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
【０１２１】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝１２９．８９９４（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は４４．７９２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝２．２４００（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝４５．４７２０（ｍｍ）、距離σ２＝４．１０４８（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、６．３９９０（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．０２倍となっている。
【０１２２】
また、式（１５）の値は０．２０であり、式（２０）の値は０．３５０である。ここで例として、許容錯乱円の直径をε＝３Δとおいて上記の構成の効果を説明する。この時の焦点深度は０．０５５７（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．１３１８（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【実施例５】
【０１２３】
次に、本発明の実施例５について説明する。本実施例は、上述の画像処理方法を行う画像処理装置（画像処理システム）について説明する。図２３は、本実施例における画像処理システムのブロック図である。図２３に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図２の構成を備えた撮像光学系を有する。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置３０２は、この入力画像に対して所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力する。
【０１２４】
記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。
【０１２５】
図２４は、本実施例における撮像光学系の断面図である。図２４において、結像光学系１０１はズームレンズである。レンズアレイ１０２を構成する小レンズは、物体側の面が平面で像側の面が凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３に像を結像する。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍の際には、第１レンズ群Ｌ１および第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４が光軸上を移動する。本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。本実施例では、画像処理装置３０２に設けられた画像処理部が図１０に示される各ステップを行う。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理装置を実現している。
【０１２６】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝１２９．８９９４（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は４４．７９２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝０．４４８０（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝１６．８８９６（ｍｍ）、距離σ２＝０．９８６１（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、３．４４５６（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．１８５７倍となっている。
【０１２７】
また、式（１５）の値は１．９０であり、式（２０）の値は０．１３０である。ここで例として、許容錯乱円の直径をε＝３Δとおいて上記の構成の効果を説明する。このときの焦点深度は０．０５５７（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．２５８５（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【０１２８】
以上の実施例２乃至５において、εは、見かけの画素ピッチの最大値以上、５倍の｜δ１／δ２｜以下であることが好ましい。
【実施例６】
【０１２９】
次に、本発明の実施例６について説明する。図２５は、本実施例における撮像装置のブロック図である。図２６は、本実施例における撮像光学系の概略構成図であり、物体側から結像光学系１０１を見た図である。図２５において、不図示の被写体空間からの光線は、結像光学系１０１に入射する。結像光学系１０１は、図２６のように正の屈折力を有する複数の光学系１０１ａ〜１０１ｇを備えて構成されている。結像光学系１０１は、光学系１０１ｂの光軸を回転軸とした場合、六回対称性を有した構成をしている。しかし、結像光学系１０１の構成はこれに限定されるものではなく、光学系の個数や配列は適宜変更可能である。光学系１０１ａ〜１０１ｇの像側には、それぞれ撮像素子１０３ａ〜１０３ｇが配列されている。ただし、本実施例では複数の撮像素子１０３ａ〜１０３ｇを備えることは必須でなく、光学系１０１ａ〜１０１ｇにより形成される像を受光できる場合には単数の撮像素子を備えたものであってもよい。このため、本実施例の撮像装置は、少なくとも１つの撮像素子を有していればよい。
【０１３０】
図４は、本実施例の撮像光学系を光学系１０１ａ〜１０１ｃの光軸を含む断面で見た概略図である。光学系１０１ａ、１０１ｂ、１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ、１０３ｂ、１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、すなわちライトフィールドを得ることができる。本実施例では、このような複数の視差画像が入力画像となる。ところで、図４に示される構成は、使用する撮像素子の全画素数が同じであるとすると、光の２次元強度のみを取得する撮像系に対して解像度は低下する。これはライトフィールドの角度成分の取得に画素を割く必要があるためである。
【０１３１】
図２７は、本実施例における光学系の断面図であり、光学系１０１ａと撮像素子１０３ａの断面を示している。他の光学系１０１ｂ〜１０１ｇ及び撮像素子１０３ｂ〜１０３ｇの断面も同様であるため、それらの説明は省略する。ただし、各光学系の構成はそれぞれ異なっていてもよい。図２７に示される光学系１０１ａは、単焦点レンズである。図４のように、被写体面２０１からの光線は、該光線の被写体面２０１上での位置と角度に応じて、結像光学系１０１を構成する異なる光学系へ入射し、撮像素子の異なる画素で受光され、ライトフィールドを取得することができる。
【０１３２】
次に、本実施例におけるリフォーカス画像の生成方法について説明する。図２８は、リフォーカス画像生成に関する説明図であり、図４の構成の詳細図である。図２８中の合成物体側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの物体側主点を通る面であると定義する。同様に、合成像側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの像側主点を通る面である。本実施例の構成では、結像光学系１０１の物体側主平面、及び像側主平面は、それぞれ合成物体側主平面と合成像側主平面で表されるとする。図２８の一点鎖線は、各光学系の画角を表す。
【０１３３】
像側のピント位置を仮想結像面２０３に合わせる場合、撮像素子１０３ａ〜１０３ｇで得られた画素値を、各撮像素子１０３ａ〜１０３ｇに対応する光学系１０１ａ〜１０１ｇを介して物体側リフォーカス面２０４へ投影して合成すればよい。物体側リフォーカス面２０４は、仮想結像面２０３と光学系１０１ａ〜１０１ｇを介して共役な面である。仮想結像面２０３を移動することで、任意の位置にピントの合ったリフォーカス画像を生成することができる。
【０１３４】
例えば、図４の被写体面２０１にピントの合った画像を生成するには、撮像素子１０３ａ〜１０３ｇ上に仮想結像面２０３を設定すればよい。このとき、被写体面２０１と物体側リフォーカス面２０４は一致する。図２８において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして示している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過した光学系が同じである場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した光学系に応じて決定される。
【０１３５】
続いて、リフォーカス可能な範囲に関して説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表され、その関係は図２９に示されるとおりである。図２９は、本実施例におけるリフォーカス範囲の説明図である。
【０１３６】
本実施例の撮像光学系において、Δｙ＝Δ、Δｕ＝Ｐｓｙｎ／（ＮＦｓｙｎ）であり、Δ≪Ｐｓｙｎから、式（１）は以下の式（２１）のように近似できる。
【０１３７】
【数２５】
【０１３８】
ここで、ＦｓｙｎとＰｓｙｎは各光学系１０１ａ〜１０１ｇの瞳を合成した結像光学系１０１の合成瞳から算出されるＦ値と射出瞳距離である。各光学系１０１ａ〜１０１ｇの瞳を合成する方法は、合成開口法などが挙げられる。図２６の破線および図２９の合成射出瞳面は、各光学系１０１ａ〜１０１ｇによって形成される合成瞳の概念を示す。本実施例の構成において、結像光学系１０１の瞳は複数の光学系１０１ａ〜１０１ｇを合成した合成瞳になる。これにより、被写体面２０１上における同一の位置からの光線は、角度に応じて結像光学系１０１の異なる瞳領域を通過する。ここで、Ｎは合成瞳の１次元方向の分割数である。なお、実施例１と同様に式（２１）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
【０１３９】
画素ずらし超解像による再構成画像の空間解像度向上に関しては、実施例２と同様である。図２８（ａ）のように画素のオーバーラップ数と画素ずれ量が対応する場合、画素ずらし超解像の効果が最大となる。一方、図２８（ｂ）のように画素ずれ量が整数となった場合、画素ずらし超解像の効果を得ることができない。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。
【０１４０】
図１０のステップＳ００１では、撮像素子１０３ａ〜１０３ｇによって得られた複数の視差画像を入力画像として取得する。ただし、単数の撮像素子で複数の視差情報を取得している場合は、入力画像は撮像素子で取得された画像となる。続いてステップＳ００２では、本実施例で説明した画像再構成方法を選択する。
【０１４１】
ステップＳ００３およびステップＳ００４で算出する第１ピント位置および第２ピント位置は、像側のピント位置である。ただし、結像光学系１０１を介してそれらと共役な物体側の面で考えてもよい。この場合、第１ピント位置と第２ピント位置に対して、それぞれ共役な物体側の面の間隔は、結像光学系１０１の被写界深度内に収まっていればよい。これは、実施例１〜５でも同様である。また、ステップＳ００３およびステップＳ００４において実施例１で述べた条件式は、本実施例においても同様に成り立つ。
【０１４２】
以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【０１４３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１４４】
実施例６において、εは、見かけ上の画素ピッチの最大値以上、５倍のΔ以下であることが好ましい。
【符号の説明】
【０１４５】
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
【技術分野】
【０００１】
本発明は、被写体空間における光の２次元強度分布および光線の角度情報を取得する撮像装置、及び該撮像装置で取得された画像の画像処理方法に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２、３には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【０００３】
しかし、このような撮像装置は、撮像素子の画素を光の２次元強度分布だけでなく光線の角度情報の保存にも利用する必要がある。このため、光の２次元強度分布のみを記憶する撮像装置に対して、空間解像度が低下する。そこで非特許文献２には、結像光学系により形成された像面のある一点を、レンズアレイを構成する複数の小レンズが撮像する構成が開示されている。このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化することができる。このような高解像度化手法を「画素ずらし効果」という。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ
【非特許文献２】Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ”，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ
【非特許文献３】Ａａｒｏｎ Ｉｓａｋｓｅｎ，ｅｔ ａｌ．，“Ｄｙｎａｍｉｃａｌｌｙ Ｒｅｐａｒａｍｅｔｅｒｉｚｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ”，ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．２９７−３０６（２０００）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら非特許文献２では、画素ずらし超解像の効果を得る方法として、特定のピント位置に関してのみ述べられている。リフォーカスにより異なるピント位置の画像を生成する場合には、ピント位置に応じて画素ずらし超解像の効果は変化し、空間解像度が低下する。
【０００６】
そこで本発明は、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップとを有する。
【０００８】
本発明の他の側面としての撮像装置は、画像処理部を有し、前記画像処理部は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得し、指定されたピント位置に対応する仮想結像面として第１の位置を設定し、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定し、前記第２の位置を用いて出力画像を生成する。
【０００９】
本発明の他の側面としての画像処理装置は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得手段と、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定手段、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定手段と、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成手段とを有する。
【００１０】
本発明の他の側面としての画像処理プログラムは、情報処理装置に、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップとを実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における撮像光学系の概略構成図である。
【図２】実施例２乃至５における撮像光学系の概略構成図である。
【図３】実施例２乃至５における撮像光学系の概略構成図である。
【図４】実施例６における撮像光学系の概略構成図である。
【図５】実施例１乃至４における撮像装置のブロック図である。
【図６】実施例１における撮像光学系の断面図である。
【図７】実施例１におけるリフォーカス画像生成に関する説明図である。
【図８】実施例１におけるリフォーカス範囲の説明図である。
【図９】実施例１乃至６における仮想結像面の位置とリフォーカス画像の解像度の概略関係図である。
【図１０】実施例１乃至６における画像処理方法のフローチャートである。
【図１１】実施例２における撮像光学系の断面図である。
【図１２】実施例２乃至５におけるリフォーカス画像生成に関する説明図である。
【図１３】実施例２乃至５におけるリフォーカス範囲の説明図である。
【図１４】実施例２乃至５における撮像光学系の説明図である。
【図１５】実施例２乃至５における撮像素子上に形成される像の説明図である。
【図１６】実施例２乃至５における距離τと画素ずれ量ｇの関係図である。
【図１７】実施例２乃至５における距離τと画素ずれの割合δの関係図である。
【図１８】実施例２乃至５における画素のオーバーラップ数の説明図である。
【図１９】実施例２乃至５で距離τに対する見かけの画素ピッチの最大値と画素のオーバーラップ数の逆数の関係を示した概略図である。
【図２０】実施例２乃至５において、画素ずらし超解像の効果が最小と極大となるピント位置の間隔の最大値に関する説明図である。
【図２１】実施例３における撮像光学系の断面図である。
【図２２】実施例４における撮像光学系の断面図である。
【図２３】実施例５における画像処置システムのブロック図である。
【図２４】実施例５における撮像光学系の断面図である。
【図２５】実施例６における撮像装置のブロック図である。
【図２６】実施例６における撮像光学系の概略構成図である。
【図２７】実施例６における光学系の断面図である。
【図２８】実施例６のリフォーカス画像生成に関する説明図である。
【図２９】実施例６におけるリフォーカス範囲の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
本実施形態の画像処理方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能である。この入力画像は、以下のような撮像装置で取得された画像である。すなわち撮像装置は、正の屈折力を有する光学系を複数配列するか、結像光学系の像側にレンズアレイを配置することで、ライトフィールドを取得可能に構成されている。
【００１６】
図１乃至図４は、このような撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系を構成する。図１乃至図４中に示される被写体面２０１の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために１次元系を用いて行うが、２次元系に関しても同様の議論が成り立つ。
【実施例１】
【００１７】
まず、図５を参照して、本発明の実施例１における撮像装置の構成について説明する。図５は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部１０５により実行される。
【００１８】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。結像光学系１０１（主レンズ群）及びレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１９】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００２０】
次に、図１および図６を参照して、本実施例における撮像光学系の構成について説明する。図１は、撮像光学系の概略構成図である。図６は、撮像光学系の断面図である。撮像光学系は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成される。本実施例において、レンズアレイ１０２は、複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２を構成してもよい。レンズアレイ１０２を構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。
【００２１】
レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。またレンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。被写体面２０１上の同一位置からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、この光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の互いに異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐように機能する。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１に示される構成では、被写体面２０１上の同一の位置を３つの画素（２次元では９画素）が撮像している。このため本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が１／９に低下する。これは、被写体面２０１上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。
【００２２】
続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。図７を参照して、リフォーカス画像を生成する方法の一例について説明する。図７（ａ）、（ｂ）は、図１に示される撮像光学系において、レンズアレイ１０２と撮像素子１０３の部分を詳細に示した図である。図７（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの像側主点を通過する光線の経路を延長したものである。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２の物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２の主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。
【００２３】
例えば、図１中の被写体面２０１にピントの合った画像を生成するには、図７（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２の主平面（像側主平面）に仮想結像面２０３を設定すればよい。図７（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図７（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。
【００２４】
次に、リフォーカスが可能な範囲に関して説明する。結像光学系１０１の開口径は有限であるため、撮像素子１０３で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α±は以下の式（１）のように与えられる。
【００２５】
【数１】
【００２６】
式（１）を用いて表される像側のリフォーカス範囲α＋ｓ２〜α−ｓ２と、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ２は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。
【００２７】
図８は、リフォーカス範囲の説明図である。図８に示される構成例では、レンズアレイ１０２の１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子１０３の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系１０１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（１）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（１）は、撮像素子１０３の画素ピッチΔが結像光学系１０１の射出瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。
【００２８】
【数２】
【００２９】
ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値、ΔＬＡはレンズアレイ１０２のピッチである。図７の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式（２）の最大リフォーカス量を超えたところで、各画素の間隔がΔｙより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。
【００３０】
次に、画像再構成時の画素ずらし超解像に関して説明する。図７（ａ）を参照すると、仮想結像面２０３において、平行移動した画素が互いにずれてオーバーラップしていることが分かる（オーバーラップ画素）。これらを合成することにより、見かけの画素ピッチを小さくすることができる。これを画素ずらし超解像と呼ぶ。一方、図７（ｂ）のように平行移動した画素がずれずに一致してオーバーラップしている場合、画素ずらし超解像の効果を得ることはできず、高解像度化を図ることはできない。オーバーラップしている画素のずれは、画素を平行移動する仮想結像面２０３の位置に応じて変化するため、画素ずらし超解像の効果も仮想結像面２０３により変化する。
【００３１】
ここで、画素ずらし超解像により小さくなった見かけの画素ピッチの中で、最も大きい画素ピッチがリフォーカス画像の解像度を決定すると定義する。また、解像度を決定する画素ピッチを見かけの画素ピッチの最大値と呼ぶ。このとき、被写体面２０１の同一の領域を撮像している１次元方向の画素数がｍ画素であるとする。ここで、ｍは結像光学系１０１の１次元瞳分割数に対応している。画素が１／ｍ画素ずつずれていれば、見かけの画素ピッチの最大値が最小となり、リフォーカス画像が最も高解像度になる。
【００３２】
図７（ａ）に示した状態は、ｍ＝３であり、仮想結像面２０３上で各画素が１／３画素ずつずれているため、リフォーカス画像が最も高解像となる状態である。図７から、同様の効果を得られるリフォーカス画像のピント位置は、リフォーカス範囲内に４点存在していることが分かる。逆に、図７（ｂ）のように平行移動した画素が一致してオーバーラップしている場合、画素ずらし超解像を行うことはできない。この関係を模式的に示したものが、図９の破線である。図９は、仮想結像面２０３の位置とリフォーカス画像の解像度の概略関係図である。図９の横軸は仮想結像面２０３の位置、縦軸は画素ずらし超解像を含めたリフォーカス画像の空間解像度を示している。図９に示されるように、仮想結像面２０３の位置に応じて空間解像度は変化する。
【００３３】
ここまでで、本実施例における撮像光学系の構成と、リフォーカス画像の生成、および、解像度に関して説明した。次に、図１０を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図１０は、本実施例における画像処理方法のフローチャートである。図１０のフローチャートの各ステップは、画像処理部１０５により実行される。
【００３４】
まずステップＳ００１において、図６に示される撮像光学系により撮影された入力画像が取得される。具体的には、被写体面２０１上の同一位置からの光線を結像光学系１０１の瞳領域に応じて撮像素子１０３の異なる画素に入射させることにより入力画像を取得する。入力画像に含まれるライトフィールドの保存方法は、撮像光学系の構成によって変化する。本実施例では、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像として保存される。また入力画像は、画像記録媒体１１０に保存された同様の撮像光学系で撮影された画像でもよい。
【００３５】
続いてステップＳ００２では、入力画像内に含まれている撮影条件情報（撮像光学系の構成に関する情報）から、画像の再構成方法を決定する。本実施例の撮像光学系は図１に示されるような構成を有するため、図７に示されるリフォーカス画像の生成方法を、画像再構成方法として用いる。ただし、図７に示されるリフォーカス画像の生成方法と定性的に同じであれば、画像の再構成方法の詳細は異なっていてもよい。また、撮像光学系が図２乃至図４、またはその他の構成を有する場合、その構成に応じて異なる画像の再構成方法が用いられる。ただし、撮像光学系の構成が変化しない場合、画像の再構成方法は単一の方法を用い、ステップＳ００２は実行しなくてもよい。
【００３６】
次にステップＳ００３（第１の設定ステップ）では、ユーザーが、生成される画像においてピントを合わせたい位置（ピント位置）を指定し、それに対応した仮想結像面２０３の位置ｘ１（第１の位置）を算出あるいは設定する。すなわち、指定されたピント位置に対応する仮想結像面２０３の位置ｘ１を算出する。位置ｘ１を第１ピント位置と呼ぶ。リフォーカスによって正しい画像が生成されるためには、位置ｘ１は式（２）のリフォーカス範囲内に収まっている必要がある。このため、位置ｘ１は以下の条件式（３）を満たすことが好ましい。
【００３７】
【数３】
【００３８】
ここで、本実施例の撮像光学系の構成においては、Δｙ＝ΔＬＡである。ユーザーが指定するピント位置は、物体側のピント位置または像側のピント位置のいずれでもよい。物体側のピント位置が指定された場合、第１ピント位置は、指定されたピント位置と結像光学系１０１を介して共役な面である。像側のピント位置が指定された場合は、像側のピント位置そのものが第１ピント位置となる。
【００３９】
続いてステップＳ００４（第２の設定ステップ）では、出力画像のピント位置を決定する。上述のとおり、画素ずらし超解像の効果は仮想結像面２０３の位置に応じて変化する。このため、ユーザーの指定したピント位置に対応する位置ｘ１（第１の位置）では、十分な画素ずらし超解像の効果を得られない場合がある。しかし、結像光学系１０１の焦点深度内であれば、位置ｘ１から出力画像に対応する仮想結像面２０３の位置が変化しても問題がない。したがって、位置ｘ１から焦点深度内で画素ずらし超解像の効果が最大となる仮想結像面２０３を選択すれば、高解像で且つユーザーの指定したピント位置にピントが合った出力画像を生成することができる。そこで、ステップＳ００４では、画素ずらし超解像の効果が最大となる仮想結像面２０３を再設定する。この出力画像に対応した仮想結像面２０３の位置ｘ２（第２の位置）を第２ピント位置と呼ぶ。位置ｘ２では、画素ずらし超解像の効果が最も高いため、見かけの画素ピッチの最大値は最も小さくなる。
【００４０】
ここで、許容錯乱円の直径をεとしたとき、結像光学系１０１の焦点深度は近似的に±Ｆεで表される。このため、以下の条件式（４）が導かれる。
【００４１】
【数４】
【００４２】
ここで、εは撮像装置に必要とされる性能によって決定される値である。例えば、εは焦点深度内における点像の広がりとピント位置での点像の広がりの差がユーザーに感知できないように決定される。具体的には、εは、見かけの画像ピッチの最大値以上、ΔＬＡの５倍以下であることが好ましい。
【００４３】
焦点深度内で高解像となる位置ｘ２でリフォーカス画像を生成したときの効果を、図９に模式的に表す。図９中の位置ｘ１がユーザーの指定したピント位置に対応する第１ピント位置であり、位置ｘ２が焦点深度±Ｆε内で最も画素ずらし超解像の効果が高くなる第２ピント位置である。焦点深度を考慮することで、ユーザーの指定したピント位置にピントが合っていながら、位置ｘ２での画素ずらし超解像の効果を得ることができる。この効果を図９中の実線で示している。空間解像度に対する仮想結像面２０３の位置の依存性が、位置ｘ１の場合を示す破線に対して低下している。
【００４４】
本実施例では、位置ｘ２を焦点深度内で見かけの画素ピッチの最大値が最小となる仮想結像面２０３の位置としている。ただし、焦点深度内で位置ｘ１以上の空間解像度が得られる位置であればこれに限定されることなく、他の位置を第２の位置として設定してもよい。すなわち、入力画像を再構成することにより形成される見かけの画素ピッチの最大値が小さくなるように、位置ｘ１（第１の位置）を基準として、仮想結像面２０３を結像光学系１０１の焦点深度の範囲内である位置（第２の位置）に設定する。また、位置ｘ１で得られる空間解像度が最大または十分に大きい場合には、ｘ２＝ｘ１としてよい。一方、上記の式（４）の上限を超えると、第２ピント位置におけるリフォーカス画像の指定されたピント位置に対する点像の広がりは、εを超えてしまう。このため、画素ずらし超解像によって解像度は増えても、指定されたピントの被写体がぼけて見えるため鮮鋭さが低下してしまう。
【００４５】
また、リフォーカス画像は仮想結像面２０３の位置がｓ２に近いほど、リフォーカス画像のピント位置での点像の広がりが小さくなる。すなわち、位置ｘ２は位置ｓ２と位置ｘ１の間に設定されることが好ましい。このため、以下の式（５）を満たすことが好ましい。
【００４６】
【数５】
【００４７】
式（５）の上限を超えると、位置ｓ２からの距離の絶対値が、位置ｘ２より位置ｘ１のほうが小さくなる。このため、位置ｘ２でのリフォーカス画像におけるピント位置の点像の広がりは、位置ｘ１の場合よりも大きくなる。
【００４８】
次にステップＳ００５では、ステップＳ００４で決定した第２ピント位置ｘ２に仮想結像面２０３を設定して出力画像を生成する。すなわち、仮想結像面２０３を第２の位置に設定した状態で出力画像を生成する。本実施例では、撮像素子１０３で得られた入力画像に対して上述のリフォーカス画像の生成方法を用いることで、高解像で且つユーザーの指定したピント位置にピントの合ったリフォーカス画像が生成される。また必要に応じて、リフォーカスと同時に、視点や被写界深度を変更する再構成処理を行ってもよい。さらに、画像の再構成処理の際に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。
【００４９】
図６において、結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。このように第１〜第６レンズ群Ｌ１〜Ｌ６を備えて構成される結像光学系１０１は、変倍時に各レンズ群の間隔が変化し、第２レンズ群Ｌ２で合焦を行う。
【００５０】
また、レンズアレイ１０２を構成する小レンズの像側の面は、凸形状であることが好ましい。これにより、レンズアレイ１０２の非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。一方、小レンズの像側の面が凸形状でない場合には非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に用いると、再構成された画像を鮮鋭に形成することができない。また、レンズアレイ１０２を構成する小レンズの物体側の面は、平面又は凸形状であることが好ましい。これにより、小レンズの曲率が緩まって収差が低減し、画像が先鋭になる。
【００５１】
本実施例によれば、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【実施例２】
【００５２】
次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。
【００５３】
続いて図２および図１１を参照して、本実施例における撮像光学系の構成について説明する。図２は、撮像光学系の概略構成図である。図１１は、撮像光学系の断面図である。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側に配置されている。またレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２と撮像素子１０３が共役となる（共役関係を有する）ように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて撮像素子１０３の異なる画素へ入射し、これによりライトフィールドが取得される。被写体面２０１上の同一位置からの光線は、この光線が被写体面２０１となす角に応じて、結像光学系１０１の異なる瞳領域を通過する。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。
【００５４】
図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へさらに縮小結像するためである。その縮小倍率は｜σ２／σ１｜倍である。ここで、σ１は像側共役面２０２とレンズアレイ１０２の物体側主平面の間の距離、σ２はレンズアレイ１０２の像側主平面と撮像素子１０３の間の距離である。したがって、図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が（σ２／σ１）２倍される。
【００５５】
この性質は、図３で示される撮像光学系でも同様である。図３の撮像光学系の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除いて、図２に示される撮像光学系の構成と同様である。図２の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図２と図３に示される撮像光学系の構成は、いずれも、結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。したがって、以下の議論は図３の構成に関しても同様に成り立つ。
【００５６】
次に、図１２（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図１２（ａ）、（ｂ）は、図２に示される撮像光学系の構成において、レンズアレイ１０２と撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。
【００５７】
図１２（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図２中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図１２（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。
【００５８】
続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表される。その関係は、図１３に示されるとおりである。図１３は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δｙ＝Δ｜σ１／σ２｜、Δｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐであるから、式（１）は以下の式（６）のように書き換えられる。
【００５９】
【数６】
【００６０】
ここで、Δは撮像素子１０３の画素ピッチである。実施例１と同様に式（６）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
【００６１】
次に、画素ずらし超解像による空間解像度の向上について説明する。図１２（ａ）に示されるように、仮想結像面２０３へ投影された画素はオーバーラップしている。オーバーラップした画素の数を、画素のオーバーラップ数と呼ぶ。図１２（ａ）のように、投影された画素が各々ずれていれば、それらを合成することで見かけの画素ピッチを小さくすることができる。一方、図１２（ｂ）に示されるように、投影された画素のずれが画素の整数倍になっている場合、画素ずらし超解像の効果は得られない。画素ずらし超解像によって最も高解像度化が図れるのは、画素がずれている割合が画素のオーバーラップ数に対応している場合である。具体的には、図１２（ａ）の場合、画素のオーバーラップ数が３であるため、画素ずれの割合が１／３または２／３のときに解像度を最大にすることができる。画素ずれの割合と画素のオーバーラップ数の関係については、追って詳述する。以上のように本実施例においても、仮想結像面２０３によって画素ずらし超解像の効果が変化する。したがって、リフォーカス範囲内で図９のように、リフォーカス画像の解像度が変化することになる。
【００６２】
続いて、仮想結像面２０３と画素ずらし超解像との関係を具体的に説明する。まず、仮想結像面２０３が被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致している場合を考える。σ１と画素ずれの割合との関係は以下のように求められる。隣接する小レンズを介して、それぞれ投影された画素の相対的な画素ずれ量ｇは、レンズアレイ１０２のピッチΔＬＡを、像側共役面２０２上に投影された画素ピッチで割った比ΔＬＡσ２／｜Δσ１｜で表される。
【００６３】
レンズアレイ１０２の配置に対する画素ずれ量ｇの振舞いを知るために、図１４を用いてσ１とσ２が満たすべき条件を説明する。図１４は本実施例における撮像光学系の説明図であり、図２の詳細な構成を示している。図１４中のＦは結像光学系１０１のＦ値、Ｐは結像光学系１０１の射出瞳と像側共役面２０２の間の距離である。撮像素子１０３の取得する結像光学系１０１の射出瞳面上（角度情報）のサンプリングピッチは、Δｕ＝Ｐ／（ＮＦ）となる。図１４からΔＬＡとσ１には以下の式（７）の関係があることが分かる。
【００６４】
【数７】
【００６５】
図１４の一点鎖線は、レンズアレイ１０２の小レンズの中心と該小レンズに対応した画素セットの端を結んだ直線である。その直線の射出瞳面上での交点と瞳中心との距離は、以下の式（８）で与えられる。
【００６６】
【数８】
【００６７】
ここで、ｌｒは撮像素子１０３上での不感帯とクロストークの度合いを表すパラメータである。
【００６８】
続いて、図１５を参照して、不感帯とクロストークについて説明する。図１５は、撮像素子上に形成される像の説明図である。図１５（ａ）は、ｌｒが負の値を有する場合の撮像素子１０３上における像の様子を示す図である。白い部分が光線の入射する領域で、斜線部分が不感帯と呼ばれ、光線が入射しない領域である。ｌｒが小さくなるほど、不感帯が広がる。このことは、情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが好ましい。
【００６９】
一方、図１５（ｂ）は、ｌｒが正の値を有する場合の撮像素子１０３上における像の様子を示す図である。図１５（ｂ）では、異なる小レンズを介して形成された像が重なり合っている。この重なり合った領域では、被写体面２０１上で異なる位置と角度を有する光線が同一の画素に入射しており、この現象はクロストークと呼ばれる。ｌｒが大きくなるほど、クロストークの領域は広がる。クロストークが発生している画素はライトフィールドを取得できないため、この画素を再構成に用いると正しい画像が生成できない。クロストークが生じている画素を画像再構成に使用しない場合、クロストークの領域が広いほど使用できない画素が増加する。したがって、クロストークの領域はできる限り小さいことが好ましい。ｌｒが０の場合、不感帯とクロストークの発生が最も低減する。ただし現実の系では、収差によるベストピント位置のずれや、結像光学系１０１のヴィネッティング、周辺光量落ちなどの影響により、ｌｒが０から少しずれていても不感帯やクロストークの発生を低減できる場合がある。
【００７０】
図１４と式（８）から、以下の式（９）が成り立つ。
【００７１】
【数９】
【００７２】
したがって、隣接する小レンズの相対的な画素ずれ量ｇは、式（７）と式（９）を用いて、以下の式（１０）で与えられる。
【００７３】
【数１０】
【００７４】
これにより、距離σ１に対する画素ずれ量ｇの振舞いを表す式が得られた。式（１０）から、画素ずれ量ｇは、距離σ１の２次関数で記述されることが分かる。ここで、画素の整数倍のずれは図１２（ｂ）に示されるように意味がないため、式（１０）の整数部分は落として考えてよい。よって、画素ずれの割合δは、以下の式（１１）のように表される。
【００７５】
【数１１】
【００７６】
ここでω＝ｍｏｄ（χ，ψ）は、ωがχをψで割った時の剰余に等しいことを表す。
【００７７】
式（１１）は、仮想結像面２０３が、被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致していた場合の画素ずれの割合を示す。任意の仮想結像面２０３にリフォーカスした画像を生成する場合、画素を投影する仮想結像面２０３の位置を変化させればよい。したがって、任意のピント面では、式（１０）及び式（１１）は、それぞれ以下の式（１２）及び式（１３）のようになる。
【００７８】
【数１２】
【００７９】
【数１３】
【００８０】
ここで、τはレンズアレイ１０２の物体側主平面から仮想結像面２０３までの距離である。式（１２）から、距離τと画素ずれ量ｇは、反比例の関係にあることが分かる。図１６は、距離τと画素ずれ量ｇとの関係を示し、図１７は画素ずれの割合δとの関係を示す。ここで、図１６及び図１７のτ＋とτ−は、式（１）から決定されるリフォーカス可能な範囲の上限および下限であり、以下の式（１４）で表される。
【００８１】
【数１４】
【００８２】
ここでΔｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐとする。以上のとおり、仮想結像面２０３と画素ずれ量の関係が求められる。
【００８３】
次に、リフォーカス範囲内での画素ずらし超解像を含めた空間解像度について説明する。まず、画素のオーバーラップ数を見積もる。図１８は、画素のオーバーラップ数の説明図あり、図１２（ａ）に示される小レンズの番号ｊを横軸、仮想結像面２０３上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２の任意の小レンズとしてよい。図１８中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素の集合を仮想結像面２０３へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝ΔＬＡ｛ｊ＋｜τ／（２σ２）｜｝で与えられ、また一点鎖線Ｂはｙ＝ΔＬＡ｛ｊ−｜τ／（２σ２）｜｝で与えられる。画素のオーバーラップ数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応している。ｊ＝０に対応する画素で最も画素のオーバーラップ数が少なくなるのは、ｙ＝０近傍の画素であり、そのオーバーラップ数は｜τ／σ２｜程度と見積もることができる。
【００８４】
続いて、画素ずらし超解像を含めた空間解像度を求める。理想的には、１／ｍずつ画素ずれを起こした画素がｍ個オーバーラップしていれば、解像度はｍ倍される。ここで、ｍは正の整数である。しかし現実の系では、ノイズや結像光学系の収差の影響により、画素ずらし超解像による解像度の上昇量は理想系より小さくなる。ただし説明を簡単にするため、ここでは理想系における解像度の上昇について説明する。
【００８５】
解像度が最も高くなるのは、画素のオーバーラップ数と式（１３）で表される画素ずれの割合δが対応している場合である。例えば、画素のオーバーラップ数が８で、画素ずれの割合δが０．４５の時、８つの画素のそれぞれの画素ずれは０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決定する見かけの画素ピッチの最大値は０．７０−０．４５＝０．２５となる。次に、オーバーラップ数が同じで、画素ずれの割合δが３／８の場合を考える。このとき、８つの画素のそれぞれの画素ずれは０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素ピッチの最大値は１／８となり、画素のオーバーラップ数の逆数と一致する。よって、最も高い画素ずらし超解像の効果が得られていることとなる。これは、δが１／８、５／８、７／８の場合でも同じである。
【００８６】
ただし、δが２／８、４／８、６／８の場合には、画素ずらし超解像の効果が低下する。例として、δが２／８の場合を考える。このとき、オーバーラップした８つの画素のそれぞれの画素ずれは０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素ピッチの最大値が２／８＝１／４となる。よって、δが１／８、３／８、５／８、７／８の時に対して、画素ずらし超解像の効果は半分になる。このことから、δがｍ０／Ｍ０に等しい時、最大の画素ずらし超解像の効果が得られることになる。ここで、Ｍ０は画素のオーバーラップ数であり、ｍ０はＭ０より小さく、かつＭ０との最大公約数が１となる整数である。Ｍ０は前述したように、｜τ／σ２｜程度と見積もることができ、δがｍ０／Ｍ０に近いほど画素ずらし超解像の効果は高くなる。
【００８７】
図１９は距離τに対する見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数の関係を示した模式図である。実線で表された見かけの画素ピッチの最大値と、一点鎖線で表された画素のオーバーラップ数の逆数が近い距離τほど、画素ずらし超解像の効果が高く、再構成画像の解像度が上昇する。一方、見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数が離れている距離τでは、高い画素ずらし超解像の効果は得られない。これにより、距離τに対する空間解像度は、図９の破線のように変化する。したがって、実施例１と同様に焦点深度を考慮することで、仮想結像面２０３の依存性を低減した高解像なリフォーカス画像が得られる。
【００８８】
本実施例における入力画像から出力画像を生成する画像処理方法は、実施例１で参照した図１０のフローチャートで表され、実施例１と同様の部分についての説明は省略する。ステップＳ００１では、撮像素子１０３によって、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。ステップＳ００２で選択される再構成方法は、例えば本実施例で説明したリフォーカス画像の生成方法である。ステップＳ００３およびステップＳ００４で説明した実施例１の条件式は、本実施例においても成り立つ。ステップＳ００５では、ステップＳ００４で決定した位置ｘ２にピントの合ったリフォーカス画像を出力画像として生成する。このときの生成方法としては、前述の方法などが用いられる。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【００８９】
ここで、撮像素子１０３上に形成されるクロストークまたは不感帯に関して考える。前述のとおり、クロストークや不感帯が発生すると、ライトフィールドの取得効率が低下する。画素ずらし超解像による高解像度化は、より多くのライトフィールド（視差情報）が取得されているほど効果が高まる。このため、より多くのライトフィールドを取得するため、クロストークと不感帯をできる限り低減することが好ましい。そのため、式（９）中のｌｒが０の近傍であればよい。したがって、式（９）を変形することで、ライトフィールドを効率的に取得する条件式（１５）が導かれる。
【００９０】
【数１５】
【００９１】
ここで、Ｆ０は結像光学系１０１の開放Ｆ値である。ＦをＦ０としたのは、結像光学系１０１の開口径が大きいほうが、より多くのライトフィールドを取得できるためである。式（１５）の上限を超えると、撮像素子１０３上で不感帯が増大し、取得できるライトフィールドの量が減少してしまう。一方、式（１５）の下限を超えると、撮像素子１０３上でのクロストークが増大し、同様にライトフィールドの取得効率が減少する。
【００９２】
好ましくは、式（１５）の範囲を以下の式（１５ａ）で表される範囲とすることで、ライトフィールドをより効率的に取得できる。
【００９３】
【数１６】
【００９４】
さらに好ましくは、式（１５）を以下の式（１５ｂ）の範囲とすることで、ライトフィールドを非常に高い効率で取得することが可能である。
【００９５】
【数１７】
【００９６】
本実施例における図２の撮像光学系の構成は、図１の構成と異なり、レンズアレイ１０２の配置に自由度が存在する。レンズアレイ１０２の位置を決定すれば、被写体面２０１と像側共役面２０２が共役となるように、小レンズの焦点距離が決定する。そこで、本実施例の画像処理方法を行う際に、優位となるレンズアレイ１０２の位置を考える。本実施例における上記の議論は、図２および図３の構成いずれにも適用可能である。しかし、図２と図３を比較すると明らかなように、図２は撮像装置の全長の短縮化が図れる利点がある。そこでここからは、図２の構成に絞って議論する。図２の構成ではσ１≧０となる。リフォーカス画像の解像度に対するピント位置の依存性をより低減してさらに高解像な画像を生成するには、図９の実線で示された解像度の極小値が大きくなればよい。空間解像度が極小となるのは、画素ずれの割合が０となるピント位置であり、そのτをτ０とする。距離τ０は、以下の式（１６）を満たす。
【００９７】
【数１８】
【００９８】
ここで、ｋは整数である。次に、距離τ０に最も近い空間解像度が極大値を有するピント位置を考え、その距離をτ０＋ρとする。距離τ０＋ρでの画素ずれ量は、以下の式（１７）のように表される。
【００９９】
【数１９】
【０１００】
このため、距離τ０＋ρでの画素ずれの割合は、式（１７）の右辺第２項で表される。
【０１０１】
ところで、距離τ０＋ρでの画素のオーバーラップ数は、前述のとおり、（τ０＋ρ）／σ２と見積もられるため、ρは以下の式（１８）を満たす。
【０１０２】
【数２０】
【０１０３】
式（１８）より、ρが正の場合にはρ＝τ０Δ／ΔＬＡ、ρが負の場合にはρ＝−τ０Δ／ΔＬＡと見積もることができる。ρをＦεで除した値が小さいほど、空間解像度比の最小値を大きくすることができる。ρはτ０に比例しているため、リフォーカス範囲内でρが最大値ρｍａｘをとるのは、図２０に示したようにτ０＝τ＋となる場合である。図２０中の破線は、画素ずらし超解像を考慮した際のリフォーカス画像の空間解像度であり、一点鎖線は画素ずらし超解像を考慮しない場合の空間解像度を表す。図２０中の実線は、画素ずらし超解像の効果と、さらに焦点深度を加味した空間解像度である。ρｍａｘがＦεで除した値が小さくなれば、指定された位置にピントの合った、より高解像度なリフォーカス画像を生成することができる。
【０１０４】
近接する解像度の極大値と極小値を直線で結んで近似的に考えると、ρｍａｘ／Ｆεが略３以下になれば、両者の差は略３割減らすことができる。これにより、リフォーカス画像の解像度に対するピント位置の依存性を低下させ、高解像度化を図ることができる。上記の式（１４）及び式（１８）から、以下の式（１９）が導かれる。
【０１０５】
【数２１】
【０１０６】
式（１９）が解を持つには、Ｎ／ｎが３未満でなければならない。ここで、Ｎは結像光学系１０１の瞳面の１次元分割数であり、結像光学系１０１の近軸瞳射出面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値である。ｎはレンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値である。
【０１０７】
これにより、焦点深度に対してρｍａｘを小さくする条件として、例えば以下のように設定する。好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の３倍未満であるように設定する。より好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値より小さくなるように設定する。更に好ましくは、結像光学系１０１の近軸射出瞳面の直径を結像光学系の瞳面１０１のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．３倍未満であるように設定する。このような構成により、リフォーカス画像の更なる高解像度化を図ることができる。
【０１０８】
前述のＮ／ｎは、結像光学系１０１の像側共役面２０２に対してレンズアレイ１０２が物体側へ位置するほど小さくなり、リフォーカス画像の解像度に対するピント位置の依存性を低下させることができる。またこのとき、撮像素子１０３もより物体側に位置するため、光学系全体の小型化も図れる。しかし、レンズアレイ１０２は像側共役面２０２よりも物体側に位置するため、両者の間隔が大きく広がると、レンズアレイ１０２が結像光学系１０１に干渉してしまう。このため、レンズアレイ１０２は、以下の条件式（２０）を満たすように配置すればよい。
【０１０９】
【数２２】
【０１１０】
これにより、小型で、かつピント位置に依存せず高解像なリフォーカス画像を得られる撮像光学系を提供することができる。式（２０）の下限を超えると、ρｍａｘ／Ｆεが大きくなり、リフォーカス画像の高解像度化が不十分となる。一方、式（２０）の上限を超えると、レンズアレイ１０２が結像光学系１０１へ干渉してしまう場合がある。
【０１１１】
好ましくは、上記の式（２０）の範囲を以下の式（２０ａ）の範囲とすることで、より高解像なリフォーカス画像を得ることができる。
【０１１２】
【数２３】
【０１１３】
式（２０）の上限を式（２０ａ）のように変更することで、レンズアレイ１０２が結像光学系１０１へ干渉する可能性を低下させることができる。さらに好ましくは、上記の式（２０）の範囲を以下の式（２０ｂ）の範囲とすることで、レンズアレイ１０２の結像光学系１０１への干渉を避け、リフォーカス画像の十分な高解像度化が図れる。
【０１１４】
【数２４】
【０１１５】
本実施例において、図１１に示される結像光学系１０１は単焦点レンズであり、その開放Ｆ値はＦ０＝２．９、射出瞳から像側共役面２０２までの距離Ｐ＝６３．４９０９（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は２１．８９３４（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝２．４１６６（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）である。レンズアレイ１０２は、距離σ１＝３５．０４０７（ｍｍ）、距離σ２＝２．１２１９（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、４．３７８７（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．００８９倍となっている。
【０１１６】
また、式（１５）の値は２．４０であり、式（２０）の値は０．５５２である。正の実数ｌを用いて、許容錯乱円の直径εをｌΔとおく。このときの焦点深度は、±ｌＦΔとなる。焦点深度は必要な性能によって変化するが、ここではｌ＝５の場合を例にとって説明する。上記の構成では、画素ずらし超解像の効果が最小となるピント位置と、極大となるピント位置の差の最大値はρｍａｘ＝０．０６２９（ｍｍ）である。それに対し、焦点深度は０．０６２４（ｍｍ）であるため、画素ずらし超解像の効果を得られないピント位置の解像度は、前記の効果が極大値となるピント位置と略同等にできる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得している。このような構成により、本実施例の画像処理方法の効果を高めて高解像なリフォーカス画像が取得することができ、また、小型の撮像装置を実現することができる。
【実施例３】
【０１１７】
次に、本発明の実施例３について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。本実施例における撮像光学系は図２に示される構成をしており、その断面図は図２１で表される。図２１において、結像光学系１０１は単焦点レンズである。レンズアレイ１０２を構成する小レンズは、物体側の面は平面で像側の面は凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３に結像する。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
【０１１８】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝６３．４９０９（ｍｍ）である。したがって、結像光学系１０１の近軸射出瞳面の直径は２１．８９３４（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝０．０５１２（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝３．２６６６（ｍｍ）、距離σ２＝０．１４７５（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、０．９９５２（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の２．７５倍となっている。
【０１１９】
また、式（１５）の値は−１．００であり、式（２０）の値は０．０５１である。ここで例として、許容錯乱円の直径をε＝５Δとおいて上記の構成の効果を説明する。このときの焦点深度は０．０９２８（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．６６３５（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【実施例４】
【０１２０】
次に、本発明の実施例４について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例における撮像光学系は図２で示された構成を有し、その断面図は図２２で表される。図２２において、結像光学系１０１はズームレンズである。レンズアレイ１０２を構成する小レンズは、両面ともに凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３へ像を結像している。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍の際には、第１レンズ群Ｌ１および第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４が光軸上を移動する。なお、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
【０１２１】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝１２９．８９９４（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は４４．７９２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝２．２４００（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝４５．４７２０（ｍｍ）、距離σ２＝４．１０４８（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、６．３９９０（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．０２倍となっている。
【０１２２】
また、式（１５）の値は０．２０であり、式（２０）の値は０．３５０である。ここで例として、許容錯乱円の直径をε＝３Δとおいて上記の構成の効果を説明する。この時の焦点深度は０．０５５７（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．１３１８（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【実施例５】
【０１２３】
次に、本発明の実施例５について説明する。本実施例は、上述の画像処理方法を行う画像処理装置（画像処理システム）について説明する。図２３は、本実施例における画像処理システムのブロック図である。図２３に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図２の構成を備えた撮像光学系を有する。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置３０２は、この入力画像に対して所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力する。
【０１２４】
記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。
【０１２５】
図２４は、本実施例における撮像光学系の断面図である。図２４において、結像光学系１０１はズームレンズである。レンズアレイ１０２を構成する小レンズは、物体側の面が平面で像側の面が凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３に像を結像する。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍の際には、第１レンズ群Ｌ１および第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４が光軸上を移動する。本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。本実施例では、画像処理装置３０２に設けられた画像処理部が図１０に示される各ステップを行う。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理装置を実現している。
【０１２６】
また本実施例において、結像光学系１０１の開放Ｆ値はＦ０＝２．９であり、射出瞳から像側共役面２０２までの距離はＰ＝１２９．８９９４（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径は４４．７９２９（ｍｍ）である。また、レンズアレイ１０２のピッチΔＬＡ＝０．４４８０（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００６４（ｍｍ）である。レンズアレイ１０２は、距離σ１＝１６．８８９６（ｍｍ）、距離σ２＝０．９８６１（ｍｍ）となるように配置されている。このときの結像光学系１０１の瞳面上でのサンプリングピッチは、３．４４５６（ｍｍ）である。このため、結像光学系１０１の近軸射出瞳面の直径を結像光学系１０１の瞳面のサンプリングピッチで除した値が、レンズアレイ１０２のピッチを撮像素子１０３の画素ピッチで除した値の０．１８５７倍となっている。
【０１２７】
また、式（１５）の値は１．９０であり、式（２０）の値は０．１３０である。ここで例として、許容錯乱円の直径をε＝３Δとおいて上記の構成の効果を説明する。このときの焦点深度は０．０５５７（ｍｍ）である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρｍａｘ＝０．２５８５（ｍｍ）である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子１０３上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
【０１２８】
以上の実施例２乃至５において、εは、見かけの画素ピッチの最大値以上、５倍の｜δ１／δ２｜以下であることが好ましい。
【実施例６】
【０１２９】
次に、本発明の実施例６について説明する。図２５は、本実施例における撮像装置のブロック図である。図２６は、本実施例における撮像光学系の概略構成図であり、物体側から結像光学系１０１を見た図である。図２５において、不図示の被写体空間からの光線は、結像光学系１０１に入射する。結像光学系１０１は、図２６のように正の屈折力を有する複数の光学系１０１ａ〜１０１ｇを備えて構成されている。結像光学系１０１は、光学系１０１ｂの光軸を回転軸とした場合、六回対称性を有した構成をしている。しかし、結像光学系１０１の構成はこれに限定されるものではなく、光学系の個数や配列は適宜変更可能である。光学系１０１ａ〜１０１ｇの像側には、それぞれ撮像素子１０３ａ〜１０３ｇが配列されている。ただし、本実施例では複数の撮像素子１０３ａ〜１０３ｇを備えることは必須でなく、光学系１０１ａ〜１０１ｇにより形成される像を受光できる場合には単数の撮像素子を備えたものであってもよい。このため、本実施例の撮像装置は、少なくとも１つの撮像素子を有していればよい。
【０１３０】
図４は、本実施例の撮像光学系を光学系１０１ａ〜１０１ｃの光軸を含む断面で見た概略図である。光学系１０１ａ、１０１ｂ、１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ、１０３ｂ、１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、すなわちライトフィールドを得ることができる。本実施例では、このような複数の視差画像が入力画像となる。ところで、図４に示される構成は、使用する撮像素子の全画素数が同じであるとすると、光の２次元強度のみを取得する撮像系に対して解像度は低下する。これはライトフィールドの角度成分の取得に画素を割く必要があるためである。
【０１３１】
図２７は、本実施例における光学系の断面図であり、光学系１０１ａと撮像素子１０３ａの断面を示している。他の光学系１０１ｂ〜１０１ｇ及び撮像素子１０３ｂ〜１０３ｇの断面も同様であるため、それらの説明は省略する。ただし、各光学系の構成はそれぞれ異なっていてもよい。図２７に示される光学系１０１ａは、単焦点レンズである。図４のように、被写体面２０１からの光線は、該光線の被写体面２０１上での位置と角度に応じて、結像光学系１０１を構成する異なる光学系へ入射し、撮像素子の異なる画素で受光され、ライトフィールドを取得することができる。
【０１３２】
次に、本実施例におけるリフォーカス画像の生成方法について説明する。図２８は、リフォーカス画像生成に関する説明図であり、図４の構成の詳細図である。図２８中の合成物体側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの物体側主点を通る面であると定義する。同様に、合成像側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの像側主点を通る面である。本実施例の構成では、結像光学系１０１の物体側主平面、及び像側主平面は、それぞれ合成物体側主平面と合成像側主平面で表されるとする。図２８の一点鎖線は、各光学系の画角を表す。
【０１３３】
像側のピント位置を仮想結像面２０３に合わせる場合、撮像素子１０３ａ〜１０３ｇで得られた画素値を、各撮像素子１０３ａ〜１０３ｇに対応する光学系１０１ａ〜１０１ｇを介して物体側リフォーカス面２０４へ投影して合成すればよい。物体側リフォーカス面２０４は、仮想結像面２０３と光学系１０１ａ〜１０１ｇを介して共役な面である。仮想結像面２０３を移動することで、任意の位置にピントの合ったリフォーカス画像を生成することができる。
【０１３４】
例えば、図４の被写体面２０１にピントの合った画像を生成するには、撮像素子１０３ａ〜１０３ｇ上に仮想結像面２０３を設定すればよい。このとき、被写体面２０１と物体側リフォーカス面２０４は一致する。図２８において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして示している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過した光学系が同じである場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した光学系に応じて決定される。
【０１３５】
続いて、リフォーカス可能な範囲に関して説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表され、その関係は図２９に示されるとおりである。図２９は、本実施例におけるリフォーカス範囲の説明図である。
【０１３６】
本実施例の撮像光学系において、Δｙ＝Δ、Δｕ＝Ｐｓｙｎ／（ＮＦｓｙｎ）であり、Δ≪Ｐｓｙｎから、式（１）は以下の式（２１）のように近似できる。
【０１３７】
【数２５】
【０１３８】
ここで、ＦｓｙｎとＰｓｙｎは各光学系１０１ａ〜１０１ｇの瞳を合成した結像光学系１０１の合成瞳から算出されるＦ値と射出瞳距離である。各光学系１０１ａ〜１０１ｇの瞳を合成する方法は、合成開口法などが挙げられる。図２６の破線および図２９の合成射出瞳面は、各光学系１０１ａ〜１０１ｇによって形成される合成瞳の概念を示す。本実施例の構成において、結像光学系１０１の瞳は複数の光学系１０１ａ〜１０１ｇを合成した合成瞳になる。これにより、被写体面２０１上における同一の位置からの光線は、角度に応じて結像光学系１０１の異なる瞳領域を通過する。ここで、Ｎは合成瞳の１次元方向の分割数である。なお、実施例１と同様に式（２１）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
【０１３９】
画素ずらし超解像による再構成画像の空間解像度向上に関しては、実施例２と同様である。図２８（ａ）のように画素のオーバーラップ数と画素ずれ量が対応する場合、画素ずらし超解像の効果が最大となる。一方、図２８（ｂ）のように画素ずれ量が整数となった場合、画素ずらし超解像の効果を得ることができない。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例２と同様に図１０に示されるフローチャートで表される。
【０１４０】
図１０のステップＳ００１では、撮像素子１０３ａ〜１０３ｇによって得られた複数の視差画像を入力画像として取得する。ただし、単数の撮像素子で複数の視差情報を取得している場合は、入力画像は撮像素子で取得された画像となる。続いてステップＳ００２では、本実施例で説明した画像再構成方法を選択する。
【０１４１】
ステップＳ００３およびステップＳ００４で算出する第１ピント位置および第２ピント位置は、像側のピント位置である。ただし、結像光学系１０１を介してそれらと共役な物体側の面で考えてもよい。この場合、第１ピント位置と第２ピント位置に対して、それぞれ共役な物体側の面の間隔は、結像光学系１０１の被写界深度内に収まっていればよい。これは、実施例１〜５でも同様である。また、ステップＳ００３およびステップＳ００４において実施例１で述べた条件式は、本実施例においても同様に成り立つ。
【０１４２】
以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
【０１４３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１４４】
実施例６において、εは、見かけ上の画素ピッチの最大値以上、５倍のΔ以下であることが好ましい。
【符号の説明】
【０１４５】
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
【特許請求の範囲】
【請求項１】
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記第２の位置は、前記第１の位置を基準としたときの前記結像光学系の焦点深度の範囲内であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第２の位置は、前記見かけの画素ピッチの最大値が最も小さくなる位置であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
画像処理部を有し、
前記画像処理部は、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得し、
指定されたピント位置に対応する仮想結像面として第１の位置を設定し、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定し、
前記第２の位置を用いて出力画像を生成することを特徴とする撮像装置。
【請求項５】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されていることを特徴とする請求項５に記載の撮像装置。
【請求項８】
正の屈折力を有する複数の光学系を備えた結像光学系と、
複数の画素を備えた少なくとも１つの撮像素子と、を更に有し、
前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳であることを特徴とする請求項４に記載の撮像装置。
【請求項９】
以下の式を満たすことを特徴とする請求項６または７に記載の撮像装置。
ただし、Ｆ０は前記結像光学系の開放Ｆ値、σ１は前記レンズアレイの物体側主平面と前記像側共役面の間の距離、σ２は前記レンズアレイの像側主平面と前記撮像素子の間の距離、Ｐは前記結像光学系の射出瞳と前記像側共役面の間の距離、ΔＬＡは前記レンズアレイのピッチである。
【請求項１０】
前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項５乃至７いずれか１項に記載の撮像装置。
【請求項１１】
前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得手段と、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定手段、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定手段と、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項１３】
情報処理装置に、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップを実行させることを特徴とする画像処理プログラム。
【請求項１】
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記第２の位置は、前記第１の位置を基準としたときの前記結像光学系の焦点深度の範囲内であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第２の位置は、前記見かけの画素ピッチの最大値が最も小さくなる位置であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
画像処理部を有し、
前記画像処理部は、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得し、
指定されたピント位置に対応する仮想結像面として第１の位置を設定し、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定し、
前記第２の位置を用いて出力画像を生成することを特徴とする撮像装置。
【請求項５】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されていることを特徴とする請求項５に記載の撮像装置。
【請求項８】
正の屈折力を有する複数の光学系を備えた結像光学系と、
複数の画素を備えた少なくとも１つの撮像素子と、を更に有し、
前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳であることを特徴とする請求項４に記載の撮像装置。
【請求項９】
以下の式を満たすことを特徴とする請求項６または７に記載の撮像装置。
ただし、Ｆ０は前記結像光学系の開放Ｆ値、σ１は前記レンズアレイの物体側主平面と前記像側共役面の間の距離、σ２は前記レンズアレイの像側主平面と前記撮像素子の間の距離、Ｐは前記結像光学系の射出瞳と前記像側共役面の間の距離、ΔＬＡは前記レンズアレイのピッチである。
【請求項１０】
前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項５乃至７いずれか１項に記載の撮像装置。
【請求項１１】
前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得手段と、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定手段、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定手段と、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項１３】
情報処理装置に、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第１の位置を設定する第１の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第１の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第２の位置を設定する第２の設定ステップと、
前記仮想結像面を前記第２の位置に設定した状態で出力画像を生成する生成ステップを実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１３−４２４４３（Ｐ２０１３−４２４４３Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７９４６０（Ｐ２０１１−１７９４６０）
【出願日】平成２３年８月１９日（２０１１．８．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１９日（２０１１．８．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]