撮像装置、撮像方法、およびプログラム
【課題】復元アーチファクトを低減することができる撮像装置を提供すること。
【解決手段】撮像装置は、光学系と、光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部とを備え、光学系による点像強度分布は光軸に対して回転非対称であり、複数の撮像素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なる。複数の撮像素子は、異なる複数の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【解決手段】撮像装置は、光学系と、光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部とを備え、光学系による点像強度分布は光軸に対して回転非対称であり、複数の撮像素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なる。複数の撮像素子は、異なる複数の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留めるとする技術が知られている（例えば、特許文献１および２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献に記載の光学系によると、点像が特定の方向に広がる。点像が広がる方向に撮像素子が規則的に並んでいると、アーチファクトが発生し易くなる場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、撮像装置であって、光学系と、光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部とを備え、光学系による点像強度分布は光軸に対して回転非対称であり、複数の撮像素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なる。
【０００５】
複数の撮像素子は、異なる複数の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【０００６】
点像強度分布の複数の主成分方向のそれぞれは、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【０００７】
点像強度分布の複数の主成分方向は、それぞれ複数の撮像素子が周期的に配列された方向と異なってよい。
【０００８】
複数の撮像素子は格子状に配列され、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向のいずれとも異なってよい。
【０００９】
複数の撮像素子は格子状に配列され、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なってよい。
【００１０】
撮像部は、複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有するカラーフィルタ部をさらに備え、複数の撮像素子は、複数のフィルタ素子を通過した光を受光し、通過波長域が同じ複数のフィルタ素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、通過波長域が同じ複数のフィルタ素子が周期的に配列された方向と異なってよい。
【００１１】
点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理部をさらに備えてよい。
【００１２】
光学系は、結像レンズと、物点からの光に回転非対称な位相差分布を与える光変調部とを有し、複数の撮像素子は、結像レンズおよび光変調部を通過した光を受光し、光変調部が与える位相差分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なってよい。
【００１３】
光学系は、光変調部による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。
【００１４】
光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与えてよい。
【００１５】
本発明の第２の態様によると、撮像方法であって、光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、点像強度分布の主成分方向と異なる特定の方向に周期的に配列された複数の撮像素子により、画像を撮像する撮像段階と、光学系による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理段階と、を備える。
【００１６】
本発明の第３の態様によると、撮像装置用のプログラムであって、コンピュータを、光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、点像強度分布の主成分方向と異なる特定の方向に周期的に配列された複数の撮像素子により、画像を撮像する撮像部、光学系による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理段階として機能させる。
【００１７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、アーチファクトを低減することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。
【００２０】
撮像装置１１０は、光学系１００、カラーフィルタ１６８、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、および、制御部１２０を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００２１】
絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００２２】
光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。なお、光変調部１０４の光学特性については、図２などに関連して後述する。
【００２３】
カラーフィルタ１６８は、光学系１００の光軸に垂直な面上に２次元的に配置された複数のフィルタ素子を有する。各フィルタ素子は、特定の波長域の光を選択的に透過する。
【００２４】
受光部１７０は、光学系１００を通過した被写体光を受光する。具体的には、受光部１７０は、光学系１００およびカラーフィルタ１６８を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。複数の撮像素子は、光学系１００を通過した光をそれぞれ受光する。具体的には、複数の撮像素子は、光学系１００およびカラーフィルタ１６８を通過した光をそれぞれ受光する。
【００２５】
なお、受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。
【００２６】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０、および撮像画像生成部１７２は、この発明における撮像部として機能する。
【００２７】
画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶素子に記憶してよい。
【００２８】
画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。このように、画像取得部１３０は、光学系１００を通じて撮像された画像を取得することができる。なお、以後の説明において単に"画像"と記されたものは、撮像装置１１０により撮像された画像であり、画像取得部１３０により取得された画像を指すものとする。
【００２９】
画像処理部１８０は、光学系１００による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系１００による点像の広がりが補正された補正画像を生成する。例えば、画像処理部１８０は、光学系１００の光学伝達関数に基づく逆フィルタを画像に施すことにより、補正画像を生成してよい。このように、画像処理部１８０は、撮像された画像に、光学系１００の光学伝達関数に基づく補正処理を施すことができる。
【００３０】
出力部１９０は、画像処理部１８０により生成された補正画像を出力する。例えば、出力部１９０は、画像を記録する記録媒体に補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、補正画像を出力してよい。
【００３１】
なお、制御部１２０は、光学系１００により結像位置および絞り部１０６の絞り開度など、光学系１００の結像特性を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り値を制御することにより、光学系１００による結像位置および絞り部１０６の絞り開度を制御してよい。結像特性としては、結像位置および絞り開度の他にも、光学系１００の焦点距離を例示することができる。
【００３２】
画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、制御部１２０により制御された結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。
【００３３】
なお、光学系１００は、像高に応じて結像特性も変わる。このため、画像処理パラメータ格納部１８８は、画像エリアに対応づけて画像処理パラメータを格納してよい。画像処理部１８０は、画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、当該画像処理パラメータに対応づけられた画像エリアの画像に補正処理を施してよい。
【００３４】
なお、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、および出力部１９０は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。
【００３５】
図２は、光変調部１０４が与える位相差分布の一例を示す。本図では、光変調部１０４が与える位相差分布を等高線表示したものが示されている。本図の位相差分布は、光軸を原点とする直交座標の各座標値に関して、３次式で表される曲面形状を有する光変調部１０４による位相差分布を示す。光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ３＋ｙ３）で表される。
【００３６】
なお、このような光変調部１０４を含む光学系１００によると、光変調部１０４による光の波面変調により、物点からの光の広がりが物点までの距離に対して略一定になる。例えば、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりが、物点までの距離に対して略一定になる。
【００３７】
このような光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず、受光部１７０の受光面において略一様なぼけを伴って結像する。ぼけた被写体像は、画像処理部１８０における逆フィルタ等を用いた補正処理により、比較的に鮮明な被写体像に復元され得る。
【００３８】
図３は、受光部１７０およびカラーフィルタ１６８の素子配列の一例を示す。受光部１７０は、撮像素子３１１、撮像素子３１２−１、撮像素子３１２−２、および撮像素子３１３を有する撮像素子ユニット３１０が２次元的に配列されて形成される。このように、受光部１７０は、格子状に配列された複数の撮像素子を有する。
【００３９】
カラーフィルタ１６８は、フィルタ素子３２１、フィルタ素子３２２−１、フィルタ素子３２２−２、フィルタ素子３２３などが、撮像素子と同様の配置で格子状に配列されて形成される。フィルタ素子３２１は、赤色の波長域の光を選択的に透過する。フィルタ素子３２２−１およびフィルタ素子３２２−２は、緑色の波長域の光を選択的に透過する。フィルタ素子３２３は、青色の波長域の光を選択的に透過する。本図において、赤色の波長域を示すＲ、緑色の波長域を示すＧ、青色の波長域を示すＢのいずれかの文字が、フィルタ素子の配列を示す格子内に付されている。各フィルタ素子は、当該文字が示す波長域の光を選択的に透過する。
【００４０】
受光部１７０およびカラーフィルタ１６８は、複数の撮像素子が配列された格子と、複数のフィルタ素子の格子とが、それぞれ光軸に沿って対応する位置に位置するよう、光軸方向に軸合わせして並べられる。これにより、撮像素子３１１、撮像素子３１２−１、撮像素子３１２−２、撮像素子３１３は、それぞれフィルタ素子３２１、フィルタ素子３２２−１、フィルタ素子３２２−２、およびフィルタ素子３２３が透過した光を受光する。
【００４１】
このように、カラーフィルタ１６８は、複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有する。そして、受光部１７０が有する複数の撮像素子は、それぞれが対応する複数のフィルタ素子を通過した光を受光する。具体的には、複数の撮像素子は、結像レンズ１０２、絞り部１０６、光変調部１０４、および、対応する複数のフィルタ素子を通過した光を受光する。
【００４２】
図４は、光学系１００による点像強度分布の一例を示す。本図で示される点像強度分布は、上述した３次式で表される曲面形状の光変調部１０４を有する光学系１００により得られたものとする。ここでは、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４３】
本点像強度分布が示すように、光学系１００による点像強度分布は、光軸に対して回転非対称になっている。また、ｘ軸方向およびｙ軸方向に点像強度分布の主成分方向があることがわかる。これは、光変調部１０４がｘ軸方向、ｙ軸方向にそれぞれ位相差分布を与えることに対応している。光変調部１０４が物点からの光に回転非対称な位相差分布を与えることにより、光学系１００による点像強度分布が回転非対称になっている。
【００４４】
図５は、フィルタ素子の周期的な配列方向の一例を示す。以下に、緑色の波長域の光を通過するフィルタ素子を例に挙げて、フィルタ素子の周期的な配列方向について説明する。ここでも、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４５】
緑色の波長域を通過するフィルタ素子は、方向５３０および方向５４０に、最も短いピッチで規則的に配列されている。また、緑色の波長域を通過するフィルタ素子は、方向５１０および方向５２０にも、２素子分のピッチで規則的に配列されている。このように、緑色の波長域を通過するフィルタ素子は、主として方向５１０、方向５２０、方向５３０、方向５４０に、所定のピッチで規則的に配列されていることがわかる。
【００４６】
ここで、光学系１００が図４で説明した点像を与える場合、光学系１００を通過した光は、方向５１０および方向５２０が示す方向に広がることがわかる。つまり、撮像素子によって規則的にサンプリングされる空間的なサンプリング方向と、点像の広がり方向とが略一致している。このように撮像素子による空間サンプリング周期と、点像における主要な強度変化周期とが近い場合、撮像素子で離散的にサンプリングされた測定値からは、点像強度分布をきちんと再現することができない場合がある。
【００４７】
このようなことを防ぐためには、光学系１００による点像が、方向５１０および方向５２０と異なる方向に広がっていることが好ましい。より好ましくは、光学系１００による点像が、方向５１０、方向５２０、方向５３０、方向５４０のいずれとも異なる方向に広がっていることが好ましい。
【００４８】
図６は、周期的な配列方向と異なる方向に広がる点像の一例を示す。ここでも、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４９】
光学系１００による点像が本図に示される向きに広がっている場合には、点像強度分布の複数の主成分方向は、撮像素子の格子配列における行方向および列方向のいずれとも異なっている。また、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なっている。光変調部１０４が与える位相差分布の主成分方向を、当該周期的な配列方向と異ならせることにより、点像強度分布の複数の主成分方向のそれぞれを、複数の撮像素子が周期的に配列された方向と異ならせることができる。
【００５０】
なお、光学系１００による点像強度分布における複数の主成分方向のいずれの主成分方向も、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なっていることがわかる。これにより、点像の広がり方向に撮像素子が規則的にサンプリングすることを実質的に防ぐことができる。
【００５１】
なお、ここまでの説明では、緑色の波長域の光に対する空間的サンプリング方向を例に挙げて説明した。赤色の波長域の光に対する空間的サンプリング方向、および、緑色の波長域の光に対する空間的サンプリング方向についても、同様のことがいえる。すなわち、光学系１００による点像強度分布の主成分方向は、通過波長域が同じ複数のフィルタ素子が周期的に配列された方向と異なっていることが好ましい。なお、主成分方向とは、点像の広がりの主要方向であってよい。主成分方向は、例えば点像強度を主成分分析することによって特定され得る。
【００５２】
また、以上の説明は、カラー値の空間的サンプリング方向を例に挙げて説明したが、輝度値に対する空間的サンプリング方向についても同様のことがいえる。つまり、図３に示されるように、複数の撮像素子が特定の方向に周期的に配列されている場合に、点像強度分布の主成分方向が、当該周期的に配列された方向と異なることが好ましい。当該主成分方向が、当該周期的に配列された複数の方向のいずれとも異なることがより好ましい。なお、複数の撮像素子が周期的に配列された複数の方向としても、方向５１０、方向５２０、方向５３０、および方向５４０などの複数の方向を例示することができる。
【００５３】
シミュレーション、高精度撮影などによって理想的な点像が得られている場合は、光変調部１０４などの位相板とセンサーとが直交して配置してあってよい。しかしながら、現実には理想的な点像を得ることはコスト等の点からも難しい場合が多い。また図３で説明したようなカラーフィルタを使用してカラー撮影する場合、ＲＢのフィルタ素子は正方配列なのに対してＧが斜めに配置されるなど、全てのカラーセンサーと位相板を直交させること自身が不可能となる。このような場合には、上述したように所定の角度傾けて位相板を配置することでアーチファクトを許容可能な範囲に低減することができる。アーチファクトは位相板と同方向に発生し易いので、所定角度傾けることにより、アーチファクト、さらには画素、モニタなどで発生するモアレも抑制することができる。
【００５４】
図７は、光変調部１０４が与える位相差分布の他の一例を示す。本図では、図２で等高表示した位相差レベルと同じ位相差レベルに対して等高線表示されている。
【００５５】
上段の図は、光軸を原点とする直交座標の各座標値に関して、３次の項と５次の項の和で表される曲面形状を有する光変調部１０４による位相差分布を示す。具体的には、この光変調部１０４による波面収差は、α（ｘ３＋ｙ３）／２＋α（ｘ５＋ｙ５）／２で表される。本図の上段の図と図２とを比較すると、光変調部１０４が３次式の曲面形状を持つ場合と比べて、予め定められた値より低い位相差を与える領域が、光軸まわりに広くなっていることがわかる。
【００５６】
下段の図は、光軸を原点とする直交座標の各座標値に関して、３．４次の項で表される曲面形状を有する光変調部１０４による位相差分布を示す。具体的には、この光変調部１０４による波面収差は、α（ｓｉｇｎ（ｘ）｜ｘ｜３．４＋ｓｉｇｎ（ｙ）｜ｙ｜３．４）で表される。なお、ｓｉｇｎ（ｚ）は、ｚ＜０のときに−１の値を持ち、それ以外の場合は＋１の値を持つとする。
【００５７】
下段の図においても、図２とを比較すると、光変調部１０４が３次式の曲面形状を持つ場合と比べて、予め定められた値より低い位相差を与える領域が、光軸まわりに広くなっていることがわかる。このように、光変調部１０４は、指数が３より大きい実数である項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。具体的には、光変調部１０４は、３より大きく４より小さい指数の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。
【００５８】
本図で示されるように光変調部１０４が低位相差を与える領域を広げることで、デフォーカスに対する依存性を低減することができる。なお、光変調部１０４の曲面形状は、５次、および、３．４次以外の次数の式で表されてよいことは言うまでもない。例えば、光変調部１０４の曲面形状を表す式が、７次など、３次より大きい奇数次の項を含んでよい。また、光変調部１０４の曲面形状が、３次より大きい次数の式で表されてよい。また、光変調部１０４の曲面形状が、３次より大きい次数の項を含む累乗和で表されてよい。
【００５９】
このように、光変調部１０４は、光軸を原点とする座標について３より大きい指数の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。具体的には、光変調部１０４は、光軸を原点とする直交座標系における座標について３より大きい指数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。また、光変調部１０４は、指数が奇数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。
【００６０】
また、光変調部１０４は、指数が３の項をさらに含む累乗和で表される分布の位相差を、物点からの光に与えてよい。また、光変調部１０４は、指数が３の項および指数が３より大きい奇数次の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。光変調部１０４は、指数がそれぞれ３以上の奇数である複数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。なお、光変調部１０４は、上述した累乗和で近似的に表される分布の位相差を、物点からの光に与えてよい。
【００６１】
図８は、画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す。画像処理パラメータ格納部１８８は、複数の画像エリアに対応づけて、異なる補正処理用の複数の復元フィルタを格納している。復元フィルタとしては、上述した逆フィルタを例示することができる。
【００６２】
画像処理部１８０は、画像における画像エリア毎に復元フィルタを選択して、選択した復元フィルタを用いて、各画像エリアの画像に補正処理を施してよい。画像処理部１８０は、画像の画像エリアのそれぞれに対して補正処理を施す場合に、それぞれの画像エリアに対応づけて画像処理パラメータ格納部１８８が格納している復元フィルタを選択して、選択した復元フィルタを用いてそれぞれの画像エリアに補正処理を施すことができる。
【００６３】
なお、画像処理パラメータ格納部１８８は、光学系１００の位置、絞り部１０６の絞り開度、および光学系１００の焦点距離にさらに対応づけて、復元フィルタを格納してもよい。これにより、画像処理部１８０は、補正処理対象となる画像が撮像されたときの光学系１００の位置、絞り開度、および光学系１００の焦点距離に対応づけて画像処理パラメータ格納部１８８が格納している復元フィルタの中から、各画像エリアに対応づけられた適切な復元フィルタを選択することができる。
【００６４】
なお、上記において光変調部１０４の一例として種々の曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００６５】
また、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。撮像装置１１０は、動画に含まれる複数の動画構成画像のそれぞれ対して、上述の補正処理を施すことができる。
【００６６】
図９は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０が備える各構成要素として機能することができる。
【００６７】
コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００６８】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６９】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７０】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７１】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図８に関連して説明した撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、および制御部１２０などとして機能させる。
【００７２】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７４】
【図１】一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。
【図２】光変調部１０４が与える位相差分布の一例を示す図である。
【図３】受光部１７０およびカラーフィルタ１６８の構成の一例を示す図である。
【図４】光学系１００による点像強度分布の一例を示す図である。
【図５】フィルタ素子の周期的な配列方向の一例を示す図である。
【図６】周期的な配列方向と異なる方向に広がる点像の一例を示す図である。
【図７】光変調部１０４が与える位相差分布の他の一例を示す図である。
【図８】画像処理パラメータ格納部１８８が格納するデータの一例を示す図である。
【図９】撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００７５】
１００ 光学系
１０２ 結像レンズ
１０４ 光変調部
１０６ 絞り部
１１０ 撮像装置
１２０ 制御部
１３０ 画像取得部
１６８ カラーフィルタ
１７０ 受光部
１７２ 撮像画像生成部
１７４ 画像記憶部
１８０ 画像処理部
１８８ 画像処理パラメータ格納部
１９０ 出力部
３１０ 撮像素子ユニット
３１１、３１２、３１３ 撮像素子
３２１ フィルタ素子
３２２ フィルタ素子
３２３ フィルタ素子
５１０、５２０、５３０、５４０ 方向
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留めるとする技術が知られている（例えば、特許文献１および２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献に記載の光学系によると、点像が特定の方向に広がる。点像が広がる方向に撮像素子が規則的に並んでいると、アーチファクトが発生し易くなる場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、撮像装置であって、光学系と、光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部とを備え、光学系による点像強度分布は光軸に対して回転非対称であり、複数の撮像素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なる。
【０００５】
複数の撮像素子は、異なる複数の方向に周期的に配列されており、点像強度分布の主成分方向は、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【０００６】
点像強度分布の複数の主成分方向のそれぞれは、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なってよい。
【０００７】
点像強度分布の複数の主成分方向は、それぞれ複数の撮像素子が周期的に配列された方向と異なってよい。
【０００８】
複数の撮像素子は格子状に配列され、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向のいずれとも異なってよい。
【０００９】
複数の撮像素子は格子状に配列され、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なってよい。
【００１０】
撮像部は、複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有するカラーフィルタ部をさらに備え、複数の撮像素子は、複数のフィルタ素子を通過した光を受光し、通過波長域が同じ複数のフィルタ素子は、特定の方向に周期的に配列されており、点像強度分布の主成分方向は、通過波長域が同じ複数のフィルタ素子が周期的に配列された方向と異なってよい。
【００１１】
点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理部をさらに備えてよい。
【００１２】
光学系は、結像レンズと、物点からの光に回転非対称な位相差分布を与える光変調部とを有し、複数の撮像素子は、結像レンズおよび光変調部を通過した光を受光し、光変調部が与える位相差分布の主成分方向は、複数の撮像素子が周期的に配列された方向と異なってよい。
【００１３】
光学系は、光変調部による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。
【００１４】
光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与えてよい。
【００１５】
本発明の第２の態様によると、撮像方法であって、光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、点像強度分布の主成分方向と異なる特定の方向に周期的に配列された複数の撮像素子により、画像を撮像する撮像段階と、光学系による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理段階と、を備える。
【００１６】
本発明の第３の態様によると、撮像装置用のプログラムであって、コンピュータを、光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、点像強度分布の主成分方向と異なる特定の方向に周期的に配列された複数の撮像素子により、画像を撮像する撮像部、光学系による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系による点像の広がりが補正された補正画像を生成する画像処理段階として機能させる。
【００１７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、アーチファクトを低減することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。
【００２０】
撮像装置１１０は、光学系１００、カラーフィルタ１６８、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、および、制御部１２０を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００２１】
絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００２２】
光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。なお、光変調部１０４の光学特性については、図２などに関連して後述する。
【００２３】
カラーフィルタ１６８は、光学系１００の光軸に垂直な面上に２次元的に配置された複数のフィルタ素子を有する。各フィルタ素子は、特定の波長域の光を選択的に透過する。
【００２４】
受光部１７０は、光学系１００を通過した被写体光を受光する。具体的には、受光部１７０は、光学系１００およびカラーフィルタ１６８を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。複数の撮像素子は、光学系１００を通過した光をそれぞれ受光する。具体的には、複数の撮像素子は、光学系１００およびカラーフィルタ１６８を通過した光をそれぞれ受光する。
【００２５】
なお、受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。
【００２６】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０、および撮像画像生成部１７２は、この発明における撮像部として機能する。
【００２７】
画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶素子に記憶してよい。
【００２８】
画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。このように、画像取得部１３０は、光学系１００を通じて撮像された画像を取得することができる。なお、以後の説明において単に"画像"と記されたものは、撮像装置１１０により撮像された画像であり、画像取得部１３０により取得された画像を指すものとする。
【００２９】
画像処理部１８０は、光学系１００による点像強度分布に基づいて、複数の撮像素子により撮像された画像における光学系１００による点像の広がりが補正された補正画像を生成する。例えば、画像処理部１８０は、光学系１００の光学伝達関数に基づく逆フィルタを画像に施すことにより、補正画像を生成してよい。このように、画像処理部１８０は、撮像された画像に、光学系１００の光学伝達関数に基づく補正処理を施すことができる。
【００３０】
出力部１９０は、画像処理部１８０により生成された補正画像を出力する。例えば、出力部１９０は、画像を記録する記録媒体に補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、補正画像を出力してよい。
【００３１】
なお、制御部１２０は、光学系１００により結像位置および絞り部１０６の絞り開度など、光学系１００の結像特性を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り値を制御することにより、光学系１００による結像位置および絞り部１０６の絞り開度を制御してよい。結像特性としては、結像位置および絞り開度の他にも、光学系１００の焦点距離を例示することができる。
【００３２】
画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、制御部１２０により制御された結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。
【００３３】
なお、光学系１００は、像高に応じて結像特性も変わる。このため、画像処理パラメータ格納部１８８は、画像エリアに対応づけて画像処理パラメータを格納してよい。画像処理部１８０は、画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、当該画像処理パラメータに対応づけられた画像エリアの画像に補正処理を施してよい。
【００３４】
なお、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、および出力部１９０は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。
【００３５】
図２は、光変調部１０４が与える位相差分布の一例を示す。本図では、光変調部１０４が与える位相差分布を等高線表示したものが示されている。本図の位相差分布は、光軸を原点とする直交座標の各座標値に関して、３次式で表される曲面形状を有する光変調部１０４による位相差分布を示す。光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ３＋ｙ３）で表される。
【００３６】
なお、このような光変調部１０４を含む光学系１００によると、光変調部１０４による光の波面変調により、物点からの光の広がりが物点までの距離に対して略一定になる。例えば、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりが、物点までの距離に対して略一定になる。
【００３７】
このような光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず、受光部１７０の受光面において略一様なぼけを伴って結像する。ぼけた被写体像は、画像処理部１８０における逆フィルタ等を用いた補正処理により、比較的に鮮明な被写体像に復元され得る。
【００３８】
図３は、受光部１７０およびカラーフィルタ１６８の素子配列の一例を示す。受光部１７０は、撮像素子３１１、撮像素子３１２−１、撮像素子３１２−２、および撮像素子３１３を有する撮像素子ユニット３１０が２次元的に配列されて形成される。このように、受光部１７０は、格子状に配列された複数の撮像素子を有する。
【００３９】
カラーフィルタ１６８は、フィルタ素子３２１、フィルタ素子３２２−１、フィルタ素子３２２−２、フィルタ素子３２３などが、撮像素子と同様の配置で格子状に配列されて形成される。フィルタ素子３２１は、赤色の波長域の光を選択的に透過する。フィルタ素子３２２−１およびフィルタ素子３２２−２は、緑色の波長域の光を選択的に透過する。フィルタ素子３２３は、青色の波長域の光を選択的に透過する。本図において、赤色の波長域を示すＲ、緑色の波長域を示すＧ、青色の波長域を示すＢのいずれかの文字が、フィルタ素子の配列を示す格子内に付されている。各フィルタ素子は、当該文字が示す波長域の光を選択的に透過する。
【００４０】
受光部１７０およびカラーフィルタ１６８は、複数の撮像素子が配列された格子と、複数のフィルタ素子の格子とが、それぞれ光軸に沿って対応する位置に位置するよう、光軸方向に軸合わせして並べられる。これにより、撮像素子３１１、撮像素子３１２−１、撮像素子３１２−２、撮像素子３１３は、それぞれフィルタ素子３２１、フィルタ素子３２２−１、フィルタ素子３２２−２、およびフィルタ素子３２３が透過した光を受光する。
【００４１】
このように、カラーフィルタ１６８は、複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有する。そして、受光部１７０が有する複数の撮像素子は、それぞれが対応する複数のフィルタ素子を通過した光を受光する。具体的には、複数の撮像素子は、結像レンズ１０２、絞り部１０６、光変調部１０４、および、対応する複数のフィルタ素子を通過した光を受光する。
【００４２】
図４は、光学系１００による点像強度分布の一例を示す。本図で示される点像強度分布は、上述した３次式で表される曲面形状の光変調部１０４を有する光学系１００により得られたものとする。ここでは、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４３】
本点像強度分布が示すように、光学系１００による点像強度分布は、光軸に対して回転非対称になっている。また、ｘ軸方向およびｙ軸方向に点像強度分布の主成分方向があることがわかる。これは、光変調部１０４がｘ軸方向、ｙ軸方向にそれぞれ位相差分布を与えることに対応している。光変調部１０４が物点からの光に回転非対称な位相差分布を与えることにより、光学系１００による点像強度分布が回転非対称になっている。
【００４４】
図５は、フィルタ素子の周期的な配列方向の一例を示す。以下に、緑色の波長域の光を通過するフィルタ素子を例に挙げて、フィルタ素子の周期的な配列方向について説明する。ここでも、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４５】
緑色の波長域を通過するフィルタ素子は、方向５３０および方向５４０に、最も短いピッチで規則的に配列されている。また、緑色の波長域を通過するフィルタ素子は、方向５１０および方向５２０にも、２素子分のピッチで規則的に配列されている。このように、緑色の波長域を通過するフィルタ素子は、主として方向５１０、方向５２０、方向５３０、方向５４０に、所定のピッチで規則的に配列されていることがわかる。
【００４６】
ここで、光学系１００が図４で説明した点像を与える場合、光学系１００を通過した光は、方向５１０および方向５２０が示す方向に広がることがわかる。つまり、撮像素子によって規則的にサンプリングされる空間的なサンプリング方向と、点像の広がり方向とが略一致している。このように撮像素子による空間サンプリング周期と、点像における主要な強度変化周期とが近い場合、撮像素子で離散的にサンプリングされた測定値からは、点像強度分布をきちんと再現することができない場合がある。
【００４７】
このようなことを防ぐためには、光学系１００による点像が、方向５１０および方向５２０と異なる方向に広がっていることが好ましい。より好ましくは、光学系１００による点像が、方向５１０、方向５２０、方向５３０、方向５４０のいずれとも異なる方向に広がっていることが好ましい。
【００４８】
図６は、周期的な配列方向と異なる方向に広がる点像の一例を示す。ここでも、紙面に向かって横方向がｘ軸の向きであり、縦方向がｙ軸の向きであるとする。
【００４９】
光学系１００による点像が本図に示される向きに広がっている場合には、点像強度分布の複数の主成分方向は、撮像素子の格子配列における行方向および列方向のいずれとも異なっている。また、点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なっている。光変調部１０４が与える位相差分布の主成分方向を、当該周期的な配列方向と異ならせることにより、点像強度分布の複数の主成分方向のそれぞれを、複数の撮像素子が周期的に配列された方向と異ならせることができる。
【００５０】
なお、光学系１００による点像強度分布における複数の主成分方向のいずれの主成分方向も、複数の撮像素子が周期的に配列された複数の方向のいずれとも異なっていることがわかる。これにより、点像の広がり方向に撮像素子が規則的にサンプリングすることを実質的に防ぐことができる。
【００５１】
なお、ここまでの説明では、緑色の波長域の光に対する空間的サンプリング方向を例に挙げて説明した。赤色の波長域の光に対する空間的サンプリング方向、および、緑色の波長域の光に対する空間的サンプリング方向についても、同様のことがいえる。すなわち、光学系１００による点像強度分布の主成分方向は、通過波長域が同じ複数のフィルタ素子が周期的に配列された方向と異なっていることが好ましい。なお、主成分方向とは、点像の広がりの主要方向であってよい。主成分方向は、例えば点像強度を主成分分析することによって特定され得る。
【００５２】
また、以上の説明は、カラー値の空間的サンプリング方向を例に挙げて説明したが、輝度値に対する空間的サンプリング方向についても同様のことがいえる。つまり、図３に示されるように、複数の撮像素子が特定の方向に周期的に配列されている場合に、点像強度分布の主成分方向が、当該周期的に配列された方向と異なることが好ましい。当該主成分方向が、当該周期的に配列された複数の方向のいずれとも異なることがより好ましい。なお、複数の撮像素子が周期的に配列された複数の方向としても、方向５１０、方向５２０、方向５３０、および方向５４０などの複数の方向を例示することができる。
【００５３】
シミュレーション、高精度撮影などによって理想的な点像が得られている場合は、光変調部１０４などの位相板とセンサーとが直交して配置してあってよい。しかしながら、現実には理想的な点像を得ることはコスト等の点からも難しい場合が多い。また図３で説明したようなカラーフィルタを使用してカラー撮影する場合、ＲＢのフィルタ素子は正方配列なのに対してＧが斜めに配置されるなど、全てのカラーセンサーと位相板を直交させること自身が不可能となる。このような場合には、上述したように所定の角度傾けて位相板を配置することでアーチファクトを許容可能な範囲に低減することができる。アーチファクトは位相板と同方向に発生し易いので、所定角度傾けることにより、アーチファクト、さらには画素、モニタなどで発生するモアレも抑制することができる。
【００５４】
図７は、光変調部１０４が与える位相差分布の他の一例を示す。本図では、図２で等高表示した位相差レベルと同じ位相差レベルに対して等高線表示されている。
【００５５】
上段の図は、光軸を原点とする直交座標の各座標値に関して、３次の項と５次の項の和で表される曲面形状を有する光変調部１０４による位相差分布を示す。具体的には、この光変調部１０４による波面収差は、α（ｘ３＋ｙ３）／２＋α（ｘ５＋ｙ５）／２で表される。本図の上段の図と図２とを比較すると、光変調部１０４が３次式の曲面形状を持つ場合と比べて、予め定められた値より低い位相差を与える領域が、光軸まわりに広くなっていることがわかる。
【００５６】
下段の図は、光軸を原点とする直交座標の各座標値に関して、３．４次の項で表される曲面形状を有する光変調部１０４による位相差分布を示す。具体的には、この光変調部１０４による波面収差は、α（ｓｉｇｎ（ｘ）｜ｘ｜３．４＋ｓｉｇｎ（ｙ）｜ｙ｜３．４）で表される。なお、ｓｉｇｎ（ｚ）は、ｚ＜０のときに−１の値を持ち、それ以外の場合は＋１の値を持つとする。
【００５７】
下段の図においても、図２とを比較すると、光変調部１０４が３次式の曲面形状を持つ場合と比べて、予め定められた値より低い位相差を与える領域が、光軸まわりに広くなっていることがわかる。このように、光変調部１０４は、指数が３より大きい実数である項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。具体的には、光変調部１０４は、３より大きく４より小さい指数の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。
【００５８】
本図で示されるように光変調部１０４が低位相差を与える領域を広げることで、デフォーカスに対する依存性を低減することができる。なお、光変調部１０４の曲面形状は、５次、および、３．４次以外の次数の式で表されてよいことは言うまでもない。例えば、光変調部１０４の曲面形状を表す式が、７次など、３次より大きい奇数次の項を含んでよい。また、光変調部１０４の曲面形状が、３次より大きい次数の式で表されてよい。また、光変調部１０４の曲面形状が、３次より大きい次数の項を含む累乗和で表されてよい。
【００５９】
このように、光変調部１０４は、光軸を原点とする座標について３より大きい指数の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。具体的には、光変調部１０４は、光軸を原点とする直交座標系における座標について３より大きい指数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。また、光変調部１０４は、指数が奇数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。
【００６０】
また、光変調部１０４は、指数が３の項をさらに含む累乗和で表される分布の位相差を、物点からの光に与えてよい。また、光変調部１０４は、指数が３の項および指数が３より大きい奇数次の項を含む累乗和で表される分布の位相差を物点からの光に与えてよい。光変調部１０４は、指数がそれぞれ３以上の奇数である複数の項を含む累乗和で表される分布の位相差を、物点からの光に与えてよい。なお、光変調部１０４は、上述した累乗和で近似的に表される分布の位相差を、物点からの光に与えてよい。
【００６１】
図８は、画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す。画像処理パラメータ格納部１８８は、複数の画像エリアに対応づけて、異なる補正処理用の複数の復元フィルタを格納している。復元フィルタとしては、上述した逆フィルタを例示することができる。
【００６２】
画像処理部１８０は、画像における画像エリア毎に復元フィルタを選択して、選択した復元フィルタを用いて、各画像エリアの画像に補正処理を施してよい。画像処理部１８０は、画像の画像エリアのそれぞれに対して補正処理を施す場合に、それぞれの画像エリアに対応づけて画像処理パラメータ格納部１８８が格納している復元フィルタを選択して、選択した復元フィルタを用いてそれぞれの画像エリアに補正処理を施すことができる。
【００６３】
なお、画像処理パラメータ格納部１８８は、光学系１００の位置、絞り部１０６の絞り開度、および光学系１００の焦点距離にさらに対応づけて、復元フィルタを格納してもよい。これにより、画像処理部１８０は、補正処理対象となる画像が撮像されたときの光学系１００の位置、絞り開度、および光学系１００の焦点距離に対応づけて画像処理パラメータ格納部１８８が格納している復元フィルタの中から、各画像エリアに対応づけられた適切な復元フィルタを選択することができる。
【００６４】
なお、上記において光変調部１０４の一例として種々の曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００６５】
また、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。撮像装置１１０は、動画に含まれる複数の動画構成画像のそれぞれ対して、上述の補正処理を施すことができる。
【００６６】
図９は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０が備える各構成要素として機能することができる。
【００６７】
コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００６８】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６９】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７０】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７１】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図８に関連して説明した撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、および制御部１２０などとして機能させる。
【００７２】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７４】
【図１】一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。
【図２】光変調部１０４が与える位相差分布の一例を示す図である。
【図３】受光部１７０およびカラーフィルタ１６８の構成の一例を示す図である。
【図４】光学系１００による点像強度分布の一例を示す図である。
【図５】フィルタ素子の周期的な配列方向の一例を示す図である。
【図６】周期的な配列方向と異なる方向に広がる点像の一例を示す図である。
【図７】光変調部１０４が与える位相差分布の他の一例を示す図である。
【図８】画像処理パラメータ格納部１８８が格納するデータの一例を示す図である。
【図９】撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００７５】
１００ 光学系
１０２ 結像レンズ
１０４ 光変調部
１０６ 絞り部
１１０ 撮像装置
１２０ 制御部
１３０ 画像取得部
１６８ カラーフィルタ
１７０ 受光部
１７２ 撮像画像生成部
１７４ 画像記憶部
１８０ 画像処理部
１８８ 画像処理パラメータ格納部
１９０ 出力部
３１０ 撮像素子ユニット
３１１、３１２、３１３ 撮像素子
３２１ フィルタ素子
３２２ フィルタ素子
３２３ フィルタ素子
５１０、５２０、５３０、５４０ 方向
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部と
を備え、
前記光学系による点像強度分布は光軸に対して回転非対称であり、
前記複数の撮像素子は、特定の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、前記複数の撮像素子が周期的に配列された方向と異なる
撮像装置。
【請求項２】
前記複数の撮像素子は、異なる複数の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、前記複数の撮像素子が周期的に配列された複数の方向のいずれとも異なる
請求項１に記載の撮像装置。
【請求項３】
前記点像強度分布の複数の主成分方向のそれぞれは、前記複数の撮像素子が周期的に配列された前記複数の方向のいずれとも異なる
請求項２に記載の撮像装置。
【請求項４】
前記点像強度分布の複数の主成分方向は、それぞれ前記複数の撮像素子が周期的に配列された方向と異なる
請求項１に記載の撮像装置。
【請求項５】
前記複数の撮像素子は格子状に配列され、
前記点像強度分布の複数の主成分方向は、格子配列における行方向および列方向のいずれとも異なる
請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記複数の撮像素子は格子状に配列され、
前記点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なる
請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記撮像部は、
前記複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有するカラーフィルタ部
をさらに備え、
前記複数の撮像素子は、前記複数のフィルタ素子を通過した光を受光し、
通過波長域が同じ前記複数のフィルタ素子は、特定の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、通過波長域が同じ前記複数のフィルタ素子が周期的に配列された方向と異なる
請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理部
をさらに備える請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
前記光学系は、
結像レンズと、
物点からの光に回転非対称な位相差分布を与える光変調部と
を有し、
前記複数の撮像素子は、前記結像レンズおよび前記光変調部を通過した光を受光し、
前記光変調部が与える位相差分布の主成分方向は、前記複数の撮像素子が周期的に配列された方向と異なる
請求項１乃至８のいずれかに記載の撮像装置。
【請求項１０】
前記光学系は、前記光変調部による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
請求項９に記載の撮像装置。
【請求項１１】
前記光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える
請求項１０に記載の撮像装置。
【請求項１２】
光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、前記点像強度分布の主成分方向と異なる特定の方向に周期的に配列された前記複数の撮像素子により、画像を撮像する撮像段階と、
前記光学系による点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理段階と、
を備える撮像方法。
【請求項１３】
撮像装置用のプログラムであって、コンピュータを、
光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、前記点像強度分布の主成分方向と異なる特定の方向に周期的に配列された前記複数の撮像素子により、画像を撮像する撮像部、
前記光学系による点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【請求項１】
光学系と、
前記光学系を通過した光をそれぞれ受光する複数の撮像素子を有する撮像部と
を備え、
前記光学系による点像強度分布は光軸に対して回転非対称であり、
前記複数の撮像素子は、特定の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、前記複数の撮像素子が周期的に配列された方向と異なる
撮像装置。
【請求項２】
前記複数の撮像素子は、異なる複数の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、前記複数の撮像素子が周期的に配列された複数の方向のいずれとも異なる
請求項１に記載の撮像装置。
【請求項３】
前記点像強度分布の複数の主成分方向のそれぞれは、前記複数の撮像素子が周期的に配列された前記複数の方向のいずれとも異なる
請求項２に記載の撮像装置。
【請求項４】
前記点像強度分布の複数の主成分方向は、それぞれ前記複数の撮像素子が周期的に配列された方向と異なる
請求項１に記載の撮像装置。
【請求項５】
前記複数の撮像素子は格子状に配列され、
前記点像強度分布の複数の主成分方向は、格子配列における行方向および列方向のいずれとも異なる
請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記複数の撮像素子は格子状に配列され、
前記点像強度分布の複数の主成分方向は、格子配列における行方向および列方向、ならびに、当該行方向と略４５度の角度差を持つ方向のいずれとも異なる
請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記撮像部は、
前記複数の撮像素子に対応する位置に配列され、それぞれ通過波長域が異なる複数のフィルタ素子を有するカラーフィルタ部
をさらに備え、
前記複数の撮像素子は、前記複数のフィルタ素子を通過した光を受光し、
通過波長域が同じ前記複数のフィルタ素子は、特定の方向に周期的に配列されており、
前記点像強度分布の主成分方向は、通過波長域が同じ前記複数のフィルタ素子が周期的に配列された方向と異なる
請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理部
をさらに備える請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
前記光学系は、
結像レンズと、
物点からの光に回転非対称な位相差分布を与える光変調部と
を有し、
前記複数の撮像素子は、前記結像レンズおよび前記光変調部を通過した光を受光し、
前記光変調部が与える位相差分布の主成分方向は、前記複数の撮像素子が周期的に配列された方向と異なる
請求項１乃至８のいずれかに記載の撮像装置。
【請求項１０】
前記光学系は、前記光変調部による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
請求項９に記載の撮像装置。
【請求項１１】
前記光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える
請求項１０に記載の撮像装置。
【請求項１２】
光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、前記点像強度分布の主成分方向と異なる特定の方向に周期的に配列された前記複数の撮像素子により、画像を撮像する撮像段階と、
前記光学系による点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理段階と、
を備える撮像方法。
【請求項１３】
撮像装置用のプログラムであって、コンピュータを、
光軸に対して回転非対称な点像強度分布を持つ光学系を通過した光をそれぞれ受光する複数の撮像素子であり、前記点像強度分布の主成分方向と異なる特定の方向に周期的に配列された前記複数の撮像素子により、画像を撮像する撮像部、
前記光学系による点像強度分布に基づいて、前記複数の撮像素子により撮像された画像における前記光学系による点像の広がりが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図４】
【図６】
【公開番号】特開２０１０−８７８５７（Ｐ２０１０−８７８５７Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５４９６１（Ｐ２００８−２５４９６１）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]