撮像装置
【課題】プレノプティックカメラにより撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させること。
【解決手段】撮像装置１は、メインレンズ３１、複数のマイクロレンズ３２−ｉからなるマイクロレンズアレイ３２、及び撮像素子３３を光学系に備える。マイクロレンズアレイ３２においては、マイクロレンズ３２−ｉの各々のエッジが、他のマイクロレンズ３２−ｉのエッジと線接触するように、規則的に連続して繰り返して配置されており、メインレンズ３１のアパーチャー形状は、マイクロレンズ３２−ｉの形状と略同一の形状を有しており、複数のマイクロレンズ３２−ｉの各エッジと焦点距離の比とが略同一である。
【解決手段】撮像装置１は、メインレンズ３１、複数のマイクロレンズ３２−ｉからなるマイクロレンズアレイ３２、及び撮像素子３３を光学系に備える。マイクロレンズアレイ３２においては、マイクロレンズ３２−ｉの各々のエッジが、他のマイクロレンズ３２−ｉのエッジと線接触するように、規則的に連続して繰り返して配置されており、メインレンズ３１のアパーチャー形状は、マイクロレンズ３２−ｉの形状と略同一の形状を有しており、複数のマイクロレンズ３２−ｉの各エッジと焦点距離の比とが略同一である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成された画像に生ずるノイズを低減させることが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
【０００３】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００４】
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【０００５】
具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているならば、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値を積分する。この積分値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像における、注目点に対応する画素が再構成される。
プレノプティックカメラは、再構成画像を構成する各画素（任意の距離にある面の各点に対応する各画素）のそれぞれを注目点に順次設定して、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を再構成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のプレノプティックカメラにより再構成画像のデータが生成されると、空間方向に周期的なノイズが生ずる場合がある。
このため、当該ノイズを低減する手法が求められている状況である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一態様の撮像装置は、メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一であることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、プレノプティックカメラにより撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【図３】図１の撮像装置が実行する再構成処理の流れを説明するフローチャートである。
【図４】従来の撮像装置の光学系の構成を示す模式図である。
【図５】本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像と、従来の手法を適用した場合により得られる再構成画像とを比較する図である。
【図６】本発明に係るマイクロレンズ間隙間縮小手法を適用した、本実施形態に係る撮像装置と、従来の撮像装置との光学係の構成を比較した図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
【００１４】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１６】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１７】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１８】
撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。
【００１９】
入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２１】
図２は、このような構成を有する撮像装置１のうち、光学系の構成例を示す模式図である。
【００２２】
撮像装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００２３】
メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。
【００２４】
マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００２５】
ここで、撮像装置１が、物体面ｏｂを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置１は、メインレンズ３１の前方の任意の距離にある面の像（当該任意の距離に被写体があると仮定したときにおける、メインレンズ３１により結像されるであろう面）の１点を注目点に設定すると、当該注目点からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して撮像素子３３内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、「再構成面」と呼ぶ。
そして、撮像装置１は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置１は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
なお、このようにして撮像装置１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼ぶ。
【００２６】
図３は、図１の撮像装置１が実行する再構成処理の流れを説明するフローチャートである。
なお、撮像装置１は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部１９等に記憶しているものとする。
【００２７】
ステップＳ１１において、撮像装置１のＣＰＵ１１は、ライトフィールド画像のデータを記憶部１９等から取得する。
ステップＳ１２において、ＣＰＵ１１は、メインレンズ３１の前方の所定距離の位置にある面の像を、再構成面として設定する。
【００２８】
ステップＳ１３において、ＣＰＵ１１は、再構成面の１点を、再構成注目画素に設定する。
ステップＳ１４において、ＣＰＵ１１は、再構成注目画素についての分配画素範囲を算出する。分配画素範囲とは、再構成注目画素からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して分配される、撮像素子３３内の画素の範囲、即ちライトフィールド画像内の画素の範囲である。
ステップＳ１５において、ＣＰＵ１１は、分配画素範囲内の各画素の画素値を積分する。
ステップＳ１６において、ＣＰＵ１１は、ステップＳ１５の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。
【００２９】
ステップＳ１７において、ＣＰＵ１１は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１３に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ１３乃至Ｓ１７のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、ＣＰＵ１１は、再構成画像を出力部１８から表示出力する。
これにより、再構成処理は終了となる。
【００３０】
しかしながら、このようなステップＳ１３乃至Ｓ１７のループ処理による再構成画像の各画素の推定演算（以下、「再構成の演算」と呼ぶ）では、特許文献１等の従来の技術では、真円形状のメインレンズ３１及び真円形状のマイクロレンズ３２−ｉを光学系に有する撮像装置によって得られたライトフィールド画像のデータが用いられていた。
このため、空間周波数の高い物体領域が再構成面に実在しないと、再構成画像の領域のうち、理想的には通常の撮像装置により撮像された場合と同様に自然なボケとなるべき領域において、周期的なノイズが生ずる場合がある。
【００３１】
図４は、周期的なノイズが生ずる要因を説明するための、従来の撮像装置の光学系の構成を示す模式図である。
なお、図４においては、ライトフィールド画像が撮像されたときの物体面ｏｂ（撮像時に合焦していた物体面ｏｂ）の位置が、図２の場合と異なっているため、メインレンズ結像面Ｍａの位置も、図２の場合と異なり、撮像素子３３の後方になっている。
ライトフィールド画像が撮像されるときには、図４の下方の図に示すように、物体面ｏｂの点光源ｐｓからの光線は、メインレンズ３１を介してマイクロレンズアレイ３２に入射されてくる。このようなマイクロレンズアレイ３２に入射された光線のうち、マイクロレンズ３２−ｉが未配置の領域（以下、「マイクロレンズ間隙間」と呼ぶ）に到達した光線は、当該マイクロレンズアレイ３２を透過することができない。従って、マイクロレンズ間隙間に到達した光線は、撮像素子３３に到達せず、その結果当然ながら撮像素子３３で集光されない（光量として積分されない）。
ここで、図４には図示しないが、再構成処理の実行に際し、仮にメインレンズ結像面Ｍａと同一位置に再構成面が設定された場合（図３のステップＳ１２参照）、物体面ｏｂの点光源ｐｓからの光線は再構成面の１点に集中する。このため、マイクロレンズ間隙間に到達した光線の情報（撮像素子３３で集光されないため、撮像素子３３において欠損する情報）は、マイクロレンズ３２−ｉに到達した光線の情報（撮像素子３３で集光されるため、撮像素子３３において取得される情報）で補うことが可能である。このため、再構成画像には、周期的なノイズがほぼ生じない。
しかしながら、再構成処理は、上述したように、ライトフィールド画像の撮像時に合焦していた物体面ｏｂとは異なった面で合焦していた画像と等価な再構成画像のデータを得るために、実行される。この場合、「ライトフィールド画像の撮像時に合焦していた物体面ｏｂとは異なった面で合焦していた」様子を推定するためには、図４の下方の図に示すように、再構成面Ｒａは、メインレンズ結像面Ｍａと異なる位置に設定されることになる。このため、マイクロレンズ間隙間に到達した光線は、撮像素子３３で集光されていない（光量として積分されていない）ことから、その情報を再構成処理で用いることはできず、その結果、再構成画像において周期的なノイズが生じてしまうことになる。
【００３２】
以上説明したように、再構成画像において周期的なノイズが生じてしまう要因は、マイクロレンズ間隙間が存在するからである。
そこで、本発明人らは、当該ノイズを低減すべく、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を、真円形状以外の形状、例えば正方形状にすること、及び、（２）メインレンズ３１のアパーチャー形状をマイクロレンズ３２−ｉの形状に合わせること、例えば正方形状にすることで、マイクロレンズ間隙間を従来よりも縮小する手法を発明した。以下、かかる手法を、「マイクロレンズ間隙間縮小手法」と呼ぶ。
【００３３】
図５は、このような本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像と、従来の手法を適用した場合により得られる再構成画像とを比較する図である。
ここで、従来の手法とは、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を、真円形状にすること、及び、（２）メインレンズ３１のアパーチャー形状をマイクロレンズ３２−ｉの形状に合わせて、真円形状にすることをいう。
【００３４】
図５の左上方には、撮像により得られたライトフィールド画像ＸＥが示されている。
なお、説明の簡略上、１枚のライトフィールド画像ＸＥしか図示していないが、実際には、サブイメージの形状が相異なる別々のライトフィールド画像のデータが得られることになる。即ち、従来の手法で得られるライトフィールド画像のサブイメージの形状は、図示はしないが、従来のマイクロレンズ３２−ｉの形状である真円形状になる。これに対して、本発明に係るマイクロレンズ間隙間手法を適用した場合に得られるライトフィールド画像の形状は、図示はしないが、真円形状以外の形状、例えば正方形状になる。
【００３５】
ライトフィールド画像ＸＥは、メインレンズ３１の前方から近い順に、「Ａ」と表示されたカード、「Ｂ」と表示されたカード、及び「Ｃ」と表示されたカードが一定距離ずつ離間してそれぞれ配置された様子が撮像されたものである。図５に示すように、当該ライトフィールド画像ＸＥの撮像時点では、「Ｂ」と表示されたカードにほぼ合焦していることがわかる。
このため、本例では、「Ｃ」と表示されたカードに合焦したような再構成画像が得られるように、再構成処理が実行されている。
【００３６】
図５の右上方には、従来の技術を適用した場合に得られる再構成画像ＡＦが示されている。
再構成画像ＡＦには、領域ＮＡ等において、空間方向に周期的なノイズが生じていることがわかる。
【００３７】
これに対して、図５の右下方には、本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像ＢＦが示されている。
再構成画像ＢＦには、空間方向の周期的なノイズはほぼ生じておらず、「Ｃ」と表示されたカードに合焦し、それ以外の「Ａ」や「Ｂ」と表示されたカードの各像は、ボケた像（本来このようになるべき理想的な像）となっていることがわかる。
【００３８】
図６は、本発明に係るマイクロレンズ間隙間縮小手法を適用した、本実施形態に係る撮像装置１と、従来の撮像装置との光学係の構成を比較した図である。
【００３９】
図６において、メインレンズ３１Ｏ及びマイクロレンズアレイ３２Ｏを有する光学系は、従来の撮像装置のものである。このような従来の撮像装置が、物体面ｏｂの点光源ｐｓからの光線（同図は白黒画像に変換したものであるため濃い灰色の点のようになっている）を撮像すると、その結果として、ライトフィールド画像ＬＦＯのデータが得られることになる。
従来の撮像装置のマイクロレンズアレイ３２Ｏを構成する各マイクロレンズ３２Ｏ−ｉの形状は、真円状である。このことは、マイクロレンズアレイ３２Ｏが複数の正方形の格子に区分されたとして、当該正方形の格子に、真円状のマイクロレンズ３２Ｏ−ｉを内接するように配置させたことと等価である。また、メインレンズ３１Ｏのアパーチャー形状も、マイクロレンズ３２Ｏ−ｉに合わせて、真円状である。
このため、マイクロレンズ３２Ｏ−ｉと、それに隣接するマイクロレンズ３２Ｏ−ｊとは点接触することになるため、マイクロレンズ間隙間の面積が大きくなる。このような構成の光学系を有する従来の撮像装置により撮像されたライトフィールド画像ＬＦＯでは、マイクロレンズ間隙間に到達した光線の情報が欠損した領域（サブイメージ間の隙間の図中黒い領域）が生じてしまう。このようなライトフィールド画像ＬＦＯのデータを用いて再構成処理が実行されると、その結果得られる再構成画像（図５の再構成画像ＡＦ参照）では、周期的なノイズが生じてしまう。
【００４０】
これに対して、図６において、メインレンズ３１Ｎ及びマイクロレンズアレイ３２Ｎを有する光学系は、本実施形態の撮像装置１のものである。このような本実施形態の撮像装置１が、物体面ｏｂの点光源ｐｓからの光線（同図中、説明の簡略上、白黒逆転させて黒い点としている）を撮像すると、その結果として、ライトフィールド画像ＬＦＮのデータが得られることになる。
本実施形態の撮像装置１のマイクロレンズアレイ３２Ｎを構成する各マイクロレンズ３２Ｎ−ｉの形状は、正方形状である。このことは、マイクロレンズアレイ３２Ｎが複数の正方形の格子に区分されたとして、当該正方形の格子に、真円を外接するように配置させ、当該真円のうち格子内の正方形部分をレンズ化したことと等価である。また、メインレンズ３１Ｎのアパーチャー形状も、マイクロレンズ３２Ｎ−ｉに合わせて、正方形状である。
このため、マイクロレンズ３２Ｎ−ｉと、それに隣接するマイクロレンズ３２Ｎ−ｊとは線接触することになるため、マイクロレンズ間隙間がほぼなくなる。このような構成の光学系を有する本実施形態の撮像装置１により撮像されたライトフィールド画像ＬＦＮには、マイクロレンズアレイ３２に到達した光線の情報がほぼ欠損することなく漏れなく埋め込まれている。このようなライトフィールド画像ＬＦＮのデータを用いて再構成処理が実行されると、その結果得られる再構成画像（図５の再構成画像ＢＦ参照）では、周期的なノイズがほぼ生じなくなり、再構成により合焦した像以外は、ボケた像（本来このようになるべき理想的な像）になる。
【００４１】
以上説明したように、本実施形態に係る撮像装置１の撮像部１６は、正方形のアパーチャー形状を有するメインレンズ３１と、正方形状のＮ個のマイクロレンズ３２−１乃至３２−Ｎからなるマイクロレンズアレイ３２と、撮像素子３３と、を含む光学系を備える。
このような構成の撮像装置１により撮像されたライトフィールド画像のデータから、再構成画像のデータが生成されると、従来生じていた周期的なノイズが抑制される。
【００４２】
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００４３】
例えば、上述の実施形態では、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を正方形状とし、（２）メインレンズ３１のアパーチャー形状も、マイクロレンズ３２−ｉの形状に合わせて、正方形状である構成の光学系として説明したが、光学系の構成これに限定されない。即ち、マイクロレンズ間隙間の面積を、真円のマイクロレンズ３２−ｉ等を用いている従来の場合と比較して小さくすることができるような、光学系の構成であれば足りる。
具体的には、マイクロレンズアレイ３２においては、マイクロレンズ３２−ｉの各々のエッジが、他のマイクロレンズ３２−ｊのエッジと線接触するように、規則的に連続して繰り返して配置されており、メインレンズ３１のアパーチャー形状が、マイクロレンズ３２−ｉの形状と略同一の形状を有しているような光学系であれば、本発明に係る撮像装置に適用できる。
即ち、マイクロレンズ３２−ｉの形状は、正方形状である必要は特になく、例えば、六角形等の多角形状であってもよい。
ただし、サブイメージ間に隙間が生じたり重なったりしてしまうライトフィールド画像のデータが得られると、当該ライトフィールド画像のデータから生成された再構成画像のデータにおいては、周期的なノイズが生じてしまうおそれがある。
そこで、このようなおそれを回避するためには、複数のマイクロレンズ３２−ｉの各エッジ（正方形等の多角形ならば各辺）と焦点距離の比とを略同一にすることが望ましい。このことは、マイクロレンズ３２−ｉ形状が真円状の場合においてメインレンズ３１とマイクロレンズ３２−ｉのＦナンバーを合わせること、即ち、焦点距離と有効口径との比を合わせることと等価な効果を奏することを意味するからである。
【００４４】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、
前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、
前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、
前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一である
ことを特徴とする撮像装置。
［付記２］
前記メインレンズのアパーチャー形状と前記マイクロレンズの形状とは、略正方形状である、
ことを特徴とする、付記１記載の撮像装置。
【符号の説明】
【００４６】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３３・・・撮像素子
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成された画像に生ずるノイズを低減させることが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
【０００３】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００４】
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【０００５】
具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているならば、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値を積分する。この積分値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像における、注目点に対応する画素が再構成される。
プレノプティックカメラは、再構成画像を構成する各画素（任意の距離にある面の各点に対応する各画素）のそれぞれを注目点に順次設定して、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を再構成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のプレノプティックカメラにより再構成画像のデータが生成されると、空間方向に周期的なノイズが生ずる場合がある。
このため、当該ノイズを低減する手法が求められている状況である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一態様の撮像装置は、メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一であることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、プレノプティックカメラにより撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【図３】図１の撮像装置が実行する再構成処理の流れを説明するフローチャートである。
【図４】従来の撮像装置の光学系の構成を示す模式図である。
【図５】本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像と、従来の手法を適用した場合により得られる再構成画像とを比較する図である。
【図６】本発明に係るマイクロレンズ間隙間縮小手法を適用した、本実施形態に係る撮像装置と、従来の撮像装置との光学係の構成を比較した図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
【００１４】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１６】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１７】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１８】
撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。
【００１９】
入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２１】
図２は、このような構成を有する撮像装置１のうち、光学系の構成例を示す模式図である。
【００２２】
撮像装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００２３】
メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。
【００２４】
マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００２５】
ここで、撮像装置１が、物体面ｏｂを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置１は、メインレンズ３１の前方の任意の距離にある面の像（当該任意の距離に被写体があると仮定したときにおける、メインレンズ３１により結像されるであろう面）の１点を注目点に設定すると、当該注目点からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して撮像素子３３内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、「再構成面」と呼ぶ。
そして、撮像装置１は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置１は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
なお、このようにして撮像装置１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼ぶ。
【００２６】
図３は、図１の撮像装置１が実行する再構成処理の流れを説明するフローチャートである。
なお、撮像装置１は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部１９等に記憶しているものとする。
【００２７】
ステップＳ１１において、撮像装置１のＣＰＵ１１は、ライトフィールド画像のデータを記憶部１９等から取得する。
ステップＳ１２において、ＣＰＵ１１は、メインレンズ３１の前方の所定距離の位置にある面の像を、再構成面として設定する。
【００２８】
ステップＳ１３において、ＣＰＵ１１は、再構成面の１点を、再構成注目画素に設定する。
ステップＳ１４において、ＣＰＵ１１は、再構成注目画素についての分配画素範囲を算出する。分配画素範囲とは、再構成注目画素からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して分配される、撮像素子３３内の画素の範囲、即ちライトフィールド画像内の画素の範囲である。
ステップＳ１５において、ＣＰＵ１１は、分配画素範囲内の各画素の画素値を積分する。
ステップＳ１６において、ＣＰＵ１１は、ステップＳ１５の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。
【００２９】
ステップＳ１７において、ＣＰＵ１１は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１３に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ１３乃至Ｓ１７のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、ＣＰＵ１１は、再構成画像を出力部１８から表示出力する。
これにより、再構成処理は終了となる。
【００３０】
しかしながら、このようなステップＳ１３乃至Ｓ１７のループ処理による再構成画像の各画素の推定演算（以下、「再構成の演算」と呼ぶ）では、特許文献１等の従来の技術では、真円形状のメインレンズ３１及び真円形状のマイクロレンズ３２−ｉを光学系に有する撮像装置によって得られたライトフィールド画像のデータが用いられていた。
このため、空間周波数の高い物体領域が再構成面に実在しないと、再構成画像の領域のうち、理想的には通常の撮像装置により撮像された場合と同様に自然なボケとなるべき領域において、周期的なノイズが生ずる場合がある。
【００３１】
図４は、周期的なノイズが生ずる要因を説明するための、従来の撮像装置の光学系の構成を示す模式図である。
なお、図４においては、ライトフィールド画像が撮像されたときの物体面ｏｂ（撮像時に合焦していた物体面ｏｂ）の位置が、図２の場合と異なっているため、メインレンズ結像面Ｍａの位置も、図２の場合と異なり、撮像素子３３の後方になっている。
ライトフィールド画像が撮像されるときには、図４の下方の図に示すように、物体面ｏｂの点光源ｐｓからの光線は、メインレンズ３１を介してマイクロレンズアレイ３２に入射されてくる。このようなマイクロレンズアレイ３２に入射された光線のうち、マイクロレンズ３２−ｉが未配置の領域（以下、「マイクロレンズ間隙間」と呼ぶ）に到達した光線は、当該マイクロレンズアレイ３２を透過することができない。従って、マイクロレンズ間隙間に到達した光線は、撮像素子３３に到達せず、その結果当然ながら撮像素子３３で集光されない（光量として積分されない）。
ここで、図４には図示しないが、再構成処理の実行に際し、仮にメインレンズ結像面Ｍａと同一位置に再構成面が設定された場合（図３のステップＳ１２参照）、物体面ｏｂの点光源ｐｓからの光線は再構成面の１点に集中する。このため、マイクロレンズ間隙間に到達した光線の情報（撮像素子３３で集光されないため、撮像素子３３において欠損する情報）は、マイクロレンズ３２−ｉに到達した光線の情報（撮像素子３３で集光されるため、撮像素子３３において取得される情報）で補うことが可能である。このため、再構成画像には、周期的なノイズがほぼ生じない。
しかしながら、再構成処理は、上述したように、ライトフィールド画像の撮像時に合焦していた物体面ｏｂとは異なった面で合焦していた画像と等価な再構成画像のデータを得るために、実行される。この場合、「ライトフィールド画像の撮像時に合焦していた物体面ｏｂとは異なった面で合焦していた」様子を推定するためには、図４の下方の図に示すように、再構成面Ｒａは、メインレンズ結像面Ｍａと異なる位置に設定されることになる。このため、マイクロレンズ間隙間に到達した光線は、撮像素子３３で集光されていない（光量として積分されていない）ことから、その情報を再構成処理で用いることはできず、その結果、再構成画像において周期的なノイズが生じてしまうことになる。
【００３２】
以上説明したように、再構成画像において周期的なノイズが生じてしまう要因は、マイクロレンズ間隙間が存在するからである。
そこで、本発明人らは、当該ノイズを低減すべく、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を、真円形状以外の形状、例えば正方形状にすること、及び、（２）メインレンズ３１のアパーチャー形状をマイクロレンズ３２−ｉの形状に合わせること、例えば正方形状にすることで、マイクロレンズ間隙間を従来よりも縮小する手法を発明した。以下、かかる手法を、「マイクロレンズ間隙間縮小手法」と呼ぶ。
【００３３】
図５は、このような本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像と、従来の手法を適用した場合により得られる再構成画像とを比較する図である。
ここで、従来の手法とは、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を、真円形状にすること、及び、（２）メインレンズ３１のアパーチャー形状をマイクロレンズ３２−ｉの形状に合わせて、真円形状にすることをいう。
【００３４】
図５の左上方には、撮像により得られたライトフィールド画像ＸＥが示されている。
なお、説明の簡略上、１枚のライトフィールド画像ＸＥしか図示していないが、実際には、サブイメージの形状が相異なる別々のライトフィールド画像のデータが得られることになる。即ち、従来の手法で得られるライトフィールド画像のサブイメージの形状は、図示はしないが、従来のマイクロレンズ３２−ｉの形状である真円形状になる。これに対して、本発明に係るマイクロレンズ間隙間手法を適用した場合に得られるライトフィールド画像の形状は、図示はしないが、真円形状以外の形状、例えば正方形状になる。
【００３５】
ライトフィールド画像ＸＥは、メインレンズ３１の前方から近い順に、「Ａ」と表示されたカード、「Ｂ」と表示されたカード、及び「Ｃ」と表示されたカードが一定距離ずつ離間してそれぞれ配置された様子が撮像されたものである。図５に示すように、当該ライトフィールド画像ＸＥの撮像時点では、「Ｂ」と表示されたカードにほぼ合焦していることがわかる。
このため、本例では、「Ｃ」と表示されたカードに合焦したような再構成画像が得られるように、再構成処理が実行されている。
【００３６】
図５の右上方には、従来の技術を適用した場合に得られる再構成画像ＡＦが示されている。
再構成画像ＡＦには、領域ＮＡ等において、空間方向に周期的なノイズが生じていることがわかる。
【００３７】
これに対して、図５の右下方には、本発明に係るマイクロレンズ間隙間手法を適用した場合に得られる再構成画像ＢＦが示されている。
再構成画像ＢＦには、空間方向の周期的なノイズはほぼ生じておらず、「Ｃ」と表示されたカードに合焦し、それ以外の「Ａ」や「Ｂ」と表示されたカードの各像は、ボケた像（本来このようになるべき理想的な像）となっていることがわかる。
【００３８】
図６は、本発明に係るマイクロレンズ間隙間縮小手法を適用した、本実施形態に係る撮像装置１と、従来の撮像装置との光学係の構成を比較した図である。
【００３９】
図６において、メインレンズ３１Ｏ及びマイクロレンズアレイ３２Ｏを有する光学系は、従来の撮像装置のものである。このような従来の撮像装置が、物体面ｏｂの点光源ｐｓからの光線（同図は白黒画像に変換したものであるため濃い灰色の点のようになっている）を撮像すると、その結果として、ライトフィールド画像ＬＦＯのデータが得られることになる。
従来の撮像装置のマイクロレンズアレイ３２Ｏを構成する各マイクロレンズ３２Ｏ−ｉの形状は、真円状である。このことは、マイクロレンズアレイ３２Ｏが複数の正方形の格子に区分されたとして、当該正方形の格子に、真円状のマイクロレンズ３２Ｏ−ｉを内接するように配置させたことと等価である。また、メインレンズ３１Ｏのアパーチャー形状も、マイクロレンズ３２Ｏ−ｉに合わせて、真円状である。
このため、マイクロレンズ３２Ｏ−ｉと、それに隣接するマイクロレンズ３２Ｏ−ｊとは点接触することになるため、マイクロレンズ間隙間の面積が大きくなる。このような構成の光学系を有する従来の撮像装置により撮像されたライトフィールド画像ＬＦＯでは、マイクロレンズ間隙間に到達した光線の情報が欠損した領域（サブイメージ間の隙間の図中黒い領域）が生じてしまう。このようなライトフィールド画像ＬＦＯのデータを用いて再構成処理が実行されると、その結果得られる再構成画像（図５の再構成画像ＡＦ参照）では、周期的なノイズが生じてしまう。
【００４０】
これに対して、図６において、メインレンズ３１Ｎ及びマイクロレンズアレイ３２Ｎを有する光学系は、本実施形態の撮像装置１のものである。このような本実施形態の撮像装置１が、物体面ｏｂの点光源ｐｓからの光線（同図中、説明の簡略上、白黒逆転させて黒い点としている）を撮像すると、その結果として、ライトフィールド画像ＬＦＮのデータが得られることになる。
本実施形態の撮像装置１のマイクロレンズアレイ３２Ｎを構成する各マイクロレンズ３２Ｎ−ｉの形状は、正方形状である。このことは、マイクロレンズアレイ３２Ｎが複数の正方形の格子に区分されたとして、当該正方形の格子に、真円を外接するように配置させ、当該真円のうち格子内の正方形部分をレンズ化したことと等価である。また、メインレンズ３１Ｎのアパーチャー形状も、マイクロレンズ３２Ｎ−ｉに合わせて、正方形状である。
このため、マイクロレンズ３２Ｎ−ｉと、それに隣接するマイクロレンズ３２Ｎ−ｊとは線接触することになるため、マイクロレンズ間隙間がほぼなくなる。このような構成の光学系を有する本実施形態の撮像装置１により撮像されたライトフィールド画像ＬＦＮには、マイクロレンズアレイ３２に到達した光線の情報がほぼ欠損することなく漏れなく埋め込まれている。このようなライトフィールド画像ＬＦＮのデータを用いて再構成処理が実行されると、その結果得られる再構成画像（図５の再構成画像ＢＦ参照）では、周期的なノイズがほぼ生じなくなり、再構成により合焦した像以外は、ボケた像（本来このようになるべき理想的な像）になる。
【００４１】
以上説明したように、本実施形態に係る撮像装置１の撮像部１６は、正方形のアパーチャー形状を有するメインレンズ３１と、正方形状のＮ個のマイクロレンズ３２−１乃至３２−Ｎからなるマイクロレンズアレイ３２と、撮像素子３３と、を含む光学系を備える。
このような構成の撮像装置１により撮像されたライトフィールド画像のデータから、再構成画像のデータが生成されると、従来生じていた周期的なノイズが抑制される。
【００４２】
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００４３】
例えば、上述の実施形態では、（１）マイクロレンズアレイ３２を構成するマイクロレンズ３２−ｉの個々の形状を正方形状とし、（２）メインレンズ３１のアパーチャー形状も、マイクロレンズ３２−ｉの形状に合わせて、正方形状である構成の光学系として説明したが、光学系の構成これに限定されない。即ち、マイクロレンズ間隙間の面積を、真円のマイクロレンズ３２−ｉ等を用いている従来の場合と比較して小さくすることができるような、光学系の構成であれば足りる。
具体的には、マイクロレンズアレイ３２においては、マイクロレンズ３２−ｉの各々のエッジが、他のマイクロレンズ３２−ｊのエッジと線接触するように、規則的に連続して繰り返して配置されており、メインレンズ３１のアパーチャー形状が、マイクロレンズ３２−ｉの形状と略同一の形状を有しているような光学系であれば、本発明に係る撮像装置に適用できる。
即ち、マイクロレンズ３２−ｉの形状は、正方形状である必要は特になく、例えば、六角形等の多角形状であってもよい。
ただし、サブイメージ間に隙間が生じたり重なったりしてしまうライトフィールド画像のデータが得られると、当該ライトフィールド画像のデータから生成された再構成画像のデータにおいては、周期的なノイズが生じてしまうおそれがある。
そこで、このようなおそれを回避するためには、複数のマイクロレンズ３２−ｉの各エッジ（正方形等の多角形ならば各辺）と焦点距離の比とを略同一にすることが望ましい。このことは、マイクロレンズ３２−ｉ形状が真円状の場合においてメインレンズ３１とマイクロレンズ３２−ｉのＦナンバーを合わせること、即ち、焦点距離と有効口径との比を合わせることと等価な効果を奏することを意味するからである。
【００４４】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、
前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、
前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、
前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一である
ことを特徴とする撮像装置。
［付記２］
前記メインレンズのアパーチャー形状と前記マイクロレンズの形状とは、略正方形状である、
ことを特徴とする、付記１記載の撮像装置。
【符号の説明】
【００４６】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３３・・・撮像素子
【特許請求の範囲】
【請求項１】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、
前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、
前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、
前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一である
ことを特徴とする撮像装置。
【請求項２】
前記メインレンズのアパーチャー形状と前記マイクロレンズの形状とは、略正方形状である、
ことを特徴とする、請求項１記載の撮像装置。
【請求項１】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置であって、
前記マイクロレンズアレイにおいては、前記マイクロレンズの各々のエッジが、他のマイクロレンズのエッジと線接触するように、規則的に連続して繰り返して配置されており、
前記メインレンズのアパーチャー形状は、前記マイクロレンズの形状と略同一の形状を有しており、
前記複数のマイクロレンズの各エッジと焦点距離の比とが略同一である
ことを特徴とする撮像装置。
【請求項２】
前記メインレンズのアパーチャー形状と前記マイクロレンズの形状とは、略正方形状である、
ことを特徴とする、請求項１記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２０５１１１（Ｐ２０１２−２０５１１１Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８３６９（Ｐ２０１１−６８３６９）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]