撮像装置の製造装置及び製造方法、並びに撮像装置
【課題】個体差によらず再構成画像のデータを適切に生成可能となるように、プレノプティックカメラと呼ばれる撮像装置を製造する。
【解決手段】画像取得部４１は、平行光又は均等拡散光を照射している光源が撮像装置２により撮像された結果得られる、ライトフィールド画像のデータを取得する。誤差算出部４３は、画像取得部４１により取得されたライトフィールド画像のデータ、及び、理想パラメータ取得部４２により取得された理想パラメータを用いて、撮像装置２の製造時に生ずる、マイクロレンズアレイの位置及び平行度の各誤差や、複数のマイクロレンズの個々のピッチの誤差を算出する。誤差情報出力部４４は、誤差算出部４３により算出された誤差を示す情報等を、誤差情報として撮像装置２に出力する。
【解決手段】画像取得部４１は、平行光又は均等拡散光を照射している光源が撮像装置２により撮像された結果得られる、ライトフィールド画像のデータを取得する。誤差算出部４３は、画像取得部４１により取得されたライトフィールド画像のデータ、及び、理想パラメータ取得部４２により取得された理想パラメータを用いて、撮像装置２の製造時に生ずる、マイクロレンズアレイの位置及び平行度の各誤差や、複数のマイクロレンズの個々のピッチの誤差を算出する。誤差情報出力部４４は、誤差算出部４３により算出された誤差を示す情報等を、誤差情報として撮像装置２に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレノプティックカメラと呼ばれる撮像装置の製造装置及び製造方法並びに撮像装置に関し、特に、個体差によらず再構成画像のデータを適切に生成可能な撮像装置を製造する技術に関する。
【背景技術】
【０００２】
近年、入射光線の方向分布(direction distribution)についての情報を取り込む撮像装置、即ち「プレノプティック（plenoptic）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
【０００３】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００４】
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【０００５】
具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているならば、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値を積分する。この積分値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像における、注目点に対応する画素が再構成される。
プレノプティックカメラは、再構成画像を構成する各画素（任意の距離にある面の各点に対応する各画素）のそれぞれを注目点に順次設定して、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を再構成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載のプレノプティックカメラが量産された場合を考えると、メインレンズ、マイクロレンズアレイ、及び撮像素子を組み込む際に、製造誤差や組立誤差が発生することが想定される。
この場合、出荷後の複数のプレノプティックカメラの各々が被写体を撮像した場合を考えると、実際の撮像時に注目点からの光が分配された各画素の位置については、製造誤差や組立誤差により個体毎にズレが生ずる。一方で、注目点の画素を再構成するために画素値が積分される対象の各画素の位置としては、製造誤差や組立誤差が一切発生しない場合の理想的な各画素の位置が、個体差によらず一律に採用される。
即ち、複数のプレノプティックカメラのそれぞれにおいて、実際の撮像時に注目点からの光が分配された各画素の位置と、注目点の画素を再構成するために画素値が積分される対象の各画素の位置との間には、個体毎に異なったズレが生ずることになる。
このようなズレが生じると、正しい再構成画像のデータの生成が困難になる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、個体差によらず再構成画像のデータを適切に生成可能となるように、プレノプティックカメラと呼ばれる撮像装置を製造することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一態様の撮像装置の製造装置は、
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、個体差によらず再構成画像のデータを適切に生成可能となるように、プレノプティックカメラと呼ばれる撮像装置を製造することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置の製造装置の構成例を示す模式図である。
【図２】図１の撮像装置の製造装置がキャリブレーション処理を実行する場合における、光源と撮像装置の光学系の位置関係を示す図である。
【図３】図１の撮像装置の製造装置のうち制御装置の機能的構成例であって、キャリブレーション処理を行う機能を実現する機能的構成例を示す機能ブロック図である。
【図４】図１の撮像装置の製造装置が実行するキャリブレーション処理の流れの一例を説明するフローチャートである。
【図５】キャリブレーション処理で求められる、マイクロレンズアレイのxy方向の誤差の算出手法の一例を説明する図である。
【図６】キャリブレーション処理で求められる、マイクロレンズアレイのz方向の誤差の算出手法の一例を説明する図である。
【図７】キャリブレーション処理で求められる、各マイクロレンズのピッチ誤差の算出手法の一例を説明する図である。
【図８】キャリブレーション処理で求められる、マイクロレンズアレイと撮像素子の平行度誤差の算出手法の一例を説明する図である。
【図９】図３の制御装置のハードウェアの構成例を示すブロック図である。
【図１０】図１の撮像装置の製造装置により製造された、本発明に係る撮像装置のハードウェアの構成を示すブロック図である。
【図１１】図１０の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【図１２】図１０の撮像装置が実行する再構成処理の流れの一例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を用いて説明する。
【００１３】
図１は、本発明の撮像装置の製造装置の一実施形態に係るカメラ製造装置の構成例を示す模式図である。
【００１４】
カメラ製造装置１は、撮像装置２の製造ラインのうち、組み立て後の撮像装置２の内蔵メモリに対して初期データ等を記録するラインに設置される。カメラ製造装置１は、後述するキャリブレーション処理を実行するために、光源１１と、制御装置１２と、を備えている。
撮像装置２は、このようなカメラ製造装置１により、プレノプティックカメラとして製造される。
【００１５】
図２は、カメラ製造装置１がキャリブレーション処理を実行する場合における、光源１１と撮像装置２の光学系の位置関係を示す図である。
【００１６】
光源１１は、撮像装置２に対して平行光を照射する平行光照射装置、及び、撮像装置２に対して均等拡散光を照射する均等拡散光照射装置から構成される。
【００１７】
撮像装置２の光学系には、光源１１からみて（被写体からみて）、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、がその順番で配置されている。
マイクロレンズアレイ２２においては、Ｎ個のマイクロレンズ２２−１乃至２２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００１８】
メインレンズ２１は、光源１１から射出された光束を集光して、マイクロレンズアレイ２２の上に結像させる。
【００１９】
マイクロレンズアレイ２２内のマイクロレンズ２２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、光源１１からメインレンズ２１を介して入射されてくる光束を入射方向毎に集光して、撮像素子２３の上にサブイメージを結像させる。
即ち、撮像素子２３においては、複数のマイクロレンズ２２−１乃至２２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００２０】
撮像素子２３は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。撮像素子２３には、メインレンズ２１からマイクロレンズアレイ２２を介して被写体像（図２の例では、光源１１の像）が入射される。そこで、撮像素子２３は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号として図示せぬAFE（Analog Front End）に順次供給する。
ＡＦＥは、このアナログの画像信号に対して、A/D（Analog／Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、ライトフィールド画像のデータとしてＡＦＥから図示せぬCPU（Central Processing Unit）に適宜提供される。
【００２１】
ここで、撮像装置２が、一般的な被写体（図２の光源１１以外）を撮像した場合に得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置２は、上述したように、任意の距離にある面の１点を注目点に設定すると、当該注目点からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを算出する。
そして、撮像装置２は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置２は、このような推定演算を再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
【００２２】
しかしながら、このような再構成画像の各画素の推定演算（以下、「再構成の演算」と呼ぶ）においては、注目点からの光が、メインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかが正確に求められなければ、再構成画像にはノイズが現れてしまう。即ち、正しい再構成画像のデータの生成が困難になる。
【００２３】
ここで、注目点からの光が、メインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを求めるためには、次のパラメータ（Ａ）乃至（Ｊ）が必要になる。
（Ａ）メインレンズ２１の焦点距離
（Ｂ）メインレンズ２１の有効径
（Ｃ）各マイクロレンズ２２−iの焦点距離
（Ｄ）各マイクロレンズ２２−iの有効径
（Ｅ）撮像素子２３の画素サイズ
（Ｆ）各マイクロレンズ２２−iのピッチ
（Ｇ）メインレンズ２１とマイクロレンズアレイ２２の位置関係
（Ｈ）マイクロレンズアレイ２２と撮像素子２３の位置関係
（Ｉ）メインレンズ２１とマイクロレンズアレイ２２の平行度
（Ｊ）マイクロレンズアレイ２２と撮像素子２３の平行度
【００２４】
即ち、これらのパラメータ（Ａ）乃至（Ｊ）が正確に求められないと、再構成の演算が正確に実行できず、その結果、正しい再構成画像のデータの生成が困難になる。
それゆえ、正しい再構成画像のデータの生成のためには、パラメータ（Ａ）乃至（Ｊ）を正確に求める必要があり、そのためには、メインレンズ２１、マイクロレンズアレイ２２、及び撮像素子２３の正確な位置合わせをすることが理想である。ところが、撮像装置２の製造時には、ある程度の製造誤差や取付誤差が生じてしまうが、これらの誤差を完全に無くすような位置合わせは非常に困難である。
そこで、本実施形態のカメラ製造装置１は、これらの誤差を求める処理（以下、「キャリブレーション処理」と呼ぶ）を実行し、その誤差等の情報を撮像装置２に初期データとして記録させる。
撮像装置２は、出荷後に再構成の演算をする際に、この初期データを用いて適切に補正することで、上述のパラメータ（Ａ）乃至（Ｊ）の値をほぼ正確に求めることができ、その結果、正確な再構成画像のデータを生成することができる。
【００２５】
さらに以下、本実施形態のカメラ製造装置１が実行するキャリブレーション処理について、さらに詳しく説明する。
【００２６】
上述のパラメータ（Ａ）乃至（Ｊ）のうち、製造時に誤差が生じる可能性の高いものは、パラメータ（Ｆ）乃至（Ｊ）ある。
ここで、撮像装置２の光学系において、メインレンズ２１の光軸と平行な方向をz軸と、当該光軸と垂直な方向のうち撮像素子２３の上方向の軸をｘ軸と、当該光軸と垂直な方向のうち撮像素子２３の右方向の軸をｙ軸と、それぞれ定義するものとする。
このような定義の下、パラメータ（Ｆ）乃至（Ｊ）のうち、パラメータ（Ｇ）におけるz方向の誤差は、メインレンズ２１とマイクロレンズアレイ２２の間の距離に比較し無視できるほど小さいものであるとする。
また、パラメータ（Ｉ）及び（Ｊ）に関しては、メインレンズ２１と撮像素子２３とは平行に取り付けられてあると仮定して、パラメータ（Ｊ）のみに注目するものとする。
また、パラメータ（Ｈ）については、メインレンズ２１の光軸に対して垂直なxy方向と、当該光軸に対して平行なz方向とに分けて考えるものとする。
【００２７】
以上より、本実施形態のキャリブレーション処理では、次の誤差（ａ）乃至（ｄ）が算出されるものとする。
（ａ）マイクロレンズアレイ２２のxy方向の誤差
（ｂ）マイクロレンズアレイ２２のｚ方向の誤差
（ｃ）各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）
（ｄ）マイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）
【００２８】
図３は、このような誤差（ａ）乃至（ｄ）を算出するキャリブレーション処理の実行機能を発揮するための、図１の制御装置１２の機能的構成例を示す機能ブロック図である。
【００２９】
制御装置１２は、操作部３１と、通信部３２と、キャリブレーション部３３と、を備えている。
【００３０】
操作部３１は、各種釦等で構成され、オペレータの指示操作を受け付ける。
通信部３２は、撮像装置２との間で行う通信を制御する。通信部３２はまた、インターネット等を介して図示せぬ他の装置との間で行う通信を制御する。
キャリブレーション部３３は、画像取得部４１と、理想パラメータ取得部４２と、誤差算出部４３と、誤差情報出力部４４と、を備えている。
【００３１】
画像取得部４１は、通信部３２を介して、平行光又は均等拡散光を照射している光源１１を撮像装置２に撮像させる制御を実行し、その制御の結果得られるライトフィールド画像のデータを、キャリブレーション画像のデータとして撮像装置２から取得する。
【００３２】
理想パラメータ取得部４２は、平行光又は均等拡散光を照射している光源１１が理想的な撮像装置（撮像装置２とは別に用意される）により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、理想的な撮像装置の光学系の各値（設計値でもよい）から求められるパラメータを、理想パラメータとして取得する。
理想的な撮像装置の光学系の各値としては、上述のパラメータ（Ａ）乃至（Ｊ）の理想的な値、又はこれらの理想的な値を用いた所定の演算により算出可能な各種の値を採用することができる。
なお、理想パラメータの具体例については、図５乃至図８等を参照して後述する。
【００３３】
誤差算出部４３は、画像取得部４１により取得されたキャリブレーション画像のデータと、理想パラメータ取得部４２により取得された理想パラメータとに基づいて、上述の誤差（ａ）乃至（ｄ）を算出する。
なお、誤差（ａ）乃至（ｄ）の具体的な算出手法については、図５乃至図８等を参照して後述する。
【００３４】
誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差（ａ）乃至（ｄ）の少なくとも一部を用いて生成される情報を、誤差情報として、通信部３２を介して撮像装置２に出力する。
撮像装置２は、当該誤差情報を内部メモリに記憶し、再構成の演算時に補正情報として適宜用いる。
【００３５】
次に、このような図３の制御装置１２を含むカメラ製造装置１が実行する処理のうち、キャリブレーション処理の流れについて説明する。
図４は、図１の撮像装置の製造装置が実行するキャリブレーション処理の流れの一例を説明するフローチャートである。
【００３６】
キャリブレーション処理は、例えば、カメラ製造装置１を構成する光源１１及び制御装置１２の各電源が投入され、組み立てられた撮像装置２が、光源１１に対して所定の位置に配置され、かつ、制御装置１２と通信可能な状態になると、開始される。
【００３７】
ステップＳ１において、カメラ製造装置１は、準備処理を実行する。
具体的には、カメラ製造装置１は、準備処理の１つとして、光源１１として平行光照射装置を選択し、当該平行光照射装置の光軸を、撮像装置２のメインレンズ２１の光軸と一致させる。
なお、本実施形態では、カメラ製造装置１には、光源１１と撮像装置２のうち少なくとも一方を移動させる移動機構（図示せず）が設けられている。当該移動機構が、光源１１と撮像装置２のうち少なくとも一方を移動させることにより、光源１１とメインレンズ２１との各光軸の一致が実現される。ただし、カメラ製造装置１のオペレータが、光源１１と撮像装置２のうち少なくとも一方を手動で移動させることで、光源１１とメインレンズ２１との各光軸を一致させるようにしてもよい。
また、カメラ製造装置１は、準備処理の１つとして、光源１１としての平行光照射装置から平行光を撮像装置２に対して照射させる。
【００３８】
ステップＳ２において、制御装置１２の画像取得部４１は、平行光の光源１１についてのライトフィールド画像のデータを取得する。
即ち、画像取得部４１は、通信部３２を介して、平行光を照射している光源１１を撮像装置２に撮像させ、その結果得られるライトフィールド画像のデータをキャリブレーション画像のデータとして撮像装置２から取得する。
【００３９】
ステップＳ３において、制御装置１２の誤差算出部４３は、誤差（ａ）、即ちマイクロレンズアレイ２２のxy方向の誤差を算出する。
具体的には、誤差算出部４３は、ステップＳ２の処理でデータとして取得されたキャリブレーション画像のサブイメージの中心についての、理想的なライトフィールド画像の中心に対する誤差を、誤差（ａ）として算出する。
なお、誤差（ａ）の算出処理のさらなる詳細については、図５を参照して後述する。
【００４０】
ステップＳ４において、制御装置１２の誤差算出部４３は、誤差（ｂ）、即ちマイクロレンズアレイ２２のｚ方向の誤差を算出する。
具体的には、誤差算出部４３は、ステップＳ２の処理でデータとして取得されたキャリブレーション画像内のサブイメージの直径を算出する。次に、誤差算出部４３は、その直径に基づいて、マイクロレンズアレイ２２と撮像素子２３との間の距離の、マイクロレンズ２２−ｉの焦点距離に対するズレを、誤差（ｂ）として算出する。
なお、誤差（ｂ）の算出処理のさらなる詳細については、図６を参照して後述する。
【００４１】
ステップＳ５において、カメラ製造装置１は、光源１１として均等拡散光照射装置に切り替えて、均等拡散光を撮像装置２に対して照射させる。
【００４２】
ステップＳ６において、制御装置１２の画像取得部４１は、均等拡散光の光源１１についてのライトフィールド画像のデータを取得する。
即ち、画像取得部４１は、通信部３２を介して、均等拡散光を照射している均等拡散光照射装置を撮像装置２に撮像させ、その結果得られるライトフィールド画像のデータをキャリブレーション画像のデータとして撮像装置２から取得する。
【００４３】
ステップＳ７において、制御装置１２の誤差算出部４３は、誤差（ｃ）、即ち各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）を算出する。
具体的には、誤差算出部４３は、ステップＳ６の処理でデータとして取得されたキャリブレーション画像内の各サブイメージの中心位置についての、理想的なライトフィールド画像内の各サブイメージの中心位置に対するズレを、誤差（ｃ）として求める。
即ち、誤差算出部４３は、キャリブレーション画像と理想的なライトフィールド画像との各々のサブイメージの中心位置を比較する。誤差算出部４３は、その比較の結果に基づいて、個々のマイクロレンズ２２−ｉの配置についての、理想的な配置に対するズレを、誤差（ｃ）として算出する。
なお、誤差（ｃ）の算出処理のさらなる詳細については、図７を参照して後述する。
【００４４】
ステップＳ８において、制御装置１２の誤差算出部４３は、誤差（ｄ）、即ちマイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）を算出する。
具体的には、誤差算出部４３は、各々のマイクロレンズ２２−ｉと撮像素子２３との間の距離の誤差を、誤差（ｄ）とみなして算出する。
即ち、誤差算出部４３は、ステップＳ６の処理でデータとして取得されたキャリブレーション画像内の各サブイメージの各直径を算出する。誤差算出部４３は、これらの各直径に基づいて、各マイクロレンズ２２−ｉと撮像素子２３との間の距離についての、マイクロレンズ２２−ｉの焦点距離からのズレを、誤差（ｄ）として算出する。
なお、誤差（ｄ）の算出処理のさらなる詳細については、図８を参照して後述する。
【００４５】
ステップＳ９において、制御装置１２の誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差（ａ）乃至（ｄ）の少なくとも一部を用いて生成された情報を、誤差情報として、通信部３２を介して撮像装置２に出力する。
【００４６】
これにより、キャリブレーション処理は終了となる。
なお、撮像装置２は、誤差情報を内部メモリに記憶し、再構成の演算時に適宜用いる。
【００４７】
次に、図５乃至図８を参照して、キャリブレーション処理で求められる誤差（ａ）乃至（ｄ）の各々についての、具体的な算出手法の各例を説明する。
【００４８】
図５は、キャリブレーション処理で求められる誤差（ａ）、即ちマイクロレンズアレイ２２のxy方向の誤差の算出手法の一例を説明する図である。
具体的には、図５（ａ）においては、その左方に、誤差（ａ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図５（ｂ）においては、その左方に、誤差（ａ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００４９】
上述したように、誤差（ａ）は、図４のキャリブレーション処理のうちステップＳ３の処理として実行される。
具体的には例えば、次のステップＳ３−１乃至Ｓ３−４に従って、誤差（ａ）が算出される。
【００５０】
即ち、ステップＳ３−１において、誤差算出部４３は、ステップＳ２の処理で取得されたライトフィールド画像（キャリブレーション画像）のデータを、２値化画像のデータに変換する。
２値化画像のデータとは、ライトフィールド画像のデータのうち、所定条件（例えば閾値以上）を満たす画素値については、画素値が「１」に変換され（白い画素に変換され）、それ以外の画素値（例えば閾値未満の画素値）については、画素値が「０」に変換された（黒い画素に変換された）ものをいう。
【００５１】
ステップＳ３−２において、誤差算出部４３は、２値化画像のデータを用いて、白領域（画素値が１の画素の領域）を、サブイメージ領域として抽出する。
【００５２】
ステップＳ３−３において、誤差算出部４３は、抽出したサブイメージ領域の重心を算出し、その重心を、キャリブレーション画像のサブイメージの中心位置(x,y)として設定する。
【００５３】
ステップＳ３−４において、誤差算出部４３は、キャリブレーション画像のサブイメージの中心位置(x,y)についての、理想的なライトフィールド画像の中心位置(xc,yc)に対する誤差を、誤差（ａ）として算出する。
即ち、誤差（ａ）を（ArrErrorX,ArrErrorY）と記載すれば、ステップＳ３−４の処理では、次の式（１）及び式（２）が演算される。
ArrErrorX = x − xc ・・・（１）
ArrErrorY = y − yc ・・・（２）
なお、理想的なライトフィールド画像は、図５（ａ）のように予め撮像されている。その結果、当該理想的なライトフィールド画像の中心位置(xc,yc)も事前に理想パラメータの１つとして登録されており、ステップＳ３−４の処理前に理想パラメータ取得部４２によって取得される。
【００５４】
図６は、キャリブレーション処理で求められる誤差（ｂ）、即ちマイクロレンズアレイ２２のz方向の誤差の算出手法の一例を説明する図である。
具体的には、図６（ａ）においては、その左方に、誤差（ｂ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図６（ｂ）においては、その左方に、誤差（ｂ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００５５】
上述したように、誤差（ｂ）は、図４のキャリブレーション処理のうちステップＳ４の処理として実行される。
具体的には例えば、次のステップＳ４−１乃至Ｓ４−３に従って、誤差（ｂ）が算出される。
【００５６】
即ち、ステップＳ４−１において、誤差算出部４３は、上述のステップＳ３−２の処理で抽出したサブイメージ領域と、上述のステップＳ３−３の処理で演算したキャリブレーション画像のサブイメージの中心位置(x,y)とを取得する。
【００５７】
ステップＳ４−２において、誤差算出部４３は、取得したサブイメージ領域及びキャリブレーション画像のサブイメージの中心位置(x,y)に基づいて、キャリブレーション画像のサブイメージの直径Dsub（図６（ｂ）参照）を算出する。
【００５８】
ステップＳ４−３において、誤差算出部４３は、次の式（３）から、誤差（ｂ）を求める。
Dsub = DML * (fμL + ArrErrorZ) / fML ・・・（３）
式（３）において、図６（ｂ）に示すように、DMLはメインレンズ２１の直径を、fμLはマイクロレンズ２２−ｉの焦点距離を、ArrErrorZは誤差（ｂ）、即ちマイクロレンズアレイ２２のｚ方向の誤差を、fMLはメインレンズ２１の焦点距離を、それぞれ示している。
なお、メインレンズ２１の直径DML、マイクロレンズ２２−ｉの焦点距離fμL、及びメインレンズ２１の焦点距離fMLの各々は、事前に理想パラメータの１つとして登録されており、ステップＳ４−３の処理前に理想パラメータ取得部４２によって取得される。
【００５９】
図７は、キャリブレーション処理で求められる誤差（ｃ）、即ち各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）の算出手法の一例を説明する図である。
具体的には、図７（ａ）においては、その左方に、誤差（ｃ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図７（ｂ）においては、その左方に、誤差（ｃ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００６０】
上述したように、誤差（ｃ）は、図４のキャリブレーション処理のうちステップＳ７の処理として実行される。
具体的には例えば、次のステップＳ７−１乃至Ｓ７−４に従って、誤差（ｃ）が算出される。
【００６１】
即ち、ステップＳ７−１において、誤差算出部４３は、ステップＳ６の処理で取得されたライトフィールド画像（キャリブレーション画像）のデータを、２値化画像のデータに変換する。
【００６２】
ステップＳ７−２において、誤差算出部４３は、２値化画像のデータを用いて、各白領域（画素値が１の画素の領域）を、各サブイメージ領域としてそれぞれ抽出する。
【００６３】
ステップＳ７−３において、誤差算出部４３は、抽出した各サブイメージ領域毎に、各々の重心を算出し、各重心の各々を、各サブイメージの中心位置(xi,yi)の各々として設定する。
【００６４】
ステップＳ７−４において、誤差算出部４３は、キャリブレーション画像の各サブイメージの中心位置(xi,yi)のそれぞれについての、理想的なライトフィールド画像の各サブイメージの中心位置（xbasei、ybasei）に対する誤差を、誤差（ｃ）として算出する。
即ち、誤差（ｃ）を（LensErrorXi,LensErrorYi）と記載すれば、ステップＳ７−４の処理では、次の式（４）及び式（５）が演算される。
LensErrorXi = xi − xbasei ・・・（４）
LensErrorYi = yi − ybasei ・・・（５）
なお、理想的なライトフィールド画像は図７（ａ）のように予め撮像されている。その結果、当該理想的なライトフィールド画像の各サブイメージの中心位置（xbasei、ybasei）のそれぞれも事前に理想パラメータの１つとして登録されており、ステップＳ７−４の処理前に理想パラメータ取得部４２によって取得される。
【００６５】
図８は、キャリブレーション処理で求められる誤差（ｄ）、即ちマイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）の算出手法の一例を説明する図である。
具体的には、図８（ａ）においては、その左方に、誤差（ｄ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図８（ｂ）においては、その左方に、誤差（ｄ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００６６】
上述したように、誤差（ｄ）は、図４のキャリブレーション処理のうちステップＳ８の処理として実行される。
具体的には例えば、次のステップＳ８−１乃至Ｓ８−３に従って、誤差（ｄ）が算出される。
【００６７】
即ち、ステップＳ８−１において、誤差算出部４３は、上述のステップＳ７−２の処理で抽出した各サブイメージの領域と、上述のステップＳ７−３の処理で演算した各サブイメージの中心位置(xi,yi)とを取得する。
【００６８】
ステップＳ８−２において、誤差算出部４３は、サブイメージ領域及びそれに対応するサブイメージの中心位置(xi,yi)の組毎に、キャリブレーション画像についての、対応するサブイメージの直径Dsubi（図８（ｂ）参照）をそれぞれ算出する。
【００６９】
ステップＳ８−３において、誤差算出部４３は、次の式（６）から、各サブイメージ毎に誤差（ｄ）を求める。
Dsubi = DML * (fμL + zi) / fML ・・・（６）
式（６）において、図８（ｂ）に示すように、DMLはメインレンズ２１の直径を、fμLはマイクロレンズ２２−ｉの焦点距離を、ziは各マイクロレンズ２２−ｉ毎の誤差（ｄ）、即ち各マイクロレンズ２２−ｉのz方向誤差を、fMLはメインレンズ２１の焦点距離を、それぞれ示している。
なお、上述したように、メインレンズ２１の直径DML、マイクロレンズ２２−ｉの焦点距離fμL、及びメインレンズ２１の焦点距離fMLの各々は、事前に理想パラメータの１つとして登録されており、ステップＳ８−３の処理前に理想パラメータ取得部４２によって取得される。
【００７０】
以上説明したように、本実施形態に係るカメラ製造装置１は、メインレンズ２１、複数のマイクロレンズ２２−ｉからなるマイクロレンズアレイ２２、及び撮像素子２３を光学系に備える撮像装置２を製造する。
カメラ製造装置１は、平行光又は均等拡散光を撮像装置２に照射する光源１１と、制御装置１２と、を備える。制御装置１２は、画像取得部４１と、理想パラメータ取得部４２と、誤差算出部４３と、誤差情報出力部４４と、を備える。
画像取得部４１は、平行光又は均等拡散光を照射している光源１１が撮像装置２により撮像された結果得られる、複数のマイクロレンズ２２−ｉの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを、キャリブレーション画像のデータとして取得する。
理想パラメータ取得部４２は、平行光又は均等拡散光を照射している光源１１が理想的な撮像装置（製造対象の撮像装置２とは別に用意される）により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、理想的な撮像装置の光学系の設計値から求められるパラメータを、理想パラメータとして取得する。
誤差算出部４３は、画像取得部４１により取得されたキャリブレーション画像のデータ、及び、理想パラメータ取得部４２により取得された理想パラメータを用いて、撮像装置２の製造時に生ずるマイクロレンズアレイ２２の位置及び平行度の各誤差、即ち上述の誤差（ａ），（ｂ），（ｄ）を算出する。
誤差算出部４３は、さらに、キャリブレーション画像のデータ及び理想パラメータを用いて、複数のマイクロレンズ２２−ｉの個々のピッチの誤差、即ち上述の誤差（ｃ）を算出する。
誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差に基づいて生成される情報を、誤差情報として撮像装置２に出力する（上述の図４のステップＳ９参照）。
【００７１】
図９は、上述した一連の処理をソフトウェアにより実行させる場合の、制御装置１２のハードウェア構成を示すブロック図である。
制御装置１２は、パーソナルコンピュータで構成されている。
【００７２】
制御装置１２は、上述した操作部３１及び通信部３２に加えて、CPU１０１と、ROM（Read Only Memory）１０２と、RAM（Random Access Memory）１０３と、バス１０４と、入出力インターフェース１０５と、表示部１０６と、記憶部１０７と、ドライブ１０８と、を備えている。
【００７３】
CPU１０１は、ROM１０２に記録されているプログラム、又は、記憶部１０７からRAM１０３にロードされたプログラムに従って各種の処理を実行する。
RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００７４】
例えば、上述した図３のキャリブレーション部３３は、CPU１０１というハードウェアと、ROM１０２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成することができる。
【００７５】
CPU１０１、ROM１０２、及びRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、上述した操作部３１及び通信部３２の他、表示部１０６、記憶部１０７、及びドライブ１０８が接続されている。
【００７６】
表示部１０６は、液晶ディスプレイ等で構成され、上述のキャリブレーション処理の実行中に、オペレータが操作するGUI（Graphical User Interface）画像等を表示する。
【００７７】
記憶部１０７は、ハードディスク等で構成され、各種パラメータのデータ等を記憶する。また、記憶部１０７は、各種情報処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
【００７８】
ドライブ１０８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１１１が適宜装着される。ドライブ１０８によってリムーバブルメディア１１１から読み出されたコンピュータプログラムは、必要に応じて記憶部１０７等にインストールされる。
【００７９】
撮像装置２は、この誤差情報を初期データの１つとして内蔵メモリに記録する。その後、撮像装置２は、製品化に必要な各種処理等が施されて、出荷される。
【００８０】
図１０は、撮像装置の製造装置により製造されて出荷された後の、本発明に係る撮像装置のハードウェアの構成を示すブロック図である。
【００８１】
撮像装置２は、CPU２０１と、ROM２０２と、RAM２０３と、バス２０４と、入出力インターフェース２０５と、撮像部２０６と、入力部２０７と、出力部２０８と、記憶部２０９と、通信部２１０と、ドライブ２１１と、を備えている。
【００８２】
CPU２０１は、ROM２０２に記録されているプログラム、又は、記憶部２０９からRAM２０３にロードされたプログラムに従って各種の処理を実行する。
ROM２０２にはまた、撮像装置の製造装置１から出力された誤差情報が記憶されている。
【００８３】
RAM２０３には、CPU２０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００８４】
CPU２０１、ROM２０２、及びRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。入出力インターフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０及びドライブ２１１が接続されている。
【００８５】
撮像部２０６は、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、を備えている。なお、撮像部２０６のさらなる詳細については、図１１を参照して後述する。
【００８６】
入力部２０７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部２０８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部２０９は、ハードディスクやＤRAM（Dynamic Random Memory）等で構成され、ライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２１０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００８７】
ドライブ２１１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２１が適宜装着される。ドライブ２１１によってリムーバブルメディア２２１から読み出されたプログラムは、必要に応じて記憶部２０９にインストールされる。また、リムーバブルメディア２２１は、記憶部２０９に記憶されている画像のデータ等の各種データも、記憶部２０９と同様に記憶することができる。
【００８８】
図１１は、このような図１０の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【００８９】
撮像装置２の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、がその順番で配置されている。
マイクロレンズアレイ２２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ２２−１乃至２２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００９０】
メインレンズ２１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ２２に入射させる。なお、以下、メインレンズ２１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。
【００９１】
マイクロレンズアレイ２２内のマイクロレンズ２２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ２１を介して入射されてくる光束を入射方向毎に集光して、撮像素子２３の上にサブイメージを結像させる。
即ち、撮像素子２３においては、複数のマイクロレンズ２２−１乃至２２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００９２】
ここで、撮像装置２が、物体面ｏｂを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置２は、任意の距離にある面の１点を注目点に設定すると、当該注目点からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、「再構成面」と呼ぶ
そして、撮像装置２は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置２は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
なお、このようにして撮像装置２が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼ぶ。
【００９３】
図１２は、図１０の撮像装置が実行する再構成処理の流れを説明するフローチャートである。
なお、撮像装置２は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部２０９等に記憶しているものとする。また、撮像装置２の出荷時に、図１の撮像装置の製造装置から出力された誤差情報はROM２０２に記憶されているものとする。
【００９４】
ステップＳ２１において、撮像装置２のCPU２０１は、ライトフィールド画像のデータを記憶部２０９等から取得する。
ステップＳ２２において、CPU２０１は、誤差情報を補正情報としてROM２０２から取得する。
ステップＳ２３において、CPU２０１は、撮像装置２のメインレンズ２１の前方の所定距離の位置にある面を、再構成面として設定する。
【００９５】
ステップＳ２４において、CPU２０１は、再構成面の１点を、再構成注目画素に設定する。
ステップＳ２５において、CPU２０１は、ステップＳ２２の処理で取得した補正情報を考慮して、分配画素範囲を算出する。分配画素範囲とは、再構成注目画素からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して分配される、撮像素子２３内の画素の範囲、即ちライトフィールド画像内の画素の範囲である。即ち、当該分配画素範囲が補正情報を考慮して求められることにより、上述のパラメータ（Ａ）乃至（Ｊ）の値がほぼ正確に求められ、その結果、適切な分配画素範囲が算出される。
ステップＳ２６において、CPU２０１は、分配画素範囲内の各画素の画素値を積分する。
ステップＳ２７において、CPU２０１は、ステップＳ２６の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。
【００９６】
ステップＳ２８において、CPU２０１は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２４に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ２４乃至Ｓ２８のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、CPU２０１は、再構成画像を出力部２０８から表示出力する。
これにより、再構成処理は終了となる。
このようにして、撮像装置２は、再構成処理により再構成画像のデータを生成する場合、誤差情報を内蔵メモリから読み出して補正情報として用いる。
これにより、ライトフィールド画像のデータから、正確な再フォーカス画像のデータを再構成することが容易に可能になる。
換言すると、再フォーカス画像のデータの再構成時には、個々の撮像装置２毎に異なる製造誤差や取付誤差は吸収されてしまうので、撮像装置２の光学系の位置決めを必要以上に精度よく行うことが不要、即ち、製造時の精度誤差をある程度許容できるようになる。その結果、撮像装置２を容易かつ短時間に、ひいては低コストで製造することが可能になる。
【００９７】
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９８】
例えば、上述の実施形態では、誤差算出部４３は、誤差（ａ）乃至（ｄ）の組み合わせを算出したが、特にこれらの組み合わせに限定されず、誤差（ａ）乃至（ｄ）のうちの任意の数の任意の組み合わせ、例えば、誤差（ａ），（ｂ），（ｄ）の組み合わせを算出するようにしてもよい。
この場合、誤差（ａ），（ｂ），（ｄ）の組み合わせ等だけを採用しても、正確な再フォーカス画像のデータを再構成することが容易に可能になるという効果を奏することはできる。もっとも、本実施形態のように誤差（ａ）乃至（ｄ）の全てを採用した方が、当該効果はより顕著なものとなる。
或いは、誤差算出部４３は、誤差（ａ）乃至（ｄ）以外の誤差であって、上述のパラメータ（Ａ）乃至（Ｊ）に起因する誤差を、誤差（ａ）乃至（ｄ）と共に又はそれらとは別に算出するようにしてもよい。
【００９９】
また例えば、上述の実施形態では、キャリブレーション処理は、撮像装置２が出荷される前の工場等に配置される、撮像装置の製造装置によって実行されたが、上述の光源１１を用意することが可能な環境であれば、撮像装置２の出荷後に実行するようにしてもよい。
この場合、誤差算出部４３は、出荷後の撮像装置２の使用に伴う誤差等も算出することが可能になる。その結果、撮像装置２を長年使用し続けても、ライトフィールド画像のデータから、正確な再フォーカス画像のデータを再構成することが容易に可能になる。
この場合、制御装置１２は、撮像装置２と通信可能で、上述のキャリブレーション処理を実行可能な構成を有していれば足り、後述の図９のパーソナルコンピュータの他、携帯電話機、ポータブルゲーム機等に幅広く適用可能である。
さらに、撮像装置２自体に、制御装置１２の機能を備えさせるようにしてもよい。
【０１００】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１０１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図９のリムーバブルメディア１１１又は図１０のリムーバブルメディア２２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図９のROM１０２又は図１０のROM２０２や、図９の記憶部１０７又は図１０の記憶部２０９に含まれるハードディスク等で構成される。
【０１０３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０４】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする撮像装置の製造装置。
［付記２］
前記誤差算出部は、さらに、前記ライトフィールド画像のデータ及び前記理想パラメータを用いて、前記複数のマイクロレンズの個々のピッチの誤差を算出する、
付記１に記載の撮像装置の製造装置。
［付記３］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置が実行する製造方法において、
前記光源が、平行光又は均等拡散光を前記撮像装置に照射させた状態で、前記撮像装置に前記光源を撮像させる撮像ステップと、
前記撮像ステップにおいて前記撮像装置の撮像の結果得られた、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得ステップと、
前記平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得ステップと、
前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得ステップにおいて取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出ステップと、
前記誤差算出ステップにおいて算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力ステップと、
を含むことを特徴とする撮像装置の製造方法。
［付記４］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置を制御するコンピュータに、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得機能、
前記画像取得機能により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得機能により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出機能、
前記誤差算出機能により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力機能、
を実現させることを特徴とするプログラム。
［付記５］ メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を含む光学系を有し、前記光学系により被写体を撮像して、その結果得られるライトフィールド画像のデータを出力する撮像手段と、
製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を示す誤差情報を予め記憶する記憶手段と、
前記撮像手段から出力された前記ライトフィールド画像のデータに基づいて、当該ライトフィールド画像が撮像された時点とは異なる位置で合焦したような再構成画像のデータを生成する制御を実行する制御手段と、
を備え、
前記制御手段は、前記記憶手段に記憶された前記誤差情報を補正情報として用いて、前記再構成画像のデータを生成する、
撮像装置。
【符号の説明】
【０１０６】
１・・・カメラ製造装置、２・・・撮像装置、１１・・・光源、１２・・・制御装置、２１・・・メインレンズ、２２・・・マイクロレンズアレイ、２２−１乃至２２−Ｎ・・・マイクロレンズ、２３・・・撮像素子、３１・・・操作部、３２・・・通信部、３３・・・キャリブレーション部、４１・・・画像取得部、４２・・・理想パラメータ取得部、４３・・・誤差算出部、４４・・・誤差情報出力部、１０１・・・CPU
【技術分野】
【０００１】
本発明は、プレノプティックカメラと呼ばれる撮像装置の製造装置及び製造方法並びに撮像装置に関し、特に、個体差によらず再構成画像のデータを適切に生成可能な撮像装置を製造する技術に関する。
【背景技術】
【０００２】
近年、入射光線の方向分布(direction distribution)についての情報を取り込む撮像装置、即ち「プレノプティック（plenoptic）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
【０００３】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００４】
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【０００５】
具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているならば、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値を積分する。この積分値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像における、注目点に対応する画素が再構成される。
プレノプティックカメラは、再構成画像を構成する各画素（任意の距離にある面の各点に対応する各画素）のそれぞれを注目点に順次設定して、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を再構成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載のプレノプティックカメラが量産された場合を考えると、メインレンズ、マイクロレンズアレイ、及び撮像素子を組み込む際に、製造誤差や組立誤差が発生することが想定される。
この場合、出荷後の複数のプレノプティックカメラの各々が被写体を撮像した場合を考えると、実際の撮像時に注目点からの光が分配された各画素の位置については、製造誤差や組立誤差により個体毎にズレが生ずる。一方で、注目点の画素を再構成するために画素値が積分される対象の各画素の位置としては、製造誤差や組立誤差が一切発生しない場合の理想的な各画素の位置が、個体差によらず一律に採用される。
即ち、複数のプレノプティックカメラのそれぞれにおいて、実際の撮像時に注目点からの光が分配された各画素の位置と、注目点の画素を再構成するために画素値が積分される対象の各画素の位置との間には、個体毎に異なったズレが生ずることになる。
このようなズレが生じると、正しい再構成画像のデータの生成が困難になる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、個体差によらず再構成画像のデータを適切に生成可能となるように、プレノプティックカメラと呼ばれる撮像装置を製造することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一態様の撮像装置の製造装置は、
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、個体差によらず再構成画像のデータを適切に生成可能となるように、プレノプティックカメラと呼ばれる撮像装置を製造することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置の製造装置の構成例を示す模式図である。
【図２】図１の撮像装置の製造装置がキャリブレーション処理を実行する場合における、光源と撮像装置の光学系の位置関係を示す図である。
【図３】図１の撮像装置の製造装置のうち制御装置の機能的構成例であって、キャリブレーション処理を行う機能を実現する機能的構成例を示す機能ブロック図である。
【図４】図１の撮像装置の製造装置が実行するキャリブレーション処理の流れの一例を説明するフローチャートである。
【図５】キャリブレーション処理で求められる、マイクロレンズアレイのxy方向の誤差の算出手法の一例を説明する図である。
【図６】キャリブレーション処理で求められる、マイクロレンズアレイのz方向の誤差の算出手法の一例を説明する図である。
【図７】キャリブレーション処理で求められる、各マイクロレンズのピッチ誤差の算出手法の一例を説明する図である。
【図８】キャリブレーション処理で求められる、マイクロレンズアレイと撮像素子の平行度誤差の算出手法の一例を説明する図である。
【図９】図３の制御装置のハードウェアの構成例を示すブロック図である。
【図１０】図１の撮像装置の製造装置により製造された、本発明に係る撮像装置のハードウェアの構成を示すブロック図である。
【図１１】図１０の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【図１２】図１０の撮像装置が実行する再構成処理の流れの一例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を用いて説明する。
【００１３】
図１は、本発明の撮像装置の製造装置の一実施形態に係るカメラ製造装置の構成例を示す模式図である。
【００１４】
カメラ製造装置１は、撮像装置２の製造ラインのうち、組み立て後の撮像装置２の内蔵メモリに対して初期データ等を記録するラインに設置される。カメラ製造装置１は、後述するキャリブレーション処理を実行するために、光源１１と、制御装置１２と、を備えている。
撮像装置２は、このようなカメラ製造装置１により、プレノプティックカメラとして製造される。
【００１５】
図２は、カメラ製造装置１がキャリブレーション処理を実行する場合における、光源１１と撮像装置２の光学系の位置関係を示す図である。
【００１６】
光源１１は、撮像装置２に対して平行光を照射する平行光照射装置、及び、撮像装置２に対して均等拡散光を照射する均等拡散光照射装置から構成される。
【００１７】
撮像装置２の光学系には、光源１１からみて（被写体からみて）、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、がその順番で配置されている。
マイクロレンズアレイ２２においては、Ｎ個のマイクロレンズ２２−１乃至２２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００１８】
メインレンズ２１は、光源１１から射出された光束を集光して、マイクロレンズアレイ２２の上に結像させる。
【００１９】
マイクロレンズアレイ２２内のマイクロレンズ２２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、光源１１からメインレンズ２１を介して入射されてくる光束を入射方向毎に集光して、撮像素子２３の上にサブイメージを結像させる。
即ち、撮像素子２３においては、複数のマイクロレンズ２２−１乃至２２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００２０】
撮像素子２３は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。撮像素子２３には、メインレンズ２１からマイクロレンズアレイ２２を介して被写体像（図２の例では、光源１１の像）が入射される。そこで、撮像素子２３は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号として図示せぬAFE（Analog Front End）に順次供給する。
ＡＦＥは、このアナログの画像信号に対して、A/D（Analog／Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、ライトフィールド画像のデータとしてＡＦＥから図示せぬCPU（Central Processing Unit）に適宜提供される。
【００２１】
ここで、撮像装置２が、一般的な被写体（図２の光源１１以外）を撮像した場合に得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置２は、上述したように、任意の距離にある面の１点を注目点に設定すると、当該注目点からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを算出する。
そして、撮像装置２は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置２は、このような推定演算を再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
【００２２】
しかしながら、このような再構成画像の各画素の推定演算（以下、「再構成の演算」と呼ぶ）においては、注目点からの光が、メインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかが正確に求められなければ、再構成画像にはノイズが現れてしまう。即ち、正しい再構成画像のデータの生成が困難になる。
【００２３】
ここで、注目点からの光が、メインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを求めるためには、次のパラメータ（Ａ）乃至（Ｊ）が必要になる。
（Ａ）メインレンズ２１の焦点距離
（Ｂ）メインレンズ２１の有効径
（Ｃ）各マイクロレンズ２２−iの焦点距離
（Ｄ）各マイクロレンズ２２−iの有効径
（Ｅ）撮像素子２３の画素サイズ
（Ｆ）各マイクロレンズ２２−iのピッチ
（Ｇ）メインレンズ２１とマイクロレンズアレイ２２の位置関係
（Ｈ）マイクロレンズアレイ２２と撮像素子２３の位置関係
（Ｉ）メインレンズ２１とマイクロレンズアレイ２２の平行度
（Ｊ）マイクロレンズアレイ２２と撮像素子２３の平行度
【００２４】
即ち、これらのパラメータ（Ａ）乃至（Ｊ）が正確に求められないと、再構成の演算が正確に実行できず、その結果、正しい再構成画像のデータの生成が困難になる。
それゆえ、正しい再構成画像のデータの生成のためには、パラメータ（Ａ）乃至（Ｊ）を正確に求める必要があり、そのためには、メインレンズ２１、マイクロレンズアレイ２２、及び撮像素子２３の正確な位置合わせをすることが理想である。ところが、撮像装置２の製造時には、ある程度の製造誤差や取付誤差が生じてしまうが、これらの誤差を完全に無くすような位置合わせは非常に困難である。
そこで、本実施形態のカメラ製造装置１は、これらの誤差を求める処理（以下、「キャリブレーション処理」と呼ぶ）を実行し、その誤差等の情報を撮像装置２に初期データとして記録させる。
撮像装置２は、出荷後に再構成の演算をする際に、この初期データを用いて適切に補正することで、上述のパラメータ（Ａ）乃至（Ｊ）の値をほぼ正確に求めることができ、その結果、正確な再構成画像のデータを生成することができる。
【００２５】
さらに以下、本実施形態のカメラ製造装置１が実行するキャリブレーション処理について、さらに詳しく説明する。
【００２６】
上述のパラメータ（Ａ）乃至（Ｊ）のうち、製造時に誤差が生じる可能性の高いものは、パラメータ（Ｆ）乃至（Ｊ）ある。
ここで、撮像装置２の光学系において、メインレンズ２１の光軸と平行な方向をz軸と、当該光軸と垂直な方向のうち撮像素子２３の上方向の軸をｘ軸と、当該光軸と垂直な方向のうち撮像素子２３の右方向の軸をｙ軸と、それぞれ定義するものとする。
このような定義の下、パラメータ（Ｆ）乃至（Ｊ）のうち、パラメータ（Ｇ）におけるz方向の誤差は、メインレンズ２１とマイクロレンズアレイ２２の間の距離に比較し無視できるほど小さいものであるとする。
また、パラメータ（Ｉ）及び（Ｊ）に関しては、メインレンズ２１と撮像素子２３とは平行に取り付けられてあると仮定して、パラメータ（Ｊ）のみに注目するものとする。
また、パラメータ（Ｈ）については、メインレンズ２１の光軸に対して垂直なxy方向と、当該光軸に対して平行なz方向とに分けて考えるものとする。
【００２７】
以上より、本実施形態のキャリブレーション処理では、次の誤差（ａ）乃至（ｄ）が算出されるものとする。
（ａ）マイクロレンズアレイ２２のxy方向の誤差
（ｂ）マイクロレンズアレイ２２のｚ方向の誤差
（ｃ）各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）
（ｄ）マイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）
【００２８】
図３は、このような誤差（ａ）乃至（ｄ）を算出するキャリブレーション処理の実行機能を発揮するための、図１の制御装置１２の機能的構成例を示す機能ブロック図である。
【００２９】
制御装置１２は、操作部３１と、通信部３２と、キャリブレーション部３３と、を備えている。
【００３０】
操作部３１は、各種釦等で構成され、オペレータの指示操作を受け付ける。
通信部３２は、撮像装置２との間で行う通信を制御する。通信部３２はまた、インターネット等を介して図示せぬ他の装置との間で行う通信を制御する。
キャリブレーション部３３は、画像取得部４１と、理想パラメータ取得部４２と、誤差算出部４３と、誤差情報出力部４４と、を備えている。
【００３１】
画像取得部４１は、通信部３２を介して、平行光又は均等拡散光を照射している光源１１を撮像装置２に撮像させる制御を実行し、その制御の結果得られるライトフィールド画像のデータを、キャリブレーション画像のデータとして撮像装置２から取得する。
【００３２】
理想パラメータ取得部４２は、平行光又は均等拡散光を照射している光源１１が理想的な撮像装置（撮像装置２とは別に用意される）により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、理想的な撮像装置の光学系の各値（設計値でもよい）から求められるパラメータを、理想パラメータとして取得する。
理想的な撮像装置の光学系の各値としては、上述のパラメータ（Ａ）乃至（Ｊ）の理想的な値、又はこれらの理想的な値を用いた所定の演算により算出可能な各種の値を採用することができる。
なお、理想パラメータの具体例については、図５乃至図８等を参照して後述する。
【００３３】
誤差算出部４３は、画像取得部４１により取得されたキャリブレーション画像のデータと、理想パラメータ取得部４２により取得された理想パラメータとに基づいて、上述の誤差（ａ）乃至（ｄ）を算出する。
なお、誤差（ａ）乃至（ｄ）の具体的な算出手法については、図５乃至図８等を参照して後述する。
【００３４】
誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差（ａ）乃至（ｄ）の少なくとも一部を用いて生成される情報を、誤差情報として、通信部３２を介して撮像装置２に出力する。
撮像装置２は、当該誤差情報を内部メモリに記憶し、再構成の演算時に補正情報として適宜用いる。
【００３５】
次に、このような図３の制御装置１２を含むカメラ製造装置１が実行する処理のうち、キャリブレーション処理の流れについて説明する。
図４は、図１の撮像装置の製造装置が実行するキャリブレーション処理の流れの一例を説明するフローチャートである。
【００３６】
キャリブレーション処理は、例えば、カメラ製造装置１を構成する光源１１及び制御装置１２の各電源が投入され、組み立てられた撮像装置２が、光源１１に対して所定の位置に配置され、かつ、制御装置１２と通信可能な状態になると、開始される。
【００３７】
ステップＳ１において、カメラ製造装置１は、準備処理を実行する。
具体的には、カメラ製造装置１は、準備処理の１つとして、光源１１として平行光照射装置を選択し、当該平行光照射装置の光軸を、撮像装置２のメインレンズ２１の光軸と一致させる。
なお、本実施形態では、カメラ製造装置１には、光源１１と撮像装置２のうち少なくとも一方を移動させる移動機構（図示せず）が設けられている。当該移動機構が、光源１１と撮像装置２のうち少なくとも一方を移動させることにより、光源１１とメインレンズ２１との各光軸の一致が実現される。ただし、カメラ製造装置１のオペレータが、光源１１と撮像装置２のうち少なくとも一方を手動で移動させることで、光源１１とメインレンズ２１との各光軸を一致させるようにしてもよい。
また、カメラ製造装置１は、準備処理の１つとして、光源１１としての平行光照射装置から平行光を撮像装置２に対して照射させる。
【００３８】
ステップＳ２において、制御装置１２の画像取得部４１は、平行光の光源１１についてのライトフィールド画像のデータを取得する。
即ち、画像取得部４１は、通信部３２を介して、平行光を照射している光源１１を撮像装置２に撮像させ、その結果得られるライトフィールド画像のデータをキャリブレーション画像のデータとして撮像装置２から取得する。
【００３９】
ステップＳ３において、制御装置１２の誤差算出部４３は、誤差（ａ）、即ちマイクロレンズアレイ２２のxy方向の誤差を算出する。
具体的には、誤差算出部４３は、ステップＳ２の処理でデータとして取得されたキャリブレーション画像のサブイメージの中心についての、理想的なライトフィールド画像の中心に対する誤差を、誤差（ａ）として算出する。
なお、誤差（ａ）の算出処理のさらなる詳細については、図５を参照して後述する。
【００４０】
ステップＳ４において、制御装置１２の誤差算出部４３は、誤差（ｂ）、即ちマイクロレンズアレイ２２のｚ方向の誤差を算出する。
具体的には、誤差算出部４３は、ステップＳ２の処理でデータとして取得されたキャリブレーション画像内のサブイメージの直径を算出する。次に、誤差算出部４３は、その直径に基づいて、マイクロレンズアレイ２２と撮像素子２３との間の距離の、マイクロレンズ２２−ｉの焦点距離に対するズレを、誤差（ｂ）として算出する。
なお、誤差（ｂ）の算出処理のさらなる詳細については、図６を参照して後述する。
【００４１】
ステップＳ５において、カメラ製造装置１は、光源１１として均等拡散光照射装置に切り替えて、均等拡散光を撮像装置２に対して照射させる。
【００４２】
ステップＳ６において、制御装置１２の画像取得部４１は、均等拡散光の光源１１についてのライトフィールド画像のデータを取得する。
即ち、画像取得部４１は、通信部３２を介して、均等拡散光を照射している均等拡散光照射装置を撮像装置２に撮像させ、その結果得られるライトフィールド画像のデータをキャリブレーション画像のデータとして撮像装置２から取得する。
【００４３】
ステップＳ７において、制御装置１２の誤差算出部４３は、誤差（ｃ）、即ち各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）を算出する。
具体的には、誤差算出部４３は、ステップＳ６の処理でデータとして取得されたキャリブレーション画像内の各サブイメージの中心位置についての、理想的なライトフィールド画像内の各サブイメージの中心位置に対するズレを、誤差（ｃ）として求める。
即ち、誤差算出部４３は、キャリブレーション画像と理想的なライトフィールド画像との各々のサブイメージの中心位置を比較する。誤差算出部４３は、その比較の結果に基づいて、個々のマイクロレンズ２２−ｉの配置についての、理想的な配置に対するズレを、誤差（ｃ）として算出する。
なお、誤差（ｃ）の算出処理のさらなる詳細については、図７を参照して後述する。
【００４４】
ステップＳ８において、制御装置１２の誤差算出部４３は、誤差（ｄ）、即ちマイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）を算出する。
具体的には、誤差算出部４３は、各々のマイクロレンズ２２−ｉと撮像素子２３との間の距離の誤差を、誤差（ｄ）とみなして算出する。
即ち、誤差算出部４３は、ステップＳ６の処理でデータとして取得されたキャリブレーション画像内の各サブイメージの各直径を算出する。誤差算出部４３は、これらの各直径に基づいて、各マイクロレンズ２２−ｉと撮像素子２３との間の距離についての、マイクロレンズ２２−ｉの焦点距離からのズレを、誤差（ｄ）として算出する。
なお、誤差（ｄ）の算出処理のさらなる詳細については、図８を参照して後述する。
【００４５】
ステップＳ９において、制御装置１２の誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差（ａ）乃至（ｄ）の少なくとも一部を用いて生成された情報を、誤差情報として、通信部３２を介して撮像装置２に出力する。
【００４６】
これにより、キャリブレーション処理は終了となる。
なお、撮像装置２は、誤差情報を内部メモリに記憶し、再構成の演算時に適宜用いる。
【００４７】
次に、図５乃至図８を参照して、キャリブレーション処理で求められる誤差（ａ）乃至（ｄ）の各々についての、具体的な算出手法の各例を説明する。
【００４８】
図５は、キャリブレーション処理で求められる誤差（ａ）、即ちマイクロレンズアレイ２２のxy方向の誤差の算出手法の一例を説明する図である。
具体的には、図５（ａ）においては、その左方に、誤差（ａ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図５（ｂ）においては、その左方に、誤差（ａ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００４９】
上述したように、誤差（ａ）は、図４のキャリブレーション処理のうちステップＳ３の処理として実行される。
具体的には例えば、次のステップＳ３−１乃至Ｓ３−４に従って、誤差（ａ）が算出される。
【００５０】
即ち、ステップＳ３−１において、誤差算出部４３は、ステップＳ２の処理で取得されたライトフィールド画像（キャリブレーション画像）のデータを、２値化画像のデータに変換する。
２値化画像のデータとは、ライトフィールド画像のデータのうち、所定条件（例えば閾値以上）を満たす画素値については、画素値が「１」に変換され（白い画素に変換され）、それ以外の画素値（例えば閾値未満の画素値）については、画素値が「０」に変換された（黒い画素に変換された）ものをいう。
【００５１】
ステップＳ３−２において、誤差算出部４３は、２値化画像のデータを用いて、白領域（画素値が１の画素の領域）を、サブイメージ領域として抽出する。
【００５２】
ステップＳ３−３において、誤差算出部４３は、抽出したサブイメージ領域の重心を算出し、その重心を、キャリブレーション画像のサブイメージの中心位置(x,y)として設定する。
【００５３】
ステップＳ３−４において、誤差算出部４３は、キャリブレーション画像のサブイメージの中心位置(x,y)についての、理想的なライトフィールド画像の中心位置(xc,yc)に対する誤差を、誤差（ａ）として算出する。
即ち、誤差（ａ）を（ArrErrorX,ArrErrorY）と記載すれば、ステップＳ３−４の処理では、次の式（１）及び式（２）が演算される。
ArrErrorX = x − xc ・・・（１）
ArrErrorY = y − yc ・・・（２）
なお、理想的なライトフィールド画像は、図５（ａ）のように予め撮像されている。その結果、当該理想的なライトフィールド画像の中心位置(xc,yc)も事前に理想パラメータの１つとして登録されており、ステップＳ３−４の処理前に理想パラメータ取得部４２によって取得される。
【００５４】
図６は、キャリブレーション処理で求められる誤差（ｂ）、即ちマイクロレンズアレイ２２のz方向の誤差の算出手法の一例を説明する図である。
具体的には、図６（ａ）においては、その左方に、誤差（ｂ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図６（ｂ）においては、その左方に、誤差（ｂ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００５５】
上述したように、誤差（ｂ）は、図４のキャリブレーション処理のうちステップＳ４の処理として実行される。
具体的には例えば、次のステップＳ４−１乃至Ｓ４−３に従って、誤差（ｂ）が算出される。
【００５６】
即ち、ステップＳ４−１において、誤差算出部４３は、上述のステップＳ３−２の処理で抽出したサブイメージ領域と、上述のステップＳ３−３の処理で演算したキャリブレーション画像のサブイメージの中心位置(x,y)とを取得する。
【００５７】
ステップＳ４−２において、誤差算出部４３は、取得したサブイメージ領域及びキャリブレーション画像のサブイメージの中心位置(x,y)に基づいて、キャリブレーション画像のサブイメージの直径Dsub（図６（ｂ）参照）を算出する。
【００５８】
ステップＳ４−３において、誤差算出部４３は、次の式（３）から、誤差（ｂ）を求める。
Dsub = DML * (fμL + ArrErrorZ) / fML ・・・（３）
式（３）において、図６（ｂ）に示すように、DMLはメインレンズ２１の直径を、fμLはマイクロレンズ２２−ｉの焦点距離を、ArrErrorZは誤差（ｂ）、即ちマイクロレンズアレイ２２のｚ方向の誤差を、fMLはメインレンズ２１の焦点距離を、それぞれ示している。
なお、メインレンズ２１の直径DML、マイクロレンズ２２−ｉの焦点距離fμL、及びメインレンズ２１の焦点距離fMLの各々は、事前に理想パラメータの１つとして登録されており、ステップＳ４−３の処理前に理想パラメータ取得部４２によって取得される。
【００５９】
図７は、キャリブレーション処理で求められる誤差（ｃ）、即ち各マイクロレンズ２２−ｉのピッチ誤差（各マイクロレンズ２２−ｉのxy方向誤差）の算出手法の一例を説明する図である。
具体的には、図７（ａ）においては、その左方に、誤差（ｃ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図７（ｂ）においては、その左方に、誤差（ｃ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００６０】
上述したように、誤差（ｃ）は、図４のキャリブレーション処理のうちステップＳ７の処理として実行される。
具体的には例えば、次のステップＳ７−１乃至Ｓ７−４に従って、誤差（ｃ）が算出される。
【００６１】
即ち、ステップＳ７−１において、誤差算出部４３は、ステップＳ６の処理で取得されたライトフィールド画像（キャリブレーション画像）のデータを、２値化画像のデータに変換する。
【００６２】
ステップＳ７−２において、誤差算出部４３は、２値化画像のデータを用いて、各白領域（画素値が１の画素の領域）を、各サブイメージ領域としてそれぞれ抽出する。
【００６３】
ステップＳ７−３において、誤差算出部４３は、抽出した各サブイメージ領域毎に、各々の重心を算出し、各重心の各々を、各サブイメージの中心位置(xi,yi)の各々として設定する。
【００６４】
ステップＳ７−４において、誤差算出部４３は、キャリブレーション画像の各サブイメージの中心位置(xi,yi)のそれぞれについての、理想的なライトフィールド画像の各サブイメージの中心位置（xbasei、ybasei）に対する誤差を、誤差（ｃ）として算出する。
即ち、誤差（ｃ）を（LensErrorXi,LensErrorYi）と記載すれば、ステップＳ７−４の処理では、次の式（４）及び式（５）が演算される。
LensErrorXi = xi − xbasei ・・・（４）
LensErrorYi = yi − ybasei ・・・（５）
なお、理想的なライトフィールド画像は図７（ａ）のように予め撮像されている。その結果、当該理想的なライトフィールド画像の各サブイメージの中心位置（xbasei、ybasei）のそれぞれも事前に理想パラメータの１つとして登録されており、ステップＳ７−４の処理前に理想パラメータ取得部４２によって取得される。
【００６５】
図８は、キャリブレーション処理で求められる誤差（ｄ）、即ちマイクロレンズアレイ２２と撮像素子２３の平行度誤差（各マイクロレンズ２２−ｉのz方向誤差）の算出手法の一例を説明する図である。
具体的には、図８（ａ）においては、その左方に、誤差（ｄ）が生じない場合における、即ち理想的な状態における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像された理想的なライトフィールド画像（正確には後述する２値化画像）の一例が示されている。
図８（ｂ）においては、その左方に、誤差（ｄ）が生じる場合における撮像装置２の光学系が示され、その右方に、当該撮像装置２により撮像されたライトフィールド画像、即ちキャリブレーション画像（正確には後述する２値化画像）の一例が示されている。
【００６６】
上述したように、誤差（ｄ）は、図４のキャリブレーション処理のうちステップＳ８の処理として実行される。
具体的には例えば、次のステップＳ８−１乃至Ｓ８−３に従って、誤差（ｄ）が算出される。
【００６７】
即ち、ステップＳ８−１において、誤差算出部４３は、上述のステップＳ７−２の処理で抽出した各サブイメージの領域と、上述のステップＳ７−３の処理で演算した各サブイメージの中心位置(xi,yi)とを取得する。
【００６８】
ステップＳ８−２において、誤差算出部４３は、サブイメージ領域及びそれに対応するサブイメージの中心位置(xi,yi)の組毎に、キャリブレーション画像についての、対応するサブイメージの直径Dsubi（図８（ｂ）参照）をそれぞれ算出する。
【００６９】
ステップＳ８−３において、誤差算出部４３は、次の式（６）から、各サブイメージ毎に誤差（ｄ）を求める。
Dsubi = DML * (fμL + zi) / fML ・・・（６）
式（６）において、図８（ｂ）に示すように、DMLはメインレンズ２１の直径を、fμLはマイクロレンズ２２−ｉの焦点距離を、ziは各マイクロレンズ２２−ｉ毎の誤差（ｄ）、即ち各マイクロレンズ２２−ｉのz方向誤差を、fMLはメインレンズ２１の焦点距離を、それぞれ示している。
なお、上述したように、メインレンズ２１の直径DML、マイクロレンズ２２−ｉの焦点距離fμL、及びメインレンズ２１の焦点距離fMLの各々は、事前に理想パラメータの１つとして登録されており、ステップＳ８−３の処理前に理想パラメータ取得部４２によって取得される。
【００７０】
以上説明したように、本実施形態に係るカメラ製造装置１は、メインレンズ２１、複数のマイクロレンズ２２−ｉからなるマイクロレンズアレイ２２、及び撮像素子２３を光学系に備える撮像装置２を製造する。
カメラ製造装置１は、平行光又は均等拡散光を撮像装置２に照射する光源１１と、制御装置１２と、を備える。制御装置１２は、画像取得部４１と、理想パラメータ取得部４２と、誤差算出部４３と、誤差情報出力部４４と、を備える。
画像取得部４１は、平行光又は均等拡散光を照射している光源１１が撮像装置２により撮像された結果得られる、複数のマイクロレンズ２２−ｉの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを、キャリブレーション画像のデータとして取得する。
理想パラメータ取得部４２は、平行光又は均等拡散光を照射している光源１１が理想的な撮像装置（製造対象の撮像装置２とは別に用意される）により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、理想的な撮像装置の光学系の設計値から求められるパラメータを、理想パラメータとして取得する。
誤差算出部４３は、画像取得部４１により取得されたキャリブレーション画像のデータ、及び、理想パラメータ取得部４２により取得された理想パラメータを用いて、撮像装置２の製造時に生ずるマイクロレンズアレイ２２の位置及び平行度の各誤差、即ち上述の誤差（ａ），（ｂ），（ｄ）を算出する。
誤差算出部４３は、さらに、キャリブレーション画像のデータ及び理想パラメータを用いて、複数のマイクロレンズ２２−ｉの個々のピッチの誤差、即ち上述の誤差（ｃ）を算出する。
誤差情報出力部４４は、誤差算出部４３により算出された誤差（ａ）乃至（ｄ）を示す情報、又はこれらの誤差に基づいて生成される情報を、誤差情報として撮像装置２に出力する（上述の図４のステップＳ９参照）。
【００７１】
図９は、上述した一連の処理をソフトウェアにより実行させる場合の、制御装置１２のハードウェア構成を示すブロック図である。
制御装置１２は、パーソナルコンピュータで構成されている。
【００７２】
制御装置１２は、上述した操作部３１及び通信部３２に加えて、CPU１０１と、ROM（Read Only Memory）１０２と、RAM（Random Access Memory）１０３と、バス１０４と、入出力インターフェース１０５と、表示部１０６と、記憶部１０７と、ドライブ１０８と、を備えている。
【００７３】
CPU１０１は、ROM１０２に記録されているプログラム、又は、記憶部１０７からRAM１０３にロードされたプログラムに従って各種の処理を実行する。
RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００７４】
例えば、上述した図３のキャリブレーション部３３は、CPU１０１というハードウェアと、ROM１０２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成することができる。
【００７５】
CPU１０１、ROM１０２、及びRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、上述した操作部３１及び通信部３２の他、表示部１０６、記憶部１０７、及びドライブ１０８が接続されている。
【００７６】
表示部１０６は、液晶ディスプレイ等で構成され、上述のキャリブレーション処理の実行中に、オペレータが操作するGUI（Graphical User Interface）画像等を表示する。
【００７７】
記憶部１０７は、ハードディスク等で構成され、各種パラメータのデータ等を記憶する。また、記憶部１０７は、各種情報処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
【００７８】
ドライブ１０８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１１１が適宜装着される。ドライブ１０８によってリムーバブルメディア１１１から読み出されたコンピュータプログラムは、必要に応じて記憶部１０７等にインストールされる。
【００７９】
撮像装置２は、この誤差情報を初期データの１つとして内蔵メモリに記録する。その後、撮像装置２は、製品化に必要な各種処理等が施されて、出荷される。
【００８０】
図１０は、撮像装置の製造装置により製造されて出荷された後の、本発明に係る撮像装置のハードウェアの構成を示すブロック図である。
【００８１】
撮像装置２は、CPU２０１と、ROM２０２と、RAM２０３と、バス２０４と、入出力インターフェース２０５と、撮像部２０６と、入力部２０７と、出力部２０８と、記憶部２０９と、通信部２１０と、ドライブ２１１と、を備えている。
【００８２】
CPU２０１は、ROM２０２に記録されているプログラム、又は、記憶部２０９からRAM２０３にロードされたプログラムに従って各種の処理を実行する。
ROM２０２にはまた、撮像装置の製造装置１から出力された誤差情報が記憶されている。
【００８３】
RAM２０３には、CPU２０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００８４】
CPU２０１、ROM２０２、及びRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。入出力インターフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０及びドライブ２１１が接続されている。
【００８５】
撮像部２０６は、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、を備えている。なお、撮像部２０６のさらなる詳細については、図１１を参照して後述する。
【００８６】
入力部２０７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部２０８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部２０９は、ハードディスクやＤRAM（Dynamic Random Memory）等で構成され、ライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２１０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００８７】
ドライブ２１１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２１が適宜装着される。ドライブ２１１によってリムーバブルメディア２２１から読み出されたプログラムは、必要に応じて記憶部２０９にインストールされる。また、リムーバブルメディア２２１は、記憶部２０９に記憶されている画像のデータ等の各種データも、記憶部２０９と同様に記憶することができる。
【００８８】
図１１は、このような図１０の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。
【００８９】
撮像装置２の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ２１と、マイクロレンズアレイ２２と、撮像素子２３と、がその順番で配置されている。
マイクロレンズアレイ２２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ２２−１乃至２２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００９０】
メインレンズ２１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ２２に入射させる。なお、以下、メインレンズ２１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。
【００９１】
マイクロレンズアレイ２２内のマイクロレンズ２２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ２１を介して入射されてくる光束を入射方向毎に集光して、撮像素子２３の上にサブイメージを結像させる。
即ち、撮像素子２３においては、複数のマイクロレンズ２２−１乃至２２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
【００９２】
ここで、撮像装置２が、物体面ｏｂを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置２は、任意の距離にある面の１点を注目点に設定すると、当該注目点からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して撮像素子２３内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、「再構成面」と呼ぶ
そして、撮像装置２は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置２は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。
なお、このようにして撮像装置２が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼ぶ。
【００９３】
図１２は、図１０の撮像装置が実行する再構成処理の流れを説明するフローチャートである。
なお、撮像装置２は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部２０９等に記憶しているものとする。また、撮像装置２の出荷時に、図１の撮像装置の製造装置から出力された誤差情報はROM２０２に記憶されているものとする。
【００９４】
ステップＳ２１において、撮像装置２のCPU２０１は、ライトフィールド画像のデータを記憶部２０９等から取得する。
ステップＳ２２において、CPU２０１は、誤差情報を補正情報としてROM２０２から取得する。
ステップＳ２３において、CPU２０１は、撮像装置２のメインレンズ２１の前方の所定距離の位置にある面を、再構成面として設定する。
【００９５】
ステップＳ２４において、CPU２０１は、再構成面の１点を、再構成注目画素に設定する。
ステップＳ２５において、CPU２０１は、ステップＳ２２の処理で取得した補正情報を考慮して、分配画素範囲を算出する。分配画素範囲とは、再構成注目画素からの光がメインレンズ２１及びマイクロレンズアレイ２２を介して分配される、撮像素子２３内の画素の範囲、即ちライトフィールド画像内の画素の範囲である。即ち、当該分配画素範囲が補正情報を考慮して求められることにより、上述のパラメータ（Ａ）乃至（Ｊ）の値がほぼ正確に求められ、その結果、適切な分配画素範囲が算出される。
ステップＳ２６において、CPU２０１は、分配画素範囲内の各画素の画素値を積分する。
ステップＳ２７において、CPU２０１は、ステップＳ２６の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。
【００９６】
ステップＳ２８において、CPU２０１は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２４に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ２４乃至Ｓ２８のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、CPU２０１は、再構成画像を出力部２０８から表示出力する。
これにより、再構成処理は終了となる。
このようにして、撮像装置２は、再構成処理により再構成画像のデータを生成する場合、誤差情報を内蔵メモリから読み出して補正情報として用いる。
これにより、ライトフィールド画像のデータから、正確な再フォーカス画像のデータを再構成することが容易に可能になる。
換言すると、再フォーカス画像のデータの再構成時には、個々の撮像装置２毎に異なる製造誤差や取付誤差は吸収されてしまうので、撮像装置２の光学系の位置決めを必要以上に精度よく行うことが不要、即ち、製造時の精度誤差をある程度許容できるようになる。その結果、撮像装置２を容易かつ短時間に、ひいては低コストで製造することが可能になる。
【００９７】
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９８】
例えば、上述の実施形態では、誤差算出部４３は、誤差（ａ）乃至（ｄ）の組み合わせを算出したが、特にこれらの組み合わせに限定されず、誤差（ａ）乃至（ｄ）のうちの任意の数の任意の組み合わせ、例えば、誤差（ａ），（ｂ），（ｄ）の組み合わせを算出するようにしてもよい。
この場合、誤差（ａ），（ｂ），（ｄ）の組み合わせ等だけを採用しても、正確な再フォーカス画像のデータを再構成することが容易に可能になるという効果を奏することはできる。もっとも、本実施形態のように誤差（ａ）乃至（ｄ）の全てを採用した方が、当該効果はより顕著なものとなる。
或いは、誤差算出部４３は、誤差（ａ）乃至（ｄ）以外の誤差であって、上述のパラメータ（Ａ）乃至（Ｊ）に起因する誤差を、誤差（ａ）乃至（ｄ）と共に又はそれらとは別に算出するようにしてもよい。
【００９９】
また例えば、上述の実施形態では、キャリブレーション処理は、撮像装置２が出荷される前の工場等に配置される、撮像装置の製造装置によって実行されたが、上述の光源１１を用意することが可能な環境であれば、撮像装置２の出荷後に実行するようにしてもよい。
この場合、誤差算出部４３は、出荷後の撮像装置２の使用に伴う誤差等も算出することが可能になる。その結果、撮像装置２を長年使用し続けても、ライトフィールド画像のデータから、正確な再フォーカス画像のデータを再構成することが容易に可能になる。
この場合、制御装置１２は、撮像装置２と通信可能で、上述のキャリブレーション処理を実行可能な構成を有していれば足り、後述の図９のパーソナルコンピュータの他、携帯電話機、ポータブルゲーム機等に幅広く適用可能である。
さらに、撮像装置２自体に、制御装置１２の機能を備えさせるようにしてもよい。
【０１００】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１０１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図９のリムーバブルメディア１１１又は図１０のリムーバブルメディア２２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図９のROM１０２又は図１０のROM２０２や、図９の記憶部１０７又は図１０の記憶部２０９に含まれるハードディスク等で構成される。
【０１０３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０４】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする撮像装置の製造装置。
［付記２］
前記誤差算出部は、さらに、前記ライトフィールド画像のデータ及び前記理想パラメータを用いて、前記複数のマイクロレンズの個々のピッチの誤差を算出する、
付記１に記載の撮像装置の製造装置。
［付記３］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置が実行する製造方法において、
前記光源が、平行光又は均等拡散光を前記撮像装置に照射させた状態で、前記撮像装置に前記光源を撮像させる撮像ステップと、
前記撮像ステップにおいて前記撮像装置の撮像の結果得られた、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得ステップと、
前記平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得ステップと、
前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得ステップにおいて取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出ステップと、
前記誤差算出ステップにおいて算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力ステップと、
を含むことを特徴とする撮像装置の製造方法。
［付記４］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置を制御するコンピュータに、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得機能、
前記画像取得機能により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得機能により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出機能、
前記誤差算出機能により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力機能、
を実現させることを特徴とするプログラム。
［付記５］ メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を含む光学系を有し、前記光学系により被写体を撮像して、その結果得られるライトフィールド画像のデータを出力する撮像手段と、
製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を示す誤差情報を予め記憶する記憶手段と、
前記撮像手段から出力された前記ライトフィールド画像のデータに基づいて、当該ライトフィールド画像が撮像された時点とは異なる位置で合焦したような再構成画像のデータを生成する制御を実行する制御手段と、
を備え、
前記制御手段は、前記記憶手段に記憶された前記誤差情報を補正情報として用いて、前記再構成画像のデータを生成する、
撮像装置。
【符号の説明】
【０１０６】
１・・・カメラ製造装置、２・・・撮像装置、１１・・・光源、１２・・・制御装置、２１・・・メインレンズ、２２・・・マイクロレンズアレイ、２２−１乃至２２−Ｎ・・・マイクロレンズ、２３・・・撮像素子、３１・・・操作部、３２・・・通信部、３３・・・キャリブレーション部、４１・・・画像取得部、４２・・・理想パラメータ取得部、４３・・・誤差算出部、４４・・・誤差情報出力部、１０１・・・CPU
【特許請求の範囲】
【請求項１】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする撮像装置の製造装置。
【請求項２】
前記誤差算出部は、さらに、前記ライトフィールド画像のデータ及び前記理想パラメータを用いて、前記複数のマイクロレンズの個々のピッチの誤差を算出する、
請求項１に記載の撮像装置の製造装置。
【請求項３】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置が実行する製造方法において、
前記光源が、平行光又は均等拡散光を前記撮像装置に照射させた状態で、前記撮像装置に前記光源を撮像させる撮像ステップと、
前記撮像ステップにおいて前記撮像装置の撮像の結果得られた、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得ステップと、
前記平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得ステップと、
前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得ステップにおいて取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出ステップと、
前記誤差算出ステップにおいて算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力ステップと、
を含むことを特徴とする撮像装置の製造方法。
【請求項４】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置を制御するコンピュータに、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得機能、
前記画像取得機能により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得機能により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出機能、
前記誤差算出機能により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力機能、
を実現させることを特徴とするプログラム。
【請求項５】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を含む光学系を有し、前記光学系により被写体を撮像して、その結果得られるライトフィールド画像のデータを出力する撮像手段と、
製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を示す誤差情報を予め記憶する記憶手段と、
前記撮像手段から出力された前記ライトフィールド画像のデータに基づいて、当該ライトフィールド画像が撮像された時点とは異なる位置で合焦したような再構成画像のデータを生成する制御を実行する制御手段と、
を備え、
前記制御手段は、前記記憶手段に記憶された前記誤差情報を補正情報として用いて、前記再構成画像のデータを生成する、
撮像装置。
【請求項１】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源と、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得部と、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得部と、
前記画像取得部により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得部により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出部と、
前記誤差算出部により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力部と、
を備えることを特徴とする撮像装置の製造装置。
【請求項２】
前記誤差算出部は、さらに、前記ライトフィールド画像のデータ及び前記理想パラメータを用いて、前記複数のマイクロレンズの個々のピッチの誤差を算出する、
請求項１に記載の撮像装置の製造装置。
【請求項３】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、
平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置が実行する製造方法において、
前記光源が、平行光又は均等拡散光を前記撮像装置に照射させた状態で、前記撮像装置に前記光源を撮像させる撮像ステップと、
前記撮像ステップにおいて前記撮像装置の撮像の結果得られた、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得ステップと、
前記平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得ステップと、
前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得ステップにおいて取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出ステップと、
前記誤差算出ステップにおいて算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力ステップと、
を含むことを特徴とする撮像装置の製造方法。
【請求項４】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置の製造装置であって、平行光又は均等拡散光を前記撮像装置に照射する光源を備える撮像装置の製造装置を制御するコンピュータに、
平行光又は均等拡散光を照射している前記光源が前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
平行光又は均等拡散光を照射している前記光源が理想的な撮像装置により予め撮像された結果として予め得られている理想的なライトフィールド画像のデータ、又は、前記理想的な撮像装置の前記光学系の設計値から求められるパラメータを、理想パラメータとして取得する理想パラメータ取得機能、
前記画像取得機能により取得された前記ライトフィールド画像のデータ、及び、前記理想パラメータ取得機能により取得された前記理想パラメータを用いて、前記撮像装置の製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を算出する誤差算出機能、
前記誤差算出機能により算出された前記各誤差を示す情報、又は前記各誤差に基づいて生成される情報を、誤差情報として前記撮像装置に出力する誤差情報出力機能、
を実現させることを特徴とするプログラム。
【請求項５】
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を含む光学系を有し、前記光学系により被写体を撮像して、その結果得られるライトフィールド画像のデータを出力する撮像手段と、
製造時に生ずる前記マイクロレンズアレイの位置及び平行度の各誤差を示す誤差情報を予め記憶する記憶手段と、
前記撮像手段から出力された前記ライトフィールド画像のデータに基づいて、当該ライトフィールド画像が撮像された時点とは異なる位置で合焦したような再構成画像のデータを生成する制御を実行する制御手段と、
を備え、
前記制御手段は、前記記憶手段に記憶された前記誤差情報を補正情報として用いて、前記再構成画像のデータを生成する、
撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【公開番号】特開２０１２−２０５０１４（Ｐ２０１２−２０５０１４Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６６６６５（Ｐ２０１１−６６６６５）
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]