立体撮像システム、補正装置およびそのプログラム
【課題】本発明は、レンズアレイおよび光学部材が含まれる光学系において、画質劣化を防止して、少なくとも色収差による歪みを容易に補正するインテグラル方式の立体撮像技術を提供する。
【解決手段】立体撮像システム１００は、白色光を発光する補正用白色被写体１０を撮像して色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正するものであって、全ての屈折率分布レンズ２１に白色光を入射させる補正用白色被写体１０と、屈折率分布レンズアレイ２０と、集光レンズ３０と、カメラ４０と、３原色の補正用画像から屈折率分布レンズ２１の位置を検出し、検出した屈折率分布レンズ２１の位置を一致させる補正データを算出する補正装置５０と、データ転送線６０とを備える。
【解決手段】立体撮像システム１００は、白色光を発光する補正用白色被写体１０を撮像して色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正するものであって、全ての屈折率分布レンズ２１に白色光を入射させる補正用白色被写体１０と、屈折率分布レンズアレイ２０と、集光レンズ３０と、カメラ４０と、３原色の補正用画像から屈折率分布レンズ２１の位置を検出し、検出した屈折率分布レンズ２１の位置を一致させる補正データを算出する補正装置５０と、データ転送線６０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インテグラル方式の立体撮像において、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正する技術に関する。
【背景技術】
【０００２】
撮像装置（カメラ）における撮像用レンズの色収差による歪みを含めた幾何学歪みを補正する技術として、白黒パターンが規則正しく並んだ測定用パターン(例えば、チェスボードパターン)や、規則正しい間隔で表示された格子状の測定用パターンを用いる手法が提案されている（非特許文献１）。
【０００３】
この非特許文献１に記載の技術は、白黒パターンの頂点が隣接する点または格子の交点を測定ポイントとし、撮像用レンズの中心から端までの範囲をＲＧＢの各撮像素子によって撮像し、各測定ポイントが直線状に配置されるように撮像装置の幾何学歪みを補正するものである。
【０００４】
また、複数台の撮像装置を用いる場合において、被写体の中から既知の３次元自然特徴点を抽出し、それらが一致するようにキャリブレーションを行う手法が提案されている（非特許文献２）。
要するに、非特許文献１，２に記載の技術では、既知のパターンを用いて、色収差による歪みを含む幾何学歪みの補正を行なっている。
【０００５】
ここで、撮像装置における色収差は、ズームやアイリスなどのレンズパラメータに応じて変化する。このため、レンズパラメータに応じて変化する倍率色収差の補正パラメータを事前に求め、信号処理による色収差補正を行う技術が提案されている（非特許文献３）。
【０００６】
近年、立体表示装置および立体撮像装置の研究開発が進み、特殊なメガネを用いなくても観察者に立体像を視認させることが可能なインテグラルフォトグラフィー（以下、「ＩＰ」）が注目されている。このＩＰにおいて、１画素の位置ずれ量が２次元画像と比較して大きいことが知られている（非特許文献４および特許文献１）。光学系における色収差歪みおよび幾何学歪みは、位置ずれの要因の一つであることから、色収差および幾何学歪みによる再生立体像の劣化は大きくなる。そこで、ＩＰにおいても、立体撮像装置の位置ずれを補正する様々な技術が提案されている（特許文献２，３）。
【０００７】
特許文献２に記載の発明は、レンズアレイの各要素レンズを原色ごとに利用することで色収差をなくしている。すなわち、特許文献２に記載の発明は、ある要素レンズでは赤色のみの要素画像の光線を再生し、別の要素レンズでは緑色のみの要素画像の光線を再生し、さらに別の要素レンズでは青色のみの要素画像の光線を再生する。つまり、特許文献２に記載の発明は、各要素レンズがベイヤー配列の単板カラー撮像素子のように利用されることになる。このため、特許文献２に記載の発明は、各要素レンズを出力する色ごとに最適化することで、色収差による歪みを抑えている。
【０００８】
特許文献３に記載の発明は、撮像系レンズアレイと表示系レンズアレイとの間に位置誤差が生じている場合、撮像系レンズアレイおよび表示系レンズアレイにおける各要素レンズの位置を検出して、立体撮像装置で撮像された映像の各要素画像の位置を、表示系の複眼レンズの要素レンズの位置に適合させるように補正するものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−１８６２７６号公報
【特許文献２】特開２００１−１３３７２７号公報
【特許文献３】特開２００４−３３６２３９号公報
【非特許文献】
【００１０】
【非特許文献１】「A flexible new technique for camera calibration」，http://opencv.jp/sample/camera_calibration.html,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334,2000.
【非特許文献２】「Multiframe Image Point Matching and 3-D Surface Reconstruction.」，R.Y.Tsai.,IEEE Trans. on PAMI,5(2),159〜173,1983.
【非特許文献３】「信号処理による色収差補正における補正データ生成に関する検討」，山下、船津、三谷、野尻、中須，２０１０年電子情報通信学会総合大会，Ｄ−１１−１１０
【非特許文献４】「Geometrical effects of positional errors in integral photography」,J.Arai,M.Okui,M.Kobayashi,F.Okano,Journal of Optical Society of America,vol.21,no.6,June 2004
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前記した従来技術には、以下で説明するような問題がある。
非特許文献１，２に記載の技術は、ＩＰに適用した場合、既知の測定用パターンをレンズアレイの被写体側に配置する必要があるので、撮像面上ではレンズアレイ越しに既知の測定用パターンを撮影することになる。この場合、非特許文献１，２に記載の技術では、立体撮像装置での取得画像が歪んで既知の測定用パターンと異なる画像になるため、ＩＰにおいて、色収差による歪みおよび幾何学歪みを補正することが困難である。
【００１２】
また、非特許文献３に記載された技術は、レンズパラメータごとに補正パラメータを取得する。そして、非特許文献３に記載された技術は、補正パラメータのないレンズパラメータの場合、そのレンズパラメータに対応する補正パラメータを、既に取得した前後の補正パラメータから補間する。しかし、ＩＰでは、レンズアレイおよび集光レンズがカメラと一体化（固着）していないため、レンズアレイ、集光レンズおよびカメラの相対位置は、不規則に変化する。このため、非特許文献３に記載された技術は、ＩＰに適した手法と言えるものではない。
【００１３】
特許文献２に記載の発明では、要素レンズを３原色で共通にした場合に比べて、３原色ごとに専用の要素レンズを必要とするため、立体像を生成する実質的な画素数が減少してしまう。さらに、特許文献２に記載の発明では、レンズアレイ以外の撮像用レンズおよび集光レンズによる色収差による歪みおよび幾何学歪みが考慮されていない。言い換えるなら、ＩＰでは、レンズアレイ、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みを補正する必要がある。
【００１４】
また、特許文献１および非特許文献４に記載の発明でも、特許文献２に記載の発明と同様、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みの補正が考慮されていない。
【００１５】
特許文献３に記載の発明では、撮像および表示の光学系が一致していると仮定し、撮像系レンズアレイの製造上の位置と表示系レンズアレイの製造上の位置との誤差を補正することを目的としており、色収差による要素レンズの位置ずれが一切考慮されていない。
【００１６】
そこで、本発明は、前記した問題を解決し、レンズアレイおよび光学部材が含まれる光学系において、画質劣化を防止して、少なくとも色収差による歪みを容易に補正するインテグラル方式の立体撮像技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記した課題に鑑みて、本願第１発明に係る立体撮像システムは、補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、白色光を発光する補正用白色被写体と、レンズアレイと、光学部材と、撮像装置と、補正装置と、を備えることを特徴とする。
【００１８】
かかる構成によれば、立体撮像システムのレンズアレイは、補正用白色被写体からの白色光が２次元に配置された要素レンズに入射する。このように、立体撮像システムは、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えることができる。また、立体撮像システムの光学部材は、レンズアレイに対向し、かつ、要素レンズに入射した補正用白色被写体からの白色光の光路上に配置される。
【００１９】
また、立体撮像システムの撮像装置は、例えば、３原色の撮像素子と、撮像用レンズとを有する。そして、立体撮像システムは、撮像装置によって、光学部材を介して補正用白色被写体を撮像することで、要素レンズの配列を示す３原色の補正用画像を生成する。つまり、撮像装置は、白色光を照射する補正用白色被写体を背にレンズアレイを撮像する。従って、撮像装置が撮像した補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、立体撮像システムは、測定用パターンの歪みを考慮する必要がない。
【００２０】
また、立体撮像システムは、補正装置によって、撮像装置が生成した３原色の補正用画像から要素レンズの位置を検出し、検出した要素レンズの位置を一致させる補正データを算出し、補正データを用いて、撮像画像を補正する。つまり、立体撮像システムは、補正装置によって、撮像用被写体を撮像する前、レンズアレイおよび光学部材を介して補正用白色被写体を撮像し、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。そして、立体撮像システムは、補正装置によって、この補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。
【００２１】
本願第２発明に係る立体撮像システムは、補正用白色被写体が、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする。
かかる構成によれば、立体撮像システムは、レンズアレイの全面に白色光を入射させるので、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出することができる。
【００２２】
前記した課題に鑑みて、本願第３発明に係る補正装置は、白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、レンズアレイおよび光学部材を介して補正用白色被写体を撮像する撮像装置とを備える立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するものであって、補正用画像入力手段と、補正用２値化手段と、補正用レンズ位置検出手段と、補正データ算出手段と、を備えることを特徴とする。
【００２３】
かかる構成によれば、補正装置は、補正用画像入力手段によって、撮像装置から、要素レンズの配列を示す３原色の補正用画像が入力される。ここで、３原色ごとに専用の要素レンズを必要とせずに撮像可能な補正用画像を用いるため、補正装置は、実質的な画素数の減少を抑えることができる。また、撮像装置によって撮像された補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、補正装置は、測定用パターンの歪みを考慮する必要がない。
【００２４】
また、補正装置は、補正用２値化手段によって、３原色の補正用画像に対して、２値化処理を行う。そして、補正装置は、補正用レンズ位置検出手段によって、補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、要素レンズの位置を検出する。さらに、補正装置は、補正データ算出手段によって、補正用レンズ位置検出手段が検出した要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。
【００２５】
つまり、補正装置は、撮像画像を補正する前、レンズアレイおよび光学部材を介して撮像された補正用画像から、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。
【００２６】
本願第４発明に係る補正装置は、補正データ算出手段が、３原色のうちの何れか１原色である基準色の補正用画像から検出した要素レンズの位置に、他の２原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪みを補正する補正データを、高い精度で算出することができる。
【００２７】
本願第５発明に係る補正装置は、要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、補正データ算出手段が、補正基準位置記憶手段が記憶する要素レンズの基準位置に、３原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪に加えて幾何学歪みも補正できる補正データを、高い精度で算出することができる。
【００２８】
本願第６発明に係る補正装置は、撮像装置から、撮像用被写体が撮像された３原色の撮像画像が入力される撮像画像入力手段と、撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、２値化処理が行われた３原色の撮像画像において、要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて補正データ算出手段が算出した補正データを修正する補正データ修正手段と、補正データ修正手段が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、をさらに備えることを特徴とする。
【００２９】
ここで、例えば、円形のレンズ面を有する要素レンズの場合、撮像画像では、要素レンズのレンズ面が半月状で撮像されるというように、要素レンズのレンズ面全体が撮像されないことがある。この撮像画像に対して、重心検出処理、点像群検出処理またはパターンマッチングを行うと、補正装置は、要素レンズの位置を検出できない場合や、要素レンズの位置を誤検出する場合がある。この状態で算出した補正データを用いて補正を行うと、撮像画像の歪みがかえって大きくなることがある。そこで、撮像装置は、検出対象要素レンズ設定手段によって、レンズ面全体が撮像された検出対象要素レンズを設定し、撮像用レンズ位置検出手段によって、レンズ面全体が撮像された検出対象要素レンズの位置を撮像画像から検出する。
【００３０】
また、補正用白色被写体を撮像してから、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じる場合がある。そこで、補正装置は、補正データ修正手段によって、補正用画像から検出した要素レンズと検出対象要素レンズとの位置ずれの平均値を算出し、この平均値を補正データに反映させる。その後、補正装置は、修正済みの補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。
【００３１】
本願第７発明に係る補正装置は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、補正用画像入力手段に入力された３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、撮像装置から入力された３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、をさらに備え、補正用２値化手段が、補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、撮像用２値化手段が、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、歪み補正手段が、補正データに基づいて、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする。
【００３２】
ここで、例えば、補正用白色被写体、光学部材、撮像装置の撮像用レンズおよび撮像素子の特性によって、補正用画像および撮像画像にシェーディングが発生することがある。この状態で２値化処理を行っても、補正用画像および撮像画像から正確な２値化画像を得ることが困難である。その結果、補正装置は、要素レンズの位置検出精度が低下することがある。そこで、補正装置は、補正用シェーディング補正手段および撮像用シェーディング補正手段によって、補正用画像および撮像画像にそれぞれシェーディング補正を行う。
【００３３】
なお、本願第３発明に係る補正装置は、一般的なコンピュータを、補正用画像入力手段、補正用２値化手段、補正用レンズ位置検出手段および補正データ算出手段として機能させる補正プログラムによって実現することもできる。
【発明の効果】
【００３４】
本発明によれば、以下のような優れた効果を奏する。
本願第１，３発明によれば、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、本願第１，３発明によれば、白い背景に要素レンズの配列が写る補正用画像を用いるため、測定用パターンの歪みを考慮する必要がなく、レンズアレイおよび光学部材が含まれる光学系において、少なくとも色収差による歪みを容易に補正することができる。従って、本願第１，３発明によれば、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【００３５】
本願第２発明によれば、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出でき、要素レンズの位置検出精度を向上させることができる。
本願第４発明によれば、色収差による歪みを高い精度で補正することができる。
本願第５発明によれば、色収差による歪みおよび幾何学歪みを高い精度で補正することができる。
【００３６】
本願第６発明によれば、レンズ面全体が撮像された検出対象要素レンズの位置を検出するため、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。さらに、本願第６発明によれば、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じた場合でも、その相対位置のずれを修正データに反映するため、少なくとも色収差による歪みを高い精度で補正することができる。
【００３７】
本願第７発明によれば、シェーディングによる悪影響を防止するので、要素レンズの配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、本願第７発明によれば、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１実施形態に係る立体撮像システムの全体構成図である。
【図２】（ａ）は、本発明の第１実施形態における補正用画像の一例を示す図であり、（ｂ）は、色収差による歪みを説明する図である。
【図３】図１の補正装置の構成を示すブロック図である。
【図４】図３の補正用レンズ位置検出手段の構成を示す第１のブロック図である。
【図５】図３の補正用レンズ位置検出手段の構成を示す第２のブロック図である。
【図６】図３の補正用レンズ位置検出手段の構成を示す第３のブロック図である。
【図７】図３の補正用レンズ位置検出手段の構成を示す第４のブロック図である。
【図８】図３の補正データ算出手段を説明する図である。
【図９】図３の撮像用レンズ位置検出手段の構成を示す第１のブロック図である。
【図１０】図３の撮像用レンズ位置検出手段の構成を示す第２のブロック図である。
【図１１】図３の歪み補正手段における２次元画像処理を説明する図である。
【図１２】図３の歪み補正手段における３次元画像処理を説明する図である。
【図１３】図１の立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図１４】図１の立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。
【図１５】本発明の第２実施形態に係る立体撮像システムの全体構成図である。
【図１６】本発明の第３実施形態に係る補正装置の構成を示すブロック図である。
【図１７】図１６の補正データ算出手段を説明する図である。
【図１８】本発明の第３実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図１９】本発明の第４実施形態において、シェーディングの影響を説明する図である。
【図２０】本発明の第４実施形態において、補正データを算出するときのシェーディング補正を説明する図である。
【図２１】本発明の第４実施形態において、撮像画像を補正するときのシェーディング補正を説明する図である。
【図２２】本発明の第４実施形態に係る補正装置の構成を示すブロック図である。
【図２３】本発明の第４実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図２４】本発明の第４実施形態に係る立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。
【図２５】本発明の実施例１として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをベクトル表現した図である。
【図２６】本発明の実施例１として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。
【図２７】本発明の実施例１として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。
【図２８】本発明の実施例２として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをメッシュ表現したグラフである。
【図２９】本発明の実施例２として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。
【図３０】本発明の実施例２として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。
【発明を実施するための形態】
【００３９】
（第１実施形態：色収差による歪みの補正）
［立体撮像システムの概略］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略する。
図１を参照して、本発明の第１実施形態に係る立体撮像システム１００において、色収差による歪みの補正方法を簡単に説明する。
【００４０】
立体撮像システム１００は、インテグラル方式で立体像を撮像するときに、補正用白色被写体１０を撮像して色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体（不図示）が撮像された撮像画像を補正するものである。
この立体撮像システム１００は、例えば、撮影スタジオ内に構築されていることとする。また、補正用白色被写体１０、屈折率分布レンズアレイ２０および集光レンズ３０は、例えば、図示を省略した三脚に置載されており、撮影スタジオ内の任意位置に配置可能とする。
【００４１】
まず、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側端面がカメラ４０のフォーカス位置になるように、屈折率分布レンズアレイ２０を手動で配置する。そして、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置し、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する。その後、カメラ４０は、補正用白色被写体１０を撮像する。
【００４２】
具体的には、カメラ４０は、赤色、緑色および青色という３原色ごとの補正用画像を撮像する。例えば、補正用画像は、それぞれ、図２（ａ）に示すように、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示すことになる。この場合、補正用画像は、それぞれ、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１での色収差による歪みの影響を受けることになる。このため、図２（ｂ）に示すように、同一の屈折率分布レンズ２１であっても、緑色での屈折率分布レンズ２１Ｇと、青色での屈折率分布レンズ２１Ｂと、赤色での屈折率分布レンズ２１Ｂとの間には、中心位置のずれが生じる。そこで、立体撮像システム１００は、補正装置５０によって、屈折率分布レンズ２１の位置ずれを検出して、色収差による歪みを補正する。
【００４３】
［立体撮像システムの構成］
図１に戻り、立体撮像システム１００の構成について説明する。
立体撮像システム１００は、補正用白色被写体１０と、屈折率分布レンズアレイ（レンズアレイ）２０と、集光レンズ（光学部材）３０と、カメラ（撮像装置）４０と、補正装置５０と、データ転送線６０とを備える。
【００４４】
補正用白色被写体１０は、屈折率分布レンズ２１に白色光を入射させるものである。このとき、補正用白色被写体１０は、全ての屈折率分布レンズ２１に白色光を入射させることが好ましい。
【００４５】
具体的には、補正用白色被写体１０は、例えば、屈折率分布レンズアレイ２０をカメラ側端面から撮像したとき、各屈折率分布レンズ２１のカメラ側端面が白くなるサイズの白色画像表示装置または白色光源である。この白色画像表示装置は、その表示面全体に白画像を表示する液晶モニタである。また、この白色光源は、白色光を発光する照明（ライト）である。
【００４６】
また、補正用白色被写体１０は、後記する補正装置５０における屈折率分布レンズ２１の位置検出手法に応じて、拡散白色光または平行白色光の何れかを出射する。ここで、拡散白色光を出射する場合、補正用白色被写体１０は、白色光を十分に拡散させるために拡散フィルタ（不図示）を装着することが好ましい。
なお、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係については、後記する。
【００４７】
屈折率分布（ＧＲＩＮ：Graded INdex）レンズアレイ２０は、要素レンズとしての屈折率分布レンズ２１を２次元に配置したものである。また、屈折率分布レンズアレイ２０は、全ての屈折率分布レンズ２１に、補正用白色被写体１０からの白色光が入射する。
【００４８】
具体的には、屈折率分布レンズアレイ２０は、光軸に垂直な方向に屈折率分布を有する屈折率分布レンズ２１が、縦横に整列したマトリクス状に配置される。また、屈折率分布レンズアレイ２０は、屈折率分布レンズ２１が、互いに半分ずらした俵ずみ状に配置されてもよい（デルタ配列）。このように、屈折率分布レンズアレイ２０を用いることで、立体撮像システム１００は、凸レンズを用いたレンズアレイで発生する奥行き情報の反転を防止することができる。
【００４９】
ここで、屈折率分布レンズ２１は、光軸方向の長さをＺとし、蛇行周期長をＰとしたとき、下記の式（１）を満たすことで、屈折率分布レンズ２１の外側に主点を持つことになる。
Ｐ／２＜Ｚ＜Ｐ ・・・式（１）
【００５０】
さらに、屈折率分布レンズ２１は、光軸方向の長さＺが、下記の式（２）を満たすことが好ましい。この場合、屈折率分布レンズ２１は、被写体側の無限遠に焦点を持つとともにカメラ側の端面に結像する。このため、屈折率分布レンズアレイ２０は、隣接する他の屈折率分布レンズ２１との間で、クロストークを防止することができる。
Ｚ＝３Ｐ／４ ・・・式（２）
【００５１】
なお、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（１）を満たす代わりに、式（３）を満たしてもよい。だたし。式（３）では、ｎは２以上の整数である。
Ｐ／２＋（ｎ−１）Ｐ＜Ｚ＜ｎＰ ・・・式（３）
【００５２】
また、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（２）を満たす代わりに、式（４）を満たしてもよい。だたし。式（４）では、ｎは２以上の整数である。
Ｚ＝３Ｐ／４＋（ｎ−１）Ｐ ・・・式（４）
【００５３】
集光レンズ３０は、屈折率分布レンズアレイ２０に対向し、かつ、屈折率分布レンズ２１に入射した補正用白色被写体１０からの白色光の光路上に配置されるものである。例えば、集光レンズ３０は、凸レンズであり、補正用白色被写体１０からの白色光をカメラ４０に集光する。
【００５４】
カメラ４０は、撮像用レンズ４１と、赤色の画像を撮像する撮像素子４３Ｒと、緑色の画像を撮像する撮像素子４３Ｇと、青色の画像を撮像する撮像素子４３Ｂとを有する３板式のカメラである。３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂとしては、例えば、ＣＣＤ（Charged Coupled Device）、または、ＣＭＯＳ（相補型金属酸化膜半導体）を用いることができる。
【００５５】
また、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像することで、屈折率分布レンズ２１の配列を示す３原色の補正用画像を生成する（図２（ａ）参照）。また、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像することで、３原色の撮像画像を生成する。その後、カメラ４０は、データ転送線６０を介して、この補正用画像および撮像画像を補正装置５０に転送する。
【００５６】
ここで、カメラ４０は、プリズム、ハーフミラーなどの分光手段（不図示）を備えてもよい。この分光手段は、撮像用レンズ４１からの出射光を分光して、３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂに入射させる。この場合、カメラ４０は、３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂをずらして配置することで、より高精細な画像を撮像することができる。
【００５７】
補正装置５０は、カメラ４０によって転送された３原色の補正用画像から屈折率分布レンズ２１の位置を検出し、検出した屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。そして、補正装置５０は、算出した補正データを用いて、カメラ４０から転送された３原色の撮像画像を補正する。
【００５８】
［補正装置の構成］
図３を参照して、補正装置５０の構成について説明する（適宜図１参照）。
図３に示すように、補正装置５０は、補正用画像入力手段５０１と、補正用２値化手段５０２と、補正用レンズ位置検出手段５０３と、補正データ算出手段５０４と、撮像画像入力手段５０５と、撮像用２値化手段５０６と、検出対象要素レンズ設定手段５０７と、撮像用レンズ位置検出手段５０８と、補正データ修正手段５０９と、歪み補正手段５１０とを備える。
【００５９】
補正用画像入力手段５０１は、カメラ４０から３原色の補正用画像が転送されるものであり、Ｒ補正用画像バッファ５０１Ｒと、Ｇ補正用画像バッファ５０１Ｇと、Ｂ補正用画像バッファ５０１Ｂとを備える。
【００６０】
Ｒ補正用画像バッファ５０１Ｒは、カメラ４０から転送された赤色の補正用画像を蓄積するバッファメモリである。このＲ補正用画像バッファ５０１Ｒが蓄積する赤色の補正用画像は、後記するＲ補正用２値化手段５０２Ｒによって読み出される。
【００６１】
Ｇ補正用画像バッファ５０１ＧおよびＢ補正用画像バッファ５０１Ｂは、それぞれ、Ｒ補正用画像バッファ５０１Ｒと同様、緑色の補正用画像および青色の補正用画像を蓄積するバッファメモリである。
【００６２】
補正用２値化手段５０２は、３原色の補正用画像に対して、２値化処理を行うものであり、Ｒ補正用２値化手段５０２Ｒと、Ｇ補正用２値化手段５０２Ｇと、Ｂ補正用２値化手段５０２Ｂとを備える。
【００６３】
Ｒ補正用２値化手段５０２Ｒは、Ｒ補正用画像バッファ５０１Ｒから赤色の補正用画像を読み出して、この赤色の補正用画像を輝度画像に変換する。そして、Ｒ補正用２値化手段５０２Ｒは、この輝度画像に２値化処理を行って２値化画像を生成する。例えば、Ｒ補正用２値化手段５０２Ｒは、輝度画像の各画素（注目画素）の輝度値と予め設定した閾値とを比較して、注目画素の輝度値が閾値以上の場合には注目画素を白色とし、注目画素の輝度値が閾値未満の場合には注目画素を黒色とする。このようにして、Ｒ補正用２値化手段５０２Ｒは、赤色の補正用画像から、前景となる屈折率分布レンズ２１に対応する画素が白色で、背景となる補正用白色被写体１０に対応する画素が黒色で表された２値化画像を生成する。つまり、この２値化画像は、屈折率分布レンズ２１の領域（屈折率分布レンズ２１のレンズ面内）が白色で、屈折率分布レンズ２１以外の領域（屈折率分布レンズ２１同士の隙間）が黒色となる。その後、Ｒ補正用２値化手段５０２Ｒは、生成した２値化画像を補正用レンズ位置検出手段５０３に出力する。
【００６４】
Ｇ補正用２値化手段５０２ＧおよびＢ補正用２値化手段５０２Ｂは、それぞれ、Ｒ補正用２値化手段５０２Ｒと同様、緑色の補正用画像および青色の補正用画像に２値化処理を行うため、詳細な説明を省略する。
【００６５】
補正用レンズ位置検出手段５０３は、補正用２値化手段５０２によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、屈折率分布レンズ２１の位置を検出するものである。ここで、補正用レンズ位置検出手段５０３は、重心検出処理、点像群検出処理またはパターンマッチングを単独で行うか、または、重心検出処理と点像群検出処理とを組み合わせることができる。以下、屈折率分布レンズ２１の位置検出手法について、第１例〜第４例をあげて説明する。
【００６６】
＜第１例：重心検出処理＞
図４を参照して、屈折率分布レンズ２１の位置検出手法の第１例について説明する（適宜図３参照）。
図４に示すように、補正用レンズ位置検出手段５０３は、重心検出処理を行うため、Ｒ補正用重心検出手段５２３Ｒと、Ｇ補正用重心検出手段５２３Ｇと、Ｂ補正用重心検出手段５２３Ｂとを備える。
【００６７】
Ｒ補正用重心検出手段５２３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３Ｒは、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。例えば、Ｒ補正用重心検出手段５２３Ｒは、入力された赤色の補正用画像（２値化画像）に含まれる各白色領域（各屈折率分布レンズ２１の領域）において、縦横の中間位置を重心として検出する、または、この白色領域の面積により重心を検出することができる。その後、Ｒ補正用重心検出手段５２３Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用重心検出手段５２３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００６８】
Ｇ補正用重心検出手段５２３ＧおよびＢ補正用重心検出手段５２３Ｂは、それぞれ、Ｒ補正用重心検出手段５２３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に重心検出処理を行うため、詳細な説明を省略する。
【００６９】
＜第２例：点像群検出処理＞
図５を参照して、屈折率分布レンズ２１の位置検出手法の第２例について説明する（適宜図３参照）。
図５に示すように、補正用レンズ位置検出手段５０３は、点像群検出処理を行うため、Ｒ補正用点像群検出手段５３３Ｒと、Ｇ補正用点像群検出手段５３３Ｇと、Ｂ補正用点像群検出手段５３３Ｂとを備える。
【００７０】
ここで、補正用白色被写体１０が平行白色光を出射する場合、屈折率分布レンズアレイ２０の各屈折率分布レンズ２１における焦平面には、屈折率分布レンズアレイ２０が有する屈折率分布レンズ２１と同数の点像群が形成される。従って、この点像群を検出することで、屈折率分布レンズ２１の中心位置を求めることができる。
【００７１】
Ｒ補正用点像群検出手段５３３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３Ｒは、この２値化画像に点像群検出処理を行って、点像群を検出する。その後、Ｒ補正用点像群検出手段５３３Ｒは、検出した点像群における各点像の位置を、各屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用点像群検出手段５３３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００７２】
なお、点像群検出処理としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。
【００７３】
Ｇ補正用点像群検出手段５３３ＧおよびＢ補正用点像群検出手段５３３Ｂは、Ｒ補正用点像群検出手段５３３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に点像群検出処理を行うため、詳細な説明を省略する。
【００７４】
＜第３例：重心検出処理と点像群検出処理との組み合わせ＞
図６を参照して、屈折率分布レンズ２１の位置検出手法の第３例について説明する（適宜図３参照）。
【００７５】
図６に示すように、補正用レンズ位置検出手段５０３は、重心検出処理と点像群検出処理との両方を行うため、Ｒ補正用重心検出手段５２３Ｒと、Ｇ補正用重心検出手段５２３Ｇと、Ｂ補正用重心検出手段５２３Ｂと、Ｒ補正用点像群検出手段５３３Ｒと、Ｇ補正用点像群検出手段５３３Ｇと、Ｂ補正用点像群検出手段５３３Ｂとを備える。
【００７６】
Ｒ補正用点像群検出手段５３３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３Ｒは、この２値化画像に点像群検出処理を行って、点像群の検出結果である点像群検出画像を生成する。その後、Ｒ補正用点像群検出手段５３３Ｒは、この点像群検出画像をＲ補正用重心検出手段５２３Ｒに出力する。
【００７７】
Ｒ補正用重心検出手段５２３Ｒは、Ｒ補正用点像群検出手段５３３Ｒから、点像群検出画像（点像群検出処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３Ｒは、この点像群検出画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ補正用重心検出手段５２３Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。
【００７８】
このように、Ｒ補正用重心検出手段５２３Ｒは、点像群の位置を参考として、点像群画像を２値化してから重心を求めることで、屈折率分布レンズ２１の中心位置をより高い精度で求めることができる。
【００７９】
＜第４例：パターンマッチング＞
図７を参照して、屈折率分布レンズ２１の位置検出手法の第４例について説明する（適宜図３参照）。
図７に示すように、補正用レンズ位置検出手段５０３は、パターンマッチングを行うため、Ｒ補正用パターンマッチング手段５４３Ｒと、Ｇ補正用パターンマッチング手段５４３Ｇと、Ｂ補正用パターンマッチング手段５４３Ｂとを備える。
【００８０】
Ｒ補正用パターンマッチング手段５４３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用パターンマッチング手段５４３Ｒは、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。例えば、Ｒ補正用パターンマッチング手段５４３Ｒには、屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のテンプレート画像を手動で登録しておく。そして、Ｒ補正用パターンマッチング手段５４３Ｒは、パターンマッチング（例えば、正規化相関法）によって、入力された２値化画像からテンプレート画像にマッチする画像領域（つまり、屈折率分布レンズ２１の領域）を検出する。さらに、Ｒ補正用パターンマッチング手段５４３Ｒは、検出した各画像領域での中心位置を、各屈折率分布レンズ２１の中心位置として、補正データ算出手段５０４に出力する。このように、Ｒ補正用パターンマッチング手段５４３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００８１】
Ｇ補正用パターンマッチング手段５４３ＧおよびＢ補正用パターンマッチング手段５４３Ｂは、それぞれ、Ｒ補正用パターンマッチング手段５４３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像にパターンマッチングを行うため、詳細な説明を省略する。
【００８２】
ここで、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係について説明する。前記したように、点像群検出処理を行う場合（第２例および第３例）、補正用白色被写体１０が平行白色光を出射するとよい。その一方、点像群検出処理を利用しない場合（第１例および第４例）、拡散白色光を照射するとよい。
【００８３】
図３に戻り、補正装置５０の構成について説明を続ける。
補正データ算出手段５０４は、補正用レンズ位置検出手段５０３が検出した屈折率分布レンズ２１の位置を３原色の補正用画像の間で一致させる補正データを算出するものである。
【００８４】
具体的には、補正データ算出手段５０４は、補正用レンズ位置検出手段５０３から、赤色、緑色および青色の補正用画像で検出された各屈折率分布レンズ２１の中心位置が入力される。そして、補正データ算出手段５０４は、赤色、緑色および青色の何れか一色を基準色として、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。
【００８５】
以下、緑色を基準色として説明する。この場合、補正データ算出手段５０４は、図８に示すように、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧに対する、青色での屈折率分布レンズ２１Ｂの中心位置ＣＢのずれ量ΔＧ−Ｂを求める。また、補正データ算出手段５０４は、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧに対する、赤色での屈折率分布レンズ２１Ｒの中心位置ＣＲのずれ量ΔＧ−Ｒを求める。そして、補正データ算出手段５０４は、このずれ量ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４は、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。
【００８６】
また、補正データ算出手段５０４は、フィッティング関数を用いて、補正データを算出できる。例えば、屈折率分布レンズ２１が縦横に３×３個マトリクス上に配置され、撮像素子４３Ｒ，４３Ｇ，４３Ｂが縦横に３００×３００画素を有する場合を考える。この場合、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１が９個であるため、各原色の補正用画像から検出できる屈折率分布レンズ２１の最大位置数は、それぞれ９個となる。また、９個の屈折率分布レンズ２１は、それぞれの位置ずれ量が異なる。その一方、９個の位置ずれをもとに、３００×３００画素の画像を補正するためには、画素ごとに補正データが必要となる。つまり、各屈折率分布レンズ２１と、撮像素子４３Ｒ，４３Ｇ，４３Ｂの各画素とを対応させるため、９個の位置ずれを通るような曲面を生成する必要がある。そこで、この曲面として、９個の位置ずれにおける二乗誤差が最小になる高次関数の曲面を生成する。すなわち、フィッティング関数とは、この二乗誤差が最小になる高次関数のことである。
【００８７】
なお、フィッティング関数を生成する手法としては、例えば、文献“「超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化」，日下部祐一、金澤勝、岡野文男，映像情報メディア学会誌vol.60,no.2,pp.234-241,2006年”に記載された手法を用いることができる。
【００８８】
なお、屈折率分布レンズ２１の位置ずれを算出する数は、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１の個数に依存する。従って、補正データ算出手段５０４は、全ての屈折率分布レンズ２１から補正データを算出してもよく、一部の屈折率分布レンズ２１から補正データを算出してもよい。一部の屈折率分布レンズ２１から補正データを算出した場合、補正データ算出手段５０４は、残りの屈折率分布レンズ２１の補正データを補間するとよい。
【００８９】
撮像画像入力手段５０５は、カメラ４０から、３原色の撮像画像が転送されるものであり、Ｒ撮像画像バッファ５０５Ｒと、Ｇ撮像画像バッファ５０５Ｇと、Ｂ撮像画像バッファ５０５Ｂとを備える。
【００９０】
Ｒ撮像画像バッファ５０５Ｒは、カメラ４０から転送された赤色の撮像画像を蓄積するバッファメモリである。このＲ撮像画像バッファ５０５Ｒが蓄積する赤色の撮像画像は、後記するＲ撮像用２値化手段５０６Ｒによって読み出される。
【００９１】
Ｇ撮像画像バッファ５０５ＧおよびＢ撮像画像バッファ５０５Ｂは、それぞれ、Ｒ撮像画像バッファ５０５Ｒと同様、緑色の撮像画像および青色の撮像画像を蓄積するバッファメモリである。
【００９２】
撮像用２値化手段５０６は、３原色の撮像画像に対して、２値化処理を行うものであり、Ｒ撮像用２値化手段５０６Ｒと、Ｇ撮像用２値化手段５０６Ｇと、Ｂ撮像用２値化手段５０６Ｂとを備える。
【００９３】
Ｒ撮像用２値化手段５０６Ｒは、Ｒ撮像画像バッファ５０５Ｒから赤色の撮像画像を読み出して、この赤色の撮像画像を輝度画像に変換する。そして、Ｒ撮像用２値化手段５０６Ｒは、Ｒ補正用２値化手段５０２Ｒと同様、この輝度画像に２値化処理を行って２値化画像を生成する。その後、Ｒ撮像用２値化手段５０６Ｒは、生成した２値化画像をＲ検出対象要素レンズ設定手段５０７Ｒに出力する。
【００９４】
Ｇ撮像用２値化手段５０６ＧおよびＢ撮像用２値化手段５０６Ｂは、それぞれ、Ｒ撮像用２値化手段５０６Ｒと同様、緑色の撮像画像および青色の撮像画像に２値化処理を行うため、詳細な説明を省略する。
【００９５】
検出対象要素レンズ設定手段５０７は、２値化処理が行われた３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定するものである。このため、検出対象要素レンズ設定手段５０７は、Ｒ検出対象要素レンズ設定手段５０７Ｒと、Ｇ検出対象要素レンズ設定手段５０７Ｇと、Ｂ検出対象要素レンズ設定手段５０７Ｂとを備える。
【００９６】
Ｒ検出対象要素レンズ設定手段５０７Ｒは、Ｒ撮像用２値化手段５０６Ｒから２値化画像（２値化処理が行われた赤色の撮像画像）が入力される。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、この２値化画像にパターンマッチングを行うか、または、屈折率分布レンズ２１の総輝度値を算出することで、各屈折率分布レンズ２１が検出対象要素レンズであるか否かを判定する。さらに、Ｒ検出対象要素レンズ設定手段５０７Ｒは、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する。その後、Ｒ検出対象要素レンズ設定手段５０７Ｒは、設定した検出対象要素レンズを一意に識別する検出対象要素レンズ識別情報と、入力された２値化画像とを撮像用レンズ位置検出手段５０８に出力する。以下、検出対象要素レンズの判定手法について、第１例および第２例をあげて説明する。
【００９７】
＜第１例：パターンマッチング＞
Ｒ検出対象要素レンズ設定手段５０７Ｒには、レンズ面全体が見えるように屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のレンズ面全体を示すテンプレート画像を手動で登録しておく。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、入力された２値化画像に対して、このテンプレート画像を用いて、パターンマッチング（例えば、正規化相関法）を行う。
【００９８】
ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、パターンマッチングで検出されないことになる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、パターンマッチングで検出されることになる。そこで、Ｒ検出対象要素レンズ設定手段５０７Ｒは、パターンマッチングで検出された屈折率分布レンズ２１を検出対象要素レンズとして設定する。
【００９９】
＜第２例：屈折率分布レンズの総輝度値＞
Ｒ検出対象要素レンズ設定手段５０７Ｒは、レンズ面全体が見える状態で屈折率分布レンズ２１を撮像した２値化画像から、屈折率分布レンズ２１に対応する画像領域内画素の輝度値を合計した判定用総輝度値を予め算出する。つまり、この判定用総輝度値は、レンズ面全体が撮像された状態での屈折率分布レンズ２１に対応する画像領域の総輝度値である。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、入力された２値化画像において、屈折率分布レンズ２１に対応する画像領域内の画素の輝度値を合計して、屈折率分布レンズ２１ごとに総輝度値を算出する。さらに、Ｒ検出対象要素レンズ設定手段５０７Ｒは、算出した屈折率分布レンズ２１の総輝度値が判定用総輝度値以上であるか否かを判定する。
【０１００】
ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、その総輝度値が判定用総輝度値未満となる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、その総輝度値が判定用総輝度値以上となる。そこで、Ｒ検出対象要素レンズ設定手段５０７Ｒは、算出した総輝度値が判定用総輝度値以上と判定された屈折率分布レンズ２１を、検出対象要素レンズとして設定する。
【０１０１】
Ｇ検出対象要素レンズ設定手段５０７ＧおよびＢ検出対象要素レンズ設定手段５０７Ｂは、それぞれ、Ｒ検出対象要素レンズ設定手段５０７Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像において検出対象要素レンズを設定するため、詳細な説明を省略する。
【０１０２】
撮像用レンズ位置検出手段５０８は、撮像用２値化手段５０６によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出するものである。以下、検出対象要素レンズの位置検出手法について、第１例および第２例をあげて説明する。
【０１０３】
＜第１例：重心検出処理＞
図９を参照し、検出対象要素レンズの位置検出手法の第１例について説明する（適宜図３参照）。
図９に示すように、撮像用レンズ位置検出手段５０８は、重心検出処理を行うため、Ｒ撮像用重心検出手段５２８Ｒと、Ｇ撮像用重心検出手段５２８Ｇと、Ｂ撮像用重心検出手段５２８Ｂとを備える。
【０１０４】
Ｒ撮像用重心検出手段５２８Ｒは、Ｒ検出対象要素レンズ設定手段５０７Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用重心検出手段５２８Ｒは、Ｒ補正用重心検出手段５２３Ｒと同様、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ撮像用重心検出手段５２８Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の重心を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用重心検出手段５２８Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。
【０１０５】
Ｇ撮像用重心検出手段５２８ＧおよびＢ撮像用重心検出手段５２８Ｂは、それぞれ、Ｒ撮像用重心検出手段５２８Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像に重心検出処理を行うため、詳細な説明を省略する。
【０１０６】
＜第２例：パターンマッチング＞
図１０を参照し、検出対象要素レンズの位置検出手法の第２例について説明する（適宜図３参照）。
図１０に示すように、撮像用レンズ位置検出手段５０８は、パターンマッチングを行うため、Ｒ撮像用パターンマッチング手段５４８Ｒと、Ｇ撮像用パターンマッチング手段５４８Ｇと、Ｂ撮像用パターンマッチング手段５４８Ｂとを備える。
【０１０７】
Ｒ撮像用パターンマッチング手段５４８Ｒは、Ｒ検出対象要素レンズ設定手段５０７Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用パターンマッチング手段５４８Ｒは、Ｒ補正用パターンマッチング手段５４３Ｒと同様、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。さらに、Ｒ撮像用パターンマッチング手段５４８Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の中心位置を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用パターンマッチング手段５４８Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。
【０１０８】
Ｇ撮像用パターンマッチング手段５４８ＧおよびＢ撮像用パターンマッチング手段５４８Ｂは、それぞれ、Ｒ撮像用パターンマッチング手段５４８Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像にパターンマッチングを行うため、詳細な説明を省略する。
【０１０９】
前記したように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、検出対象要素レンズとして設定されることがない。このため、第１例〜第４例の何れを用いた場合でも、撮像用レンズ位置検出手段５０８は、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。
【０１１０】
図３に戻り、補正装置５０の構成について説明を続ける。
補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて、補正データ算出手段５０４が算出した補正データを修正するものである。
【０１１１】
ここで、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１の相対位置にずれが生じる場合がある。そこで、補正データ修正手段５０９は、補正用画像から検出した屈折率分布レンズ２１の中心位置と、検出対象要素レンズの中心位置との位置ずれの平均値を算出し、この平均値を補正データに反映させる。
【０１１２】
具体的には、補正データ修正手段５０９は、補正データ算出手段５０４から、補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とが入力される。また、補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８から、赤色、緑色および青色での検出対象要素レンズの中心位置が入力される。そして、補正データ修正手段５０９は、３原色ごとに、この検出対象要素レンズの中心位置と、この検出対象要素レンズに対応する屈折率分布レンズ２１の中心位置との位置ずれ量を算出する。さらに、補正データ修正手段５０９は、３原色ごとに、算出した全ての位置ずれ量の平均値を算出して、この平均値を補正データに加算する。その後、補正データ修正手段５０９は、修正した補正データを歪み補正手段５１０に出力する。これによって、補正データ修正手段５０９は、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に生じた中心位置ずれを補正データに反映させることができる。
【０１１３】
歪み補正手段５１０は、補正データ修正手段５０９が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正するものである。具体的には、歪み補正手段５１０は、カメラ４０から、３原色ごとの撮像画像（動画）が入力される。この撮像画像（動画）は、撮像用被写体を撮像した撮像画像がフレーム画像として連続したものである。また、歪み補正手段５１０は、補正データ修正手段５０９から、修正済みの補正データが入力される。そして、基準色が緑色であるため、歪み補正手段５１０は、赤色および青色の撮像画像での屈折率分布レンズ２１の中心位置か、緑色の撮像画像での屈折率分布レンズ２１の中心位置に一致するように、赤色および青色の撮像画像を補正する（図８参照）。その後、歪み補正手段５１０は、緑色の撮像画像と、補正済みの赤色および青色の撮像画像とを合成して出力する。以下、撮像画像の補正方法について、第１例および第２例をあげて説明する。
【０１１４】
＜第１例：２次元画像処理＞
以下、図１１を参照して、撮像画像の補正方法の第１例について説明する（適宜図１，図３参照）。
【０１１５】
屈折率分布レンズアレイ２０は、カメラ側端面が平面である（図１参照）。このため、歪み補正手段５１０は、２次元画像処理によって、色収差による歪みだけでなく、姿勢変化による位置ずれ（例えば、水平、垂直、回転およびあおり）も補正することが可能となる。
【０１１６】
図１１（ａ）のように、補正用白色被写体１０を撮像してから、図１１（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化することがある。図１１（ｂ）の例では、屈折率分布レンズアレイ２０とカメラ４０との間で、相対的な姿勢変化によって、水平方向の位置ずれが生じる。この場合、図１１（ｃ）に示すように、歪み補正手段５１０は、２次元画像処理によって、補正用画像から検出された屈折率分布レンズ２１の中心位置と、撮像画像から検出された検出対象要素レンズの中心位置とを比較、一致させる。これによって、歪み補正手段５１０は、姿勢変化による位置ずれも補正することができる
【０１１７】
例えば、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間、右方向に１画素分移動した場合を考える。この場合、歪み補正手段５１０は、補正用画像を右方向に１画素移動させた後、移動させた補正用画像と撮像画像とを用いて補正を行うことになる。
なお、移動方向と逆の方向（本例では左）にある補正用画像の左端の縦１列（右に１画素移動したので縦１列）では、その補正データが存在しないため、歪み補正手段５１０は、周辺画素の補正データから補間する。
【０１１８】
＜第２例：３次元画像処理＞
以下、図１２を参照して、撮像画像の補正方法の第２例について説明する（適宜図１，図３参照）。
ここで、図１２（ａ）のように、補正用白色被写体１０を撮像してから、図１２（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化したとする。
【０１１９】
この場合、図１２（ｃ）に示すように、歪み補正手段５１０は、３次元画像処理（例えば、光線追跡法）によって、この姿勢変化から、屈折率分布レンズアレイ２０とカメラ４０とが相対的に正しい位置での光線を推定することができる。従って、歪み補正手段５１０は、３次元画像処理を用いて、高い精度で補正を行うことができる。特に、屈折率分布レンズ２１の中心位置が設計位置からずれる場合（屈折率分布レンズアレイ２０に製造上の誤差がある場合）でも、歪み補正手段５１０は、３次元画像処理によって光線を正確に推定できるので、より高い精度で補正を行うことができる。
【０１２０】
ここで、光線追跡法としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。この文献に記載された手法を用いる場合、奥行き変更を行わない。
【０１２１】
なお、補正用白色被写体１０を撮像して補正データを算出する際、屈折率分布レンズアレイ２０とカメラ４０とを適切な位置に手動で配置しておくとよい。
また、歪み補正手段５１０は、動画として撮像された撮像画像だけでなく、静止画として撮像された撮像画像を補正できることは言うまでもない。
【０１２２】
［立体撮像システムの動作：補正データの算出］
図１３，図１４を参照して、補正データの算出および撮像画像の補正に分けて、図１の立体撮像システムの動作について説明する（適宜図１，図３参照）。
なお、図１３，図１４では、手動で行われる処理を破線で図示した。
【０１２３】
図１３に示すように、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ端面がカメラ４０の焦点位置になるように屈折率分布レンズアレイ２０を手動で配置する（ステップＳ１）。
【０１２４】
立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置する（ステップＳ２）。また、立体撮像システム１００では、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する（ステップＳ３）。
【０１２５】
カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像する。そして、補正装置５０は、カメラ４０から、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示す補正用画像が、補正用画像入力手段５０１に転送される（ステップＳ４）。
【０１２６】
補正装置５０は、補正用２値化手段５０２によって、３原色の補正用画像に対して、２値化処理を行う（ステップＳ５）。そして、補正装置５０は、補正用レンズ位置検出手段５０３によって、３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、３原色の補正用画像ごとに屈折率分布レンズ２１の位置を検出する（ステップＳ６）。
【０１２７】
補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１ごとに、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ７）。
【０１２８】
補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１の中心位置を一致させる補正データを算出する。すなわち、補正装置５０は、補正データ算出手段５０４によって、色収差による歪みを補正する補正データを算出する（ステップＳ８）。
【０１２９】
［立体撮像システムの動作：撮像画像の補正］
図１４に示すように、立体撮像システム１００では、補正用白色被写体１０に代えて、撮像用被写体を屈折率分布レンズアレイ２０の被写体側に手動で配置する（ステップＳ１０）。
【０１３０】
カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像する。そして、補正装置５０は、カメラ４０から、撮像用被写体が撮像された撮像画像が、撮像画像入力手段５０５に転送される（ステップＳ１１）。
【０１３１】
補正装置５０は、撮像用２値化手段５０６によって、３原色の撮像画像に対して、２値化処理を行う（ステップＳ１２）。そして、補正装置５０は、検出対象要素レンズ設定手段５０７によって、３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する（ステップＳ１３）。
【０１３２】
補正装置５０は、撮像用レンズ位置検出手段５０８によって、３原色の撮像画像ごとに、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する（ステップＳ１４）。
【０１３３】
補正装置５０は、補正データ修正手段５０９によって、検出した検出対象要素レンズの位置ずれ量の平均値を算出する（ステップＳ１５）。そして、補正装置５０は、補正データ修正手段５０９によって、この平均値を補正データに加算して、補正データを修正する（ステップＳ１６）。さらに、補正装置５０は、歪み補正手段５１０によって、修正済みの補正データに基づいて、３原色の撮像画像を２元画像処理または３次元画像処理によって補正する（ステップＳ１７）。
【０１３４】
以上のように、本発明の第１実施形態に係る立体撮像システム１００は、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、立体撮像システム１００は、白い背景で各要素レンズを撮像した補正用画像を用いるため、測定用パターンの歪みを考慮する必要がない。このため、立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１３５】
（変形例１：凹レンズアレイ）
前記した立体撮像システム１００は、種々の変更を加えることができるため、その変形例を具体的に説明する。
図１に示すように、第１実施形態では、レンズアレイの一例として、屈折率分布レンズアレイ２０を説明したが、これに限定されない。例えば、レンズアレイとして、屈折率分布レンズアレイ２０の代わりに、凹レンズを２次元に配置した凹レンズアレイ（不図示）を用いることもできる。
【０１３６】
（変形例２：拡散板）
図１に示すように、第１実施形態では、光学部材の一例として、集光レンズ３０を説明したが、これに限定されない。例えば、光学部材として、集光レンズ３０の代わりに、拡散板（不図示）を用いることもできる。
【０１３７】
一般的な拡散板は、例えば、光を拡散する用途と、隣り合う画素間の境界をぼかす用途との２種類に分類できる。ここで、光学部材として、前者を用途とする拡散板を用いる場合、下記の式（５）で定義される拡散角度θを満たすことが好ましい。この式（５）で定義される拡散角度θを満たさない場合、補正用白色被写体１０からの白色光がカメラ４０に入射されなくなるためである。
【０１３８】
【数１】
【０１３９】
なお、式（５）では、Ｗが屈折率分布レンズアレイ２０の中心から最端部までの長さであり、Ｄが撮像用レンズ４１から拡散板までの距離である。また、撮像用レンズ４１の光軸が屈折率分布レンズアレイ２０の中心を通過することとする。
【０１４０】
一方、光学部材として、後者を用途とする拡散板を用いる場合、なるべく拡散板での拡散が少ないことが好ましい。
このように、光学部材として拡散板を用いた場合、色収差による歪みおよび幾何学歪みが拡散板で発生しないため、立体撮像システム１００では、歪みの発生要因を１つ取り除くことができる。このため、立体撮像システム１００は、色収差による歪みおよび幾何学歪みが少ない補正用画像および撮像画像を撮像できる。
【０１４１】
（変形例３：補正データの修正なし）
図３に示すように、第１実施形態では、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれを考慮して、補正データを修正することとしたが、これに限定されない。つまり、補正装置５０は、補正データを修正しなくともよい。
【０１４２】
この場合、図３の補正装置５０において、撮像画像入力手段５０５、撮像用２値化手段５０６、検出対象要素レンズ設定手段５０７、撮像用レンズ位置検出手段５０８および補正データ修正手段５０９を備えない構成とする。また、補正データ算出手段５０４は、算出した補正データを歪み補正手段５１０に出力する。そして、歪み補正手段５１０は、補正データ算出手段５０４から入力された補正データ（つまり、未修正の補正データ）に基づいて、撮像画像を補正する。
なお、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれは、補正されないことは言うまでもない。
【０１４３】
（第２実施形態：凸レンズアレイの対）
［立体撮像システムの構成］
図１５を参照して、本発明の第２実施形態に係る立体撮像システム１０１の構成について、第１実施形態と異なる点を説明する（適宜図１参照）。
図１５に示すように、立体撮像システム１０１は、図１の屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を備える。
【０１４４】
凸レンズアレイの対２２は、凸レンズアレイ２３ａ，２３ｂが互いに対向するように配置されたものである。また、凸レンズアレイ２３ａ，２３ｂは、それぞれ、要素レンズとしての凸レンズ２４ａ，２４ｂが２次元に配置される。すなわち、凸レンズアレイ２３ａ，２３ｂは、同数の凸レンズ２４ａ，２４ｂを有する。さらに、各凸レンズ２４ａ，２４ｂは、互いに対応するように、その中心位置が一致する。
【０１４５】
ここで、凸レンズアレイ２３ａ，２３ｂの焦点距離をｆＡとして説明する。
凸レンズアレイ２３ａが被写体側に配置され、凸レンズアレイ２３ｂが凸レンズアレイ２３ａのカメラ側に配置される。このとき、凸レンズアレイ２３ｂは、カメラ４０が焦点距離ｆＡの２倍の位置を撮像でき、かつ、凸レンズアレイ２３ａからの焦点距離ｆＡが４倍となる位置に配置される。
【０１４６】
また、凸レンズアレイ２３ａ，２３ｂは、互いに焦点距離が異なってもよい。この場合、凸レンズアレイ２３ａが有する凸レンズ２４ａは、全て同一の焦点距離を有する。さらに、凸レンズアレイ２３ｂが有する凸レンズ２４ｂは、全て同一の焦点距離を有する。
【０１４７】
以上のように、本発明の第２実施形態に係る立体撮像システム１０１は、屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を用いた光学系においても、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１０１は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
なお、第２実施形態では、凸レンズアレイの対２２以外の各手段、および、立体撮像システム１０１の動作が第１実施形態と同様のため、詳細な説明を省略する。
【０１４８】
（変形例４：新たな凸レンズアレイ）
前記した立体撮像システム１０１は、種々の変更を加えることができるため、その変形例を具体的に説明する。
【０１４９】
図１５の立体撮像システム１０１は、凸レンズアレイ２３ａのカメラ側であって、凸レンズアレイ２３ａからの焦点距離ｆＡが２倍となる位置に、新たな凸レンズアレイ（不図示）をさらに配置してもよい。
【０１５０】
新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同じ焦点距離ｆＡを有する。また、新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同数の凸レンズ（要素レンズ）を有する。さらに、新たな凸レンズアレイの各凸レンズは、対応する凸レンズ２４ａ，２４ｂの中心位置と一致する。
【０１５１】
（第３実施形態：色収差による歪みおよび幾何学歪みの補正）
［補正装置の構成］
図１６を参照して、本発明の第３実施形態に係る補正装置５１の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図１６に示すように、補正装置５１は、色収差による歪みに加えて幾何学歪みを補正するため、補正基準位置記憶手段５１１をさらに備え、図３の補正データ算出手段５０４の代わりに補正データ算出手段５０４Ａを備える。
【０１５２】
補正基準位置記憶手段５１１は、図１の屈折率分布レンズ２１（要素レンズ）の基準位置を予め記憶するメモリ、ハードディスクなどの記憶手段である。この基準位置は、各屈折率分布レンズ２１の中心位置の基準となり、例えば、各屈折率分布レンズ２１の中心位置の設計値である。
【０１５３】
補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１が記憶する基準位置に、３原色での屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。
【０１５４】
具体的には、補正データ算出手段５０４Ａは、補正用レンズ位置検出手段５０３から、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置が入力される。また、補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１から基準位置を読み出す。そして、補正データ算出手段５０４Ａは、この基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。
【０１５５】
この場合、補正データ算出手段５０４Ａは、図１７に示すように、基準位置Ｃに対する、赤色での屈折率分布レンズ２１Ｒの中心位置ＣＲのずれ量ΔＣ−Ｒを求める。また、補正データ算出手段５０４Ａは、基準位置Ｃに対する、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧのずれ量ΔＣ−Ｇを求める。そして、補正データ算出手段５０４Ａは、基準位置Ｃに対する、青色での屈折率分布レンズ２１Ｂの中心位置ＣＢのずれ量ΔＣ−Ｂを求める。さらに、補正データ算出手段５０４Ａは、このずれ量ΔＣ−Ｇ，ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４Ａは、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。
【０１５６】
なお、立体撮像システム１００の全体構成は、図１と同様のため、詳細な説明を省略する。また、図１６の補正データ算出手段５０４Ａおよび補正基準位置記憶手段５１１以外の各手段は、図３の各手段と同様のため、詳細な説明を省略する。
【０１５７】
［立体撮像システムの動作：補正データの算出］
図１８を参照して、第３実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図１６参照）。
なお、図１８のステップＳ１〜ステップＳ６は、図１３の各ステップと同様のため、詳細な説明を省略する。また、立体撮像システム１００が撮像画像を補正する動作は、図１４と同様のため、詳細な説明を省略する。
【０１５８】
補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１ごとに、基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ２０）。
【０１５９】
補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１の中心位置を基準位置に一致させる補正データを算出する。すなわち、補正装置５１は、補正データ算出手段５０４Ａによって、色収差による歪みおよび幾何学歪みを補正する補正データを算出する（ステップＳ２１）。
【０１６０】
以上のように、本発明の第３実施形態に係る立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みだけでなく幾何学歪みを、容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１６１】
（第４実施形態：シェーディング補正）
［シェーディング補正の概略］
図１９を参照して、本発明の第４実施形態に係る補正装置５２（図２２参照）ついて、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
補正装置５２は、補正用画像および撮像画像にシェーディング補正を行った後、図３の補正装置５０と同様、色収差による歪みを補正する。
【０１６２】
補正装置５２の構成を説明する前にシェーディング補正の概略について説明する。
図１９（ａ）に示すように、屈折率分布レンズ２１には、その特性によって、シェーディングが発生する。また、図１９（ｂ）に示すように、補正用白色被写体１０、集光レンズ３０、撮像用レンズ４１および撮像素子４３にも、その特性によって、シェーディングが発生する。従って、カメラ４０で撮像された補正用画像および撮像画像には、図１９（ａ）および（ｂ）に示したシェーディングの影響が総合的に含まれている。このため、図１９（ｃ）に示すように、補正用画像では、中心側に位置する屈折率分布レンズ２１が高い輝度（明るく）で撮像され、外周側に位置する屈折率分布レンズ２１が低い輝度（暗く）で撮像される。この状態で２値化処理を行っても、補正用画像から、屈折率分布レンズ２１の配列を示す２値化画像を得ることが困難である。
【０１６３】
このため、補正装置５２は、図２０に示すように、補正データを算出するとき、補正用画像にシェーディング補正を行う。まず、補正装置５２は、カメラ４０から、シェーディングの影響が含まれる補正用画像（シェーディングあり補正用画像）が入力される。そこで、補正装置５２は、このシェーディングあり補正用画像において、全画素の最大画素値を注目画素の画素値で除算して、注目画素ごとのシェーディング補正データを算出する。さらに、補正装置５２は、カメラ４０からの入力画像（シェーディングあり補正用画像）において、この入力画像での注目画素の画素値に、この注目画素のシェーディング補正を乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後補正用画像）に対して、２値化処理を行う。
【０１６４】
言い換えるなら、補正データ算出時におけるシェーディング補正は、下記の式（６）で表される。この式（６）では、Ｗｉｍがシェーディングあり補正用画像であり、Ｗｉｍ２がシェーディング補正後補正用画像であり、ｉが注目画素の水平座標であり、ｊが注目画素の垂直座標であり、ｋが各原色を識別する値（例えば、赤色＝１、緑色＝２、青色＝３）であり、ｍａｘが、ｋ色での最大画素値を求める関数である。
【０１６５】
【数２】
【０１６６】
つまり、式（６）では、ｍａｘ（Ｗｉｍ（：，：，ｋ））が、シェーディングあり補正用画像における、ｋ色での最大画素値である。また、式（６）では、Ｗｉｍ（ｉ，ｊ，ｋ）が、シェーディングあり補正用画像の注目画素（ｉ，ｊ）における、ｋ色での画素値である。さらに、式（６）では、右辺第２項が、シェーディング補正データである。
【０１６７】
また、補正装置５２は、図２１に示すように、撮像画像を補正するとき、撮像画像にシェーディング補正を行う。
なお、屈折率分布レンズ２１のレンズ面には撮像用被写体が映ることになるが、図面を見やすくするため、図２１では省略した。
【０１６８】
ここで、補正装置５２は、カメラ４０からの入力画像（シェーディングあり撮像画像）において、この入力画像での注目画素の画素値に、前記したシェーディング補正データを乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後撮像画像）に対して、２値化処理を行う。
【０１６９】
つまり、撮像画像補正時におけるシェーディング補正は、下記の式（７）で表される。この式（７）では、ｉｍ１がシェーディングあり撮像画像であり、ｉｍ２がシェーディング補正後撮像画像である。さらに、式（７）では、右辺第２項が、シェーディング補正データである。
【０１７０】
【数３】
【０１７１】
［補正装置の構成］
図２２を参照して、本発明の第４実施形態に係る補正装置５２の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図２２に示すように、補正装置５２は、シェーディング補正データ算出手段５１２と、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とをさらに備える。
【０１７２】
シェーディング補正データ算出手段５１２は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するものである。ここで、シェーディング補正データ算出手段５１２は、カメラ４０から、３原色の補正用画像が転送される。そして、シェーディング補正データ算出手段５１２は、この３原色の補正用画像から、前記したシェーディング補正データ（式（６）および式（７）の右辺第２項）を算出する。シェーディング補正データ算出手段５１２は、このシェーディング補正データを、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とに出力する。
【０１７３】
補正用シェーディング補正手段５１３は、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ補正用シェーディング補正手段５１３Ｒと、Ｇ補正用シェーディング補正手段５１３Ｇと、Ｂ補正用シェーディング補正手段５１３Ｂとを備える。
【０１７４】
Ｒ補正用シェーディング補正手段５１３Ｒは、Ｒ補正用画像バッファ５０１Ｒから赤色の補正用画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ補正用シェーディング補正手段５１３Ｒは、この赤色の補正用画像に対して、式（６）で定義されるシェーディング補正を行う。その後、Ｒ補正用シェーディング補正手段５１３Ｒは、シェーディング補正が施された赤色の補正用画像をＲ補正用２値化手段５０２Ｒに出力する。
【０１７５】
ここで、式（６）のシェーディング補正を補正用画像全体に行った場合、屈折率分布レンズ２１同士の隙間もシェーディング補正され、補正用画像が、屈折率分布レンズ２１の配列を示さない真っ白な画像になってしまう。通常、屈折率分布レンズ２１同士の隙間は、白色光が透過せずに黒色になるため、シェーディング補正を行う必要がない。さらに、屈折率分布レンズ２１同士の隙間をシェーディング補正した場合、屈折率分布レンズ２１の位置検出が困難になる。このため、Ｒ補正用シェーディング補正手段５１３Ｒは、赤色の補正用画像に対して、屈折率分布レンズ２１の領域検出処理（例えば、２値化処理、エッジ検出処理等）を行ってから、検出された屈折率分布レンズ２１の領域のみを式（６）でシェーディング補正することが好ましい。
【０１７６】
Ｇ補正用シェーディング補正手段５１３ＧおよびＢ補正用シェーディング補正手段５１３Ｂは、それぞれ、Ｒ補正用シェーディング補正手段５１３Ｒと同様、緑色の補正用画像および青色の補正用画像にシェーディング補正を行うため、詳細な説明を省略する。
【０１７７】
撮像用シェーディング補正手段５１４は、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ撮像用シェーディング補正手段５１４Ｒと、Ｇ撮像用シェーディング補正手段５１４Ｇと、Ｂ撮像用シェーディング補正手段５１４Ｂとを備える。
【０１７８】
Ｒ撮像用シェーディング補正手段５１４Ｒは、Ｒ撮像画像バッファ５０５Ｒから赤色の撮像画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ撮像用シェーディング補正手段５１４Ｒは、この赤色の撮像画像に対して、式（７）で定義されるシェーディング補正を行う。その後、Ｒ撮像用シェーディング補正手段５１４Ｒは、シェーディング補正が施された赤色の撮像画像をＲ撮像用２値化手段５０６Ｒに出力する。
【０１７９】
なお、Ｒ撮像用シェーディング補正手段５１４Ｒは、赤色の撮像画像にシェーディング補正を行うとき、赤色の補正用画像と赤色の撮像画像との間で屈折率分布レンズ２１の位置が一致するように、赤色の撮像画像の位置を調整するとよい。
また、Ｒ撮像用シェーディング補正手段５１４Ｒは、Ｒ補正用シェーディング補正手段５１３Ｒと同様、赤色の撮像画像に対して、屈折率分布レンズ２１の領域検出処理を行ってから、検出された屈折率分布レンズ２１の領域のみを式（７）でシェーディング補正することが好ましい。
【０１８０】
Ｇ撮像用シェーディング補正手段５１４Ｇと、Ｂ撮像用シェーディング補正手段５１４Ｂは、それぞれ、Ｒ撮像用シェーディング補正手段５１４Ｒと同様、緑色の撮像画像および青色の撮像画像にシェーディング補正を行うため、詳細な説明を省略する。
【０１８１】
撮像用シェーディング補正手段５１５は、カメラ４０から、３原色の撮像画像がフレーム画像として連続した動画が入力される。また、撮像用シェーディング補正手段５１５は、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、撮像用シェーディング補正手段５１５は、この撮像画像（フレーム画像）に対してシェーディング補正を行う。その後、撮像用シェーディング補正手段５１５は、シェーディング補正が施された撮像画像（動画）を歪み補正手段５１０に出力する。
【０１８２】
なお、撮像用シェーディング補正手段５１５は、撮像用シェーディング補正手段５１４と同様のものであるため、詳細な説明を省略する。
また、図２２では、撮像用シェーディング補正手段５１４，５１５は、個別に図示したが、これらを一体化してもよい。
【０１８３】
［立体撮像システムの動作：補正データの算出］
図２３を参照して、第４実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図２２参照）。
なお、図２３のステップＳ１〜ステップＳ８は、図１３の各ステップと同様のため、詳細な説明を省略する。
【０１８４】
補正装置５２は、シェーディング補正データ算出手段５１２によって、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出する。そして、補正装置５２は、補正用シェーディング補正手段５１３によって、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ３０）。
【０１８５】
［立体撮像システムの動作：撮像画像の補正］
図２４を参照して、立体撮像システム１００が撮像画像の補正する動作について説明する（適宜図１，図２２参照）。
なお、図２４のステップＳ１０〜ステップＳ１７は、図１４の各ステップと同様のため、詳細な説明を省略する。
【０１８６】
補正装置５２は、撮像用シェーディング補正手段５１４によって、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４０）。
【０１８７】
補正装置５２は、撮像用シェーディング補正手段５１５によって、３原色の撮像画像（動画）に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４１）。
【０１８８】
以上のように、本発明の第４実施形態に係る立体撮像システム１００は、シェーディングによる悪影響を防止するので、屈折率分布レンズ２１の配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、立体撮像システム１００は、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１８９】
なお、第４実施形態において、補正用白色被写体１０のシェーディングも考慮する場合、補正用白色被写体１０のシェーディング特性データを予め設定する。そして、補正装置５２は、このシェーディング特性データを用いて、式（６）および式（７）の第２項と同様のシェーディング補正データを求めた後、このシェーディング補正データを式の第３項として乗算すればよい。
【０１９０】
なお、各実施形態では、本発明に係る補正装置を独立した装置として説明したが、本発明は、一般的なコンピュータを補正装置として機能される補正プログラムによって実現することもできる。この場合、この補正プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された補正プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、このプログラムは、前述した補正装置の一部機能を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１９１】
なお、各実施形態では、補正用白色被写体を撮像した補正用画像を用いることとして説明したが、本発明は、これに限定されない。つまり、本発明では、この補正用画像の代わりに、低周波成分が多く含まれる低周波成分画像を用いることもできる。この場合、この低周波成分画像が補正用画像と類似するため、補正用画像を撮像してから撮像画像を撮像するまでに生じた、回転やあおりといった相対姿勢の変化を補正することも可能である。さらに、この場合、補正用画像を用いなくても、色収差による歪みや幾何学歪みを補正するための補正データを２値化画像（２値化処理を施した撮像画像）から直接求めることもできる。
【０１９２】
以上、本発明の各実施形態について図面を参照して詳述してきたが、本発明は各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１９３】
（実施例１：補正データのベクトル表現）
図２５〜図２７を参照して、本発明の実施例１として、本発明に係る補正装置が算出した補正データの一例について説明する。
【０１９４】
この実施例１では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に２０個、垂直方向に１３個）取得した。そして、図２５〜図２７に示すように、このサンプルとなる補正データをベクトル表現した。
【０１９５】
図２５〜図２７では、各ベクトルは、その向きが要素レンズの位置ずれの方向を表しており、その長さが要素レンズの位置ずれ量を表している。
なお、各ベクトルの長さは、正規化されているため、位置ずれ量と比例するが、位置ずれ量と等しいわけではない。
【０１９６】
（実施例２：補正データのメッシュ表現）
図２８〜図３０を参照して、本発明の実施例２として、本発明に係る補正装置が算出した補正データの一例について説明する。
【０１９７】
ここで、要素レンズの水平方向の間隔が、１．１４（ｍｍ）≒１９．２（ｐｉｘ）であった。また、レンズアレイは、各要素レンズをデルタ配列（俵ずみ）したものであり、横４５６（ｍｍ）×縦２０９．６（ｍｍ）の大きさであった。
【０１９８】
この実施例２では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に４０個、垂直方向に２６個）取得した。そして、図２８〜図３０に示すように、このサンプルとなる補正データをメッシュ表現した（水平成分のみ）。
【０１９９】
図２８より、基準位置と緑色での要素レンズ（要素画像）の位置ずれは、［ｍａｘ ｍｉｎ］＝［７．３ −２２．５］（ｐｉｘ）となった。
図２９より、緑色での要素レンズ（要素画像）と、赤色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［３．３ −２．１］（ｐｉｘ）となった。
図３０より、緑色での要素レンズ（要素画像）と、青色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［２．４ −１．８］（ｐｉｘ）となった。
以上、実施例１，２より、本発明に係る補正装置は、要素レンズごとに高い精度で補正データを算出できることがわかる。
【産業上の利用可能性】
【０２００】
本発明は、インテグラル方式の立体像（静止画および動画）の撮像に利用することができる。例えば、本発明は、インテグラル方式の立体テレビ受信機で視聴される立体画像などの立体映像コンテンツの撮像に利用することができる。
【符号の説明】
【０２０１】
１０ 補正用白色被写体
２０ 屈折率分布レンズアレイ（レンズアレイ）
２１ 屈折率分布レンズ（要素レンズ）
２２ 凸レンズアレイの対（レンズアレイ）
２３ａ，２３ｂ 凸レンズアレイ
２４ａ，２４ｂ 凸レンズ（要素レンズ）
３０ 集光レンズ（光学部材）
４０ カメラ（撮像装置）
４１ 撮像用レンズ
４３Ｒ，４３Ｇ，４３Ｂ 撮像素子
５０，５１，５２ 補正装置
１００，１０１ 立体撮像システム
５０１ 補正用画像入力手段
５０２ 補正用２値化手段
５０３ 補正用レンズ位置検出手段
５０４，５０４Ａ 補正データ算出手段
５０５ 撮像画像入力手段
５０６ 撮像用２値化手段
５０７ 検出対象要素レンズ設定手段
５０８ 撮像用レンズ位置検出手段
５０９ 補正データ修正手段
５１０ 歪み補正手段
５１１ 補正基準位置記憶手段
５１２ シェーディング補正データ算出手段
５１３ 補正用シェーディング補正手段
５１４，５１５ 撮像用シェーディング補正手段
【技術分野】
【０００１】
本発明は、インテグラル方式の立体撮像において、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正する技術に関する。
【背景技術】
【０００２】
撮像装置（カメラ）における撮像用レンズの色収差による歪みを含めた幾何学歪みを補正する技術として、白黒パターンが規則正しく並んだ測定用パターン(例えば、チェスボードパターン)や、規則正しい間隔で表示された格子状の測定用パターンを用いる手法が提案されている（非特許文献１）。
【０００３】
この非特許文献１に記載の技術は、白黒パターンの頂点が隣接する点または格子の交点を測定ポイントとし、撮像用レンズの中心から端までの範囲をＲＧＢの各撮像素子によって撮像し、各測定ポイントが直線状に配置されるように撮像装置の幾何学歪みを補正するものである。
【０００４】
また、複数台の撮像装置を用いる場合において、被写体の中から既知の３次元自然特徴点を抽出し、それらが一致するようにキャリブレーションを行う手法が提案されている（非特許文献２）。
要するに、非特許文献１，２に記載の技術では、既知のパターンを用いて、色収差による歪みを含む幾何学歪みの補正を行なっている。
【０００５】
ここで、撮像装置における色収差は、ズームやアイリスなどのレンズパラメータに応じて変化する。このため、レンズパラメータに応じて変化する倍率色収差の補正パラメータを事前に求め、信号処理による色収差補正を行う技術が提案されている（非特許文献３）。
【０００６】
近年、立体表示装置および立体撮像装置の研究開発が進み、特殊なメガネを用いなくても観察者に立体像を視認させることが可能なインテグラルフォトグラフィー（以下、「ＩＰ」）が注目されている。このＩＰにおいて、１画素の位置ずれ量が２次元画像と比較して大きいことが知られている（非特許文献４および特許文献１）。光学系における色収差歪みおよび幾何学歪みは、位置ずれの要因の一つであることから、色収差および幾何学歪みによる再生立体像の劣化は大きくなる。そこで、ＩＰにおいても、立体撮像装置の位置ずれを補正する様々な技術が提案されている（特許文献２，３）。
【０００７】
特許文献２に記載の発明は、レンズアレイの各要素レンズを原色ごとに利用することで色収差をなくしている。すなわち、特許文献２に記載の発明は、ある要素レンズでは赤色のみの要素画像の光線を再生し、別の要素レンズでは緑色のみの要素画像の光線を再生し、さらに別の要素レンズでは青色のみの要素画像の光線を再生する。つまり、特許文献２に記載の発明は、各要素レンズがベイヤー配列の単板カラー撮像素子のように利用されることになる。このため、特許文献２に記載の発明は、各要素レンズを出力する色ごとに最適化することで、色収差による歪みを抑えている。
【０００８】
特許文献３に記載の発明は、撮像系レンズアレイと表示系レンズアレイとの間に位置誤差が生じている場合、撮像系レンズアレイおよび表示系レンズアレイにおける各要素レンズの位置を検出して、立体撮像装置で撮像された映像の各要素画像の位置を、表示系の複眼レンズの要素レンズの位置に適合させるように補正するものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−１８６２７６号公報
【特許文献２】特開２００１−１３３７２７号公報
【特許文献３】特開２００４−３３６２３９号公報
【非特許文献】
【００１０】
【非特許文献１】「A flexible new technique for camera calibration」，http://opencv.jp/sample/camera_calibration.html,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334,2000.
【非特許文献２】「Multiframe Image Point Matching and 3-D Surface Reconstruction.」，R.Y.Tsai.,IEEE Trans. on PAMI,5(2),159〜173,1983.
【非特許文献３】「信号処理による色収差補正における補正データ生成に関する検討」，山下、船津、三谷、野尻、中須，２０１０年電子情報通信学会総合大会，Ｄ−１１−１１０
【非特許文献４】「Geometrical effects of positional errors in integral photography」,J.Arai,M.Okui,M.Kobayashi,F.Okano,Journal of Optical Society of America,vol.21,no.6,June 2004
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前記した従来技術には、以下で説明するような問題がある。
非特許文献１，２に記載の技術は、ＩＰに適用した場合、既知の測定用パターンをレンズアレイの被写体側に配置する必要があるので、撮像面上ではレンズアレイ越しに既知の測定用パターンを撮影することになる。この場合、非特許文献１，２に記載の技術では、立体撮像装置での取得画像が歪んで既知の測定用パターンと異なる画像になるため、ＩＰにおいて、色収差による歪みおよび幾何学歪みを補正することが困難である。
【００１２】
また、非特許文献３に記載された技術は、レンズパラメータごとに補正パラメータを取得する。そして、非特許文献３に記載された技術は、補正パラメータのないレンズパラメータの場合、そのレンズパラメータに対応する補正パラメータを、既に取得した前後の補正パラメータから補間する。しかし、ＩＰでは、レンズアレイおよび集光レンズがカメラと一体化（固着）していないため、レンズアレイ、集光レンズおよびカメラの相対位置は、不規則に変化する。このため、非特許文献３に記載された技術は、ＩＰに適した手法と言えるものではない。
【００１３】
特許文献２に記載の発明では、要素レンズを３原色で共通にした場合に比べて、３原色ごとに専用の要素レンズを必要とするため、立体像を生成する実質的な画素数が減少してしまう。さらに、特許文献２に記載の発明では、レンズアレイ以外の撮像用レンズおよび集光レンズによる色収差による歪みおよび幾何学歪みが考慮されていない。言い換えるなら、ＩＰでは、レンズアレイ、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みを補正する必要がある。
【００１４】
また、特許文献１および非特許文献４に記載の発明でも、特許文献２に記載の発明と同様、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みの補正が考慮されていない。
【００１５】
特許文献３に記載の発明では、撮像および表示の光学系が一致していると仮定し、撮像系レンズアレイの製造上の位置と表示系レンズアレイの製造上の位置との誤差を補正することを目的としており、色収差による要素レンズの位置ずれが一切考慮されていない。
【００１６】
そこで、本発明は、前記した問題を解決し、レンズアレイおよび光学部材が含まれる光学系において、画質劣化を防止して、少なくとも色収差による歪みを容易に補正するインテグラル方式の立体撮像技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記した課題に鑑みて、本願第１発明に係る立体撮像システムは、補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、白色光を発光する補正用白色被写体と、レンズアレイと、光学部材と、撮像装置と、補正装置と、を備えることを特徴とする。
【００１８】
かかる構成によれば、立体撮像システムのレンズアレイは、補正用白色被写体からの白色光が２次元に配置された要素レンズに入射する。このように、立体撮像システムは、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えることができる。また、立体撮像システムの光学部材は、レンズアレイに対向し、かつ、要素レンズに入射した補正用白色被写体からの白色光の光路上に配置される。
【００１９】
また、立体撮像システムの撮像装置は、例えば、３原色の撮像素子と、撮像用レンズとを有する。そして、立体撮像システムは、撮像装置によって、光学部材を介して補正用白色被写体を撮像することで、要素レンズの配列を示す３原色の補正用画像を生成する。つまり、撮像装置は、白色光を照射する補正用白色被写体を背にレンズアレイを撮像する。従って、撮像装置が撮像した補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、立体撮像システムは、測定用パターンの歪みを考慮する必要がない。
【００２０】
また、立体撮像システムは、補正装置によって、撮像装置が生成した３原色の補正用画像から要素レンズの位置を検出し、検出した要素レンズの位置を一致させる補正データを算出し、補正データを用いて、撮像画像を補正する。つまり、立体撮像システムは、補正装置によって、撮像用被写体を撮像する前、レンズアレイおよび光学部材を介して補正用白色被写体を撮像し、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。そして、立体撮像システムは、補正装置によって、この補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。
【００２１】
本願第２発明に係る立体撮像システムは、補正用白色被写体が、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする。
かかる構成によれば、立体撮像システムは、レンズアレイの全面に白色光を入射させるので、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出することができる。
【００２２】
前記した課題に鑑みて、本願第３発明に係る補正装置は、白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、レンズアレイおよび光学部材を介して補正用白色被写体を撮像する撮像装置とを備える立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するものであって、補正用画像入力手段と、補正用２値化手段と、補正用レンズ位置検出手段と、補正データ算出手段と、を備えることを特徴とする。
【００２３】
かかる構成によれば、補正装置は、補正用画像入力手段によって、撮像装置から、要素レンズの配列を示す３原色の補正用画像が入力される。ここで、３原色ごとに専用の要素レンズを必要とせずに撮像可能な補正用画像を用いるため、補正装置は、実質的な画素数の減少を抑えることができる。また、撮像装置によって撮像された補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、補正装置は、測定用パターンの歪みを考慮する必要がない。
【００２４】
また、補正装置は、補正用２値化手段によって、３原色の補正用画像に対して、２値化処理を行う。そして、補正装置は、補正用レンズ位置検出手段によって、補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、要素レンズの位置を検出する。さらに、補正装置は、補正データ算出手段によって、補正用レンズ位置検出手段が検出した要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。
【００２５】
つまり、補正装置は、撮像画像を補正する前、レンズアレイおよび光学部材を介して撮像された補正用画像から、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。
【００２６】
本願第４発明に係る補正装置は、補正データ算出手段が、３原色のうちの何れか１原色である基準色の補正用画像から検出した要素レンズの位置に、他の２原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪みを補正する補正データを、高い精度で算出することができる。
【００２７】
本願第５発明に係る補正装置は、要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、補正データ算出手段が、補正基準位置記憶手段が記憶する要素レンズの基準位置に、３原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪に加えて幾何学歪みも補正できる補正データを、高い精度で算出することができる。
【００２８】
本願第６発明に係る補正装置は、撮像装置から、撮像用被写体が撮像された３原色の撮像画像が入力される撮像画像入力手段と、撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、２値化処理が行われた３原色の撮像画像において、要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて補正データ算出手段が算出した補正データを修正する補正データ修正手段と、補正データ修正手段が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、をさらに備えることを特徴とする。
【００２９】
ここで、例えば、円形のレンズ面を有する要素レンズの場合、撮像画像では、要素レンズのレンズ面が半月状で撮像されるというように、要素レンズのレンズ面全体が撮像されないことがある。この撮像画像に対して、重心検出処理、点像群検出処理またはパターンマッチングを行うと、補正装置は、要素レンズの位置を検出できない場合や、要素レンズの位置を誤検出する場合がある。この状態で算出した補正データを用いて補正を行うと、撮像画像の歪みがかえって大きくなることがある。そこで、撮像装置は、検出対象要素レンズ設定手段によって、レンズ面全体が撮像された検出対象要素レンズを設定し、撮像用レンズ位置検出手段によって、レンズ面全体が撮像された検出対象要素レンズの位置を撮像画像から検出する。
【００３０】
また、補正用白色被写体を撮像してから、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じる場合がある。そこで、補正装置は、補正データ修正手段によって、補正用画像から検出した要素レンズと検出対象要素レンズとの位置ずれの平均値を算出し、この平均値を補正データに反映させる。その後、補正装置は、修正済みの補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。
【００３１】
本願第７発明に係る補正装置は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、補正用画像入力手段に入力された３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、撮像装置から入力された３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、をさらに備え、補正用２値化手段が、補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、撮像用２値化手段が、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、歪み補正手段が、補正データに基づいて、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする。
【００３２】
ここで、例えば、補正用白色被写体、光学部材、撮像装置の撮像用レンズおよび撮像素子の特性によって、補正用画像および撮像画像にシェーディングが発生することがある。この状態で２値化処理を行っても、補正用画像および撮像画像から正確な２値化画像を得ることが困難である。その結果、補正装置は、要素レンズの位置検出精度が低下することがある。そこで、補正装置は、補正用シェーディング補正手段および撮像用シェーディング補正手段によって、補正用画像および撮像画像にそれぞれシェーディング補正を行う。
【００３３】
なお、本願第３発明に係る補正装置は、一般的なコンピュータを、補正用画像入力手段、補正用２値化手段、補正用レンズ位置検出手段および補正データ算出手段として機能させる補正プログラムによって実現することもできる。
【発明の効果】
【００３４】
本発明によれば、以下のような優れた効果を奏する。
本願第１，３発明によれば、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、本願第１，３発明によれば、白い背景に要素レンズの配列が写る補正用画像を用いるため、測定用パターンの歪みを考慮する必要がなく、レンズアレイおよび光学部材が含まれる光学系において、少なくとも色収差による歪みを容易に補正することができる。従って、本願第１，３発明によれば、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【００３５】
本願第２発明によれば、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出でき、要素レンズの位置検出精度を向上させることができる。
本願第４発明によれば、色収差による歪みを高い精度で補正することができる。
本願第５発明によれば、色収差による歪みおよび幾何学歪みを高い精度で補正することができる。
【００３６】
本願第６発明によれば、レンズ面全体が撮像された検出対象要素レンズの位置を検出するため、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。さらに、本願第６発明によれば、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じた場合でも、その相対位置のずれを修正データに反映するため、少なくとも色収差による歪みを高い精度で補正することができる。
【００３７】
本願第７発明によれば、シェーディングによる悪影響を防止するので、要素レンズの配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、本願第７発明によれば、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１実施形態に係る立体撮像システムの全体構成図である。
【図２】（ａ）は、本発明の第１実施形態における補正用画像の一例を示す図であり、（ｂ）は、色収差による歪みを説明する図である。
【図３】図１の補正装置の構成を示すブロック図である。
【図４】図３の補正用レンズ位置検出手段の構成を示す第１のブロック図である。
【図５】図３の補正用レンズ位置検出手段の構成を示す第２のブロック図である。
【図６】図３の補正用レンズ位置検出手段の構成を示す第３のブロック図である。
【図７】図３の補正用レンズ位置検出手段の構成を示す第４のブロック図である。
【図８】図３の補正データ算出手段を説明する図である。
【図９】図３の撮像用レンズ位置検出手段の構成を示す第１のブロック図である。
【図１０】図３の撮像用レンズ位置検出手段の構成を示す第２のブロック図である。
【図１１】図３の歪み補正手段における２次元画像処理を説明する図である。
【図１２】図３の歪み補正手段における３次元画像処理を説明する図である。
【図１３】図１の立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図１４】図１の立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。
【図１５】本発明の第２実施形態に係る立体撮像システムの全体構成図である。
【図１６】本発明の第３実施形態に係る補正装置の構成を示すブロック図である。
【図１７】図１６の補正データ算出手段を説明する図である。
【図１８】本発明の第３実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図１９】本発明の第４実施形態において、シェーディングの影響を説明する図である。
【図２０】本発明の第４実施形態において、補正データを算出するときのシェーディング補正を説明する図である。
【図２１】本発明の第４実施形態において、撮像画像を補正するときのシェーディング補正を説明する図である。
【図２２】本発明の第４実施形態に係る補正装置の構成を示すブロック図である。
【図２３】本発明の第４実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。
【図２４】本発明の第４実施形態に係る立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。
【図２５】本発明の実施例１として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをベクトル表現した図である。
【図２６】本発明の実施例１として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。
【図２７】本発明の実施例１として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。
【図２８】本発明の実施例２として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをメッシュ表現したグラフである。
【図２９】本発明の実施例２として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。
【図３０】本発明の実施例２として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。
【発明を実施するための形態】
【００３９】
（第１実施形態：色収差による歪みの補正）
［立体撮像システムの概略］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略する。
図１を参照して、本発明の第１実施形態に係る立体撮像システム１００において、色収差による歪みの補正方法を簡単に説明する。
【００４０】
立体撮像システム１００は、インテグラル方式で立体像を撮像するときに、補正用白色被写体１０を撮像して色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体（不図示）が撮像された撮像画像を補正するものである。
この立体撮像システム１００は、例えば、撮影スタジオ内に構築されていることとする。また、補正用白色被写体１０、屈折率分布レンズアレイ２０および集光レンズ３０は、例えば、図示を省略した三脚に置載されており、撮影スタジオ内の任意位置に配置可能とする。
【００４１】
まず、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側端面がカメラ４０のフォーカス位置になるように、屈折率分布レンズアレイ２０を手動で配置する。そして、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置し、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する。その後、カメラ４０は、補正用白色被写体１０を撮像する。
【００４２】
具体的には、カメラ４０は、赤色、緑色および青色という３原色ごとの補正用画像を撮像する。例えば、補正用画像は、それぞれ、図２（ａ）に示すように、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示すことになる。この場合、補正用画像は、それぞれ、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１での色収差による歪みの影響を受けることになる。このため、図２（ｂ）に示すように、同一の屈折率分布レンズ２１であっても、緑色での屈折率分布レンズ２１Ｇと、青色での屈折率分布レンズ２１Ｂと、赤色での屈折率分布レンズ２１Ｂとの間には、中心位置のずれが生じる。そこで、立体撮像システム１００は、補正装置５０によって、屈折率分布レンズ２１の位置ずれを検出して、色収差による歪みを補正する。
【００４３】
［立体撮像システムの構成］
図１に戻り、立体撮像システム１００の構成について説明する。
立体撮像システム１００は、補正用白色被写体１０と、屈折率分布レンズアレイ（レンズアレイ）２０と、集光レンズ（光学部材）３０と、カメラ（撮像装置）４０と、補正装置５０と、データ転送線６０とを備える。
【００４４】
補正用白色被写体１０は、屈折率分布レンズ２１に白色光を入射させるものである。このとき、補正用白色被写体１０は、全ての屈折率分布レンズ２１に白色光を入射させることが好ましい。
【００４５】
具体的には、補正用白色被写体１０は、例えば、屈折率分布レンズアレイ２０をカメラ側端面から撮像したとき、各屈折率分布レンズ２１のカメラ側端面が白くなるサイズの白色画像表示装置または白色光源である。この白色画像表示装置は、その表示面全体に白画像を表示する液晶モニタである。また、この白色光源は、白色光を発光する照明（ライト）である。
【００４６】
また、補正用白色被写体１０は、後記する補正装置５０における屈折率分布レンズ２１の位置検出手法に応じて、拡散白色光または平行白色光の何れかを出射する。ここで、拡散白色光を出射する場合、補正用白色被写体１０は、白色光を十分に拡散させるために拡散フィルタ（不図示）を装着することが好ましい。
なお、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係については、後記する。
【００４７】
屈折率分布（ＧＲＩＮ：Graded INdex）レンズアレイ２０は、要素レンズとしての屈折率分布レンズ２１を２次元に配置したものである。また、屈折率分布レンズアレイ２０は、全ての屈折率分布レンズ２１に、補正用白色被写体１０からの白色光が入射する。
【００４８】
具体的には、屈折率分布レンズアレイ２０は、光軸に垂直な方向に屈折率分布を有する屈折率分布レンズ２１が、縦横に整列したマトリクス状に配置される。また、屈折率分布レンズアレイ２０は、屈折率分布レンズ２１が、互いに半分ずらした俵ずみ状に配置されてもよい（デルタ配列）。このように、屈折率分布レンズアレイ２０を用いることで、立体撮像システム１００は、凸レンズを用いたレンズアレイで発生する奥行き情報の反転を防止することができる。
【００４９】
ここで、屈折率分布レンズ２１は、光軸方向の長さをＺとし、蛇行周期長をＰとしたとき、下記の式（１）を満たすことで、屈折率分布レンズ２１の外側に主点を持つことになる。
Ｐ／２＜Ｚ＜Ｐ ・・・式（１）
【００５０】
さらに、屈折率分布レンズ２１は、光軸方向の長さＺが、下記の式（２）を満たすことが好ましい。この場合、屈折率分布レンズ２１は、被写体側の無限遠に焦点を持つとともにカメラ側の端面に結像する。このため、屈折率分布レンズアレイ２０は、隣接する他の屈折率分布レンズ２１との間で、クロストークを防止することができる。
Ｚ＝３Ｐ／４ ・・・式（２）
【００５１】
なお、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（１）を満たす代わりに、式（３）を満たしてもよい。だたし。式（３）では、ｎは２以上の整数である。
Ｐ／２＋（ｎ−１）Ｐ＜Ｚ＜ｎＰ ・・・式（３）
【００５２】
また、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（２）を満たす代わりに、式（４）を満たしてもよい。だたし。式（４）では、ｎは２以上の整数である。
Ｚ＝３Ｐ／４＋（ｎ−１）Ｐ ・・・式（４）
【００５３】
集光レンズ３０は、屈折率分布レンズアレイ２０に対向し、かつ、屈折率分布レンズ２１に入射した補正用白色被写体１０からの白色光の光路上に配置されるものである。例えば、集光レンズ３０は、凸レンズであり、補正用白色被写体１０からの白色光をカメラ４０に集光する。
【００５４】
カメラ４０は、撮像用レンズ４１と、赤色の画像を撮像する撮像素子４３Ｒと、緑色の画像を撮像する撮像素子４３Ｇと、青色の画像を撮像する撮像素子４３Ｂとを有する３板式のカメラである。３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂとしては、例えば、ＣＣＤ（Charged Coupled Device）、または、ＣＭＯＳ（相補型金属酸化膜半導体）を用いることができる。
【００５５】
また、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像することで、屈折率分布レンズ２１の配列を示す３原色の補正用画像を生成する（図２（ａ）参照）。また、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像することで、３原色の撮像画像を生成する。その後、カメラ４０は、データ転送線６０を介して、この補正用画像および撮像画像を補正装置５０に転送する。
【００５６】
ここで、カメラ４０は、プリズム、ハーフミラーなどの分光手段（不図示）を備えてもよい。この分光手段は、撮像用レンズ４１からの出射光を分光して、３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂに入射させる。この場合、カメラ４０は、３原色の撮像素子４３Ｒ，４３Ｇ，４３Ｂをずらして配置することで、より高精細な画像を撮像することができる。
【００５７】
補正装置５０は、カメラ４０によって転送された３原色の補正用画像から屈折率分布レンズ２１の位置を検出し、検出した屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。そして、補正装置５０は、算出した補正データを用いて、カメラ４０から転送された３原色の撮像画像を補正する。
【００５８】
［補正装置の構成］
図３を参照して、補正装置５０の構成について説明する（適宜図１参照）。
図３に示すように、補正装置５０は、補正用画像入力手段５０１と、補正用２値化手段５０２と、補正用レンズ位置検出手段５０３と、補正データ算出手段５０４と、撮像画像入力手段５０５と、撮像用２値化手段５０６と、検出対象要素レンズ設定手段５０７と、撮像用レンズ位置検出手段５０８と、補正データ修正手段５０９と、歪み補正手段５１０とを備える。
【００５９】
補正用画像入力手段５０１は、カメラ４０から３原色の補正用画像が転送されるものであり、Ｒ補正用画像バッファ５０１Ｒと、Ｇ補正用画像バッファ５０１Ｇと、Ｂ補正用画像バッファ５０１Ｂとを備える。
【００６０】
Ｒ補正用画像バッファ５０１Ｒは、カメラ４０から転送された赤色の補正用画像を蓄積するバッファメモリである。このＲ補正用画像バッファ５０１Ｒが蓄積する赤色の補正用画像は、後記するＲ補正用２値化手段５０２Ｒによって読み出される。
【００６１】
Ｇ補正用画像バッファ５０１ＧおよびＢ補正用画像バッファ５０１Ｂは、それぞれ、Ｒ補正用画像バッファ５０１Ｒと同様、緑色の補正用画像および青色の補正用画像を蓄積するバッファメモリである。
【００６２】
補正用２値化手段５０２は、３原色の補正用画像に対して、２値化処理を行うものであり、Ｒ補正用２値化手段５０２Ｒと、Ｇ補正用２値化手段５０２Ｇと、Ｂ補正用２値化手段５０２Ｂとを備える。
【００６３】
Ｒ補正用２値化手段５０２Ｒは、Ｒ補正用画像バッファ５０１Ｒから赤色の補正用画像を読み出して、この赤色の補正用画像を輝度画像に変換する。そして、Ｒ補正用２値化手段５０２Ｒは、この輝度画像に２値化処理を行って２値化画像を生成する。例えば、Ｒ補正用２値化手段５０２Ｒは、輝度画像の各画素（注目画素）の輝度値と予め設定した閾値とを比較して、注目画素の輝度値が閾値以上の場合には注目画素を白色とし、注目画素の輝度値が閾値未満の場合には注目画素を黒色とする。このようにして、Ｒ補正用２値化手段５０２Ｒは、赤色の補正用画像から、前景となる屈折率分布レンズ２１に対応する画素が白色で、背景となる補正用白色被写体１０に対応する画素が黒色で表された２値化画像を生成する。つまり、この２値化画像は、屈折率分布レンズ２１の領域（屈折率分布レンズ２１のレンズ面内）が白色で、屈折率分布レンズ２１以外の領域（屈折率分布レンズ２１同士の隙間）が黒色となる。その後、Ｒ補正用２値化手段５０２Ｒは、生成した２値化画像を補正用レンズ位置検出手段５０３に出力する。
【００６４】
Ｇ補正用２値化手段５０２ＧおよびＢ補正用２値化手段５０２Ｂは、それぞれ、Ｒ補正用２値化手段５０２Ｒと同様、緑色の補正用画像および青色の補正用画像に２値化処理を行うため、詳細な説明を省略する。
【００６５】
補正用レンズ位置検出手段５０３は、補正用２値化手段５０２によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、屈折率分布レンズ２１の位置を検出するものである。ここで、補正用レンズ位置検出手段５０３は、重心検出処理、点像群検出処理またはパターンマッチングを単独で行うか、または、重心検出処理と点像群検出処理とを組み合わせることができる。以下、屈折率分布レンズ２１の位置検出手法について、第１例〜第４例をあげて説明する。
【００６６】
＜第１例：重心検出処理＞
図４を参照して、屈折率分布レンズ２１の位置検出手法の第１例について説明する（適宜図３参照）。
図４に示すように、補正用レンズ位置検出手段５０３は、重心検出処理を行うため、Ｒ補正用重心検出手段５２３Ｒと、Ｇ補正用重心検出手段５２３Ｇと、Ｂ補正用重心検出手段５２３Ｂとを備える。
【００６７】
Ｒ補正用重心検出手段５２３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３Ｒは、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。例えば、Ｒ補正用重心検出手段５２３Ｒは、入力された赤色の補正用画像（２値化画像）に含まれる各白色領域（各屈折率分布レンズ２１の領域）において、縦横の中間位置を重心として検出する、または、この白色領域の面積により重心を検出することができる。その後、Ｒ補正用重心検出手段５２３Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用重心検出手段５２３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００６８】
Ｇ補正用重心検出手段５２３ＧおよびＢ補正用重心検出手段５２３Ｂは、それぞれ、Ｒ補正用重心検出手段５２３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に重心検出処理を行うため、詳細な説明を省略する。
【００６９】
＜第２例：点像群検出処理＞
図５を参照して、屈折率分布レンズ２１の位置検出手法の第２例について説明する（適宜図３参照）。
図５に示すように、補正用レンズ位置検出手段５０３は、点像群検出処理を行うため、Ｒ補正用点像群検出手段５３３Ｒと、Ｇ補正用点像群検出手段５３３Ｇと、Ｂ補正用点像群検出手段５３３Ｂとを備える。
【００７０】
ここで、補正用白色被写体１０が平行白色光を出射する場合、屈折率分布レンズアレイ２０の各屈折率分布レンズ２１における焦平面には、屈折率分布レンズアレイ２０が有する屈折率分布レンズ２１と同数の点像群が形成される。従って、この点像群を検出することで、屈折率分布レンズ２１の中心位置を求めることができる。
【００７１】
Ｒ補正用点像群検出手段５３３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３Ｒは、この２値化画像に点像群検出処理を行って、点像群を検出する。その後、Ｒ補正用点像群検出手段５３３Ｒは、検出した点像群における各点像の位置を、各屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用点像群検出手段５３３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００７２】
なお、点像群検出処理としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。
【００７３】
Ｇ補正用点像群検出手段５３３ＧおよびＢ補正用点像群検出手段５３３Ｂは、Ｒ補正用点像群検出手段５３３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に点像群検出処理を行うため、詳細な説明を省略する。
【００７４】
＜第３例：重心検出処理と点像群検出処理との組み合わせ＞
図６を参照して、屈折率分布レンズ２１の位置検出手法の第３例について説明する（適宜図３参照）。
【００７５】
図６に示すように、補正用レンズ位置検出手段５０３は、重心検出処理と点像群検出処理との両方を行うため、Ｒ補正用重心検出手段５２３Ｒと、Ｇ補正用重心検出手段５２３Ｇと、Ｂ補正用重心検出手段５２３Ｂと、Ｒ補正用点像群検出手段５３３Ｒと、Ｇ補正用点像群検出手段５３３Ｇと、Ｂ補正用点像群検出手段５３３Ｂとを備える。
【００７６】
Ｒ補正用点像群検出手段５３３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３Ｒは、この２値化画像に点像群検出処理を行って、点像群の検出結果である点像群検出画像を生成する。その後、Ｒ補正用点像群検出手段５３３Ｒは、この点像群検出画像をＲ補正用重心検出手段５２３Ｒに出力する。
【００７７】
Ｒ補正用重心検出手段５２３Ｒは、Ｒ補正用点像群検出手段５３３Ｒから、点像群検出画像（点像群検出処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３Ｒは、この点像群検出画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ補正用重心検出手段５２３Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。
【００７８】
このように、Ｒ補正用重心検出手段５２３Ｒは、点像群の位置を参考として、点像群画像を２値化してから重心を求めることで、屈折率分布レンズ２１の中心位置をより高い精度で求めることができる。
【００７９】
＜第４例：パターンマッチング＞
図７を参照して、屈折率分布レンズ２１の位置検出手法の第４例について説明する（適宜図３参照）。
図７に示すように、補正用レンズ位置検出手段５０３は、パターンマッチングを行うため、Ｒ補正用パターンマッチング手段５４３Ｒと、Ｇ補正用パターンマッチング手段５４３Ｇと、Ｂ補正用パターンマッチング手段５４３Ｂとを備える。
【００８０】
Ｒ補正用パターンマッチング手段５４３Ｒは、Ｒ補正用２値化手段５０２Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用パターンマッチング手段５４３Ｒは、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。例えば、Ｒ補正用パターンマッチング手段５４３Ｒには、屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のテンプレート画像を手動で登録しておく。そして、Ｒ補正用パターンマッチング手段５４３Ｒは、パターンマッチング（例えば、正規化相関法）によって、入力された２値化画像からテンプレート画像にマッチする画像領域（つまり、屈折率分布レンズ２１の領域）を検出する。さらに、Ｒ補正用パターンマッチング手段５４３Ｒは、検出した各画像領域での中心位置を、各屈折率分布レンズ２１の中心位置として、補正データ算出手段５０４に出力する。このように、Ｒ補正用パターンマッチング手段５４３Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。
【００８１】
Ｇ補正用パターンマッチング手段５４３ＧおよびＢ補正用パターンマッチング手段５４３Ｂは、それぞれ、Ｒ補正用パターンマッチング手段５４３Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像にパターンマッチングを行うため、詳細な説明を省略する。
【００８２】
ここで、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係について説明する。前記したように、点像群検出処理を行う場合（第２例および第３例）、補正用白色被写体１０が平行白色光を出射するとよい。その一方、点像群検出処理を利用しない場合（第１例および第４例）、拡散白色光を照射するとよい。
【００８３】
図３に戻り、補正装置５０の構成について説明を続ける。
補正データ算出手段５０４は、補正用レンズ位置検出手段５０３が検出した屈折率分布レンズ２１の位置を３原色の補正用画像の間で一致させる補正データを算出するものである。
【００８４】
具体的には、補正データ算出手段５０４は、補正用レンズ位置検出手段５０３から、赤色、緑色および青色の補正用画像で検出された各屈折率分布レンズ２１の中心位置が入力される。そして、補正データ算出手段５０４は、赤色、緑色および青色の何れか一色を基準色として、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。
【００８５】
以下、緑色を基準色として説明する。この場合、補正データ算出手段５０４は、図８に示すように、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧに対する、青色での屈折率分布レンズ２１Ｂの中心位置ＣＢのずれ量ΔＧ−Ｂを求める。また、補正データ算出手段５０４は、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧに対する、赤色での屈折率分布レンズ２１Ｒの中心位置ＣＲのずれ量ΔＧ−Ｒを求める。そして、補正データ算出手段５０４は、このずれ量ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４は、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。
【００８６】
また、補正データ算出手段５０４は、フィッティング関数を用いて、補正データを算出できる。例えば、屈折率分布レンズ２１が縦横に３×３個マトリクス上に配置され、撮像素子４３Ｒ，４３Ｇ，４３Ｂが縦横に３００×３００画素を有する場合を考える。この場合、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１が９個であるため、各原色の補正用画像から検出できる屈折率分布レンズ２１の最大位置数は、それぞれ９個となる。また、９個の屈折率分布レンズ２１は、それぞれの位置ずれ量が異なる。その一方、９個の位置ずれをもとに、３００×３００画素の画像を補正するためには、画素ごとに補正データが必要となる。つまり、各屈折率分布レンズ２１と、撮像素子４３Ｒ，４３Ｇ，４３Ｂの各画素とを対応させるため、９個の位置ずれを通るような曲面を生成する必要がある。そこで、この曲面として、９個の位置ずれにおける二乗誤差が最小になる高次関数の曲面を生成する。すなわち、フィッティング関数とは、この二乗誤差が最小になる高次関数のことである。
【００８７】
なお、フィッティング関数を生成する手法としては、例えば、文献“「超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化」，日下部祐一、金澤勝、岡野文男，映像情報メディア学会誌vol.60,no.2,pp.234-241,2006年”に記載された手法を用いることができる。
【００８８】
なお、屈折率分布レンズ２１の位置ずれを算出する数は、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１の個数に依存する。従って、補正データ算出手段５０４は、全ての屈折率分布レンズ２１から補正データを算出してもよく、一部の屈折率分布レンズ２１から補正データを算出してもよい。一部の屈折率分布レンズ２１から補正データを算出した場合、補正データ算出手段５０４は、残りの屈折率分布レンズ２１の補正データを補間するとよい。
【００８９】
撮像画像入力手段５０５は、カメラ４０から、３原色の撮像画像が転送されるものであり、Ｒ撮像画像バッファ５０５Ｒと、Ｇ撮像画像バッファ５０５Ｇと、Ｂ撮像画像バッファ５０５Ｂとを備える。
【００９０】
Ｒ撮像画像バッファ５０５Ｒは、カメラ４０から転送された赤色の撮像画像を蓄積するバッファメモリである。このＲ撮像画像バッファ５０５Ｒが蓄積する赤色の撮像画像は、後記するＲ撮像用２値化手段５０６Ｒによって読み出される。
【００９１】
Ｇ撮像画像バッファ５０５ＧおよびＢ撮像画像バッファ５０５Ｂは、それぞれ、Ｒ撮像画像バッファ５０５Ｒと同様、緑色の撮像画像および青色の撮像画像を蓄積するバッファメモリである。
【００９２】
撮像用２値化手段５０６は、３原色の撮像画像に対して、２値化処理を行うものであり、Ｒ撮像用２値化手段５０６Ｒと、Ｇ撮像用２値化手段５０６Ｇと、Ｂ撮像用２値化手段５０６Ｂとを備える。
【００９３】
Ｒ撮像用２値化手段５０６Ｒは、Ｒ撮像画像バッファ５０５Ｒから赤色の撮像画像を読み出して、この赤色の撮像画像を輝度画像に変換する。そして、Ｒ撮像用２値化手段５０６Ｒは、Ｒ補正用２値化手段５０２Ｒと同様、この輝度画像に２値化処理を行って２値化画像を生成する。その後、Ｒ撮像用２値化手段５０６Ｒは、生成した２値化画像をＲ検出対象要素レンズ設定手段５０７Ｒに出力する。
【００９４】
Ｇ撮像用２値化手段５０６ＧおよびＢ撮像用２値化手段５０６Ｂは、それぞれ、Ｒ撮像用２値化手段５０６Ｒと同様、緑色の撮像画像および青色の撮像画像に２値化処理を行うため、詳細な説明を省略する。
【００９５】
検出対象要素レンズ設定手段５０７は、２値化処理が行われた３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定するものである。このため、検出対象要素レンズ設定手段５０７は、Ｒ検出対象要素レンズ設定手段５０７Ｒと、Ｇ検出対象要素レンズ設定手段５０７Ｇと、Ｂ検出対象要素レンズ設定手段５０７Ｂとを備える。
【００９６】
Ｒ検出対象要素レンズ設定手段５０７Ｒは、Ｒ撮像用２値化手段５０６Ｒから２値化画像（２値化処理が行われた赤色の撮像画像）が入力される。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、この２値化画像にパターンマッチングを行うか、または、屈折率分布レンズ２１の総輝度値を算出することで、各屈折率分布レンズ２１が検出対象要素レンズであるか否かを判定する。さらに、Ｒ検出対象要素レンズ設定手段５０７Ｒは、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する。その後、Ｒ検出対象要素レンズ設定手段５０７Ｒは、設定した検出対象要素レンズを一意に識別する検出対象要素レンズ識別情報と、入力された２値化画像とを撮像用レンズ位置検出手段５０８に出力する。以下、検出対象要素レンズの判定手法について、第１例および第２例をあげて説明する。
【００９７】
＜第１例：パターンマッチング＞
Ｒ検出対象要素レンズ設定手段５０７Ｒには、レンズ面全体が見えるように屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のレンズ面全体を示すテンプレート画像を手動で登録しておく。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、入力された２値化画像に対して、このテンプレート画像を用いて、パターンマッチング（例えば、正規化相関法）を行う。
【００９８】
ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、パターンマッチングで検出されないことになる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、パターンマッチングで検出されることになる。そこで、Ｒ検出対象要素レンズ設定手段５０７Ｒは、パターンマッチングで検出された屈折率分布レンズ２１を検出対象要素レンズとして設定する。
【００９９】
＜第２例：屈折率分布レンズの総輝度値＞
Ｒ検出対象要素レンズ設定手段５０７Ｒは、レンズ面全体が見える状態で屈折率分布レンズ２１を撮像した２値化画像から、屈折率分布レンズ２１に対応する画像領域内画素の輝度値を合計した判定用総輝度値を予め算出する。つまり、この判定用総輝度値は、レンズ面全体が撮像された状態での屈折率分布レンズ２１に対応する画像領域の総輝度値である。そして、Ｒ検出対象要素レンズ設定手段５０７Ｒは、入力された２値化画像において、屈折率分布レンズ２１に対応する画像領域内の画素の輝度値を合計して、屈折率分布レンズ２１ごとに総輝度値を算出する。さらに、Ｒ検出対象要素レンズ設定手段５０７Ｒは、算出した屈折率分布レンズ２１の総輝度値が判定用総輝度値以上であるか否かを判定する。
【０１００】
ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、その総輝度値が判定用総輝度値未満となる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、その総輝度値が判定用総輝度値以上となる。そこで、Ｒ検出対象要素レンズ設定手段５０７Ｒは、算出した総輝度値が判定用総輝度値以上と判定された屈折率分布レンズ２１を、検出対象要素レンズとして設定する。
【０１０１】
Ｇ検出対象要素レンズ設定手段５０７ＧおよびＢ検出対象要素レンズ設定手段５０７Ｂは、それぞれ、Ｒ検出対象要素レンズ設定手段５０７Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像において検出対象要素レンズを設定するため、詳細な説明を省略する。
【０１０２】
撮像用レンズ位置検出手段５０８は、撮像用２値化手段５０６によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出するものである。以下、検出対象要素レンズの位置検出手法について、第１例および第２例をあげて説明する。
【０１０３】
＜第１例：重心検出処理＞
図９を参照し、検出対象要素レンズの位置検出手法の第１例について説明する（適宜図３参照）。
図９に示すように、撮像用レンズ位置検出手段５０８は、重心検出処理を行うため、Ｒ撮像用重心検出手段５２８Ｒと、Ｇ撮像用重心検出手段５２８Ｇと、Ｂ撮像用重心検出手段５２８Ｂとを備える。
【０１０４】
Ｒ撮像用重心検出手段５２８Ｒは、Ｒ検出対象要素レンズ設定手段５０７Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用重心検出手段５２８Ｒは、Ｒ補正用重心検出手段５２３Ｒと同様、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ撮像用重心検出手段５２８Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の重心を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用重心検出手段５２８Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。
【０１０５】
Ｇ撮像用重心検出手段５２８ＧおよびＢ撮像用重心検出手段５２８Ｂは、それぞれ、Ｒ撮像用重心検出手段５２８Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像に重心検出処理を行うため、詳細な説明を省略する。
【０１０６】
＜第２例：パターンマッチング＞
図１０を参照し、検出対象要素レンズの位置検出手法の第２例について説明する（適宜図３参照）。
図１０に示すように、撮像用レンズ位置検出手段５０８は、パターンマッチングを行うため、Ｒ撮像用パターンマッチング手段５４８Ｒと、Ｇ撮像用パターンマッチング手段５４８Ｇと、Ｂ撮像用パターンマッチング手段５４８Ｂとを備える。
【０１０７】
Ｒ撮像用パターンマッチング手段５４８Ｒは、Ｒ検出対象要素レンズ設定手段５０７Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用パターンマッチング手段５４８Ｒは、Ｒ補正用パターンマッチング手段５４３Ｒと同様、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。さらに、Ｒ撮像用パターンマッチング手段５４８Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の中心位置を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用パターンマッチング手段５４８Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。
【０１０８】
Ｇ撮像用パターンマッチング手段５４８ＧおよびＢ撮像用パターンマッチング手段５４８Ｂは、それぞれ、Ｒ撮像用パターンマッチング手段５４８Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像にパターンマッチングを行うため、詳細な説明を省略する。
【０１０９】
前記したように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、検出対象要素レンズとして設定されることがない。このため、第１例〜第４例の何れを用いた場合でも、撮像用レンズ位置検出手段５０８は、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。
【０１１０】
図３に戻り、補正装置５０の構成について説明を続ける。
補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて、補正データ算出手段５０４が算出した補正データを修正するものである。
【０１１１】
ここで、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１の相対位置にずれが生じる場合がある。そこで、補正データ修正手段５０９は、補正用画像から検出した屈折率分布レンズ２１の中心位置と、検出対象要素レンズの中心位置との位置ずれの平均値を算出し、この平均値を補正データに反映させる。
【０１１２】
具体的には、補正データ修正手段５０９は、補正データ算出手段５０４から、補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とが入力される。また、補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８から、赤色、緑色および青色での検出対象要素レンズの中心位置が入力される。そして、補正データ修正手段５０９は、３原色ごとに、この検出対象要素レンズの中心位置と、この検出対象要素レンズに対応する屈折率分布レンズ２１の中心位置との位置ずれ量を算出する。さらに、補正データ修正手段５０９は、３原色ごとに、算出した全ての位置ずれ量の平均値を算出して、この平均値を補正データに加算する。その後、補正データ修正手段５０９は、修正した補正データを歪み補正手段５１０に出力する。これによって、補正データ修正手段５０９は、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に生じた中心位置ずれを補正データに反映させることができる。
【０１１３】
歪み補正手段５１０は、補正データ修正手段５０９が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正するものである。具体的には、歪み補正手段５１０は、カメラ４０から、３原色ごとの撮像画像（動画）が入力される。この撮像画像（動画）は、撮像用被写体を撮像した撮像画像がフレーム画像として連続したものである。また、歪み補正手段５１０は、補正データ修正手段５０９から、修正済みの補正データが入力される。そして、基準色が緑色であるため、歪み補正手段５１０は、赤色および青色の撮像画像での屈折率分布レンズ２１の中心位置か、緑色の撮像画像での屈折率分布レンズ２１の中心位置に一致するように、赤色および青色の撮像画像を補正する（図８参照）。その後、歪み補正手段５１０は、緑色の撮像画像と、補正済みの赤色および青色の撮像画像とを合成して出力する。以下、撮像画像の補正方法について、第１例および第２例をあげて説明する。
【０１１４】
＜第１例：２次元画像処理＞
以下、図１１を参照して、撮像画像の補正方法の第１例について説明する（適宜図１，図３参照）。
【０１１５】
屈折率分布レンズアレイ２０は、カメラ側端面が平面である（図１参照）。このため、歪み補正手段５１０は、２次元画像処理によって、色収差による歪みだけでなく、姿勢変化による位置ずれ（例えば、水平、垂直、回転およびあおり）も補正することが可能となる。
【０１１６】
図１１（ａ）のように、補正用白色被写体１０を撮像してから、図１１（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化することがある。図１１（ｂ）の例では、屈折率分布レンズアレイ２０とカメラ４０との間で、相対的な姿勢変化によって、水平方向の位置ずれが生じる。この場合、図１１（ｃ）に示すように、歪み補正手段５１０は、２次元画像処理によって、補正用画像から検出された屈折率分布レンズ２１の中心位置と、撮像画像から検出された検出対象要素レンズの中心位置とを比較、一致させる。これによって、歪み補正手段５１０は、姿勢変化による位置ずれも補正することができる
【０１１７】
例えば、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間、右方向に１画素分移動した場合を考える。この場合、歪み補正手段５１０は、補正用画像を右方向に１画素移動させた後、移動させた補正用画像と撮像画像とを用いて補正を行うことになる。
なお、移動方向と逆の方向（本例では左）にある補正用画像の左端の縦１列（右に１画素移動したので縦１列）では、その補正データが存在しないため、歪み補正手段５１０は、周辺画素の補正データから補間する。
【０１１８】
＜第２例：３次元画像処理＞
以下、図１２を参照して、撮像画像の補正方法の第２例について説明する（適宜図１，図３参照）。
ここで、図１２（ａ）のように、補正用白色被写体１０を撮像してから、図１２（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化したとする。
【０１１９】
この場合、図１２（ｃ）に示すように、歪み補正手段５１０は、３次元画像処理（例えば、光線追跡法）によって、この姿勢変化から、屈折率分布レンズアレイ２０とカメラ４０とが相対的に正しい位置での光線を推定することができる。従って、歪み補正手段５１０は、３次元画像処理を用いて、高い精度で補正を行うことができる。特に、屈折率分布レンズ２１の中心位置が設計位置からずれる場合（屈折率分布レンズアレイ２０に製造上の誤差がある場合）でも、歪み補正手段５１０は、３次元画像処理によって光線を正確に推定できるので、より高い精度で補正を行うことができる。
【０１２０】
ここで、光線追跡法としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。この文献に記載された手法を用いる場合、奥行き変更を行わない。
【０１２１】
なお、補正用白色被写体１０を撮像して補正データを算出する際、屈折率分布レンズアレイ２０とカメラ４０とを適切な位置に手動で配置しておくとよい。
また、歪み補正手段５１０は、動画として撮像された撮像画像だけでなく、静止画として撮像された撮像画像を補正できることは言うまでもない。
【０１２２】
［立体撮像システムの動作：補正データの算出］
図１３，図１４を参照して、補正データの算出および撮像画像の補正に分けて、図１の立体撮像システムの動作について説明する（適宜図１，図３参照）。
なお、図１３，図１４では、手動で行われる処理を破線で図示した。
【０１２３】
図１３に示すように、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ端面がカメラ４０の焦点位置になるように屈折率分布レンズアレイ２０を手動で配置する（ステップＳ１）。
【０１２４】
立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置する（ステップＳ２）。また、立体撮像システム１００では、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する（ステップＳ３）。
【０１２５】
カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像する。そして、補正装置５０は、カメラ４０から、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示す補正用画像が、補正用画像入力手段５０１に転送される（ステップＳ４）。
【０１２６】
補正装置５０は、補正用２値化手段５０２によって、３原色の補正用画像に対して、２値化処理を行う（ステップＳ５）。そして、補正装置５０は、補正用レンズ位置検出手段５０３によって、３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、３原色の補正用画像ごとに屈折率分布レンズ２１の位置を検出する（ステップＳ６）。
【０１２７】
補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１ごとに、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ７）。
【０１２８】
補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１の中心位置を一致させる補正データを算出する。すなわち、補正装置５０は、補正データ算出手段５０４によって、色収差による歪みを補正する補正データを算出する（ステップＳ８）。
【０１２９】
［立体撮像システムの動作：撮像画像の補正］
図１４に示すように、立体撮像システム１００では、補正用白色被写体１０に代えて、撮像用被写体を屈折率分布レンズアレイ２０の被写体側に手動で配置する（ステップＳ１０）。
【０１３０】
カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像する。そして、補正装置５０は、カメラ４０から、撮像用被写体が撮像された撮像画像が、撮像画像入力手段５０５に転送される（ステップＳ１１）。
【０１３１】
補正装置５０は、撮像用２値化手段５０６によって、３原色の撮像画像に対して、２値化処理を行う（ステップＳ１２）。そして、補正装置５０は、検出対象要素レンズ設定手段５０７によって、３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する（ステップＳ１３）。
【０１３２】
補正装置５０は、撮像用レンズ位置検出手段５０８によって、３原色の撮像画像ごとに、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する（ステップＳ１４）。
【０１３３】
補正装置５０は、補正データ修正手段５０９によって、検出した検出対象要素レンズの位置ずれ量の平均値を算出する（ステップＳ１５）。そして、補正装置５０は、補正データ修正手段５０９によって、この平均値を補正データに加算して、補正データを修正する（ステップＳ１６）。さらに、補正装置５０は、歪み補正手段５１０によって、修正済みの補正データに基づいて、３原色の撮像画像を２元画像処理または３次元画像処理によって補正する（ステップＳ１７）。
【０１３４】
以上のように、本発明の第１実施形態に係る立体撮像システム１００は、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、立体撮像システム１００は、白い背景で各要素レンズを撮像した補正用画像を用いるため、測定用パターンの歪みを考慮する必要がない。このため、立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１３５】
（変形例１：凹レンズアレイ）
前記した立体撮像システム１００は、種々の変更を加えることができるため、その変形例を具体的に説明する。
図１に示すように、第１実施形態では、レンズアレイの一例として、屈折率分布レンズアレイ２０を説明したが、これに限定されない。例えば、レンズアレイとして、屈折率分布レンズアレイ２０の代わりに、凹レンズを２次元に配置した凹レンズアレイ（不図示）を用いることもできる。
【０１３６】
（変形例２：拡散板）
図１に示すように、第１実施形態では、光学部材の一例として、集光レンズ３０を説明したが、これに限定されない。例えば、光学部材として、集光レンズ３０の代わりに、拡散板（不図示）を用いることもできる。
【０１３７】
一般的な拡散板は、例えば、光を拡散する用途と、隣り合う画素間の境界をぼかす用途との２種類に分類できる。ここで、光学部材として、前者を用途とする拡散板を用いる場合、下記の式（５）で定義される拡散角度θを満たすことが好ましい。この式（５）で定義される拡散角度θを満たさない場合、補正用白色被写体１０からの白色光がカメラ４０に入射されなくなるためである。
【０１３８】
【数１】
【０１３９】
なお、式（５）では、Ｗが屈折率分布レンズアレイ２０の中心から最端部までの長さであり、Ｄが撮像用レンズ４１から拡散板までの距離である。また、撮像用レンズ４１の光軸が屈折率分布レンズアレイ２０の中心を通過することとする。
【０１４０】
一方、光学部材として、後者を用途とする拡散板を用いる場合、なるべく拡散板での拡散が少ないことが好ましい。
このように、光学部材として拡散板を用いた場合、色収差による歪みおよび幾何学歪みが拡散板で発生しないため、立体撮像システム１００では、歪みの発生要因を１つ取り除くことができる。このため、立体撮像システム１００は、色収差による歪みおよび幾何学歪みが少ない補正用画像および撮像画像を撮像できる。
【０１４１】
（変形例３：補正データの修正なし）
図３に示すように、第１実施形態では、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれを考慮して、補正データを修正することとしたが、これに限定されない。つまり、補正装置５０は、補正データを修正しなくともよい。
【０１４２】
この場合、図３の補正装置５０において、撮像画像入力手段５０５、撮像用２値化手段５０６、検出対象要素レンズ設定手段５０７、撮像用レンズ位置検出手段５０８および補正データ修正手段５０９を備えない構成とする。また、補正データ算出手段５０４は、算出した補正データを歪み補正手段５１０に出力する。そして、歪み補正手段５１０は、補正データ算出手段５０４から入力された補正データ（つまり、未修正の補正データ）に基づいて、撮像画像を補正する。
なお、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれは、補正されないことは言うまでもない。
【０１４３】
（第２実施形態：凸レンズアレイの対）
［立体撮像システムの構成］
図１５を参照して、本発明の第２実施形態に係る立体撮像システム１０１の構成について、第１実施形態と異なる点を説明する（適宜図１参照）。
図１５に示すように、立体撮像システム１０１は、図１の屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を備える。
【０１４４】
凸レンズアレイの対２２は、凸レンズアレイ２３ａ，２３ｂが互いに対向するように配置されたものである。また、凸レンズアレイ２３ａ，２３ｂは、それぞれ、要素レンズとしての凸レンズ２４ａ，２４ｂが２次元に配置される。すなわち、凸レンズアレイ２３ａ，２３ｂは、同数の凸レンズ２４ａ，２４ｂを有する。さらに、各凸レンズ２４ａ，２４ｂは、互いに対応するように、その中心位置が一致する。
【０１４５】
ここで、凸レンズアレイ２３ａ，２３ｂの焦点距離をｆＡとして説明する。
凸レンズアレイ２３ａが被写体側に配置され、凸レンズアレイ２３ｂが凸レンズアレイ２３ａのカメラ側に配置される。このとき、凸レンズアレイ２３ｂは、カメラ４０が焦点距離ｆＡの２倍の位置を撮像でき、かつ、凸レンズアレイ２３ａからの焦点距離ｆＡが４倍となる位置に配置される。
【０１４６】
また、凸レンズアレイ２３ａ，２３ｂは、互いに焦点距離が異なってもよい。この場合、凸レンズアレイ２３ａが有する凸レンズ２４ａは、全て同一の焦点距離を有する。さらに、凸レンズアレイ２３ｂが有する凸レンズ２４ｂは、全て同一の焦点距離を有する。
【０１４７】
以上のように、本発明の第２実施形態に係る立体撮像システム１０１は、屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を用いた光学系においても、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１０１は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
なお、第２実施形態では、凸レンズアレイの対２２以外の各手段、および、立体撮像システム１０１の動作が第１実施形態と同様のため、詳細な説明を省略する。
【０１４８】
（変形例４：新たな凸レンズアレイ）
前記した立体撮像システム１０１は、種々の変更を加えることができるため、その変形例を具体的に説明する。
【０１４９】
図１５の立体撮像システム１０１は、凸レンズアレイ２３ａのカメラ側であって、凸レンズアレイ２３ａからの焦点距離ｆＡが２倍となる位置に、新たな凸レンズアレイ（不図示）をさらに配置してもよい。
【０１５０】
新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同じ焦点距離ｆＡを有する。また、新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同数の凸レンズ（要素レンズ）を有する。さらに、新たな凸レンズアレイの各凸レンズは、対応する凸レンズ２４ａ，２４ｂの中心位置と一致する。
【０１５１】
（第３実施形態：色収差による歪みおよび幾何学歪みの補正）
［補正装置の構成］
図１６を参照して、本発明の第３実施形態に係る補正装置５１の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図１６に示すように、補正装置５１は、色収差による歪みに加えて幾何学歪みを補正するため、補正基準位置記憶手段５１１をさらに備え、図３の補正データ算出手段５０４の代わりに補正データ算出手段５０４Ａを備える。
【０１５２】
補正基準位置記憶手段５１１は、図１の屈折率分布レンズ２１（要素レンズ）の基準位置を予め記憶するメモリ、ハードディスクなどの記憶手段である。この基準位置は、各屈折率分布レンズ２１の中心位置の基準となり、例えば、各屈折率分布レンズ２１の中心位置の設計値である。
【０１５３】
補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１が記憶する基準位置に、３原色での屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。
【０１５４】
具体的には、補正データ算出手段５０４Ａは、補正用レンズ位置検出手段５０３から、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置が入力される。また、補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１から基準位置を読み出す。そして、補正データ算出手段５０４Ａは、この基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。
【０１５５】
この場合、補正データ算出手段５０４Ａは、図１７に示すように、基準位置Ｃに対する、赤色での屈折率分布レンズ２１Ｒの中心位置ＣＲのずれ量ΔＣ−Ｒを求める。また、補正データ算出手段５０４Ａは、基準位置Ｃに対する、緑色での屈折率分布レンズ２１Ｇの中心位置ＣＧのずれ量ΔＣ−Ｇを求める。そして、補正データ算出手段５０４Ａは、基準位置Ｃに対する、青色での屈折率分布レンズ２１Ｂの中心位置ＣＢのずれ量ΔＣ−Ｂを求める。さらに、補正データ算出手段５０４Ａは、このずれ量ΔＣ−Ｇ，ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４Ａは、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。
【０１５６】
なお、立体撮像システム１００の全体構成は、図１と同様のため、詳細な説明を省略する。また、図１６の補正データ算出手段５０４Ａおよび補正基準位置記憶手段５１１以外の各手段は、図３の各手段と同様のため、詳細な説明を省略する。
【０１５７】
［立体撮像システムの動作：補正データの算出］
図１８を参照して、第３実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図１６参照）。
なお、図１８のステップＳ１〜ステップＳ６は、図１３の各ステップと同様のため、詳細な説明を省略する。また、立体撮像システム１００が撮像画像を補正する動作は、図１４と同様のため、詳細な説明を省略する。
【０１５８】
補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１ごとに、基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ２０）。
【０１５９】
補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１の中心位置を基準位置に一致させる補正データを算出する。すなわち、補正装置５１は、補正データ算出手段５０４Ａによって、色収差による歪みおよび幾何学歪みを補正する補正データを算出する（ステップＳ２１）。
【０１６０】
以上のように、本発明の第３実施形態に係る立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みだけでなく幾何学歪みを、容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１６１】
（第４実施形態：シェーディング補正）
［シェーディング補正の概略］
図１９を参照して、本発明の第４実施形態に係る補正装置５２（図２２参照）ついて、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
補正装置５２は、補正用画像および撮像画像にシェーディング補正を行った後、図３の補正装置５０と同様、色収差による歪みを補正する。
【０１６２】
補正装置５２の構成を説明する前にシェーディング補正の概略について説明する。
図１９（ａ）に示すように、屈折率分布レンズ２１には、その特性によって、シェーディングが発生する。また、図１９（ｂ）に示すように、補正用白色被写体１０、集光レンズ３０、撮像用レンズ４１および撮像素子４３にも、その特性によって、シェーディングが発生する。従って、カメラ４０で撮像された補正用画像および撮像画像には、図１９（ａ）および（ｂ）に示したシェーディングの影響が総合的に含まれている。このため、図１９（ｃ）に示すように、補正用画像では、中心側に位置する屈折率分布レンズ２１が高い輝度（明るく）で撮像され、外周側に位置する屈折率分布レンズ２１が低い輝度（暗く）で撮像される。この状態で２値化処理を行っても、補正用画像から、屈折率分布レンズ２１の配列を示す２値化画像を得ることが困難である。
【０１６３】
このため、補正装置５２は、図２０に示すように、補正データを算出するとき、補正用画像にシェーディング補正を行う。まず、補正装置５２は、カメラ４０から、シェーディングの影響が含まれる補正用画像（シェーディングあり補正用画像）が入力される。そこで、補正装置５２は、このシェーディングあり補正用画像において、全画素の最大画素値を注目画素の画素値で除算して、注目画素ごとのシェーディング補正データを算出する。さらに、補正装置５２は、カメラ４０からの入力画像（シェーディングあり補正用画像）において、この入力画像での注目画素の画素値に、この注目画素のシェーディング補正を乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後補正用画像）に対して、２値化処理を行う。
【０１６４】
言い換えるなら、補正データ算出時におけるシェーディング補正は、下記の式（６）で表される。この式（６）では、Ｗｉｍがシェーディングあり補正用画像であり、Ｗｉｍ２がシェーディング補正後補正用画像であり、ｉが注目画素の水平座標であり、ｊが注目画素の垂直座標であり、ｋが各原色を識別する値（例えば、赤色＝１、緑色＝２、青色＝３）であり、ｍａｘが、ｋ色での最大画素値を求める関数である。
【０１６５】
【数２】
【０１６６】
つまり、式（６）では、ｍａｘ（Ｗｉｍ（：，：，ｋ））が、シェーディングあり補正用画像における、ｋ色での最大画素値である。また、式（６）では、Ｗｉｍ（ｉ，ｊ，ｋ）が、シェーディングあり補正用画像の注目画素（ｉ，ｊ）における、ｋ色での画素値である。さらに、式（６）では、右辺第２項が、シェーディング補正データである。
【０１６７】
また、補正装置５２は、図２１に示すように、撮像画像を補正するとき、撮像画像にシェーディング補正を行う。
なお、屈折率分布レンズ２１のレンズ面には撮像用被写体が映ることになるが、図面を見やすくするため、図２１では省略した。
【０１６８】
ここで、補正装置５２は、カメラ４０からの入力画像（シェーディングあり撮像画像）において、この入力画像での注目画素の画素値に、前記したシェーディング補正データを乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後撮像画像）に対して、２値化処理を行う。
【０１６９】
つまり、撮像画像補正時におけるシェーディング補正は、下記の式（７）で表される。この式（７）では、ｉｍ１がシェーディングあり撮像画像であり、ｉｍ２がシェーディング補正後撮像画像である。さらに、式（７）では、右辺第２項が、シェーディング補正データである。
【０１７０】
【数３】
【０１７１】
［補正装置の構成］
図２２を参照して、本発明の第４実施形態に係る補正装置５２の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図２２に示すように、補正装置５２は、シェーディング補正データ算出手段５１２と、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とをさらに備える。
【０１７２】
シェーディング補正データ算出手段５１２は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するものである。ここで、シェーディング補正データ算出手段５１２は、カメラ４０から、３原色の補正用画像が転送される。そして、シェーディング補正データ算出手段５１２は、この３原色の補正用画像から、前記したシェーディング補正データ（式（６）および式（７）の右辺第２項）を算出する。シェーディング補正データ算出手段５１２は、このシェーディング補正データを、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とに出力する。
【０１７３】
補正用シェーディング補正手段５１３は、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ補正用シェーディング補正手段５１３Ｒと、Ｇ補正用シェーディング補正手段５１３Ｇと、Ｂ補正用シェーディング補正手段５１３Ｂとを備える。
【０１７４】
Ｒ補正用シェーディング補正手段５１３Ｒは、Ｒ補正用画像バッファ５０１Ｒから赤色の補正用画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ補正用シェーディング補正手段５１３Ｒは、この赤色の補正用画像に対して、式（６）で定義されるシェーディング補正を行う。その後、Ｒ補正用シェーディング補正手段５１３Ｒは、シェーディング補正が施された赤色の補正用画像をＲ補正用２値化手段５０２Ｒに出力する。
【０１７５】
ここで、式（６）のシェーディング補正を補正用画像全体に行った場合、屈折率分布レンズ２１同士の隙間もシェーディング補正され、補正用画像が、屈折率分布レンズ２１の配列を示さない真っ白な画像になってしまう。通常、屈折率分布レンズ２１同士の隙間は、白色光が透過せずに黒色になるため、シェーディング補正を行う必要がない。さらに、屈折率分布レンズ２１同士の隙間をシェーディング補正した場合、屈折率分布レンズ２１の位置検出が困難になる。このため、Ｒ補正用シェーディング補正手段５１３Ｒは、赤色の補正用画像に対して、屈折率分布レンズ２１の領域検出処理（例えば、２値化処理、エッジ検出処理等）を行ってから、検出された屈折率分布レンズ２１の領域のみを式（６）でシェーディング補正することが好ましい。
【０１７６】
Ｇ補正用シェーディング補正手段５１３ＧおよびＢ補正用シェーディング補正手段５１３Ｂは、それぞれ、Ｒ補正用シェーディング補正手段５１３Ｒと同様、緑色の補正用画像および青色の補正用画像にシェーディング補正を行うため、詳細な説明を省略する。
【０１７７】
撮像用シェーディング補正手段５１４は、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ撮像用シェーディング補正手段５１４Ｒと、Ｇ撮像用シェーディング補正手段５１４Ｇと、Ｂ撮像用シェーディング補正手段５１４Ｂとを備える。
【０１７８】
Ｒ撮像用シェーディング補正手段５１４Ｒは、Ｒ撮像画像バッファ５０５Ｒから赤色の撮像画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ撮像用シェーディング補正手段５１４Ｒは、この赤色の撮像画像に対して、式（７）で定義されるシェーディング補正を行う。その後、Ｒ撮像用シェーディング補正手段５１４Ｒは、シェーディング補正が施された赤色の撮像画像をＲ撮像用２値化手段５０６Ｒに出力する。
【０１７９】
なお、Ｒ撮像用シェーディング補正手段５１４Ｒは、赤色の撮像画像にシェーディング補正を行うとき、赤色の補正用画像と赤色の撮像画像との間で屈折率分布レンズ２１の位置が一致するように、赤色の撮像画像の位置を調整するとよい。
また、Ｒ撮像用シェーディング補正手段５１４Ｒは、Ｒ補正用シェーディング補正手段５１３Ｒと同様、赤色の撮像画像に対して、屈折率分布レンズ２１の領域検出処理を行ってから、検出された屈折率分布レンズ２１の領域のみを式（７）でシェーディング補正することが好ましい。
【０１８０】
Ｇ撮像用シェーディング補正手段５１４Ｇと、Ｂ撮像用シェーディング補正手段５１４Ｂは、それぞれ、Ｒ撮像用シェーディング補正手段５１４Ｒと同様、緑色の撮像画像および青色の撮像画像にシェーディング補正を行うため、詳細な説明を省略する。
【０１８１】
撮像用シェーディング補正手段５１５は、カメラ４０から、３原色の撮像画像がフレーム画像として連続した動画が入力される。また、撮像用シェーディング補正手段５１５は、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、撮像用シェーディング補正手段５１５は、この撮像画像（フレーム画像）に対してシェーディング補正を行う。その後、撮像用シェーディング補正手段５１５は、シェーディング補正が施された撮像画像（動画）を歪み補正手段５１０に出力する。
【０１８２】
なお、撮像用シェーディング補正手段５１５は、撮像用シェーディング補正手段５１４と同様のものであるため、詳細な説明を省略する。
また、図２２では、撮像用シェーディング補正手段５１４，５１５は、個別に図示したが、これらを一体化してもよい。
【０１８３】
［立体撮像システムの動作：補正データの算出］
図２３を参照して、第４実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図２２参照）。
なお、図２３のステップＳ１〜ステップＳ８は、図１３の各ステップと同様のため、詳細な説明を省略する。
【０１８４】
補正装置５２は、シェーディング補正データ算出手段５１２によって、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出する。そして、補正装置５２は、補正用シェーディング補正手段５１３によって、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ３０）。
【０１８５】
［立体撮像システムの動作：撮像画像の補正］
図２４を参照して、立体撮像システム１００が撮像画像の補正する動作について説明する（適宜図１，図２２参照）。
なお、図２４のステップＳ１０〜ステップＳ１７は、図１４の各ステップと同様のため、詳細な説明を省略する。
【０１８６】
補正装置５２は、撮像用シェーディング補正手段５１４によって、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４０）。
【０１８７】
補正装置５２は、撮像用シェーディング補正手段５１５によって、３原色の撮像画像（動画）に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４１）。
【０１８８】
以上のように、本発明の第４実施形態に係る立体撮像システム１００は、シェーディングによる悪影響を防止するので、屈折率分布レンズ２１の配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、立体撮像システム１００は、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
【０１８９】
なお、第４実施形態において、補正用白色被写体１０のシェーディングも考慮する場合、補正用白色被写体１０のシェーディング特性データを予め設定する。そして、補正装置５２は、このシェーディング特性データを用いて、式（６）および式（７）の第２項と同様のシェーディング補正データを求めた後、このシェーディング補正データを式の第３項として乗算すればよい。
【０１９０】
なお、各実施形態では、本発明に係る補正装置を独立した装置として説明したが、本発明は、一般的なコンピュータを補正装置として機能される補正プログラムによって実現することもできる。この場合、この補正プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された補正プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、このプログラムは、前述した補正装置の一部機能を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１９１】
なお、各実施形態では、補正用白色被写体を撮像した補正用画像を用いることとして説明したが、本発明は、これに限定されない。つまり、本発明では、この補正用画像の代わりに、低周波成分が多く含まれる低周波成分画像を用いることもできる。この場合、この低周波成分画像が補正用画像と類似するため、補正用画像を撮像してから撮像画像を撮像するまでに生じた、回転やあおりといった相対姿勢の変化を補正することも可能である。さらに、この場合、補正用画像を用いなくても、色収差による歪みや幾何学歪みを補正するための補正データを２値化画像（２値化処理を施した撮像画像）から直接求めることもできる。
【０１９２】
以上、本発明の各実施形態について図面を参照して詳述してきたが、本発明は各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１９３】
（実施例１：補正データのベクトル表現）
図２５〜図２７を参照して、本発明の実施例１として、本発明に係る補正装置が算出した補正データの一例について説明する。
【０１９４】
この実施例１では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に２０個、垂直方向に１３個）取得した。そして、図２５〜図２７に示すように、このサンプルとなる補正データをベクトル表現した。
【０１９５】
図２５〜図２７では、各ベクトルは、その向きが要素レンズの位置ずれの方向を表しており、その長さが要素レンズの位置ずれ量を表している。
なお、各ベクトルの長さは、正規化されているため、位置ずれ量と比例するが、位置ずれ量と等しいわけではない。
【０１９６】
（実施例２：補正データのメッシュ表現）
図２８〜図３０を参照して、本発明の実施例２として、本発明に係る補正装置が算出した補正データの一例について説明する。
【０１９７】
ここで、要素レンズの水平方向の間隔が、１．１４（ｍｍ）≒１９．２（ｐｉｘ）であった。また、レンズアレイは、各要素レンズをデルタ配列（俵ずみ）したものであり、横４５６（ｍｍ）×縦２０９．６（ｍｍ）の大きさであった。
【０１９８】
この実施例２では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に４０個、垂直方向に２６個）取得した。そして、図２８〜図３０に示すように、このサンプルとなる補正データをメッシュ表現した（水平成分のみ）。
【０１９９】
図２８より、基準位置と緑色での要素レンズ（要素画像）の位置ずれは、［ｍａｘ ｍｉｎ］＝［７．３ −２２．５］（ｐｉｘ）となった。
図２９より、緑色での要素レンズ（要素画像）と、赤色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［３．３ −２．１］（ｐｉｘ）となった。
図３０より、緑色での要素レンズ（要素画像）と、青色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［２．４ −１．８］（ｐｉｘ）となった。
以上、実施例１，２より、本発明に係る補正装置は、要素レンズごとに高い精度で補正データを算出できることがわかる。
【産業上の利用可能性】
【０２００】
本発明は、インテグラル方式の立体像（静止画および動画）の撮像に利用することができる。例えば、本発明は、インテグラル方式の立体テレビ受信機で視聴される立体画像などの立体映像コンテンツの撮像に利用することができる。
【符号の説明】
【０２０１】
１０ 補正用白色被写体
２０ 屈折率分布レンズアレイ（レンズアレイ）
２１ 屈折率分布レンズ（要素レンズ）
２２ 凸レンズアレイの対（レンズアレイ）
２３ａ，２３ｂ 凸レンズアレイ
２４ａ，２４ｂ 凸レンズ（要素レンズ）
３０ 集光レンズ（光学部材）
４０ カメラ（撮像装置）
４１ 撮像用レンズ
４３Ｒ，４３Ｇ，４３Ｂ 撮像素子
５０，５１，５２ 補正装置
１００，１０１ 立体撮像システム
５０１ 補正用画像入力手段
５０２ 補正用２値化手段
５０３ 補正用レンズ位置検出手段
５０４，５０４Ａ 補正データ算出手段
５０５ 撮像画像入力手段
５０６ 撮像用２値化手段
５０７ 検出対象要素レンズ設定手段
５０８ 撮像用レンズ位置検出手段
５０９ 補正データ修正手段
５１０ 歪み補正手段
５１１ 補正基準位置記憶手段
５１２ シェーディング補正データ算出手段
５１３ 補正用シェーディング補正手段
５１４，５１５ 撮像用シェーディング補正手段
【特許請求の範囲】
【請求項１】
白色光を発光する補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、前記補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、
前記補正用白色被写体と、
前記補正用白色被写体からの白色光が２次元に配置された要素レンズに入射するレンズアレイと、
前記レンズアレイに対向し、かつ、前記要素レンズに入射した前記補正用白色被写体からの白色光の光路上に配置された光学部材と、
３原色の撮像素子を有し、前記光学部材を介して前記補正用白色被写体を撮像することで、前記要素レンズの配列を示す前記３原色の補正用画像を生成する撮像装置と、
前記撮像装置が生成した３原色の補正用画像から前記要素レンズの位置を検出し、検出した当該要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出し、当該補正データを用いて、前記撮像画像を補正する補正装置と、
を備えることを特徴とする立体撮像システム。
【請求項２】
前記補正用白色被写体は、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする請求項１に記載の立体撮像システム。
【請求項３】
白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出する補正装置であって、
前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段と、
前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段と、
前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段と、
前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段と、
を備えることを特徴とする補正装置。
【請求項４】
前記補正データ算出手段は、前記３原色のうちの何れか１原色である基準色の前記補正用画像から検出した前記要素レンズの位置に、他の２原色の前記補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
【請求項５】
前記要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、
前記補正データ算出手段は、前記補正基準位置記憶手段が記憶する前記要素レンズの基準位置に、前記３原色の補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
【請求項６】
前記撮像装置から、撮像用被写体が撮像された前記３原色の撮像画像が入力される撮像画像入力手段と、
前記撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、
前記２値化処理が行われた前記３原色の撮像画像において、前記要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは前記要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された前記要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、
前記撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、前記検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、
前記撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した当該検出対象要素レンズの位置ずれの平均値に基づいて前記補正データ算出手段が算出した補正データを修正する補正データ修正手段と、
前記補正データ修正手段が修正した補正データに基づいて、前記３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、
をさらに備えることを特徴とする請求項３から請求項５の何れか一項に記載の補正装置。
【請求項７】
前記３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、
前記補正用画像入力手段に入力された３原色の補正用画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、
前記撮像装置から入力された３原色の撮像画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、
をさらに備え、
前記補正用２値化手段は、前記補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、
前記撮像用２値化手段は、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、
前記歪み補正手段は、前記補正データに基づいて、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする請求項６に記載の補正装置。
【請求項８】
白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するために、コンピュータを、
前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段、
前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段、
前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段、
前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段、
として機能させるための補正プログラム。
【請求項１】
白色光を発光する補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、前記補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、
前記補正用白色被写体と、
前記補正用白色被写体からの白色光が２次元に配置された要素レンズに入射するレンズアレイと、
前記レンズアレイに対向し、かつ、前記要素レンズに入射した前記補正用白色被写体からの白色光の光路上に配置された光学部材と、
３原色の撮像素子を有し、前記光学部材を介して前記補正用白色被写体を撮像することで、前記要素レンズの配列を示す前記３原色の補正用画像を生成する撮像装置と、
前記撮像装置が生成した３原色の補正用画像から前記要素レンズの位置を検出し、検出した当該要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出し、当該補正データを用いて、前記撮像画像を補正する補正装置と、
を備えることを特徴とする立体撮像システム。
【請求項２】
前記補正用白色被写体は、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする請求項１に記載の立体撮像システム。
【請求項３】
白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出する補正装置であって、
前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段と、
前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段と、
前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段と、
前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段と、
を備えることを特徴とする補正装置。
【請求項４】
前記補正データ算出手段は、前記３原色のうちの何れか１原色である基準色の前記補正用画像から検出した前記要素レンズの位置に、他の２原色の前記補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
【請求項５】
前記要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、
前記補正データ算出手段は、前記補正基準位置記憶手段が記憶する前記要素レンズの基準位置に、前記３原色の補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
【請求項６】
前記撮像装置から、撮像用被写体が撮像された前記３原色の撮像画像が入力される撮像画像入力手段と、
前記撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、
前記２値化処理が行われた前記３原色の撮像画像において、前記要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは前記要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された前記要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、
前記撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、前記検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、
前記撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した当該検出対象要素レンズの位置ずれの平均値に基づいて前記補正データ算出手段が算出した補正データを修正する補正データ修正手段と、
前記補正データ修正手段が修正した補正データに基づいて、前記３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、
をさらに備えることを特徴とする請求項３から請求項５の何れか一項に記載の補正装置。
【請求項７】
前記３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、
前記補正用画像入力手段に入力された３原色の補正用画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、
前記撮像装置から入力された３原色の撮像画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、
をさらに備え、
前記補正用２値化手段は、前記補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、
前記撮像用２値化手段は、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、
前記歪み補正手段は、前記補正データに基づいて、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする請求項６に記載の補正装置。
【請求項８】
白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するために、コンピュータを、
前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段、
前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段、
前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段、
前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段、
として機能させるための補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−１５６８１８（Ｐ２０１２−１５６８１８Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４６９５（Ｐ２０１１−１４６９５）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省、独立行政法人情報通信研究機構「多並列・像再生型立体テレビシステムの研究開発 課題ア（ａ）超高精細撮像技術」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省、独立行政法人情報通信研究機構「多並列・像再生型立体テレビシステムの研究開発 課題ア（ａ）超高精細撮像技術」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]