撮像装置及び光軸制御方法
【課題】高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置を提供する。
【解決手段】複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える。
【解決手段】複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び光軸制御方法に関するものである。
【背景技術】
【０００２】
近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話端末等に小型で高画質なデジタルカメラが搭載されてきている。デジタルカメラに代表される撮像装置は、撮像素子、結像光学系（レンズ光学系）、イメージプロセッサ、バッファメモリ、フラッシュメモリ（カード型メモリ）、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成されている。撮像素子には、通常、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスが使用されている。撮像素子上に結像された光量分布は光電変換されて、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。イメージプロセッサとしてはＤＳＰ（Digital Signal Processor）等が、またバッファメモリとしてはＤＲＡＭ（Dynamic Random Access Memory）等が使用される。撮像された画像はカード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像はモニタに表示することができる。
【０００３】
撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成されている。また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系はより低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。
【０００４】
このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせることにより、撮像装置を小型化、薄型化することが提案されている。例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと１つの撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１）。図３８に示すように、固定焦点距離のレンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子２００３から構成されている。この構成によって、レンズアレイ２００１の数と同数の画像を単一の撮像素子２００３上に分割して結像させる。この撮像素子２００３より得られた複数の画像を演算装置２００４により画像処理を行い、全体の画像を再構成する。また、この演算装置２００４からフォーカス情報を検出し、液晶駆動装置２００５を介して液晶レンズアレイ２００２の各液晶レンズを駆動して、オートフォーカスを行う。このように、特許文献１の撮像レンズ装置においては、液晶レンズと固体レンズを組み合わせることにより、オートフォーカス機能やズーム機能を有し、かつ小型化を実現することができる。
【０００５】
また、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイと１つの撮像素子から構成された撮像装置もある（例えば、特許文献２）。図３９に示すように、液晶レンズ２１３１と、複眼光学系２１２０と、画像合成器２１１５と、駆動電圧演算部２１４２から構成されている。特許文献１と同様、単一の撮像素子２１０５上に、レンズアレイの数と同数の画像を結像させて、画像処理で画像を再構成する。このように、特許文献２の撮像装置においては、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイを組み合わせることにより、小型、薄型で焦点調整機能を実現することができる。
【０００６】
また、撮像素子である検出器アレイと撮像レンズアレイから構成されたサブピクセル解像度を有する薄型カメラにおいて、２つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている（例えば、特許文献３）。この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。また、特許文献３は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更することで画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。このように、特許文献３の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子を組み合わせることにとより、合成画像の高精細化を実現している。また、撮像レンズアレイと撮像素子に液体レンズを組み合わせることで、合成画像の高精細化を実現することができる。
【特許文献１】特開２００６−２５１６１３号公報
【特許文献２】特開２００６−２１７１３１号公報
【特許文献３】特表２００７−５２０１６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要があるという問題がある。また、相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。再度位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、多大な作業時間を要するという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置及び光軸制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備えることを特徴とする。
【００１０】
本発明は、前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１１】
本発明は、前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１２】
本発明は、前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１３】
本発明は、前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１４】
本発明は、前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする。
【００１５】
本発明は、前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
【００１６】
本発明は、前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする。
【００１７】
本発明は、前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする。
【００１８】
本発明は、前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする。
【００１９】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備えることを特徴とする。
【００２０】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える撮像装置における光軸制御方法であって、前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
【００２１】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備える撮像装置における光軸制御方法であって、前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。特に、入射する光の光軸を撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができる高画質な撮像装置を実現することができる。また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。
【発明を実施するための最良の形態】
【００２３】
以下に、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る、撮像装置の全体構成を示す機能ブロック図である。図１に示す撮像装置１は、６系統の単位撮像部２〜７を備えている。単位撮像部２は撮像レンズ８と撮像素子１４から構成されている。同様に、単位撮像部３は撮像レンズ９と撮像素子１５、単位撮像部４は撮像レンズ１０と撮像素子１６、単位撮像部５は撮像レンズ１１と撮像素子１７、単位撮像部６は撮像レンズ１２と撮像素子１８、及び単位撮像部７は撮像レンズ１３と撮像素子１９から構成されている。各撮像レンズ８〜１３は撮影対象からの光を対応する各撮像素子１４〜１９上にそれぞれ結像する。図１に示す符号２０〜２５は、各撮像素子１４〜１９に入射する光の光軸を示している。
【００２４】
以下、単位撮像部３を例にとり、信号の流れを説明する。撮像レンズ９によって結像した像を撮像素子１５で光電変換し、光信号を電気信号に変換する。撮像素子１５で変換された電気信号は、映像処理部２７によって予め設定されたパラメータにより映像信号に変換する。映像処理部２７は、変換した映像信号を映像合成処理部３８へ出力する。映像合成処理部３８は、他の単位撮像部２、４〜７から出力される電気信号を対応する各映像処理部２６、２８〜３１により変換処理された映像信号を入力する。映像合成処理部３８では、各単位撮像部２〜７において撮像された６つの映像信号を同期を取りながら１本の映像信号に合成し、高精細映像として出力する。また映像合成処理部３８は、合成した高解像度映像が予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、６つの制御部３２〜３７へ出力する。各制御部３２〜３７は、入力した制御信号に基づいて、対応する各撮像レンズ８〜１３の光軸制御を行う。そして、映像合成処理部３８は、再度高精細映像の判定を行う。この判定結果が良ければ高精細映像を出力し、悪ければ再度、撮像レンズを制御するという動作を繰り返す。
【００２５】
次に、図２を参照して、図１に示す単位撮像部３の撮像レンズ９及びこの撮像レンズ９を制御する制御部３３の詳細な構成を説明する。単位撮像部３は、液晶レンズ（非固体レンズ）３０１及び光学レンズ（固体レンズ）３０２から構成されている。また、制御部３３は、液晶レンズ３０１に印加する電圧を制御する４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄから構成されている。電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄは、映像合成処理部３８が生成した制御信号に基づいて、液晶レンズ３０１に印加する電圧を決定し、液晶レンズ３０１を制御する。図１に示す他の単位撮像部２、４〜７の撮像レンズ及び制御部も同様な構成であるため、ここでは詳細な説明を省略する。
【００２６】
次に、図３を参照して、図２に示す液晶レンズ３０１の構成を説明する。本実施形態における液晶レンズ３０１は、透明な第１の電極３０３、第２の電極３０４、透明な第３の電極３０５、第２の電極３０４と第３の電極３０５との間に配置された液晶層３０６、第１の電極３０３と第２の電極３０４との間に配置された第１の絶縁層３０７、第２の電極３０４と第３の電極３０５の間に配置された第２の絶縁層３０８、第１の電極３０３の外側に配置された第３の絶縁層３１１、第３の電極３０５の外側に配置された第４の絶縁層３１２によって構成されている。ここで、第２の電極３０４は、円形の孔を有しており、図３の正面図に示すように縦、横に分割された４つの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄによって構成されており、それぞれの電極に独立して電圧を印加することができる。また、液晶層３０６は第３の電極３０５に対向するように液晶分子を一方向に配向させており、液晶層３０６を挟む電極３０３、３０４、３０５の間に電圧を印加することで液晶分子の配向制御を行う。また、絶縁層３０８は大口径化のため例えば数百μｍ程度の厚さの透明な硝子等を用いている。
【００２７】
一例として液晶レンズ３０１の寸法を以下に示す。第２の電極３０４の円形の孔のサイズは約φ２ｍｍであり、第１の電極３０３との間隔は７０μｍであり、第２の絶縁層３０８の厚みは７００μｍである。液晶層３０６の厚さは６０μｍとしている。本実施の形態では第１の電極３０３と第２の電極３０４は異なった層となっているが、同一の面上に形成しても構わない。その場合、第１の電極３０３の形状は第２の電極３０４の円形の孔よりも小さなサイズの円形として第２の電極３０４の孔位置に配置し、第２の電極３０４の分割部分に電極取り出し部を設けた構成とする。このとき、第１の電極３０３と第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄはそれぞれ独立に電圧制御が行える。このような構成をすることで全体の厚みを減少させることができる。
【００２８】
次に、図３に示す液晶レンズ３０１の動作を説明する。図３に示す液晶レンズ３０１において、透明な第３の電極３０５とアルミニウム薄膜等で構成された第２の電極３０４との間に電圧を印加すると同時に、第１の電極３０３と第２の電極３０４の間にも電圧を印加することにより、円形の孔を有する第２の電極３０４の中心軸３０９に軸対象な電界勾配を形成することができる。このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層３０６の液晶分子が電界勾配の方向に配向する。その結果、液晶層３０６の配向分布の変化により、異常光の屈折率分布が円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。第１の電極３０３、第２の電極３０４への電圧の掛け方によってこの液晶層３０６の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど自由に光学的な特性の制御を行うことが可能である。
【００２９】
本実施形態では、第１の電極３０３と第２の電極３０４の間に２０Ｖｒｍｓの実効電圧を印加し、また、第２の電極３０４と第３の電極３０５の間に７０Ｖｒｍｓの実効電圧を印加して、第１の電極３０３と第３の電極３０５の間には９０Ｖｒｍｓの実効電圧が印加されるようにして凸レンズとして機能させている。ここで、液晶駆動電圧（各電極間に印加する電圧）は正弦波、またはデューティ比５０％の矩形波の交流波形である。印加する電圧値は実効電圧（ｒｍｓ：root mean square value）で表す。例えば１００Ｖｒｍｓの交流正弦波は、±１４４Ｖの尖頭値を有する電圧波形となる。また、交流電圧の周波数は例えば１ｋＨｚが用いられる。更に第２の電極３０４を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間にそれぞれ異なった電圧を印加することにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第２の電極中心軸３０９に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。この場合、分割された第２の電極３０４と第３の電極３０５の間に印加する電圧を適宜変えることにより、入射光の偏向の方向を変化させることができる。例えば、電極３０４ａと電極３０５間と、電極３０４ｃと電極３０５間にそれぞれ７０Ｖｒｍｓを、電極３０４ｂと電極３０５間と、電極３０４ｄと電極３０５間にそれぞれ７１Ｖｒｍｓを印加することで、符号３０９で示す光軸位置が符号３１０で示す位置にシフトする。そのシフト量は例えば３μｍである。
【００３０】
図４は、液晶レンズ３０１の光軸シフト機能を説明する模式図である。前述した通り第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間に印加する電圧を、電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ毎に制御することによって、撮像素子の中心軸と液晶レンズの屈折率分布の中心軸をずらすことが可能となる。これは撮像素子面に対してレンズがそのｘｙ面内でずれたことに相当するため、撮像素子に入力する光線を、そのｕ、ｖ面内で偏向することができる。
【００３１】
図５に図２に示す単位撮像部３の詳細構成を示す。単位撮像部３の中の光学レンズ３０２は２つの光学レンズ３０２ａ、３０２ｂによって構成され、液晶レンズ３０１は光学レンズ３０２ａ、３０２ｂの間に配置している。光学レンズ３０２ａ、３０２ｂはそれぞれ１枚もしくは複数枚のレンズより構成されている。物体面から入射した光線は液晶レンズ３０１の物体面側に配置する光学レンズ３０２ａによって集光され、スポットを小さくした状態で液晶レンズ３０１に入射される。このとき、液晶レンズ３０１への光線の入射角度は光軸に対して平行に近い状態となっている。液晶レンズ３０１から出射された光線は液晶レンズ３０１の撮像素子１５側に配置する光学レンズ３０２ｂによって撮像素子１５面上に結像される。このような構成とすることで液晶レンズ３０１の径を小さくすることが可能であり、液晶レンズ３０１へ印加する電圧の低減やレンズ効果の増大、第２の絶縁層３０８の厚さを薄くすることによるレンズ厚の低減が可能である。
【００３２】
図１に示す撮像装置１では、１つの撮像素子に対して１つの撮像レンズを配置した構成としているが、液晶レンズ３０１において同一基板上に複数個の第２の電極３０４を構成し、複数の液晶レンズを一体化した構成でも構わない。すなわち液晶レンズ３０１は第２の電極３０４の孔の部分がレンズに相当するため、１枚の基板上に複数個の第２の電極３０４のパターンを配置することで、それぞれの第２の電極３０４の孔の部分がレンズ効果を有する。そのため、複数個の撮像素子の配置に合わせて同一基板上に複数の第２の電極３０４を配置することで単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。
【００３３】
なお、前述した説明においては液晶層の層数が１層であったが、１層の厚みを薄くして複数の層で構成することで同程度の集光性を保ったまま応答性を改善することも可能である。これは液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。さらに、電極分割数も１例として４分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。
【００３４】
次に、図６及び図７を参照して、図１に示す撮像素子１５の構成を説明する。本実施形態による撮像装置の撮像素子は、一例として、ＣＭＯＳ撮像素子を使用することができる。図６において、撮像素子１５は、２次元配列の画素５０１から構成されている。本実施形態のＣＭＯＳ撮像素子の画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。ここで画素とは、撮像素子が行う撮像動作の最小単位である。通常、１つの光電変換素子（例えばフォトダイオード）に１つの画素が対応している。５．６μｍ各の画素サイズのなかに、ある面積（空間的広がり）を持つ受光部があり、画素はその受光部に入射した光を平均化、積分して光の強度とし、電気信号に変換する。平均化する時間は電子式や機械式のシャッター等で制御されて、その動作周波数は一般的に撮像装置が出力するビデオ信号のフレーム周波数と一致し、例えば６０Ｈｚである。
【００３５】
図７に撮像素子１５の詳細な構成を示す。ＣＭＯＳ撮像素子１５の画素５０１は、増幅器５１６によって、フォトダイオード５１５で光電変換された信号電荷を増幅する。各画素の信号は、垂直走査回路５１１及び水平走査回路５１２により、垂直水平アドレス方式で選択し、電圧または電流として取り出される。ＣＤＳ（Correlated Double Sampling）５１８は相関２重サンプリングを行う回路であり、アンプ５１６等で発生するランダム雑音のうち１／ｆ雑音を抑圧することができる。画素５０１以外の画素についても同様の構成、機能となっている。またＣＭＯＳロジックＬＳＩ製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つＣＣＤイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。本実施形態ではモノクロのＣＭＯＳ撮像素子１５を使用したが、各画素には個別にＲ，Ｇ，Ｂのカラーフィルタを取り付けたカラー対応のＣＭＯＳ撮像素子も使用できる。Ｒ，Ｇ，Ｇ，Ｂの繰り返しを市松模様状に配置するベイヤー構造を用いて、１つの撮像素子でカラー化を簡易に達成できる。
【００３６】
次に、図８を参照して、撮像装置１の全体の構成について説明する。図８において、図１に示す同一の部分には同一の符号を付し、その説明を省略する。図８において、Ｐ００１は撮像装置１の処理動作を統括して制御するＣＰＵ（Central Processing Unit）であり、マイクロコントローラ（マイコン）と呼ばれる場合もある。Ｐ００２は不揮発性メモリで構成するＲＯＭ（Read Only Memory）であり、ＣＰＵ・Ｐ００１のプログラムや各処理部に必要な設定値を記憶する。Ｐ００３はＲＡＭ（Random Access Memory）であり、ＣＰＵの一時的なデータを記憶する。Ｐ００４はＶｉｄｅｏＲＡＭであり、主に演算途中の映像信号、画像信号を記憶するためのもので、ＳＤＲＡＭ（Synchronous Dynamic RAM）などで構成される。
【００３７】
図８はＣＰＵ・Ｐ００１のプログラム格納用としてＲＡＭ・Ｐ００３を、画像格納用としてＶｉｄｅｏＲＡＭ・Ｐ００４を持つ構成であるが、例えば２つのＲＡＭブロックをＶｉｄｅｏＲＡＭ・Ｐ００４に統一する構成でもよい。Ｐ００５はシステムバスであり、ＣＰＵ・Ｐ００１、ＲＯＭ・Ｐ００２、ＲＡＭ・Ｐ００３、ＶｉｄｅｏＲＡＭ・Ｐ００４、映像処理部２７、映像合成処理部３８、制御部３３が接続されている。またシステムバスＰ００５は、後述する映像処理部２７、映像合成処理部３８、制御部３３の各ブロックの内部ブロックにも接続される。ＣＰＵ・Ｐ００１がホストとしてシステムバスＰ００５を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。また、例えば映像合成処理部３８の演算途中の画像をＶｉｄｅｏＲＡＭ・Ｐ００４に格納する際にこのシステムバスＰ００５を使用する。高速転送速度が必要な画像信号用のバスと、低速のデータバスを異なるバスラインとしてもよい。システムバスＰ００５には、図示しないＵＳＢやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。
【００３８】
次に、図９、図１０を参照して、映像処理部２７と映像合成処理部３８の処理動作を説明する。図９は、映像処理部２７の構成を示すブロック図である。図９において、６０１は映像入力処理部、６０２は補正処理部、６０３は較正パラメータ記憶部である。映像入力処理部６０１は、単位撮像部３から取り込んだ映像信号を入力し、例えばニー処理やガンマ処理などの信号処理を施し、さらにホワイトバランス制御も実施する。映像入力処理部６０１の出力は補正処理部６０２に渡されて、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が施される。例えば撮像素子１５の取り付け誤差に起因する歪みが較正される。較正パラメータ記憶部６０３はＲＡＭ（Random Access Memory）であり、キャリブレーション値（較正値）を記憶している。補正処理部６０２からの出力である補正済みの映像信号は、映像合成処理部３８に出力される。較正パラメータ記憶部６０３に記憶されているデータは、例えば撮像装置の電源投入時にＣＰＵ・Ｐ００１によって更新される。または、較正パラメータ記憶部６０３をＲＯＭ（Read Only Memory）として、工場出荷時のキャリブレーション手順にて格納データを確定してＲＯＭに記憶するようにしてもよい。
【００３９】
映像入力処理部６０１、補正処理部６０２及び較正パラメータ記憶部６０３は、それぞれシステムバスＰ００５に接続されている。例えば映像入力処理部６０１の前述のガンマ処理の特性はＲＯＭ・Ｐ００２に格納されている。映像入力処理部６０１は、ＣＰＵ・Ｐ００１のプログラムによって、ＲＯＭ・Ｐ００２に格納されているデータをシステムバスＰ００５を介して受け取る。また、補正処理部６０２は、演算途中の画像データをシステムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。本実施形態ではモノクロのＣＭＯＳの撮像素子１５を使用しているが、カラーのＣＭＯＳ撮像素子を使用する場合、例えば撮像素子がベイヤ構造である場合は、映像処理部６０１でベイヤ補間処理を実施することになる。
【００４０】
図１０は、映像合成処理部３８の構成を示すブロック図である。合成処理部７０１は、複数の単位撮像部２〜７の撮像結果を合成処理する。合成処理により、後述するように画像の解像度を改善することができる。合成パラメータ記憶部７０２は、例えば後述するキャリブレーションによって導出される単位撮像部間の３次元座標から求まる画像シフト量のデータを格納している。合成処理部７０１は、このシフト量を基に画像をシフトさせて合成する。判定部７０３は、合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。ここで、例えば４つの単位撮像部の合成処理を行う場合を仮定する。撮像素子はワイドＶＧＡ（８５４画素×４８０画素）であると仮定する。また、映像合成処理部３８の出力であるビデオ出力がハイビジョン信号（１９２０画素×１０８０画素）であると仮定する。この場合、判定部７０３で判断する周波数帯域は、およそ２０ＭＨｚから３０ＭＨｚである。ワイドＶＧＡの映像信号が再現可能な映像周波数の帯域上限はおよそ１０ＭＨｚ〜１５ＭＨｚである。このワイドＶＧＡの信号を用いて、合成処理部７０１で合成処理することにより、２０ＭＨｚ〜３０ＭＨｚの成分を復元する。ここで、撮像素子はワイドＶＧＡであるが、主に撮像レンズ８〜１３からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つことが条件となる。
【００４１】
この合成後のビデオ信号の周波数帯域（前述の例では２０ＭＨｚ〜３０ＭＨｚの成分）のパワーが最大となるように、制御部３２〜制御部３７を制御する。周波数軸での判断のために、判定部７０３ではフーリエ変換処理を行い、その結果の、特定の周波数以上（例えば２０ＭＨｚ）のエネルギーの大きさを判断する。撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。この位相を最適な状態とするために、制御部３２〜３７を用いて、撮像レンズ８〜１３を制御する。具体的には、制御部３３は撮像レンズ９にある液晶レンズ３０１を制御する。液晶レンズ３０１の分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに印加する電圧のバランスを制御することで、図４に示した通り、撮像素子面上の画像が移動する。制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。つまり、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーを最大となるよう制御する。
【００４２】
以上説明した通り、この制御方法は、映像処理部２７からの映像信号を基準として、制御部３３以外の制御部３２、３４〜３７を介して撮像レンズ２、撮像レンズ４〜７を制御する。この場合、撮像レンズ２は、制御部３２によって光軸位相が制御される。その他の撮像レンズ４〜７についても同様に光軸位相が制御される。各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。その結果高精細、高画質な映像信号を合成することが可能となる。判定部７０３は、合成処理結果を判定し、高精細、高画質な映像信号が合成できていれば、その制御値を維持し、高精細、高画質な映像信号をビデオ出力する。一方、高精細、高画質な映像信号が合成できていなければ、再度撮像レンズの制御を行う。
【００４３】
ここでは、撮像素子１の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造が撮像素子上に実在するものではない。また、映像合成処理部３８の出力は、例えばビデオ信号であり、図示しないディスプレイに対して出力されたり、または図示しない画像記録部に渡されて、磁気テープやＩＣカードに記録される。合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３は、それぞれシステムバスＰ００５に接続されている。合成パラメータ記憶部７０２はＲＡＭで構成されている。例えば、撮像装置の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。また、合成処理部７０１は、演算途中の画像データを、システムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。
【００４４】
次に、図１１を参照して、制御部３３の構成を説明する。図１１において、８０１は電圧制御部、８０２は液晶レンズパラメータ記憶部である。電圧制御部８０１は、映像合成処理部３８の判定部７０３からの制御信号に従い、撮像レンズ９が備えている液晶レンズ３０１の各電極の電圧を制御する。制御される電圧は、液晶レンズパラメータ記憶部８０２から読み出すパラメータ値を基準に決定する。このような処理により、液晶レンズ３０１の電界分布が理想的に制御されて、図４に示すように光軸が制御されて、結果取り込み位相が補正された状態で撮像素子１５において光電変換される。このような制御によって、画素の位相が理想的に制御されて、その結果ビデオ出力信号の解像度が改善される。制御部３３の制御結果が理想的な状態であれば、判定部７０３の処理であるフーリエ変換の結果のエネルギー検出が最大となる。そのような状態となるように、制御部３３は、撮像レンズ９、映像処理部２７、映像合成処理部３８によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。電圧制御部８０１、液晶レンズパラメータ記憶部８０２は、それぞれシステムバスＰ００５に接続されている。液晶レンズパラメータ記憶部８０２は例えばＲＡＭで構成されており、撮像装置１の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。
【００４５】
なお、図９〜図１１に示す較正パラメータ記憶部６０３、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２は、同一のＲＡＭ、もしくはＲＯＭを用いて、記憶するアドレスで使い分ける構成にしてもよい。また、ＲＯＭ・Ｐ００２やＲＡＭ・Ｐ００３の一部のアドレスを使用する構成でもよい。
【００４６】
次に、撮像装置１の制御動作を説明する。図１２は、撮像装置１の動作を示すフローチャートである。ここでは、映像合成処理において映像の空間周波数情報を使用する一例を示す。まず、ＣＰＵ・Ｐ００１が制御処理の開始を指示すると、補正処理部６０２は、較正パラメータ記憶部６０３から較正パラメータを読み込む（ステップＳ９０１）。補正処理部６０２は、読み取った較正パラメータを基に、単位撮像部２〜７毎の補正を行う（ステップＳ９０２）。この補正は、後述の単位撮像部２〜７毎の歪みを除去するものである。次に、合成処理部７０１は、合成パラメータ記憶部７０２から合成パラメータを読み込む（ステップＳ９０３）。そして、合成処理部７０１は読み込んだ合成パラメータを基にサブ画素映像合成高精細化処理を実行する（ステップＳ９０４）。後述するように、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。
【００４７】
次に、判定部７０３は高精細判定を実行し（ステップＳ９０５）、高精細か否かを判定する（ステップＳ９０６）。判定部７０３は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部３２〜３７のそれぞれに渡す。各制御部３２〜３７は、高精細が達成されている場合は制御電圧を変更せずに、液晶レンズパラメータは同一値を保持する（ステップＳ９０７）。一方、高精細ではないと判定された場合、制御部３２〜３７は、液晶レンズ３０１の制御電圧を変更する（ステップＳ９０８）。ＣＰＵ・Ｐ００１は、制御終了条件を管理しており、例えば装置のパワーオフの条件が成立したか否かを判定し（ステップＳ９０９）、制御終了条件が満たされていなければ、ステップＳ９０３へ戻り、処理を繰り返す。一方、制御終了条件を満たしていれば処理を終了する。なお、制御終了条件は、装置のパワーオン時に予め高精細判定回数を１０回というように定めておき、指定回数分、ステップＳ９０３〜Ｓ９０９の処理を繰り返すようにしてもよい。
【００４８】
次に、図１３を参照して、図１２に示すサブ画素映像合成高精細化処理（ステップＳ９０４）の動作を説明する。画像サイズ、倍率、回転量及びシフト量は合成パラメータであり、合成パラメータ読み込み処理（ステップＳ９０３）において合成パラメータ記憶部７０２から読み出されるパラメータである。ここでは、４つの単位撮像部から１つの高精細画像を得る場合を仮定する。個々の単位撮像部にて撮像した４つの画像から、回転量とシフト量のパラメータを使用して１つの座標系に重ねる。そして、４つの画像と距離による重み係数によってフィルタ演算を行う。例えばフィルタはキュービック（３次近似）を使用する。距離ｄにある画素から取得する重みｗは次式となる。
ｗ＝１−２×ｄ２＋ｄ３ （０≦ｄ＜１）
＝４−８×ｄ＋５×ｄ２−ｄ３ （１≦ｄ＜２）
＝０ （２≦ｄ）
【００４９】
次に、図１４を参照して、図１２に示す判定部７０３が行う高精細判定処理（ステップＳ９０５）の詳細動作を説明する。まず、判定部７０３は、定義範囲の信号を抽出する（ステップＳ１００１）。例えばフレーム単位の１画面を定義範囲とした場合は別途図示しないフレームメモリブロックを持ち、あらかじめ１画面分の信号を記憶する。例えばＶＧＡ解像度であれば、１画面分は６４０×４８０画素からなる２次元の情報である。この２次元情報に対して、判定部７０３は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する（ステップＳ１００２）。次に、ＨＰＦ（High pass filter：高域通過濾過器）によって、高域信号を抽出する（ステップＳ１００３）。例えば、撮像素子９が、アスペクト比が４：３、６０ｆｐｓ（Frame Per Second）（プログレッシブ）のＶＧＡ信号（６４０画素×４８０画素）であり、映像合成処理部の出力であるビデオ出力信号がＱｕａｄ−ＶＧＡである場合を仮定する。ＶＧＡ信号の限界解像度が約８ＭＨｚであり、合成処理にて１０ＭＨｚ〜１６ＭＨｚの信号を再生する場合を仮定する。この場合、ＨＰＦは例えば１０ＭＨｚ以上の成分を通過させる特性を持つ。判定部７０３は、この１０ＭＨｚ以上の信号を閾値と比較して判定を行う（ステップＳ１００４）。閾値は、例えばフーリエ変換した結果のＤＣ（直流）成分を１とした場合の１０ＭＨｚ以上のエネルギーの閾値を０．５と設定して、その閾値との比較とする。
【００５０】
前述した説明においては、ある解像度の撮像結果の１フレーム分の画像を基準にフーリエ変換する場合を説明したが、定義範囲をライン単位（水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数１９２０画素単位）で定義すれば、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。この場合、例えばハイビジョン信号であれば、例えばライン数の１０８０回、フーリエ変換を繰り返し実行して、ライン単位の１０８０回分の閾値比較判定を総合して、一画面の高精細度合いを判断してもよい。また、画面単位の閾値比較判定結果を数フレーム分使用して判断してもよい。このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。また、閾値判定は、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。判断している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。例えば、ヒストグラム検出で画像の特徴を抽出してもよい。また、過去の判定結果と連動して現在の閾値を変更してもよい。
【００５１】
次に、図１５を参照して、図１２に示すは制御部３２〜３７が実行する制御電圧変更処理（ステップＳ９０８）の詳細動作を説明する。ここでは、制御部３３の処理動作を例として説明するが、制御部３２、３４〜３７の処理動作も同様である。まず、電圧制御部８０１は、液晶レンズパラメータ記憶部８０２から現在の液晶レンズのパラメータ値を読み出す（ステップＳ１１０１）。そして、電圧制御部８０１は、液晶レンズのパラメータ値を更新する（ステップＳ１１０２）。液晶レンズパラメータには過去の履歴を持たせておき、例えば現在４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄに対して、電圧制御部３３ａの電圧を過去の履歴で４０Ｖ、４５Ｖ、５０Ｖと５Ｖ置きに上昇させている最中である場合、履歴と今回の高精細ではないという判断から、さらに電圧を上げるべきと判断し、電圧制御部３３ｂ、電圧制御部３３ｃ、電圧制御部３３ｄの電圧値を保持しながら、電圧制御部３３ａの電圧を５５Ｖに更新する。このように、順次４つの液晶レンズの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄに与える電圧値を更新する。また、更新した値は、履歴として液晶レンズパラメータの値を更新する。
【００５２】
以上の処理動作により、複数の単位撮像部２〜７の撮像画像をサブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更することで、高画質な撮像装置を実現することが可能となる。分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに異なる電圧を印加することで、撮像レンズ８〜１３によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。理想的な状態であるかどうかの判断は、判定部７０３で判断する。
【００５３】
次に、図１６を参照して、カメラキャリブレーションの処理動作を説明する。この処理動作は、例えば撮像装置１の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。このカメラキャリブレーション処理は、ＣＰＵ・Ｐ００１によって実行される。まず、撮像装置１を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながらチェッカーパターンの３０種類の姿勢で撮像して画像を取得する（ステップＳ１２０１）。続いて、ＣＰＵ・Ｐ００１はこの撮像画像を、単位撮像部２〜７毎に解析して、単位撮像部２〜７毎の外部パラメータ値、内部パラメータ値を導出する（ステップＳ１２０２）。例えばピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値はカメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。また同様に内部パラメータは５つである。このようなパラメータを導出することが、較正（キャリブレーション）である。一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。
【００５４】
次に、ＣＰＵ・Ｐ００１は、得られたパラメータを較正パラメータ記憶部６０３に記憶する（ステップＳ１２０３）。前述の通り、本パラメータを単位撮像部２〜７の補正処理（図１２に示すステップＳ９０２）で使用することで、単位撮像部２〜７の個別のカメラ歪みが補正されることになる。すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、単位撮像部２〜７の補正を行う。
【００５５】
次に、ＣＰＵ・Ｐ００１は、単位撮像部２〜７間のパラメータを単位撮像部２〜７間の外部パラメータを導出して（ステップＳ１２０４）、合成パラメータ記憶部７０２、液晶レンズパラメータ記憶部８０２に記憶されているパラメータを更新する（ステップＳ１２０５、Ｓ１２０６）。この値は、サブ画素映像合成高精細化処理Ｓ９０４、及び制御電圧変更Ｓ９０８で使用される。
【００５６】
なお、ここでは撮像装置内のＣＰＵまたはマイコンにカメラキャリブレーションの機能を持たせた場合を示したが、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置にダウンロードするような構成でもよい。
【００５７】
次に図１７を参照して、単位撮像部２〜７のカメラキャリブレーションの原理について説明する。ここでは、カメラによる投影の様子について図１７に示すようなピンホールカメラモデルを用いて考える。ピンホールカメラモデルにおいて、画像平面に至る光は全てレンズの中心の１点であるピンホールを通過し、画像平面と交差した位置で像を結ぶ。光軸と画像平面との交点を原点とし、カメラの素子の配置軸に合わせてｘ軸とｙ軸をとる座標系を画像座標系と呼び、カメラのレンズ中心を原点、光軸をＺ軸とし、ｘ軸とｙ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘw，Ｙw，Ｚw）での３次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔと、その投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］Ｔとの間には、（１）式のように関連付けられる。
【００５８】
【数１】
ここで、Ａは内部パラメータ行列といい、次の（２）式のような行列である。
【００５９】
【数２】
α，βは画素の大きさと焦点距離との積からなるスケール係数、（ｕ０，ｖ０）は画像中心、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒ ｔ］は外部パラメータ行列といい、３×３の回転行列Ｒと平行移動ベクトルｔを並べた４×３行列である。
【００６０】
Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面をワールド座標系のＺw＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。
【数３】
平面上の点と画像上の点との関係は３×３のホモグラフィ行列Ｈで、（４）式のように記述できる。
【００６１】
【数４】
キャリブレーション平面の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィＨ＝［ｈ１ ｈ２ ｈ３］が得られると、（４）式より次の（５）式が得られる。
【００６２】
【数５】
Ｒが回転行列なのでｒ１とｒ２は直交であることから、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。
【００６３】
【数６】
【数７】
【００６４】
Ａ−ＴＡ−１は（８）式のように、３×３の対象行列で６つの未知数を含んでおり、１つのＨにつき２つの式を立てることができるので、Ｈが３つ以上得られれば内部パラメータＡを決定することができる。ここで、Ａ−ＴＡ−１は対象性を持っていることから
【数８】
とするＢの要素を並べたベクトルを
【数９】
と定義する。ホモグラフィＨのｉ番目の列ベクトルをｈｉ＝［ｈｉ１ ｈｉ２ ｈｉ３］Ｔ，（ｉ＝１，２，３）とすると、ｈｉＴＢｈｊは
【数１０】
【数１１】
【００６５】
と表せる。
【００６６】
これにより、（６）式と（７）式は次式のようになる。
【数１２】
【００６７】
もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、
【数１３】
を得る。ここで、Ｖは２ｎ×６の行列である。これより、ｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のγ＝０とすることで、式［０ １ ０ ０ ０ ０］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ｂを求めることでＢが求まれば、Ｂ＝μＡ−ＴＡからカメラの内部パラメータは（１４）式で計算される。
【数１４】
【００６８】
また、これより内部パラメータＡが求まれば、外部パラメータに関しても（５）式より、
【数１５】
として求めることができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。
【００６９】
以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。
【００７０】
次に、図１８、図１９を参照して、カメラキャリブレーションで求められるカメラ（撮像装置）の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。図１８は、基本となる撮像素子１５（これを基本カメラと称する）とそれと隣り合う隣接の撮像素子１６（これを隣接カメラと称する）にて対象物体面上の点Ｍを前述の液晶レンズを介して各撮像素子上の点ｍ１またはｍ２へ投影（撮影）する場合を示している。また、図１９は図１８を、図１７に示すピンホールカメラモデルを用いて図示したものである。ワールド座標系上の点Ｍと画像座標系上の点ｍの関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、
【数１６】
と表せる。
【００７１】
算出されたＰを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図１９に示す構成において、基本カメラの中心射影行列をＰ１とし、隣接カメラの中心射影行列をＰ２とする。画像平面１上の点ｍ１から、その点と対応する画像平面２上の点ｍ２を求めるために、以下の方法を用いる。
（１）（１６）式よりｍ１から三次元空間中の点Ｍを求める。中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて求める。
【数１７】
（２）算出された三次元位置より、隣接カメラの中心射影行列Ｐ２を用いて、隣接画像の対応点ｍ２を求める。
【数１８】
【００７２】
カメラパラメータＰはアナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。
【００７３】
次に、レンズの歪みとカメラキャリブレーションについて説明する。ここまではレンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ１、ｋ２、ｋ５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。この法線方向の歪みに対する補正係数をｋ３、ｋ４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は下記となる。
【００７４】
【数１９】
【数２０】
【数２１】
【００７５】
ここで、（ｘｕ，ｙｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、（ｘｄ、ｙｄ）は歪曲収差のあるレンズの画像座標である。この座標の座標系は、双方とも前述の画像座標系ｘ軸、ｙ軸である。また、ｒは画像中心から（ｘｕ，ｙｕ）までの距離である。画像中心は、前述の内部パラメータｕ０，ｖ０で定まる。以上のモデルを仮定して、係数ｋ１〜ｋ５や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。
【００７６】
図２０は、撮像装置１の撮像の様子を示す模式図である。撮像素子１５と撮像レンズ９からなる単位撮像部３は、撮像範囲ａを撮像する。撮像素子１６と撮像レンズ１０からなる単位撮像部４は、撮像範囲ｂを撮像する。２つの単位撮像部３、４にて略同一の撮像範囲を撮像する。例えば撮像素子１５、１６の配置間隔を１２ｍｍ、単位撮像部３、４の焦点距離が５ｍｍ、撮像範囲までの距離が６００ｍｍ、単位撮像部３、４の光軸が各々平行である場合、撮像範囲ａ，ｂの異なる範囲のエリアはおよそ３％程度である。このように、同一部を撮像して合成処理部３８で高精細化処理を行う。
【００７７】
次に、図２１、図２２を参照して、撮像装置１の高精細化について説明する。図２１の横軸は、空間の広がりを示す。この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりと、双方を示すものである。これらは、外部パラメータ、内部パラメータを用いれば相互に変換、換算が可能であるので同義である。また、撮像素子から順次読み出された映像信号をみなした場合は、図２１の横軸は時間軸となるが、この場合もディスプレイに表示された場合は観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。図２１の縦軸は振幅、強度である。物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。
【００７８】
図２１（ａ）は、現実空間での物体の輪郭である。この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分するため、単位撮像部２〜７にて図２１（ｂ）のように取り込まれる。積分は、一例として、ＬＰＦ（Low Pass Filter：低域通過フィルタ）を用いて行う。図２１（ｂ）中の矢印が、撮像素子の画素の広がりである。図２１（ｃ）は異なる単位撮像部２〜７で撮像した結果であり、図２１（ｃ）中の矢印の画素の広がりで光を積分する。図２１（ｂ）、（ｃ）にあるように、撮像素子の解像度（画素のサイズ）で定まる広がり以下の反射光の輪郭（プロファイル）は、撮像素子では再現できない。
【００７９】
しかし、本発明の特徴とするところは、図２１（ｂ）、（ｃ）において双方の位相関係にオフセットを持つことである。このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図２１（ｄ）に示す輪郭を再現することが可能となる。図２１（ａ）〜（ｄ）から明らかなように、図２１（ａ）の輪郭をもっとも再現できているのは図２１（ｄ）であり、図２１（ｄ）中の矢印の幅に相当する撮像素子の画素のサイズの性能と等価である。本実施形態は液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化（ＬＰＦを用いた積分）による解像限界を超えるビデオ出力を得ることが可能となる。
【００８０】
図２２は、２つの単位撮像部の相対的な位相関係を示す模式図である。後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。図２２は２つの単位撮像部を使用する場合を仮定しているので、その位相関係は（ａ）のように、０．５画素サイズの位相関係が理想である。しかし、撮像距離や、装置の組み立ての関係で、図２２（ｂ）や（ｃ）のようになる場合がある。この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図２２（ｂ）、（ｃ）のような位相関係で平均化されてしまった信号は復元不可能である。そこで図２２（ｂ）、（ｃ）の位相関係を、（ｄ）に示すものに制御することが必須となる。本発明では、この制御を図４に示した液晶レンズによる光軸シフトで実現する。以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。
【００８１】
ここで、図２２においては１次元の位相関係について説明した。例えば４つの単位撮像部を用いて、各々水平、垂直、斜め４５度の各方向の１次元シフトをすることで、図２２に示した動作で２次元空間の位相制御が可能となる。また、例えば２つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を２次元（水平、垂直、水平＋垂直）に位相制御することで、２次元の位相制御を実現してもよい。
【００８２】
例えば、４つの単位撮像部を用いて概略同一の撮像対象（被写体）を撮像して、４つの画像を得る場合を仮定する。ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判断して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。例えば撮像素子の画素数がＶＧＡ（６４０×４８０画素）であれば、４つのＶＧＡの単位撮像部によってＱｕａｄ−ＶＧＡ（１２８０×９６０画素）の高精細画像が得られる。前述の内挿フィルタリング処理は、例えばキュービック（３次近似）法を用いる。内挿点までの距離による重み付けの処理である。撮像素子の解像度限界はＶＧＡであるが、撮像レンズはＱｕａｄ−ＶＧＡの帯域を通過させる能力を持ち、ＶＧＡ以上のＱｕａｄ−ＶＧＡの帯域成分は折り返し歪み（エイリアシング）としてＶＧＡ解像度で撮像される。この折り返し歪みを使用して、映像合成処理でＱｕａｄ−ＶＧＡの高帯域成分を復元する。
【００８３】
図２３は、撮像対象（被写体）と結像の関係を示す図である。この図においては、レンズひずみを無視したピンホールモデルがベースになっている。レンズひずみが小さい撮像装置はこのモデルで説明可能であり、幾何光学のみで説明可能である。図２３（ａ）において、Ｐ１は撮像対象であり、撮像距離Ｈ離れている。ピンホールＯ、Ｏ’が２つの単位撮像部の撮像レンズに相当して、撮像素子Ｍ、Ｎの２つの単位撮像部で１つの像を撮像している模式図である。図２３（ｂ）は、撮像素子の画素にＰ１の像が結像する様子である。このように、画素と結像した像の位相が定まる。この位相は、互いの撮像素子の位置関係（基線長Ｂ）、焦点距離ｆ、撮像距離Ｈで決まる。
【００８４】
すなわち、撮像素子の取り付け精度によって設計値と異なる場合があり、また撮像距離によっても関係は変化する。この場合、ある組み合わせによっては図２３（ｃ）のように、互いの位相が一致してしまう場合が発生する。図２３（ｂ）の光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。図２３（ｂ）にあるように、２つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化されるため、後段の合成処理で高帯域成分（例えば撮像素子がＶＧＡ解像度であれば、ＶＧＡ解像度以上の高帯域）が再現できる。２つの単位撮像部であるので、０．５画素の位相ずれが理想である。
【００８５】
しかし、図２３（ｃ）のように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。そこで、図２３（Ｃ）にあるように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。最適な状態とは、図１４での処理で実現する。位相関係は、使用する単位撮像部の位相が等間隔が望ましい。本発明は光軸シフト機能を持つため、そのような最適な状態を外部からの電圧制御で達成可能となる。
【００８６】
図２４は、撮像装置１の動作を説明する模式図である。２つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。撮像素子の平面をｕ，ｖの２次元で定義していて、図２４はｕ軸の断面に相当する。撮像対象Ｐ０、Ｐ１は同一撮像距離Ｈにある。Ｐ０の像が、各々ｕ０、ｕ’０に結像する。ｕ０，ｕ’０は各々の光軸を基準とした撮像素子上の距離であり、図２４ではＰ０は撮像素子Ｍの光軸上にあるので、ｕ０＝０である。また、Ｐ１の各々の像の、光軸からの距離がｕ１，ｕ’１である。ここで、Ｐ０，Ｐ１が撮像素子Ｍ，Ｎ上に結像する位置の、撮像素子Ｍ，Ｎの画素に対する相対的な位相がイメージシフトの性能を左右する。この関係は、撮像距離Ｈ、焦点距離ｆ、撮像素子の光軸の間の距離である基線長Ｂによって定まる。
【００８７】
図２４では、互いの結像する位置、すなわちｕ０とｕ’０は画素のサイズの半分だけシフトしている。ｕ０（＝０）は撮像素子Ｍの画素の中心に位置している。対してｕ’０は撮像素子Ｎの画素の周辺に結像している。すなわち、画素サイズの半画素分ずれた関係となっている。ｕ１とｕ’１も同様に半画素のサイズだけシフトしている。図２４（ｂ）は、各々撮像した画像の同一画像同士を演算することで、１つの画像を復元・生成する動作の模式図である。Ｐｕがｕ方向の画素サイズを、Ｐｖがｖ方向の画素サイズを示す。図２４（ｂ）では、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。
【００８８】
図２５は、図２４に対して、例えば取り付け誤差により撮像素子Ｎが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。この場合、ｕ１とｕ’１の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。図２５（ａ）では、双方とも、画素に対して左側に寄った位置に結像している。ｕ０（＝０）とｕ’０の関係も同様である。よって図２５（ｂ）のように、互いの位相は略一致する。
【００８９】
図２６は、図２５に対して、本発明の光軸シフトを動作させた場合の模式図である。図２６（ａ）中の光軸シフトという右方向の移動がその動作のイメージである。このように、光軸シフト手段を用いてピンホールＯ’をずらすことで、撮像対象が結像する位置が撮像素子の画素に対して制御可能となる。図２６（ｂ）のように理想的な位相関係が達成可能となる。
【００９０】
次に、図２７参照して、撮像距離と光軸シフトの関係について説明する。図２７は、撮像距離Ｈ０でＰ０を撮像している状態から、距離Ｈ１にある物体Ｐ１に被写体を切り替えた場合を説明する模式図である。図２７において、Ｐ０，Ｐ１はそれぞれ撮像素子Ｍ上の光軸上であると仮定しているので、ｕ０＝０であり、またｕ１＝０である。Ｐ０、Ｐ１が撮像素子Ｎに結像する際の、撮像素子Ｂの画素とＰ０，Ｐ１の像の関係に注目する。Ｐ０は、撮像素子Ｍの画素の中心に結像している。対して撮像素子Ｎでは、画素の周囲に結像している。よってＰ０を撮像していたときは最適な位相関係であったといえる。図２７（ｂ）は、被写体がＰ１の場合の互いの撮像素子の位相関係を示す模式図である。図２７（ｂ）にあるように被写体をＰ１に変更したあとは、互いの位相が略一致してしまう。
【００９１】
そこで、図２８（ａ）にあるように、被写体Ｐ１撮像時に光軸シフト手段で光軸を動かすことで、図２８（ｂ）に示すように理想的な位相関係に制御することが可能となり、よってイメージシフトによる高精細化が達成できる。ここで、撮像距離の情報を得る方法は、距離を測定する測距手段を別途持てばよい。または、本発明の撮像装置で距離を測定してもよい。複数のカメラ（単位撮像部）を用いて距離を測定する例が、測量などでは一般的である。その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。
【００９２】
本発明の撮像装置を例えば８眼構成、すなわち８個の単位撮像部からなる構成とする。測定距離、すなわち被写体までの距離が５００ｍｍの場合は、８眼カメラのうち互いの光軸間距離（基線長）の短い４つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い４つのカメラで被写体までの距離を測定する。また、被写体までの距離が２０００ｍｍと遠い場合は、８眼を使用してイメージシフトの高解像処理を行い、測距は例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うような構成にしてもよい。前述の５００ｍｍの場合にも、例えばＴＯＦ（Time of Flight）のような他の測距手段を併用することで、測距の精度を向上させてもよい。
【００９３】
次に、図２９を参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。図２９（ａ）は、奥行きΔｒを考えたＰ１，Ｐ２を撮像している模式である。各々の光軸からの距離の差（ｕ１−ｕ２）は（２２）式となる。
（ｕ１−ｕ２）＝Δｒ×ｕ１／Ｈ ・・・（２２）
【００９４】
ここで、ｕ１−ｕ２は、基線長Ｂ、撮像距離Ｈ、焦点距離ｆによって定まる値である。ここでは、これらの条件Ｂ，Ｈ，ｆを固定して定数とみなす。また、光軸シフト手段により、理想的な光軸関係としていると仮定する。Δｒと画素の位置（撮像素子に結像する像の、光軸からの距離）との関係は、（２３）式となる。
Δｒ＝（ｕ１−ｕ２）×Ｈ／ｕ１ ・・・（２３）
【００９５】
すなわち、Δｒはｕ１に対して反比例の関係となる。また、図２９（ｂ）は、一例として画素サイズ６μｍ、撮像距離６００ｍｍ、焦点距離５ｍｍの場合を仮定して、奥行きによる影響が１画素の範囲内に収まる条件を導出したものである。奥行きによる影響が１画素の範囲内に収まる条件下では、イメージシフトの効果が十分であるので、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。
【００９６】
以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を高精細な映像に合成することが可能となる。
【００９７】
前述した説明においては、撮像素子へ入射する光の光軸を制御するために、液晶レンズを用いた例を説明したが、撮像素子へ入射する光の光軸を制御する光軸シフト制御は、液晶レンズなどの非固体レンズ以外の手段でも達成することが可能であるため、以下、他のの実施形態について説明する。
【００９８】
初めに、図３０を参照して、第２の実施形態を説明する。第２の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子のそれぞれの間に屈折板を配置したものである。図３０は、図２に示す単位撮像部３の液晶レンズ３０１に替えて、入射面と出射面が平行であるような屈折板３００１を固体レンズ３０２と撮像素子１５の間に配置し、圧電素子３００２を用いたアクチュエータなどの傾斜手段で傾斜させることにより光軸を制御する構成を示す図である。図３０中の「屈折板の傾斜による光軸シフト原理図」に示すように傾斜角度により屈折板３００１による光軸シフト量が変化するため、撮像素子１５に入射する位置が変わり、光軸シフトが可能となる。ただし、屈折板３００１を傾斜することにより発生することによる光軸シフトの方向は１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような屈折板を別に配置することにより、２軸方向の光軸シフトが可能となり、撮像素子面内の任意の方向に光軸シフトをすることが可能となる。
【００９９】
次に、図３１を参照して、第３の実施形態を説明する。第３の実施形態における撮像装置は、複数の可変頂角プリズムと複数固体レンズと複数の撮像素子を用いたものである。図３１に示すように、可変頂角プリズム３１０１の頂角を圧電素子３１０２を用いたアクチュエータなどの手段により変化させることにより、入射光が偏向するため、固体レンズ３０２によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。ただしこの場合も光軸シフトの方向は図３１に示す通り１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような可変頂角プリズムを、別に配置することにより、任意の方向に光軸シフトすることが可能となる。
【０１００】
次に、図３２を参照して、第４の実施形態を説明する。第４の実施形態における撮像装置は、複数の固体レンズと複数の撮像撮像素子を用い、固体レンズの全体或いは１部分を、複数の圧電素子を用いたアクチュエータなどによる移動手段により光軸と略垂直方向に移動させるものである。図３２においては、撮像レンズ３２０９は、３つの固体レンズ３２０１、３２０２、３２０３で構成されており、その１部分である固体レンズ３２０２を、Ｘ方向に移動可能な圧電素子を用いたアクチュエータ３２０４による移動手段と、Ｙ方向に移動可能な圧電素子３２０５を用いたアクチュエータによる移動手段によって移動させる。図３２中の「固体レンズの移動による光軸シフトの原理図」に示すように、撮像レンズ３２０９の１部である固体レンズ３２０２が移動することにより、入射光が偏向し、撮像レンズ３２０９によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。これをＸ、Ｙ方向に行うことにより、光軸を撮像素子面上でＸＹ方向に独立してシフトすることが可能となる。
【０１０１】
次に、図３３を参照して、第５の実施形態を説明する。第５の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子を用い、複数の撮像素子を、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させるものである。この場合、光軸シフト量の制御は撮像レンズではなく、撮像素子１５に対して行われることになる。図１に示す６系統の単位撮像部２〜７の撮像素子のそれぞれを、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させる構成を図３３に示す。図３３に示すように、撮像素子１５を、Ｘ方向に移動する圧電素子３３０２を用いたアクチュエータによる移動手段と、Ｙ方向に移動する圧電素子３３０３を用いたアクチュエータによる移動手段により移動させることにより、撮像素子１５上の結像位置が移動するため、ＸＹ方向に独立して光軸シフトを行うことが可能となる。
【０１０２】
なお、図３０〜図３３において、移動手段として圧電素子をアクチュエータとして用いているが、これに限定するものではなく、電磁力を用いたソレノイドアクチュエータ、モータとギア機構を用いたアクチュエータ、圧力を用いたアクチュエータなどの手段を用いることもできる。また制御手段も電圧制御に限定するものではない。光軸シフト方向についても、１軸方向、２軸方向について述べたが、これに限定するものではない。
【０１０３】
このように、液晶レンズ等の非固体レンズに替えて、他の手法による光軸シフト制御を行うようにしたため、光軸制御を実現する構成の自由度を増すことが可能となる。特に、携帯電話端末のように、軽薄短小が要求される筐体においては、レンズ径を大きくすることができなかったり、焦点距離を十分に確保できないような場合に、携帯電話端末を構成する部品のレイアウトに応じて適切な手法を用いることが可能となる。
【０１０４】
次に、図３４を参照して、第６の実施形態を説明する。前述した第１の実施形態において、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離が存在するが、前述したように光軸シフトを行うことで高解像度化できることを示した。ここで、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離において、光軸シフトと同様に焦点シフトを行うことにより高解像度化できることを説明する。
【０１０５】
図３４は、被写体が、撮像距離Ｈ０で点Ｐ０にある状態から、距離Ｈ１にある点Ｐ１にある状態に変化した場合を説明する模式図である。図３４（ａ）に示すように、焦点距離がｆの場合、点Ｐ０は、撮像素子Ｍの画素Ｍｎの中心部分に結像し、撮像素子Ｎにおいては画素Ｎｎの端の部分に結像するため、半画素分（図３４に示すｕ’０）ずれて結像することになる。一方、点Ｐ１の場合は、焦点距離がｆであると、結像位置が１画素分（図３４に示すｕ’１）ずれるため、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致し、図３４（ｂ）の上の図に示す状態になる。従って、互いの画素の位相が略一致し、高解像度できなくなる。
【０１０６】
そこで、図３４（ａ）に示すように、ピンホールＯ’の焦点を撮像素子Ｎの方向にシフトする（焦点距離ｆを短くする）ことにより、図３４（ｂ）の上の図に示す状態から下の図に示す状態に変化させることができるため、撮像素子Ｍと撮像素子Ｎの画素が半画素分ずれて、最適な位相関係にすることができる。ただし、最適な位相関係になるまで、ピンホールＯ’の焦点距離ｆを短くすると撮像素子Ｎ上の像がボケてしまう場合が生じる。ピンホールＯ’の焦点距離ｆを短くする目的は、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致している状態を回避することであるため、撮像素子Ｎ上の像がボケない範囲で動かせば良い。
【０１０７】
ピンホールＯ’を光軸方向に移動しても（焦点距離を短くしたり、長くしたりしても）被写体の像にボケが生じない範囲を図３５を参照して説明する。ピンホールＯ’移動量（撮像素子に近づく方向）、前方被写界深度及び倍率の関係は、以下の通りである。
ピンホールＯ’移動量（焦点距離を短くする）＜前方被写界深度／倍率・・・（２４）
ピンホールＯ’移動量（焦点距離を長くする）＜後方被写界深度／倍率・・・（２５）
ここで、
前方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２＋許容錯乱円径×絞り値×撮像距離）
後方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２−許容錯乱円径×絞り値×撮像距離）
倍率＝撮像距離／像点距離≒撮像距離／焦点距離
被写界深度＝前方被写界深度＋後方被写界深度
である。
【０１０８】
例えば、焦点距離５ｍｍ、撮像距離６００ｍｍ、許容錯乱円径０．００６ｍｍ、絞り値２ｍｍとすれば、
前方被写界深度＝１３２．２（ｍｍ）
後方被写界深度＝２４２．７（ｍｍ）
倍率＝１２０
となる。従って、（２４）、（２５）式は、
ピンホールＯ’移動量（焦点距離を短くする）＜１．１（ｍｍ）
ピンホールＯ’移動量（焦点距離を長くする）＜２．０（ｍｍ）
となる。
この移動量の範囲内でピンホールＯ’の焦点距離を制御することにより、光軸シフトのときと同様に高解像度化が可能となる。
【０１０９】
焦点距離の変更（焦点シフト）は、図３に示す液晶レンズ３０１によって実現可能であり、第１の電極３０３、第２の電極３０４への電圧の掛け方によって液晶層３０６の屈折率分布を自由に変化させればよい。この場合、図３に示す電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄは同一電圧を掛ける。これにより、液晶レンズ３０１が凸レンズとして働き、図２に示す光学レンズ３０２の焦点距離を変化させることが可能となる。
【０１１０】
なお、図１に示す撮像装置１において、各撮像素子１４〜１９及び映像処理部２６〜３１より得られた複数の映像を映像合成処理部３８により画像処理を行い、全体の画像を再構成することでフォーカス情報を検出し、各制御部３２〜３７を介して各液晶レンズアレイの各液晶レンズを駆動して、オートフォーカス機能を動作させるようにしてもよい。オートフォーカス機能と連動させて、液晶レンズ３０１を制御することにより、動く被写体の高解像度画像を撮像することが可能となる。
【０１１１】
次に、図３６を参照して、第７の実施形態を説明する。前述した実施形態においては、全ての撮像素子は同一仕様のものを使用する構成であり、図１に示す撮像素子１４〜１９の画素ピッチは等しかった。そのため、図３４（ｂ）の上の図に示す状態になり、互いの画素の位相が略一致してしまう頻度が高くなり、高解像度化ができなくなる場合がある。第７の実施形態においては、図１に示す６つの撮像素子１４〜１９それぞれについて、画素ピッチが異なる撮像素子を使用する。
【０１１２】
図３６において、実線の交点が撮像素子Ｍの画素、点線の交点が撮像素子Ｎの画素を表している。高精細化するために必要な画素Ｐｕｖの値は、画素Ｐｕｖの周囲に位置する（画素Ｍｉ，ｊ、Ｎｉ，ｊ）、（画素Ｍｉ，ｊ＋１、Ｎｉ，ｊ＋１）、（画素Ｍｉ＋１，ｊ、Ｎｉ＋１，ｊ）、（画素Ｍｉ＋１，ｊ＋１、Ｎｉ＋１，ｊ＋１）のそれぞれと画素Ｐｕｖとの距離による重み係数によってフィルタ演算を行うことによって求めることができる。例えばフィルタとして、キュービック（３次近似）を使用するとすれば、距離ｄにある画素から取得する重みｗは次式となる。
ｗ＝１−２×ｄ２＋ｄ３ （０≦ｄ＜１）
＝４−８×ｄ＋５×ｄ２−ｄ３ （１≦ｄ＜２）
＝０ （２≦ｄ）
【０１１３】
次に、第７の実施形態の変形例を説明する。前述した第７の実施形態では、６つの撮像素子のそれぞれについて画素ピッチが異なる撮像素子を用いるようにしたが、同じ画素ピッチの６つの撮像素子を用いて、光学的に結像倍率を変えることによって、撮像素子の画素ピッチを変えるようにしてもよい。すなわち、撮像素子Ｎと撮像素子Ｎの画素ピッチが同じ場合に、撮像素子Ｍの撮像レンズの倍率を変える（拡大または縮小）ことにより、撮像素子Ｍ上に形成された像が大きく、または小さくなり、互いの画素の位相が略一致してしまうことを回避することが可能となる。
【０１１４】
次に、図３７を参照して、第７の実施形態の他の変形例を説明する。図３７に示す撮像素子は、一方の撮像素子（撮像素子Ｎ）を他方の撮像素子（撮像素子Ｍ）に対して、所定の位置を支点（例えば、撮像素子の左上の隅）として光軸と平行の軸周りに回転させて固定し配置している。この場合も図３６に示す場合と同様に、ｕ軸、ｖ軸方向の画素位置が異なるため、互いの画素ピッチの位相が一致することを回避することができる。例えば、一方の撮像素子（撮像素子Ｎ）をθだけ、撮像素子受光面内で回転する場合、撮像素子Ｎのう’軸方向の画素ピッチをｐとすると、撮像素子Ｍのｕ軸方向（撮像素子Ｎのｕ’軸方向）の画素ピッチｐ’は次式となる。
ｐ’＝ｐ／ｃｏｓθ
【０１１５】
なお、撮像素子Ｎの受光面に垂直な軸（光軸）とｕ’軸でなす平面内で回転させて配置するようにしてもよい。
【０１１６】
このように、図１に示す６つの撮像素子１４〜１９それぞれの画素ピッチが異なるようにすることで、互いの画素の位相が略一致してしまうことを回避することができ、高解像度化ができなくなることを防止することができる。
【０１１７】
また、図３６、３７に示すように、撮像素子１４〜１９のそれぞれの画素ピッチが異なるように撮像装置を配置するとともに、前述した光軸の方向を制御する動作を組み合わせて高解像度化を図るようにしてもよい。このようにすることにより、高解像度の画像を容易に得ることが可能となる。
【０１１８】
以上説明したように、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかったが、本発明の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークが無くすことができ、高画質を得ることができる撮像装置を実現することができる。また、従来の撮像装置では、画像処理によって、撮像素子上の結像したイメージを取り込むため、撮像素子の解像度を必要とする撮像解像度より大きくする必要があるが、本発明の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができるため、撮像素子のサイズを小さくすることができる、軽薄短小が要求される携帯端末等にも搭載することが可能となる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施の形態による撮像装置の構成を示すブロック図である。
【図２】図１に示した第１の実施の形態による撮像装置の単位撮像部の詳細な構成図である。
【図３】液晶レンズの構成図である。
【図４】第１の実施の形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。
【図５】第１の実施の形態による撮像装置の液晶レンズを説明する模式図である。
【図６】図１に示した第１の実施の形態による撮像装置の撮像素子を説明する模式図である。
【図７】撮像素子の詳細な模式図である。
【図８】図１に示す撮像装置１の全体構成を示すブロック図である。
【図９】第１の実施の形態による撮像装置の映像処理部の詳細なブロック図である。
【図１０】第１の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。
【図１１】第１の実施の形態による撮像装置の映像処理の制御部の詳細なブロック図である。
【図１２】制御部の動作の一例を説明するフローチャートである。
【図１３】図１２に示すサブ画素映像合成高精細化処理の動作を示す説明図である。
【図１４】高精細判定の一例を説明するフローチャートである。
【図１５】制御電圧変更処理の一例を説明するフローチャートである。
【図１６】カメラキャリブレーションの一例を説明するフローチャートである。
【図１７】単位撮像部のカメラキャリブレーションを説明する模式図である。
【図１８】複数の単位撮像部のカメラキャリブレーションを説明する模式図である。
【図１９】複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。
【図２０】撮像装置１の撮像の様子を示す模式図である。
【図２１】高精細なサブ画素について説明する模式図である。
【図２２】高精細なサブ画素について説明する別の模式図である。
【図２３】撮像対象（被写体）と結像の関係を示す説明図である。
【図２４】撮像装置１の動作を説明する模式図である。
【図２５】取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。
【図２６】光軸シフト制御の動作を示す模式図である。
【図２７】撮像距離と光軸シフトの関係を示す説明図である。
【図２８】撮像距離と光軸シフトの関係を示す説明図である。
【図２９】奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。
【図３０】第２の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３１】第３の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３２】第４の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３３】第５の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３４】第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。
【図３５】第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。
【図３６】第７の実施の形態による撮像素子の構成を示す構成図である。
【図３７】第７の実施の形態の変形例による撮像素子の構成を示す構成図である。
【図３８】従来の撮像装置の構成を示すブロック図である。
【図３９】他の従来の撮像装置の構成を示すブロック図である。
【符号の説明】
【０１２０】
１ 撮像装置
２〜７ 単位撮像部
８〜１３ 撮像レンズ
１４〜１９ 撮像素子
２０〜２５ 光軸
２６〜３１ 映像処理部
３２〜３７ 制御部
３８ 映像合成処理部
【技術分野】
【０００１】
本発明は、撮像装置及び光軸制御方法に関するものである。
【背景技術】
【０００２】
近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話端末等に小型で高画質なデジタルカメラが搭載されてきている。デジタルカメラに代表される撮像装置は、撮像素子、結像光学系（レンズ光学系）、イメージプロセッサ、バッファメモリ、フラッシュメモリ（カード型メモリ）、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成されている。撮像素子には、通常、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスが使用されている。撮像素子上に結像された光量分布は光電変換されて、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。イメージプロセッサとしてはＤＳＰ（Digital Signal Processor）等が、またバッファメモリとしてはＤＲＡＭ（Dynamic Random Access Memory）等が使用される。撮像された画像はカード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像はモニタに表示することができる。
【０００３】
撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成されている。また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系はより低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。
【０００４】
このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせることにより、撮像装置を小型化、薄型化することが提案されている。例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと１つの撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１）。図３８に示すように、固定焦点距離のレンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子２００３から構成されている。この構成によって、レンズアレイ２００１の数と同数の画像を単一の撮像素子２００３上に分割して結像させる。この撮像素子２００３より得られた複数の画像を演算装置２００４により画像処理を行い、全体の画像を再構成する。また、この演算装置２００４からフォーカス情報を検出し、液晶駆動装置２００５を介して液晶レンズアレイ２００２の各液晶レンズを駆動して、オートフォーカスを行う。このように、特許文献１の撮像レンズ装置においては、液晶レンズと固体レンズを組み合わせることにより、オートフォーカス機能やズーム機能を有し、かつ小型化を実現することができる。
【０００５】
また、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイと１つの撮像素子から構成された撮像装置もある（例えば、特許文献２）。図３９に示すように、液晶レンズ２１３１と、複眼光学系２１２０と、画像合成器２１１５と、駆動電圧演算部２１４２から構成されている。特許文献１と同様、単一の撮像素子２１０５上に、レンズアレイの数と同数の画像を結像させて、画像処理で画像を再構成する。このように、特許文献２の撮像装置においては、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイを組み合わせることにより、小型、薄型で焦点調整機能を実現することができる。
【０００６】
また、撮像素子である検出器アレイと撮像レンズアレイから構成されたサブピクセル解像度を有する薄型カメラにおいて、２つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている（例えば、特許文献３）。この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。また、特許文献３は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更することで画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。このように、特許文献３の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子を組み合わせることにとより、合成画像の高精細化を実現している。また、撮像レンズアレイと撮像素子に液体レンズを組み合わせることで、合成画像の高精細化を実現することができる。
【特許文献１】特開２００６−２５１６１３号公報
【特許文献２】特開２００６−２１７１３１号公報
【特許文献３】特表２００７−５２０１６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要があるという問題がある。また、相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。再度位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、多大な作業時間を要するという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置及び光軸制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備えることを特徴とする。
【００１０】
本発明は、前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１１】
本発明は、前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１２】
本発明は、前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１３】
本発明は、前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
【００１４】
本発明は、前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする。
【００１５】
本発明は、前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
【００１６】
本発明は、前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする。
【００１７】
本発明は、前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする。
【００１８】
本発明は、前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする。
【００１９】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備えることを特徴とする。
【００２０】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部とを備える撮像装置における光軸制御方法であって、前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする。
【００２１】
本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部とを備える撮像装置における光軸制御方法であって、前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。特に、入射する光の光軸を撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができる高画質な撮像装置を実現することができる。また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。
【発明を実施するための最良の形態】
【００２３】
以下に、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る、撮像装置の全体構成を示す機能ブロック図である。図１に示す撮像装置１は、６系統の単位撮像部２〜７を備えている。単位撮像部２は撮像レンズ８と撮像素子１４から構成されている。同様に、単位撮像部３は撮像レンズ９と撮像素子１５、単位撮像部４は撮像レンズ１０と撮像素子１６、単位撮像部５は撮像レンズ１１と撮像素子１７、単位撮像部６は撮像レンズ１２と撮像素子１８、及び単位撮像部７は撮像レンズ１３と撮像素子１９から構成されている。各撮像レンズ８〜１３は撮影対象からの光を対応する各撮像素子１４〜１９上にそれぞれ結像する。図１に示す符号２０〜２５は、各撮像素子１４〜１９に入射する光の光軸を示している。
【００２４】
以下、単位撮像部３を例にとり、信号の流れを説明する。撮像レンズ９によって結像した像を撮像素子１５で光電変換し、光信号を電気信号に変換する。撮像素子１５で変換された電気信号は、映像処理部２７によって予め設定されたパラメータにより映像信号に変換する。映像処理部２７は、変換した映像信号を映像合成処理部３８へ出力する。映像合成処理部３８は、他の単位撮像部２、４〜７から出力される電気信号を対応する各映像処理部２６、２８〜３１により変換処理された映像信号を入力する。映像合成処理部３８では、各単位撮像部２〜７において撮像された６つの映像信号を同期を取りながら１本の映像信号に合成し、高精細映像として出力する。また映像合成処理部３８は、合成した高解像度映像が予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、６つの制御部３２〜３７へ出力する。各制御部３２〜３７は、入力した制御信号に基づいて、対応する各撮像レンズ８〜１３の光軸制御を行う。そして、映像合成処理部３８は、再度高精細映像の判定を行う。この判定結果が良ければ高精細映像を出力し、悪ければ再度、撮像レンズを制御するという動作を繰り返す。
【００２５】
次に、図２を参照して、図１に示す単位撮像部３の撮像レンズ９及びこの撮像レンズ９を制御する制御部３３の詳細な構成を説明する。単位撮像部３は、液晶レンズ（非固体レンズ）３０１及び光学レンズ（固体レンズ）３０２から構成されている。また、制御部３３は、液晶レンズ３０１に印加する電圧を制御する４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄから構成されている。電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄは、映像合成処理部３８が生成した制御信号に基づいて、液晶レンズ３０１に印加する電圧を決定し、液晶レンズ３０１を制御する。図１に示す他の単位撮像部２、４〜７の撮像レンズ及び制御部も同様な構成であるため、ここでは詳細な説明を省略する。
【００２６】
次に、図３を参照して、図２に示す液晶レンズ３０１の構成を説明する。本実施形態における液晶レンズ３０１は、透明な第１の電極３０３、第２の電極３０４、透明な第３の電極３０５、第２の電極３０４と第３の電極３０５との間に配置された液晶層３０６、第１の電極３０３と第２の電極３０４との間に配置された第１の絶縁層３０７、第２の電極３０４と第３の電極３０５の間に配置された第２の絶縁層３０８、第１の電極３０３の外側に配置された第３の絶縁層３１１、第３の電極３０５の外側に配置された第４の絶縁層３１２によって構成されている。ここで、第２の電極３０４は、円形の孔を有しており、図３の正面図に示すように縦、横に分割された４つの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄによって構成されており、それぞれの電極に独立して電圧を印加することができる。また、液晶層３０６は第３の電極３０５に対向するように液晶分子を一方向に配向させており、液晶層３０６を挟む電極３０３、３０４、３０５の間に電圧を印加することで液晶分子の配向制御を行う。また、絶縁層３０８は大口径化のため例えば数百μｍ程度の厚さの透明な硝子等を用いている。
【００２７】
一例として液晶レンズ３０１の寸法を以下に示す。第２の電極３０４の円形の孔のサイズは約φ２ｍｍであり、第１の電極３０３との間隔は７０μｍであり、第２の絶縁層３０８の厚みは７００μｍである。液晶層３０６の厚さは６０μｍとしている。本実施の形態では第１の電極３０３と第２の電極３０４は異なった層となっているが、同一の面上に形成しても構わない。その場合、第１の電極３０３の形状は第２の電極３０４の円形の孔よりも小さなサイズの円形として第２の電極３０４の孔位置に配置し、第２の電極３０４の分割部分に電極取り出し部を設けた構成とする。このとき、第１の電極３０３と第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄはそれぞれ独立に電圧制御が行える。このような構成をすることで全体の厚みを減少させることができる。
【００２８】
次に、図３に示す液晶レンズ３０１の動作を説明する。図３に示す液晶レンズ３０１において、透明な第３の電極３０５とアルミニウム薄膜等で構成された第２の電極３０４との間に電圧を印加すると同時に、第１の電極３０３と第２の電極３０４の間にも電圧を印加することにより、円形の孔を有する第２の電極３０４の中心軸３０９に軸対象な電界勾配を形成することができる。このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層３０６の液晶分子が電界勾配の方向に配向する。その結果、液晶層３０６の配向分布の変化により、異常光の屈折率分布が円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。第１の電極３０３、第２の電極３０４への電圧の掛け方によってこの液晶層３０６の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど自由に光学的な特性の制御を行うことが可能である。
【００２９】
本実施形態では、第１の電極３０３と第２の電極３０４の間に２０Ｖｒｍｓの実効電圧を印加し、また、第２の電極３０４と第３の電極３０５の間に７０Ｖｒｍｓの実効電圧を印加して、第１の電極３０３と第３の電極３０５の間には９０Ｖｒｍｓの実効電圧が印加されるようにして凸レンズとして機能させている。ここで、液晶駆動電圧（各電極間に印加する電圧）は正弦波、またはデューティ比５０％の矩形波の交流波形である。印加する電圧値は実効電圧（ｒｍｓ：root mean square value）で表す。例えば１００Ｖｒｍｓの交流正弦波は、±１４４Ｖの尖頭値を有する電圧波形となる。また、交流電圧の周波数は例えば１ｋＨｚが用いられる。更に第２の電極３０４を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間にそれぞれ異なった電圧を印加することにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第２の電極中心軸３０９に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。この場合、分割された第２の電極３０４と第３の電極３０５の間に印加する電圧を適宜変えることにより、入射光の偏向の方向を変化させることができる。例えば、電極３０４ａと電極３０５間と、電極３０４ｃと電極３０５間にそれぞれ７０Ｖｒｍｓを、電極３０４ｂと電極３０５間と、電極３０４ｄと電極３０５間にそれぞれ７１Ｖｒｍｓを印加することで、符号３０９で示す光軸位置が符号３１０で示す位置にシフトする。そのシフト量は例えば３μｍである。
【００３０】
図４は、液晶レンズ３０１の光軸シフト機能を説明する模式図である。前述した通り第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間に印加する電圧を、電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ毎に制御することによって、撮像素子の中心軸と液晶レンズの屈折率分布の中心軸をずらすことが可能となる。これは撮像素子面に対してレンズがそのｘｙ面内でずれたことに相当するため、撮像素子に入力する光線を、そのｕ、ｖ面内で偏向することができる。
【００３１】
図５に図２に示す単位撮像部３の詳細構成を示す。単位撮像部３の中の光学レンズ３０２は２つの光学レンズ３０２ａ、３０２ｂによって構成され、液晶レンズ３０１は光学レンズ３０２ａ、３０２ｂの間に配置している。光学レンズ３０２ａ、３０２ｂはそれぞれ１枚もしくは複数枚のレンズより構成されている。物体面から入射した光線は液晶レンズ３０１の物体面側に配置する光学レンズ３０２ａによって集光され、スポットを小さくした状態で液晶レンズ３０１に入射される。このとき、液晶レンズ３０１への光線の入射角度は光軸に対して平行に近い状態となっている。液晶レンズ３０１から出射された光線は液晶レンズ３０１の撮像素子１５側に配置する光学レンズ３０２ｂによって撮像素子１５面上に結像される。このような構成とすることで液晶レンズ３０１の径を小さくすることが可能であり、液晶レンズ３０１へ印加する電圧の低減やレンズ効果の増大、第２の絶縁層３０８の厚さを薄くすることによるレンズ厚の低減が可能である。
【００３２】
図１に示す撮像装置１では、１つの撮像素子に対して１つの撮像レンズを配置した構成としているが、液晶レンズ３０１において同一基板上に複数個の第２の電極３０４を構成し、複数の液晶レンズを一体化した構成でも構わない。すなわち液晶レンズ３０１は第２の電極３０４の孔の部分がレンズに相当するため、１枚の基板上に複数個の第２の電極３０４のパターンを配置することで、それぞれの第２の電極３０４の孔の部分がレンズ効果を有する。そのため、複数個の撮像素子の配置に合わせて同一基板上に複数の第２の電極３０４を配置することで単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。
【００３３】
なお、前述した説明においては液晶層の層数が１層であったが、１層の厚みを薄くして複数の層で構成することで同程度の集光性を保ったまま応答性を改善することも可能である。これは液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。さらに、電極分割数も１例として４分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。
【００３４】
次に、図６及び図７を参照して、図１に示す撮像素子１５の構成を説明する。本実施形態による撮像装置の撮像素子は、一例として、ＣＭＯＳ撮像素子を使用することができる。図６において、撮像素子１５は、２次元配列の画素５０１から構成されている。本実施形態のＣＭＯＳ撮像素子の画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。ここで画素とは、撮像素子が行う撮像動作の最小単位である。通常、１つの光電変換素子（例えばフォトダイオード）に１つの画素が対応している。５．６μｍ各の画素サイズのなかに、ある面積（空間的広がり）を持つ受光部があり、画素はその受光部に入射した光を平均化、積分して光の強度とし、電気信号に変換する。平均化する時間は電子式や機械式のシャッター等で制御されて、その動作周波数は一般的に撮像装置が出力するビデオ信号のフレーム周波数と一致し、例えば６０Ｈｚである。
【００３５】
図７に撮像素子１５の詳細な構成を示す。ＣＭＯＳ撮像素子１５の画素５０１は、増幅器５１６によって、フォトダイオード５１５で光電変換された信号電荷を増幅する。各画素の信号は、垂直走査回路５１１及び水平走査回路５１２により、垂直水平アドレス方式で選択し、電圧または電流として取り出される。ＣＤＳ（Correlated Double Sampling）５１８は相関２重サンプリングを行う回路であり、アンプ５１６等で発生するランダム雑音のうち１／ｆ雑音を抑圧することができる。画素５０１以外の画素についても同様の構成、機能となっている。またＣＭＯＳロジックＬＳＩ製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つＣＣＤイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。本実施形態ではモノクロのＣＭＯＳ撮像素子１５を使用したが、各画素には個別にＲ，Ｇ，Ｂのカラーフィルタを取り付けたカラー対応のＣＭＯＳ撮像素子も使用できる。Ｒ，Ｇ，Ｇ，Ｂの繰り返しを市松模様状に配置するベイヤー構造を用いて、１つの撮像素子でカラー化を簡易に達成できる。
【００３６】
次に、図８を参照して、撮像装置１の全体の構成について説明する。図８において、図１に示す同一の部分には同一の符号を付し、その説明を省略する。図８において、Ｐ００１は撮像装置１の処理動作を統括して制御するＣＰＵ（Central Processing Unit）であり、マイクロコントローラ（マイコン）と呼ばれる場合もある。Ｐ００２は不揮発性メモリで構成するＲＯＭ（Read Only Memory）であり、ＣＰＵ・Ｐ００１のプログラムや各処理部に必要な設定値を記憶する。Ｐ００３はＲＡＭ（Random Access Memory）であり、ＣＰＵの一時的なデータを記憶する。Ｐ００４はＶｉｄｅｏＲＡＭであり、主に演算途中の映像信号、画像信号を記憶するためのもので、ＳＤＲＡＭ（Synchronous Dynamic RAM）などで構成される。
【００３７】
図８はＣＰＵ・Ｐ００１のプログラム格納用としてＲＡＭ・Ｐ００３を、画像格納用としてＶｉｄｅｏＲＡＭ・Ｐ００４を持つ構成であるが、例えば２つのＲＡＭブロックをＶｉｄｅｏＲＡＭ・Ｐ００４に統一する構成でもよい。Ｐ００５はシステムバスであり、ＣＰＵ・Ｐ００１、ＲＯＭ・Ｐ００２、ＲＡＭ・Ｐ００３、ＶｉｄｅｏＲＡＭ・Ｐ００４、映像処理部２７、映像合成処理部３８、制御部３３が接続されている。またシステムバスＰ００５は、後述する映像処理部２７、映像合成処理部３８、制御部３３の各ブロックの内部ブロックにも接続される。ＣＰＵ・Ｐ００１がホストとしてシステムバスＰ００５を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。また、例えば映像合成処理部３８の演算途中の画像をＶｉｄｅｏＲＡＭ・Ｐ００４に格納する際にこのシステムバスＰ００５を使用する。高速転送速度が必要な画像信号用のバスと、低速のデータバスを異なるバスラインとしてもよい。システムバスＰ００５には、図示しないＵＳＢやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。
【００３８】
次に、図９、図１０を参照して、映像処理部２７と映像合成処理部３８の処理動作を説明する。図９は、映像処理部２７の構成を示すブロック図である。図９において、６０１は映像入力処理部、６０２は補正処理部、６０３は較正パラメータ記憶部である。映像入力処理部６０１は、単位撮像部３から取り込んだ映像信号を入力し、例えばニー処理やガンマ処理などの信号処理を施し、さらにホワイトバランス制御も実施する。映像入力処理部６０１の出力は補正処理部６０２に渡されて、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が施される。例えば撮像素子１５の取り付け誤差に起因する歪みが較正される。較正パラメータ記憶部６０３はＲＡＭ（Random Access Memory）であり、キャリブレーション値（較正値）を記憶している。補正処理部６０２からの出力である補正済みの映像信号は、映像合成処理部３８に出力される。較正パラメータ記憶部６０３に記憶されているデータは、例えば撮像装置の電源投入時にＣＰＵ・Ｐ００１によって更新される。または、較正パラメータ記憶部６０３をＲＯＭ（Read Only Memory）として、工場出荷時のキャリブレーション手順にて格納データを確定してＲＯＭに記憶するようにしてもよい。
【００３９】
映像入力処理部６０１、補正処理部６０２及び較正パラメータ記憶部６０３は、それぞれシステムバスＰ００５に接続されている。例えば映像入力処理部６０１の前述のガンマ処理の特性はＲＯＭ・Ｐ００２に格納されている。映像入力処理部６０１は、ＣＰＵ・Ｐ００１のプログラムによって、ＲＯＭ・Ｐ００２に格納されているデータをシステムバスＰ００５を介して受け取る。また、補正処理部６０２は、演算途中の画像データをシステムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。本実施形態ではモノクロのＣＭＯＳの撮像素子１５を使用しているが、カラーのＣＭＯＳ撮像素子を使用する場合、例えば撮像素子がベイヤ構造である場合は、映像処理部６０１でベイヤ補間処理を実施することになる。
【００４０】
図１０は、映像合成処理部３８の構成を示すブロック図である。合成処理部７０１は、複数の単位撮像部２〜７の撮像結果を合成処理する。合成処理により、後述するように画像の解像度を改善することができる。合成パラメータ記憶部７０２は、例えば後述するキャリブレーションによって導出される単位撮像部間の３次元座標から求まる画像シフト量のデータを格納している。合成処理部７０１は、このシフト量を基に画像をシフトさせて合成する。判定部７０３は、合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。ここで、例えば４つの単位撮像部の合成処理を行う場合を仮定する。撮像素子はワイドＶＧＡ（８５４画素×４８０画素）であると仮定する。また、映像合成処理部３８の出力であるビデオ出力がハイビジョン信号（１９２０画素×１０８０画素）であると仮定する。この場合、判定部７０３で判断する周波数帯域は、およそ２０ＭＨｚから３０ＭＨｚである。ワイドＶＧＡの映像信号が再現可能な映像周波数の帯域上限はおよそ１０ＭＨｚ〜１５ＭＨｚである。このワイドＶＧＡの信号を用いて、合成処理部７０１で合成処理することにより、２０ＭＨｚ〜３０ＭＨｚの成分を復元する。ここで、撮像素子はワイドＶＧＡであるが、主に撮像レンズ８〜１３からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つことが条件となる。
【００４１】
この合成後のビデオ信号の周波数帯域（前述の例では２０ＭＨｚ〜３０ＭＨｚの成分）のパワーが最大となるように、制御部３２〜制御部３７を制御する。周波数軸での判断のために、判定部７０３ではフーリエ変換処理を行い、その結果の、特定の周波数以上（例えば２０ＭＨｚ）のエネルギーの大きさを判断する。撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。この位相を最適な状態とするために、制御部３２〜３７を用いて、撮像レンズ８〜１３を制御する。具体的には、制御部３３は撮像レンズ９にある液晶レンズ３０１を制御する。液晶レンズ３０１の分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに印加する電圧のバランスを制御することで、図４に示した通り、撮像素子面上の画像が移動する。制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。つまり、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーを最大となるよう制御する。
【００４２】
以上説明した通り、この制御方法は、映像処理部２７からの映像信号を基準として、制御部３３以外の制御部３２、３４〜３７を介して撮像レンズ２、撮像レンズ４〜７を制御する。この場合、撮像レンズ２は、制御部３２によって光軸位相が制御される。その他の撮像レンズ４〜７についても同様に光軸位相が制御される。各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。その結果高精細、高画質な映像信号を合成することが可能となる。判定部７０３は、合成処理結果を判定し、高精細、高画質な映像信号が合成できていれば、その制御値を維持し、高精細、高画質な映像信号をビデオ出力する。一方、高精細、高画質な映像信号が合成できていなければ、再度撮像レンズの制御を行う。
【００４３】
ここでは、撮像素子１の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造が撮像素子上に実在するものではない。また、映像合成処理部３８の出力は、例えばビデオ信号であり、図示しないディスプレイに対して出力されたり、または図示しない画像記録部に渡されて、磁気テープやＩＣカードに記録される。合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３は、それぞれシステムバスＰ００５に接続されている。合成パラメータ記憶部７０２はＲＡＭで構成されている。例えば、撮像装置の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。また、合成処理部７０１は、演算途中の画像データを、システムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。
【００４４】
次に、図１１を参照して、制御部３３の構成を説明する。図１１において、８０１は電圧制御部、８０２は液晶レンズパラメータ記憶部である。電圧制御部８０１は、映像合成処理部３８の判定部７０３からの制御信号に従い、撮像レンズ９が備えている液晶レンズ３０１の各電極の電圧を制御する。制御される電圧は、液晶レンズパラメータ記憶部８０２から読み出すパラメータ値を基準に決定する。このような処理により、液晶レンズ３０１の電界分布が理想的に制御されて、図４に示すように光軸が制御されて、結果取り込み位相が補正された状態で撮像素子１５において光電変換される。このような制御によって、画素の位相が理想的に制御されて、その結果ビデオ出力信号の解像度が改善される。制御部３３の制御結果が理想的な状態であれば、判定部７０３の処理であるフーリエ変換の結果のエネルギー検出が最大となる。そのような状態となるように、制御部３３は、撮像レンズ９、映像処理部２７、映像合成処理部３８によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。電圧制御部８０１、液晶レンズパラメータ記憶部８０２は、それぞれシステムバスＰ００５に接続されている。液晶レンズパラメータ記憶部８０２は例えばＲＡＭで構成されており、撮像装置１の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。
【００４５】
なお、図９〜図１１に示す較正パラメータ記憶部６０３、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２は、同一のＲＡＭ、もしくはＲＯＭを用いて、記憶するアドレスで使い分ける構成にしてもよい。また、ＲＯＭ・Ｐ００２やＲＡＭ・Ｐ００３の一部のアドレスを使用する構成でもよい。
【００４６】
次に、撮像装置１の制御動作を説明する。図１２は、撮像装置１の動作を示すフローチャートである。ここでは、映像合成処理において映像の空間周波数情報を使用する一例を示す。まず、ＣＰＵ・Ｐ００１が制御処理の開始を指示すると、補正処理部６０２は、較正パラメータ記憶部６０３から較正パラメータを読み込む（ステップＳ９０１）。補正処理部６０２は、読み取った較正パラメータを基に、単位撮像部２〜７毎の補正を行う（ステップＳ９０２）。この補正は、後述の単位撮像部２〜７毎の歪みを除去するものである。次に、合成処理部７０１は、合成パラメータ記憶部７０２から合成パラメータを読み込む（ステップＳ９０３）。そして、合成処理部７０１は読み込んだ合成パラメータを基にサブ画素映像合成高精細化処理を実行する（ステップＳ９０４）。後述するように、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。
【００４７】
次に、判定部７０３は高精細判定を実行し（ステップＳ９０５）、高精細か否かを判定する（ステップＳ９０６）。判定部７０３は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部３２〜３７のそれぞれに渡す。各制御部３２〜３７は、高精細が達成されている場合は制御電圧を変更せずに、液晶レンズパラメータは同一値を保持する（ステップＳ９０７）。一方、高精細ではないと判定された場合、制御部３２〜３７は、液晶レンズ３０１の制御電圧を変更する（ステップＳ９０８）。ＣＰＵ・Ｐ００１は、制御終了条件を管理しており、例えば装置のパワーオフの条件が成立したか否かを判定し（ステップＳ９０９）、制御終了条件が満たされていなければ、ステップＳ９０３へ戻り、処理を繰り返す。一方、制御終了条件を満たしていれば処理を終了する。なお、制御終了条件は、装置のパワーオン時に予め高精細判定回数を１０回というように定めておき、指定回数分、ステップＳ９０３〜Ｓ９０９の処理を繰り返すようにしてもよい。
【００４８】
次に、図１３を参照して、図１２に示すサブ画素映像合成高精細化処理（ステップＳ９０４）の動作を説明する。画像サイズ、倍率、回転量及びシフト量は合成パラメータであり、合成パラメータ読み込み処理（ステップＳ９０３）において合成パラメータ記憶部７０２から読み出されるパラメータである。ここでは、４つの単位撮像部から１つの高精細画像を得る場合を仮定する。個々の単位撮像部にて撮像した４つの画像から、回転量とシフト量のパラメータを使用して１つの座標系に重ねる。そして、４つの画像と距離による重み係数によってフィルタ演算を行う。例えばフィルタはキュービック（３次近似）を使用する。距離ｄにある画素から取得する重みｗは次式となる。
ｗ＝１−２×ｄ２＋ｄ３ （０≦ｄ＜１）
＝４−８×ｄ＋５×ｄ２−ｄ３ （１≦ｄ＜２）
＝０ （２≦ｄ）
【００４９】
次に、図１４を参照して、図１２に示す判定部７０３が行う高精細判定処理（ステップＳ９０５）の詳細動作を説明する。まず、判定部７０３は、定義範囲の信号を抽出する（ステップＳ１００１）。例えばフレーム単位の１画面を定義範囲とした場合は別途図示しないフレームメモリブロックを持ち、あらかじめ１画面分の信号を記憶する。例えばＶＧＡ解像度であれば、１画面分は６４０×４８０画素からなる２次元の情報である。この２次元情報に対して、判定部７０３は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する（ステップＳ１００２）。次に、ＨＰＦ（High pass filter：高域通過濾過器）によって、高域信号を抽出する（ステップＳ１００３）。例えば、撮像素子９が、アスペクト比が４：３、６０ｆｐｓ（Frame Per Second）（プログレッシブ）のＶＧＡ信号（６４０画素×４８０画素）であり、映像合成処理部の出力であるビデオ出力信号がＱｕａｄ−ＶＧＡである場合を仮定する。ＶＧＡ信号の限界解像度が約８ＭＨｚであり、合成処理にて１０ＭＨｚ〜１６ＭＨｚの信号を再生する場合を仮定する。この場合、ＨＰＦは例えば１０ＭＨｚ以上の成分を通過させる特性を持つ。判定部７０３は、この１０ＭＨｚ以上の信号を閾値と比較して判定を行う（ステップＳ１００４）。閾値は、例えばフーリエ変換した結果のＤＣ（直流）成分を１とした場合の１０ＭＨｚ以上のエネルギーの閾値を０．５と設定して、その閾値との比較とする。
【００５０】
前述した説明においては、ある解像度の撮像結果の１フレーム分の画像を基準にフーリエ変換する場合を説明したが、定義範囲をライン単位（水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数１９２０画素単位）で定義すれば、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。この場合、例えばハイビジョン信号であれば、例えばライン数の１０８０回、フーリエ変換を繰り返し実行して、ライン単位の１０８０回分の閾値比較判定を総合して、一画面の高精細度合いを判断してもよい。また、画面単位の閾値比較判定結果を数フレーム分使用して判断してもよい。このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。また、閾値判定は、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。判断している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。例えば、ヒストグラム検出で画像の特徴を抽出してもよい。また、過去の判定結果と連動して現在の閾値を変更してもよい。
【００５１】
次に、図１５を参照して、図１２に示すは制御部３２〜３７が実行する制御電圧変更処理（ステップＳ９０８）の詳細動作を説明する。ここでは、制御部３３の処理動作を例として説明するが、制御部３２、３４〜３７の処理動作も同様である。まず、電圧制御部８０１は、液晶レンズパラメータ記憶部８０２から現在の液晶レンズのパラメータ値を読み出す（ステップＳ１１０１）。そして、電圧制御部８０１は、液晶レンズのパラメータ値を更新する（ステップＳ１１０２）。液晶レンズパラメータには過去の履歴を持たせておき、例えば現在４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄに対して、電圧制御部３３ａの電圧を過去の履歴で４０Ｖ、４５Ｖ、５０Ｖと５Ｖ置きに上昇させている最中である場合、履歴と今回の高精細ではないという判断から、さらに電圧を上げるべきと判断し、電圧制御部３３ｂ、電圧制御部３３ｃ、電圧制御部３３ｄの電圧値を保持しながら、電圧制御部３３ａの電圧を５５Ｖに更新する。このように、順次４つの液晶レンズの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄに与える電圧値を更新する。また、更新した値は、履歴として液晶レンズパラメータの値を更新する。
【００５２】
以上の処理動作により、複数の単位撮像部２〜７の撮像画像をサブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更することで、高画質な撮像装置を実現することが可能となる。分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに異なる電圧を印加することで、撮像レンズ８〜１３によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。理想的な状態であるかどうかの判断は、判定部７０３で判断する。
【００５３】
次に、図１６を参照して、カメラキャリブレーションの処理動作を説明する。この処理動作は、例えば撮像装置１の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。このカメラキャリブレーション処理は、ＣＰＵ・Ｐ００１によって実行される。まず、撮像装置１を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながらチェッカーパターンの３０種類の姿勢で撮像して画像を取得する（ステップＳ１２０１）。続いて、ＣＰＵ・Ｐ００１はこの撮像画像を、単位撮像部２〜７毎に解析して、単位撮像部２〜７毎の外部パラメータ値、内部パラメータ値を導出する（ステップＳ１２０２）。例えばピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値はカメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。また同様に内部パラメータは５つである。このようなパラメータを導出することが、較正（キャリブレーション）である。一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。
【００５４】
次に、ＣＰＵ・Ｐ００１は、得られたパラメータを較正パラメータ記憶部６０３に記憶する（ステップＳ１２０３）。前述の通り、本パラメータを単位撮像部２〜７の補正処理（図１２に示すステップＳ９０２）で使用することで、単位撮像部２〜７の個別のカメラ歪みが補正されることになる。すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、単位撮像部２〜７の補正を行う。
【００５５】
次に、ＣＰＵ・Ｐ００１は、単位撮像部２〜７間のパラメータを単位撮像部２〜７間の外部パラメータを導出して（ステップＳ１２０４）、合成パラメータ記憶部７０２、液晶レンズパラメータ記憶部８０２に記憶されているパラメータを更新する（ステップＳ１２０５、Ｓ１２０６）。この値は、サブ画素映像合成高精細化処理Ｓ９０４、及び制御電圧変更Ｓ９０８で使用される。
【００５６】
なお、ここでは撮像装置内のＣＰＵまたはマイコンにカメラキャリブレーションの機能を持たせた場合を示したが、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置にダウンロードするような構成でもよい。
【００５７】
次に図１７を参照して、単位撮像部２〜７のカメラキャリブレーションの原理について説明する。ここでは、カメラによる投影の様子について図１７に示すようなピンホールカメラモデルを用いて考える。ピンホールカメラモデルにおいて、画像平面に至る光は全てレンズの中心の１点であるピンホールを通過し、画像平面と交差した位置で像を結ぶ。光軸と画像平面との交点を原点とし、カメラの素子の配置軸に合わせてｘ軸とｙ軸をとる座標系を画像座標系と呼び、カメラのレンズ中心を原点、光軸をＺ軸とし、ｘ軸とｙ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘw，Ｙw，Ｚw）での３次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔと、その投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］Ｔとの間には、（１）式のように関連付けられる。
【００５８】
【数１】
ここで、Ａは内部パラメータ行列といい、次の（２）式のような行列である。
【００５９】
【数２】
α，βは画素の大きさと焦点距離との積からなるスケール係数、（ｕ０，ｖ０）は画像中心、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒ ｔ］は外部パラメータ行列といい、３×３の回転行列Ｒと平行移動ベクトルｔを並べた４×３行列である。
【００６０】
Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面をワールド座標系のＺw＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。
【数３】
平面上の点と画像上の点との関係は３×３のホモグラフィ行列Ｈで、（４）式のように記述できる。
【００６１】
【数４】
キャリブレーション平面の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィＨ＝［ｈ１ ｈ２ ｈ３］が得られると、（４）式より次の（５）式が得られる。
【００６２】
【数５】
Ｒが回転行列なのでｒ１とｒ２は直交であることから、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。
【００６３】
【数６】
【数７】
【００６４】
Ａ−ＴＡ−１は（８）式のように、３×３の対象行列で６つの未知数を含んでおり、１つのＨにつき２つの式を立てることができるので、Ｈが３つ以上得られれば内部パラメータＡを決定することができる。ここで、Ａ−ＴＡ−１は対象性を持っていることから
【数８】
とするＢの要素を並べたベクトルを
【数９】
と定義する。ホモグラフィＨのｉ番目の列ベクトルをｈｉ＝［ｈｉ１ ｈｉ２ ｈｉ３］Ｔ，（ｉ＝１，２，３）とすると、ｈｉＴＢｈｊは
【数１０】
【数１１】
【００６５】
と表せる。
【００６６】
これにより、（６）式と（７）式は次式のようになる。
【数１２】
【００６７】
もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、
【数１３】
を得る。ここで、Ｖは２ｎ×６の行列である。これより、ｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のγ＝０とすることで、式［０ １ ０ ０ ０ ０］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ｂを求めることでＢが求まれば、Ｂ＝μＡ−ＴＡからカメラの内部パラメータは（１４）式で計算される。
【数１４】
【００６８】
また、これより内部パラメータＡが求まれば、外部パラメータに関しても（５）式より、
【数１５】
として求めることができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。
【００６９】
以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。
【００７０】
次に、図１８、図１９を参照して、カメラキャリブレーションで求められるカメラ（撮像装置）の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。図１８は、基本となる撮像素子１５（これを基本カメラと称する）とそれと隣り合う隣接の撮像素子１６（これを隣接カメラと称する）にて対象物体面上の点Ｍを前述の液晶レンズを介して各撮像素子上の点ｍ１またはｍ２へ投影（撮影）する場合を示している。また、図１９は図１８を、図１７に示すピンホールカメラモデルを用いて図示したものである。ワールド座標系上の点Ｍと画像座標系上の点ｍの関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、
【数１６】
と表せる。
【００７１】
算出されたＰを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図１９に示す構成において、基本カメラの中心射影行列をＰ１とし、隣接カメラの中心射影行列をＰ２とする。画像平面１上の点ｍ１から、その点と対応する画像平面２上の点ｍ２を求めるために、以下の方法を用いる。
（１）（１６）式よりｍ１から三次元空間中の点Ｍを求める。中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて求める。
【数１７】
（２）算出された三次元位置より、隣接カメラの中心射影行列Ｐ２を用いて、隣接画像の対応点ｍ２を求める。
【数１８】
【００７２】
カメラパラメータＰはアナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。
【００７３】
次に、レンズの歪みとカメラキャリブレーションについて説明する。ここまではレンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ１、ｋ２、ｋ５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。この法線方向の歪みに対する補正係数をｋ３、ｋ４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は下記となる。
【００７４】
【数１９】
【数２０】
【数２１】
【００７５】
ここで、（ｘｕ，ｙｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、（ｘｄ、ｙｄ）は歪曲収差のあるレンズの画像座標である。この座標の座標系は、双方とも前述の画像座標系ｘ軸、ｙ軸である。また、ｒは画像中心から（ｘｕ，ｙｕ）までの距離である。画像中心は、前述の内部パラメータｕ０，ｖ０で定まる。以上のモデルを仮定して、係数ｋ１〜ｋ５や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。
【００７６】
図２０は、撮像装置１の撮像の様子を示す模式図である。撮像素子１５と撮像レンズ９からなる単位撮像部３は、撮像範囲ａを撮像する。撮像素子１６と撮像レンズ１０からなる単位撮像部４は、撮像範囲ｂを撮像する。２つの単位撮像部３、４にて略同一の撮像範囲を撮像する。例えば撮像素子１５、１６の配置間隔を１２ｍｍ、単位撮像部３、４の焦点距離が５ｍｍ、撮像範囲までの距離が６００ｍｍ、単位撮像部３、４の光軸が各々平行である場合、撮像範囲ａ，ｂの異なる範囲のエリアはおよそ３％程度である。このように、同一部を撮像して合成処理部３８で高精細化処理を行う。
【００７７】
次に、図２１、図２２を参照して、撮像装置１の高精細化について説明する。図２１の横軸は、空間の広がりを示す。この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりと、双方を示すものである。これらは、外部パラメータ、内部パラメータを用いれば相互に変換、換算が可能であるので同義である。また、撮像素子から順次読み出された映像信号をみなした場合は、図２１の横軸は時間軸となるが、この場合もディスプレイに表示された場合は観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。図２１の縦軸は振幅、強度である。物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。
【００７８】
図２１（ａ）は、現実空間での物体の輪郭である。この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分するため、単位撮像部２〜７にて図２１（ｂ）のように取り込まれる。積分は、一例として、ＬＰＦ（Low Pass Filter：低域通過フィルタ）を用いて行う。図２１（ｂ）中の矢印が、撮像素子の画素の広がりである。図２１（ｃ）は異なる単位撮像部２〜７で撮像した結果であり、図２１（ｃ）中の矢印の画素の広がりで光を積分する。図２１（ｂ）、（ｃ）にあるように、撮像素子の解像度（画素のサイズ）で定まる広がり以下の反射光の輪郭（プロファイル）は、撮像素子では再現できない。
【００７９】
しかし、本発明の特徴とするところは、図２１（ｂ）、（ｃ）において双方の位相関係にオフセットを持つことである。このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図２１（ｄ）に示す輪郭を再現することが可能となる。図２１（ａ）〜（ｄ）から明らかなように、図２１（ａ）の輪郭をもっとも再現できているのは図２１（ｄ）であり、図２１（ｄ）中の矢印の幅に相当する撮像素子の画素のサイズの性能と等価である。本実施形態は液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化（ＬＰＦを用いた積分）による解像限界を超えるビデオ出力を得ることが可能となる。
【００８０】
図２２は、２つの単位撮像部の相対的な位相関係を示す模式図である。後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。図２２は２つの単位撮像部を使用する場合を仮定しているので、その位相関係は（ａ）のように、０．５画素サイズの位相関係が理想である。しかし、撮像距離や、装置の組み立ての関係で、図２２（ｂ）や（ｃ）のようになる場合がある。この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図２２（ｂ）、（ｃ）のような位相関係で平均化されてしまった信号は復元不可能である。そこで図２２（ｂ）、（ｃ）の位相関係を、（ｄ）に示すものに制御することが必須となる。本発明では、この制御を図４に示した液晶レンズによる光軸シフトで実現する。以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。
【００８１】
ここで、図２２においては１次元の位相関係について説明した。例えば４つの単位撮像部を用いて、各々水平、垂直、斜め４５度の各方向の１次元シフトをすることで、図２２に示した動作で２次元空間の位相制御が可能となる。また、例えば２つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を２次元（水平、垂直、水平＋垂直）に位相制御することで、２次元の位相制御を実現してもよい。
【００８２】
例えば、４つの単位撮像部を用いて概略同一の撮像対象（被写体）を撮像して、４つの画像を得る場合を仮定する。ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判断して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。例えば撮像素子の画素数がＶＧＡ（６４０×４８０画素）であれば、４つのＶＧＡの単位撮像部によってＱｕａｄ−ＶＧＡ（１２８０×９６０画素）の高精細画像が得られる。前述の内挿フィルタリング処理は、例えばキュービック（３次近似）法を用いる。内挿点までの距離による重み付けの処理である。撮像素子の解像度限界はＶＧＡであるが、撮像レンズはＱｕａｄ−ＶＧＡの帯域を通過させる能力を持ち、ＶＧＡ以上のＱｕａｄ−ＶＧＡの帯域成分は折り返し歪み（エイリアシング）としてＶＧＡ解像度で撮像される。この折り返し歪みを使用して、映像合成処理でＱｕａｄ−ＶＧＡの高帯域成分を復元する。
【００８３】
図２３は、撮像対象（被写体）と結像の関係を示す図である。この図においては、レンズひずみを無視したピンホールモデルがベースになっている。レンズひずみが小さい撮像装置はこのモデルで説明可能であり、幾何光学のみで説明可能である。図２３（ａ）において、Ｐ１は撮像対象であり、撮像距離Ｈ離れている。ピンホールＯ、Ｏ’が２つの単位撮像部の撮像レンズに相当して、撮像素子Ｍ、Ｎの２つの単位撮像部で１つの像を撮像している模式図である。図２３（ｂ）は、撮像素子の画素にＰ１の像が結像する様子である。このように、画素と結像した像の位相が定まる。この位相は、互いの撮像素子の位置関係（基線長Ｂ）、焦点距離ｆ、撮像距離Ｈで決まる。
【００８４】
すなわち、撮像素子の取り付け精度によって設計値と異なる場合があり、また撮像距離によっても関係は変化する。この場合、ある組み合わせによっては図２３（ｃ）のように、互いの位相が一致してしまう場合が発生する。図２３（ｂ）の光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。図２３（ｂ）にあるように、２つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化されるため、後段の合成処理で高帯域成分（例えば撮像素子がＶＧＡ解像度であれば、ＶＧＡ解像度以上の高帯域）が再現できる。２つの単位撮像部であるので、０．５画素の位相ずれが理想である。
【００８５】
しかし、図２３（ｃ）のように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。そこで、図２３（Ｃ）にあるように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。最適な状態とは、図１４での処理で実現する。位相関係は、使用する単位撮像部の位相が等間隔が望ましい。本発明は光軸シフト機能を持つため、そのような最適な状態を外部からの電圧制御で達成可能となる。
【００８６】
図２４は、撮像装置１の動作を説明する模式図である。２つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。撮像素子の平面をｕ，ｖの２次元で定義していて、図２４はｕ軸の断面に相当する。撮像対象Ｐ０、Ｐ１は同一撮像距離Ｈにある。Ｐ０の像が、各々ｕ０、ｕ’０に結像する。ｕ０，ｕ’０は各々の光軸を基準とした撮像素子上の距離であり、図２４ではＰ０は撮像素子Ｍの光軸上にあるので、ｕ０＝０である。また、Ｐ１の各々の像の、光軸からの距離がｕ１，ｕ’１である。ここで、Ｐ０，Ｐ１が撮像素子Ｍ，Ｎ上に結像する位置の、撮像素子Ｍ，Ｎの画素に対する相対的な位相がイメージシフトの性能を左右する。この関係は、撮像距離Ｈ、焦点距離ｆ、撮像素子の光軸の間の距離である基線長Ｂによって定まる。
【００８７】
図２４では、互いの結像する位置、すなわちｕ０とｕ’０は画素のサイズの半分だけシフトしている。ｕ０（＝０）は撮像素子Ｍの画素の中心に位置している。対してｕ’０は撮像素子Ｎの画素の周辺に結像している。すなわち、画素サイズの半画素分ずれた関係となっている。ｕ１とｕ’１も同様に半画素のサイズだけシフトしている。図２４（ｂ）は、各々撮像した画像の同一画像同士を演算することで、１つの画像を復元・生成する動作の模式図である。Ｐｕがｕ方向の画素サイズを、Ｐｖがｖ方向の画素サイズを示す。図２４（ｂ）では、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。
【００８８】
図２５は、図２４に対して、例えば取り付け誤差により撮像素子Ｎが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。この場合、ｕ１とｕ’１の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。図２５（ａ）では、双方とも、画素に対して左側に寄った位置に結像している。ｕ０（＝０）とｕ’０の関係も同様である。よって図２５（ｂ）のように、互いの位相は略一致する。
【００８９】
図２６は、図２５に対して、本発明の光軸シフトを動作させた場合の模式図である。図２６（ａ）中の光軸シフトという右方向の移動がその動作のイメージである。このように、光軸シフト手段を用いてピンホールＯ’をずらすことで、撮像対象が結像する位置が撮像素子の画素に対して制御可能となる。図２６（ｂ）のように理想的な位相関係が達成可能となる。
【００９０】
次に、図２７参照して、撮像距離と光軸シフトの関係について説明する。図２７は、撮像距離Ｈ０でＰ０を撮像している状態から、距離Ｈ１にある物体Ｐ１に被写体を切り替えた場合を説明する模式図である。図２７において、Ｐ０，Ｐ１はそれぞれ撮像素子Ｍ上の光軸上であると仮定しているので、ｕ０＝０であり、またｕ１＝０である。Ｐ０、Ｐ１が撮像素子Ｎに結像する際の、撮像素子Ｂの画素とＰ０，Ｐ１の像の関係に注目する。Ｐ０は、撮像素子Ｍの画素の中心に結像している。対して撮像素子Ｎでは、画素の周囲に結像している。よってＰ０を撮像していたときは最適な位相関係であったといえる。図２７（ｂ）は、被写体がＰ１の場合の互いの撮像素子の位相関係を示す模式図である。図２７（ｂ）にあるように被写体をＰ１に変更したあとは、互いの位相が略一致してしまう。
【００９１】
そこで、図２８（ａ）にあるように、被写体Ｐ１撮像時に光軸シフト手段で光軸を動かすことで、図２８（ｂ）に示すように理想的な位相関係に制御することが可能となり、よってイメージシフトによる高精細化が達成できる。ここで、撮像距離の情報を得る方法は、距離を測定する測距手段を別途持てばよい。または、本発明の撮像装置で距離を測定してもよい。複数のカメラ（単位撮像部）を用いて距離を測定する例が、測量などでは一般的である。その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。
【００９２】
本発明の撮像装置を例えば８眼構成、すなわち８個の単位撮像部からなる構成とする。測定距離、すなわち被写体までの距離が５００ｍｍの場合は、８眼カメラのうち互いの光軸間距離（基線長）の短い４つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い４つのカメラで被写体までの距離を測定する。また、被写体までの距離が２０００ｍｍと遠い場合は、８眼を使用してイメージシフトの高解像処理を行い、測距は例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うような構成にしてもよい。前述の５００ｍｍの場合にも、例えばＴＯＦ（Time of Flight）のような他の測距手段を併用することで、測距の精度を向上させてもよい。
【００９３】
次に、図２９を参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。図２９（ａ）は、奥行きΔｒを考えたＰ１，Ｐ２を撮像している模式である。各々の光軸からの距離の差（ｕ１−ｕ２）は（２２）式となる。
（ｕ１−ｕ２）＝Δｒ×ｕ１／Ｈ ・・・（２２）
【００９４】
ここで、ｕ１−ｕ２は、基線長Ｂ、撮像距離Ｈ、焦点距離ｆによって定まる値である。ここでは、これらの条件Ｂ，Ｈ，ｆを固定して定数とみなす。また、光軸シフト手段により、理想的な光軸関係としていると仮定する。Δｒと画素の位置（撮像素子に結像する像の、光軸からの距離）との関係は、（２３）式となる。
Δｒ＝（ｕ１−ｕ２）×Ｈ／ｕ１ ・・・（２３）
【００９５】
すなわち、Δｒはｕ１に対して反比例の関係となる。また、図２９（ｂ）は、一例として画素サイズ６μｍ、撮像距離６００ｍｍ、焦点距離５ｍｍの場合を仮定して、奥行きによる影響が１画素の範囲内に収まる条件を導出したものである。奥行きによる影響が１画素の範囲内に収まる条件下では、イメージシフトの効果が十分であるので、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。
【００９６】
以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を高精細な映像に合成することが可能となる。
【００９７】
前述した説明においては、撮像素子へ入射する光の光軸を制御するために、液晶レンズを用いた例を説明したが、撮像素子へ入射する光の光軸を制御する光軸シフト制御は、液晶レンズなどの非固体レンズ以外の手段でも達成することが可能であるため、以下、他のの実施形態について説明する。
【００９８】
初めに、図３０を参照して、第２の実施形態を説明する。第２の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子のそれぞれの間に屈折板を配置したものである。図３０は、図２に示す単位撮像部３の液晶レンズ３０１に替えて、入射面と出射面が平行であるような屈折板３００１を固体レンズ３０２と撮像素子１５の間に配置し、圧電素子３００２を用いたアクチュエータなどの傾斜手段で傾斜させることにより光軸を制御する構成を示す図である。図３０中の「屈折板の傾斜による光軸シフト原理図」に示すように傾斜角度により屈折板３００１による光軸シフト量が変化するため、撮像素子１５に入射する位置が変わり、光軸シフトが可能となる。ただし、屈折板３００１を傾斜することにより発生することによる光軸シフトの方向は１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような屈折板を別に配置することにより、２軸方向の光軸シフトが可能となり、撮像素子面内の任意の方向に光軸シフトをすることが可能となる。
【００９９】
次に、図３１を参照して、第３の実施形態を説明する。第３の実施形態における撮像装置は、複数の可変頂角プリズムと複数固体レンズと複数の撮像素子を用いたものである。図３１に示すように、可変頂角プリズム３１０１の頂角を圧電素子３１０２を用いたアクチュエータなどの手段により変化させることにより、入射光が偏向するため、固体レンズ３０２によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。ただしこの場合も光軸シフトの方向は図３１に示す通り１軸方向（図中ではＹ方向）のみであるため、Ｘ方向に光軸シフトするような可変頂角プリズムを、別に配置することにより、任意の方向に光軸シフトすることが可能となる。
【０１００】
次に、図３２を参照して、第４の実施形態を説明する。第４の実施形態における撮像装置は、複数の固体レンズと複数の撮像撮像素子を用い、固体レンズの全体或いは１部分を、複数の圧電素子を用いたアクチュエータなどによる移動手段により光軸と略垂直方向に移動させるものである。図３２においては、撮像レンズ３２０９は、３つの固体レンズ３２０１、３２０２、３２０３で構成されており、その１部分である固体レンズ３２０２を、Ｘ方向に移動可能な圧電素子を用いたアクチュエータ３２０４による移動手段と、Ｙ方向に移動可能な圧電素子３２０５を用いたアクチュエータによる移動手段によって移動させる。図３２中の「固体レンズの移動による光軸シフトの原理図」に示すように、撮像レンズ３２０９の１部である固体レンズ３２０２が移動することにより、入射光が偏向し、撮像レンズ３２０９によって結像する撮像素子１５上の位置が変わり、光軸をシフトすることが可能となる。これをＸ、Ｙ方向に行うことにより、光軸を撮像素子面上でＸＹ方向に独立してシフトすることが可能となる。
【０１０１】
次に、図３３を参照して、第５の実施形態を説明する。第５の実施形態における撮像装置は、複数の固体レンズと複数の撮像素子を用い、複数の撮像素子を、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させるものである。この場合、光軸シフト量の制御は撮像レンズではなく、撮像素子１５に対して行われることになる。図１に示す６系統の単位撮像部２〜７の撮像素子のそれぞれを、圧電素子を用いたアクチュエータなどによる移動手段により直接移動させる構成を図３３に示す。図３３に示すように、撮像素子１５を、Ｘ方向に移動する圧電素子３３０２を用いたアクチュエータによる移動手段と、Ｙ方向に移動する圧電素子３３０３を用いたアクチュエータによる移動手段により移動させることにより、撮像素子１５上の結像位置が移動するため、ＸＹ方向に独立して光軸シフトを行うことが可能となる。
【０１０２】
なお、図３０〜図３３において、移動手段として圧電素子をアクチュエータとして用いているが、これに限定するものではなく、電磁力を用いたソレノイドアクチュエータ、モータとギア機構を用いたアクチュエータ、圧力を用いたアクチュエータなどの手段を用いることもできる。また制御手段も電圧制御に限定するものではない。光軸シフト方向についても、１軸方向、２軸方向について述べたが、これに限定するものではない。
【０１０３】
このように、液晶レンズ等の非固体レンズに替えて、他の手法による光軸シフト制御を行うようにしたため、光軸制御を実現する構成の自由度を増すことが可能となる。特に、携帯電話端末のように、軽薄短小が要求される筐体においては、レンズ径を大きくすることができなかったり、焦点距離を十分に確保できないような場合に、携帯電話端末を構成する部品のレイアウトに応じて適切な手法を用いることが可能となる。
【０１０４】
次に、図３４を参照して、第６の実施形態を説明する。前述した第１の実施形態において、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離が存在するが、前述したように光軸シフトを行うことで高解像度化できることを示した。ここで、撮影距離と撮像素子の画素ピッチの対応関係で高解像度化できない撮影距離において、光軸シフトと同様に焦点シフトを行うことにより高解像度化できることを説明する。
【０１０５】
図３４は、被写体が、撮像距離Ｈ０で点Ｐ０にある状態から、距離Ｈ１にある点Ｐ１にある状態に変化した場合を説明する模式図である。図３４（ａ）に示すように、焦点距離がｆの場合、点Ｐ０は、撮像素子Ｍの画素Ｍｎの中心部分に結像し、撮像素子Ｎにおいては画素Ｎｎの端の部分に結像するため、半画素分（図３４に示すｕ’０）ずれて結像することになる。一方、点Ｐ１の場合は、焦点距離がｆであると、結像位置が１画素分（図３４に示すｕ’１）ずれるため、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致し、図３４（ｂ）の上の図に示す状態になる。従って、互いの画素の位相が略一致し、高解像度できなくなる。
【０１０６】
そこで、図３４（ａ）に示すように、ピンホールＯ’の焦点を撮像素子Ｎの方向にシフトする（焦点距離ｆを短くする）ことにより、図３４（ｂ）の上の図に示す状態から下の図に示す状態に変化させることができるため、撮像素子Ｍと撮像素子Ｎの画素が半画素分ずれて、最適な位相関係にすることができる。ただし、最適な位相関係になるまで、ピンホールＯ’の焦点距離ｆを短くすると撮像素子Ｎ上の像がボケてしまう場合が生じる。ピンホールＯ’の焦点距離ｆを短くする目的は、撮像素子Ｍと撮像素子Ｎの画素の位相が略一致している状態を回避することであるため、撮像素子Ｎ上の像がボケない範囲で動かせば良い。
【０１０７】
ピンホールＯ’を光軸方向に移動しても（焦点距離を短くしたり、長くしたりしても）被写体の像にボケが生じない範囲を図３５を参照して説明する。ピンホールＯ’移動量（撮像素子に近づく方向）、前方被写界深度及び倍率の関係は、以下の通りである。
ピンホールＯ’移動量（焦点距離を短くする）＜前方被写界深度／倍率・・・（２４）
ピンホールＯ’移動量（焦点距離を長くする）＜後方被写界深度／倍率・・・（２５）
ここで、
前方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２＋許容錯乱円径×絞り値×撮像距離）
後方被写界深度＝許容錯乱円径×絞り値×撮像距離２／（焦点距離２−許容錯乱円径×絞り値×撮像距離）
倍率＝撮像距離／像点距離≒撮像距離／焦点距離
被写界深度＝前方被写界深度＋後方被写界深度
である。
【０１０８】
例えば、焦点距離５ｍｍ、撮像距離６００ｍｍ、許容錯乱円径０．００６ｍｍ、絞り値２ｍｍとすれば、
前方被写界深度＝１３２．２（ｍｍ）
後方被写界深度＝２４２．７（ｍｍ）
倍率＝１２０
となる。従って、（２４）、（２５）式は、
ピンホールＯ’移動量（焦点距離を短くする）＜１．１（ｍｍ）
ピンホールＯ’移動量（焦点距離を長くする）＜２．０（ｍｍ）
となる。
この移動量の範囲内でピンホールＯ’の焦点距離を制御することにより、光軸シフトのときと同様に高解像度化が可能となる。
【０１０９】
焦点距離の変更（焦点シフト）は、図３に示す液晶レンズ３０１によって実現可能であり、第１の電極３０３、第２の電極３０４への電圧の掛け方によって液晶層３０６の屈折率分布を自由に変化させればよい。この場合、図３に示す電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄは同一電圧を掛ける。これにより、液晶レンズ３０１が凸レンズとして働き、図２に示す光学レンズ３０２の焦点距離を変化させることが可能となる。
【０１１０】
なお、図１に示す撮像装置１において、各撮像素子１４〜１９及び映像処理部２６〜３１より得られた複数の映像を映像合成処理部３８により画像処理を行い、全体の画像を再構成することでフォーカス情報を検出し、各制御部３２〜３７を介して各液晶レンズアレイの各液晶レンズを駆動して、オートフォーカス機能を動作させるようにしてもよい。オートフォーカス機能と連動させて、液晶レンズ３０１を制御することにより、動く被写体の高解像度画像を撮像することが可能となる。
【０１１１】
次に、図３６を参照して、第７の実施形態を説明する。前述した実施形態においては、全ての撮像素子は同一仕様のものを使用する構成であり、図１に示す撮像素子１４〜１９の画素ピッチは等しかった。そのため、図３４（ｂ）の上の図に示す状態になり、互いの画素の位相が略一致してしまう頻度が高くなり、高解像度化ができなくなる場合がある。第７の実施形態においては、図１に示す６つの撮像素子１４〜１９それぞれについて、画素ピッチが異なる撮像素子を使用する。
【０１１２】
図３６において、実線の交点が撮像素子Ｍの画素、点線の交点が撮像素子Ｎの画素を表している。高精細化するために必要な画素Ｐｕｖの値は、画素Ｐｕｖの周囲に位置する（画素Ｍｉ，ｊ、Ｎｉ，ｊ）、（画素Ｍｉ，ｊ＋１、Ｎｉ，ｊ＋１）、（画素Ｍｉ＋１，ｊ、Ｎｉ＋１，ｊ）、（画素Ｍｉ＋１，ｊ＋１、Ｎｉ＋１，ｊ＋１）のそれぞれと画素Ｐｕｖとの距離による重み係数によってフィルタ演算を行うことによって求めることができる。例えばフィルタとして、キュービック（３次近似）を使用するとすれば、距離ｄにある画素から取得する重みｗは次式となる。
ｗ＝１−２×ｄ２＋ｄ３ （０≦ｄ＜１）
＝４−８×ｄ＋５×ｄ２−ｄ３ （１≦ｄ＜２）
＝０ （２≦ｄ）
【０１１３】
次に、第７の実施形態の変形例を説明する。前述した第７の実施形態では、６つの撮像素子のそれぞれについて画素ピッチが異なる撮像素子を用いるようにしたが、同じ画素ピッチの６つの撮像素子を用いて、光学的に結像倍率を変えることによって、撮像素子の画素ピッチを変えるようにしてもよい。すなわち、撮像素子Ｎと撮像素子Ｎの画素ピッチが同じ場合に、撮像素子Ｍの撮像レンズの倍率を変える（拡大または縮小）ことにより、撮像素子Ｍ上に形成された像が大きく、または小さくなり、互いの画素の位相が略一致してしまうことを回避することが可能となる。
【０１１４】
次に、図３７を参照して、第７の実施形態の他の変形例を説明する。図３７に示す撮像素子は、一方の撮像素子（撮像素子Ｎ）を他方の撮像素子（撮像素子Ｍ）に対して、所定の位置を支点（例えば、撮像素子の左上の隅）として光軸と平行の軸周りに回転させて固定し配置している。この場合も図３６に示す場合と同様に、ｕ軸、ｖ軸方向の画素位置が異なるため、互いの画素ピッチの位相が一致することを回避することができる。例えば、一方の撮像素子（撮像素子Ｎ）をθだけ、撮像素子受光面内で回転する場合、撮像素子Ｎのう’軸方向の画素ピッチをｐとすると、撮像素子Ｍのｕ軸方向（撮像素子Ｎのｕ’軸方向）の画素ピッチｐ’は次式となる。
ｐ’＝ｐ／ｃｏｓθ
【０１１５】
なお、撮像素子Ｎの受光面に垂直な軸（光軸）とｕ’軸でなす平面内で回転させて配置するようにしてもよい。
【０１１６】
このように、図１に示す６つの撮像素子１４〜１９それぞれの画素ピッチが異なるようにすることで、互いの画素の位相が略一致してしまうことを回避することができ、高解像度化ができなくなることを防止することができる。
【０１１７】
また、図３６、３７に示すように、撮像素子１４〜１９のそれぞれの画素ピッチが異なるように撮像装置を配置するとともに、前述した光軸の方向を制御する動作を組み合わせて高解像度化を図るようにしてもよい。このようにすることにより、高解像度の画像を容易に得ることが可能となる。
【０１１８】
以上説明したように、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかったが、本発明の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークが無くすことができ、高画質を得ることができる撮像装置を実現することができる。また、従来の撮像装置では、画像処理によって、撮像素子上の結像したイメージを取り込むため、撮像素子の解像度を必要とする撮像解像度より大きくする必要があるが、本発明の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができるため、撮像素子のサイズを小さくすることができる、軽薄短小が要求される携帯端末等にも搭載することが可能となる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施の形態による撮像装置の構成を示すブロック図である。
【図２】図１に示した第１の実施の形態による撮像装置の単位撮像部の詳細な構成図である。
【図３】液晶レンズの構成図である。
【図４】第１の実施の形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。
【図５】第１の実施の形態による撮像装置の液晶レンズを説明する模式図である。
【図６】図１に示した第１の実施の形態による撮像装置の撮像素子を説明する模式図である。
【図７】撮像素子の詳細な模式図である。
【図８】図１に示す撮像装置１の全体構成を示すブロック図である。
【図９】第１の実施の形態による撮像装置の映像処理部の詳細なブロック図である。
【図１０】第１の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。
【図１１】第１の実施の形態による撮像装置の映像処理の制御部の詳細なブロック図である。
【図１２】制御部の動作の一例を説明するフローチャートである。
【図１３】図１２に示すサブ画素映像合成高精細化処理の動作を示す説明図である。
【図１４】高精細判定の一例を説明するフローチャートである。
【図１５】制御電圧変更処理の一例を説明するフローチャートである。
【図１６】カメラキャリブレーションの一例を説明するフローチャートである。
【図１７】単位撮像部のカメラキャリブレーションを説明する模式図である。
【図１８】複数の単位撮像部のカメラキャリブレーションを説明する模式図である。
【図１９】複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。
【図２０】撮像装置１の撮像の様子を示す模式図である。
【図２１】高精細なサブ画素について説明する模式図である。
【図２２】高精細なサブ画素について説明する別の模式図である。
【図２３】撮像対象（被写体）と結像の関係を示す説明図である。
【図２４】撮像装置１の動作を説明する模式図である。
【図２５】取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。
【図２６】光軸シフト制御の動作を示す模式図である。
【図２７】撮像距離と光軸シフトの関係を示す説明図である。
【図２８】撮像距離と光軸シフトの関係を示す説明図である。
【図２９】奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。
【図３０】第２の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３１】第３の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３２】第４の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３３】第５の実施の形態による光軸シフト制御を行う構成を示す構成図である。
【図３４】第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。
【図３５】第６の実施の形態による焦点シフト制御を行う構成を示す構成図である。
【図３６】第７の実施の形態による撮像素子の構成を示す構成図である。
【図３７】第７の実施の形態の変形例による撮像素子の構成を示す構成図である。
【図３８】従来の撮像装置の構成を示すブロック図である。
【図３９】他の従来の撮像装置の構成を示すブロック図である。
【符号の説明】
【０１２０】
１ 撮像装置
２〜７ 単位撮像部
８〜１３ 撮像レンズ
１４〜１９ 撮像素子
２０〜２５ 光軸
２６〜３１ 映像処理部
３２〜３７ 制御部
３８ 映像合成処理部
【特許請求の範囲】
【請求項１】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
を備えることを特徴とする撮像装置。
【請求項２】
前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
を備えることを特徴とする撮像装置。
【請求項１２】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
を備える撮像装置における光軸制御方法であって、
前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする光軸制御方法。
【請求項１３】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
を備える撮像装置における光軸制御方法であって、
前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする光軸制御方法。
【請求項１】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
を備えることを特徴とする撮像装置。
【請求項２】
前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記光軸制御部は、既知の撮像対象との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記複数の撮像素子のそれぞれは、画素のピッチが異なることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記複数の固体レンズのそれぞれは、焦点距離が異なることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記複数の撮像装置は、光軸周りにそれぞれ異なる角度で回転させて配置したことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
を備えることを特徴とする撮像装置。
【請求項１２】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と
を備える撮像装置における光軸制御方法であって、
前記光軸制御部が、既知の撮像対象と前記光軸制御部との相対位置関係に基づいて前記光軸の方向を制御することを特徴とする光軸制御方法。
【請求項１３】
複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記固体レンズの焦点距離を変更する焦点制御部と
を備える撮像装置における光軸制御方法であって、
前記焦点制御部が、既知の撮像対象と前記撮像素子との相対位置関係に基づいて前記固体レンズの焦点距離を制御することを特徴とする光軸制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２００９−１８８９７３（Ｐ２００９−１８８９７３Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−１８０６８９（Ｐ２００８−１８０６８９）
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]