撮像装置及び撮像方法
【課題】コストの高い画素密度が高い撮像素子を可及的に用いず、解像度の高い画像を得る撮像装置及び撮像方法を提供する。
【解決手段】第１〜第３の撮像素子２１ａ〜２１ｃを備えた撮像装置１０を用いて被写体５を撮像する。駆動部３によって、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させ、記憶部７によって、第１の撮像素子２１ａが駆動部３によって撮像位置に移動するごとに第１〜第３の撮像素子２１ａ〜２１ｃの撮像によって得られる撮像情報を取得し、制御部４によって、記憶部７によって撮像位置ごとに取得した撮像情報の違いに基づき、被写体５の画素情報を１画素より小さい単位で算出し、記憶部７によって、制御部４によって算出された画素情報を被写体５の位置と対応付けて画像情報として記憶する。
【解決手段】第１〜第３の撮像素子２１ａ〜２１ｃを備えた撮像装置１０を用いて被写体５を撮像する。駆動部３によって、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させ、記憶部７によって、第１の撮像素子２１ａが駆動部３によって撮像位置に移動するごとに第１〜第３の撮像素子２１ａ〜２１ｃの撮像によって得られる撮像情報を取得し、制御部４によって、記憶部７によって撮像位置ごとに取得した撮像情報の違いに基づき、被写体５の画素情報を１画素より小さい単位で算出し、記憶部７によって、制御部４によって算出された画素情報を被写体５の位置と対応付けて画像情報として記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、製品や金型、治具等の形状を測定し、測定結果に基づき製造装置等の調整を行っている。このような作業において、高解像度の固体撮像素子を搭載した撮像装置が用いられる。固体撮像素子として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等が挙げられる。
また、特許文献１には、限られた画素数の撮像素子を用いて高い解像度を得るため、受光面を振動させる固体撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６０−１８９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置の解像度は、一般的に、撮像素子の有効画素数に応じて増加する。しかし、撮像素子の有効画素数を向上するためには、通常、撮像素子が有する受光素子の画素密度を増加する必要がありコストがかかる。一方で、受光素子の数を増やさずに解像度を向上させることを目的として、受光素子の画素密度が高い撮像範囲の狭い撮像素子を用い、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す方法がある。この場合、得られた画像を、相対的な位置関係を確認しながら、繋ぎ合わせる必要があるため、繋ぎ合わせる画像同士の相対的な位置関係を計算しなければならない。撮像素子の移動距離が増大すると、移動によって生じる位置ズレを考慮して、画素間の相関を計算する必要が生じ、ここでも誤差が発生し易くなるという課題があった。
【０００５】
特許文献１に開示された固体撮像装置は、例えば、インターライン転送方式において、感光部に蓄積された信号電荷を信号ブランキング期間に垂直ＣＣＤレジスタに転送し、次のフィールド有効期間中に読み出すものであるが、解像度を向上するための詳細については示されていない。
【０００６】
そこで本発明は、上述の課題を鑑みて、コストの高い画素密度が高い撮像素子を可及的に用いず、解像度の高い画像を得る撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、被写体（例えば、後述の被写体５）からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ））を、横方向及び縦方向に配列して複数有する第１撮像素子（例えば、後述の第１の撮像素子２１ａ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｂ（１，１）〜Ｐｂ（ｍ，１））を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子（例えば、後述の第２の撮像素子２１ｂ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｃ（１，１）〜Ｐｃ（１，ｎ））を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子（例えば、後述の第３の撮像素子２１ｃ）と、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置（例えば、後述の基本位置［１］〜移動位置［４］）に移動させる駆動部（例えば、後述の駆動部３）と、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報（例えば、後述の出力値）を取得する撮像情報取得部（例えば、後述の記憶部７）と、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報（例えば、後述の画素値）を１画素より小さい単位で算出する画素情報算出部（例えば、後述の制御部４）と、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する画像情報記憶部（例えば、後述の記憶部７）と、を備えたことを特徴とする撮像装置（例えば、後述の撮像装置１０）を提供することである。
【０００８】
本発明の第１の態様によると、第１撮像素子はコストの低い画素密度が低い撮像素子を用い、第２、第３撮像素子は一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、コストの高い画素密度が高い撮像素子を可及的に用いず、解像度の高い画像を得ることができる。
また、撮像素子を遮光する遮光板を用いないことから、回折光がなく、迷光の影響がなく、より高精度な画像を得ることができる。
【０００９】
被写体からの入射光を前記第１、第２及び第３撮像素子に分光する分光部（例えば、後述の分光器２４）をさらに備え、前記撮像情報取得部は、前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得すると好ましい。
【００１０】
これによると、分光部によって被写体からの入射光が分光されるので、分光された入射光を同時に第１、第２、及び第３撮像素子に入射することができる。これにより、第１、第２及び第３撮像素子の撮像タイミングの同期をとることができ、撮像情報取得部は、第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得することができる。よって、被写体からの入射光のちらつき等の輝度の差で、第１、第２及び第３撮像素子の撮像情報に誤差が生じることを回避することができる。したがって、撮像情報の誤差が無い分、より精度よく第１撮像素子のサブピクセルの単位で画像情報を取得することができる。
【００１１】
本発明の第２の態様は、被写体（例えば、後述の被写体５）からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ））を、横方向及び縦方向に配列して複数有する第１撮像素子（例えば、後述の第１の撮像素子２１ａ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｂ（１，１）〜Ｐｂ（ｍ，１））を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子（例えば、後述の第２の撮像素子２１ｂ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｃ（１，１）〜Ｐｃ（１，ｎ））を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子（例えば、後述の第３の撮像素子２１ｃ）と、を備えた撮像装置（例えば、後述の撮像装置１０）を用いて被写体を撮像する撮像方法であって、駆動部（例えば、後述の駆動部３）によって、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置（例えば、後述の基本位置［１］〜移動位置［４］）に移動させるステップと、撮像情報取得部（例えば、後述の記憶部７）によって、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報（例えば、後述の出力値）を取得するステップと、画素情報算出部（例えば、後述の制御部４）によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報（例えば、後述の画素値）を１画素より小さい単位で算出するステップと、画像情報記憶部（例えば、後述の記憶部７）によって、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶するステップと、を含むことを特徴とする撮像方法を提供することである。
【００１２】
本発明の第２の態様によっても、上記撮像装置の発明と同様な効果を得ることができる。
【発明の効果】
【００１３】
本発明によれば、コストの高い画素密度が高い撮像素子をなるべく用いずに高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態に係る撮像装置の概略図である。
【図２】図１の撮像装置を構成する撮像素子の構成を示すブロック図である。
【図３】図１の撮像装置を構成する撮像部の概略図である。
【図４】図１の撮像装置を構成する撮像素子を示す図である。
【図５】撮像素子の被写体に対する複数の撮像位置を示す図である。
【図６】基本位置［１］における撮像素子の位置と被写体との関係を示す図である。
【図７】移動位置［２］における撮像素子の位置と被写体との関係を示す図である。
【図８】移動位置［３］における撮像素子の位置と被写体との関係を示す図である。
【図９】移動位置［４］における撮像素子の位置と被写体との関係を示す図である。
【図１０】被写体の画像情報を、第１の撮像素子の１画素の４分の１相当のサブピクセルの画素値として得た状態を示す図である。
【図１１】図１の撮像装置が実行する画像情報を取得する処理のフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１〜図１１を参照して、本発明の第１の実施の形態に係る撮像装置の概略について説明する。
【００１６】
図１は、本発明の第１の実施の形態に係る撮像装置の概略図であり、図２は、本実施の形態に係る撮像装置の撮像素子の構成を示すブロック図である。
【００１７】
図１に示す撮像装置１０は、被写体５を撮影して電気信号に変換する第１の撮像素子２１ａ、第２の撮像素子２１ｂ、第３の撮像素子２１ｃ及び被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃに分光する分光器２４を含む撮像部２と、第１の撮像素子２１ａを駆動する駆動部３と、第１〜第３の撮像素子２１ａ〜２１ｃ、撮像部２及び駆動部３を制御する制御部４と、撮像部２によって撮像された被写体５の画像データを記憶する記憶部７と、画像データに基づいて被写体５の画像を表示する表示部８と、を含む。
【００１８】
撮像部２は、第１〜第３の撮像素子２１ａ〜２１ｃ及び分光器２４の他、被写体５からの光を後述する撮像位置に配置された第１〜第３の撮像素子２１ａ〜２１ｃに結像させる不図示の撮像レンズを含む。撮像位置に配置された第１〜第３の撮像素子２１ａ〜２１ｃは、撮像レンズによって結像される被写体５からの入射光を電気信号に変換する。第１〜第３の撮像素子２１ａ〜２１ｃは、撮像レンズによって自身に投影されて結像される被写体５を光電変換する受光素子を複数備えたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等によって構成される。分光器２４は、ダイロックプリズム等が用いられ、被写体５からの入射光を均等に３分割して第１〜第３の撮像素子２１ａ〜２１ｃへ分光する。撮像部２は撮像手段の機能を有する。
【００１９】
駆動部３は、第１の撮像素子２１ａを、被写体５を撮像するために適切な撮像位置に駆動する。駆動部３の詳細については後述する。一方、第２、第３の撮像素子２１ｂ、２１ｃは、駆動部３で駆動されず撮像位置に固定されている。
【００２０】
本実施の形態では、制御部４と記憶部７と表示部８とは、コンピュータ９の一部として構成される。制御部４は、図示を省略するが、撮像装置１０が各種機能を実行するためのプログラムが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに記憶されたプログラムを実行して撮像装置１０の各種機能を実現するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵが各種の処理を実行する上において必要なデータ等が適宜記憶されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等とによって構成される。
【００２１】
制御部４は、駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａを撮像位置に配置する。さらに、制御部４は、第１〜第３の撮像素子２１ａ〜２１ｃから出力される電気信号を処理して、画像データ（画像情報）を生成し、生成した画像データを記憶部７に記憶する。さらに制御部４は、生成した画像データに基づいて表示部８に撮像部２が撮像した画像を表示する。また、制御部４は、第１〜第３の撮像素子２１ａ〜２１ｃから出力される電気信号を処理する際に、後述する演算処理を実行する。
【００２２】
表示部８は、液晶ディスプレイ等によって構成される。記憶部７は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びハードディスク等によって構成される。
【００２３】
［撮像素子の構成］
次に、図２を参照して、第１〜第３の撮像素子２１ａ〜２１ｃの基本構成について説明する。図２（ａ）に示すように、第１の撮像素子２１ａは、横方向及び縦方向の二次元に配列された複数の受光素子から構成されている。図２（ｂ）に示すように、第２の撮像素子２１ｂは、第１の撮像素子２１ａの配列された横方向の一端に一列に配列された複数の受光素子から構成されている。図２（ｃ）に示すように、第３の撮像素子２１ｃは、第１の撮像素子２１ａの配列された縦方向の一端に一列に配列された複数の受光素子から構成されている。受光素子の各々は所定の面積を有する受光面を含む。受光素子の各々は、この受光面に入射光を受光すると光電変換を実行して、受光面あたりの受光量に応じて信号電荷を生成する。図２（ａ）に示す第１の撮像素子２１ａの受光素子は、１画素分に相当する信号電荷を生成する。なお、以下では、１画素を、第１の撮像素子２１ａの１画素として説明する。図２（ｂ）、（ｃ）に示す第２、第３の撮像素子２１ｂ、２１ｃの受光素子は、１画素より小さい単位の領域、ここでは第１の撮像素子２１ａの１画素の４分の１の単位に相当する信号電荷を生成する。この受光素子の各々が有する受光面を、以後、「画素情報取得領域」と呼ぶ。このため、図２（ａ）に示す第１の撮像素子２１ａの受光素子を二次元に配列して形成される第１の撮像素子２１ａが有する受光面全体は、受光素子ごとに、各々が１画素に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。図２（ｂ）、（ｃ）に示す第２、第３の撮像素子２１ｂ、２１ｃの受光素子を一列に配列して形成される第２、第３の撮像素子２１ｂ、２１ｃが有する受光面全体は、受光素子ごとに、各々が第１の撮像素子２１ａの１画素の４分の１の単位に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。ここで、本明細書では、第２、第３の撮像素子２１ｂ、２１ｃの一つの画素については、１画素とは呼ばず、第１の撮像素子２１ａの１画素の４分の１の単位の画素という。
【００２４】
図２（ａ）に示すように、第１の撮像素子２１ａの受光面を形成する画素情報取得領域の数によって第１の撮像素子２１ａの総数は決定される。ここで、第１の撮像素子２１ａの画素情報取得領域は、１画素に相当する。よって、例えば、ｉ，ｊを任意の自然数とすると、横方向に配設された画素情報取得領域の数、すなわち、横画素数をｉ、縦方向に配設された画素情報取得領域の数、すなわち、縦画素数をｊとすると、この第１の撮像素子２１ａの総数（＝総画素数）はｉ×ｊとなる。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第１の撮像素子２１ａは、受光素子Ｕ（１，１）、Ｕ（２，１）、Ｕ（３，１）、・・・・、Ｕ（１，２）、Ｕ（１，３）、・・・・、Ｕ（ｉ，ｊ）を有する。受光素子Ｕ（１，１）、Ｕ（２，１）、Ｕ（３，１）、・・・・、Ｕ（１，２）、Ｕ（１，３）、・・・・、Ｕ（ｉ，ｊ）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐａ（１，１）、Ｐａ（２，１）、Ｐａ（３，１）、・・・・、Ｐａ（１，２）、Ｐａ（１，３）、・・・・、Ｐａ（ｉ，ｊ）として表す。
【００２５】
図２（ｂ）に示すように、第２の撮像素子２１ｂの受光面を形成する画素情報取得領域の数によって第２の撮像素子２１ｂの総数は決定される。ここで、第２の撮像素子２１ｂの画素情報取得領域は、第１の撮像素子２１ａの画素情報取得領域の１画素の４分の１に相当する。よって、例えば、ｍを任意の自然数とすると、この第２の撮像素子２１ｂの総数は、横方向に一列に配設された画素情報取得領域の数、すなわち、ｍとなる。ここで、第２の撮像素子２１ｂの横幅は、１画素の２分の１であるので、総数ｍは、第１の撮像素子２１ａの横数（＝横画素数）のｉの２倍となる。すなわち、ｍ＝２ｉである。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第２の撮像素子２１ｂは、受光素子Ｖ（１，１）、Ｖ（２，１）、Ｖ（３，１）、・・・・、Ｖ（ｍ＝２ｉ，１）を有する。受光素子Ｖ（１，１）、Ｖ（２，１）、Ｖ（３，１）、・・・・、Ｖ（ｍ，１）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐｂ（１，１）、Ｐｂ（２，１）、Ｐｂ（３，１）、・・・・、Ｐｂ（ｍ，１）として表す。
【００２６】
図２（ｃ）に示すように、第３の撮像素子２１ｃの受光面を形成する画素情報取得領域の数によって第３の撮像素子２１ｃの総数は決定される。ここで、第３の撮像素子２１ｃの画素情報取得領域は、第１の撮像素子２１ａの画素情報取得領域の１画素の４分の１に相当する。よって、例えば、ｎを任意の自然数とすると、この第３の撮像素子２１ｃの総数は、縦方向に一列に配設された画素情報取得領域の数、すなわち、ｎとなる。ここで、第３の撮像素子２１ｃの縦幅は、１画素の２分の１であるので、総数ｎは、第１の撮像素子２１ａの縦数（＝縦画素数）のｊの２倍となる。すなわち、ｎ＝２ｊである。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第３の撮像素子２１ｃは、受光素子Ｗ（１，１）、Ｗ（１，２）、Ｗ（１，３）、・・・・、Ｗ（１，ｎ＝２ｊ）を有する。受光素子Ｗ（１，１）、Ｗ（１，２）、Ｗ（１，３）、・・・・、Ｗ（１，ｎ）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐｃ（１，１）、Ｐｃ（１，２）、Ｐｃ（１，３）、・・・・、Ｐｃ（１，ｎ）として表す。
【００２７】
図４（Ａ）に、本実施の形態の第１の撮像素子２１ａを示す。図４（Ａ）に示すように、本実施の形態では、第１の撮像素子２１ａには遮光板が形成されていないため、第１の撮像素子２１ａに遮光エリアが形成されない。これは、遮光板は、従来では後述する１画素よりも小さい単位で画素情報を取得するために必要であったが、本実施の形態では必要が無いためである。このため、第１の撮像素子２１ａの受光エリアに入射する光Ｌ１と保護膜２８に入射する光Ｌ２には通常の吸収と反射が行われる。よって、遮光板を設けることによる第１の撮像素子２１ａの受光エリアと遮光板との境界が形成されず、このような場所に入射する光による回折光が生じない。また、第１の撮像素子２１ａの遮光エリアが無いので、第１の撮像素子２１ａは迷光の影響がない。このため、第１の撮像素子２１ａはノイズの影響を受けない。
【００２８】
参考までに、図４（Ｂ）に、従来の撮像素子２１と遮光板６との関係を示す。遮光板６は撮像素子２１を覆う保護膜２８の上方に配置される。このため、撮像素子２１と遮光板６との間には一定の距離がある。したがって、遮光板６の境界部に入射する光Ｌ３により生じる回折光ＬＳ１、ＬＳ２は大きくなり、遮光板６が遮光する遮光エリアに入射してノイズの原因になる。また、遮光板６の境界部から撮像素子２１の遮光エリアに直接入射する迷光Ｌ４が生じ、ノイズの原因になる。
【００２９】
このように、本実施の形態では、図４（Ａ）に示すように第１の撮像素子２１ａには、遮光板を設ける必要が無くなるので、遮光板を設けることによる回折光が無くなると共に、迷光の影響が生じない。
【００３０】
［撮像部の構成］
図３に戻って、本実施の形態に係る撮像装置１０では、撮像部２は第１〜第３の撮像素子２１ａ〜２１ｃを備えている。駆動部３は制御部４の制御に基づいて第１の撮像素子２１ａを複数の撮像位置に移動させるよう駆動する。第１の撮像素子２１ａは、入射光を適切に受光し、被写体５を撮像可能な撮像ポイントに配置されている。また、第２、第３の撮像素子２１ｂ、２１ｃは、入射光を適切に受光し、被写体５を撮像可能な撮像ポイントに固定配置されている。駆動部３は、撮像ポイントに位置する第１の撮像素子２１ａを、第１の撮像素子２１ａの入射光に対する垂直な面の方向Ｘ、Ｙが１画素の２分の１の単位であるサブピクセルの単位でシフトさせる（図３（Ｂ）参照）。駆動部３の駆動機構は、圧電素子アクチュエータ、距離センサ等により構成することができる。
【００３１】
図５に、駆動部３によって第１の撮像素子２１ａを駆動することにより、第１〜第３の撮像素子２１ａ〜２１ｃの画素情報取得領域が取り得る被写体５に対する複数の撮像位置を示す。
【００３２】
撮像ポイントに配置された第１の撮像素子２１ａは、駆動部３が第１の撮像素子２１ａを移動させることにより、第１の撮像素子２１ａが受光する被写体５からの入射光に対する垂直な面が当該垂直の方向Ｘ、Ｙに１画素の２分の１の単位であるサブピクセルの単位で移動をして、所定の撮像位置に設定される。駆動部３が第１の撮像素子２１ａを移動させることによって、第１の撮像素子２１ａが受光する被写体５からの入射光に対する垂直な面と被写体５との位置をずらす様々なパターンを形成することができる。第１の撮像素子２１ａが入射光に対して垂直な面の方向Ｘ、Ｙにサブピクセルの単位で移動をして図５に示すパターンＩ〜ＩＶのそれぞれに相当する撮像情報を取得する場合について説明する。
図５に、パターンＩ〜ＩＶ毎の第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との位置関係を示す図５（Ａ）〜図５（Ｄ）と、パターンＩ〜ＩＶに相当する撮像情報を取得するために必要な、第１〜第３の撮像素子２１ａ〜２１ｃのパターンＩを基準とする移動方向と移動量（位相ズレ量）の表を示す図５（Ｅ）とを示す。
【００３３】
図５（Ａ）及び図５（Ｅ）に示すように、基本位置［１］では、第１〜第３の撮像素子２１ａ〜２１ｃはパターンＩにおける撮像情報を取得することができる。この位置を基本位置［１］とする。パターンＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を１画素面積撮像するパターンである。つまり、パターンＩは、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部において、第１の撮像素子２１ａの端部と、その端部の角に位置する被写体５の端部が一致する状態である。
【００３４】
さらに、図５（Ｂ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して基本位置［１］よりＸ軸に沿って紙面右方向に２分の１画素（サブピクセル）に相当する距離だけ移動することにより、パターンＩＩにおける撮像情報を取得することができる。この位置を移動位置［２］とする。パターンＩＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を右側の縦方向に長い２分の１画素面積撮像するパターンである。つまり、パターンＩＩは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素右にずれて、第１の撮像素子２１ａの端部が位置する状態である。
【００３５】
また、図５（Ｃ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して基本位置［１］よりＹ軸に沿って紙面下方向に２分の１画素に相当する距離だけ移動することにより、パターンＩＩＩにおける撮像情報を取得することができる。この位置を移動位置［３］とする。パターンＩＩＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を下側の横方向に長い２分の１画素面積撮像するパターンである。つまり、パターンＩＩＩは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素下にずれて、第１の撮像素子２１ａの端部が位置する状態である。
【００３６】
さらに、図５（Ｄ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して、基本位置よりＸ軸に沿って紙面右方向に２分の１画素、Ｙ軸に沿って紙面下方向に２分の１画素に相当する距離だけ移動することにより、パターンＩＶにおける撮像情報を取得することができる。この位置を移動位置［４］とする。パターンＩＶは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を右下の４分の１画素の最小面積撮像するパターンである。つまり、パターンＩＶは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素右にずれ且つ２分の１画素下にずれて第１の撮像素子２１ａの端部が位置する状態である。
【００３７】
このように、第１の撮像素子２１ａを入射光に対して垂直の方向に２分の１画素の単位でシフトさせるように第１の撮像素子２１ａを移動させることによって、第１の撮像素子２１ａは２分の１画素の単位でずれた撮像情報を得ることができる。また、このとき、第２、第３の撮像素子２１ｂ、２１ｃでは、４分の１画素の単位の撮像情報を得ることができる。
【００３８】
なお、第２及び第３の撮像素子２１ｂ、２１ｃとして、他のサブピクセルの受光素子を有する撮像素子を用いることにより、１画素を４分割した画素情報を得るのみならず、１画素を任意の自然数の整数倍に分割した画素情報を得ることができる。例えば、Ｘ、Ｙを任意の自然数とすると、１画素をＸ×Ｙ分割することが可能である。
【００３９】
［撮像処理］
このようにして構成された第１〜第３の撮像素子２１ａ〜２１ｃを用いて、被写体を効率的に撮像する処理について、以下、図６〜図９を参照して説明する。
【００４０】
本実施の形態の撮像処理について説明する。本実施の形態では、第１の撮像素子２１ａを移動させて、第１の撮像素子２１ａを、第１の撮像素子２１ａの１画素に満たない単位（１画素の４分の１）ずつを段階的にずらした複数の撮像位置に移動して被写体５を撮影する処理を、それぞれパターンＩ〜ＩＶ、すなわち第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、第１の撮像素子２１ａの端部が、１画素面積〜４分の１画素面積である最小面積にわたって撮像するまで段階的に繰り返して被写体５を撮像する。つまり、本実施の形態では、デフォルトを入れて被写体５を４回撮像する。
【００４１】
＜第１〜第３の撮像素子２１ａ〜２１ｃの撮像情報に着目した処理＞
図６〜図９に、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置のパターンＩ〜ＩＶを用いて被写体５を撮像する際に遵守すべき、第１〜第３の撮像素子２１ａ〜２１ｃの端部と被写体５の端部との間の位置関係及び画素値を示す。本実施の形態では、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置であるパターンＩ〜ＩＶによって、４つの異なる撮像情報が得られる。
【００４２】
以下の処理では、最端部の１画素の４分の１に規定したサブピクセルの小領域に着目して考える。図６〜図９に示すように、撮像される被写体５は、１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）で区画される。ここで、画素値Ａ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の左上の４分の１画素領域に対応する。画素値Ｂ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の右上の４分の１画素領域に対応する。画素値Ｃ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の左下の４分の１画素領域に対応する。画素値Ｄ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の右下の４分の１画素領域に対応する。
駆動部３は、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置がパターンＩ〜ＩＶとなるように、第１の撮像素子２１ａを移動させる。
【００４３】
まず、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置がパターンＩの場合に撮像する。
図６は、基本位置［１］における第１〜第３の撮像素子２１ａ〜２１ｃの位置と被写体５との関係を示す図である。
図６に示す基本位置［１］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４４】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から右方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［２］とする。
【００４５】
図７は、このように第１の撮像素子２１ａを基本位置［１］から右方向に、被写体５に対して２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［２］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図７に示す移動位置［２］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ＋１，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ＋１，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４６】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から下方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［３］とする。
【００４７】
図８は、このように第１の撮像素子２１ａを基本位置［１］から下方向に、被写体５に対して２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［３］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図８に示す移動位置［３］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ，ｊ＋１）＋Ｂ（ｉ，ｊ＋１）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４８】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から右下方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［４］とする。
【００４９】
図９は、このように第１の撮像素子２１ａを基本位置［１］から右下方向に、被写体５に対してそれぞれ２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［４］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図９に示す移動位置［４］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ＋１，ｊ＋１）＋Ｂ（ｉ，ｊ＋１）＋Ｃ（ｉ＋１，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００５０】
以下、上記で説明した、基本位置［１］、移動位置［２］、移動位置［３］、移動位置［４］のように、パターンＩ〜ＩＶの第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置で撮像した撮像情報を用いて１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を導出する手法を説明する。
【００５１】
まず、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（１，１）＋Ｂ（１，１）＋Ｃ（１，１）＋Ｄ（１，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（１，１）で、出力値として画素値Ａ（１，１）及び画素情報取得領域Ｐｂ（２，１）で、出力値として画素値Ｂ（１，１）を得ている。また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，１）で、出力値として画素値Ａ（１，１）及び画素情報取得領域Ｐｃ（１，２）で、出力値として画素値Ｃ（１，１）を得ている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（１，１）＋Ｂ（１，１）＋Ｃ（１，１）＋Ｄ（１，１））から画素情報取得領域Ｐｂ（１，１）又はＰｃ（１，１）の画素値Ａ（１，１）と、画素情報取得領域Ｐｂ（２，１）の画素値Ｂ（１，１）と、画素情報取得領域Ｐｃ（１，２）の画素値Ｃ（１，１）とを引く。結果、画素値Ｄ（１，１）を得ることができる。
【００５２】
次に、図７に示す移動位置［２］のパターンＩＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（２，１）＋Ｂ（１，１）＋Ｃ（２，１）＋Ｄ（１，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（２，１）で、出力値として画素値Ｂ（１，１）及び画素情報取得領域Ｐｂ（３，１）で、出力値として画素値Ａ（２，１）を得ている。また、上記で画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（２，１）＋Ｂ（１，１）＋Ｃ（２，１）＋Ｄ（１，１））から画素情報取得領域Ｐｂ（２，１）の画素値Ｂ（１，１）と、画素情報取得領域Ｐｂ（３，１）の画素値Ａ（２，１）と、計算により得られている画素値Ｄ（１，１）とを引く。結果、画素値Ｃ（２，１）を得ることができる。
【００５３】
次に、図８に示す移動位置［３］のパターンＩＩＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，１）＋Ｄ（１，１））を得ている。これに対し、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，２）で、出力値として画素値Ｃ（１，１）及び画素情報取得領域Ｐｃ（１，３）で、出力値として画素値Ａ（１，２）を得ている。また、上記で画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，２）の出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，１）＋Ｄ（１，１））から画素情報取得領域Ｐｃ（１，２）の画素値Ｃ（１，１）と、画素情報取得領域Ｐｃ（１，３）の画素値Ａ（１，２）と、計算により得られている画素値Ｄ（１，１）とを引く。結果、画素値Ｂ（１，２）を得ることができる。
【００５４】
次に、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（２，１）で出力値（Ａ（２，１）＋Ｂ（２，１）＋Ｃ（２，１）＋Ｄ（２，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（３，１）で、出力値として画素値Ａ（２，１）及び画素情報取得領域Ｐｂ（４，１）で、出力値として画素値Ｂ（２，１）を得ている。また、上記で画素値Ｃ（２，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（２，１）の出力値（Ａ（２，１）＋Ｂ（２，１）＋Ｃ（２，１）＋Ｄ（２，１））から画素情報取得領域Ｐｂ（３，１）の画素値Ａ（２，１）と、画素情報取得領域Ｐｂ（４，１）の画素値Ｂ（２，１）と、計算により得られている画素値Ｃ（２，１）とを引く。結果、画素値Ｄ（２，１）を得ることができる。
【００５５】
また同様に、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，２）で出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，２）＋Ｄ（１，２））を得ている。これに対し、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，３）で、出力値として画素値Ａ（１，２）及び画素情報取得領域Ｐｃ（１，４）で、出力値として画素値Ｃ（１，２）を得ている。また、上記で画素値Ｂ（１，２）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，２）の出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，２）＋Ｄ（１，２））から画素情報取得領域Ｐｃ（１，３）の画素値Ａ（１，２）と、画素情報取得領域Ｐｃ（１，４）の画素値Ｃ（１，２）と、計算により得られている画素値Ｂ（１，２）とを引く。結果、画素値Ｄ（１，２）を得ることができる。
【００５６】
次に、図９に示す移動位置［４］のパターンＩＶの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（２，２）＋Ｂ（１，２）＋Ｃ（２，１）＋Ｄ（１，１）を得ている。これに対し、上記で画素値Ｂ（１，２）及び画素値Ｃ（２，１）及び画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（２，２）＋Ｂ（１，２）＋Ｃ（２，１）＋Ｄ（１，１））から計算により得られている画素値Ｂ（１，２）及び画素値Ｃ（２，１）及び画素値Ｄ（１，１）を引く。結果、画素値Ａ（２，２）を得ることができる。
【００５７】
以上のように、基本位置［１］〜移動位置［４］のパターンＩ〜ＩＶのいずれかの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）の出力値（Ａ＋Ｂ＋Ｃ＋Ｄ）から、これらに含まれる画素値Ａ、Ｂ、Ｃ、Ｄのうち既知の左上、右上及び左下側の３つの画素値を引く。結果、画素情報取得領域Ｐａ（ｉ，ｊ）の出力値（Ａ＋Ｂ＋Ｃ＋Ｄ）に含まれる画素値Ａ、Ｂ、Ｃ、Ｄのうち未知の右下側の１つの画素値を算出することができる。
以下、この法則で被写体５の、１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を順に算出する。そして、これらの画素値を記憶部７に記憶する。
つまり、画素値Ａ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ−１，ｊ−１））−（Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ−１，ｊ−１））である。
画素値Ｂ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ，ｊ−１））−（Ａ（ｉ，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ，ｊ−１））である。
画素値Ｃ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ−１，ｊ））−（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｄ（ｉ−１，ｊ））である。
画素値Ｄ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））−（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ））である。
【００５８】
このようにして、第１の撮像素子２１ａを所定の撮像位置、すなわちパターンＩ〜ＩＶに移動させることによって、第１の撮像素子２１ａを基本位置［１］から移動位置［２］〜移動位置［３］を経て移動位置［４］にシフトさせて撮像情報を得ることができる。そしてこの４つの撮像情報の違いに基づいて、上記のように被写体５の画像情報を、１画素の４分の１相当のサブピクセルの画素値として得ることができる。
図１０は、被写体５の画像情報を、１画素の４分の１相当のサブピクセルの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）として得た状態を示す図である。
【００５９】
図１１を参照して、本実施の形態の撮像装置１０が被写体５の画像情報を取得する処理のフローについて説明する。以下の処理は、制御部４の制御によって行われる。
【００６０】
まず、制御部４は駆動部３を制御して、第１の撮像素子２１ａの位置を設定する（ステップＳ１０１）。具体的には、制御部４は、駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａが被写体５を撮像可能な撮像ポイントＦに配置する。なお、第２、第３の撮像素子２１ｂ、２１ｃは被写体５を撮像可能な撮像ポイントに固定配置されている。
【００６１】
続けて、第１の撮像素子２１ａを所定量、所定の方向にシフトして撮像する（ステップＳ１０２）。
具体的には、制御部４は駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａを、入射光に対して垂直な面の方向Ｘ、Ｙにサブピクセルの単位で、被写体５を撮像するために適当な所定の撮像位置（基本位置［１］から移動位置［２］〜移動位置［３］を経て移動位置［４］）までシフトして撮像を行う。撮像は、第１〜第３の撮像素子２１ａ〜２１ｃで同期をとって同時に行う。
【００６２】
続けて、撮像を行ったことによる第１〜第３の撮像素子２１ａ〜２１ｃからの出力値（撮像情報）を入力する（ステップＳ１０３）。
具体的には、制御部４は撮像部２を制御して撮像を行い、第１〜第３の撮像素子２１ａ〜２１ｃのそれぞれの画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ）、Ｐｂ（１，１）〜Ｐｂ（ｍ，１）、Ｐｃ（１，１）〜Ｐｃ（１，ｎ）から出力される出力値（撮像情報）を入力して、記憶部７に記憶する。
【００６３】
続けて、画素値を算出する（ステップＳ１０４）。
具体的には、制御部４は第１〜第３の撮像素子２１ａ〜２１ｃのそれぞれの画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ）、Ｐｂ（１，１）〜Ｐｂ（ｍ，１）、Ｐｃ（１，１）〜Ｐｃ（１，ｎ）からの複数の撮像位置での出力値（撮像情報）から、それぞれの被写体５の画素情報であるサブピクセルの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を算出し、記憶部７に記憶する。
【００６４】
ステップＳ１０４において、制御部４が、被写体５の全ての画素情報であるサブピクセルの画素値が算出されると、算出した全画素値を記憶部７に、対応する被写体５の位置情報と対応付けて被写体５の画像情報として記憶する（ステップＳ１０５）。また、必要に応じて、算出した全画素値に基づいて画像を表示する。具体的には、制御部４は表示部８を制御して、記憶部７に記憶された被写体５の全ての画素情報に基づいて被写体５の画像を表示する。これをもって、画像情報取得処理は終了する。
【００６５】
本実施の形態の撮像装置１０は、第１の撮像素子２１ａで、被写体５からの入射光を４つのパターンＩ〜ＩＶに分けて撮像する。また、同時に第２、第３の撮像素子２１ｂ、２１ｃで、被写体５からの入射光を撮像する。これにより、第１の撮像素子２１ａの受光素子からの、異なるパターンＩ〜ＩＶでの出力値（撮像情報）を取得すると共に、第２、第３の撮像素子２１ｂ、２１ｃの受光素子からの、１画素の４分の１ごとの出力値（撮像情報）を取得するステップ（ステップＳ１０３）と、第１〜第３の撮像素子２１ａ〜２１ｃの受光素子からの複数の出力値（撮像情報）から、第１の撮像素子２１ａの各々の受光素子による受光領域よりも小さな面積（４分の１画素）における受光量に応じた画素値（画素情報）を算出するステップ（ステップＳ１０４）と、ステップＳ１０４によって算出された画素値（画素情報）を被写体５の位置と対応付けて画像情報として記憶するステップ（ステップＳ１０６）と、を含む撮像方法を実行する。
かかる撮像方法は、第１の撮像素子２１ａを変位させるごとの１画素に対応した出力値と、第２、第３の撮像素子２１ｂ、２１ｃの１画素よりも小さな面積に対応した出力値とに基づいて、一層微細な被写体５の画素値（Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）のいずれか）を得ることができるので、第１の撮像素子２１ａの受光素子の画素密度を上げる必要ない。つまり、画素密度が低くコストが低い撮像素子をできるだけ用いて、本実施例では４倍の高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。また、第１の撮像素子２１ａに遮光板を設ける必要も無く、遮光板を設けることによる弊害もない。つまり、遮光板を用いないことから、回折光がなく、迷光の影響がなく、より高精度な画像を得ることができる。
【００６６】
なお、本実施の形態では、第１の撮像素子２１ａを用いて、画素領域を１画素の２分の１に相当する距離ごとに段階的にシフトして被写体５を撮影する処理を、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像情報を取得するように繰り返して被写体５を撮影する場合について説明した。すなわち、被写体５を、１画素を４分割したサブピクセルの精度で撮影する場合を例に説明した。しかしながら、３つの撮像素子を用いて画素領域をシフトする距離は１画素の２分の１に相当する距離に限定されない。使用する撮像素子の数も限定されない。また、画素領域をシフトする方向も横方向と縦方向で異なってもよい。Ｘ、Ｙを任意の自然数とすると、被写体５を横方向及び縦方向にそれぞれ１画素のＸ分の１及び１画素のＹ分の１に相当する距離ごとにシフトして撮影する処理を、１画素をＸにＹを乗じて得られた整数個に分割したサブピクセルの精度で撮影する場合も同様の手順で実行することができる。
【００６７】
さらに、本実施の形態の撮像装置１０は、第１〜第３の撮像素子２１ａ〜２１ｃにより４つのパターンＩ〜ＩＶで撮像して得た複数の撮像情報の違いから、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積における受光量に応じた画素値を算出する算出手段である制御部４と、制御部４によって算出された画素値を被写体５の位置と対応付けて記憶する記憶部７と、をさらに備えることができる。よって、本実施の形態の撮像装置１０は、パターンＩ〜ＩＶを異ならせた複数の撮像情報の違いから、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積における受光量に応じた画素値を算出し、算出した画素値を被写体５の位置と対応付けて記憶することができる。したがって、撮像装置１０は、第１の撮像素子２１ａの受光素子の各々の受光面よりも小さな面積に対応した画素値に基づく、一層微細な被写体５の画像情報を取得することができる。
【００６８】
さらに、本実施の形態の撮像装置１０によると、第１の撮像素子２１ａの位置を、第１の撮像素子２１ａの受光素子の寸法よりも小さな距離ずつ変位させた、異なるパターンＩ〜ＩＶにシフトさせる駆動部３を備える。かかる構成により、本実施の形態の撮像装置１０は、第１の撮像素子２１ａの受光素子の寸法よりも小さな距離ずつ変位させることができるので、第１の撮像素子２１ａの受光素子をその寸法より小さな距離ずつ変位させながら、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積に対応した画素値（画素情報）に基づく、一層微細な被写体５の画像情報を得ることができる。
【００６９】
したがって、第１の撮像素子２１ａの受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体５の画像情報を得ることができる。第１の撮像素子２１ａはコストの低い画素密度が低い撮像素子を用い、第２、第３の撮像素子２１ｂ、２１ｃは一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、低画素のイメージセンサをできるだけ用いて高画素の画像を取得できる。よって、本実施の形態の撮像装置１０は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【００７０】
本実施の形態の撮像装置１０は、ステップＳ１０４において、パターンＩ〜ＩＶにより異なる撮像情報の違いから求まる、３つの既知の４分の１画素の画素値を、これら３つの既知の画素値と未知の４分の１画素の画素値とで構成される第１の撮像素子２１ａの画素情報取得領域の１画素分の出力値から、差し引くことで、未知の画素値、すなわち目的とする画素値を求めるステップを含む撮像方法を実行する。
【００７１】
また、本実施の形態では、被写体５を、１画素を４分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。本実施の形態では、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、シフトさせて被写体５を撮影するとしたが、本発明はこれに限定されない。
【００７２】
例えば、Ｘ、Ｙを任意の自然数とすると、第２、第３の撮像素子２１ｂ、２１ｃとしてそれぞれ横方向に１画素のＸ分の１及び縦方向に１画素のＹ分の１に相当する画素値を得る撮像素子を用い、被写体５の２辺に対して、横方向及び縦方向にそれぞれ１画素のＸ分の１及び１画素のＹ分の１に相当する距離ごとに段階的にシフトした撮影位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置で、繰り返して被写体５を撮影することでもよい。これにより、同様の手法で、１画素をＸにＹを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
かかる実施の形態の撮像装置では、第２、第３の撮像素子２１ｂ、２１ｃの１画素あたりの数を変化させることで、撮像する画像の解像度又は撮像する画像を構成する画素数情報を任意に増やすことができる。
【００７３】
すなわち、駆動部３は、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、シフトさせる。
第１〜第３の撮像素子２１ａ〜２１ｃは、駆動部３によって第１の撮像素子２１ａが撮像位置に駆動される都度、撮像を行う。記憶部７は、第１〜第３の撮像素子２１ａ〜２１ｃが生成する信号電荷に基づいて撮像情報を取得する。記憶部７は撮像情報取得部を構成する。
さらに制御部４は、撮像部２が駆動部３によって駆動された撮像位置ごとに算出した撮像情報の違い、すなわち撮像位置ごとの第１〜第３の撮像素子２１ａ〜２１ｃが生成した信号電荷の違いに基づき、被写体５の一部に対応する画素情報を１画素より小さい単位で算出する。制御部４は画素情報算出部を構成する。
制御部４は、こうして算出された画素情報を被写体の位置と対応付けて画像情報として記憶部７に記憶する。記憶部７は画素情報記憶部を構成する。
【００７４】
なお、本実施の形態では、被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃに同時に３つに分光する分光器２４を備えており、第１〜第３の撮像素子２１ａ〜２１ｃで同時に撮像を行っていた。分光器２４は分光部を構成する。しかしこれに限られない。分光器を備えず、パターンＩ〜ＩＶのそれぞれにおいて、被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃを切り替えて順に撮像して行くものでもよい。
【００７５】
以上説明したように本発明によれば、第１撮像素子の受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画像情報を得ることができる。第１撮像素子はコストの低い画素密度が低い撮像素子を用い、第２、第３撮像素子は一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、低画素のイメージセンサをできるだけ用いて高画素の画像を取得できる。よって、本発明の撮像装置は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
また、第１撮像素子に遮光板を設ける必要も無く、遮光板を設けることによる弊害もない。つまり、遮光板を用いないことから、回折光がなく、迷光の影響がない。よって、第１撮像素子の精度が悪化せず、第１撮像素子の撮像情報の誤差が無い分、より精度よくサブピクセルの単位で画像情報を取得することができる。
【００７６】
本発明の撮像装置では、３枚の撮像素子のうち１つを１画素より小さい単位で移動させて撮像を行うだけでよいので、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す従来の方法と比べて、処理は非常に簡便である。したがって、本発明によると、撮像素子の移動に要する時間を短くして、撮像に要する全体の時間を短縮して解像度の高い画像を取得することができる。
【００７７】
本発明では、３つの撮像素子が撮像位置に配置されるごとに撮像によって得られる、複数の撮像素子の各々が生成する信号電荷（撮像情報）に基づいて、被写体の一部に対応する画素情報を１画素より小さい単位で算出し、算出された画素情報を被写体の位置と対応付けて画像情報として記憶することができる。
【００７８】
本発明における第１撮像素子が、第２及び第３撮像素子が画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２及び第３撮像素子が交わる端部の１画素の領域で被写体の端部を第２及び第３撮像素子が画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、移動して撮像するように第１撮像素子を駆動すればよい。
【００７９】
本発明は、このように構成された撮像素子が、撮像位置に配置される都度、撮像を行う。そして、こうした複数の撮像位置の撮像素子が生成する信号電荷（撮像情報）に基づいて、被写体の一部に対応する画素情報を１画素のＸにＹを乗じて得られた整数分の一の単位で算出することができる。
【００８０】
本発明では、被写体からの入射光を第１、第２及び第３撮像素子に分光する分光部を備えるので、第１、第２及び第３撮像素子は同時に分光された入射光を受光して撮像することができる。これによって、第１、第２及び第３撮像素子でそれぞれ別に撮像を行った場合の入射光のちらつき等の輝度の差による撮像情報の誤差が生じない。したがって、撮像情報の誤差が無い分、より精度よくサブピクセルの単位で画像情報を取得することができる。
【００８１】
以上説明したように本発明では、第１撮像素子を１画素より小さい単位で移動させて撮像することによって、サブピクセルの単位で画像情報を取得することができる。
【００８２】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施の形態では、被写体を、１画素を４分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。
例えば、Ｍを任意の自然数とすると、第２、第３撮像素子にＭ分の１画素分の入射光を入射させ、第１撮像素子を移動させて撮像する場合は、第２、第３撮像素子が交わる端部の１画素の領域において、その端部の第１撮像素子の画素情報取得領域を、Ｍ分の１画素分ずつ段階的にずらして第１撮像素子を移動させながら、被写体をＭ回撮像して撮像情報を取得し、撮像情報の違いからＭ分の１画素相当の画素情報を算出すればよい。
【００８３】
なお本発明は、ワークの位置を測定するための装置のみならず、撮像素子を備えた電子機器一般に適用することができる。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００８６】
２…撮像部
３…駆動部
４…制御部（画素情報算出部）
５…被写体
７…記憶部（撮像情報取得部、画素情報記憶部）
８…表示部
１０…撮像装置
２１ａ…第１の撮像素子
２１ｂ…第２の撮像素子
２１ｃ…第３の撮像素子
２４…分光器（分光部）
２６…遮光膜
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、製品や金型、治具等の形状を測定し、測定結果に基づき製造装置等の調整を行っている。このような作業において、高解像度の固体撮像素子を搭載した撮像装置が用いられる。固体撮像素子として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等が挙げられる。
また、特許文献１には、限られた画素数の撮像素子を用いて高い解像度を得るため、受光面を振動させる固体撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６０−１８９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置の解像度は、一般的に、撮像素子の有効画素数に応じて増加する。しかし、撮像素子の有効画素数を向上するためには、通常、撮像素子が有する受光素子の画素密度を増加する必要がありコストがかかる。一方で、受光素子の数を増やさずに解像度を向上させることを目的として、受光素子の画素密度が高い撮像範囲の狭い撮像素子を用い、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す方法がある。この場合、得られた画像を、相対的な位置関係を確認しながら、繋ぎ合わせる必要があるため、繋ぎ合わせる画像同士の相対的な位置関係を計算しなければならない。撮像素子の移動距離が増大すると、移動によって生じる位置ズレを考慮して、画素間の相関を計算する必要が生じ、ここでも誤差が発生し易くなるという課題があった。
【０００５】
特許文献１に開示された固体撮像装置は、例えば、インターライン転送方式において、感光部に蓄積された信号電荷を信号ブランキング期間に垂直ＣＣＤレジスタに転送し、次のフィールド有効期間中に読み出すものであるが、解像度を向上するための詳細については示されていない。
【０００６】
そこで本発明は、上述の課題を鑑みて、コストの高い画素密度が高い撮像素子を可及的に用いず、解像度の高い画像を得る撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、被写体（例えば、後述の被写体５）からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ））を、横方向及び縦方向に配列して複数有する第１撮像素子（例えば、後述の第１の撮像素子２１ａ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｂ（１，１）〜Ｐｂ（ｍ，１））を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子（例えば、後述の第２の撮像素子２１ｂ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｃ（１，１）〜Ｐｃ（１，ｎ））を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子（例えば、後述の第３の撮像素子２１ｃ）と、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置（例えば、後述の基本位置［１］〜移動位置［４］）に移動させる駆動部（例えば、後述の駆動部３）と、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報（例えば、後述の出力値）を取得する撮像情報取得部（例えば、後述の記憶部７）と、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報（例えば、後述の画素値）を１画素より小さい単位で算出する画素情報算出部（例えば、後述の制御部４）と、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する画像情報記憶部（例えば、後述の記憶部７）と、を備えたことを特徴とする撮像装置（例えば、後述の撮像装置１０）を提供することである。
【０００８】
本発明の第１の態様によると、第１撮像素子はコストの低い画素密度が低い撮像素子を用い、第２、第３撮像素子は一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、コストの高い画素密度が高い撮像素子を可及的に用いず、解像度の高い画像を得ることができる。
また、撮像素子を遮光する遮光板を用いないことから、回折光がなく、迷光の影響がなく、より高精度な画像を得ることができる。
【０００９】
被写体からの入射光を前記第１、第２及び第３撮像素子に分光する分光部（例えば、後述の分光器２４）をさらに備え、前記撮像情報取得部は、前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得すると好ましい。
【００１０】
これによると、分光部によって被写体からの入射光が分光されるので、分光された入射光を同時に第１、第２、及び第３撮像素子に入射することができる。これにより、第１、第２及び第３撮像素子の撮像タイミングの同期をとることができ、撮像情報取得部は、第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得することができる。よって、被写体からの入射光のちらつき等の輝度の差で、第１、第２及び第３撮像素子の撮像情報に誤差が生じることを回避することができる。したがって、撮像情報の誤差が無い分、より精度よく第１撮像素子のサブピクセルの単位で画像情報を取得することができる。
【００１１】
本発明の第２の態様は、被写体（例えば、後述の被写体５）からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ））を、横方向及び縦方向に配列して複数有する第１撮像素子（例えば、後述の第１の撮像素子２１ａ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｂ（１，１）〜Ｐｂ（ｍ，１））を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子（例えば、後述の第２の撮像素子２１ｂ）と、被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域（例えば、後述の画素情報取得領域Ｐｃ（１，１）〜Ｐｃ（１，ｎ））を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子（例えば、後述の第３の撮像素子２１ｃ）と、を備えた撮像装置（例えば、後述の撮像装置１０）を用いて被写体を撮像する撮像方法であって、駆動部（例えば、後述の駆動部３）によって、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置（例えば、後述の基本位置［１］〜移動位置［４］）に移動させるステップと、撮像情報取得部（例えば、後述の記憶部７）によって、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報（例えば、後述の出力値）を取得するステップと、画素情報算出部（例えば、後述の制御部４）によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報（例えば、後述の画素値）を１画素より小さい単位で算出するステップと、画像情報記憶部（例えば、後述の記憶部７）によって、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶するステップと、を含むことを特徴とする撮像方法を提供することである。
【００１２】
本発明の第２の態様によっても、上記撮像装置の発明と同様な効果を得ることができる。
【発明の効果】
【００１３】
本発明によれば、コストの高い画素密度が高い撮像素子をなるべく用いずに高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態に係る撮像装置の概略図である。
【図２】図１の撮像装置を構成する撮像素子の構成を示すブロック図である。
【図３】図１の撮像装置を構成する撮像部の概略図である。
【図４】図１の撮像装置を構成する撮像素子を示す図である。
【図５】撮像素子の被写体に対する複数の撮像位置を示す図である。
【図６】基本位置［１］における撮像素子の位置と被写体との関係を示す図である。
【図７】移動位置［２］における撮像素子の位置と被写体との関係を示す図である。
【図８】移動位置［３］における撮像素子の位置と被写体との関係を示す図である。
【図９】移動位置［４］における撮像素子の位置と被写体との関係を示す図である。
【図１０】被写体の画像情報を、第１の撮像素子の１画素の４分の１相当のサブピクセルの画素値として得た状態を示す図である。
【図１１】図１の撮像装置が実行する画像情報を取得する処理のフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１〜図１１を参照して、本発明の第１の実施の形態に係る撮像装置の概略について説明する。
【００１６】
図１は、本発明の第１の実施の形態に係る撮像装置の概略図であり、図２は、本実施の形態に係る撮像装置の撮像素子の構成を示すブロック図である。
【００１７】
図１に示す撮像装置１０は、被写体５を撮影して電気信号に変換する第１の撮像素子２１ａ、第２の撮像素子２１ｂ、第３の撮像素子２１ｃ及び被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃに分光する分光器２４を含む撮像部２と、第１の撮像素子２１ａを駆動する駆動部３と、第１〜第３の撮像素子２１ａ〜２１ｃ、撮像部２及び駆動部３を制御する制御部４と、撮像部２によって撮像された被写体５の画像データを記憶する記憶部７と、画像データに基づいて被写体５の画像を表示する表示部８と、を含む。
【００１８】
撮像部２は、第１〜第３の撮像素子２１ａ〜２１ｃ及び分光器２４の他、被写体５からの光を後述する撮像位置に配置された第１〜第３の撮像素子２１ａ〜２１ｃに結像させる不図示の撮像レンズを含む。撮像位置に配置された第１〜第３の撮像素子２１ａ〜２１ｃは、撮像レンズによって結像される被写体５からの入射光を電気信号に変換する。第１〜第３の撮像素子２１ａ〜２１ｃは、撮像レンズによって自身に投影されて結像される被写体５を光電変換する受光素子を複数備えたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等によって構成される。分光器２４は、ダイロックプリズム等が用いられ、被写体５からの入射光を均等に３分割して第１〜第３の撮像素子２１ａ〜２１ｃへ分光する。撮像部２は撮像手段の機能を有する。
【００１９】
駆動部３は、第１の撮像素子２１ａを、被写体５を撮像するために適切な撮像位置に駆動する。駆動部３の詳細については後述する。一方、第２、第３の撮像素子２１ｂ、２１ｃは、駆動部３で駆動されず撮像位置に固定されている。
【００２０】
本実施の形態では、制御部４と記憶部７と表示部８とは、コンピュータ９の一部として構成される。制御部４は、図示を省略するが、撮像装置１０が各種機能を実行するためのプログラムが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに記憶されたプログラムを実行して撮像装置１０の各種機能を実現するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵが各種の処理を実行する上において必要なデータ等が適宜記憶されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等とによって構成される。
【００２１】
制御部４は、駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａを撮像位置に配置する。さらに、制御部４は、第１〜第３の撮像素子２１ａ〜２１ｃから出力される電気信号を処理して、画像データ（画像情報）を生成し、生成した画像データを記憶部７に記憶する。さらに制御部４は、生成した画像データに基づいて表示部８に撮像部２が撮像した画像を表示する。また、制御部４は、第１〜第３の撮像素子２１ａ〜２１ｃから出力される電気信号を処理する際に、後述する演算処理を実行する。
【００２２】
表示部８は、液晶ディスプレイ等によって構成される。記憶部７は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びハードディスク等によって構成される。
【００２３】
［撮像素子の構成］
次に、図２を参照して、第１〜第３の撮像素子２１ａ〜２１ｃの基本構成について説明する。図２（ａ）に示すように、第１の撮像素子２１ａは、横方向及び縦方向の二次元に配列された複数の受光素子から構成されている。図２（ｂ）に示すように、第２の撮像素子２１ｂは、第１の撮像素子２１ａの配列された横方向の一端に一列に配列された複数の受光素子から構成されている。図２（ｃ）に示すように、第３の撮像素子２１ｃは、第１の撮像素子２１ａの配列された縦方向の一端に一列に配列された複数の受光素子から構成されている。受光素子の各々は所定の面積を有する受光面を含む。受光素子の各々は、この受光面に入射光を受光すると光電変換を実行して、受光面あたりの受光量に応じて信号電荷を生成する。図２（ａ）に示す第１の撮像素子２１ａの受光素子は、１画素分に相当する信号電荷を生成する。なお、以下では、１画素を、第１の撮像素子２１ａの１画素として説明する。図２（ｂ）、（ｃ）に示す第２、第３の撮像素子２１ｂ、２１ｃの受光素子は、１画素より小さい単位の領域、ここでは第１の撮像素子２１ａの１画素の４分の１の単位に相当する信号電荷を生成する。この受光素子の各々が有する受光面を、以後、「画素情報取得領域」と呼ぶ。このため、図２（ａ）に示す第１の撮像素子２１ａの受光素子を二次元に配列して形成される第１の撮像素子２１ａが有する受光面全体は、受光素子ごとに、各々が１画素に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。図２（ｂ）、（ｃ）に示す第２、第３の撮像素子２１ｂ、２１ｃの受光素子を一列に配列して形成される第２、第３の撮像素子２１ｂ、２１ｃが有する受光面全体は、受光素子ごとに、各々が第１の撮像素子２１ａの１画素の４分の１の単位に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。ここで、本明細書では、第２、第３の撮像素子２１ｂ、２１ｃの一つの画素については、１画素とは呼ばず、第１の撮像素子２１ａの１画素の４分の１の単位の画素という。
【００２４】
図２（ａ）に示すように、第１の撮像素子２１ａの受光面を形成する画素情報取得領域の数によって第１の撮像素子２１ａの総数は決定される。ここで、第１の撮像素子２１ａの画素情報取得領域は、１画素に相当する。よって、例えば、ｉ，ｊを任意の自然数とすると、横方向に配設された画素情報取得領域の数、すなわち、横画素数をｉ、縦方向に配設された画素情報取得領域の数、すなわち、縦画素数をｊとすると、この第１の撮像素子２１ａの総数（＝総画素数）はｉ×ｊとなる。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第１の撮像素子２１ａは、受光素子Ｕ（１，１）、Ｕ（２，１）、Ｕ（３，１）、・・・・、Ｕ（１，２）、Ｕ（１，３）、・・・・、Ｕ（ｉ，ｊ）を有する。受光素子Ｕ（１，１）、Ｕ（２，１）、Ｕ（３，１）、・・・・、Ｕ（１，２）、Ｕ（１，３）、・・・・、Ｕ（ｉ，ｊ）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐａ（１，１）、Ｐａ（２，１）、Ｐａ（３，１）、・・・・、Ｐａ（１，２）、Ｐａ（１，３）、・・・・、Ｐａ（ｉ，ｊ）として表す。
【００２５】
図２（ｂ）に示すように、第２の撮像素子２１ｂの受光面を形成する画素情報取得領域の数によって第２の撮像素子２１ｂの総数は決定される。ここで、第２の撮像素子２１ｂの画素情報取得領域は、第１の撮像素子２１ａの画素情報取得領域の１画素の４分の１に相当する。よって、例えば、ｍを任意の自然数とすると、この第２の撮像素子２１ｂの総数は、横方向に一列に配設された画素情報取得領域の数、すなわち、ｍとなる。ここで、第２の撮像素子２１ｂの横幅は、１画素の２分の１であるので、総数ｍは、第１の撮像素子２１ａの横数（＝横画素数）のｉの２倍となる。すなわち、ｍ＝２ｉである。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第２の撮像素子２１ｂは、受光素子Ｖ（１，１）、Ｖ（２，１）、Ｖ（３，１）、・・・・、Ｖ（ｍ＝２ｉ，１）を有する。受光素子Ｖ（１，１）、Ｖ（２，１）、Ｖ（３，１）、・・・・、Ｖ（ｍ，１）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐｂ（１，１）、Ｐｂ（２，１）、Ｐｂ（３，１）、・・・・、Ｐｂ（ｍ，１）として表す。
【００２６】
図２（ｃ）に示すように、第３の撮像素子２１ｃの受光面を形成する画素情報取得領域の数によって第３の撮像素子２１ｃの総数は決定される。ここで、第３の撮像素子２１ｃの画素情報取得領域は、第１の撮像素子２１ａの画素情報取得領域の１画素の４分の１に相当する。よって、例えば、ｎを任意の自然数とすると、この第３の撮像素子２１ｃの総数は、縦方向に一列に配設された画素情報取得領域の数、すなわち、ｎとなる。ここで、第３の撮像素子２１ｃの縦幅は、１画素の２分の１であるので、総数ｎは、第１の撮像素子２１ａの縦数（＝縦画素数）のｊの２倍となる。すなわち、ｎ＝２ｊである。また、画素情報取得領域は、受光素子の受光面に相当する。
すなわち、第３の撮像素子２１ｃは、受光素子Ｗ（１，１）、Ｗ（１，２）、Ｗ（１，３）、・・・・、Ｗ（１，ｎ＝２ｊ）を有する。受光素子Ｗ（１，１）、Ｗ（１，２）、Ｗ（１，３）、・・・・、Ｗ（１，ｎ）の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域Ｐｃ（１，１）、Ｐｃ（１，２）、Ｐｃ（１，３）、・・・・、Ｐｃ（１，ｎ）として表す。
【００２７】
図４（Ａ）に、本実施の形態の第１の撮像素子２１ａを示す。図４（Ａ）に示すように、本実施の形態では、第１の撮像素子２１ａには遮光板が形成されていないため、第１の撮像素子２１ａに遮光エリアが形成されない。これは、遮光板は、従来では後述する１画素よりも小さい単位で画素情報を取得するために必要であったが、本実施の形態では必要が無いためである。このため、第１の撮像素子２１ａの受光エリアに入射する光Ｌ１と保護膜２８に入射する光Ｌ２には通常の吸収と反射が行われる。よって、遮光板を設けることによる第１の撮像素子２１ａの受光エリアと遮光板との境界が形成されず、このような場所に入射する光による回折光が生じない。また、第１の撮像素子２１ａの遮光エリアが無いので、第１の撮像素子２１ａは迷光の影響がない。このため、第１の撮像素子２１ａはノイズの影響を受けない。
【００２８】
参考までに、図４（Ｂ）に、従来の撮像素子２１と遮光板６との関係を示す。遮光板６は撮像素子２１を覆う保護膜２８の上方に配置される。このため、撮像素子２１と遮光板６との間には一定の距離がある。したがって、遮光板６の境界部に入射する光Ｌ３により生じる回折光ＬＳ１、ＬＳ２は大きくなり、遮光板６が遮光する遮光エリアに入射してノイズの原因になる。また、遮光板６の境界部から撮像素子２１の遮光エリアに直接入射する迷光Ｌ４が生じ、ノイズの原因になる。
【００２９】
このように、本実施の形態では、図４（Ａ）に示すように第１の撮像素子２１ａには、遮光板を設ける必要が無くなるので、遮光板を設けることによる回折光が無くなると共に、迷光の影響が生じない。
【００３０】
［撮像部の構成］
図３に戻って、本実施の形態に係る撮像装置１０では、撮像部２は第１〜第３の撮像素子２１ａ〜２１ｃを備えている。駆動部３は制御部４の制御に基づいて第１の撮像素子２１ａを複数の撮像位置に移動させるよう駆動する。第１の撮像素子２１ａは、入射光を適切に受光し、被写体５を撮像可能な撮像ポイントに配置されている。また、第２、第３の撮像素子２１ｂ、２１ｃは、入射光を適切に受光し、被写体５を撮像可能な撮像ポイントに固定配置されている。駆動部３は、撮像ポイントに位置する第１の撮像素子２１ａを、第１の撮像素子２１ａの入射光に対する垂直な面の方向Ｘ、Ｙが１画素の２分の１の単位であるサブピクセルの単位でシフトさせる（図３（Ｂ）参照）。駆動部３の駆動機構は、圧電素子アクチュエータ、距離センサ等により構成することができる。
【００３１】
図５に、駆動部３によって第１の撮像素子２１ａを駆動することにより、第１〜第３の撮像素子２１ａ〜２１ｃの画素情報取得領域が取り得る被写体５に対する複数の撮像位置を示す。
【００３２】
撮像ポイントに配置された第１の撮像素子２１ａは、駆動部３が第１の撮像素子２１ａを移動させることにより、第１の撮像素子２１ａが受光する被写体５からの入射光に対する垂直な面が当該垂直の方向Ｘ、Ｙに１画素の２分の１の単位であるサブピクセルの単位で移動をして、所定の撮像位置に設定される。駆動部３が第１の撮像素子２１ａを移動させることによって、第１の撮像素子２１ａが受光する被写体５からの入射光に対する垂直な面と被写体５との位置をずらす様々なパターンを形成することができる。第１の撮像素子２１ａが入射光に対して垂直な面の方向Ｘ、Ｙにサブピクセルの単位で移動をして図５に示すパターンＩ〜ＩＶのそれぞれに相当する撮像情報を取得する場合について説明する。
図５に、パターンＩ〜ＩＶ毎の第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との位置関係を示す図５（Ａ）〜図５（Ｄ）と、パターンＩ〜ＩＶに相当する撮像情報を取得するために必要な、第１〜第３の撮像素子２１ａ〜２１ｃのパターンＩを基準とする移動方向と移動量（位相ズレ量）の表を示す図５（Ｅ）とを示す。
【００３３】
図５（Ａ）及び図５（Ｅ）に示すように、基本位置［１］では、第１〜第３の撮像素子２１ａ〜２１ｃはパターンＩにおける撮像情報を取得することができる。この位置を基本位置［１］とする。パターンＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を１画素面積撮像するパターンである。つまり、パターンＩは、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部において、第１の撮像素子２１ａの端部と、その端部の角に位置する被写体５の端部が一致する状態である。
【００３４】
さらに、図５（Ｂ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して基本位置［１］よりＸ軸に沿って紙面右方向に２分の１画素（サブピクセル）に相当する距離だけ移動することにより、パターンＩＩにおける撮像情報を取得することができる。この位置を移動位置［２］とする。パターンＩＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を右側の縦方向に長い２分の１画素面積撮像するパターンである。つまり、パターンＩＩは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素右にずれて、第１の撮像素子２１ａの端部が位置する状態である。
【００３５】
また、図５（Ｃ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して基本位置［１］よりＹ軸に沿って紙面下方向に２分の１画素に相当する距離だけ移動することにより、パターンＩＩＩにおける撮像情報を取得することができる。この位置を移動位置［３］とする。パターンＩＩＩは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を下側の横方向に長い２分の１画素面積撮像するパターンである。つまり、パターンＩＩＩは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素下にずれて、第１の撮像素子２１ａの端部が位置する状態である。
【００３６】
さらに、図５（Ｄ）及び図５（Ｅ）に示すように、第１の撮像素子２１ａは被写体５に対して、基本位置よりＸ軸に沿って紙面右方向に２分の１画素、Ｙ軸に沿って紙面下方向に２分の１画素に相当する距離だけ移動することにより、パターンＩＶにおける撮像情報を取得することができる。この位置を移動位置［４］とする。パターンＩＶは、第１の撮像素子２１ａが、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、被写体５の端部を右下の４分の１画素の最小面積撮像するパターンである。つまり、パターンＩＶは、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する４分の１画素の単位を、パターンＩから変化させたものであり、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部に対して、その端部の角から２分の１画素右にずれ且つ２分の１画素下にずれて第１の撮像素子２１ａの端部が位置する状態である。
【００３７】
このように、第１の撮像素子２１ａを入射光に対して垂直の方向に２分の１画素の単位でシフトさせるように第１の撮像素子２１ａを移動させることによって、第１の撮像素子２１ａは２分の１画素の単位でずれた撮像情報を得ることができる。また、このとき、第２、第３の撮像素子２１ｂ、２１ｃでは、４分の１画素の単位の撮像情報を得ることができる。
【００３８】
なお、第２及び第３の撮像素子２１ｂ、２１ｃとして、他のサブピクセルの受光素子を有する撮像素子を用いることにより、１画素を４分割した画素情報を得るのみならず、１画素を任意の自然数の整数倍に分割した画素情報を得ることができる。例えば、Ｘ、Ｙを任意の自然数とすると、１画素をＸ×Ｙ分割することが可能である。
【００３９】
［撮像処理］
このようにして構成された第１〜第３の撮像素子２１ａ〜２１ｃを用いて、被写体を効率的に撮像する処理について、以下、図６〜図９を参照して説明する。
【００４０】
本実施の形態の撮像処理について説明する。本実施の形態では、第１の撮像素子２１ａを移動させて、第１の撮像素子２１ａを、第１の撮像素子２１ａの１画素に満たない単位（１画素の４分の１）ずつを段階的にずらした複数の撮像位置に移動して被写体５を撮影する処理を、それぞれパターンＩ〜ＩＶ、すなわち第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で、第１の撮像素子２１ａの端部が、１画素面積〜４分の１画素面積である最小面積にわたって撮像するまで段階的に繰り返して被写体５を撮像する。つまり、本実施の形態では、デフォルトを入れて被写体５を４回撮像する。
【００４１】
＜第１〜第３の撮像素子２１ａ〜２１ｃの撮像情報に着目した処理＞
図６〜図９に、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置のパターンＩ〜ＩＶを用いて被写体５を撮像する際に遵守すべき、第１〜第３の撮像素子２１ａ〜２１ｃの端部と被写体５の端部との間の位置関係及び画素値を示す。本実施の形態では、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置であるパターンＩ〜ＩＶによって、４つの異なる撮像情報が得られる。
【００４２】
以下の処理では、最端部の１画素の４分の１に規定したサブピクセルの小領域に着目して考える。図６〜図９に示すように、撮像される被写体５は、１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）で区画される。ここで、画素値Ａ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の左上の４分の１画素領域に対応する。画素値Ｂ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の右上の４分の１画素領域に対応する。画素値Ｃ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の左下の４分の１画素領域に対応する。画素値Ｄ（ｉ，ｊ）は、被写体５の第１の撮像素子２１ａで撮像する１画素の右下の４分の１画素領域に対応する。
駆動部３は、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置がパターンＩ〜ＩＶとなるように、第１の撮像素子２１ａを移動させる。
【００４３】
まず、第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置がパターンＩの場合に撮像する。
図６は、基本位置［１］における第１〜第３の撮像素子２１ａ〜２１ｃの位置と被写体５との関係を示す図である。
図６に示す基本位置［１］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４４】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から右方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［２］とする。
【００４５】
図７は、このように第１の撮像素子２１ａを基本位置［１］から右方向に、被写体５に対して２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［２］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図７に示す移動位置［２］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ＋１，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ＋１，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４６】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から下方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［３］とする。
【００４７】
図８は、このように第１の撮像素子２１ａを基本位置［１］から下方向に、被写体５に対して２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［３］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図８に示す移動位置［３］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ，ｊ＋１）＋Ｂ（ｉ，ｊ＋１）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００４８】
続いて、第１の撮像素子２１ａの位置を基本位置［１］から右下方向に被写体５に対して１画素の２分の１画素分に相当する距離シフトして撮像する。この時の第１〜第３の撮像素子２１ａ〜２１ｃの被写体５に対する位置を移動位置［４］とする。
【００４９】
図９は、このように第１の撮像素子２１ａを基本位置［１］から右下方向に、被写体５に対してそれぞれ２分の１画素分に相当する距離ｈシフトするように移動した時の移動位置［４］での第１〜第３の撮像素子２１ａ〜２１ｃと被写体５との関係を示す図である。
図９に示す移動位置［４］の場合には、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）で出力値（Ａ（ｉ＋１，ｊ＋１）＋Ｂ（ｉ，ｊ＋１）＋Ｃ（ｉ＋１，ｊ）＋Ｄ（ｉ，ｊ））の１画素分の出力値を得る。
また、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（ｍ，１）で、ｍ＝奇数のとき画素値Ａ（（ｍ＋１）／２，１）又はｍ＝偶数のとき画素値Ｂ（ｍ／２，１）の４分の１画素分の出力値を得る。
また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，ｎ）で、ｎ＝奇数のとき画素値Ａ（１，（ｎ＋１）／２）又はｎ＝偶数のとき画素値Ｃ（１，ｎ／２）の４分の１画素分の出力値を得る。
これらの第１〜第３の撮像素子２１ａ〜２１ｃの出力値を記憶部７に記憶する。
【００５０】
以下、上記で説明した、基本位置［１］、移動位置［２］、移動位置［３］、移動位置［４］のように、パターンＩ〜ＩＶの第１〜第３の撮像素子２１ａ〜２１ｃの撮像位置で撮像した撮像情報を用いて１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を導出する手法を説明する。
【００５１】
まず、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（１，１）＋Ｂ（１，１）＋Ｃ（１，１）＋Ｄ（１，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（１，１）で、出力値として画素値Ａ（１，１）及び画素情報取得領域Ｐｂ（２，１）で、出力値として画素値Ｂ（１，１）を得ている。また、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，１）で、出力値として画素値Ａ（１，１）及び画素情報取得領域Ｐｃ（１，２）で、出力値として画素値Ｃ（１，１）を得ている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（１，１）＋Ｂ（１，１）＋Ｃ（１，１）＋Ｄ（１，１））から画素情報取得領域Ｐｂ（１，１）又はＰｃ（１，１）の画素値Ａ（１，１）と、画素情報取得領域Ｐｂ（２，１）の画素値Ｂ（１，１）と、画素情報取得領域Ｐｃ（１，２）の画素値Ｃ（１，１）とを引く。結果、画素値Ｄ（１，１）を得ることができる。
【００５２】
次に、図７に示す移動位置［２］のパターンＩＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（２，１）＋Ｂ（１，１）＋Ｃ（２，１）＋Ｄ（１，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（２，１）で、出力値として画素値Ｂ（１，１）及び画素情報取得領域Ｐｂ（３，１）で、出力値として画素値Ａ（２，１）を得ている。また、上記で画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（２，１）＋Ｂ（１，１）＋Ｃ（２，１）＋Ｄ（１，１））から画素情報取得領域Ｐｂ（２，１）の画素値Ｂ（１，１）と、画素情報取得領域Ｐｂ（３，１）の画素値Ａ（２，１）と、計算により得られている画素値Ｄ（１，１）とを引く。結果、画素値Ｃ（２，１）を得ることができる。
【００５３】
次に、図８に示す移動位置［３］のパターンＩＩＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，１）＋Ｄ（１，１））を得ている。これに対し、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，２）で、出力値として画素値Ｃ（１，１）及び画素情報取得領域Ｐｃ（１，３）で、出力値として画素値Ａ（１，２）を得ている。また、上記で画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，２）の出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，１）＋Ｄ（１，１））から画素情報取得領域Ｐｃ（１，２）の画素値Ｃ（１，１）と、画素情報取得領域Ｐｃ（１，３）の画素値Ａ（１，２）と、計算により得られている画素値Ｄ（１，１）とを引く。結果、画素値Ｂ（１，２）を得ることができる。
【００５４】
次に、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（２，１）で出力値（Ａ（２，１）＋Ｂ（２，１）＋Ｃ（２，１）＋Ｄ（２，１））を得ている。これに対し、第２の撮像素子２１ｂの画素情報取得領域Ｐｂ（３，１）で、出力値として画素値Ａ（２，１）及び画素情報取得領域Ｐｂ（４，１）で、出力値として画素値Ｂ（２，１）を得ている。また、上記で画素値Ｃ（２，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（２，１）の出力値（Ａ（２，１）＋Ｂ（２，１）＋Ｃ（２，１）＋Ｄ（２，１））から画素情報取得領域Ｐｂ（３，１）の画素値Ａ（２，１）と、画素情報取得領域Ｐｂ（４，１）の画素値Ｂ（２，１）と、計算により得られている画素値Ｃ（２，１）とを引く。結果、画素値Ｄ（２，１）を得ることができる。
【００５５】
また同様に、図６に示す基本位置［１］のパターンＩの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，２）で出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，２）＋Ｄ（１，２））を得ている。これに対し、第３の撮像素子２１ｃの画素情報取得領域Ｐｃ（１，３）で、出力値として画素値Ａ（１，２）及び画素情報取得領域Ｐｃ（１，４）で、出力値として画素値Ｃ（１，２）を得ている。また、上記で画素値Ｂ（１，２）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，２）の出力値（Ａ（１，２）＋Ｂ（１，２）＋Ｃ（１，２）＋Ｄ（１，２））から画素情報取得領域Ｐｃ（１，３）の画素値Ａ（１，２）と、画素情報取得領域Ｐｃ（１，４）の画素値Ｃ（１，２）と、計算により得られている画素値Ｂ（１，２）とを引く。結果、画素値Ｄ（１，２）を得ることができる。
【００５６】
次に、図９に示す移動位置［４］のパターンＩＶの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（１，１）で出力値（Ａ（２，２）＋Ｂ（１，２）＋Ｃ（２，１）＋Ｄ（１，１）を得ている。これに対し、上記で画素値Ｂ（１，２）及び画素値Ｃ（２，１）及び画素値Ｄ（１，１）は計算により得られている。
ここで、画素情報取得領域Ｐａ（１，１）の出力値（Ａ（２，２）＋Ｂ（１，２）＋Ｃ（２，１）＋Ｄ（１，１））から計算により得られている画素値Ｂ（１，２）及び画素値Ｃ（２，１）及び画素値Ｄ（１，１）を引く。結果、画素値Ａ（２，２）を得ることができる。
【００５７】
以上のように、基本位置［１］〜移動位置［４］のパターンＩ〜ＩＶのいずれかの撮像位置において、第１の撮像素子２１ａの画素情報取得領域Ｐａ（ｉ，ｊ）の出力値（Ａ＋Ｂ＋Ｃ＋Ｄ）から、これらに含まれる画素値Ａ、Ｂ、Ｃ、Ｄのうち既知の左上、右上及び左下側の３つの画素値を引く。結果、画素情報取得領域Ｐａ（ｉ，ｊ）の出力値（Ａ＋Ｂ＋Ｃ＋Ｄ）に含まれる画素値Ａ、Ｂ、Ｃ、Ｄのうち未知の右下側の１つの画素値を算出することができる。
以下、この法則で被写体５の、１画素の４分の１ごとの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を順に算出する。そして、これらの画素値を記憶部７に記憶する。
つまり、画素値Ａ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ−１，ｊ−１））−（Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ−１，ｊ−１））である。
画素値Ｂ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ，ｊ−１））−（Ａ（ｉ，ｊ）＋Ｃ（ｉ，ｊ−１）＋Ｄ（ｉ，ｊ−１））である。
画素値Ｃ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ−１，ｊ））−（Ａ（ｉ，ｊ）＋Ｂ（ｉ−１，ｊ）＋Ｄ（ｉ−１，ｊ））である。
画素値Ｄ（ｉ，ｊ）＝出力値（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ）＋Ｄ（ｉ，ｊ））−（Ａ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋Ｃ（ｉ，ｊ））である。
【００５８】
このようにして、第１の撮像素子２１ａを所定の撮像位置、すなわちパターンＩ〜ＩＶに移動させることによって、第１の撮像素子２１ａを基本位置［１］から移動位置［２］〜移動位置［３］を経て移動位置［４］にシフトさせて撮像情報を得ることができる。そしてこの４つの撮像情報の違いに基づいて、上記のように被写体５の画像情報を、１画素の４分の１相当のサブピクセルの画素値として得ることができる。
図１０は、被写体５の画像情報を、１画素の４分の１相当のサブピクセルの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）として得た状態を示す図である。
【００５９】
図１１を参照して、本実施の形態の撮像装置１０が被写体５の画像情報を取得する処理のフローについて説明する。以下の処理は、制御部４の制御によって行われる。
【００６０】
まず、制御部４は駆動部３を制御して、第１の撮像素子２１ａの位置を設定する（ステップＳ１０１）。具体的には、制御部４は、駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａが被写体５を撮像可能な撮像ポイントＦに配置する。なお、第２、第３の撮像素子２１ｂ、２１ｃは被写体５を撮像可能な撮像ポイントに固定配置されている。
【００６１】
続けて、第１の撮像素子２１ａを所定量、所定の方向にシフトして撮像する（ステップＳ１０２）。
具体的には、制御部４は駆動部３を制御して第１の撮像素子２１ａを移動させ、第１の撮像素子２１ａを、入射光に対して垂直な面の方向Ｘ、Ｙにサブピクセルの単位で、被写体５を撮像するために適当な所定の撮像位置（基本位置［１］から移動位置［２］〜移動位置［３］を経て移動位置［４］）までシフトして撮像を行う。撮像は、第１〜第３の撮像素子２１ａ〜２１ｃで同期をとって同時に行う。
【００６２】
続けて、撮像を行ったことによる第１〜第３の撮像素子２１ａ〜２１ｃからの出力値（撮像情報）を入力する（ステップＳ１０３）。
具体的には、制御部４は撮像部２を制御して撮像を行い、第１〜第３の撮像素子２１ａ〜２１ｃのそれぞれの画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ）、Ｐｂ（１，１）〜Ｐｂ（ｍ，１）、Ｐｃ（１，１）〜Ｐｃ（１，ｎ）から出力される出力値（撮像情報）を入力して、記憶部７に記憶する。
【００６３】
続けて、画素値を算出する（ステップＳ１０４）。
具体的には、制御部４は第１〜第３の撮像素子２１ａ〜２１ｃのそれぞれの画素情報取得領域Ｐａ（１，１）〜Ｐａ（ｉ，ｊ）、Ｐｂ（１，１）〜Ｐｂ（ｍ，１）、Ｐｃ（１，１）〜Ｐｃ（１，ｎ）からの複数の撮像位置での出力値（撮像情報）から、それぞれの被写体５の画素情報であるサブピクセルの画素値Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）を算出し、記憶部７に記憶する。
【００６４】
ステップＳ１０４において、制御部４が、被写体５の全ての画素情報であるサブピクセルの画素値が算出されると、算出した全画素値を記憶部７に、対応する被写体５の位置情報と対応付けて被写体５の画像情報として記憶する（ステップＳ１０５）。また、必要に応じて、算出した全画素値に基づいて画像を表示する。具体的には、制御部４は表示部８を制御して、記憶部７に記憶された被写体５の全ての画素情報に基づいて被写体５の画像を表示する。これをもって、画像情報取得処理は終了する。
【００６５】
本実施の形態の撮像装置１０は、第１の撮像素子２１ａで、被写体５からの入射光を４つのパターンＩ〜ＩＶに分けて撮像する。また、同時に第２、第３の撮像素子２１ｂ、２１ｃで、被写体５からの入射光を撮像する。これにより、第１の撮像素子２１ａの受光素子からの、異なるパターンＩ〜ＩＶでの出力値（撮像情報）を取得すると共に、第２、第３の撮像素子２１ｂ、２１ｃの受光素子からの、１画素の４分の１ごとの出力値（撮像情報）を取得するステップ（ステップＳ１０３）と、第１〜第３の撮像素子２１ａ〜２１ｃの受光素子からの複数の出力値（撮像情報）から、第１の撮像素子２１ａの各々の受光素子による受光領域よりも小さな面積（４分の１画素）における受光量に応じた画素値（画素情報）を算出するステップ（ステップＳ１０４）と、ステップＳ１０４によって算出された画素値（画素情報）を被写体５の位置と対応付けて画像情報として記憶するステップ（ステップＳ１０６）と、を含む撮像方法を実行する。
かかる撮像方法は、第１の撮像素子２１ａを変位させるごとの１画素に対応した出力値と、第２、第３の撮像素子２１ｂ、２１ｃの１画素よりも小さな面積に対応した出力値とに基づいて、一層微細な被写体５の画素値（Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）、Ｄ（ｉ，ｊ）のいずれか）を得ることができるので、第１の撮像素子２１ａの受光素子の画素密度を上げる必要ない。つまり、画素密度が低くコストが低い撮像素子をできるだけ用いて、本実施例では４倍の高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。また、第１の撮像素子２１ａに遮光板を設ける必要も無く、遮光板を設けることによる弊害もない。つまり、遮光板を用いないことから、回折光がなく、迷光の影響がなく、より高精度な画像を得ることができる。
【００６６】
なお、本実施の形態では、第１の撮像素子２１ａを用いて、画素領域を１画素の２分の１に相当する距離ごとに段階的にシフトして被写体５を撮影する処理を、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像情報を取得するように繰り返して被写体５を撮影する場合について説明した。すなわち、被写体５を、１画素を４分割したサブピクセルの精度で撮影する場合を例に説明した。しかしながら、３つの撮像素子を用いて画素領域をシフトする距離は１画素の２分の１に相当する距離に限定されない。使用する撮像素子の数も限定されない。また、画素領域をシフトする方向も横方向と縦方向で異なってもよい。Ｘ、Ｙを任意の自然数とすると、被写体５を横方向及び縦方向にそれぞれ１画素のＸ分の１及び１画素のＹ分の１に相当する距離ごとにシフトして撮影する処理を、１画素をＸにＹを乗じて得られた整数個に分割したサブピクセルの精度で撮影する場合も同様の手順で実行することができる。
【００６７】
さらに、本実施の形態の撮像装置１０は、第１〜第３の撮像素子２１ａ〜２１ｃにより４つのパターンＩ〜ＩＶで撮像して得た複数の撮像情報の違いから、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積における受光量に応じた画素値を算出する算出手段である制御部４と、制御部４によって算出された画素値を被写体５の位置と対応付けて記憶する記憶部７と、をさらに備えることができる。よって、本実施の形態の撮像装置１０は、パターンＩ〜ＩＶを異ならせた複数の撮像情報の違いから、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積における受光量に応じた画素値を算出し、算出した画素値を被写体５の位置と対応付けて記憶することができる。したがって、撮像装置１０は、第１の撮像素子２１ａの受光素子の各々の受光面よりも小さな面積に対応した画素値に基づく、一層微細な被写体５の画像情報を取得することができる。
【００６８】
さらに、本実施の形態の撮像装置１０によると、第１の撮像素子２１ａの位置を、第１の撮像素子２１ａの受光素子の寸法よりも小さな距離ずつ変位させた、異なるパターンＩ〜ＩＶにシフトさせる駆動部３を備える。かかる構成により、本実施の形態の撮像装置１０は、第１の撮像素子２１ａの受光素子の寸法よりも小さな距離ずつ変位させることができるので、第１の撮像素子２１ａの受光素子をその寸法より小さな距離ずつ変位させながら、第１の撮像素子２１ａの受光素子の受光面よりも小さな面積に対応した画素値（画素情報）に基づく、一層微細な被写体５の画像情報を得ることができる。
【００６９】
したがって、第１の撮像素子２１ａの受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体５の画像情報を得ることができる。第１の撮像素子２１ａはコストの低い画素密度が低い撮像素子を用い、第２、第３の撮像素子２１ｂ、２１ｃは一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、低画素のイメージセンサをできるだけ用いて高画素の画像を取得できる。よって、本実施の形態の撮像装置１０は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【００７０】
本実施の形態の撮像装置１０は、ステップＳ１０４において、パターンＩ〜ＩＶにより異なる撮像情報の違いから求まる、３つの既知の４分の１画素の画素値を、これら３つの既知の画素値と未知の４分の１画素の画素値とで構成される第１の撮像素子２１ａの画素情報取得領域の１画素分の出力値から、差し引くことで、未知の画素値、すなわち目的とする画素値を求めるステップを含む撮像方法を実行する。
【００７１】
また、本実施の形態では、被写体５を、１画素を４分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。本実施の形態では、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、シフトさせて被写体５を撮影するとしたが、本発明はこれに限定されない。
【００７２】
例えば、Ｘ、Ｙを任意の自然数とすると、第２、第３の撮像素子２１ｂ、２１ｃとしてそれぞれ横方向に１画素のＸ分の１及び縦方向に１画素のＹ分の１に相当する画素値を得る撮像素子を用い、被写体５の２辺に対して、横方向及び縦方向にそれぞれ１画素のＸ分の１及び１画素のＹ分の１に相当する距離ごとに段階的にシフトした撮影位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置で、繰り返して被写体５を撮影することでもよい。これにより、同様の手法で、１画素をＸにＹを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
かかる実施の形態の撮像装置では、第２、第３の撮像素子２１ｂ、２１ｃの１画素あたりの数を変化させることで、撮像する画像の解像度又は撮像する画像を構成する画素数情報を任意に増やすことができる。
【００７３】
すなわち、駆動部３は、第１の撮像素子２１ａを、第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２、第３の撮像素子２１ｂ、２１ｃが交わる端部の１画素の領域で第１の撮像素子２１ａの端部を第２、第３の撮像素子２１ｂ、２１ｃが画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、シフトさせる。
第１〜第３の撮像素子２１ａ〜２１ｃは、駆動部３によって第１の撮像素子２１ａが撮像位置に駆動される都度、撮像を行う。記憶部７は、第１〜第３の撮像素子２１ａ〜２１ｃが生成する信号電荷に基づいて撮像情報を取得する。記憶部７は撮像情報取得部を構成する。
さらに制御部４は、撮像部２が駆動部３によって駆動された撮像位置ごとに算出した撮像情報の違い、すなわち撮像位置ごとの第１〜第３の撮像素子２１ａ〜２１ｃが生成した信号電荷の違いに基づき、被写体５の一部に対応する画素情報を１画素より小さい単位で算出する。制御部４は画素情報算出部を構成する。
制御部４は、こうして算出された画素情報を被写体の位置と対応付けて画像情報として記憶部７に記憶する。記憶部７は画素情報記憶部を構成する。
【００７４】
なお、本実施の形態では、被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃに同時に３つに分光する分光器２４を備えており、第１〜第３の撮像素子２１ａ〜２１ｃで同時に撮像を行っていた。分光器２４は分光部を構成する。しかしこれに限られない。分光器を備えず、パターンＩ〜ＩＶのそれぞれにおいて、被写体５からの入射光を第１〜第３の撮像素子２１ａ〜２１ｃを切り替えて順に撮像して行くものでもよい。
【００７５】
以上説明したように本発明によれば、第１撮像素子の受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画像情報を得ることができる。第１撮像素子はコストの低い画素密度が低い撮像素子を用い、第２、第３撮像素子は一列だけコストの高い画素密度が高い撮像素子を用い、トータルで撮像素子に用いるコストが低くて済む。このように、低画素のイメージセンサをできるだけ用いて高画素の画像を取得できる。よって、本発明の撮像装置は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
また、第１撮像素子に遮光板を設ける必要も無く、遮光板を設けることによる弊害もない。つまり、遮光板を用いないことから、回折光がなく、迷光の影響がない。よって、第１撮像素子の精度が悪化せず、第１撮像素子の撮像情報の誤差が無い分、より精度よくサブピクセルの単位で画像情報を取得することができる。
【００７６】
本発明の撮像装置では、３枚の撮像素子のうち１つを１画素より小さい単位で移動させて撮像を行うだけでよいので、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す従来の方法と比べて、処理は非常に簡便である。したがって、本発明によると、撮像素子の移動に要する時間を短くして、撮像に要する全体の時間を短縮して解像度の高い画像を取得することができる。
【００７７】
本発明では、３つの撮像素子が撮像位置に配置されるごとに撮像によって得られる、複数の撮像素子の各々が生成する信号電荷（撮像情報）に基づいて、被写体の一部に対応する画素情報を１画素より小さい単位で算出し、算出された画素情報を被写体の位置と対応付けて画像情報として記憶することができる。
【００７８】
本発明における第１撮像素子が、第２及び第３撮像素子が画素情報を生成する１画素より小さい単位ずつで段階的にずらした撮像位置であって、第２及び第３撮像素子が交わる端部の１画素の領域で被写体の端部を第２及び第３撮像素子が画素情報を生成する１画素より小さい単位で変化させて撮像する複数の撮像位置に、移動して撮像するように第１撮像素子を駆動すればよい。
【００７９】
本発明は、このように構成された撮像素子が、撮像位置に配置される都度、撮像を行う。そして、こうした複数の撮像位置の撮像素子が生成する信号電荷（撮像情報）に基づいて、被写体の一部に対応する画素情報を１画素のＸにＹを乗じて得られた整数分の一の単位で算出することができる。
【００８０】
本発明では、被写体からの入射光を第１、第２及び第３撮像素子に分光する分光部を備えるので、第１、第２及び第３撮像素子は同時に分光された入射光を受光して撮像することができる。これによって、第１、第２及び第３撮像素子でそれぞれ別に撮像を行った場合の入射光のちらつき等の輝度の差による撮像情報の誤差が生じない。したがって、撮像情報の誤差が無い分、より精度よくサブピクセルの単位で画像情報を取得することができる。
【００８１】
以上説明したように本発明では、第１撮像素子を１画素より小さい単位で移動させて撮像することによって、サブピクセルの単位で画像情報を取得することができる。
【００８２】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施の形態では、被写体を、１画素を４分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。
例えば、Ｍを任意の自然数とすると、第２、第３撮像素子にＭ分の１画素分の入射光を入射させ、第１撮像素子を移動させて撮像する場合は、第２、第３撮像素子が交わる端部の１画素の領域において、その端部の第１撮像素子の画素情報取得領域を、Ｍ分の１画素分ずつ段階的にずらして第１撮像素子を移動させながら、被写体をＭ回撮像して撮像情報を取得し、撮像情報の違いからＭ分の１画素相当の画素情報を算出すればよい。
【００８３】
なお本発明は、ワークの位置を測定するための装置のみならず、撮像素子を備えた電子機器一般に適用することができる。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００８６】
２…撮像部
３…駆動部
４…制御部（画素情報算出部）
５…被写体
７…記憶部（撮像情報取得部、画素情報記憶部）
８…表示部
１０…撮像装置
２１ａ…第１の撮像素子
２１ｂ…第２の撮像素子
２１ｃ…第３の撮像素子
２４…分光器（分光部）
２６…遮光膜
【特許請求の範囲】
【請求項１】
被写体からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域を、横方向及び縦方向に配列して複数有する第１撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子と、
前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させる駆動部と、
前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を取得する撮像情報取得部と、
前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報を１画素より小さい単位で算出する画素情報算出部と、
前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する画像情報記憶部と、
を備えたことを特徴とする撮像装置。
【請求項２】
被写体からの入射光を前記第１、第２及び第３撮像素子に分光する分光部をさらに備え、
前記撮像情報取得部は、前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域を、横方向及び縦方向に配列して複数有する第１撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子と、
を備えた撮像装置を用いて被写体を撮像する撮像方法であって、
駆動部によって、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させるステップと、
撮像情報取得部によって、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を取得するステップと、
画素情報算出部によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報を１画素より小さい単位で算出するステップと、
画像情報記憶部によって、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶するステップと、
を含むことを特徴とする撮像方法。
【請求項１】
被写体からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域を、横方向及び縦方向に配列して複数有する第１撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子と、
前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させる駆動部と、
前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を取得する撮像情報取得部と、
前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報を１画素より小さい単位で算出する画素情報算出部と、
前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する画像情報記憶部と、
を備えたことを特徴とする撮像装置。
【請求項２】
被写体からの入射光を前記第１、第２及び第３撮像素子に分光する分光部をさらに備え、
前記撮像情報取得部は、前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を同時に取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体からの入射光を変換して１画素分の画素情報を取得する画素情報取得領域を、横方向及び縦方向に配列して複数有する第１撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された横方向の一端に一列に複数有する第２撮像素子と、
被写体からの入射光を変換して１画素より小さい単位で画素情報を取得する画素情報取得領域を、前記第１撮像素子の配列された縦方向の一端に一列に複数有する第３撮像素子と、
を備えた撮像装置を用いて被写体を撮像する撮像方法であって、
駆動部によって、前記第１撮像素子を、前記第２及び第３撮像素子が画素情報を取得する１画素より小さい単位ずつずらした複数の撮像位置に移動させるステップと、
撮像情報取得部によって、前記第１撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記第１、第２及び第３撮像素子の撮像によって得られる撮像情報を取得するステップと、
画素情報算出部によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、被写体の画素情報を１画素より小さい単位で算出するステップと、
画像情報記憶部によって、前記画素情報算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶するステップと、
を含むことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−５１４６６（Ｐ２０１３−５１４６６Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８６８４８（Ｐ２０１１−１８６８４８）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]