撮像装置及び撮像方法
【課題】画素密度が低くコストが低い撮像素子を用い、解像度の高い画像を得る撮像装置を提供する。
【解決手段】被写体5を撮像する撮像素子21と、撮像素子21の受光面に形成される遮光膜26と、撮像素子21を1画素より小さい単位ずつをずらした複数の撮像位置に段階的に移動させる駆動部3と、撮像素子21の撮像によって得られる撮像情報を取得する記憶部7と、撮像位置ごとに算出した撮像情報の違いに基づき、被写体5の画素情報を1画素より小さい単位で算出する制御部4と、算出された画素情報を被写体の位置と対応付けて画像情報として記憶する記憶部7と、を備えた。
【解決手段】被写体5を撮像する撮像素子21と、撮像素子21の受光面に形成される遮光膜26と、撮像素子21を1画素より小さい単位ずつをずらした複数の撮像位置に段階的に移動させる駆動部3と、撮像素子21の撮像によって得られる撮像情報を取得する記憶部7と、撮像位置ごとに算出した撮像情報の違いに基づき、被写体5の画素情報を1画素より小さい単位で算出する制御部4と、算出された画素情報を被写体の位置と対応付けて画像情報として記憶する記憶部7と、を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を撮像する撮像装置及び撮像方法に関する。
【背景技術】
【0002】
従来、製品や金型、治具等の形状を測定し、測定結果に基づき製造装置等の調整を行っている。このような作業において、高解像度の固体撮像素子を搭載した撮像装置が用いられる。固体撮像素子として、CCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子等が挙げられる。
また、特許文献1には、限られた画素数の撮像素子を用いて高い解像度を得るため、受光面を振動させる固体撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開昭60−18958号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、撮像装置の解像度は、一般的に、撮像素子の有効画素数に応じて増加する。しかし、撮像素子の有効画素数を向上するためには、通常、撮像素子が有する受光素子の画素密度を増加する必要がありコストがかかる。一方で、受光素子の数を増やさずに解像度を向上させることを目的として、受光素子の画素密度が高い撮像範囲の狭い撮像素子を用い、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す方法がある。この場合、得られた画像を、相対的な位置関係を確認しながら、繋ぎ合わせる必要があるため、繋ぎ合わせる画像同士の相対的な位置関係を計算しなければならない。撮像素子の移動距離が増大すると、移動によって生じる位置ズレを考慮して、画素間の相関を計算する必要が生じ、ここでも誤差が発生し易くなるという課題があった。
【0005】
特許文献1に開示された固体撮像装置は、例えば、インターライン転送方式において、感光部に蓄積された信号電荷を信号ブランキング期間に垂直CCDレジスタに転送し、次のフィールド有効期間中に読み出すものであるが、解像度を向上するための詳細については示されていない。
【0006】
そこで本発明は、上述の課題を鑑みて、画素密度が低くコストが低い撮像素子を用い、解像度の高い画像を得る撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、被写体(例えば、後述の被写体5)からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域(例えば、後述の画素情報取得領域P(1,1)〜P(i,j))を、縦方向及び横方向に配列して複数有する撮像素子(例えば、後述の撮像素子21)と、前記撮像素子の受光面に形成される遮光膜(例えば、後述の遮光膜26)であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置(例えば、後述の基本位置[1]〜移動位置[4])に段階的に移動させる駆動部(例えば、後述の駆動部3)と、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報(例えば、後述の出力値)を取得する撮像情報取得部(例えば、後述の記憶部7)と、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体5の画素情報(例えば、後述の画素値)を1画素より小さい単位で算出する画素情報算出部(例えば、後述の制御部4)と、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画像情報記憶部(例えば、後述の記憶部7)と、を備えたことを特徴とする撮像装置(例えば、後述の撮像装置10)を提供することである。
【0008】
本発明の第1の態様によると、画素密度が低くコストが低い撮像素子を用い、解像度の高い画像を得ることができる。
また、撮像素子の受光面に遮光膜が形成されるので、撮像素子の受光エリアと遮光膜との境界近傍に入射する光からは、撮像素子の遮光エリアへの回折光が生じ難くなる。また、撮像素子の受光エリアと遮光膜との境界近傍から撮像素子の遮光エリアに直接入射する迷光が生じ難くなる。このため、撮像素子の遮光エリアのノイズの影響を低減することができる。
【0009】
本発明の第2の態様は、被写体(例えば、後述の被写体5)からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域(例えば、後述の画素情報取得領域P(1,1)〜P(i,j))を、縦方向及び横方向に配列して複数有する撮像素子(例えば、後述の撮像素子21)と、前記撮像素子の受光面に形成される遮光膜(例えば、後述の遮光膜26)であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、を備えた撮像装置(例えば、後述の撮像装置10)を用いて被写体を撮像する撮像方法であって、駆動部(例えば、後述の駆動部3)によって、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置(例えば、後述の基本位置[1]〜移動位置[4])に段階的に移動させるステップと、撮像情報取得部(例えば、後述の記憶部7)によって、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報(例えば、後述の出力値)を取得するステップと、画素情報算出部(例えば、後述の制御部4)によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報(例えば、後述の画素値)を1画素より小さい単位で算出するステップと、画像情報記憶部(例えば、後述の記憶部7)によって、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップと、を含むことを特徴とする撮像方法を提供することである。
【0010】
本発明の第2の態様によっても、上記撮像装置の発明と同様な効果を得ることができる。
【発明の効果】
【0011】
本発明によれば、画素密度が低くコストが低い撮像素子を用いて高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施の形態に係る撮像装置の概略図である。
【図2】図1の撮像装置を構成する撮像素子の構成を示すブロック図である。
【図3】図1の撮像装置を構成する撮像部の概略図である。
【図4】図3の撮像装置を構成する撮像素子と遮光膜との関係を示す図である。
【図5】撮像素子と遮光部位との関係を説明する図である。
【図6】遮光膜を形成した撮像素子の一例を示す図である。
【図7】図6の撮像素子を駆動することにより生成可能な被写体に対するパターンを示す図である。
【図8】図6の撮像素子の端部を形成する画素情報取得領域と遮光膜との関係を示す図である。
【図9】被写体の画像情報領域を示す図である。
【図10】図7の撮像素子の複数の画素情報取得領域の基本位置[1]における出力値と遮光膜との関係を示す図である。
【図11】図7の撮像素子の最上部を構成する複数の画素情報取得領域の移動位置[2]における出力値と遮光膜との関係を示す図である。
【図12】図7の撮像素子の最左部を構成する複数の画素情報取得領域の移動位置[3]における出力値と遮光膜との関係を示す図である。
【図13】図7の撮像素子の最上部を構成する複数の画素情報取得領域の移動位置[4]における出力値と遮光膜との関係を示す図である。
【図14】図7の撮像素子によって取得された被写体の画素情報を示す図である。
【図15】図2の撮像装置が実行する画像情報を取得する処理のフロー図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施の形態]
図1〜図15を参照して、本発明の第1の実施の形態に係る撮像装置の概略について説明する。
【0014】
図1は、本発明の第1の実施の形態に係る撮像装置の概略図であり、図2は、本実施の形態に係る撮像装置の撮像素子の構成を示すブロック図である。
【0015】
図1に示す撮像装置10は、被写体5を撮影して電気信号に変換する撮像素子21を含む撮像部2と、撮像素子21を駆動する駆動部3と、撮像素子21、撮像部2及び駆動部3を制御する制御部4と、撮像部2によって撮像された被写体5の画像データを記憶する記憶部7と、画像データに基づいて被写体5の画像を表示する表示部8と、を含む。
【0016】
撮像部2は、撮像素子21の他、被写体5からの光を後述する撮像位置に配置された撮像素子21に結像させる不図示の撮像レンズを含む。撮像位置に配置された撮像素子21は、撮像レンズによって結像される被写体5からの入射光を電気信号に変換する。撮像素子21は、撮像レンズによって自身に投影されて結像される被写体5を光電変換する受光素子を複数備えたCCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子等によって構成される。撮像部2は撮像手段の機能を有する。
【0017】
駆動部3は、撮像素子21を、被写体5を撮像するために適切な撮像位置に駆動する。駆動部3の詳細については後述する。
【0018】
本実施の形態では、制御部4と記憶部7と表示部8とは、コンピュータ9の一部として構成される。制御部4は、図示を省略するが、撮像装置10が各種機能を実行するためのプログラムが記憶されたROM(Read Only Memory)と、ROMに記憶されたプログラムを実行して撮像装置10の各種機能を実現するCPU(Central Processing Unit)と、CPUが各種の処理を実行する上において必要なデータ等が適宜記憶されるRAM(Random Access Memory)等とによって構成される。
【0019】
制御部4は、駆動部3を制御して撮像素子21を移動させ、撮像素子21を撮像位置に配置する。さらに、制御部4は、撮像素子21から出力される電気信号を処理して、画像データ(画像情報)を生成し、生成した画像データを記憶部7に記憶する。さらに制御部4は、生成した画像データに基づいて表示部8に撮像素子21が撮像した画像を表示する。また、制御部4は、撮像素子21から出力される電気信号を処理する際に、後述する演算処理を実行する。
【0020】
表示部8は、液晶ディスプレイ等によって構成される。記憶部7は、RAM(Random Access Memory)、ROM(Read Only Memory)及びハードディスク等によって構成される。
【0021】
[撮像素子の構成]
次に、図2を参照して、撮像素子21の基本構成について説明する。撮像素子21は、二次元に配列された複数の受光素子から構成されている。受光素子の各々は所定の面積を有する受光面を含む。受光素子の各々は、この受光面に入射光を受光すると光電変換を実行して、受光面あたりの受光量に応じて、1画素に相当する信号電荷を生成する。この受光素子の各々が有する受光面を、以後、「画素情報取得領域」と呼ぶ。このため、この受光素子を二次元に配列して形成される撮像素子21が有する受光面全体は、受光素子ごとに、各々が1画素に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。
【0022】
図2に示すように、撮像素子21の受光面を形成する画素情報取得領域の数によって撮像素子21の総画素数は決定される。例えば、i,jを任意の自然数とすると、横方向に配設された画素情報取得領域の数、すなわち、横画素数をi、縦方向に配設された画素情報取得領域の数、すなわち、縦画素数をjとすると、この撮像素子21の総画素数はi×jとなる。また、画素情報取得領域は、受光素子の受光面に相当する。
【0023】
すなわち、撮像素子21は、受光素子U(1,1)、U(2,1)、U(3,1)、・・・・、U(1,2)、U(1,3)、・・・・、U(i,j)を有する。受光素子U(1,1)、U(2,1)、U(3,1)、・・・・、U(1,2)、U(1,3)、・・・・、U(i,j)の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)として表す。
【0024】
ここで、図2では不図示であるが、撮像素子21の一部は、撮像素子21に入射する光の一部を遮光するように形成された遮光膜26で覆われている。つまり、遮光膜26が、撮像素子21の受光面の一部に形成されている。
【0025】
図4(A)に、本実施の形態の撮像素子21と遮光膜26との関係を示す。図4(A)に示すように、本実施の形態では、撮像素子21の受光エリアの一部に直接遮光膜26が形成され遮光エリアを設けている。すなわち、遮光膜26は、撮像素子21の保護膜28の内部に、撮像素子21の表面に貼り付けて形成されている。このため、受光エリアに入射する光L1と保護膜28に入射する光L2には通常の吸収と反射が行われる。また、受光エリアと遮光膜26との境界近傍に入射する光からは、撮像素子21の遮光エリアへの回折光が生じ難い。また、受光エリアと遮光膜26との境界近傍から撮像素子21の遮光エリアに直接入射する迷光が生じ難い。このため、撮像素子21の遮光エリアのノイズの影響を低減することができる。
【0026】
参考までに、図4(B)に、従来の撮像素子21と遮光板6との関係を示す。遮光板6は撮像素子21を覆う保護膜28の上方に配置される。このため、撮像素子21と遮光板6との間には一定の距離がある。したがって、遮光板6の境界部に入射する光L3により生じる回折光LS1、LS2は大きくなり、撮像素子21の遮光エリアに入射してノイズの原因になる。また、遮光板6の境界部から撮像素子21の遮光エリアに直接入射する迷光L4が生じ、ノイズの原因になる。
【0027】
このように、遮光板6に代えて、図4(A)に示すような遮光膜26を設けることにより、遮光により生じる可能性のあった回折光及び迷光が軽減される。
【0028】
撮像素子に遮光膜を形成する場合の一例について説明する。例えば、撮像素子は図5に示すように使用されてきた。有効画素信号が第1フィールドと第2フィールドと併せて493ラインあるとする。第1フィールドで、有効画素信号の1番目のラインと248番目のラインは、フィールド読み出しの片側の画素信号に光学的黒が含まれるため、実質的には活用されていない。さらに、右側に位置する水平の40画素の光学的黒も、撮像素子21の受光エリアに光が入射しないように遮光されている。水平の40画素の信号は映像信号の黒基準に使われている。左側に位置する22画素分の水平空送り信号は、暗電流成分が少ないため、画素信号に含まれる暗電流の大きさを見る基準として使われてきた。
【0029】
このように、黒補正として遮光された画素は存在したが、1画素の数分の1に相当する単位で意図的に光の受光を制御するためには使用されて来なかった。本実施の形態では、例えば、撮像素子の中でこの黒補正や暗電流測定で使用されてきた部分に、1画素の数分の1に相当する単位で入射光を遮光する遮光膜26を形成する。このようにして、従来注目されてこなかった撮像素子の周辺部分を有効活用する。
【0030】
遮光膜26が形成された撮像素子21の一例を図6に示す。遮光膜26は撮像素子21を1画素の任意の数分の1に相当する単位で遮光するように形成すればよい。ここでは、本実施の形態として、1画素を4分割して画素情報を得る場合を例に説明する。
【0031】
撮像素子21は、撮像素子21の最端部を形成する縦横の2辺にL字型の遮光膜26が形成されている。ここでは、上側と左側の2辺を遮光するようになっているが、縦横2辺であればどの辺を遮光しても構わない。なお、本発明としては、少なくとも縦横2辺のうち少なくとも一方であってもよい。つまり、本発明の遮光膜は、複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う。
【0032】
このL字型の遮光膜26によって撮像素子21の最左上端部を形成する画素情報取得領域P(1,1)は4分の3画素分が遮光され、画素情報取得領域P(2,1)、P(3,1)、P(1,2)、P(1,3)は、2分の1(4分の2)画素分だけ遮光されることになる。残りの画素情報取得領域P(2,2)、P(3,2)、P(2,3)、P(3,3)は遮光されない。
【0033】
ここでは、理解を容易にするため、9個の画素情報取得領域のみについて説明したが、撮像素子21が有する画素情報取得領域の数は任意である。遮光膜26は、撮像素子21をサブピクセルの単位で同様のパターンで遮光するように形成されていればよい。すなわち、図6のケースでは、遮光膜26は、撮像素子21の左端部と上端部とを遮光するように形成されていればよい。
【0034】
[撮像部の構成]
図3に戻って、本実施の形態に係る撮像装置10では、撮像部2は撮像素子21を備えている。駆動部3は制御部4の制御に基づいて撮像素子21を複数の撮像位置に駆動する。ここで、撮像素子21は、入射光を適切に受光し、被写体を撮像可能な撮像ポイントFに配置される。駆動部3は、撮像ポイントFに位置する撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動させる(図3(B)参照)。すなわち、駆動部3は、撮像素子21を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させる。駆動部3の駆動機構は、圧電素子アクチュエータ、距離センサ等により構成することができる。
【0035】
図7に、駆動部3により図6の撮像素子21を駆動することにより画素情報取得領域が取り得る被写体5に対する複数の撮像位置を示す。
【0036】
撮像ポイントFに配置された撮像素子21は、駆動部3により被写体5からの入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動して、所定の撮像位置に設定される。駆動部3が撮像素子21を入射光に対して垂直な面の方向に移動させることによって、様々なパターンを形成することができる。撮像素子21が入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動して図7に示すパターンI〜IVのそれぞれに相当する撮像情報を取得する場合について説明する。
図7に、パターンI〜IV毎の撮像素子21の位置を示す図7(A)〜図7(D)と、パターンI〜IVに相当する撮像情報を取得するために必要な、撮像素子21のパターンIを基準とする移動方向と移動量(位相ズレ量)の表を示す図7(E)とを示す。
【0037】
図7(A)及び図7(E)に示すように、撮像素子21は基本位置では、パターンIにおける撮像情報を取得することができる。この位置を基本位置[1]とする。
【0038】
さらに、図7(B)及び図7(E)に示すように、撮像素子21は基本位置[1]よりX軸に沿って紙面右方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIIにおける撮像情報を取得することができる。この位置を移動位置[2]とする。
【0039】
また、図7(C)及び図7(E)に示すように、撮像素子21は、基本位置[1]よりY軸に沿って紙面下方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIIIにおける撮像情報を取得することができる。この位置を移動位置[3]とする。
【0040】
さらに、図7(D)及び図7(E)に示すように、撮像素子21は基本位置よりX軸に沿って紙面右方向に2分の1ピクセル、Y軸に沿って紙面下方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIVにおける撮像情報を取得することができる。この位置を移動位置[4]とする。
【0041】
このように、遮光膜26が形成された撮像素子21を入射光に対して垂直の方向にサブピクセルの単位で移動させることによって、撮像素子21はサブピクセルの単位でずれた撮像情報を得ることができる。
【0042】
遮光膜26を用いた場合と同様に、他の遮光膜を用いることにより、1画素を4分割した画素情報を得るのみならず、1画素を任意の自然数の整数倍に分割した画素情報を得ることができる。例えば、X、Yを任意の自然数とすると、1画素をX×Y分割することが可能である。例えば、1画素を9分割して画素情報を得る遮光膜の構成としてもよい。
【0043】
[撮像処理]
このようにして構成された撮像素子21を用いて、被写体を効率的に撮像する処理について、以下、図8から図14を参照して説明する。
【0044】
図8に、最初に被写体5を撮像素子21のパターンI〜IVを用いて撮像する際に遵守すべき、撮像素子21に形成された遮光膜26と撮像素子21の端部を形成する画素情報取得領域と、撮像素子21に結像される被写体5との間の位置関係を示す。
【0045】
図8(1)に示すように、例えば、撮像素子21において遮光膜26は、撮像素子21の最端部を形成する少なくとも2辺を部分的に遮光するように形成されている。図8(1)右側に、撮像素子21の最左上端部の画素情報取得領域P(1,1)と遮光膜26との関係を拡大してより詳細に示す。撮像素子21の実線で囲まれた部分が撮像素子21の最左上端部の画素情報取得領域P(1,1)を表している。画素情報取得領域P(1,1)は、撮像素子21の最左上端部に入射する光を受光すると、1画素分に相当する画素情報を取得して出力するようになっている。図8(1)に示す位置において、遮光膜26は、画素情報取得領域P(1,1)に入射する光のうち、上端部及び左端部のそれぞれ1画素の4分の3相当が遮光されるように配置されている。このため、画素情報取得領域P(1,1)は、実際には1画素の4分の1相当のサブピクセル単位の画素情報を出力することになる。
【0046】
同様に、L字型の遮光膜26は、撮像素子21に結像される被写体5のうち、撮像素子21の画素情報取得領域P(1,1)を有する2辺に相当する画素情報取得領域P(1,1)以外の画素情報取得領域に対しても、縦方向及び横方向にそれぞれ1画素の2分の1相当が遮光されるように配置される。この結果、図8(2)に示す位置において、遮光膜26は同様に、最端部の縦方向及び横方向の2辺を形成する画素情報取得領域、すなわち、上端部の画素情報取得領域P(2,1)、P(3,1)、・・・・、P(i,1)、及び左端部の画素情報取得領域P(1,2)、P(1,3)、・・・・、P(1,j)に対しても、上端部及び左端部に入射する光のうち、それぞれ1画素の2分の1相当を遮光する。したがって、画素情報取得領域P(2,1)、P(3,1)、・・・・、P(i,1)、及び画素情報取得領域P(1,2)、P(1,3)、・・・・、P(1,j)は、実際には1画素の2分の1相当のサブピクセル単位の画素情報を出力することになる。
【0047】
続いて、本実施の形態の撮像処理について説明する。本実施の形態では、駆動部3を制御して、撮像素子21を、遮光膜26が覆った残りの1画素に満たない単位(1画素の4分の1)ずつを段階的にずらした複数の撮像位置に移動して被写体5を撮影する処理を、それぞれ遮光膜26が覆った残りの1画素に満たない単位(1画素の4分の1)で1画素分撮像するまで段階的に繰り返して被写体5を撮像する。つまり、本実施の形態では、デフォルトを入れて被写体5を4回撮像する。
【0048】
<最端部の画素情報取得領域に着目した処理>
まず、理解を容易にするため、被写体5を撮像する撮像素子21のパターンI〜IVを用いるように各所定の撮像位置に設定する動作と、撮像素子21のパターンI〜IVからの出力値との関係を、最端部の画素情報取得領域P(1,1)と被写体5に着目して説明する。本実施の形態では、撮像素子21のパターンI〜IVによって、4つの異なる撮像情報が得られる。
【0049】
以下の処理では、最左上端部の1画素の4分の1に規定した、画素情報取得領域P(1,1)のサブピクセルの小領域に着目して考える。これにより、撮像素子21のパターンI〜IVの撮像位置ごとに取得した4つの撮像情報の違いに基づき、被写体5の画素情報を1画素より小さい単位で算出する。
図9に、撮像素子21によって撮像される被写体5の画像情報領域を示す。図9に示すように、撮像される被写体5は、1画素の4分の1ごとの画像情報領域g(m,n)で区画される。ここで、m,nは0から始まる整数であり、総数m,nは画素情報取得領域P(i,j)におけるi,jの2倍の数となる。なお、画像情報領域g(m,n)におけるm又はnが0のときは、被写体5の撮像範囲から外れた部分の領域である。
駆動部3は、最端部の画素情報取得領域P(1,1)での撮像が画像情報領域g(1,1)、g(2,1)、g(1,2)、g(2,2)のそれぞれとなるように、撮像素子21を所定の撮像位置に移動させながら、遮光膜26を用いて1画素の4分の1に対応する単位で縦方向と横方向の画素情報領域を切り替える。
【0050】
結果として、横方向には、最端部の被写体5における画像情報領域g(1,1)に連なる縦方向に配列された一行の画像情報領域が1画素に相当する領域分を撮像するまで、また、縦方向には、最端部の被写体5における画像情報領域g(1,1)に連なる横方向に配列された一列の画像情報領域が1画素に相当する領域分を撮像するまで、撮像素子21をパターンI〜IVとなるように、所定の位置に移動させる。したがって、遮光膜26を用いて1画素の4分の1に対応する単位で縦方向と横方向の左上端部の被写体5が1画素分撮像されるまで変更されることになる。
【0051】
まず、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(1,1)を撮像する。この時の撮像素子21の被写体5に対する位置を基本位置[1]とする。
【0052】
図10は、基本位置[1]における撮像素子21の位置と被写体5との関係を、最左上端部の画素情報取得領域P(1,1)に着目して示す図である。このように最左上端部の画素情報取得領域P(1,1)の上部と左部がそれぞれ1画素分4分の3に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。
画素情報取得領域P(1,1)の出力値をa(1,1)として記憶部7に記憶する。さらに、この時の画素情報取得領域P(1,1)の出力値a(1,1)を被写体5の最左上端部の領域の画像情報領域g(1,1)の画素値A(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をa(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をa(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をa(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をa(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をa(i,j)として記憶部7に記憶する。
【0053】
続いて、撮像素子21の位置を基本位置[1]から右方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(2,1)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[2]とする。
【0054】
図11は、このように撮像素子21を基本位置[1]から右方向に、撮像素子21に結像される被写体5の画像情報領域が、2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1,1)の出力値b(1,1)を記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値b(1,1)を被写体5の左上部の画像情報領域g(2,1)の画素値B(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をb(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をb(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をb(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をb(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得部領域(1,j)以外の遮光膜26によって遮光されていない画素情報取得部領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をb(i,j)として記憶部7に記憶する。
【0055】
さらに、
a(2,1)−B(1,1)=A(2,1)として、
この値A(2,1)を撮影して得られた被写体5の最左上端部から右方向に3番目の画像情報領域g(3,1)の画素値A(2,1)として記憶部7に記憶する。
これに加え、
b(2,1)−A(2,1)=B(2,1)として、
この値B(2,1)を撮影して得られた被写体5の最左上端部から右方向に4番目の画像情報領域g(4,1)の画素値B(2,1)として記憶部7に記憶する。
【0056】
このように、A(i,1)は、
a(i,1)−B(i−1,1)=A(i,1)として、
B(i,1)は、
b(i,1)−A(i,1)=B(i,1)として、
この値A(i,1)を撮影して得られた被写体5の最左上端部から右方向にm=2i番目の画像情報領域g(m,1)の画素値A(i,1)として記憶部7に記憶する。またこの値B(i,1)を撮影して得られた被写体5の最左上端部から右方向にm=2i−1番目の画像情報領域g(m,1)の画素値B(i,1)として記憶部7に記憶する。
【0057】
続いて、撮像素子21の位置を基本位置[1]から下方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(1,2)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[3]とする。
【0058】
図12は、このように撮像素子21を基本位置[1]から下方向に、撮像素子21に結像される被写体5の画像情報領域が、2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1,1)の出力値c(1,1)を記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値c(1,1)を被写体5の左上部の画像情報領域g(1,2)の画素値C(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をc(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をc(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をc(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をc(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をc(i,j)として記憶部7に記憶する。
【0059】
さらに、
a(1,2)−C(1,1)=A(1,2)として、
この値A(1,2)を撮影して得られた被写体5の最左上端部から下方向に3番目の画像情報領域g(1,3)の画素値A(1,2)として記憶部7に記憶する。
これに加え、
c(1,2)−A(1,2)=C(1,2)として、
この値C(1,2)を撮影して得られた被写体5の最左上端部から下方向に4番目の画像情報領域g(1,4)の画素値C(1,2)として記憶部7に記憶する。
【0060】
このように、A(1,j)は、
a(1,j)−C(1,j−1)=A(1,j)として、
C(1,j)は、
c(1,j)−A(1,j)=C(1,j)として、
この値A(1,j)を撮影して得られた被写体5の最左上端部から下方向にn=2j番目の画像情報領域g(1,n)の画素値A(1,j)として記憶部7に記憶する。またこの値C(1,j)を撮影して得られた被写体5の最左上端部から下方向にn=2i−1番目の画像情報領域g(1,n)の画素値C(1,j)として記憶部7に記憶する。
【0061】
さらに、撮像素子21の位置を基本位置[1]から右下方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(2,2)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[4]とする。
【0062】
図13は、このように撮像素子21を基本位置[1]から右下方向に、撮像素子21に結像される被写体5の画像情報領域が、それぞれ2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1、1)の出力値をd(1,1)として記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値d(1,1)を被写体5の左上部の画像情報領域g(2,2)の画素値D(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をd(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をd(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をd(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をd(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をd(i,j)として記憶部7に記憶する。
【0063】
さらに、
c(2,1)−D(1,1)=C(2,1)として、
この値C(2,1)を撮影した被写体5の最左上端部から右方向に3番目、下方向に2番目の画像情報領域g(3,2)の画素値C(2,1)として記憶部7に記憶する。
【0064】
さらに、
b(1,2)−D(1,1)=B(1,2)として、
この値B(1,2)を撮影した被写体5の最左上端部から右方向に2番目、下方向に3番目の画像情報領域g(2,3)の画素値B(1,2)として記憶部7に記憶する。
【0065】
さらに、
d(2,1)−C(2,1)=D(2,1)として、
この値D(2,1)を撮影した被写体5の最左上端部から右方向に4番目、下方向に2番目の画像情報領域g(4,2)の画素値D(2,1)として記憶部7に記憶する。
【0066】
さらに、
d(1,2)−B(1,2)=D(1,2)として、
この値D(1,2)を撮影した被写体5の最左上端部から右方向に2番目、下方向に4番目の画像情報領域g(2,4)の画素値D(1,2)として記憶部7に記憶する。
【0067】
さらに、
a(2,2)−(D(1,1)+B(2,1)+C(1,2))=A(2,2)として、
この値A(2,2)を撮影した被写体5の最左上端部から右方向に3番目、下方向に3番目の画像情報領域g(3,3)の画素値A(2,2)として記憶部7に記憶する。
【0068】
同様に、
b(2,2)−(C(2,1)+D(2,1)+A(2,2))=B(2,2)として、
この値B(2,2)を撮影した被写体5の最左上端部から右方向に4番目、下方向に3番目の画像情報領域g(4,3)の画素値B(2,2)として記憶部7に記憶する。
【0069】
同様に、
c(2,2)−(B(1,2)+D(1,2)+A(2,2))=C(2,2)として、
この値A(3,4)を撮影した被写体5の最左上端部から右方向に3番目、下方向に4番目の画像情報領域g(3,4)の画素値C(2,2)として記憶部7に記憶する。
【0070】
同様に、
d(2,2)−(A(2,2)+B(2,2)+C(2,2))=D(2,2)として、
この値D(2,2)を撮影した被写体5の最左上端部から右方向に4番目、下方向に4番目の画像情報領域g(4,4)の画素値D(2,2)として記憶部7に記憶する。
【0071】
このように、画素値は、求める画像情報領域g(m,n)の該当画素値を残すように、a(i,j)、b(i,j)、c(i,j)、d(i,j)のいずれかから、上側及び左側の他の画素値を差し引くことにより算出できる。
すなわち、画素値A(i,j)を撮影した被写体5の最左上端部から右方向に2i−1番目、下方向に2j−1番目の画像情報領域g(2i−1,2j−1)の画素値A(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i−1,2j−1)の画素値A(i,j)=a(i,j)−(D(i−1,j−1)+B(i−1,j)+C(i,j−1))である。
【0072】
画素値B(i,j)を撮影した被写体5の最左上端部から右方向に2i−1番目、下方向に2j番目の画像情報領域g(2i,2j−1)の画素値B(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i,2j−1)の画素値B(i,j)=b(i,j)−(C(i,j−1)+D(i,j−1)+A(i,j))である。
【0073】
画素値C(i,j)を撮影した被写体5の最左上端部から右方向に2i番目、下方向に2j−1番目の画像情報領域g(2i−1,2j)の画素値C(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i−1,2j)の画素値C(i,j)=c(i,j)−(B(i−1,j)+D(i−1,j)+A(i,j))である。
【0074】
画素値D(i,j)を撮影した被写体5の最左上端部から右方向に2i番目、下方向に2j番目の画像情報領域g(2i,2j)の画素値D(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i,2j)の画素値=d(i,j)−(A(i,j)+B(i,j)+C(i,j))である。
【0075】
このようにして、撮像素子21を所定の撮像位置、すなわちパターンI〜IVに移動させることによって、撮像素子21を基本位置[1]から移動位置[2]〜移動位置[3]を経て移動位置[4]にシフトさせて撮像情報を得ることができる。そしてこの撮像情報の違いに基づいて、上記のように被写体5の画素情報を4分の1相当のサブピクセルの画素値として算出することができる。そして、4分の1相当のサブピクセルの画素値として算出した被写体5の画素情報を被写体5の位置と対応付けて画像情報として記憶する。すなわち、1画素分の画素情報取得領域P(i,j)を用いて略4倍の解像度の画像情報を得ることができる。
以上より、撮像素子21の遮光膜26で最上部、最左部を部分的に遮光した状態で得られる情報から、図14に示すように被写体5の全画素のサブピクセル情報を分離することができる。
【0076】
図15を参照して、本実施の形態の撮像装置10が被写体5の画像情報を取得する処理のフローについて説明する。以下の処理は、制御部4の制御によって行われる。
【0077】
まず、制御部4は駆動部3を制御して、撮像素子21の位置を設定する(ステップS101)。具体的には、制御部4は、駆動部3を制御して撮像素子21が被写体5を撮像可能な撮像ポイントFに配置する。
【0078】
続けて、撮像素子21を所定量、所定の方向に移動して撮像する(ステップS102)。
具体的には、制御部4は駆動部3を制御して、撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で、被写体5を撮像するために適当な所定の撮像位置(基本位置[1]から移動位置[2]〜移動位置[3]を経て移動位置[4])まで移動して撮像を行う。
【0079】
続けて、撮像を行ったことによる撮像素子21からの出力値(撮像情報)を入力する(ステップS103)。
具体的には、制御部4は撮像部2を制御して撮像を行い、撮像素子21のそれぞれの画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)から出力される出力値(撮像情報)を入力して、記憶部7に記憶する。
【0080】
続けて、画素値を算出する(ステップS104)。
具体的には、制御部4は撮像素子21のそれぞれの画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)からの複数の撮像位置での出力値(撮像情報)から、それぞれの被写体5の画素情報であるサブピクセルの画素値を算出し、記憶部7に記憶する。
【0081】
ステップS104において、制御部4が、被写体5の全ての画素情報であるサブピクセルの画素値が算出されると、算出した全画素値を記憶部7に、対応する被写体5の位置情報と対応付けて被写体5の画像情報として記憶する(ステップS105)。また、必要に応じて、算出した全画素値に基づいて画像を表示する。具体的には、制御部4は表示部8を制御して、記憶部7に記憶された被写体5の全ての画素情報に基づいて被写体5の画像を表示する。これをもって、画像情報取得処理は終了する。
【0082】
本実施の形態の撮像装置10は、所定の面積を有する受光面である画素情報取得領域P(i,j)を有し部分的にL字に遮光した撮像素子21を、被写体5からの入射光を4つのパターンI〜IVに移動させて撮像する。これにより、撮像素子21の受光素子U(i,j)からの、異なるパターンI〜IVでの出力値(撮像情報)を取得するステップ(ステップS103)と、撮像素子21の受光素子U(i,j)からの複数の出力値(撮像情報)から、撮像素子21の各々の受光素子(i,j)による受光領域よりも小さな面積における受光量に応じた画素値(画素情報)を算出するステップ(ステップS104)と、ステップS104によって算出された画素値(画素情報)を被写体5の位置と対応付けて画像情報として記憶するステップ(ステップS105)と、を含む撮像方法を実行する。
かかる撮像方法は、遮光膜26を有する撮像素子21を変位させることで、撮像素子21の出力値に基づいて、一層微細な被写体5の画像情報領域g(m,n)の画素値(A(i,j)、B(i,j)、C(i,j)、D(i,j)のいずれか)を得ることができるので、受光素子U(i,j)の画素密度を上げる必要がない。つまり、画素密度が低くコストが低い撮像素子を用いて、本実施例では4倍の高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【0083】
また、撮像素子21の受光面に遮光膜26が形成されるので、撮像素子21の受光エリアと遮光膜26との境界近傍に入射する光からは、撮像素子21の遮光エリアへの回折光が生じない。また、撮像素子21の受光エリアと遮光膜26との境界近傍から撮像素子21の遮光エリアに直接入射する迷光が生じない。このため、撮像素子21の遮光エリアのノイズの影響を低減することができる。
【0084】
なお、本実施の形態では、撮像素子21を用いて、画素領域を1画素の2分の1に相当する距離ごとにシフトして被写体5を撮影する処理を、画像情報領域g(1,1)が1画素分に相当する撮像情報(出力値)を取得するまで繰り返して被写体5を撮影する場合について説明した。すなわち、被写体5を、1画素を4分割したサブピクセルの精度で撮影する場合を例に説明した。しかしながら、遮光膜を有する撮像素子を用いて画素領域をシフトする距離は1画素の2分の1に相当する距離に限定されない。また、画素領域をシフトする方向も縦方向と横方向で異なってもよい。X、Yを任意の自然数とすると、被写体5を縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する距離ごとにシフトして撮影する処理を、画像情報領域g(1,1)が1画素分に相当する撮像情報(出力値)を取得するまで繰り返す場合、すなわち、1画素をXにYを乗じて得られた整数個に分割したサブピクセルの精度で撮影する場合も同様の手順で実行することができる。
【0085】
このように、本実施の形態の撮像装置10は、1画素分の画素情報取得領域P(i,j)を有すると共に、一部の受光素子U(i,j)を被写体5からの入射光から部分的に遮光する遮光膜26を選択的に形成した撮像素子21を備える。ここで、iは1以上の自然数、jは1以上の任意の自然数とする。かかる構成により、本実施の形態の撮像装置10は、最左端部の画素情報取得領域P(1,1)の遮光膜26で遮光された部分の残りに等しい画像情報領域g(m,n)の画素値を算出可能な出力値を得ることができる。したがって、撮像装置10は、受光面を遮光していない状態の出力値とは異なる、遮光の状態の度合いを反映した微細な出力値を得ることができる。
【0086】
さらに、本実施の形態の撮像装置10は、画素情報取得領域P(i,j)を4つのパターンI〜IVで撮像して得た複数の撮像情報の違いから、受光素子U(i,j)の受光面よりも小さな面積における受光量に応じた画素値を算出する算出手段である制御部4と、制御部4によって算出された画素値を被写体5の位置と対応付けて記憶する記憶部7と、をさらに備えることができる。よって、本実施の形態の撮像装置10は、パターンI〜IVを異ならせた複数の撮像情報の違いから、受光素子U(i,j)の受光面よりも小さな面積における受光量に応じた画素値を算出し、算出した画素値を被写体5の位置と対応付けて記憶することができる。したがって、撮像装置10は、受光素子U(i,j)の各々の受光面よりも小さな面積に対応した画素値に基づく、一層微細な被写体5の画像情報を取得することができる。
【0087】
さらに、本実施の形態の撮像装置10によると、遮光膜26を形成した撮像素子21の位置を、受光素子U(i,j)の寸法よりも小さな距離ずつ変位させた、異なるパターンI〜IVに移動させる駆動部3を備える。かかる構成により、本実施の形態の撮像装置10は、撮像素子21の受光素子U(i,j)の寸法よりも小さな距離ずつ変位させることができるので、その変位に応じた出力値(撮像情報)に基づき、一層微細な被写体5の画像情報を得ることができる。
【0088】
したがって、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体5の画像情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって、本実施の形態の撮像装置10は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【0089】
本実施の形態の撮像装置10は、ステップS104において、パターンI〜IVにより異なる撮像情報の違いから、例えば、撮像情報(a(i,j)、b(i,j)、c(i,j)、d(i,j)のいずれか)から左部及び上部の画素情報(画素値A(i,j)、B(i,j)、C(i,j)、D(i,j)等)を差し引くことで、目的とする画素値を求めるステップを含む撮像方法を実行する。
【0090】
また、本実施の形態では、被写体5を、1画素を4分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。本実施の形態では、遮光膜26を有する撮像素子21を、被写体5の2辺に対して、最左上端部から縦方向及び横方向にそれぞれ1画素の2分の1に相当する領域を遮光した状態で、撮像素子21を縦方向及び横方向にそれぞれ1画素の2分の1に相当する距離ごとにシフトして撮影する処理を繰り返して被写体5を撮影するとしたが、本発明はこれに限定されない。
【0091】
例えば、X、Yを任意の自然数とすると、被写体5の2辺に対して、縦方向及び横方向に、それぞれ1画素のX分のX−1及び1画素のY分のY−1に相当する領域を遮光した状態の撮像素子を用い、縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する距離ごとにシフトして撮影をする処理を、XにYを乗じて得られた整数だけ繰り返して被写体5を撮影することでもよい。これにより、同様の手法で、1画素をXにYを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
かかる実施の形態の撮像装置では、遮光膜によって分割する1画素あたりの数を変化させることで、撮像する画像の解像度、又は撮像する画像を構成する画素数情報を任意に増やすことができる。
【0092】
すなわち、駆動部3は、遮光膜を有する撮像素子を、基本位置[1]〜移動位置[4]の撮像位置に、1画素の4分の1に相当する単位ずつ駆動する。
撮像素子21は、駆動部3によって撮像位置に駆動される都度、撮像を行う。記憶部7は、撮像素子21が生成する信号電荷に基づいて撮像情報(出力値)を取得する。記憶部7は撮像情報取得部を構成する。
さらに制御部4は、撮像素子21が駆動部3によって駆動された撮像位置ごとに取得した撮像情報の違い、すなわち撮像位置ごとの撮像素子21が生成した信号電荷の違いに基づき、被写体5の一部に対応する画素情報(画素値)を1画素より小さい単位で算出する。制御部4は画素情報算出部を構成する。
制御部4は、こうして算出された画素情報を被写体5の位置と対応付けて画像情報として記憶部7に記憶する。記憶部7は画像情報記憶部を構成する。
【0093】
また、遮光膜26をL字型の形状としたが、遮光膜26は、撮像素子21の少なくとも2辺を遮光するために好適であれば、L字型以外の形状でもよい。
【0094】
以上説明したように本発明によれば、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画像情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって、本発明の撮像装置は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【0095】
本発明の撮像装置では、1枚の撮像素子を1画素より小さい単位で移動させて撮像を行うだけでよいので、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す従来の方法と比べて、処理は非常に簡便である。したがって、本発明によると、撮像素子の移動に要する時間を短くして、撮像に要する全体の時間を短縮して解像度の高い画像を取得することができる。
【0096】
本発明では、遮光膜を有する撮像素子が撮像位置に配置されるごとに撮像によって得られる、各画素情報取得領域が生成する信号電荷(撮像情報)に基づいて、被写体の一部に対応する画素情報を1画素より小さい単位で算出し、算出された画素情報を被写体の位置と対応付けて画像情報として記憶することができる。
【0097】
本発明における遮光膜が形成された撮像素子は、遮光膜が撮像素子の縦方向に配列された画素情報取得領域の1画素中の残り一行分と横方向に配列された画素情報取得領域の1画素中の残りの一列分との少なくとも一方を、X、Yを所定の自然数として、縦方向及び横方向にそれぞれ1画素のX分の1又は1画素のY分の1に相当する単位で撮像素子を駆動すればよい。
【0098】
本発明は、このように構成された撮像素子が、撮像位置に配置される都度、撮像を行う。そして、こうした複数の撮像位置の撮像素子が生成する信号電荷(撮像情報)に基づいて、被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出することができる。
【0099】
以上説明したように本発明では、遮光膜が形成された撮像素子を1画素より小さい単位で移動させて撮像することによって、サブピクセルの単位で画像情報を取得することができる。
【0100】
また、本発明では、撮像素子の受光面に遮光膜が形成されるので、撮像素子の受光エリアと遮光膜との境界近傍に入射する光からは、撮像素子の遮光エリアへの回折光が生じ難い。また、撮像素子の受光エリアと遮光膜との境界近傍から撮像素子の遮光エリアに直接入射する迷光が生じ難い。このため、撮像素子の遮光エリアのノイズの影響を低減することができる。これによって、撮像素子により得られる撮像情報の精度が向上し、サブピクセルの単位でより精度の高い画像情報を取得することができる。
【0101】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施の形態では、被写体を、1画素を4分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。
例えば、Mを任意の自然数とすると、撮像素子の1画素分の画素情報を取得する画素情報取得領域の1行又は1列をM分の1画素分の入射光のみを入射し、残りの入射光を遮光する遮光板を有する撮像素子を移動させて撮像する場合は、撮像素子の画素情報取得領域P(1,1)について、M分の1画素分の入射光を入射する領域が被写体の左上1画素の範囲において異なるように撮像素子を移動させながら、被写体をM回撮像して撮像情報を取得し、撮像情報の違いからM分の1画素相当の画素情報を算出すればよい。
【0102】
なお本発明は、ワークの位置を測定するための装置のみならず、撮像素子を備えた電子機器一般に適用することができる。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0103】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
【0104】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【0105】
2…撮像部
3…駆動部
4…制御部(画素情報算出部)
5…被写体
7…記憶部(撮像情報取得部、画像情報記憶部)
8…表示部
10…撮像装置
21…撮像素子
26…遮光膜
【技術分野】
【0001】
本発明は、画像を撮像する撮像装置及び撮像方法に関する。
【背景技術】
【0002】
従来、製品や金型、治具等の形状を測定し、測定結果に基づき製造装置等の調整を行っている。このような作業において、高解像度の固体撮像素子を搭載した撮像装置が用いられる。固体撮像素子として、CCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子等が挙げられる。
また、特許文献1には、限られた画素数の撮像素子を用いて高い解像度を得るため、受光面を振動させる固体撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開昭60−18958号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、撮像装置の解像度は、一般的に、撮像素子の有効画素数に応じて増加する。しかし、撮像素子の有効画素数を向上するためには、通常、撮像素子が有する受光素子の画素密度を増加する必要がありコストがかかる。一方で、受光素子の数を増やさずに解像度を向上させることを目的として、受光素子の画素密度が高い撮像範囲の狭い撮像素子を用い、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す方法がある。この場合、得られた画像を、相対的な位置関係を確認しながら、繋ぎ合わせる必要があるため、繋ぎ合わせる画像同士の相対的な位置関係を計算しなければならない。撮像素子の移動距離が増大すると、移動によって生じる位置ズレを考慮して、画素間の相関を計算する必要が生じ、ここでも誤差が発生し易くなるという課題があった。
【0005】
特許文献1に開示された固体撮像装置は、例えば、インターライン転送方式において、感光部に蓄積された信号電荷を信号ブランキング期間に垂直CCDレジスタに転送し、次のフィールド有効期間中に読み出すものであるが、解像度を向上するための詳細については示されていない。
【0006】
そこで本発明は、上述の課題を鑑みて、画素密度が低くコストが低い撮像素子を用い、解像度の高い画像を得る撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、被写体(例えば、後述の被写体5)からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域(例えば、後述の画素情報取得領域P(1,1)〜P(i,j))を、縦方向及び横方向に配列して複数有する撮像素子(例えば、後述の撮像素子21)と、前記撮像素子の受光面に形成される遮光膜(例えば、後述の遮光膜26)であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置(例えば、後述の基本位置[1]〜移動位置[4])に段階的に移動させる駆動部(例えば、後述の駆動部3)と、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報(例えば、後述の出力値)を取得する撮像情報取得部(例えば、後述の記憶部7)と、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体5の画素情報(例えば、後述の画素値)を1画素より小さい単位で算出する画素情報算出部(例えば、後述の制御部4)と、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画像情報記憶部(例えば、後述の記憶部7)と、を備えたことを特徴とする撮像装置(例えば、後述の撮像装置10)を提供することである。
【0008】
本発明の第1の態様によると、画素密度が低くコストが低い撮像素子を用い、解像度の高い画像を得ることができる。
また、撮像素子の受光面に遮光膜が形成されるので、撮像素子の受光エリアと遮光膜との境界近傍に入射する光からは、撮像素子の遮光エリアへの回折光が生じ難くなる。また、撮像素子の受光エリアと遮光膜との境界近傍から撮像素子の遮光エリアに直接入射する迷光が生じ難くなる。このため、撮像素子の遮光エリアのノイズの影響を低減することができる。
【0009】
本発明の第2の態様は、被写体(例えば、後述の被写体5)からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域(例えば、後述の画素情報取得領域P(1,1)〜P(i,j))を、縦方向及び横方向に配列して複数有する撮像素子(例えば、後述の撮像素子21)と、前記撮像素子の受光面に形成される遮光膜(例えば、後述の遮光膜26)であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、を備えた撮像装置(例えば、後述の撮像装置10)を用いて被写体を撮像する撮像方法であって、駆動部(例えば、後述の駆動部3)によって、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置(例えば、後述の基本位置[1]〜移動位置[4])に段階的に移動させるステップと、撮像情報取得部(例えば、後述の記憶部7)によって、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報(例えば、後述の出力値)を取得するステップと、画素情報算出部(例えば、後述の制御部4)によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報(例えば、後述の画素値)を1画素より小さい単位で算出するステップと、画像情報記憶部(例えば、後述の記憶部7)によって、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップと、を含むことを特徴とする撮像方法を提供することである。
【0010】
本発明の第2の態様によっても、上記撮像装置の発明と同様な効果を得ることができる。
【発明の効果】
【0011】
本発明によれば、画素密度が低くコストが低い撮像素子を用いて高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施の形態に係る撮像装置の概略図である。
【図2】図1の撮像装置を構成する撮像素子の構成を示すブロック図である。
【図3】図1の撮像装置を構成する撮像部の概略図である。
【図4】図3の撮像装置を構成する撮像素子と遮光膜との関係を示す図である。
【図5】撮像素子と遮光部位との関係を説明する図である。
【図6】遮光膜を形成した撮像素子の一例を示す図である。
【図7】図6の撮像素子を駆動することにより生成可能な被写体に対するパターンを示す図である。
【図8】図6の撮像素子の端部を形成する画素情報取得領域と遮光膜との関係を示す図である。
【図9】被写体の画像情報領域を示す図である。
【図10】図7の撮像素子の複数の画素情報取得領域の基本位置[1]における出力値と遮光膜との関係を示す図である。
【図11】図7の撮像素子の最上部を構成する複数の画素情報取得領域の移動位置[2]における出力値と遮光膜との関係を示す図である。
【図12】図7の撮像素子の最左部を構成する複数の画素情報取得領域の移動位置[3]における出力値と遮光膜との関係を示す図である。
【図13】図7の撮像素子の最上部を構成する複数の画素情報取得領域の移動位置[4]における出力値と遮光膜との関係を示す図である。
【図14】図7の撮像素子によって取得された被写体の画素情報を示す図である。
【図15】図2の撮像装置が実行する画像情報を取得する処理のフロー図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施の形態]
図1〜図15を参照して、本発明の第1の実施の形態に係る撮像装置の概略について説明する。
【0014】
図1は、本発明の第1の実施の形態に係る撮像装置の概略図であり、図2は、本実施の形態に係る撮像装置の撮像素子の構成を示すブロック図である。
【0015】
図1に示す撮像装置10は、被写体5を撮影して電気信号に変換する撮像素子21を含む撮像部2と、撮像素子21を駆動する駆動部3と、撮像素子21、撮像部2及び駆動部3を制御する制御部4と、撮像部2によって撮像された被写体5の画像データを記憶する記憶部7と、画像データに基づいて被写体5の画像を表示する表示部8と、を含む。
【0016】
撮像部2は、撮像素子21の他、被写体5からの光を後述する撮像位置に配置された撮像素子21に結像させる不図示の撮像レンズを含む。撮像位置に配置された撮像素子21は、撮像レンズによって結像される被写体5からの入射光を電気信号に変換する。撮像素子21は、撮像レンズによって自身に投影されて結像される被写体5を光電変換する受光素子を複数備えたCCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子等によって構成される。撮像部2は撮像手段の機能を有する。
【0017】
駆動部3は、撮像素子21を、被写体5を撮像するために適切な撮像位置に駆動する。駆動部3の詳細については後述する。
【0018】
本実施の形態では、制御部4と記憶部7と表示部8とは、コンピュータ9の一部として構成される。制御部4は、図示を省略するが、撮像装置10が各種機能を実行するためのプログラムが記憶されたROM(Read Only Memory)と、ROMに記憶されたプログラムを実行して撮像装置10の各種機能を実現するCPU(Central Processing Unit)と、CPUが各種の処理を実行する上において必要なデータ等が適宜記憶されるRAM(Random Access Memory)等とによって構成される。
【0019】
制御部4は、駆動部3を制御して撮像素子21を移動させ、撮像素子21を撮像位置に配置する。さらに、制御部4は、撮像素子21から出力される電気信号を処理して、画像データ(画像情報)を生成し、生成した画像データを記憶部7に記憶する。さらに制御部4は、生成した画像データに基づいて表示部8に撮像素子21が撮像した画像を表示する。また、制御部4は、撮像素子21から出力される電気信号を処理する際に、後述する演算処理を実行する。
【0020】
表示部8は、液晶ディスプレイ等によって構成される。記憶部7は、RAM(Random Access Memory)、ROM(Read Only Memory)及びハードディスク等によって構成される。
【0021】
[撮像素子の構成]
次に、図2を参照して、撮像素子21の基本構成について説明する。撮像素子21は、二次元に配列された複数の受光素子から構成されている。受光素子の各々は所定の面積を有する受光面を含む。受光素子の各々は、この受光面に入射光を受光すると光電変換を実行して、受光面あたりの受光量に応じて、1画素に相当する信号電荷を生成する。この受光素子の各々が有する受光面を、以後、「画素情報取得領域」と呼ぶ。このため、この受光素子を二次元に配列して形成される撮像素子21が有する受光面全体は、受光素子ごとに、各々が1画素に相当する信号電荷を発生する複数の画素情報取得領域に分割することができる。
【0022】
図2に示すように、撮像素子21の受光面を形成する画素情報取得領域の数によって撮像素子21の総画素数は決定される。例えば、i,jを任意の自然数とすると、横方向に配設された画素情報取得領域の数、すなわち、横画素数をi、縦方向に配設された画素情報取得領域の数、すなわち、縦画素数をjとすると、この撮像素子21の総画素数はi×jとなる。また、画素情報取得領域は、受光素子の受光面に相当する。
【0023】
すなわち、撮像素子21は、受光素子U(1,1)、U(2,1)、U(3,1)、・・・・、U(1,2)、U(1,3)、・・・・、U(i,j)を有する。受光素子U(1,1)、U(2,1)、U(3,1)、・・・・、U(1,2)、U(1,3)、・・・・、U(i,j)の各々が形成する画素情報取得領域をそれぞれ、画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)として表す。
【0024】
ここで、図2では不図示であるが、撮像素子21の一部は、撮像素子21に入射する光の一部を遮光するように形成された遮光膜26で覆われている。つまり、遮光膜26が、撮像素子21の受光面の一部に形成されている。
【0025】
図4(A)に、本実施の形態の撮像素子21と遮光膜26との関係を示す。図4(A)に示すように、本実施の形態では、撮像素子21の受光エリアの一部に直接遮光膜26が形成され遮光エリアを設けている。すなわち、遮光膜26は、撮像素子21の保護膜28の内部に、撮像素子21の表面に貼り付けて形成されている。このため、受光エリアに入射する光L1と保護膜28に入射する光L2には通常の吸収と反射が行われる。また、受光エリアと遮光膜26との境界近傍に入射する光からは、撮像素子21の遮光エリアへの回折光が生じ難い。また、受光エリアと遮光膜26との境界近傍から撮像素子21の遮光エリアに直接入射する迷光が生じ難い。このため、撮像素子21の遮光エリアのノイズの影響を低減することができる。
【0026】
参考までに、図4(B)に、従来の撮像素子21と遮光板6との関係を示す。遮光板6は撮像素子21を覆う保護膜28の上方に配置される。このため、撮像素子21と遮光板6との間には一定の距離がある。したがって、遮光板6の境界部に入射する光L3により生じる回折光LS1、LS2は大きくなり、撮像素子21の遮光エリアに入射してノイズの原因になる。また、遮光板6の境界部から撮像素子21の遮光エリアに直接入射する迷光L4が生じ、ノイズの原因になる。
【0027】
このように、遮光板6に代えて、図4(A)に示すような遮光膜26を設けることにより、遮光により生じる可能性のあった回折光及び迷光が軽減される。
【0028】
撮像素子に遮光膜を形成する場合の一例について説明する。例えば、撮像素子は図5に示すように使用されてきた。有効画素信号が第1フィールドと第2フィールドと併せて493ラインあるとする。第1フィールドで、有効画素信号の1番目のラインと248番目のラインは、フィールド読み出しの片側の画素信号に光学的黒が含まれるため、実質的には活用されていない。さらに、右側に位置する水平の40画素の光学的黒も、撮像素子21の受光エリアに光が入射しないように遮光されている。水平の40画素の信号は映像信号の黒基準に使われている。左側に位置する22画素分の水平空送り信号は、暗電流成分が少ないため、画素信号に含まれる暗電流の大きさを見る基準として使われてきた。
【0029】
このように、黒補正として遮光された画素は存在したが、1画素の数分の1に相当する単位で意図的に光の受光を制御するためには使用されて来なかった。本実施の形態では、例えば、撮像素子の中でこの黒補正や暗電流測定で使用されてきた部分に、1画素の数分の1に相当する単位で入射光を遮光する遮光膜26を形成する。このようにして、従来注目されてこなかった撮像素子の周辺部分を有効活用する。
【0030】
遮光膜26が形成された撮像素子21の一例を図6に示す。遮光膜26は撮像素子21を1画素の任意の数分の1に相当する単位で遮光するように形成すればよい。ここでは、本実施の形態として、1画素を4分割して画素情報を得る場合を例に説明する。
【0031】
撮像素子21は、撮像素子21の最端部を形成する縦横の2辺にL字型の遮光膜26が形成されている。ここでは、上側と左側の2辺を遮光するようになっているが、縦横2辺であればどの辺を遮光しても構わない。なお、本発明としては、少なくとも縦横2辺のうち少なくとも一方であってもよい。つまり、本発明の遮光膜は、複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う。
【0032】
このL字型の遮光膜26によって撮像素子21の最左上端部を形成する画素情報取得領域P(1,1)は4分の3画素分が遮光され、画素情報取得領域P(2,1)、P(3,1)、P(1,2)、P(1,3)は、2分の1(4分の2)画素分だけ遮光されることになる。残りの画素情報取得領域P(2,2)、P(3,2)、P(2,3)、P(3,3)は遮光されない。
【0033】
ここでは、理解を容易にするため、9個の画素情報取得領域のみについて説明したが、撮像素子21が有する画素情報取得領域の数は任意である。遮光膜26は、撮像素子21をサブピクセルの単位で同様のパターンで遮光するように形成されていればよい。すなわち、図6のケースでは、遮光膜26は、撮像素子21の左端部と上端部とを遮光するように形成されていればよい。
【0034】
[撮像部の構成]
図3に戻って、本実施の形態に係る撮像装置10では、撮像部2は撮像素子21を備えている。駆動部3は制御部4の制御に基づいて撮像素子21を複数の撮像位置に駆動する。ここで、撮像素子21は、入射光を適切に受光し、被写体を撮像可能な撮像ポイントFに配置される。駆動部3は、撮像ポイントFに位置する撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動させる(図3(B)参照)。すなわち、駆動部3は、撮像素子21を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させる。駆動部3の駆動機構は、圧電素子アクチュエータ、距離センサ等により構成することができる。
【0035】
図7に、駆動部3により図6の撮像素子21を駆動することにより画素情報取得領域が取り得る被写体5に対する複数の撮像位置を示す。
【0036】
撮像ポイントFに配置された撮像素子21は、駆動部3により被写体5からの入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動して、所定の撮像位置に設定される。駆動部3が撮像素子21を入射光に対して垂直な面の方向に移動させることによって、様々なパターンを形成することができる。撮像素子21が入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動して図7に示すパターンI〜IVのそれぞれに相当する撮像情報を取得する場合について説明する。
図7に、パターンI〜IV毎の撮像素子21の位置を示す図7(A)〜図7(D)と、パターンI〜IVに相当する撮像情報を取得するために必要な、撮像素子21のパターンIを基準とする移動方向と移動量(位相ズレ量)の表を示す図7(E)とを示す。
【0037】
図7(A)及び図7(E)に示すように、撮像素子21は基本位置では、パターンIにおける撮像情報を取得することができる。この位置を基本位置[1]とする。
【0038】
さらに、図7(B)及び図7(E)に示すように、撮像素子21は基本位置[1]よりX軸に沿って紙面右方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIIにおける撮像情報を取得することができる。この位置を移動位置[2]とする。
【0039】
また、図7(C)及び図7(E)に示すように、撮像素子21は、基本位置[1]よりY軸に沿って紙面下方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIIIにおける撮像情報を取得することができる。この位置を移動位置[3]とする。
【0040】
さらに、図7(D)及び図7(E)に示すように、撮像素子21は基本位置よりX軸に沿って紙面右方向に2分の1ピクセル、Y軸に沿って紙面下方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIVにおける撮像情報を取得することができる。この位置を移動位置[4]とする。
【0041】
このように、遮光膜26が形成された撮像素子21を入射光に対して垂直の方向にサブピクセルの単位で移動させることによって、撮像素子21はサブピクセルの単位でずれた撮像情報を得ることができる。
【0042】
遮光膜26を用いた場合と同様に、他の遮光膜を用いることにより、1画素を4分割した画素情報を得るのみならず、1画素を任意の自然数の整数倍に分割した画素情報を得ることができる。例えば、X、Yを任意の自然数とすると、1画素をX×Y分割することが可能である。例えば、1画素を9分割して画素情報を得る遮光膜の構成としてもよい。
【0043】
[撮像処理]
このようにして構成された撮像素子21を用いて、被写体を効率的に撮像する処理について、以下、図8から図14を参照して説明する。
【0044】
図8に、最初に被写体5を撮像素子21のパターンI〜IVを用いて撮像する際に遵守すべき、撮像素子21に形成された遮光膜26と撮像素子21の端部を形成する画素情報取得領域と、撮像素子21に結像される被写体5との間の位置関係を示す。
【0045】
図8(1)に示すように、例えば、撮像素子21において遮光膜26は、撮像素子21の最端部を形成する少なくとも2辺を部分的に遮光するように形成されている。図8(1)右側に、撮像素子21の最左上端部の画素情報取得領域P(1,1)と遮光膜26との関係を拡大してより詳細に示す。撮像素子21の実線で囲まれた部分が撮像素子21の最左上端部の画素情報取得領域P(1,1)を表している。画素情報取得領域P(1,1)は、撮像素子21の最左上端部に入射する光を受光すると、1画素分に相当する画素情報を取得して出力するようになっている。図8(1)に示す位置において、遮光膜26は、画素情報取得領域P(1,1)に入射する光のうち、上端部及び左端部のそれぞれ1画素の4分の3相当が遮光されるように配置されている。このため、画素情報取得領域P(1,1)は、実際には1画素の4分の1相当のサブピクセル単位の画素情報を出力することになる。
【0046】
同様に、L字型の遮光膜26は、撮像素子21に結像される被写体5のうち、撮像素子21の画素情報取得領域P(1,1)を有する2辺に相当する画素情報取得領域P(1,1)以外の画素情報取得領域に対しても、縦方向及び横方向にそれぞれ1画素の2分の1相当が遮光されるように配置される。この結果、図8(2)に示す位置において、遮光膜26は同様に、最端部の縦方向及び横方向の2辺を形成する画素情報取得領域、すなわち、上端部の画素情報取得領域P(2,1)、P(3,1)、・・・・、P(i,1)、及び左端部の画素情報取得領域P(1,2)、P(1,3)、・・・・、P(1,j)に対しても、上端部及び左端部に入射する光のうち、それぞれ1画素の2分の1相当を遮光する。したがって、画素情報取得領域P(2,1)、P(3,1)、・・・・、P(i,1)、及び画素情報取得領域P(1,2)、P(1,3)、・・・・、P(1,j)は、実際には1画素の2分の1相当のサブピクセル単位の画素情報を出力することになる。
【0047】
続いて、本実施の形態の撮像処理について説明する。本実施の形態では、駆動部3を制御して、撮像素子21を、遮光膜26が覆った残りの1画素に満たない単位(1画素の4分の1)ずつを段階的にずらした複数の撮像位置に移動して被写体5を撮影する処理を、それぞれ遮光膜26が覆った残りの1画素に満たない単位(1画素の4分の1)で1画素分撮像するまで段階的に繰り返して被写体5を撮像する。つまり、本実施の形態では、デフォルトを入れて被写体5を4回撮像する。
【0048】
<最端部の画素情報取得領域に着目した処理>
まず、理解を容易にするため、被写体5を撮像する撮像素子21のパターンI〜IVを用いるように各所定の撮像位置に設定する動作と、撮像素子21のパターンI〜IVからの出力値との関係を、最端部の画素情報取得領域P(1,1)と被写体5に着目して説明する。本実施の形態では、撮像素子21のパターンI〜IVによって、4つの異なる撮像情報が得られる。
【0049】
以下の処理では、最左上端部の1画素の4分の1に規定した、画素情報取得領域P(1,1)のサブピクセルの小領域に着目して考える。これにより、撮像素子21のパターンI〜IVの撮像位置ごとに取得した4つの撮像情報の違いに基づき、被写体5の画素情報を1画素より小さい単位で算出する。
図9に、撮像素子21によって撮像される被写体5の画像情報領域を示す。図9に示すように、撮像される被写体5は、1画素の4分の1ごとの画像情報領域g(m,n)で区画される。ここで、m,nは0から始まる整数であり、総数m,nは画素情報取得領域P(i,j)におけるi,jの2倍の数となる。なお、画像情報領域g(m,n)におけるm又はnが0のときは、被写体5の撮像範囲から外れた部分の領域である。
駆動部3は、最端部の画素情報取得領域P(1,1)での撮像が画像情報領域g(1,1)、g(2,1)、g(1,2)、g(2,2)のそれぞれとなるように、撮像素子21を所定の撮像位置に移動させながら、遮光膜26を用いて1画素の4分の1に対応する単位で縦方向と横方向の画素情報領域を切り替える。
【0050】
結果として、横方向には、最端部の被写体5における画像情報領域g(1,1)に連なる縦方向に配列された一行の画像情報領域が1画素に相当する領域分を撮像するまで、また、縦方向には、最端部の被写体5における画像情報領域g(1,1)に連なる横方向に配列された一列の画像情報領域が1画素に相当する領域分を撮像するまで、撮像素子21をパターンI〜IVとなるように、所定の位置に移動させる。したがって、遮光膜26を用いて1画素の4分の1に対応する単位で縦方向と横方向の左上端部の被写体5が1画素分撮像されるまで変更されることになる。
【0051】
まず、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(1,1)を撮像する。この時の撮像素子21の被写体5に対する位置を基本位置[1]とする。
【0052】
図10は、基本位置[1]における撮像素子21の位置と被写体5との関係を、最左上端部の画素情報取得領域P(1,1)に着目して示す図である。このように最左上端部の画素情報取得領域P(1,1)の上部と左部がそれぞれ1画素分4分の3に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。
画素情報取得領域P(1,1)の出力値をa(1,1)として記憶部7に記憶する。さらに、この時の画素情報取得領域P(1,1)の出力値a(1,1)を被写体5の最左上端部の領域の画像情報領域g(1,1)の画素値A(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をa(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をa(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をa(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をa(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をa(i,j)として記憶部7に記憶する。
【0053】
続いて、撮像素子21の位置を基本位置[1]から右方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(2,1)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[2]とする。
【0054】
図11は、このように撮像素子21を基本位置[1]から右方向に、撮像素子21に結像される被写体5の画像情報領域が、2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1,1)の出力値b(1,1)を記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値b(1,1)を被写体5の左上部の画像情報領域g(2,1)の画素値B(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をb(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をb(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をb(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をb(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得部領域(1,j)以外の遮光膜26によって遮光されていない画素情報取得部領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をb(i,j)として記憶部7に記憶する。
【0055】
さらに、
a(2,1)−B(1,1)=A(2,1)として、
この値A(2,1)を撮影して得られた被写体5の最左上端部から右方向に3番目の画像情報領域g(3,1)の画素値A(2,1)として記憶部7に記憶する。
これに加え、
b(2,1)−A(2,1)=B(2,1)として、
この値B(2,1)を撮影して得られた被写体5の最左上端部から右方向に4番目の画像情報領域g(4,1)の画素値B(2,1)として記憶部7に記憶する。
【0056】
このように、A(i,1)は、
a(i,1)−B(i−1,1)=A(i,1)として、
B(i,1)は、
b(i,1)−A(i,1)=B(i,1)として、
この値A(i,1)を撮影して得られた被写体5の最左上端部から右方向にm=2i番目の画像情報領域g(m,1)の画素値A(i,1)として記憶部7に記憶する。またこの値B(i,1)を撮影して得られた被写体5の最左上端部から右方向にm=2i−1番目の画像情報領域g(m,1)の画素値B(i,1)として記憶部7に記憶する。
【0057】
続いて、撮像素子21の位置を基本位置[1]から下方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(1,2)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[3]とする。
【0058】
図12は、このように撮像素子21を基本位置[1]から下方向に、撮像素子21に結像される被写体5の画像情報領域が、2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1,1)の出力値c(1,1)を記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値c(1,1)を被写体5の左上部の画像情報領域g(1,2)の画素値C(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をc(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をc(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をc(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をc(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をc(i,j)として記憶部7に記憶する。
【0059】
さらに、
a(1,2)−C(1,1)=A(1,2)として、
この値A(1,2)を撮影して得られた被写体5の最左上端部から下方向に3番目の画像情報領域g(1,3)の画素値A(1,2)として記憶部7に記憶する。
これに加え、
c(1,2)−A(1,2)=C(1,2)として、
この値C(1,2)を撮影して得られた被写体5の最左上端部から下方向に4番目の画像情報領域g(1,4)の画素値C(1,2)として記憶部7に記憶する。
【0060】
このように、A(1,j)は、
a(1,j)−C(1,j−1)=A(1,j)として、
C(1,j)は、
c(1,j)−A(1,j)=C(1,j)として、
この値A(1,j)を撮影して得られた被写体5の最左上端部から下方向にn=2j番目の画像情報領域g(1,n)の画素値A(1,j)として記憶部7に記憶する。またこの値C(1,j)を撮影して得られた被写体5の最左上端部から下方向にn=2i−1番目の画像情報領域g(1,n)の画素値C(1,j)として記憶部7に記憶する。
【0061】
さらに、撮像素子21の位置を基本位置[1]から右下方向に被写体5に対して1画素の2分の1画素分に相当する距離シフトして撮像する。すなわち、撮像素子21は最左上端部の1画素の4分の3のサブピクセルに相当する領域を遮光膜26によって遮光した状態の画素情報取得領域P(1,1)で画像情報領域g(2,2)を撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[4]とする。
【0062】
図13は、このように撮像素子21を基本位置[1]から右下方向に、撮像素子21に結像される被写体5の画像情報領域が、それぞれ2分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体5との関係を示す図である。
この時の画素情報取得領域P(1、1)の出力値をd(1,1)として記憶部7に記憶する。この時の画素情報取得領域P(1,1)の出力値d(1,1)を被写体5の左上部の画像情報領域g(2,2)の画素値D(1,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(2,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(2,1)の出力値をd(2,1)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(i,1)の上部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(i,1)の出力値をd(i,1)として記憶部7に記憶する。
また、このとき画素情報取得領域P(1,2)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,2)の出力値をd(1,2)として記憶部7に記憶する。これと同様にして、画素情報取得領域P(1,j)の左部が1画素分2分の1に相当する領域が遮光膜26によって遮光された状態で撮像が行われる。画素情報取得領域P(1,j)の出力値をd(1,j)として記憶部7に記憶する。
また、このとき画素情報取得領域P(i,1)及び画素情報取得領域P(1,j)以外の遮光膜26によって遮光されていない画素情報取得領域の部分も撮像が行われる。画素情報取得領域P(i,j)の出力値をd(i,j)として記憶部7に記憶する。
【0063】
さらに、
c(2,1)−D(1,1)=C(2,1)として、
この値C(2,1)を撮影した被写体5の最左上端部から右方向に3番目、下方向に2番目の画像情報領域g(3,2)の画素値C(2,1)として記憶部7に記憶する。
【0064】
さらに、
b(1,2)−D(1,1)=B(1,2)として、
この値B(1,2)を撮影した被写体5の最左上端部から右方向に2番目、下方向に3番目の画像情報領域g(2,3)の画素値B(1,2)として記憶部7に記憶する。
【0065】
さらに、
d(2,1)−C(2,1)=D(2,1)として、
この値D(2,1)を撮影した被写体5の最左上端部から右方向に4番目、下方向に2番目の画像情報領域g(4,2)の画素値D(2,1)として記憶部7に記憶する。
【0066】
さらに、
d(1,2)−B(1,2)=D(1,2)として、
この値D(1,2)を撮影した被写体5の最左上端部から右方向に2番目、下方向に4番目の画像情報領域g(2,4)の画素値D(1,2)として記憶部7に記憶する。
【0067】
さらに、
a(2,2)−(D(1,1)+B(2,1)+C(1,2))=A(2,2)として、
この値A(2,2)を撮影した被写体5の最左上端部から右方向に3番目、下方向に3番目の画像情報領域g(3,3)の画素値A(2,2)として記憶部7に記憶する。
【0068】
同様に、
b(2,2)−(C(2,1)+D(2,1)+A(2,2))=B(2,2)として、
この値B(2,2)を撮影した被写体5の最左上端部から右方向に4番目、下方向に3番目の画像情報領域g(4,3)の画素値B(2,2)として記憶部7に記憶する。
【0069】
同様に、
c(2,2)−(B(1,2)+D(1,2)+A(2,2))=C(2,2)として、
この値A(3,4)を撮影した被写体5の最左上端部から右方向に3番目、下方向に4番目の画像情報領域g(3,4)の画素値C(2,2)として記憶部7に記憶する。
【0070】
同様に、
d(2,2)−(A(2,2)+B(2,2)+C(2,2))=D(2,2)として、
この値D(2,2)を撮影した被写体5の最左上端部から右方向に4番目、下方向に4番目の画像情報領域g(4,4)の画素値D(2,2)として記憶部7に記憶する。
【0071】
このように、画素値は、求める画像情報領域g(m,n)の該当画素値を残すように、a(i,j)、b(i,j)、c(i,j)、d(i,j)のいずれかから、上側及び左側の他の画素値を差し引くことにより算出できる。
すなわち、画素値A(i,j)を撮影した被写体5の最左上端部から右方向に2i−1番目、下方向に2j−1番目の画像情報領域g(2i−1,2j−1)の画素値A(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i−1,2j−1)の画素値A(i,j)=a(i,j)−(D(i−1,j−1)+B(i−1,j)+C(i,j−1))である。
【0072】
画素値B(i,j)を撮影した被写体5の最左上端部から右方向に2i−1番目、下方向に2j番目の画像情報領域g(2i,2j−1)の画素値B(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i,2j−1)の画素値B(i,j)=b(i,j)−(C(i,j−1)+D(i,j−1)+A(i,j))である。
【0073】
画素値C(i,j)を撮影した被写体5の最左上端部から右方向に2i番目、下方向に2j−1番目の画像情報領域g(2i−1,2j)の画素値C(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i−1,2j)の画素値C(i,j)=c(i,j)−(B(i−1,j)+D(i−1,j)+A(i,j))である。
【0074】
画素値D(i,j)を撮影した被写体5の最左上端部から右方向に2i番目、下方向に2j番目の画像情報領域g(2i,2j)の画素値D(i,j)として記憶部7に記憶する。
つまり、画像情報領域g(2i,2j)の画素値=d(i,j)−(A(i,j)+B(i,j)+C(i,j))である。
【0075】
このようにして、撮像素子21を所定の撮像位置、すなわちパターンI〜IVに移動させることによって、撮像素子21を基本位置[1]から移動位置[2]〜移動位置[3]を経て移動位置[4]にシフトさせて撮像情報を得ることができる。そしてこの撮像情報の違いに基づいて、上記のように被写体5の画素情報を4分の1相当のサブピクセルの画素値として算出することができる。そして、4分の1相当のサブピクセルの画素値として算出した被写体5の画素情報を被写体5の位置と対応付けて画像情報として記憶する。すなわち、1画素分の画素情報取得領域P(i,j)を用いて略4倍の解像度の画像情報を得ることができる。
以上より、撮像素子21の遮光膜26で最上部、最左部を部分的に遮光した状態で得られる情報から、図14に示すように被写体5の全画素のサブピクセル情報を分離することができる。
【0076】
図15を参照して、本実施の形態の撮像装置10が被写体5の画像情報を取得する処理のフローについて説明する。以下の処理は、制御部4の制御によって行われる。
【0077】
まず、制御部4は駆動部3を制御して、撮像素子21の位置を設定する(ステップS101)。具体的には、制御部4は、駆動部3を制御して撮像素子21が被写体5を撮像可能な撮像ポイントFに配置する。
【0078】
続けて、撮像素子21を所定量、所定の方向に移動して撮像する(ステップS102)。
具体的には、制御部4は駆動部3を制御して、撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で、被写体5を撮像するために適当な所定の撮像位置(基本位置[1]から移動位置[2]〜移動位置[3]を経て移動位置[4])まで移動して撮像を行う。
【0079】
続けて、撮像を行ったことによる撮像素子21からの出力値(撮像情報)を入力する(ステップS103)。
具体的には、制御部4は撮像部2を制御して撮像を行い、撮像素子21のそれぞれの画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)から出力される出力値(撮像情報)を入力して、記憶部7に記憶する。
【0080】
続けて、画素値を算出する(ステップS104)。
具体的には、制御部4は撮像素子21のそれぞれの画素情報取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、P(1,3)、・・・・、P(i,j)からの複数の撮像位置での出力値(撮像情報)から、それぞれの被写体5の画素情報であるサブピクセルの画素値を算出し、記憶部7に記憶する。
【0081】
ステップS104において、制御部4が、被写体5の全ての画素情報であるサブピクセルの画素値が算出されると、算出した全画素値を記憶部7に、対応する被写体5の位置情報と対応付けて被写体5の画像情報として記憶する(ステップS105)。また、必要に応じて、算出した全画素値に基づいて画像を表示する。具体的には、制御部4は表示部8を制御して、記憶部7に記憶された被写体5の全ての画素情報に基づいて被写体5の画像を表示する。これをもって、画像情報取得処理は終了する。
【0082】
本実施の形態の撮像装置10は、所定の面積を有する受光面である画素情報取得領域P(i,j)を有し部分的にL字に遮光した撮像素子21を、被写体5からの入射光を4つのパターンI〜IVに移動させて撮像する。これにより、撮像素子21の受光素子U(i,j)からの、異なるパターンI〜IVでの出力値(撮像情報)を取得するステップ(ステップS103)と、撮像素子21の受光素子U(i,j)からの複数の出力値(撮像情報)から、撮像素子21の各々の受光素子(i,j)による受光領域よりも小さな面積における受光量に応じた画素値(画素情報)を算出するステップ(ステップS104)と、ステップS104によって算出された画素値(画素情報)を被写体5の位置と対応付けて画像情報として記憶するステップ(ステップS105)と、を含む撮像方法を実行する。
かかる撮像方法は、遮光膜26を有する撮像素子21を変位させることで、撮像素子21の出力値に基づいて、一層微細な被写体5の画像情報領域g(m,n)の画素値(A(i,j)、B(i,j)、C(i,j)、D(i,j)のいずれか)を得ることができるので、受光素子U(i,j)の画素密度を上げる必要がない。つまり、画素密度が低くコストが低い撮像素子を用いて、本実施例では4倍の高画素の画像を取得することができる。よって設備に費用をかけず、解像度の高い画像を取得することができる。
【0083】
また、撮像素子21の受光面に遮光膜26が形成されるので、撮像素子21の受光エリアと遮光膜26との境界近傍に入射する光からは、撮像素子21の遮光エリアへの回折光が生じない。また、撮像素子21の受光エリアと遮光膜26との境界近傍から撮像素子21の遮光エリアに直接入射する迷光が生じない。このため、撮像素子21の遮光エリアのノイズの影響を低減することができる。
【0084】
なお、本実施の形態では、撮像素子21を用いて、画素領域を1画素の2分の1に相当する距離ごとにシフトして被写体5を撮影する処理を、画像情報領域g(1,1)が1画素分に相当する撮像情報(出力値)を取得するまで繰り返して被写体5を撮影する場合について説明した。すなわち、被写体5を、1画素を4分割したサブピクセルの精度で撮影する場合を例に説明した。しかしながら、遮光膜を有する撮像素子を用いて画素領域をシフトする距離は1画素の2分の1に相当する距離に限定されない。また、画素領域をシフトする方向も縦方向と横方向で異なってもよい。X、Yを任意の自然数とすると、被写体5を縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する距離ごとにシフトして撮影する処理を、画像情報領域g(1,1)が1画素分に相当する撮像情報(出力値)を取得するまで繰り返す場合、すなわち、1画素をXにYを乗じて得られた整数個に分割したサブピクセルの精度で撮影する場合も同様の手順で実行することができる。
【0085】
このように、本実施の形態の撮像装置10は、1画素分の画素情報取得領域P(i,j)を有すると共に、一部の受光素子U(i,j)を被写体5からの入射光から部分的に遮光する遮光膜26を選択的に形成した撮像素子21を備える。ここで、iは1以上の自然数、jは1以上の任意の自然数とする。かかる構成により、本実施の形態の撮像装置10は、最左端部の画素情報取得領域P(1,1)の遮光膜26で遮光された部分の残りに等しい画像情報領域g(m,n)の画素値を算出可能な出力値を得ることができる。したがって、撮像装置10は、受光面を遮光していない状態の出力値とは異なる、遮光の状態の度合いを反映した微細な出力値を得ることができる。
【0086】
さらに、本実施の形態の撮像装置10は、画素情報取得領域P(i,j)を4つのパターンI〜IVで撮像して得た複数の撮像情報の違いから、受光素子U(i,j)の受光面よりも小さな面積における受光量に応じた画素値を算出する算出手段である制御部4と、制御部4によって算出された画素値を被写体5の位置と対応付けて記憶する記憶部7と、をさらに備えることができる。よって、本実施の形態の撮像装置10は、パターンI〜IVを異ならせた複数の撮像情報の違いから、受光素子U(i,j)の受光面よりも小さな面積における受光量に応じた画素値を算出し、算出した画素値を被写体5の位置と対応付けて記憶することができる。したがって、撮像装置10は、受光素子U(i,j)の各々の受光面よりも小さな面積に対応した画素値に基づく、一層微細な被写体5の画像情報を取得することができる。
【0087】
さらに、本実施の形態の撮像装置10によると、遮光膜26を形成した撮像素子21の位置を、受光素子U(i,j)の寸法よりも小さな距離ずつ変位させた、異なるパターンI〜IVに移動させる駆動部3を備える。かかる構成により、本実施の形態の撮像装置10は、撮像素子21の受光素子U(i,j)の寸法よりも小さな距離ずつ変位させることができるので、その変位に応じた出力値(撮像情報)に基づき、一層微細な被写体5の画像情報を得ることができる。
【0088】
したがって、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体5の画像情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって、本実施の形態の撮像装置10は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【0089】
本実施の形態の撮像装置10は、ステップS104において、パターンI〜IVにより異なる撮像情報の違いから、例えば、撮像情報(a(i,j)、b(i,j)、c(i,j)、d(i,j)のいずれか)から左部及び上部の画素情報(画素値A(i,j)、B(i,j)、C(i,j)、D(i,j)等)を差し引くことで、目的とする画素値を求めるステップを含む撮像方法を実行する。
【0090】
また、本実施の形態では、被写体5を、1画素を4分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。本実施の形態では、遮光膜26を有する撮像素子21を、被写体5の2辺に対して、最左上端部から縦方向及び横方向にそれぞれ1画素の2分の1に相当する領域を遮光した状態で、撮像素子21を縦方向及び横方向にそれぞれ1画素の2分の1に相当する距離ごとにシフトして撮影する処理を繰り返して被写体5を撮影するとしたが、本発明はこれに限定されない。
【0091】
例えば、X、Yを任意の自然数とすると、被写体5の2辺に対して、縦方向及び横方向に、それぞれ1画素のX分のX−1及び1画素のY分のY−1に相当する領域を遮光した状態の撮像素子を用い、縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する距離ごとにシフトして撮影をする処理を、XにYを乗じて得られた整数だけ繰り返して被写体5を撮影することでもよい。これにより、同様の手法で、1画素をXにYを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
かかる実施の形態の撮像装置では、遮光膜によって分割する1画素あたりの数を変化させることで、撮像する画像の解像度、又は撮像する画像を構成する画素数情報を任意に増やすことができる。
【0092】
すなわち、駆動部3は、遮光膜を有する撮像素子を、基本位置[1]〜移動位置[4]の撮像位置に、1画素の4分の1に相当する単位ずつ駆動する。
撮像素子21は、駆動部3によって撮像位置に駆動される都度、撮像を行う。記憶部7は、撮像素子21が生成する信号電荷に基づいて撮像情報(出力値)を取得する。記憶部7は撮像情報取得部を構成する。
さらに制御部4は、撮像素子21が駆動部3によって駆動された撮像位置ごとに取得した撮像情報の違い、すなわち撮像位置ごとの撮像素子21が生成した信号電荷の違いに基づき、被写体5の一部に対応する画素情報(画素値)を1画素より小さい単位で算出する。制御部4は画素情報算出部を構成する。
制御部4は、こうして算出された画素情報を被写体5の位置と対応付けて画像情報として記憶部7に記憶する。記憶部7は画像情報記憶部を構成する。
【0093】
また、遮光膜26をL字型の形状としたが、遮光膜26は、撮像素子21の少なくとも2辺を遮光するために好適であれば、L字型以外の形状でもよい。
【0094】
以上説明したように本発明によれば、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画像情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって、本発明の撮像装置は、設備に費用をかけない低コストな手法で、解像度の高い画像を取得することができる。
【0095】
本発明の撮像装置では、1枚の撮像素子を1画素より小さい単位で移動させて撮像を行うだけでよいので、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す従来の方法と比べて、処理は非常に簡便である。したがって、本発明によると、撮像素子の移動に要する時間を短くして、撮像に要する全体の時間を短縮して解像度の高い画像を取得することができる。
【0096】
本発明では、遮光膜を有する撮像素子が撮像位置に配置されるごとに撮像によって得られる、各画素情報取得領域が生成する信号電荷(撮像情報)に基づいて、被写体の一部に対応する画素情報を1画素より小さい単位で算出し、算出された画素情報を被写体の位置と対応付けて画像情報として記憶することができる。
【0097】
本発明における遮光膜が形成された撮像素子は、遮光膜が撮像素子の縦方向に配列された画素情報取得領域の1画素中の残り一行分と横方向に配列された画素情報取得領域の1画素中の残りの一列分との少なくとも一方を、X、Yを所定の自然数として、縦方向及び横方向にそれぞれ1画素のX分の1又は1画素のY分の1に相当する単位で撮像素子を駆動すればよい。
【0098】
本発明は、このように構成された撮像素子が、撮像位置に配置される都度、撮像を行う。そして、こうした複数の撮像位置の撮像素子が生成する信号電荷(撮像情報)に基づいて、被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出することができる。
【0099】
以上説明したように本発明では、遮光膜が形成された撮像素子を1画素より小さい単位で移動させて撮像することによって、サブピクセルの単位で画像情報を取得することができる。
【0100】
また、本発明では、撮像素子の受光面に遮光膜が形成されるので、撮像素子の受光エリアと遮光膜との境界近傍に入射する光からは、撮像素子の遮光エリアへの回折光が生じ難い。また、撮像素子の受光エリアと遮光膜との境界近傍から撮像素子の遮光エリアに直接入射する迷光が生じ難い。このため、撮像素子の遮光エリアのノイズの影響を低減することができる。これによって、撮像素子により得られる撮像情報の精度が向上し、サブピクセルの単位でより精度の高い画像情報を取得することができる。
【0101】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施の形態では、被写体を、1画素を4分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。
例えば、Mを任意の自然数とすると、撮像素子の1画素分の画素情報を取得する画素情報取得領域の1行又は1列をM分の1画素分の入射光のみを入射し、残りの入射光を遮光する遮光板を有する撮像素子を移動させて撮像する場合は、撮像素子の画素情報取得領域P(1,1)について、M分の1画素分の入射光を入射する領域が被写体の左上1画素の範囲において異なるように撮像素子を移動させながら、被写体をM回撮像して撮像情報を取得し、撮像情報の違いからM分の1画素相当の画素情報を算出すればよい。
【0102】
なお本発明は、ワークの位置を測定するための装置のみならず、撮像素子を備えた電子機器一般に適用することができる。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0103】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
【0104】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【0105】
2…撮像部
3…駆動部
4…制御部(画素情報算出部)
5…被写体
7…記憶部(撮像情報取得部、画像情報記憶部)
8…表示部
10…撮像装置
21…撮像素子
26…遮光膜
【特許請求の範囲】
【請求項1】
被写体からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域を、縦方向及び横方向に配列して複数有する撮像素子と、
前記撮像素子の受光面に形成される遮光膜であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、
前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させる駆動部と、
前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報を取得する撮像情報取得部と、
前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報を1画素より小さい単位で算出する画素情報算出部と、
前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画像情報記憶部と、
を備えたことを特徴とする撮像装置。
【請求項2】
被写体からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域を、縦方向及び横方向に配列して複数有する撮像素子と、前記撮像素子の受光面に形成される遮光膜であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、を備えた撮像装置を用いて被写体を撮像する撮像方法であって、
駆動部によって、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させるステップと、
撮像情報取得部によって、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報を取得するステップと、
画素情報算出部によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報を1画素より小さい単位で算出するステップと、
画像情報記憶部によって、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップと、
を含むことを特徴とする撮像方法。
【請求項1】
被写体からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域を、縦方向及び横方向に配列して複数有する撮像素子と、
前記撮像素子の受光面に形成される遮光膜であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、
前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させる駆動部と、
前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報を取得する撮像情報取得部と、
前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報を1画素より小さい単位で算出する画素情報算出部と、
前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画像情報記憶部と、
を備えたことを特徴とする撮像装置。
【請求項2】
被写体からの入射光を変換して1画素分の画素情報を取得する画素情報取得領域を、縦方向及び横方向に配列して複数有する撮像素子と、前記撮像素子の受光面に形成される遮光膜であって、前記複数の画素情報取得領域における縦方向の1画素に満たない幅の一端の行と横方向の1画素に満たない幅の一端の列との少なくとも一方の領域を覆う遮光膜と、を備えた撮像装置を用いて被写体を撮像する撮像方法であって、
駆動部によって、前記撮像素子を、1画素より小さい単位ずつずらした複数の撮像位置に段階的に移動させるステップと、
撮像情報取得部によって、前記撮像素子が前記駆動部によって前記撮像位置に移動するごとに前記撮像素子の撮像によって得られる撮像情報を取得するステップと、
画素情報算出部によって、前記撮像情報取得部によって前記撮像位置ごとに取得した撮像情報の違いに基づき、前記被写体の画素情報を1画素より小さい単位で算出するステップと、
画像情報記憶部によって、前記画素情報算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップと、
を含むことを特徴とする撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2013−51467(P2013−51467A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2011−186850(P2011−186850)
【出願日】平成23年8月30日(2011.8.30)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願日】平成23年8月30日(2011.8.30)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]