撮像素子および撮像装置
【課題】一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子を提供する。
【解決手段】
一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系5と、複数の画素を備えた撮像素子部6と、少なくとも3つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段8とを有し、複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。
【解決手段】
一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系5と、複数の画素を備えた撮像素子部6と、少なくとも3つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段8とを有し、複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一度の撮影で複数の遠近位置における像を取得可能な撮像素子および撮像装置に関する。
【背景技術】
【0002】
近年、複数の異なる被写体面における像(画像)を取得し、取得した複数の画像に対して画像処理を行う撮像装置(多焦点撮像装置)が提案されている。例えば、複数の位置における画像のそれぞれから焦点の合った位置の画像を抽出し、これらの画像を合成処理することにより、超深度で高解像な画像を取得することができる。また、取得した複数の位置における画像に対して所定の画像処理を行うことにより、撮影後に任意の位置に焦点が合った画像を取得することもできる。
【0003】
特許文献1、2には、複数の異なる被写体面における像を同時に取得可能な撮像装置が開示されている。例えば特許文献1には、ビームスプリッタを用いて光路を分離し、分離した光路に対して光路長を相対的に変えることで遠近の異なる被写体像を取得する構成が開示されている。また特許文献2には、被写体の任意の位置から撮像装置に設けられた撮像レンズの開口の異なる位置を通過する光線の角度情報を取得し、画像処理を行うことで被写体の奥行き情報を特定し、任意の位置に焦点が合った画像を生成する方式が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−59121号公報
【特許文献2】米国特許公開2009/0185801号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された構成では、被写体からの光をビームスプリッタで分離し、分離した光路に対して光路長を相対的に変えるとともに、カラーフィルタが追加されている。この構成では、再度ビームスプリッタを通過させて2つの画像を合成する際に、異なる位置からの被写体像は、異なる分光特性を有する画像となる。このため、カラー画像としての多焦点画像は得られない。また、被写体の位置が2箇所以上に増えると、ビームスプリッタでの分離や合成が複雑になり、撮像装置が大型化してしまう。
【0006】
また特許文献2に開示された構成では、光線の角度情報から被写体の奥行き情報を算出する。このため、被写体の奥行き情報を高精度に算出するには、比較的Fナンバーの小さな明るい撮像レンズを用いることが必要となる。Fナンバーの小さな明るい撮影レンズは、レンズ枚数が多く高価である。また、撮像装置の小型化には適さない。
【0007】
そこで本発明は、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面としての撮像素子は、一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系と、複数の画素を備えた撮像素子部と、少なくとも3つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段とを有し、前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。
【0009】
本発明の他の側面としての撮像装置は、撮像光学系と、前記撮像光学系を介して前記被写体像を取得する前記撮像素子とを有する。
【0010】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0011】
本発明によれば、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本実施例における撮像装置の概略構成図である。
【図2】本実施例における撮像素子の概略構成図である。
【図3】本実施例における撮像素子の画素配列図である。
【図4】本実施例における隣接画素の説明図である。
【図5】本実施例における画素間の距離の説明図である。
【図6】実施例3における撮像素子の画素配列図である。
【図7】実施例4における撮像装置の概略構成図である。
【図8】実施例4における撮像素子の概略構成図である。
【図9】実施例4における撮像素子の画素配列図である。
【図10】実施例5における撮像素子の画素配列図である。
【図11】比較例1における撮像素子の画素配列図である。
【図12】比較例2における撮像素子の画素配列図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0014】
まず、本実施例における撮像装置(多焦点撮像装置)について説明する。図1は、本実施例における撮像装置の概略構成図である。撮像装置1は、撮像光学系3(第1の撮像光学系)、撮像素子4(多焦点撮像素子)、および、信号処理部7を備えて構成されている。また撮像素子4は、光学系5(第2の撮像光学系)および撮像素子部6(受光部)を備えて構成されている。撮像素子4は、撮像光学系3を介して被写体像を取得する。このような構成により、撮像装置1は、複数の異なる被写体面における像(多焦点画像)を同時に取得することができる。
【0015】
図1において、z軸は撮像素子部6の受光面の面法線方向を示している。複数の異なる位置(遠近位置)にある被写体面2a、2b、2c(被写体)からの光束は、撮影レンズである撮像光学系3により、撮像素子部6の近傍に結像するように導かれる。仮に、撮像装置1に撮像光学系3だけが設けられているとした場合、異なる位置にある被写体面2a、2b、2cの撮影像(被写体像)は、異なる像面に結像されることになる。そこで撮像装置1は、複数の異なる焦点距離を有する光学系5を設けることにより、異なる位置にある被写体面2a、2b、2cの像がz軸に直交する同一平面上(撮像素子部6の受光面上)に結像されるように構成される。
【0016】
同一平面上に結像された被写体像は、結像面に配置された撮像素子部6であるCCDセンサやCMOSセンサにより受光される。CCDセンサやCMOSセンサは、複数の受光部(画素)が同一平面内で直交方向(xy方向)に配列されて構成されている。従って、複数の画素の全ては同一平面上に配列されており、その面法線方向はz軸方向と一致している。なお、複数の画素の配列方向(直交方向)をx軸、y軸と定義する。
【0017】
続いて、撮像素子4を構成する光学系5および撮像素子部6の関係について説明する。本実施例の撮像装置1は、撮像素子部6における特定の画素が、特定の被写体位置における像(特定の被写体像)を取得する。具体的には、例えば被写体面2bの像を撮像する画素が予め決定されている。光学系5の一部は、被写体面2bの像が予め決定された特定の画素にのみ結像するように配置されている。このため光学系5は、被写体面2bの像を撮像する画素の配列に対応するようにアレイ状に配置されている光学系を有する。同様に、被写体面2a、2cに対しても、撮像素子部6の特定の画素が、被写体面2a、2cの像を取得するように予め決定されている。光学系5の一部は、被写体面2a、2cの像を撮像する画素の配列に対応するように、同様にアレイ状に配置されている。
【0018】
図2は、本実施例における撮像素子4の概略構成図である。光学系5は、互いに異なる焦点距離を有する撮像レンズ10a、10b、10cを備えて構成されている。撮像レンズ10aは、被写体面2aの像を取得する画素に対応するようにアレイ状に配置されている。撮像光学系3および撮像レンズ10aを合成した光学系(撮像光学系)により、被写体面2aの像は、撮像素子部6の受光面9(画素)上に結像する。同様に、被写体面2bに対しては撮像レンズ10b、および、被写体面2cに対しては撮像レンズ10cがそれぞれアレイ状に配置されている。また、光学系5と撮像素子部6との間には、遮光部材11が設けられている。遮光部材11は、隣接する別の被写体面(被写体位置)からの光束が受光されるのを防ぐ。
【0019】
撮像素子部6には、複数の分光透過率分布を有する波長選択手段8(カラーフィルタ)が受光面9の上に設けられている。波長選択手段8は、少なくとも3つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する。このような構成により、撮像素子4は、RGB等の色信号として被写体像を受光してカラー画像を取得することができる。撮像レンズ10a、10b、10cは、互いに異なる焦点距離を有するため、撮像素子部6の面法線方向(z方向)における位置が異なるように配置されている。ただし本実施例はこれに限定されるものではなく、撮像レンズ10a、10b、10cは、面法線方向において同一位置に配置した状態で焦点距離を異ならせるように構成してもよい。
【0020】
以上のように、光学系5は、撮像素子部6の特定の画素に対して、予め決定されている特定の被写体位置の像が結像されるように、異なる種類の撮像レンズ10a、10b、10cをアレイ状に配置して構成されている。このような構成により、互いに異なる位置にある被写体面2a、2b、2cに対応する撮影像は、各々対応した撮像素子部6の画素からの信号(撮像情報、映像信号)を信号処理部7により切り出し、それを再構成することで取得することができる。
【0021】
続いて、図3を参照して、撮像装置1により得られるカラー画像(被写体像)について説明する。図3は、撮像素子4の画素配列図であり、撮像素子4で得られる信号(画像信号)の種類を特定している。図3(a)は撮像素子4の一部領域の全画素を示し、図3(b)〜(d)は被写体面2a、2b、2cにおける像を取得する画素をそれぞれ示している。
【0022】
まず、図3中の記号について説明する。図3中の記号「a」、「b」、「c」は、図1中の被写体面2a、2b、2cにそれぞれ対応している。すなわち、被写体面2a、2b、2cにおける被写体像を取得する画素に対して、記号「a」、「b」、「c」がそれぞれ付与されている。また、図3中の番号「1」、「2」、「3」は、波長選択手段8の3つの異なる波長域を表している。本実施例において、番号「1」、「2」、「3」は3原色であるR、G、Bをそれぞれ示すものとして説明するが、これに限定されるものではない。従って、例えば図3中の記号「a2」は、被写体面2aにおけるG信号を取得する画素を示している。
【0023】
続いて、図3(b)を参照して、被写体面2aにおける画像を取得する画素について説明する。本実施例において、被写体面2aの画像を取得するために切り出された画素は、特定の繰り返し配列パターンを有する。また、元の撮像素子部6の全画素から切り出されたRGB用の各画素は、xy画面内に略均等に配置されている。本実施例の撮像装置1は、一度の撮影で(同時に)得られた複数の異なる被写体位置の像から、所定の画像処理を用いて超深度の高精細画像や任意の位置に焦点が合った画像を取得する。このため、複数の被写体位置の画像を取得するだけでなく、その後の画像処理が容易になるように複数の被写体位置の画像を取得することが好ましい。
【0024】
複数の異なる被写体面の画像に含まれる画像データ数(画素数)は、基本的には等しいことが好ましい。また、複数の被写体面の画像に含まれるRGBの画素数の比率は、複数の被写体面の画像間で等しいことが好ましい。これらの条件を満足しない場合として、例えば、特定の被写体位置の画像データ数が極端に少ない場合や、特定の被写体位置の画像内に一つの色情報が極端に少ない場合が考えられる。このような場合、画像処理による画像合成の際に、極端に解像度が低下し、またカラー画像としての色再現が低下する等の好ましくない画像が得られる。
【0025】
また、特定の被写体位置の画像を取得する画素が撮像素子部6内に局在して配置されると、部分的に画像データ数が少ない領域や、色情報が少ない領域が存在することになるため、好ましくない。そこで本実施例の撮像素子部6は、ある画素の隣接画素に同一被写体位置の同一色に対応する画素が配置されないように構成される。すなわち、撮像素子部6における複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、互いに隣接しないように配列される。
【0026】
図4は、隣接画素の説明図である。本実施例において「隣接画素」とは図4に示されるように特定の画素Aの周囲に配置された8画素を意味する。前記条件が必要な理由について詳述する。本実施例の撮像装置1はカラー画像を取得するため、波長選択手段8は少なくとも3つの異なる波長域の色光(RGBの3原色)に対応する必要がある。また、最終的な画像として任意の位置に焦点が合った画像を取得するには、少なくとも3箇所以上の異なる被写体面の位置(遠近位置)の画像を取得することが好ましい。異なる2箇所の被写体面に対してのみ画像を取得した場合、これらが類似の解像度を有する画像であるとすると、被写体の位置を特定する精度が低下するからである。
【0027】
以上より、本実施例では、3種類×3種類の9種類の異なる条件の画像を取得する画素が存在していることが好ましい。9種類の異なる条件の画像を取得する画素が存在している場合、3×3の画素の組(ブロック)を考えて、その中には互いに条件の異なる画素を配置することが可能である。前記条件を全画素に対して適用すれば、9種類の異なる条件の画像を取得する画素が存在する状態において、前記条件を満足する好ましい画像を取得することができる。このような条件を、別の表現で表わすと、ある画素の隣接画素に同一被写体位置の同一色の画素が配置されないという条件となる。
【0028】
このように、色情報と被写体位置情報に対応する画素を適切に配置することで、その後の画像処理を容易に行うことができる。最終的には、必要な超深度の高精細画像や任意の位置に焦点が合った高精細な画像が取得可能となる。また、撮像装置の構成としても、通常のデジタルカメラの撮像素子を本実施例の撮像素子に容易に置換可能なため、汎用性の高い撮像装置を提供することができる。なお本実施例は、異なる位置にある被写体面2a、2b、2cの相対的な位置や、撮像素子から被写体面までの絶対距離を限定するものではない。被写体の位置に応じて撮像光学系3および光学系5の合成焦点距離が最適になるように設定すれば、任意の位置において任意の被写体を撮影することができる。このため、撮像光学系3として、交換レンズやズームレンズなどを用いることが可能である。
【実施例1】
【0029】
次に、図1乃至図3を参照して、本発明の実施例1における撮像素子および撮像装置について説明する。本実施例の撮像素子4に用いられる撮像素子部6は、総画素数1200万画素のCCDである。また、波長選択手段8は、RGBの3色のカラーフィルタであり、撮像素子部6の受光面9上での波長選択手段8のxy面内の配列はベイヤー配列である。従って、RGBの各色の総画素比は1:2:1である。また本実施例の撮像装置1は、3箇所の異なる被写体面2a、2b、2cの位置の像を同時に取得可能に構成されている。
【0030】
光学系5を構成する撮像レンズ10a、10b、10cは、受光面9(画素)の一つ一つに対応するように配置されている。また本実施例では、撮像レンズ10a、10b、10cは、x方向およびy方向ともに周期的に繰り返すように配置されている。このような構成を採用する場合、撮像レンズ10a、10b、10cと受光面9との間には、高精度な位置合わせ精度が必要となる。このため、光学系5と撮像素子部6は一体的に固定することが好ましい。更には、撮像素子部6を製造する半導体プロセスでこれらを同時に製造することが好ましい。
【0031】
図3(a)は、本実施例における画素配列図であり、各画素中に取得される画像信号を示している。図3(a)は、本実施例を簡単に説明するため、x方向に12画素およびy方向に7画素の合計84画素のみ示している。ただし実際には、図3に示される構成が6画素×4画素の周期で繰り返され、総画素数として1200万画素の画像信号を構成している。
【0032】
続いて、複数の異なる位置における被写体像を取得する画素について説明する。図3(b)、(c)、(b)は、図3(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本実施例では、繰り返し周期が6画素×4画素の24画素であるため、その24画素の中に存在する画素について説明する。図3(b)に示されるように、被写体面2aに対するRGBの画素数は、Bが2、Gが4、Rが2である。同様に、図3(c)に示されるように被写体面2bに対するRGBの画素数は、Bが2、Gが4、Rが2であり、図3(d)に示されるように被写体面2cに対するRGBの画素数は、Bが2、Gが4、Rが2である。このように、各被写体面における画像に対する画素の総数は8画素であり、いずれも等しい。また、RGBの画素の比率も全て1:2:1であり、いずれも等しい。
【0033】
また、繰り返し周期+1画素である7画素×5画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な1200万画素の撮像素子全体においても、同様の条件を満足していることを意味する。なお本実施例において、被写体面の相対的な遠近位置や撮像素子からの絶対距離は、特に限定されるものではない。
【0034】
続いて、撮像装置1の補足的な構成について説明する。図3(b)〜(d)に示されるように、3つの被写体面2a、2b、2cの画像を取得する画素配列を比較すると、繰り返し周期内での画素配列パターンは互いに等しい。このように複数の被写体面に対応する画素配列パターンを同一に設定すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
(比較例1)
次に、実施例1の有効性を示すため、実施例1に対する比較例1について説明する。図11(a)〜(d)は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、実施例1と類似の画素配列を備えるが、この画素配列は実施例1で説明した条件を満足していない。すなわち、本比較例の撮像素子部は、実施例1と同様の構成を有し、3箇所の異なる被写体面に対する画像を取得する。また本比較例では、実施例1と同様に、撮像素子部6の受光面9(画素)の一つ一つに対応するように撮像レンズ10a、10b、10cが配置されている。ただし、周期的に繰り返す撮像レンズ10a、10b、10cの配列のみ(画素配列のみ)が実施例1と異なっている。
【0035】
図11(a)は、本比較例における画素配列を示し、図11(b)、(c)、(d)は、図11(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。画素配列の繰り返し周期は、実施例1と異なり6×6となっており、図11(b)〜(d)に示されるようにG画素(「a2」、「b2」、「c2」)が隣接画素内に存在している。また、図11(b)、(c)、(d)のいずれの画素配列パターンも互いに異なっている。
(比較例2)
次に、実施例1の有効性を示すため、実施例1に対する比較例2について説明する。図12(a)〜(d)は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、比較例1と同様に撮影レンズの配列のみが実施例1と異なっており、この画素配列は実施例1で説明した条件を満足していない。
【0036】
図12(a)は、本比較例における画素配列を示し、図12(b)、(c)、(d)は、図12(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本比較例の構成では、比較例1と異なり、図12(b)〜(d)の画素配列パターンは互いに等しい。しかし、いずれの被写体位置の画像においても、G画素(「a2」、「b2」、「c2」)が隣接画素内に存在している。G画素に着目すると、図12(b)中の矢印で示されているα方向には、G画素が密に配置されている一方、α方向に直交する方向にはデータが疎に配置されている。このことは、画像の解像度が画素の面内方向で異なることを意味し、最終的に均一な高精細画像を取得することができない。
【実施例2】
【0037】
次に、本発明の実施例2における撮像素子について説明する。実施例1の撮像素子は、複数の異なる被写体位置の数を3、異なる波長域の色光の数を3とした場合の画素配列を有するが、本実施例は、それらの数を一般化した場合について説明する。すなわち本実施例の撮像素子は、複数の異なる被写体位置の数をm、異なる波長域の色光の数をnに設定される。
【0038】
本実施例の構成では、m種類×n種類の異なる条件の画素が存在している。ここで、m×n=Lとすると、画素数がLとなる画素の組(ブロック)では、互いに異なる条件の画素を配置することが可能である。ここで、大きさがLとなる画素の組は複数存在する。そこで、本実施例における好ましい画素の組について説明する。前述したように、特定の被写体位置の画像データを生成する場合、元の画像から、できる限り均等にデータを取得できるように画素を配置させる必要がある。従って、画素数Lの独立した画素を有する本実施例の構成では、画素間の距離がImax以上離れて同一被写体位置の同一色の画素が配置されることが好ましい。
【0039】
本実施例において、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、以下の式(1)で表される整数Imaxの間隔以上離れて配列されていることが好ましい。すなわち、同種の画素間の距離はImax以上離れていることが好ましい。
【0040】
Imax=int{SQRT(m×n)} … (1)
ただし、mは複数の異なる位置の数、nは異なる波長域の色光の数、SQRT( )は( )内の値の平方根を求める関数、int{ }は、{ }内の値の整数部分を求める関数である。また本実施例において、m×nはLである。
【0041】
また、画素間の距離は、図5に示される値として求められる。図5は、画素間の距離の説明図であり、図5中の各画素に表示される値が画素Aからの距離である。すなわち、特定の画素に対してx方向にa、y方向にbだけ離れた画素は、|a|+|b|だけ画素間の距離が離れていると定義する。ここで、||は絶対値を意味する記号である。この条件を全画素に対して適用すれば、L種類の異なる条件の画素が存在することになり、好ましい画像を取得することができる。
【0042】
続いて、具体的な数値例を用いて説明を補足する。被写体の異なる位置を5箇所とし、カラー画像を得るための4つの異なる波長選択手段が用いられる、すなわち4つの異なる波長域の色光に対応する撮像素子の構成について考える。この場合、独立した画素の種類Lは、L=m×n=5×4=20となる。式(1)は、Imax=int{SQRT(L)}=int{SQRT(20)}=4となり、Imaxは4となる。従って、画素間の距離が4以上離れて同一被写体位置の同一色の画素が配置されるように撮像素子を構成すれば、好ましい画像を取得することができる。
【0043】
次に、実施例1のようなベイヤー配列のRGBカラーフィルタ(波長選択手段)のように、R、Bに対して、Gの画素数が2倍存在している構成について補足する。この場合、Gを2つと数え、前述のnは4とする。正確には、特定の波長選択手段に対応する画素の中で、最小の画素数を有する波長選択手段の画素数を1として、他の波長選択手段の画素数を規格化した場合、規格化された画素数の総和をnと設定する。さらに、具体例を挙げて説明する。撮像素子部6がRGBの3種類のカラーフィルタを有し、Bの画素を100画素、Gの画素を200画素、Rの画素を150画素とした場合を考える。この場合、最小の画素数はBの100画素である。そこで、Bの100画素を1となるように、GRの画素数を規格化すると、Gは2、Rは1.5となる。従って、異なる波長選択手段の種類nは、n=1+2+1.5=4.5と設定される。
【実施例3】
【0044】
次に、図6を参照して、本発明の実施例3における撮像素子および撮像装置について説明する。本実施例の撮像素子部6は、総画素数1200万画素のCCDである。複数の異なる被写体位置の数は3に設定されている。また波長選択手段8は、RGBの3色のカラーフィルタ(異なる波長域の色光の数は3)である。以上の構成は実施例1と同じであるが、本実施例では、x方向に対して斜め45度方向に各RGBのカラーフィルタが繰り返して配列されている。また、RGBの各色の総画素比は1:1:1である。本実施例では、実施例1と同様に、撮像素子部6の受光面9(画素)の一つ一つに対応するように光学系5の撮像レンズ10a、10b、10cが配置されているが、画素配列パターンは実施例1と異なる。
【0045】
図6(a)は、本実施例における画素配列を示し、図6(b)、(c)、(d)は、図6(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。画素配列の繰り返し周期は、実施例1と異なり3×3である。そして、その繰り返し周期の中に、被写体の位置と波長選択手段で設定される独立した画素が1つずつ存在している。従って、同一被写体位置で同一色の画素は隣接して存在しない。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な1200万画素の撮像素子全体においても、同様の条件を満足していることを意味する。
【0046】
また、図6(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図6(b)〜(d)に示される画素は、いずれも、xy方向に同一周期、具体的にはxy方向にそれぞれ3画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【0047】
このような構成を採用すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間および異なる色光間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
【実施例4】
【0048】
次に、図7乃至図9を参照して、本発明の実施例4における撮像素子および撮像装置について説明する。実施例1〜3では、撮像素子4を構成する光学系5の撮像レンズ10a、10b、10cが、1つの受光面9(画素)に1つずつ対応するように構成されていた。これに対し、本実施例では、図7および図8に示されるように、撮像レンズ20a、20b、20cのそれぞれが、複数の受光面9(複数の画素)に対応している。
【0049】
図7は、本実施例における撮像装置1aの概略構成図である。図8は、本実施例における撮像素子4aの概略構成図である。撮像素子4a以外の基本的構成は、前述の各実施例と同一であるためその説明は省略する。図8に示されるように、光学系5aにおいて、被写体面2aの像を撮像素子部6の受光面9(画素)上に結像するための撮像レンズ20aは、被写体面2aの像を取得する画素に対応してアレイ状に配置されている。図8に示されるように、被写体面2aの像は、一つの撮像レンズ20aによって隣接する3つの受光面9に結像される。本実施例の構成では、単独の撮像レンズ20aの大きさが、前述の各実施例に比べて大きくなることから、撮像レンズの形状加工性は向上する。このため、結像性能の高い撮像レンズを提供することができ、最終的な画像の性能を向上させることが可能である。以上の点は、撮像レンズ20b、20cについても同様である。このような構成においても、隣接画素に同一被写体位置の同一色の画素が配置されないことにより、高精細な画像を取得することができる。
【0050】
図9(a)は、本実施例における画素配列を示し、図9(b)、(c)、(d)は、図9(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本実施例の撮像素子4および波長選択手段8の配列は実施例3と同様である。また、異なる位置のける被写体面の数も、実施例3と同様に3箇所である。本実施例において、光学系5aの撮像レンズ20a、20b、20cを構成する単独の撮像レンズは、それぞれRGBの3つの受光面9(画素)に光を結像する。具体的には、図9(a)〜(d)に示されるように、x方向にRGBの画素が並んだ構成を有する。繰り返し周期は9画素×3画素の27画素であり、その27画素の中に存在する画素について以下に説明する。
【0051】
図9(b)に示されるように、被写体面2aの画像におけるRGBの画素数は、Bが3、Gが3、Rが3である。同様に、図9(c)の被写体面2bの画像におけるRGBの画素数は、Bが3、Gが3、Rが3であり、図9(d)の被写体面2cの画像におけるRGBの画素数は、Bが3、Gが3、Rが3である。このように、いずれの被写体面に関しても画素数は9画素であり、互いに等しい。また、それぞれの被写体内に存在するRGBの画素の比率も全て1:1:1であり互いに等しく、元の撮像素子のRGBの画素比率にも等しい。また、繰り返し周期+1画素である10画素×4画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。また、図9(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。
【実施例5】
【0052】
次に、図10を参照して、本発明の実施例5における撮像素子および撮像装置について説明する。本実施例の基本的構成は、実施例4と同じであり、周期的に繰り返す撮像レンズの配列のみが実施例4とは異なる。図10(a)は、本実施例における画素配列を示し、図10(b)、(c)、(d)は、図10(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。図10(a)〜(d)に示されるように、画素配列の繰り返し周期は、実施例4と異なり3×3である。繰り返し周期+1画素である4画素×4画素の画像信号では、全画素において同一被写体位置で同一色の画素は隣接して存在していない。
【0053】
また、図10(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図6(b)〜(d)に示される画素は、いずれも、xy方向に同一周期、具体的にはxy方向にそれぞれ3画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【0054】
本実施例における単独の撮像レンズは、L字の開口を有するレンズである。このため、一般的な屈折型レンズに代えて、回折型バイナリーレンズのような微細周期構造からなるレンズを用いることが、製造の観点から好ましい。
【実施例6】
【0055】
次に、本発明の実施例6における撮像装置について説明する。本実施例では、第1の撮像光学系(撮像光学系3)として、1眼レフカメラの交換レンズに用いられるような様々な焦点距離やズーム機能を有するレンズが用いられる。このような構成により、撮像光学系3および光学系5、5aを合わせて構成された合成光学系の焦点距離は変更可能となる。この場合、第1の撮像光学系と第2の撮像光学系(光学系5、5a)の合成光学系での焦点距離情報を、予め第1の撮像光学系や撮像装置本体に保存し、その情報を利用して任意の焦点画像を取得することができる。
【実施例7】
【0056】
次に、本発明の実施例7における撮像装置について説明する。本実施例の撮像装置には、複数の異なる位置における被写体像のうち特定の被写体像に対してオートフォーカスを行うオートフォーカス機構が設けられている。本実施例の撮像装置は、一つの撮像素子上に遠近の異なる複数の被写体位置を結像するように撮像光学系を配置して構成されている。そこで本実施例のオートフォーカス機構は、例えば、特定の位置にある被写体面2bに対応する画像に対して適用される。この場合、光学系5を固定した状態で撮像光学系3の一部を移動させ、オートフォーカスを行うことが好ましい。他の被写体面2a、2cは、光学系5を固定した状態で共通の撮像光学系3を駆動させるため、特定の被写体面2bに対する相対的な位置として算出可能である。被写体面2a、2cの位置の算出は、信号処理部7にテーブルを用意し、被写体面2bの撮影情報に基づいて対応させることができる。また、不図示の画像処理ソフトなどを用いて実行してもよい。
【0057】
上記各実施例によれば、複数の異なる位置における被写体像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【0058】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0059】
1 撮像装置
2a、2b、2c 被写体面
5 光学系
6 撮像素子部
8 波長選択手段
【技術分野】
【0001】
本発明は、一度の撮影で複数の遠近位置における像を取得可能な撮像素子および撮像装置に関する。
【背景技術】
【0002】
近年、複数の異なる被写体面における像(画像)を取得し、取得した複数の画像に対して画像処理を行う撮像装置(多焦点撮像装置)が提案されている。例えば、複数の位置における画像のそれぞれから焦点の合った位置の画像を抽出し、これらの画像を合成処理することにより、超深度で高解像な画像を取得することができる。また、取得した複数の位置における画像に対して所定の画像処理を行うことにより、撮影後に任意の位置に焦点が合った画像を取得することもできる。
【0003】
特許文献1、2には、複数の異なる被写体面における像を同時に取得可能な撮像装置が開示されている。例えば特許文献1には、ビームスプリッタを用いて光路を分離し、分離した光路に対して光路長を相対的に変えることで遠近の異なる被写体像を取得する構成が開示されている。また特許文献2には、被写体の任意の位置から撮像装置に設けられた撮像レンズの開口の異なる位置を通過する光線の角度情報を取得し、画像処理を行うことで被写体の奥行き情報を特定し、任意の位置に焦点が合った画像を生成する方式が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−59121号公報
【特許文献2】米国特許公開2009/0185801号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された構成では、被写体からの光をビームスプリッタで分離し、分離した光路に対して光路長を相対的に変えるとともに、カラーフィルタが追加されている。この構成では、再度ビームスプリッタを通過させて2つの画像を合成する際に、異なる位置からの被写体像は、異なる分光特性を有する画像となる。このため、カラー画像としての多焦点画像は得られない。また、被写体の位置が2箇所以上に増えると、ビームスプリッタでの分離や合成が複雑になり、撮像装置が大型化してしまう。
【0006】
また特許文献2に開示された構成では、光線の角度情報から被写体の奥行き情報を算出する。このため、被写体の奥行き情報を高精度に算出するには、比較的Fナンバーの小さな明るい撮像レンズを用いることが必要となる。Fナンバーの小さな明るい撮影レンズは、レンズ枚数が多く高価である。また、撮像装置の小型化には適さない。
【0007】
そこで本発明は、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面としての撮像素子は、一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系と、複数の画素を備えた撮像素子部と、少なくとも3つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段とを有し、前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。
【0009】
本発明の他の側面としての撮像装置は、撮像光学系と、前記撮像光学系を介して前記被写体像を取得する前記撮像素子とを有する。
【0010】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0011】
本発明によれば、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本実施例における撮像装置の概略構成図である。
【図2】本実施例における撮像素子の概略構成図である。
【図3】本実施例における撮像素子の画素配列図である。
【図4】本実施例における隣接画素の説明図である。
【図5】本実施例における画素間の距離の説明図である。
【図6】実施例3における撮像素子の画素配列図である。
【図7】実施例4における撮像装置の概略構成図である。
【図8】実施例4における撮像素子の概略構成図である。
【図9】実施例4における撮像素子の画素配列図である。
【図10】実施例5における撮像素子の画素配列図である。
【図11】比較例1における撮像素子の画素配列図である。
【図12】比較例2における撮像素子の画素配列図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0014】
まず、本実施例における撮像装置(多焦点撮像装置)について説明する。図1は、本実施例における撮像装置の概略構成図である。撮像装置1は、撮像光学系3(第1の撮像光学系)、撮像素子4(多焦点撮像素子)、および、信号処理部7を備えて構成されている。また撮像素子4は、光学系5(第2の撮像光学系)および撮像素子部6(受光部)を備えて構成されている。撮像素子4は、撮像光学系3を介して被写体像を取得する。このような構成により、撮像装置1は、複数の異なる被写体面における像(多焦点画像)を同時に取得することができる。
【0015】
図1において、z軸は撮像素子部6の受光面の面法線方向を示している。複数の異なる位置(遠近位置)にある被写体面2a、2b、2c(被写体)からの光束は、撮影レンズである撮像光学系3により、撮像素子部6の近傍に結像するように導かれる。仮に、撮像装置1に撮像光学系3だけが設けられているとした場合、異なる位置にある被写体面2a、2b、2cの撮影像(被写体像)は、異なる像面に結像されることになる。そこで撮像装置1は、複数の異なる焦点距離を有する光学系5を設けることにより、異なる位置にある被写体面2a、2b、2cの像がz軸に直交する同一平面上(撮像素子部6の受光面上)に結像されるように構成される。
【0016】
同一平面上に結像された被写体像は、結像面に配置された撮像素子部6であるCCDセンサやCMOSセンサにより受光される。CCDセンサやCMOSセンサは、複数の受光部(画素)が同一平面内で直交方向(xy方向)に配列されて構成されている。従って、複数の画素の全ては同一平面上に配列されており、その面法線方向はz軸方向と一致している。なお、複数の画素の配列方向(直交方向)をx軸、y軸と定義する。
【0017】
続いて、撮像素子4を構成する光学系5および撮像素子部6の関係について説明する。本実施例の撮像装置1は、撮像素子部6における特定の画素が、特定の被写体位置における像(特定の被写体像)を取得する。具体的には、例えば被写体面2bの像を撮像する画素が予め決定されている。光学系5の一部は、被写体面2bの像が予め決定された特定の画素にのみ結像するように配置されている。このため光学系5は、被写体面2bの像を撮像する画素の配列に対応するようにアレイ状に配置されている光学系を有する。同様に、被写体面2a、2cに対しても、撮像素子部6の特定の画素が、被写体面2a、2cの像を取得するように予め決定されている。光学系5の一部は、被写体面2a、2cの像を撮像する画素の配列に対応するように、同様にアレイ状に配置されている。
【0018】
図2は、本実施例における撮像素子4の概略構成図である。光学系5は、互いに異なる焦点距離を有する撮像レンズ10a、10b、10cを備えて構成されている。撮像レンズ10aは、被写体面2aの像を取得する画素に対応するようにアレイ状に配置されている。撮像光学系3および撮像レンズ10aを合成した光学系(撮像光学系)により、被写体面2aの像は、撮像素子部6の受光面9(画素)上に結像する。同様に、被写体面2bに対しては撮像レンズ10b、および、被写体面2cに対しては撮像レンズ10cがそれぞれアレイ状に配置されている。また、光学系5と撮像素子部6との間には、遮光部材11が設けられている。遮光部材11は、隣接する別の被写体面(被写体位置)からの光束が受光されるのを防ぐ。
【0019】
撮像素子部6には、複数の分光透過率分布を有する波長選択手段8(カラーフィルタ)が受光面9の上に設けられている。波長選択手段8は、少なくとも3つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する。このような構成により、撮像素子4は、RGB等の色信号として被写体像を受光してカラー画像を取得することができる。撮像レンズ10a、10b、10cは、互いに異なる焦点距離を有するため、撮像素子部6の面法線方向(z方向)における位置が異なるように配置されている。ただし本実施例はこれに限定されるものではなく、撮像レンズ10a、10b、10cは、面法線方向において同一位置に配置した状態で焦点距離を異ならせるように構成してもよい。
【0020】
以上のように、光学系5は、撮像素子部6の特定の画素に対して、予め決定されている特定の被写体位置の像が結像されるように、異なる種類の撮像レンズ10a、10b、10cをアレイ状に配置して構成されている。このような構成により、互いに異なる位置にある被写体面2a、2b、2cに対応する撮影像は、各々対応した撮像素子部6の画素からの信号(撮像情報、映像信号)を信号処理部7により切り出し、それを再構成することで取得することができる。
【0021】
続いて、図3を参照して、撮像装置1により得られるカラー画像(被写体像)について説明する。図3は、撮像素子4の画素配列図であり、撮像素子4で得られる信号(画像信号)の種類を特定している。図3(a)は撮像素子4の一部領域の全画素を示し、図3(b)〜(d)は被写体面2a、2b、2cにおける像を取得する画素をそれぞれ示している。
【0022】
まず、図3中の記号について説明する。図3中の記号「a」、「b」、「c」は、図1中の被写体面2a、2b、2cにそれぞれ対応している。すなわち、被写体面2a、2b、2cにおける被写体像を取得する画素に対して、記号「a」、「b」、「c」がそれぞれ付与されている。また、図3中の番号「1」、「2」、「3」は、波長選択手段8の3つの異なる波長域を表している。本実施例において、番号「1」、「2」、「3」は3原色であるR、G、Bをそれぞれ示すものとして説明するが、これに限定されるものではない。従って、例えば図3中の記号「a2」は、被写体面2aにおけるG信号を取得する画素を示している。
【0023】
続いて、図3(b)を参照して、被写体面2aにおける画像を取得する画素について説明する。本実施例において、被写体面2aの画像を取得するために切り出された画素は、特定の繰り返し配列パターンを有する。また、元の撮像素子部6の全画素から切り出されたRGB用の各画素は、xy画面内に略均等に配置されている。本実施例の撮像装置1は、一度の撮影で(同時に)得られた複数の異なる被写体位置の像から、所定の画像処理を用いて超深度の高精細画像や任意の位置に焦点が合った画像を取得する。このため、複数の被写体位置の画像を取得するだけでなく、その後の画像処理が容易になるように複数の被写体位置の画像を取得することが好ましい。
【0024】
複数の異なる被写体面の画像に含まれる画像データ数(画素数)は、基本的には等しいことが好ましい。また、複数の被写体面の画像に含まれるRGBの画素数の比率は、複数の被写体面の画像間で等しいことが好ましい。これらの条件を満足しない場合として、例えば、特定の被写体位置の画像データ数が極端に少ない場合や、特定の被写体位置の画像内に一つの色情報が極端に少ない場合が考えられる。このような場合、画像処理による画像合成の際に、極端に解像度が低下し、またカラー画像としての色再現が低下する等の好ましくない画像が得られる。
【0025】
また、特定の被写体位置の画像を取得する画素が撮像素子部6内に局在して配置されると、部分的に画像データ数が少ない領域や、色情報が少ない領域が存在することになるため、好ましくない。そこで本実施例の撮像素子部6は、ある画素の隣接画素に同一被写体位置の同一色に対応する画素が配置されないように構成される。すなわち、撮像素子部6における複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、互いに隣接しないように配列される。
【0026】
図4は、隣接画素の説明図である。本実施例において「隣接画素」とは図4に示されるように特定の画素Aの周囲に配置された8画素を意味する。前記条件が必要な理由について詳述する。本実施例の撮像装置1はカラー画像を取得するため、波長選択手段8は少なくとも3つの異なる波長域の色光(RGBの3原色)に対応する必要がある。また、最終的な画像として任意の位置に焦点が合った画像を取得するには、少なくとも3箇所以上の異なる被写体面の位置(遠近位置)の画像を取得することが好ましい。異なる2箇所の被写体面に対してのみ画像を取得した場合、これらが類似の解像度を有する画像であるとすると、被写体の位置を特定する精度が低下するからである。
【0027】
以上より、本実施例では、3種類×3種類の9種類の異なる条件の画像を取得する画素が存在していることが好ましい。9種類の異なる条件の画像を取得する画素が存在している場合、3×3の画素の組(ブロック)を考えて、その中には互いに条件の異なる画素を配置することが可能である。前記条件を全画素に対して適用すれば、9種類の異なる条件の画像を取得する画素が存在する状態において、前記条件を満足する好ましい画像を取得することができる。このような条件を、別の表現で表わすと、ある画素の隣接画素に同一被写体位置の同一色の画素が配置されないという条件となる。
【0028】
このように、色情報と被写体位置情報に対応する画素を適切に配置することで、その後の画像処理を容易に行うことができる。最終的には、必要な超深度の高精細画像や任意の位置に焦点が合った高精細な画像が取得可能となる。また、撮像装置の構成としても、通常のデジタルカメラの撮像素子を本実施例の撮像素子に容易に置換可能なため、汎用性の高い撮像装置を提供することができる。なお本実施例は、異なる位置にある被写体面2a、2b、2cの相対的な位置や、撮像素子から被写体面までの絶対距離を限定するものではない。被写体の位置に応じて撮像光学系3および光学系5の合成焦点距離が最適になるように設定すれば、任意の位置において任意の被写体を撮影することができる。このため、撮像光学系3として、交換レンズやズームレンズなどを用いることが可能である。
【実施例1】
【0029】
次に、図1乃至図3を参照して、本発明の実施例1における撮像素子および撮像装置について説明する。本実施例の撮像素子4に用いられる撮像素子部6は、総画素数1200万画素のCCDである。また、波長選択手段8は、RGBの3色のカラーフィルタであり、撮像素子部6の受光面9上での波長選択手段8のxy面内の配列はベイヤー配列である。従って、RGBの各色の総画素比は1:2:1である。また本実施例の撮像装置1は、3箇所の異なる被写体面2a、2b、2cの位置の像を同時に取得可能に構成されている。
【0030】
光学系5を構成する撮像レンズ10a、10b、10cは、受光面9(画素)の一つ一つに対応するように配置されている。また本実施例では、撮像レンズ10a、10b、10cは、x方向およびy方向ともに周期的に繰り返すように配置されている。このような構成を採用する場合、撮像レンズ10a、10b、10cと受光面9との間には、高精度な位置合わせ精度が必要となる。このため、光学系5と撮像素子部6は一体的に固定することが好ましい。更には、撮像素子部6を製造する半導体プロセスでこれらを同時に製造することが好ましい。
【0031】
図3(a)は、本実施例における画素配列図であり、各画素中に取得される画像信号を示している。図3(a)は、本実施例を簡単に説明するため、x方向に12画素およびy方向に7画素の合計84画素のみ示している。ただし実際には、図3に示される構成が6画素×4画素の周期で繰り返され、総画素数として1200万画素の画像信号を構成している。
【0032】
続いて、複数の異なる位置における被写体像を取得する画素について説明する。図3(b)、(c)、(b)は、図3(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本実施例では、繰り返し周期が6画素×4画素の24画素であるため、その24画素の中に存在する画素について説明する。図3(b)に示されるように、被写体面2aに対するRGBの画素数は、Bが2、Gが4、Rが2である。同様に、図3(c)に示されるように被写体面2bに対するRGBの画素数は、Bが2、Gが4、Rが2であり、図3(d)に示されるように被写体面2cに対するRGBの画素数は、Bが2、Gが4、Rが2である。このように、各被写体面における画像に対する画素の総数は8画素であり、いずれも等しい。また、RGBの画素の比率も全て1:2:1であり、いずれも等しい。
【0033】
また、繰り返し周期+1画素である7画素×5画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な1200万画素の撮像素子全体においても、同様の条件を満足していることを意味する。なお本実施例において、被写体面の相対的な遠近位置や撮像素子からの絶対距離は、特に限定されるものではない。
【0034】
続いて、撮像装置1の補足的な構成について説明する。図3(b)〜(d)に示されるように、3つの被写体面2a、2b、2cの画像を取得する画素配列を比較すると、繰り返し周期内での画素配列パターンは互いに等しい。このように複数の被写体面に対応する画素配列パターンを同一に設定すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
(比較例1)
次に、実施例1の有効性を示すため、実施例1に対する比較例1について説明する。図11(a)〜(d)は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、実施例1と類似の画素配列を備えるが、この画素配列は実施例1で説明した条件を満足していない。すなわち、本比較例の撮像素子部は、実施例1と同様の構成を有し、3箇所の異なる被写体面に対する画像を取得する。また本比較例では、実施例1と同様に、撮像素子部6の受光面9(画素)の一つ一つに対応するように撮像レンズ10a、10b、10cが配置されている。ただし、周期的に繰り返す撮像レンズ10a、10b、10cの配列のみ(画素配列のみ)が実施例1と異なっている。
【0035】
図11(a)は、本比較例における画素配列を示し、図11(b)、(c)、(d)は、図11(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。画素配列の繰り返し周期は、実施例1と異なり6×6となっており、図11(b)〜(d)に示されるようにG画素(「a2」、「b2」、「c2」)が隣接画素内に存在している。また、図11(b)、(c)、(d)のいずれの画素配列パターンも互いに異なっている。
(比較例2)
次に、実施例1の有効性を示すため、実施例1に対する比較例2について説明する。図12(a)〜(d)は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、比較例1と同様に撮影レンズの配列のみが実施例1と異なっており、この画素配列は実施例1で説明した条件を満足していない。
【0036】
図12(a)は、本比較例における画素配列を示し、図12(b)、(c)、(d)は、図12(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本比較例の構成では、比較例1と異なり、図12(b)〜(d)の画素配列パターンは互いに等しい。しかし、いずれの被写体位置の画像においても、G画素(「a2」、「b2」、「c2」)が隣接画素内に存在している。G画素に着目すると、図12(b)中の矢印で示されているα方向には、G画素が密に配置されている一方、α方向に直交する方向にはデータが疎に配置されている。このことは、画像の解像度が画素の面内方向で異なることを意味し、最終的に均一な高精細画像を取得することができない。
【実施例2】
【0037】
次に、本発明の実施例2における撮像素子について説明する。実施例1の撮像素子は、複数の異なる被写体位置の数を3、異なる波長域の色光の数を3とした場合の画素配列を有するが、本実施例は、それらの数を一般化した場合について説明する。すなわち本実施例の撮像素子は、複数の異なる被写体位置の数をm、異なる波長域の色光の数をnに設定される。
【0038】
本実施例の構成では、m種類×n種類の異なる条件の画素が存在している。ここで、m×n=Lとすると、画素数がLとなる画素の組(ブロック)では、互いに異なる条件の画素を配置することが可能である。ここで、大きさがLとなる画素の組は複数存在する。そこで、本実施例における好ましい画素の組について説明する。前述したように、特定の被写体位置の画像データを生成する場合、元の画像から、できる限り均等にデータを取得できるように画素を配置させる必要がある。従って、画素数Lの独立した画素を有する本実施例の構成では、画素間の距離がImax以上離れて同一被写体位置の同一色の画素が配置されることが好ましい。
【0039】
本実施例において、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、以下の式(1)で表される整数Imaxの間隔以上離れて配列されていることが好ましい。すなわち、同種の画素間の距離はImax以上離れていることが好ましい。
【0040】
Imax=int{SQRT(m×n)} … (1)
ただし、mは複数の異なる位置の数、nは異なる波長域の色光の数、SQRT( )は( )内の値の平方根を求める関数、int{ }は、{ }内の値の整数部分を求める関数である。また本実施例において、m×nはLである。
【0041】
また、画素間の距離は、図5に示される値として求められる。図5は、画素間の距離の説明図であり、図5中の各画素に表示される値が画素Aからの距離である。すなわち、特定の画素に対してx方向にa、y方向にbだけ離れた画素は、|a|+|b|だけ画素間の距離が離れていると定義する。ここで、||は絶対値を意味する記号である。この条件を全画素に対して適用すれば、L種類の異なる条件の画素が存在することになり、好ましい画像を取得することができる。
【0042】
続いて、具体的な数値例を用いて説明を補足する。被写体の異なる位置を5箇所とし、カラー画像を得るための4つの異なる波長選択手段が用いられる、すなわち4つの異なる波長域の色光に対応する撮像素子の構成について考える。この場合、独立した画素の種類Lは、L=m×n=5×4=20となる。式(1)は、Imax=int{SQRT(L)}=int{SQRT(20)}=4となり、Imaxは4となる。従って、画素間の距離が4以上離れて同一被写体位置の同一色の画素が配置されるように撮像素子を構成すれば、好ましい画像を取得することができる。
【0043】
次に、実施例1のようなベイヤー配列のRGBカラーフィルタ(波長選択手段)のように、R、Bに対して、Gの画素数が2倍存在している構成について補足する。この場合、Gを2つと数え、前述のnは4とする。正確には、特定の波長選択手段に対応する画素の中で、最小の画素数を有する波長選択手段の画素数を1として、他の波長選択手段の画素数を規格化した場合、規格化された画素数の総和をnと設定する。さらに、具体例を挙げて説明する。撮像素子部6がRGBの3種類のカラーフィルタを有し、Bの画素を100画素、Gの画素を200画素、Rの画素を150画素とした場合を考える。この場合、最小の画素数はBの100画素である。そこで、Bの100画素を1となるように、GRの画素数を規格化すると、Gは2、Rは1.5となる。従って、異なる波長選択手段の種類nは、n=1+2+1.5=4.5と設定される。
【実施例3】
【0044】
次に、図6を参照して、本発明の実施例3における撮像素子および撮像装置について説明する。本実施例の撮像素子部6は、総画素数1200万画素のCCDである。複数の異なる被写体位置の数は3に設定されている。また波長選択手段8は、RGBの3色のカラーフィルタ(異なる波長域の色光の数は3)である。以上の構成は実施例1と同じであるが、本実施例では、x方向に対して斜め45度方向に各RGBのカラーフィルタが繰り返して配列されている。また、RGBの各色の総画素比は1:1:1である。本実施例では、実施例1と同様に、撮像素子部6の受光面9(画素)の一つ一つに対応するように光学系5の撮像レンズ10a、10b、10cが配置されているが、画素配列パターンは実施例1と異なる。
【0045】
図6(a)は、本実施例における画素配列を示し、図6(b)、(c)、(d)は、図6(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。画素配列の繰り返し周期は、実施例1と異なり3×3である。そして、その繰り返し周期の中に、被写体の位置と波長選択手段で設定される独立した画素が1つずつ存在している。従って、同一被写体位置で同一色の画素は隣接して存在しない。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な1200万画素の撮像素子全体においても、同様の条件を満足していることを意味する。
【0046】
また、図6(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図6(b)〜(d)に示される画素は、いずれも、xy方向に同一周期、具体的にはxy方向にそれぞれ3画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【0047】
このような構成を採用すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間および異なる色光間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
【実施例4】
【0048】
次に、図7乃至図9を参照して、本発明の実施例4における撮像素子および撮像装置について説明する。実施例1〜3では、撮像素子4を構成する光学系5の撮像レンズ10a、10b、10cが、1つの受光面9(画素)に1つずつ対応するように構成されていた。これに対し、本実施例では、図7および図8に示されるように、撮像レンズ20a、20b、20cのそれぞれが、複数の受光面9(複数の画素)に対応している。
【0049】
図7は、本実施例における撮像装置1aの概略構成図である。図8は、本実施例における撮像素子4aの概略構成図である。撮像素子4a以外の基本的構成は、前述の各実施例と同一であるためその説明は省略する。図8に示されるように、光学系5aにおいて、被写体面2aの像を撮像素子部6の受光面9(画素)上に結像するための撮像レンズ20aは、被写体面2aの像を取得する画素に対応してアレイ状に配置されている。図8に示されるように、被写体面2aの像は、一つの撮像レンズ20aによって隣接する3つの受光面9に結像される。本実施例の構成では、単独の撮像レンズ20aの大きさが、前述の各実施例に比べて大きくなることから、撮像レンズの形状加工性は向上する。このため、結像性能の高い撮像レンズを提供することができ、最終的な画像の性能を向上させることが可能である。以上の点は、撮像レンズ20b、20cについても同様である。このような構成においても、隣接画素に同一被写体位置の同一色の画素が配置されないことにより、高精細な画像を取得することができる。
【0050】
図9(a)は、本実施例における画素配列を示し、図9(b)、(c)、(d)は、図9(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。本実施例の撮像素子4および波長選択手段8の配列は実施例3と同様である。また、異なる位置のける被写体面の数も、実施例3と同様に3箇所である。本実施例において、光学系5aの撮像レンズ20a、20b、20cを構成する単独の撮像レンズは、それぞれRGBの3つの受光面9(画素)に光を結像する。具体的には、図9(a)〜(d)に示されるように、x方向にRGBの画素が並んだ構成を有する。繰り返し周期は9画素×3画素の27画素であり、その27画素の中に存在する画素について以下に説明する。
【0051】
図9(b)に示されるように、被写体面2aの画像におけるRGBの画素数は、Bが3、Gが3、Rが3である。同様に、図9(c)の被写体面2bの画像におけるRGBの画素数は、Bが3、Gが3、Rが3であり、図9(d)の被写体面2cの画像におけるRGBの画素数は、Bが3、Gが3、Rが3である。このように、いずれの被写体面に関しても画素数は9画素であり、互いに等しい。また、それぞれの被写体内に存在するRGBの画素の比率も全て1:1:1であり互いに等しく、元の撮像素子のRGBの画素比率にも等しい。また、繰り返し周期+1画素である10画素×4画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。また、図9(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。
【実施例5】
【0052】
次に、図10を参照して、本発明の実施例5における撮像素子および撮像装置について説明する。本実施例の基本的構成は、実施例4と同じであり、周期的に繰り返す撮像レンズの配列のみが実施例4とは異なる。図10(a)は、本実施例における画素配列を示し、図10(b)、(c)、(d)は、図10(a)の画素配列により取得された被写体面2a、2b、2cの画像(被写体像)をそれぞれ示している。図10(a)〜(d)に示されるように、画素配列の繰り返し周期は、実施例4と異なり3×3である。繰り返し周期+1画素である4画素×4画素の画像信号では、全画素において同一被写体位置で同一色の画素は隣接して存在していない。
【0053】
また、図10(b)〜(d)の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図6(b)〜(d)に示される画素は、いずれも、xy方向に同一周期、具体的にはxy方向にそれぞれ3画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【0054】
本実施例における単独の撮像レンズは、L字の開口を有するレンズである。このため、一般的な屈折型レンズに代えて、回折型バイナリーレンズのような微細周期構造からなるレンズを用いることが、製造の観点から好ましい。
【実施例6】
【0055】
次に、本発明の実施例6における撮像装置について説明する。本実施例では、第1の撮像光学系(撮像光学系3)として、1眼レフカメラの交換レンズに用いられるような様々な焦点距離やズーム機能を有するレンズが用いられる。このような構成により、撮像光学系3および光学系5、5aを合わせて構成された合成光学系の焦点距離は変更可能となる。この場合、第1の撮像光学系と第2の撮像光学系(光学系5、5a)の合成光学系での焦点距離情報を、予め第1の撮像光学系や撮像装置本体に保存し、その情報を利用して任意の焦点画像を取得することができる。
【実施例7】
【0056】
次に、本発明の実施例7における撮像装置について説明する。本実施例の撮像装置には、複数の異なる位置における被写体像のうち特定の被写体像に対してオートフォーカスを行うオートフォーカス機構が設けられている。本実施例の撮像装置は、一つの撮像素子上に遠近の異なる複数の被写体位置を結像するように撮像光学系を配置して構成されている。そこで本実施例のオートフォーカス機構は、例えば、特定の位置にある被写体面2bに対応する画像に対して適用される。この場合、光学系5を固定した状態で撮像光学系3の一部を移動させ、オートフォーカスを行うことが好ましい。他の被写体面2a、2cは、光学系5を固定した状態で共通の撮像光学系3を駆動させるため、特定の被写体面2bに対する相対的な位置として算出可能である。被写体面2a、2cの位置の算出は、信号処理部7にテーブルを用意し、被写体面2bの撮影情報に基づいて対応させることができる。また、不図示の画像処理ソフトなどを用いて実行してもよい。
【0057】
上記各実施例によれば、複数の異なる位置における被写体像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【0058】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0059】
1 撮像装置
2a、2b、2c 被写体面
5 光学系
6 撮像素子部
8 波長選択手段
【特許請求の範囲】
【請求項1】
一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、
複数の異なる焦点距離を有する光学系と、
複数の画素を備えた撮像素子部と、
少なくとも3つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段と、を有し、
前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されていることを特徴とする撮像素子。
【請求項2】
前記同一の波長域の色光に対応し、かつ、前記同一の被写体面の像を取得する前記複数の画素は、以下の式で表される整数Imaxの間隔以上離れて配列されていることを特徴とする請求項1に記載の撮像素子。
Imax=int{SQRT(m×n)}
ただし、mは前記複数の異なる位置の数、nは前記異なる波長域の色光の数、SQRT( )は( )内の値の平方根を求める関数、int{ }は、{ }内の値の整数部分を求める関数である。
【請求項3】
前記複数の異なる被写体面の像を取得する前記複数の画素のそれぞれにおいて、前記同一の波長域の色光に対応した前記複数の画素は同一の配列パターンを有することを特徴とする請求項1または2に記載の撮像素子。
【請求項4】
前記同一の波長域の色光に対応した前記複数の画素は、所定の方向に周期性を有するように配置されていることを特徴とする請求項1または2に記載の撮像素子。
【請求項5】
前記撮像素子部の前記複数の画素の全ては、同一平面上に配列されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。
【請求項6】
撮像光学系と、
前記撮像光学系を介して前記像を取得する請求項1乃至5のいずれか1項に記載の撮像素子と、を有することを特徴とする撮像装置。
【請求項7】
前記撮像光学系および前記光学系を合わせて構成された合成光学系の焦点距離は変更可能であることを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記複数の異なる被写体面の前記像のうち特定の像に対してオートフォーカスを行うオートフォーカス機構を更に有することを特徴とする請求項6または7に記載の撮像装置。
【請求項1】
一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、
複数の異なる焦点距離を有する光学系と、
複数の画素を備えた撮像素子部と、
少なくとも3つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段と、を有し、
前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されていることを特徴とする撮像素子。
【請求項2】
前記同一の波長域の色光に対応し、かつ、前記同一の被写体面の像を取得する前記複数の画素は、以下の式で表される整数Imaxの間隔以上離れて配列されていることを特徴とする請求項1に記載の撮像素子。
Imax=int{SQRT(m×n)}
ただし、mは前記複数の異なる位置の数、nは前記異なる波長域の色光の数、SQRT( )は( )内の値の平方根を求める関数、int{ }は、{ }内の値の整数部分を求める関数である。
【請求項3】
前記複数の異なる被写体面の像を取得する前記複数の画素のそれぞれにおいて、前記同一の波長域の色光に対応した前記複数の画素は同一の配列パターンを有することを特徴とする請求項1または2に記載の撮像素子。
【請求項4】
前記同一の波長域の色光に対応した前記複数の画素は、所定の方向に周期性を有するように配置されていることを特徴とする請求項1または2に記載の撮像素子。
【請求項5】
前記撮像素子部の前記複数の画素の全ては、同一平面上に配列されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。
【請求項6】
撮像光学系と、
前記撮像光学系を介して前記像を取得する請求項1乃至5のいずれか1項に記載の撮像素子と、を有することを特徴とする撮像装置。
【請求項7】
前記撮像光学系および前記光学系を合わせて構成された合成光学系の焦点距離は変更可能であることを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記複数の異なる被写体面の前記像のうち特定の像に対してオートフォーカスを行うオートフォーカス機構を更に有することを特徴とする請求項6または7に記載の撮像装置。
【図3】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図12】
【図1】
【図2】
【図7】
【図8】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図12】
【図1】
【図2】
【図7】
【図8】
【公開番号】特開2013−38670(P2013−38670A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−174530(P2011−174530)
【出願日】平成23年8月10日(2011.8.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月10日(2011.8.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]