説明

サブピクセル解像度を有する薄型カメラ

【課題】本発明は、少なくとも3つのサブカメラおよび合成部を有するカラーカメラにおいて、マルチカラー合成画像の解像度を個々のサブカメラの解像度より高くすることを目的とする。
【解決手段】本発明に係るカラーカメラは、少なくとも3つのサブカメラおよび合成部を有する。各サブカメラは、撮像レンズ、カラーフィルタ、および検出器アレイを有する。合成部は、少なくとも3つのサブカメラからの画像を組み合わせて、マルチカラー合成画像を形成し、実質的に同じ波長光を受光する第2の検出器に隣接する第1の検出器の光路上に少なくとも1つ異なる光学部品を有し、個々のサブカメラの解像度より高くなるようにマルチカラー合成画像の解像度を増大させる。異なる光学部品は、第1の検出器の光を遮光するために用いられるマスクであり、第1の検出器のマスクの形状は、第2の検出器のマスクの形状とは異なる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薄型カメラに関する。とりわけ本発明は、複数のカラーフィルタを用い、そして/または拡大された視野を有する薄型カメラに関する。
【背景技術】
【0002】
図1Aに示す従来式カメラ10は、焦点距離fを有するレンズと、複数のピクセルを有する検出器アレイ14を有する。カラー撮像を実現するために、いくつかのパターンを有し、通常、赤色や青色フィルタより数多くの緑色フィルタを有するフィルタアレイ15が設けられる。フィルタアレイ15の具体例が図1Bに図示されている。このフィルタアレイ15のフィルタがそれぞれ、検出器アレイ14の検出器またはピクセルに対応している。しかしながら、このカメラは比較的に厚い。
【0003】
十分な解像度を有する薄型カメラを実現する1つのアプローチは、例えば焦点距離fを有するf/1カメラなどの従来式カメラの撮像システムを小型化することである。焦点平面に、X方向に大きさがpのn個、Y方向に大きさがpのn個のピクセルまたはセンサが設けられているものとする。すると解像度は、X方向では1/p、Y方向では1/pと定義される。解像度を維持しながら、pおよびpを所望の縮小比で縮小することができれば、すなわち上述のようにnおよびnを一定にして、fを小さくすることができる。しかし、現在あるセンサの可用性および値段により、このようにピクセルサイズを縮小するにも限界がある。さらに、こうした縮小化された系においては、十分なパワーがない。
【0004】
別の解決手法は、複眼で撮像することであり、レンズサイズはカメラの所望の薄さによる。複眼の各レンズは複数のピクセルに対応し、レンズ間隔がピクセル間隔の整数倍とならないように選択される。すなわち各レンズは、位置がシフトした(位置ずれした)異なる像を見る。複眼画像形成システムに用いられるレンズは、一般に、低い解像度を有し、各ピクセルの面積に等しいか、それ以上のPSFを有する。複数のカメラからの像を組み合わせることにより、1つの独立したサブカメラの解像度より大きい解像度を実現することができる。この解決手段のために、図1Cに示すカラーフィルタアレイ15’は、各レンズに対してカラーフィルタを有する。それぞれの色に対して複数のレンズが用いられ、それぞれの組み合わされたカラーに対して複数の像が用いられる。しかしながら、複眼で撮像することは、計算上の負荷が大きく、複眼全体のセンサアレイ中のピクセル数に等しいかこれに近い解像度を実現することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって本発明は、関連技術が有する制約および不具合に起因する1つまたはそれ以上の問題点を実質的に解決する薄型カメラに関する。
【課題を解決するための手段】
【0006】
本発明の利点および特徴は、以下のカラーカメラを提供することにより実現することができる。このカラーカメラは、少なくとも3つのサブカメラを有し、各サブカメラは、撮像レンズ、カラーフィルタ、および検出器アレイを有する。少なくとも3つのサブカメラからの画像が組み合わされて、マルチカラー合成画像が形成される。少なくとも3つのサブカメラは、合計N個の検出器を備え、合計X組の異なるカラーの組を有し、第1のカラーの組の信号の第1の個数はN/Xより少なく、第2のカラーの組の信号の第2の個数はN/Xより多く、第2のカラーの組の信号は、少なくとも3つのサブカメラのうちの少なくとも2つのサブカメラから出力され、第2のカラーの組の合成画像の解像度は個々のサブカメラの解像度より大きく、第1のカラーの組の合成画像の解像度は個々のサブカメラの解像度より大きくない。
【0007】
1つのカラーの組に付随する複数のフィルタは、実質的に同一である。第2のサブカメラから出力された第2のカラーの組の第2の画像に対して、第1のサブカメラから出力された第2のカラーの組の第1の画像の位置をずらしてもよい。第1のサブカメラは、第1の画像の位置をずらす手段を有していてもよい。第1の画像の位置をずらす手段は、撮像レンズと検出器アレイの間の絞りを有していていもよい。第1の画像の位置をずらす手段は、検出器アレイの検出器サイズの非整数倍だけ、第2のサブカメラの撮像レンズから第1の撮像レンズの中心をずらす手段を有していてもよい。第1の画像の位置をずらす手段は、第1の方向において、検出器アレイの検出器サイズの非整数倍だけ、第2のサブカメラの撮像レンズから第1の撮像レンズの中心をずらす手段と、第2の方向において、撮像レンズと検出器アレイの間に光を遮断する絞りとを有していてもよい。
【0008】
カラーカメラは、複数のサブカメラの画像の位置を順次ずらす手段をさらに有していてもよい。位置を順次ずらす手段は、電圧制御される液体レンズを含んでいてもよい。
【0009】
カラーの組に関連するカラーフィルタは、各撮像レンズの上に配設されるようにしてもよい。各サブカメラは、撮像レンズと検出器アレイの間に別のカラーフィルタを有していてもよい。カラーカメラは、隣接する撮像レンズの間にさらなる遮光部品を有していてもよい。遮光部品は、撮像レンズに近接するほど幅広く、検出器アレイに向かってより狭くなるように傾斜していてもよい。各撮像レンズは、基板の第1表面上に屈折部品と、基板の第2表面上に別のレンズ部品とを有していてもよい。別のレンズ部品は、回折部品であってもよい。各撮像レンズは、第1の基板の第1表面上に屈折部品と、第2の基板の第2表面上に別のレンズ部品とを有していてもよい。第1および第2の基板は、一体に固定されていてもよい。第1のカラーの組の画像の解像度は、サブカメラの解像度と実質的に等しくてもよい。第2のカラーの組は、緑色光を含むか、輝度情報を含んでいてもよい。各サブカメラは、1つのカラーの組を有することを特徴とするカラーカメラ。
【0010】
本発明の利点および特徴は、以下のカラーカメラを提供することにより実現することができる。このカラーカメラは、電気的に制御可能なレンズと、少なくとも3つのカラーの組と、撮像レンズと、少なくとも3つのカラーの組からなる画像を撮像レンズから受容する検出器アレイと、検出器アレイから電気信号を受信し、検出器アレイ上の画像の位置をずらすために、電気的に制御可能なレンズに制御信号を順次供給し、検出器アレイからの電気信号から合成画像を形成するプロセッサとを備える。
【0011】
プロセッサは、合成画像の所望の解像度が得られるまで、制御信号を変化させ、順次供給してもよい。第2のカラーの組は輝度情報を含み、第1のカラーの組は色情報を含んでいてもよい。
【0012】
本発明の利点および特徴は、以下のカラーカメラを提供することにより実現することができる。このカラーカメラは、撮像レンズ、カラーフィルタ、および検出器アレイをそれぞれ有する少なくとも3つのサブカメラを備える。さらにカラーカメラは、少なくとも3つのサブカメラからの画像を組み合わせて、マルチカラー合成画像を形成し、実質的に同じ波長を受容する第2の検出器に対して、第1の検出器の光路上に少なくとも1つ異なる光学部品を有し、個々のサブカメラの解像度より高くなるように、マルチカラー合成画像の解像度を増大させる。
【0013】
異なる光学部品は、第1の検出器の光を遮光するために用いられるマスクであってもよく、第1の検出器のマスクの形状は、第2の検出器のマスクの形状とは異なり、第2の検出器にはマスクが存在しなくてもよい。第1および第2のサブカメラは、実質的に同じカラーフィルタを有し、第1および第2の検出器は、それぞれ第1および第2のサブカメラの中にあってもよい。第1および第2のサブカメラカラーフィルタは、実質的に緑色光だけを透過させるか、輝度情報だけを透過させてもよい。第1および第2のサブカメラカラーフィルタは、互いに隣接していてもよい。
【0014】
本発明の利点および特徴は、以下のカラーカメラを提供することにより実現することができる。このカラーカメラは、撮像レンズ、カラーフィルタ、および検出器アレイをそれぞれ有する少なくとも3つのサブカメラを備える。カラーカメラは、少なくとも3つのサブカメラからの画像を組み合わせて、マルチカラー合成画像を形成する。少なくとも3つのサブカメラのうちの少なくとも2つのサブカメラはそれぞれ、実質的に同一のカラースペクトルの画像を形成し、実質的に同一のカラースペクトルの少なくとも2つの画像は、実質的に同一のカラースペクトルの合成画像の解像度が個々のサブカメラの解像度より高くなるような変動を有し、実質的に同一のカラースペクトルを有さないカラー画像の解像度は、合成画像の解像度より低い。
【図面の簡単な説明】
【0015】
【図1】(A)は従来式カメラにおける撮像システムの概略的側面図であり、(B)は(A)の従来式カメラとともに用いられる従来式カメラの平面図であり、(C)は別の従来式カメラフィルタアレイの平面図である。
【図2】(A)は本発明に係る実施形態によるカメラにおける撮像システムの概略的な斜視図であり、(B)〜(D)は本発明に係る実施形態によるカラーフィルタの平面図であり、(E)は本発明に係る実施形態によるマイクロカメラ内で用いられるマイクロピクセル/マイクロピクセル構造の概略的な分解側面図である。
【図3】(A)および(B)は本発明に係る他の実施形態によるカラーフィルタの平面図である。
【図4】(A)〜(D)は本発明に係るシステムにおけるさまざまな遮光部品の概略的な側面図である。
【図5】レンズに隣接したマスクを含む本発明に係る実施形態の概略的な側面図である。
【図6】本発明に係るさらに別の実施形態の概略的な側面図である。
【図7】(A)は本発明とともに用いられる特定のレンズ系の概略的な側面図であり、(B)は(A)に示すレンズ系の概略的な斜視図である。
【図8】(A)は本発明に係る実施形態によるサブカメラ装置の概略的な平面図であり、(B)は(A)のサブカメラに対し位置をずらした画像の概略的な平面図である。
【図9】本発明のカメラとともに用いられる液体レンズの概略的な側面図である。
【発明を実施するための形態】
【0016】
添付図面を参照して、実施形態を詳細に説明することにより、本発明に係る下記およびその他の特徴および利点は、当業者にとって明らかとなるであろう。
【0017】
以下、本発明の好適な実施形態を図示する添付図面を参照しながら、本発明についてより詳細に説明する。しかしながら、本発明は、異なる態様で実現することが可能であり、ここで説明する実施形態に限定して解釈されるべきものではない。むしろ、これらの実施形態は、この開示内容が詳細かつ完全で、当業者に本発明の概念を十分に教示するように説明される。明確とするために、図面において、層および領域の厚みが誇張されている。1つの層が別の層または基板の「上に」あるとした場合、この層は他の層または基板の直ぐ上にあってもよいし、介在する層が存在していてもよいものと理解されたい。同様に、1つの層が別の層または基板の「下に」あるとした場合、この層は他の層または基板の直ぐ下にあってもよいし、1つまたはそれ以上の介在する層が存在していてもよいものと理解されたい。加えて、1つの層が2つの層の「間に」あるとした場合、この層だけが2つの層の間にあってもよいし、1つまたはそれ以上の介在する層が存在してもよいものと理解されたい。本明細書を通して、同様の参照符号は同様の部材を示す。
【0018】
撮像系における有用なパラメータは系のFナンバであり、Fナンバ=f/Dであって、fは焦点距離で、Dはレンズ口径である。従来式カメラと同じFナンバを維持した薄型カメラを作製する際、すなわちfを小さくすると、これに応じてDを小さくする必要がある。
【0019】
本発明に係る実施形態による薄型カメラの概略的構造が図2Aに示されている。薄型カメラ20は、撮像レンズアレイ(ILA:Imaging Lens Array)22、カラーフィルタ25、および検出器アレイ24を備える。検出器アレイ24は、従来式カメラにあるものと同一のものであってもよい。また検出器アレイ24は、マイクロレンズアレイを有していてもよく、それぞれのマイクロレンズは、フィルファクタを改善するように、それぞれのピクセルに対応している。図2Aで示す特定の実施例で図示されているように、従来式の単一レンズの焦点距離を1/2にしたとき、同様にDを1/2にして、Fナンバを維持する。従来式カメラと同じ視野を確保するために、レンズ22a〜22dからなる2×2アレイを用い、各レンズがセンサ表面の1/4の面積をカバーするようにしてもよい。レンズ22a〜22d、カラーフィルタ25a〜25d、および検出器アレイ24の対応する部分のそれぞれを組み合わせたものがサブカメラを構成する。すなわち、図2Aに示す実施形態では、合計4つのサブカメラがある。4つのサブカメラのそれぞれから得られる像はプロセッサに送られ、ここで既知の手法を用いて、組み合わされ1つの合成カラー画像が形成される。カラーフィルタ25は、カメラの前面からセンサ平面の間のいずれかの位置に配置してもよい。
【0020】
アレイに含まれるレンズまたはサブカメラの数は、薄さだけではなく、さまざまなファクタにより左右される。第1に、より数多くのレンズを用いるほど、一般には、カメラはより薄くなる。本発明の実施形態の特徴は、コンピュータによる信号処理の多大な負荷を回避しつつ、撮像センサの全体のピクセル数に等しいか、匹敵する合成画像における解像度を実現することである。これを実現するために、光学系の点像強度分布(PSF:Point Spread Function)をセンサ上のピクセルピッチより小さくすることが好ましい。より数多くのレンズを用いるほど、センサの十分な解像度を達成することが困難になる。例えば、センサが百万ピクセルを含む場合、2×2のILAを用いたとして、各サブカメラからの画像の解像度は25万ピクセルとなる。しかし本発明の特徴は、百万ピクセル近くの解像度を有する合成画像を生成することであり、解像度をおよそ4倍に上げることである。2×2のILAにおいて、レンズの大きさおよびサブカメラの対応する厚みは、従来式の単一レンズカメラの半分であり、複眼カメラよりもはるかに計算上簡便である。最後に、ILAと検出器の間に固相の光路を設けることができ、その間に空気の間隙が形成されない。その結果、空気より屈折率の高い材質内部で集光し、ILAの各レンズからの回折限界スポットサイズを小さくすることができる。用いられるカラーフィルタ25の具体的な実施形態が図2B〜図2Dに図示されている。カラーフィルタ25は、図2Bに示すように、各レンズ22a〜22dに対応して異なるカラーフィルタ25a〜25dを有していてもよい。とりわけ、フィルタ25aは赤色光(R)を透過し、フィルタ25bおよび25cは緑色光(G)を透過し、フィルタ25dは青色光(B)を透過する。それぞれのレンズが全体の像を撮像するので、それぞれのサブカメラからの像を組み合わせることにより合成画像を得ることができる。合成画像は、個々のサブカメラの解像度より高い解像度を有する。例えば、従来式のメガピクセルカメラ、すなわち百万画素のカメラは、青色の25万画素、赤色の25万画素、および緑色の50万画素を備えている。それぞれのピクセルは、像の異なる部分からの光を収集する。しかし通常、補間法を用いて百万フルカラー画素が形成される。各カメラのそれぞれの像が同一であるならば、25万の赤色ピクセル情報、25万の青色ピクセル、および50万の緑色ピクセル(各緑色サブカメラに対して25万ピクセルずつ)が存在することになる。すると、2つの緑色カメラは同一のものなので、緑色に関してはより少ない情報であるが、赤色、青色、および緑色に関して従来式のメガピクセルカメラと同数の個別収集された情報が存在することになる。
【0021】
本発明の1つの実施形態において、2つの緑色カメラは、検出器平面に隣接して絞り(開口)を設けることにより互いに区別するようにしてもよい。ピクセル内の異なる位置に絞りを配置することにより、2つのサブカメラは、像の異なる部分について情報収集し、25万ピクセルではなく、50万ピクセルのサンプル(収集情報)を得る。同様に、このようにサンプル量の増大を実現するための他のいくつかの手法がある。2つの緑色カメラにおけるさまざまな組の情報を収集できる任意の手法により、このようにサンプル量を増大させることができる。一方の緑色カメラに対してわずかに位置をずらした(シフトさせた)他方のカメラに関するセンサ面上の画像を形成し、絞りと画像シフトを組み合わせるという他の技術がある。
【0022】
絞り(開口)を用いた場合、これを実現する1つの手法は、通常のCMOSイメージセンサに固有の自然光遮断層を用いることである。CMOSイメージセンサは、通常、各ピクセルに入射する光の大部分を遮断する埋め込み回路部を有する。例えば、各ピクセルの面積の25%〜75%が通常、この回路部により遮断される。従来式カメラにおいては一般に、マイクロレンズアレイ(MLA:Micro-Lens Array)を用いて、各ピクセルによる光の受容効率を増大させる。従来式のアプローチにおいて、MLAのレンズピッチは、CMOSセンサチップ上のピクセルピッチと等しく、すなわちそれぞれのピクセル毎に1つのマイクロレンズが設けられている。このアプローチによれば、各ピクセルの光受容効率がおよそ75%〜85%に改善される。本発明の実施形態によれば、光を遮断する絞りを実現する1つの方法は、マイクロレンズを用いることなく、緑色フィルタを含むサブカメラにおいて単にCMOSセンサチップを用いることである。2つの緑色の像がピクセルに対して同一の配置位置(registration)を有することがない限り、2つの緑色カメラは異なる位置にある像情報を収集し、2つの緑色カメラにより異なるデータが生成される。2つの緑色カメラの像がピクセルに対して同一の配置位置を有する場合、第1の緑色サブカメラの回路部が第2の緑色サブカメラの回路部とは異なる領域で光を遮蔽するように、イメージセンサチップ上の回路設計を変更してもよい。
【0023】
光の一部を遮断するCMOSチップ上に集積された層を用いることに加えて、特別のMLAを用いて、それぞれのピクセルにより検出される像部分をシフトさせてもよい。例えば、各マイクロレンズを各ピクセルの有効領域の中心から若干ずらすように、MLAを設計してもよい。このように若干異なる像部分が2つの緑色カメラのセンサの有効領域上に焦点を結ぶ。
【0024】
MLAは、一方のカメラに対して1つのシフト(位置)を与え、他方のカメラに対して異なるシフトを与える。択一的には、2つの緑色サブカメラの対応する緑色ピクセルの大部分が異なる信号を受信すると仮定して、所望の被写体距離範囲内の被写体距離のすべての範囲で、サブカメラ内の各マイクロレンズに各ピクセルに対してわずかに異なるシフトを設けてもよい。
【0025】
したがって最終的には、4つのサブカメラを用い、すなわち1つのサブカメラが赤色用、1つのサブカメラが青色用、そして残りの2つのサブカメラが緑色用として用いられる。合成画像が形成されるとき、合成画像の赤色および青色の解像度は、サブカメラと同じ解像度となる。しかし、2つの個々のカメラからの情報が組み合わされて、より高い解像度の合成画像を形成するので、緑色に対する合成画像の解像度は個々のカメラの解像度より大きくなる。
【0026】
上述のように、赤色および青色のサブカメラに対する解像度を増大させる必要はない。ただし、上述のように緑色に対して絞りおよび/または画像シフトを用いるいくつかの場合では、赤色および青色のカメラが、例えば多少異なる位置での像情報を収集することが有利であることもある。
【0027】
各レンズは像全体を取り込むので、これらのカラー画像を組み合わせて、単にベイヤーパターン(Bayer Pattern)を用いて、従来式のカラーフィルタ/ピクセル構成の2倍の解像度を有するフルカラー画像を得ることができる。
【0028】
択一的には、図2Cに示すように、各レンズ22a〜22dに、異なるパターンを有するカラーフィルタ25aa〜25ddを割り当て、各レンズには4×4のカラーフィルタアレイを設けてもよい。RフィルタおよびBフィルタは、4×4のアレイ中の異なる象限にあって、それぞれのレンズは像全体を撮像するのであるから、カラー画像を形成することができる。繰り返しになるが、Gフィルタの数は2倍あり、各象限を2倍占有している。
【0029】
別の択一例として、図2Dに図示されているような従来式のカラーフィルタのRGBカラーフィルタパターンを用いることができ、ここで各ピクセルがカラーフィルタを有する。この場合、それぞれのカメラがセンサ平面上の同一の像を撮像する場合、Rフィルタ、GフィルタおよびBフィルタの位置は、それぞれのカメラに対して異なる位置に配置する必要がある。図2B〜図2Dで図示された任意の実施形態において、複数のピクセルの1/4は赤色のN/4個のポイントを収集し、複数のピクセルの1/4は像の青色のN/4個のサンプルを収集し、複数のピクセルの半分は緑色のN/2個のサンプルを収集する。上述した任意の手法を用いて、緑色のN/2個のサンプルを実質的に独立させるようにする。
【0030】
上記実施形態において、4つのカメラが存在する。第1の実施形態では、それぞれのサブカメラはただ1色の画像を形成する。他の2つの実施形態では、それぞれのサブカメラに対して複数のカラーフィルタが存在する。しかし、すべての実施形態において、合成画像における各ピクセルに対し、4つのピクセルサンプル(収集されたピクセル情報)が対応し、1つは青色で、1つは赤色で、2つは緑色のピクセルサンプルである。これらのすべてのアプローチにおいて、これらのピクセルサンプルのそれぞれは、異なるサブカメラから得られたものである。第1のアプローチにおいては、すべての赤色ピクセルは1つのサブカメラから得られたものである。他のアプローチにおいては、異なるピクセルに対して異なるサブカメラから得られたものである。像範囲がカメラに比較的に接近しているが、被写体距離の目標範囲がかなり大きい場合、各サブカメラに対して複数のカラーを提供することの1つの利点が得られる。カメラから被写体までの距離に依存するが、複数のセンサ上に写る像の位置が若干異なっている。両方の緑色カメラの信号が特定の領域においてほとんど同一であるようないくつかの像領域があってもよい。こうした場合では、緑色の像をより数多くのカメラから得ることにより、画像の解像度を改善することができる。
【0031】
図2B〜図2Dに示す任意のフィルタを、図2Eに示すように、像のためのマスクと組み合わせてもよい。例えば、こうしたマスクは、それぞれのセンサ36に対してマクロピクセル34が対応するように、サイズがdの複数nのマクロピクセル34を有していてもよい。マクロピクセル34のそれぞれは、フィルタとして機能し、機能部品32を有する。マクロピクセル34のそれぞれは、ILA22と、複数のセンサ36を含む検出器アレイ24との間にある。マクロピクセル34のサイズdは、ピクセルまたはセンサのサイズpと同じか、大きくてもよい。各マクロピクセルを透過する光のすべてまたはほとんどが対応するセンサ上に向けられるようにしてもよい。各マクロピクセルの透過率は、マクロピクセル全体にわたって異なっていてもよい。マクロピクセル(大規模ピクセル)をマイクロピクセル(小規模ピクセル)に分割することにより、透過率を変えることができるが、それぞれの透過率は一定であってもよい。マクロピクセル34は、サイズqのマイクロピクセル32をm個有する。より一般的には、X方向にサイズqのマイクロピクセル32をm個、およびY方向にサイズqのマイクロピクセル32をm個設けられている。各センサ36に入射されるパワーは、対応するマクロピクセル34上のすべてのマイクロピクセル32にわたって、マイクロピクセル32上のパワーとマイクロピクセルの透過率の積の合計値に等しい。
【0032】
各マイクロピクセル32は、開口または閉口し、すなわち1または0の透過率を有し、各マクロピクセル34内のm×m個のマイクロピクセル32のうちの1つだけが開いていてもよい。このとき、m=m=10で、マクロピクセル34あたり100個のマイクロピクセル32があると想定されたい。同様に、従来式カメラと同じ20×20μmのセンササイズ、および400μmの焦点距離を有するf/1レンズを想定されたい。するとレンズサイズは、同様に400μmであって、例えばレンズが球形ならば、その直径が400μmで、レンズが正方形ならば、その幅が400μmである。カメラがアレイ状に配列されるので、アレイ中のレンズ間のデッドスペースをなくすように、センサ部品36をレンズサイズとほぼ同一の寸法に規定することが好ましい。すると、センサアレイの大きさが直径で約400μmとなり、センサ数が20×20個のアレイに規定される。この場合、カメラの解像度は、1/q×1/qに等しくなる。しかし、その結果、収集された画像、すなわち画像は、200×200個のピクセルの画像からなる20×20サンプルを含むことになる。
【0033】
残りのピクセルは、マイクロカメラのアレイを形成することにより得ることができる。マイクロカメラのそれぞれがマイクロレンズ22a、複数のセンサ36、および機能部品32を含む複数のマクロピクセル34を有する。マイクロレンズの個数Iは、X方向とY方向(すなわち、個数IとI)で異なっていてもよい。マクロピクセル34は、マイクロカメラの像平面に配置してもよい。マクロピクセル34およびセンサ36の個数n,nは、ピクセルの選択されたサイズp,p、および像平面上の像の大きさにより決定される。これらの構成要素は単一のデバイスであってもよく、マイクロカメラ30は個々のマイクロレンズ22により規定される。上述の実施例において、各マクロピクセルに対し、サイズqの開口したマイクロピクセルが設けられた場合、像のそれぞれの部分を視認するカメラがnのセンサを有し、フィルタが所望する最小サイズの機能部品を有する限り、所望の解像度を得ることができる。上述のカラーフィルタを組み合わせることにより、上述のように解像度を増大させる必要があるサブピクセルの半分が必要となる。
【0034】
それぞれのマクロピクセルにおいてシフトされた(位置の異なる)単一のマイクロピクセルを設ける代わりに、各マクロピクセルにおいて複数の孔またはマイクロピクセルが開口してもよい。上述のように、マイクロピクセルアレイのすべてのマイクロピクセルが開口しているとき、マクロピクセルに遮断される光はない。複数のマイクロピクセルのうちの1つだけが開口している場合、所望する解像度が対応するマクロピクセル上で実現される。こうして、各マクロピクセルに関してすべての情報が得られたならば、さまざまな手法でマイクロカメラを用いて、画像を分解することができる。各マイクロピクセルのサイズに対する各マクロピクセルのサイズの比は、薄型カメラのマイクロカメラの数に比例していてもよい。マイクロピクセルのいくつかのアレイにより、すべての光がマクロピクセルを透過することができ、そのマクロピクセルの平均的な強度値が与えられる。通常、ほとんどのマクロピクセルにおいて、少なくとも半分のマイクロピクセルが開口している。さらに、グレイスケールのアプローチでは、マイクロピクセルのそれぞれに、マイクロピクセル間で変動し得る透過率が与えられている。したがって、マイクロピクセルが開口または閉口しているというより、マクロピクセルはある程度の透過率を有することになる。例えば、マクロピクセルの大部分において少なくとも20%のマイクロピクセルは、0.4より大きい透過率を有する。
【0035】
Fナンバの小さいレンズに関し、必要とされる視野全体において回折限界画像を提供することは困難である。この場合、湾曲した表面上に光を集光させることの方がより容易であることがある。このように、レンズアレイの裏面を、各レンズアレイを中心とした湾曲表面にエッチングしてもよい。あるいはレンズアレイの裏面を、湾曲表面を模した一連の離散的なリングにエッチングしてもよい。すると孔は、この湾曲した表面または平坦でない表面上に形成される。湾曲した表面または平坦でない表面上に孔を設けることにより、確実に、像を広い視野において回折限界的なものとすることができる。
【0036】
カラー画像を実現する別の択一例が図3Aおよび図3Bに図示されている。4つのレンズを用いると仮定し、フィルタ35は領域35a〜35dを有する。図3Aに示す実施形態において、各ピクセル領域には少なくとも2色が設けられる。領域35aはすべての光を透過し、すなわちフィルタが設けられておらず、領域35bは赤色と緑色の光を透過し、領域35cは青色と緑色の光を透過し、領域35dは赤色と青色の光を透過する。領域35dを省略して、残りの領域により緑色優勢を実現してもよい(緑色を多くするようにしてもよい)。4つすべての領域を用いた場合、領域35aのピクセルの強度から領域35cのピクセルの強度を単に差し引くことにより、赤色の強度を特定することができる。他の色の強度も同様に求めることができる。すなわち、緑色優勢を維持したまま、フルカラー画像を実現するために、3つのレンズと関連するフィルタのみが必要とされる。これにより、検出器平面に入射する光量を増大させることができる。例えば、従来式のフィルタを用いると、25%の赤色光、25%の青色光、および50%の緑色光が透過する。上述の3つのフィルタを用いたとき、約67%の赤色光、約67%の青色光、および100%の緑色光が透過する。各検出器に同一強度の光が入射した場合、ほとんどの透過性フィルタに入る光の一部は、上述のように、シフトを与えて遮断され、検出器は同じゲインを有することが可能となる。
【0037】
別の択一的な実施形態は、共同写真専門家グループ(JPEG:Joint Photographic Experts Group)により確立されたフォーマットを用いた、図3Bに示すカラーフィルタ37を用いる。同様に4つのレンズを用いたとすると、フィルタ37は領域37a〜37dを有する。図3Bに示すように、2つの領域37a,37dはYフィルタ、領域37bはRフィルタ、37cはBフィルタを有する。JPEG規格によれば、YUVフィルタは次の方程式に基づいて光を透過させる。
Y=0.299R+0.58G+0.114B
U=B−Y
V=R−Y (1)
すなわち、図3Bに示すフィルタ37からYUV成分を特定することができる。Yフィルタを透過した信号は輝度信号として機能する。より多くの光を透過させる必要がある場合には、緑色光のほぼ全部、赤色光の約0.51、および青色光の約0.2を通過させ、残りのフィルタをそのままにして、Yフィルタを透過する光の比率を一定に維持する。
【0038】
通常、JPEG圧縮はより数多くのYサンプルを有する。この事実をもって、カメラの解像度を改善することができる。例えば、異なるY領域の上に異なる情報を提供することにより、解像度を改善することができる。異なる情報は、光の一部を遮蔽したり、画像の位置をずらすことにより、異なる情報を提供することができる。ILAの点像強度分布がピクセルサイズより小さい場合、一方のY領域に対し、検出器の平面上にある光の一部を遮断する金属または他の不透明な材料に光を集めることにより、2つのY領域の画像に差異をもたらす。これは、修正された画像を受容する各ピクセルに関連するマイクロレンズを省略することにより同様に実現することができる。シフトされた画像を実現するために、検出器のためのILA内の適当なレンズまたはマイクロレンズの位置をずらして、すなわち光軸を外してもよい。したがって、Y画像以外の画像の解像度はY画像より劣るが、合成画像の解像度はY画像の解像度によって決定される。同様に、Yフィルタは、他のフィルタより高い強度を通過させるので、検出器アレイ上の強度を均一化しつつ、このフィルタに対する光を遮断することができる。
【0039】
赤色、青色、緑色構成に対し、緑色フィルタを用い、同じアプローチを適用することができる。さらに、両方のY領域に対して、位置をずらすこと(シフト処理)および遮光すること(ブロック処理)を行うことができる。追加的に、上述のように孔を用いて、ブロック処理を行ってもよい。最後に、青色画像および赤色画像を互いに対してシフト処理して、青色画像および赤色画像の解像度を改善してもよい。
【0040】
ILA内の小型レンズの数を増やすと、クロストークの問題がより顕著となる。図4A〜図4Dに図示されているように、レンズ自体の間、またはレンズと各レンズから光を遮断する検出器平面との間に、遮光部品を設けてクロストークを極力抑える。こうした遮光部品は不透明であるか、吸光性を有する。これらの遮光部品は、系の従来式の絞りに追加されるか、あるいはこれに置換されるものである。検出器サイズを一定にしつつ、Fナンバを維持するためにレンズサイズを小さくし、レンズ間の空間に図4A、図4Bおよび図4Dに示す遮光部品を設けてもよい。焦点距離を短くし、系のFナンバを維持することに加え、(例えば、すべてのレンズの透明な開口面積の合計がセンサ面積の70%未満となる)フィルファクタの小さいより小型のレンズを用いることにより、クロストークを低減し、視野を広げることができる。レンズアレイのフィルファクタが100%未満であっても、依然として検出器は100%のフィルファクタを有する。
【0041】
遮光部品46は、図4Aに示すように、検出器アレイ44上のILAのレンズの間に配設されている。これにより、同じ検出器アレイとともに、より小さいレンズを用いることができる。検出器アレイ44において、検出領域が不連続であって、検出領域の間にデッドスペースが形成されることに留意されたい。遮光部品46は、迷光が検出器アレイ44上に入射することを防止する。
【0042】
図4Bに示すように、先細った遮光部品50が隣接するレンズ42の間、およびレンズ42と検出器平面44の間に配置されている。これらの先細った遮光部品50は、検出器平面44まで延び、所望される光を不必要に遮光することなく、クロストークをできるだけ抑制する。
【0043】
図4Cに示すように、レンズ42が離間していなくても、クロストークを低減するために、ここではアスペクト比が高く、検出器平面44に隣接する遮光デバイス52を用いることができる。これは、とりわけ軸外し照明光を遮断する上で有用である。
【0044】
図4Dに示すように、レンズ42は検出器平面44の上に画像形成するための光学系内の唯一の構成要素であってもよい。例えば、レンズ42を基板60上に形成し、回折性または屈折性光学部品などの他の光学部品62を基板60の対向する表面上に形成してもよい。追加的あるいは択一的に、さらなる光学部品を含む基板を設けてもよい。また、遮光部品は、第1の遮光部64と第2の遮光部66を有していてもよい。ここでは、第1の遮光部64は検出器平面44よりレンズ42に隣接し、第2の遮光部66は検出器平面44により近接し、第1の遮光部64は第2の遮光部66より厚い。このようにして、図4Bとは異なる先細った構造体を用いてクロストークをできるだけ抑える。
【0045】
基板60の対向する表面上に別の光学部品を設けることに加えて、あるいはこれに代わって、図5に示すように、上述のマスク68をこの対向表面上に設けてもよい。レンズ42およびマスク68は、同一基板60上に配置されるため、容易に位置合わせすることができる。検出器平面44上に画像形成する別の光学部品72を含む追加的基板70を用いてもよい。マスクは光学部品72と検出器平面44の間に配置されていないので、光学部品72の品質が低下し、すべての光を集光する際に収差が生じることがある。同一基板60上にあるレンズ42に対してマスク68を位置合わせすることは、マスク68を検出器平面44に対して位置合わせすることよりはるかに容易である。これにより、レンズ42と検出器表面44の間の位置合わせ要件が緩和される。
【0046】
クロストークを低減する1つの実施形態の別の実施例が図6に図示されている。ILAのレンズ42は、ILAと検出器平面44の間のカラーフィルタ84に対応するカラーフィルタ82でカバーされる。換言すると、カラーフィルタ82のそれぞれのフィルタ82a,82bは、カラーフィルタ84の個々のフィルタ84a,84bと適合している。隣接するフィルタは異なる色を透過すると仮定して、サブカメラに入射する光を色フィルタ処理するとともに、ILAと検出器平面44の間で色フィルタ処理することにより、クロストークを低減する。カラーフィルタ82は、レンズ42の上面に配置する必要はなく、ILAの1つのレンズに入射する光がILAの別のレンズに入ることを防止するように機能すれば、レンズの下方に配置してもよい。さらにカラーフィルタ84は、MLAより以前または以後に、検出器の上に直接的に配置してもよい。
【0047】
本発明とともに用いられるILAの1つのレンズの特別な実施例が図7Aおよび図7Bに図示されている。図7Aおよび図7Bにおいて、異なる光路が、被写体からの異なるフィールドポイント(field point)に対応する。第1の基板110は、これに入射する光をコリメートする第1の屈折表面112を有する。第1の基板の第2の表面114は、平坦であって、その上に赤外線フィルタ115を有する。第2の基板120の第1の表面122は、その上に色収差および像収差を補正する回折部品123を有する。それぞれのサブカメラが単一のカラーフィルタを有する場合、各サブカメラに対して単一の回折部品123を用いてもよい。第2の表面124は光の焦点を合わせる第2の屈折表面を有する。第3の基板130は、屈折性の凹面表面132を有する。凹面表面132は、すべての像ポイントが同一平面135で焦点を合わせ、検出器アレイ24上に画像形成するように、像視野を平坦化する。
【0048】
上記実施形態において、解像度を改善するためには、2つの緑色のサブカメラの画像は、異なる像を受容する必要がある。被写体が無限遠にある場合、ゼロ周波数ピクセルが各レンズの中心に配置される。すなわち、所望の画像シフトを実現するためには、ILA内のレンズは、整数倍プラス1/2のピクセルだけ互いに対してシフトしている(位置がずれている)。換言すると、ILA内の隣接するレンズの中心間スペースPは次式で与えられる。
P=(N+1/2)×X (2)
ここで、Xはピクセルピッチで、Nは整数である。例えば、ILA内の各レンズの直径が1mmで、Xが10μmで、Nとして150が選択された場合、中心間スペースPは、1.505mmとなる。
【0049】
被写体が無限遠ではないところに配置されている場合、ある1つのレンズの中心の下方に配置された画像ピクセルは、隣接するレンズの中心の下方には配置されない。むしろ、それはシフト量sだけ位置がずれており、シフト量sは次式で与えられる。
s=P×di/do (3)
ここで、diは像距離で、doは被写体距離であって、像距離は、ほとんどの応用例において、すなわちR=do/diが10を超えるとき焦点距離とほぼ等しい。焦点距離が2mmであるとき、ピクセルピッチXが10μmとすると、無限遠からおよそ3m離れた距離までの被写体に対して、画像シフトは1つのピクセルの1/10未満に維持される。ただし、ピクセルピッチXが3μmまで低減された場合、被写体距離が3であるとき、シフト量sは1つのピクセルの1/3となる。
【0050】
像は、被写体距離に依存して、サブカメラピクセル上の異なる相対位置に配置されているが、合成画像を形成する際に誤ったピクセルを組み合わせる点に関して、問題は生じない。比較的に単純な画像形成アルゴリズムを用いて、異なるサブカメラから関連画像を形成するために必要なシフト量を決定することができる。しかし、画像シフトがピクセルの整数倍プラス1/2ではなく、整数倍により近くなる被写体位置において、こうしたシフト量は複数の画像にほとんどあるいは全く差異を与えないので、このような補間法(interpolation)は問題となる。
【0051】
広範囲の被写体距離が必要である場合、同一または同様のカラーフィルタを有するカメラから異なる画像を得るための1つの方法は、光路上に異なる光学部品を設けることである。例えば、検出器平面内に設けた絞りすなわち遮光領域を用いてもよい。例えば、2つの緑色のサブカメラG1,G2上に異なる信号を得るための方法が図8Bに図示されている。この実施形態において、サブカメラG1は絞りを有さない。すなわち、サブカメラG1のMLAは、センサピクセルに入射するセンサ平面内のほとんどすべての光を、ピクセルの有効領域上に焦点を合わせる。サブカメラG2において、各ピクセル上の光の一部が遮光される。図8Bに示す実施例において、絞り140により、各ピクセルの左側半分上の光が遮断される。さらに、2つのサブカメラG1,G2のレンズ中心がy方向において互いに極めて接近している。すなわち、レンズ中心のy方向の中心座標が、微小量だけ、例えば0.5ピクセル分だけ(あるいはX=3μmのとき、1.5μm)ずれている。y方向のずれ量が極めて小さいので、y方向における画像位置のシフト量は、被写体距離の極めて広い範囲にわたって非常に小さいものとなる。例えば、y方向のオフセットがピクセルの1/3であるとき、方程式(3)から、R>4である限り、R=4からRが無限大まで、シフト量sは1つのピクセルの1/12未満の変化をもたらす。すなわち、y方向において1ピクセルの既知の数分の1のシフト量を、広範囲の被写体距離に関して維持して、確実に、異なるy方向の位置における像サンプルを収集することができる。これにより、2つの緑色カメラ画像を用いて、y方向における解像度を増大させることができる。その結果として得られたシフト量は、図8BのカメラG2のピクセル145で図示されている。
【0052】
同様に、x方向における解像度を増大させるためには、カメラG2に絞りを設けて、カメラG2の各ピクセルの左側に照射される光を遮断する。被写体距離が変化するとき、2つのカメラ上のx方向における画像の相対的な位置ずれ(位置シフト)が変化する。一方のサブカメラに絞りを設け、他方のサブカメラには絞りを設けない、あるいは2つのサブカメラに異なる形状の絞りを設けて、相対的なシフト量が与えられる限り、x方向の任意のシフト量に関して、x方向の解像度が増大する。例えば、2つのカメラ上の信号が位置合わせされた場合、カメラG2の信号自体は各ピクセルの右側半分の平均的な値を与えるため、カメラG1の信号からカメラG2の信号を差し引くことにより、各ピクセルの左側の信号を求めることができる。画像が1ピクセルの1/2だけシフトした場合、カメラG2の信号は各ピクセルの左側半分を与え、差し引くことにより、各ピクセルの右側半分が得られる。画像が1ピクセルの1/4だけシフトした場合、カメラG2の信号は、カメラG1の信号はサンプルの間の中間点における信号を与える。画像が1ピクセルの3/4だけシフトした場合、カメラG1およびカメラG2の信号の中心は、x方向において位置合わせされる。しかし、カメラG1およびカメラG2のピクセルを差し引き、補間アルゴリズムを用いることにより、同様に、解像度を増大させることができる。例えば、i番目のピクセルに関し、カメラG1の信号がカメラG2の信号から差し引かれたとき、その差は、左側1/4ピクセルおよび右側1/4ピクセルの合計値である。左側1/4ピクセルの値と、前のピクセルの右側1/4ピクセルの値または最も隣接するサンプルの重み付けられた平均合計値が同じであると近似することにより、右側1/4ピクセルの値を求めることができる。
【0053】
この実施形態によれば、サブカメラG1,G2の各ピクセルがx方向およびy方向に両方において異なる位置に中心を有するようにすることができる。サブカメラG1にN/4ピクセル、サブカメラG2にN/4ピクセルあった場合、N/2の固有の緑色画像がある。赤色カメラRおよび青色カメラBのレンズは、図8Aに示す実施例でy方向に沿ってずれていてもよい。ピクセルの整数倍のシフト量を生じる、異なる被写体距離に関する上述の問題が提起される場合がある。しかし、一般に、解像度が高いほど、赤色または青色より緑色がより明りょうであり、解像度の低下は問題とならないことがある。そのような場合、赤色サブカメラまたは青色サブカメラのいずれか一方に、同様に絞りを設けてもよい。さらに上記解決手段は、図3Bを参照して上記説明したYUVサブカメラを用いた場合にも適用可能である。
【0054】
異なる画像を得るための別の解決手段は、図9に示すように、カメラ20全体に対して液体レンズ150を用いることである。液体レンズ150は、透明で、電圧を印加することにより調整可能な導電性を有する液体152を含む。度数の弱い液体レンズ、すなわち焦点を合わせる能力の低いレンズを用いることにより、液体レンズを用いてカメラの焦点を微調整することができる。液体レンズ150の焦点が変化するとき、カメラ20の連携した焦点も同様に変化し、自動焦点として機能する。カメラ20のサブカメラのレンズは液体レンズの中心からずれているので、液体レンズがわずかに変化すると、センサアレイの画像の位置がずれる。すなわち被写体距離が生じて、2つのサブカメラがサンプル画像を形成している場合、像の位置をシフトさせるために電圧を印加してもよい。
【0055】
追加的または択一的に、サブカメラの各ピクセルから複数の信号を得る液体レンズを用いることにより、はるかに高い解像度を実現することができる。例えば、初期画像がサンプル収集された後、液体レンズ150に電圧を印加して、画像を1/4ピクセルだけシフトさせることができる。そして画像を再び収集する。各センサに対する所望する回数のサンプルを得るために、このシフト処理およびサンプリング処理を繰り返すことができる。例えば、1/2ピクセルおよび3/4ピクセルだけシフトさせて4つのサンプルを得ることができる。このように、ベイヤーフィルタを用いた単一のサブカメラとともに、液体レンズ150を用いることができる。このとき、液体レンズの中心は、サブカメラの一方向または両方向においてずれている。改善された解像度を実現するために用いられたシフト処理は、同時ではなく順次行うことができる。
【0056】
本発明の実施形態について、特定の用語を用いてこれまで説明してきたが、一般的で記述的文脈で解釈すべきであって、限定的に解釈すべきではない。例えば、一般的な3原色成分である赤色、緑色および青色、あるいはYUVをずっと用いてきたが、フルカラー画像を実現する任意の適当な3色成分を用いることができる。さらに、ILAとして円形レンズを図示したが、より高いフィルファクタのためのより高い集積密度を可能にする他の形状(例えば六角形レンズ)を採用することができる。さらに、同一色を有するサブカメラに異なる画像を提供するために、異なる絞りを説明してきたが、差異を与える他の光学部品を用いることができる。例えば、ピクセルの有効領域は、異なるサブカメラに対して異なる形状を有していてもよい。したがって、当業者ならば、上述の説明および添付クレームに記載された本発明の精神および範疇から逸脱することなく、形態および詳細において、さまざまな変形例を想到することができるものと理解すべきである。
【符号の説明】
【0057】
20…薄型カメラ、22…撮像レンズアレイ(ILA)、22a〜22d…撮像レンズ、24…検出器アレイ、25,25a〜25d…カラーフィルタ、32…マイクロピクセル(機能部品)、34…マクロピクセル、36…センサ部品、37…カラーフィルタ、42…レンズ、44…検出器アレイ、46…遮光部品、50…遮光部品、52…遮光デバイス、60…基板、62…光学部品、64,66…遮光部、68…マスク、82,84…カラーフィルタ、110,120,130…基板、112,114…屈折表面、123…回折部品、132…凹面表面、150…液体レンズ。

【特許請求の範囲】
【請求項1】
少なくとも3つのサブカメラおよび合成部を有するカラーカメラであって、
各サブカメラは、撮像レンズ、カラーフィルタ、および検出器アレイを有し、
合成部は、少なくとも3つのサブカメラからの画像を組み合わせて、マルチカラー合成画像を形成し、実質的に同じ波長光を受光する第2の検出器に隣接する第1の検出器の光路上に少なくとも1つ異なる光学部品を有し、個々のサブカメラの解像度より高くなるようにマルチカラー合成画像の解像度を増大させ、
異なる光学部品は、第1の検出器の光を遮光するために用いられるマスクであり、
第1の検出器のマスクの形状は、第2の検出器のマスクの形状とは異なることを特徴とするカラーカメラ。
【請求項2】
請求項1に記載のカラーカメラであって、
第2の検出器にはマスクが存在しないことを特徴とするカラーカメラ。
【請求項3】
カラーカメラであって、
凸状の屈折部品を有する第1の基板と、
凹状の屈折部品を有する第2の基板と、
凸状の屈折部品および凹状の屈折部品の間に空気のギャップを含む、第1および第2の基板の間に設けた分離部と、
検出器アレイを含む第3の基板とを備え、
凸状の屈折部品は、凹状の屈折部品より検出器に近接して配置されることを特徴とするカラーカメラ。
【請求項4】
請求項3に記載のカラーカメラであって、
凸状の屈折部品に近接するほど幅広く、検出器アレイに向かってより狭くなる遮光部材をさらに有することを特徴とするカラーカメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−72039(P2011−72039A)
【公開日】平成23年4月7日(2011.4.7)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−1385(P2011−1385)
【出願日】平成23年1月6日(2011.1.6)
【分割の表示】特願2006−551449(P2006−551449)の分割
【原出願日】平成17年1月26日(2005.1.26)
【出願人】(399036475)ディジタル・オプティックス・コーポレイション (10)
【氏名又は名称原語表記】DIGITAL OPTICS CORPORATION
【Fターム(参考)】