符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
【課題】符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法を提供する。
【解決手段】画像を取り込むための装置。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いでいる符号化レンズアレイと、符号化レンズアレイに連結され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイ内のレンズを透過した光を感知するように構成されている。
【解決手段】画像を取り込むための装置。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いでいる符号化レンズアレイと、符号化レンズアレイに連結され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイ内のレンズを透過した光を感知するように構成されている。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
本出願は、2005年1月18日出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願第11/039,029号の一部継続出願であり、2005年7月20日出願の「符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の米国特許仮出願第60/701,435号の恩典を主張するものである。その出願は、その全内容が引用により組み込まれている。
【0002】
本発明の分野
本発明は、一般的に画像取込及び画像処理の分野に関する。より具体的には、本発明は、符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法に関する。
【背景技術】
【0003】
写真撮像は、一般的に、写真フィルム又はCCD及びCMOSセンサを含む半導体センサのような光を感知する検出器の前に置かれた単一のガラスレンズを使用して、光景からの光を集束させることにより行われる。
【0004】
X線又はガンマ線のような高エネルギ放射線を撮像するためには、このような放射線は、ガラスレンズを使用して回折させることができないので、他の技術を用いなければならない。単一ピンホールカメラ及び多孔コリメータシステムを含むいくつかの技術が提案されてきた。特に有益な技術は、「符号化開口結像法」であり、そこでは、透明及び不透明要素の適切に選択されたパターンから成る構造化された開口が、撮像される放射線に感応する検出器の前に配置されている。開口パターンが適切に選択されると、撮像された光景は、検出器信号からデジタル方式で再構成することができる。符号化開口結像法は、高い空間分解能を高い光効率と結合させるという利点を有する。矩形又は六角形要素の構造化されたアレイを使用するX線及びガンマ線放射線の符号化開口結像法は、R.H.DICKE著「X線及びガンマ線のための散乱孔カメラ」、「ASTROHYS.J.」、153:L101−L106、1968年(以下、「Dicke」)から公知であり、天体撮像及び核医学に広く応用されている。
【0005】
符号化撮像システムの特に有用な部類は、E.E.Fenimore及びT.M.Cannon著「均一冗長アレイによる符号化開口結像法」、「Appl.Opt.」、17:337−347、1978年(以下「Fenimore」)から公知である。この部類のシステムでは、基本の開口パターンは、開口パターンが基本パターンの2×2のモザイクになるように循環的に繰り返される。検出器は、少なくとも基本開口パターンと同じ大きさを有する。このようなシステムでは、「完全に符号化されたFOV」(「FOV」は、本明細書で「視野」のことを指して使用する)とは、FOV内の区域として定義され、その内部では、点光源が、開口上に基本開口パターンの循環シフトバージョンの完全な影を落とすと考えられる。同様に、「一部符号化されたFOV」とは、FOV内の区域として定義され、その内部では、点光源が、開口上に単に基本開口パターンの一部の影を落とすと考えられる。Dickeによれば、コリメータを検出器の前に置き、これが、FOVを完全符号化FOVに限定し、従って、検出器信号からの光景の明瞭な再構成を可能にする。
【0006】
J.Gunson及びB.Polychronopulos著「ロケット用途のための符号化マスクX線望遠鏡の最適設計」、「MON.NOT.R.ASTRON.SOC.」、177:485−497、1976年(以下「Gunson」)から、開口自体がコリメータとして働き、かつFOVを完全符号化FOVに限定するように、開口の不透明要素に有限厚を与えることが更に公知である。このような「自己平行化開口」により、検出器の前の別のコリメータを省くことができる。
【0007】
FOVを限定することに加えて、コリメータは、光軸に対して厳密に平行である光だけを減衰なしで透過させるという望ましくない特性を有することに注意すべきである。コリメータを通過するどの軸外の光も減衰され、この減衰は、FOVの限界の方向に増大する。FOVの限界では、減衰は100%であり、すなわち、光は、このような角度ではコリメータを通過することができない。この影響は、本明細書では、以下に「コリメータ減衰」として表す。x方向及びy方向の両方で、コリメータ減衰は、光と光軸の間の角度の正接に比例する。
【0008】
符号化開口結像システムでセンサ信号から画像を再構成した後に、光度的に正しい画像を取得するために、コリメータ減衰の影響を逆転させる必要がある場合がある。これは、各個々のピクセル値にそのピクセルが関連する方向から来た光が減衰された係数の逆数を掛けることを伴っている。FOVの限界近くでは、減衰、特にコリメータ減衰が非常に高く、すなわち、この係数はゼロに近づくことに注意すべきである。この場合、コリメータ減衰を逆転させることは、ピクセル値をFOVの限界で無限大に近づく非常に大きい係数によって増幅することを伴っている。再構成におけるあらゆるノイズもこの係数によって増幅されることになるので、FOVの限界付近のピクセルは、ノイズが非常に大きくなるか、又は使用不能になる場合さえある。
【0009】
Fenimore又はGunsonによる符号化開口システムでは、基本開口パターンは、0と1の「開口アレイ」によって特徴付けることができ、ここで、1は、透明な開口要素を表し、0は、不透明な開口要素を表す。更に、FOV内の光景は、2次元アレイとして特徴付けることができ、各アレイ要素は、FOV内の単一ピクセルから発せられた光度を含んでいる。光景が開口から無限遠の距離にある場合、センサ信号は、FOVアレイと開口アレイの間の2次元の周期的な相互相関関数として特徴付けることができることが公知である。センサ信号それ自体は、撮像されている光景と似ていないということに注意すべきである。しかし、開口アレイに適する2次元の周期的な逆フィルタを計算することにより、「再構成フィルタ」を設計することができる。この2次元周期的逆フィルタは、開口アレイと逆フィルタの2次元周期的相互相関関数の全てのサイドローブが0になる方法で構成された2次元アレイである。センサ信号と再構成フィルタの2次元周期的相互相関関数を計算することにより、元の光景の画像をセンサ信号から再構成することができる。
【0010】
いわゆる「均一冗長アレイ」(URA)を開口アレイとして使用することは、Fenimoreから公知である。URAは、サイドローブ値が全て同一である2次元周期的相互相関関数を有する。URAは、一定のオフセット及び一定の倍率を除き、URAそのものと同じ構造を有する逆フィルタを有する。このような再構成フィルタは、センサ信号内のあらゆるノイズが、再構成フィルタリング中に可能な最低の増幅を受けることになるという意味では最適である。しかし、URAは、ごく少数の大きさを除いて代数学的に構成することが不可能である。
【0011】
更に、pが奇素数である時に全ての大きさp×pに対して存在する「修正均一冗長アレイ」(MURA)と呼ばれる修正された部類の開口アレイを使用することが、S.R.Gottesman及びE.E.Fenimore著「符号化開口結像法のための新しいバイナリアレイ群」、「APPL.OPT.」、28:4344−4352、1989年(以下「Gottesman」)から公知である。従って、MURAは、URAよりも多くの大きさに対して存在する。これらの相関特性及びノイズ増幅特性は、最適に近く、URAの特性と殆ど同様に良好である。MURAは、単一行及び単一列を除き、それらが、アレイに対して一方が列指数のみの関数で他方が行指数のみの関数である2つの1次元数列の積として表すことができるという付加的な利点を有する。同様に、単一行及び単一列を除き、これらの逆フィルタもまた、2つの1次元数列の積として表すことができる。この特性により、2次元逆フィルタリングを一連の2つの1次元フィルタリング演算に置換することが可能になり、再構成処理の計算が遥かに効率的になる。
【0012】
更に、s=0,1,2...及びr=1,2,3...である時に、全ての大きさ3S2r×3S2r及び全ての大きさ3S2r-1×3S2r+1に対して存在するいわゆる「完全バイナリアレイ」(PBA)を使用することが、A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI VERLAG」、DUESSELDORF、1999年、ISBN3−18−357210−9(以下「Busboom」)から公知である。従って、PBAはまた、多くの大きさ、特に、偶数の列及び行を有する多くの正方形の大きさに対しても存在する。これらの相関特性及びノイズ増幅特性は、URAと同じくらい良好である。
【0013】
光景が開口から有限距離にある場合、センサ画像の幾何学的拡大が発生する。oが光景と開口の間の距離、かつaが開口とセンサの間の距離である時に、光景の点光源は、実際の開口の大きさに比べて係数f=(o+a)/oだけ拡大された開口パターンの影をセンサ上に落とすと考えられることに注意すべきである。従って、光景が有限距離にある場合、センサ画像は、適宜拡大したバージョンの再構成フィルタでフィルタに掛ける必要がある。
【0014】
光景が開口に非常に近い場合、いわゆる近視野効果が発生する。「近視野」とは、センサの大きさ、開口の大きさ、又は開口とセンサの間の距離のうちでその量が最大のものの10倍に満たない範囲として定義される。被写体が近視野にある場合には、センサ画像は、もはや光景と開口アレイの間の2次元相互相関として表すことができない。これは、逆フィルタリングを使用して光景を再構成しようと試みる時にアーチファクトを引き起こす。Lanza他の米国特許出願第6,737,652号には、このような近視野アーチファクトを低減する方法が開示されている。これらの方法は、第2の開口アレイが第1の開口アレイの逆となっている(すなわち、透明要素が不透明要素と置換され、逆も同様)2つの別々の符号化開口を使用して光景を撮像することを伴っている。再構成は、次に、近視野アーチファクトが2つのセンサ画像を結合する処理で低減されるような方法で、2つの異なる開口で得られた2つのセンサ信号から計算される。
【0015】
今日までの符号化開口結像法は、主としてX線又はガンマ線放射を用いた産業上、医療上、及び科学的応用に限定されており、今日まで開発されたシステムは、それぞれ、特定の制約を受けた環境の中で機能するように設計されている。例えば、既存の符号化開口結像システムは、それぞれ、特定の視野深度で(例えば、天文学用に事実上無限遠で、又は核又はX線撮像用に特定の距離範囲で)設計されている。第2に、今日まで、符号化開口結像法は、制御された放射線源(例えば、核、X線、又は産業用の撮像)又は比較的安定していて事実上無限遠である天体の放射線源を用いて使用されてきた。その結果、既存の符号化開口システムは、例えば、レンズを使用する典型的な写真用カメラとはかなり異なって、制約された環境の中で作動するという利点を有してきた。単レンズを使用する(すなわち、センサ又はフィルムフレームにつき1つの単一のレンズ、ステレオカメラは2枚のレンズを有するが、レンズ毎に別のセンサ又はフィルムフレームを利用する)典型的な写真用カメラは、近距離から事実上無限遠距離までの様々な距離の3次元被写体を包含する光景の撮像を同時に処理するように設計され、かつ不明の起源、角度、及び大きく変化する強度の複数の環境放射線源を反射、拡散、吸収、屈折、又は逆反射する被写体を撮像するように設計されている。単レンズを有する莫大な数の写真用カメラが日常扱っているこの種の制約のない撮像環境を扱うことができる符号化開口システムは、これまでに設計されていない。
【0016】
単レンズを使用した光学スペクトルの写真撮像には、いくつかの不都合及び制限がある。単レンズ写真撮影の主な制限は、特に大きな開口の設定でのその有限被写界深度(DOF)である。限定されたDOFの光景のみに、単レンズ画像において焦点を合わすことができ、一方、DOFよりもカメラに近いか又は離れているあらゆる被写体は、画像内でぼやけて見えることになる。
【0017】
更に、単レンズカメラは、画像を取り込む前に手動又は自動で焦点を合わせる必要がある。これは、特に短いDOFを有する大きい開口では、スポーツ写真又は子供又は動物の写真のような速いか又は予期せぬ動きをする被写体を撮像する時に不都合である。このような状況では、焦点を合わせる十分な時間がなかったか又は画像を取得する時に被写体が予期せぬ動きをしたために、画像の焦点が合っていない場合がある。単レンズ写真撮影は、画像を取得した状態では、撮影者が遡及的に焦点を変更することを許さない。
【0018】
更に、単レンズのカメラの焦点を合わせることは、1つ又はそれよりも多くのレンズとセンサとの間の距離を調節することを伴っている。これには、単レンズカメラが機械的可動部を含む必要があるが、これは、機械の故障を起こしやすくする。液体レンズのようなガラスレンズの様々な代替物(例えば、B.Hendriks及びStein Kuiper著「レンズを通してはっきりと」、「IEEE SPECTRUM」、12月、2004年を参照)が、ガラスレンズの機械的制限を緩和しようという努力で提案されてきたが、このような代替物が設計の複雑さと潜在的な制限(例えば、作動温度範囲及び開口の大きさ)を加えた割には、これらは、依然として限られた焦点範囲の制約を受けている。
【0019】
更に、単レンズカメラは、そのセンサ(フィルム又は半導体センサ)が限られたダイナミックレンジを有する結果として、限られたダイナミックレンジを有する。これは、非常に明るい区域と非常に暗い区域を共に含む光景を撮像する時に深刻な制限になる。一般的に、暗い区域が十分なコントラストを有しながら、明るい区域が露出過度に見え、又は明るい区域が十分なコントラストを有しながら、暗い区域が露出不足に見えることになるかのいずれかである。この問題に対処するために、画像の様々な明るさの領域に適合させるように画像センサの各ピクセルが各々固有の利得でサンプリングされることを可能にする専門の半導体画像センサ(例えば、カリフォルニア州マウンテンビュー所在の「Pixim Inc.」製D1000)が開発された。しかし、このような画像センサは、従来のCCD又はCMOS画像センサよりも遥かに高価であり、従って、大量市場の一般的写真撮影を含む多くの用途に対してコスト優位性がない。
【0020】
焦点を合わせる要件により、単レンズは、レンズと被写体の間の距離の概算値を提供することができる。しかし、大部分の写真撮影用途は、同時焦点の範囲ができるだけ長くなるように設計されたレンズを必要とするために、距離の推定に焦点を利用することは、きわめて不正確である。単レンズは、一度に1つの距離範囲に焦点を合わせることしかできないために、レンズは、高々所定の時間に1つの被写体範囲までの距離の推定をもたらすことになる。
【0021】
「符号化開口結像法(CAI)」(1/18/05出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願出願番号第11/039,029号、以下「CAI出願」に開示されている)は、単レンズカメラの制約の多くに対処するものである。単レンズカメラに比べて、CAIは、より薄いカメラ、より軽いカメラ、より大きいダイナミックレンジを有するカメラ、及び同じく光景内の広範囲の深度にわたって焦点の合った画像を再構成することができるカメラを作ることを可能にする。
【0022】
「CAI出願」に説明した一実施形態に従った可視光符号化開口カメラを図1に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ104の前に配置された符号化開口101を含む。符号化開口101は、円形、正方形、六角形、矩形、又は他のタイル状要素のパターンであり、その中には可視光を通すもの(例えば、要素102)と、通さないもの(例えば、要素103)がある。図を分かりやすくするために、符号化開口101には、透明要素が殆どないことに注意されたい。典型的な符号化開口は、かなり多くの透明要素を有する場合がある(例えば、50%)。2次元又は3次元の光景100(周囲又は人工照明で照らされる場合がある)からの可視光は、符号化開口101を通って画像センサ104上に投射される。このカメラは、FOVをセンサ上に投影される完全符号化FOVに限定することができる。一実施形態では、これは、自動平行化符号化開口101を使用することにより実施される(以下に説明するように、平行化のためのバッフルを使用して)。符号化開口とセンサの間の空間は、遮光ハウジング105(その概略図のみを図1に示す)で遮蔽され、符号化開口の開口要素を通過する以外、いかなる光もセンサに到達させない。
【0023】
カメラは、更に、画像センサ104へのインタフェース109を備えた画像センサ読み出しサブシステム110(従来の符号化開口システムに使用されるものと同様とすることができる)を含む。読み出しサブシステムは、画像センサ104からアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるアナログバファリング、増幅、及び/又はフィルタリングを適用する。A/D120も組み込んだこのような読み出しサブシステム110の一例は、カリフォルニア州サニーベール所在の「NuCore Technology、Inc.」製「NDX−1260 CleanCapture 画像処理プロセッサ」である。読み出しサブシステム110によって読み取られたアナログピクセル値に対してゼロオフセット112及び利得111を調節する機能は(例えば、少なくとも1つの演算増幅器(オペアンプ)を使用して)、取り込まれた画像のダイナミックレンジを増大させることになるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に対して十分なダイナミックレンジを有する場合は、必ずしも重要ではない。
【0024】
一実施形態では、読み出しサブシステム110の出力は、アナログ出力をデジタル化する少なくとも1つのアナログ−デジタル変換器(A/D)120にインタフェース113を通じて接続される。A/Dの出力は、インタフェース121により、一実施形態では「デジタル信号プロセッサ(DSP)」132及び「ランダムアクセスメモリ(RAM)」131を内蔵している画像再構成プロセッサ130に接続される。インタフェース121からのデジタル化された画像は、RAM131に記憶され、DSP132は、元の光景101をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態によると、画像再構成プロセッサ130は、例えば、インテル・コーポレーション製「Pentium 4(登録商標)」のような汎用CPU又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ130は、専用のデジタル構造内で再構成処理の一部又は全部を実施する「特定用途向け集積回路(ASIC)」を内蔵している。再構成プロセッサ130によって再構成されたこのグレースケール又はカラー画像は、インタフェース133を通じて出力され、表示装置140上に表示される。
【0025】
しかし、CAIの1つの限界は、再構成画像の解像度である。CAIカメラの解像度は、(a)開口アレイの次数、及び(b)回折により起こる投影画像のゆがみの2つの主な要因のうちの大きい方に限定される。これについては、以下の段落で更に説明する。
【0026】
図2は、「次数」101、61、及び31のMURAのいくつかの代表的な符号化開口アレイパターンを示している(CAI用途でより詳細に説明)。図2はまた、次数8及び24のPBAの符号化開口アレイパターンを示している。(PBA8及び24は、それらのパターンをより良く示すために、MURAに比べて拡大して示している。)符号化開口アレイパターンは、水平方向に2回、及び垂直方向に2回繰り返された正方形アレイ(特定の次数の水平及び垂直寸法を有する)で形成されていることに注意されたい。従って、例えば、MURA101パターンは、202×202の全体の大きさを有する。また、アレイの開口要素の各々は、同じ大きさのものであることにも注意されたい。開口の一部は、他より大きく見えるが、これは、単に隣接する開口が結合してより大きい開口のように見えるものを作り出しているためである。CAIカメラは、その符号化開口アレイの次数よりも高い解像度の画像を解像することができない。例えば、MURA101のCAIカメラは、101×101ピクセルよりも高い解像度の画像を解像することができない。
【0027】
説明のために、図3は、図1に示す可視光符号化開口カメラの一実施形態を示している。図3に示す実施形態は、再構成画像の解像度が僅か3×3ピクセルであるために多くの用途で使用できないが、図1に示すようなカメラが機能する方法を説明するのに役立つものである。MURA次数3(MURA3)開口アレイ301は、開放開口302のような16の開放開口と閉鎖開口303のような20の閉鎖開口とを収容する。カラー又はグレースケールセンサ304は、MURA3開口アレイ301の1象限(すなわち、1つの3×3の開口ブロック)と同じ大きさであり、この実施形態では、それは、MURA3開口アレイ301に対して中心に位置決めされている。
【0028】
図3の正投影図320は、カメラの構造のより多くを明らかにしている。バッフル(「CAI用途」では「コリメータ」と呼ぶ)315は、開放開口302のような開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ304上への各開口の投影のFOVを制限する。閉鎖開口303のような閉鎖開口は、不透明なカバーで覆われ、従って、光が通過できないようになっている。センサ304は、開放開口の各々からの重なり合う投影の空間を可能にするようにMURA3開口アレイ301及びバッフル317から離されている。ユニット全体は、遮光カメラ本体316の中に入っており、これは、説明のために透明な状態で示している。この特定の例では、例えセンサ304が非常に高解像度のセンサであっても、3×3ピクセル画像しか再構成することができないことに注意されたい。
【0029】
図4は、光がMURA3開口アレイを通して投影される方法を示している。説明図400は、例示的な開放開口402及び閉鎖開口403と共に、黒い実線で示したMURA3開口アレイ401を示している。カラー又はグレースケールセンサ404の位置は、点線で描かれている。開放開口405は、破線で描かれている。開口405を通過する光は、グレーの正方形406として示したセンサ面上の正方形区域に投影する。開口アレイ401が説明図400では投影の上に重なるように示されているために、投影406の大部分は、閉鎖開口によって遮られていることに注意されたい。それでも、グレーの実線で描かれている投影406の周囲は、見ることができる。
【0030】
この実施形態では、投影406は、開口405の約9倍の大きさで開口405上に中心がある正方形である。開口アレイに対してセンサ404がどのくらい近いか又は遠いかにより、この投影は、広いか又は狭いFOVに対応することができる。開口405の周りのバッフル(この説明図には示していないが、図3では、バッフル317として見ることができる)は、この実施形態では、投影406の範囲を開口405の大きさの約9倍に限定するために使用されている。
【0031】
この実施形態では、投影406の面積のごく僅かな割合がセンサ404に重なっていることに注意されたい。この重なりの一部は、開放開口409を通して可視であり、その一部は、閉鎖開口408によって覆い隠されている。
【0032】
説明図410は、開口アレイ401の右上の象限からの4つの投影を重ね合わせたものを示している。(分かりやすくするために、説明図410及び420では、MURA3開口アレイ401の外形のみを示している。)右上象限にある4つの開放開口415は、破線で描かれている。これら4つの開口からの4つの投影416は、重なり合うグレーの区域として示されている。説明図400に示す投影406のような各投影は、その開口の約9倍の大きさの正方形であり、その開口上に中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、グレースケールの階調を変えることを利用して各区域を埋めている。最も明るいグレーは、1つの投影を示し、次に暗いものは、2つの投影の重なりを示し、次に暗いものは、3つの投影の重なりを示し、最後に最も暗いものは、4つの投影の重なりを示している。
【0033】
説明図420は、開口アレイ401全体からの16の投影全ての重なりを示している。16の開放開口425は、破線で描かれている。説明図400に示す投影406のような各投影は、その開口の約9倍の大きさでその開口に中心がある正方形であり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ404の各区域は、4つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって4つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変動、回折効果、及び観測される光景内の被写体までの変動する距離のために、図411のグレーの実線で示す投影の境界付近により少ないか又はより多い重なり合う投影が存在する場合がある。
【0034】
また、MURA3開口アレイ401に当たる光の大部分は、センサ404の縁部を超えて投影され、その結果、この光は、再構成に使用されないことに注意されたい。MURA3開口アレイ401の最右列の区域を無視する場合(この列にある開口は全て閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなくシステムから取り除くことができる)、MURA3開口アレイ401の残りの区域に当たる光の約13%が、実際にセンサ404上に投影される。従来のf/2.8単レンズは、レンズに当たる光の約12.7%を通し、従って、このMURA3符号化開口アレイカメラの13%の光透過性能は、従来のf/2.8レンズに同等のものとして見ることができる。
【0035】
一般的に、f/2.8は、写真用レンズには優れた光透過性能であり、従って、最後の数段落のMURA3符号化開口カメラの説明は、潜在的に望ましい光透過特性を有するカメラを特徴付けたものである。残念ながら、説明したシステムでは、僅か3×3ピクセル画像しか再構成できない。
【0036】
CAIカメラの各要素は、幾何学的には、ピンホールカメラのピンホールのように作用する。各開口を通過する光は、ピンホールカメラの場合と同様に、センサ上に投影を作る。また、ピンホールカメラのように、CAIカメラは、ピンホールを通過する光の回折効果を受ける。ピンホールでは、これらの回折効果は、一般的に「エアリー円盤」として公知の点光源投影パターンを作り出す。エアリー円盤の1次ローブは、所定のピンホールカメラの投影から最小の解像可能なスポットサイズをほぼ形成する。ピンホールからセンサまでの所定の距離においては、ピンホールの大きさが減少する時にエアリー円盤の大きさが増大する。幾何学的観点から、ピンホールカメラからの画像の解像度(すなわち、最小の点光源投影のスポットサイズ)もまた、ピンホールが小さくなる時に増大する。従って、ピンホールからセンサまでのあらゆる所定の距離に対して、点光源投影のスポットサイズがエアリー円盤の第1のローブの大きさと等しくなる最適のピンホールの大きさがある。ピンホールが、この最適サイズよりも小さく作られた場合、エアリー円盤の大きさが増大するために解像度は低下する。ピンホールがこの最適サイズよりも大きく作られた場合、点光源投影のスポットサイズが増大するために解像度は低下する。ピンホールカメラの解像度の特徴付けは主観的であるために、最適のピンホール直径を計算するために、様々な公式が提案されてきた。このような公式の1つが、A=SQRT(55F)であり、ここで、Aは、1000分の1インチ単位のピンホール直径、Fは、インチ単位のカメラの焦点距離、及びSQRT()は、平方根関数である。
【0037】
ピンホールカメラの実現可能な解像度は、カメラの焦点距離が増大する時に増大することに注意されたい。残念ながら、カメラの物理的大きさは、一般的に焦点距離に比例して増大し、その結果、高解像度のピンホール画像には、非常に大きいカメラが必要になる。例えば(公式A=SQRT(55F)を用いて)、1”の焦点距離(すなわち、1”の厚み)のピンホールカメラの最適なピンホールサイズは、約0.007”である。約53°の「通常の」視角に対して、これは、約134.8ピクセルの対角寸法、又は約95×95ピクセルの解像度画像になる。10”の焦点距離(すなわち、10”の厚み)ピンホールカメラの最適なピンホールサイズは、約0.023”である。53°の視角を用いて、これは、約426.4の対角解像度、又は約301×301の解像度画像になる。(様々な撮影者が、ピンホールカメラの解像可能な解像度を評価する際に、様々な主観的な基準を使用することになることに注意されたい。本明細書で計算する解像度は、解像可能な解像度の1つの解釈に基づいている。他の解釈は、より高いか又はより低い解像度の評価を導くであろうが、通常は、本明細書に示す数字の2倍の範囲以内で高く又は低くなることになる。)
【0038】
ピンホールカメラのように、可視光CAIカメラも、解像度/サイズの妥協点をもたらす場合がある回折効果を受ける。開口パターンが複雑であるために、回折パターンは、ピンホールの回折パターンよりも複雑であり、従って、画像解像度及び/又はカメラサイズ要件への影響を判断することは、より複雑である。しかし、CAI画像のピクセル解像度は、開口アレイの次数よりも高くならない可能性があるので、高解像度の画像を獲得するには、低次の開口アレイよりも潜在的に悪い回折効果を示す可能性がある高次の開口アレイを利用するか、又は代替的に、これらの回折効果を緩和するために、より長い焦点距離(及び、結果としてより大きいカメラサイズ)を要求することが必要である。
【0039】
デジタルカメラのレンズシステムの性能を改善する別の手法は、プレノプティックカメラである。プレノプティックカメラの基本概念は、米国特許第5,076,687号に説明されている。「プレノプティック」という言葉は、この特許には使用されていないが、この特許で参照される装置は、その発明者によりこのカメラについて説明したウェブページ:http://www−bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.htmlで「プレノプティックカメラ」と呼ばれている。2005年には、スタンフォード大学の研究者が、従来のf/22レンズのDOFを達成しながら、f/4レンズで集められると考えられる同等な光を光景から取り込むプレノプティックカメラ実装の応用を説明した論文(「Stanford Tech Report」、CTSR2005−02)を公開した。残念ながら、この集光機能の増加は、画像解像度の理論上線形の犠牲で達成される。このチームにより構成された試作品は、理論上の解像度の損失を越えて約2倍の損失をもたらし、従って、4000×4000ピクセルのセンサを用いて、彼らは、f/4の光取込でf/22のDOFを示す僅か296×296の画像を再構成することしかできなかった(すなわち、16メガピクセルのセンサが、90キロピクセルの画像を生成した)。このようなシステムは、ある一定の特定用途には有用かもしれないが、センサ解像度の非常に大きい損失は、このようなシステムを一般の写真用途に対して優位性のないものにする可能性が高いと思われる。
【0040】
【特許文献1】米国特許出願第11/039,029号
【特許文献2】米国特許仮出願第60/701,435号
【特許文献3】米国特許出願第6,737,652号
【特許文献4】米国特許第5,076,687号
【非特許文献1】R.H.DICKE著「X線及びガンマ線のための散乱孔カメラ」、「ASTROHYS.J.」、153:L101−L106、1968年
【非特許文献2】E.E.Fenimore及びT.M.Cannon著「均一冗長アレイによる符号化開口結像法」、「Appl.Opt.」、17:337−347、1978年
【非特許文献3】J.Gunson及びB.Polychronopulos著「ロケット用途のための符号化マスクX線望遠鏡の最適設計」、「MON.NOT.R.ASTRON.SOC.」、177:485−497、1976年
【非特許文献4】S.R.Gottesman及びE.E.Fenimore著「符号化開口結像法のための新しいバイナリアレイ群」、「APPL.OPT.」、28:4344−4352、1989年
【非特許文献5】A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI VERLAG」、DUESSELDORF、1999年、ISBN3−18−357210−9
【非特許文献6】B.Hendriks及びStein Kuiper著「レンズを通してはっきりと」、「IEEE SPECTRUM」、12月、2004年
【非特許文献7】論文、「Stanford Tech Report」、CTSR2005−02
【非特許文献8】ウェブページ:http://www−bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.html
【非特許文献9】ウェブページ:http://www.dofmaster.com/dofjs.html
【発明の開示】
【0041】
画像を取り込むための装置及び方法について説明する。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いだ符号化レンズアレイと、符号化レンズアレイに接続され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイのレンズを透過した光を感知するように構成されている。
【0042】
本発明は、図面と関連した次の詳細説明からより良く理解することができる。
【発明を実施するための最良の形態】
【0043】
符号化レンズ撮像技術を使用して静止画像及び映像を取り込むシステム及び方法について以下に説明する。説明では、説明の目的で、本発明を十分に理解するために多くの特定の詳細を示している。しかし、本発明は、これら特定の詳細の一部がなくても実行することができることは、当業者には明らかであろう。他の例では、公知の構造及び装置をブロック図の形態で示し、本発明の根本的な原理が曖昧にならないようにする。
【0044】
カメラシステムの構成
本発明の一実施形態により、読み出し電子機器とディスプレイとを含むシングルショット画像又は連続(例えば、ビデオ)画像のための可視光符号化レンズアレイカメラを図5に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ504の前に配置された符号化レンズアレイ501を含む。符号化レンズアレイ501は、円形、正方形、六角形、又は矩形のパターン(又は、平面にタイル張りされることが可能なあらゆるパターン)の開口であり、その一部は、可視光を通し(すなわち、「開放」)(例えば、要素503)、その一部は、可視光を通さないものである(すなわち、「閉鎖」)(例えば、要素503)。502のような各開放開口は、508のようなレンズで覆われ(又はレンズを含み)、事実上開放開口を通過する光の全てがレンズを通過するようになっている。典型的な符号化レンズアレイは、約50%の各々レンズが付いた透明な開口を有する。図示の符号化レンズアレイパターンは、透明開口の不透明開口に対する比が4/5であるMURA次数3である。2次元又は3次元の光景500(周囲又は人工照明で照らされることが可能)からの可視光は、符号化開口アレイ501のレンズ及び開放開口を通って画像センサ504上に投射される。(このカメラは、センサ上に投影されたFOVを完全符号化FOVに限定することができる。この完全符号化FOVの重なり合う投影の光の寄与は、図6の説明図620に示されている。)一実施形態では、これは、自動平行化符号化レンズアレイ501を使用することにより達成される(自動平行化は、符号化レンズアレイ501の背後のバッフル517により達成され、これについては以下に説明する)。符号化レンズアレイとセンサの間の空間は、遮光ハウジング516(その概略図のみを図5に示す)で覆われ、符号化レンズアレイ501のレンズ及び開放開口を通過する以外の光がセンサに到達しないようにする。
【0045】
カメラは、更に、画像センサ504へのインタフェース509を有する画像センサ読み出しサブシステム510を含む。読み出しサブシステムは、画像センサ504からのアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるようにバファリング、増幅、及び/又はフィルタリングを行う。A/D520も組み込んだ読み出しサブシステム510の一例は、カリフォルニア州サニーベール所在の「Nucore Technology、Inc.」製「NDX−1260CleanCapture画像処理プロセッサ」である。読み出しサブシステム510によって読み取られたアナログのピクセル値に対してゼロオフセット512及び利得511を調節する機能は(例えば、少なくとも1つの演算増幅器(オペアンプ)を用いて)、取り込まれた画像のダイナミックレンジを増大させるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に十分なダイナミックレンジを有する場合は、必ずしも重要ではない。
【0046】
一実施形態では、読み出しサブシステム510の出力は、アナログ出力をデジタル化する少なくとも1つのアナログ−デジタル変換器(A/D)520にインタフェース513を通じて接続される。A/Dの出力は、インタフェース521により、一実施形態では「デジタル信号プロセッサ(DSP)」532及び「ランダムアクセスメモリ(RAM)」531を内蔵している画像再構成プロセッサ530に接続される。インタフェース521からのデジタル画像は、RAM531に記憶され、DSP532は、元の光景500をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態により、画像再構成プロセッサ530は、例えば、インテル・コーポレーション製「Pentium 4(登録商標)」のような汎用CPU又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ530は、専用のデジタル構造において再構成処理の一部又は全部を行う「特定用途向け集積回路(ASIC)」を内蔵している。再構成プロセッサ530によって再構成されたこのグレースケール又はカラー画像は、インタフェース533を通じて出力されて表示装置540に表示される。
【0047】
図6は、図5に示す可視光の符号化レンズアレイカメラの一実施形態を示している。MURA次数3(MURA3)レンズアレイ601は、開放開口602のような開放開口と閉鎖開口603のような閉鎖開口20とを含む。602のような各開放開口は、1つのレンズを含む。図示の実施形態では、レンズは円形であるが、別の実施形態では、レンズは、開放開口602の区域を完全に占める他の形状(例えば、正方形又は六角形)とすることができる。しかし、この実施形態では、レンズ608の形状に関わらず、レンズ608で塞がれていない開放開口602の残りの区域は、不透明又はほぼ不透明でなければならない。カラー又はグレースケールセンサ604は、説明図610に示すように、MURA3開口アレイ601の1象限(すなわち、1つの3×3の開口ブロック)であり、この実施形態では、MURA3開口アレイ601に対して中心に位置決めされている。(説明図610は、MURA3レンズアレイ601の背後のセンサ604の設置位置を、レンズの形状を示す円を通してそれを示すことにより示している。単に説明のためにこのようにしたが、観察者がレンズを通して見る場合には、レンズの屈折の影響により実際のシステムの目視検査で見えるものは、こうではない場合がある。)
【0048】
図6の正投影図620は、カメラの構造のより多くを明らかにしている。バッフル(「CAI用途」では「コリメータ」と呼ぶ)617は、開放開口602及びレンズ608のようなレンズ及び開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ604上への各開口の投影のFOVを制限する。閉鎖開口603のような閉鎖開口は、不透明なカバーで覆われ、光が通過できないようになっている。センサ604は、開放開口の各々からの重なり合う投影の空間を与えるようにMURA3開口アレイ611及びバッフル617から離されている。ユニット全体は、説明のために透明な状態で示す遮光カメラ本体616の中に入っている。
【0049】
図7は、光がMURA3符号化レンズアレイ701から投影される方法を示している。説明図700は、例示的な開放開口及びレンズ702と閉鎖開口703とを有するMURA3符号化レンズアレイ701を示している。符号化レンズアレイ701の背後に位置決めされるカラー又はグレースケールセンサ704の位置は、点線で示している。レンズ705は、破線で描かれている。レンズ705を通過した光は、グレーの正方形706として示したセンサ面上の正方形区域の上に投影する。開口アレイ701は、説明図700では投影の上に重なるように示されているために、投影706の大部分が閉鎖開口により遮られていることに注意されたい。それにも関わらず、投影706の周囲は、グレーの実線で示されて見ることができる。
【0050】
この実施形態では、投影706は、レンズ705を囲む開放開口の正方形の約9倍の大きさでレンズ705上に中心がある正方形である。センサ704が開口アレイにどのくらい近いか又は離れているかにより、この投影は、より広いFOV又はより狭いFOVに対応することができる。開口705の周りのバッフル(この説明図には示していないが、図6では、バッフル617として見ることができる)は、この実施形態では、投影706の範囲をレンズ705の大きさの約9倍までに限定するために使用されている。
【0051】
この実施形態では、投影706の区域のごく僅かな割合がセンサ704に重なっていることに注意されたい。この重なりの一部は、開放開口709のレンズから見え(図では見えるが、物理的には必ずしも見えない)、その一部は、閉鎖開口708及び開放開口709のレンズを囲む区域によって遮られている(説明的に)。
【0052】
説明図710は、開口アレイ701の右上の象限からの4つの投影を重ね合わせたものを示している。(分かりやすくするために、説明図710及び720では、MURA3符号化開口アレイ701のみを示している。)右上象限にある開放開口715の4つのレンズは、破線で描かれている。これら4つのレンズからの4つの投影716は、重なり合うグレー区域として示されている。説明図700に示す投影706のような各投影は、そのレンズを囲む開放開口の正方形の約9倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合う投影の数を示すために、各区域は、様々な階調のグレースケールで埋められている。最も明るいグレーは1つの投影を示し、次に暗いものは、2つの投影の重なりを示し、次に暗いものは、3つの投影の重なりを示し、最も暗いものは、4つの投影の重なりを示している。
【0053】
説明図720は、開口アレイ701全体からの16の投影全ての重なりを示している。全ての開放開口725の16のレンズは、破線で描かれている。説明図700に示す投影706のような各投影は、そのレンズを囲む開放開口の正方形の約9倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ704の各区域は、4つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって4つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変化、回折効果、レンズ収差、及び観測される光景にある被写体までの変動する距離のために、図720のグレーの実線で示す投影の境界付近の重なり合う投影は、より少ないか又はより多い場合がある。
【0054】
また、MURA3符号化レンズアレイ701に当たる光の大部分は、センサ704の縁部を超えて投影され、その結果、この光は再構成に使用されないことにも注意されたい。MURA3符号化レンズアレイ701の最右列の区域を無視する場合(この列にある全ての開口は閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなく装置から取り除くことができる)、MURA3開口アレイ701の残りの区域に当たる光の約10.2%(この実施形態では円形レンズを使用しているためであり、代替的な実施形態で正方形のレンズを使用した場合、この数字は、約13%になる)が実際にセンサ704に投影される。従来のf/3.1単レンズは、レンズに当たる光の約10.2%を通し、従って、このMURA3符号化開口アレイカメラの10.2%の光透過性能は、従来のf/3.1レンズに同等のものとして見ることができる。
【0055】
一般的に、f/3.1は、写真用レンズには優れた光透過性能であり、従って、最後の数段落でのMURA3符号化レンズアレイカメラの説明は、潜在的に望ましい特性を有するカメラの特徴を説明したものである。再構成において3×3ピクセルの解像度に限定されている図3及び4に示すようなMURA3符号化開口アレイカメラと違い、図5、6、及び7に示すMURA3符号化レンズアレイカメラは、少なくともMURA3符号化レンズアレイのレンズの各々の回折限界近くまで画像を再構成することができる。例えば、36mmの焦点距離及び53度のFOVを有する12mmのレンズの場合、回折限界内で2000×2000の解像度(4メガピクセル)が達成することができる。
【0056】
先に示す例は、符号化レンズアレイの大きさとして1象限の大きさ(すなわち、各方向の2分の1の大きさ)にほぼ等しいとしてセンサの大きさを示している。これは、典型的な構成であるが、一実施形態では、センサの寸法は、符号化レンズアレイの大きさとは無関係であり、ただし、システムは、センサが符号化レンズアレイの1象限の大きさに一致し、かつ本明細書で説明した符号化レンズカメラ構成のような適切な間隔及び焦点距離を有したとすれば投影されたであろうパターンと同等なパターンを符号化レンズアレイがセンサ上に投影するような方法で構成される。言い換えれば、本明細書に説明した技術を使用した画像の再構成は、センサに対する符号化レンズアレイの特定の構成にではなく、センサ上に投影された光景の画像の重なり合うパターンの構成に依存し、本明細書に説明したものとは異なる符号化レンズアレイの構成がセンサに同様の重なり合うパターンをもたらすことができる場合には、画像の再構成は同じになる。例えば、MURA3パターンの望遠レンズをセンサから遠くに配置するが、各々の光路はセンサ上に投影されるパターンが図7に示すパターンと同じになるような角度に合わせられる場合、画像は、同じく正しく再構成することができる。
【0057】
図5に示すシステムの一実施形態により、再構成プロセッサからの結果として生じる出力533は、カメラのFOV内の光景を表すグレースケール又はカラーピクセルの2次元アレイである。一実施形態では、ピクセルデータは、デジタル変換器を通ってコンピュータ(又は他の画像処理装置)へ転送される。従って、符号化開口カメラの出力は、付属装置には従来のデジタルカメラの出力であるように見える。再構成画像データを転送するデジタルインタフェースは、例えば、「IEEE 1394」(FireWire)インタフェース又は「USB 2.0」インタフェース(これは、現在のスチールカメラ及びビデオカメラの用途に適する)のような必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェースであればよい。勿論、本発明の基本原理は、いかなる特定のデジタルインタフェースにも限定されない。カメラは、再構成画像を撮影者に見せるディスプレイ540(例えば、LCD又はOLEDディスプレイ)を含むことが好ましいが、この実施形態では、表示装置540及びインタフェース533は任意的である。
【0058】
一実施形態によると、カメラは、再構成プロセッサ530を含まない。代替的に、A/D変換器520からのデジタル化された画像データは、インタフェース521を通じて出力バッファに結合され、ここで画像データは、デジタルインタフェースを通じて出力されるようにパケット化され、フォーマット設定される。デジタルインタフェースは、典型的にパーソナルコンピュータのような外部コンピュータ手段に接続され、直ちに処理されて再構成されるか、又は大容量記憶媒体(例えば、磁気又は光ディスク、半導体メモリなど)に記憶されて後で処理及び再構成される。外部コンピュータ装置は、再構成画像を撮影者に見せるディスプレイを有することが好ましい。代替的に又はそれに加えて、デジタルインタフェースは、大容量記憶媒体(例えば、磁気又は光ディスク、半導体メモリなど)に直接接続される。再構成画像データを転送するデジタルインタフェースは、必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェース(例えば、「IEEE 1394」(FireWire)インタフェース又は「USB 2.0」インタフェース)であればよい。
【0059】
符号化レンズアレイパターン構成
本発明の一実施形態によれば、符号化レンズアレイ501は、「修正均一冗長アレイ(MURA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「完全バイナリアレイ(PBA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「均一冗長アレイ(URA)パターンである。また、本発明の更に別の実施形態によれば、符号化レンズアレイ501は、ランダムパターンである(ただし、一般的に、ランダムパターンでは、装置の性能は、MURA、PBA、又はURAの場合ほど最適ではない)。典型的に、基本の開口パターンは、センサと同じ大きさであり、符号化レンズアレイ全体は、この基本の開口パターンの2×2のモザイクになる。アレイの各透明開口は、レンズを含む。3つの例示的なMURAパターン及び1つのPBAパターンを図2に示している。MURA101は、101×101の要素のパターンであり、MURA61は、61×61の要素のパターンであり、MURA31は、31×31の要素のパターンである。PBA8は、8×8の要素のパターンであり、PBA24は、24×24の要素のパターンである。PBAパターンは、MURAパターンに比べて拡大して示している。各パターンでは、各黒い区域が不透明であり、各白い区域が透明であって(開放)レンズを含む。
【0060】
符号化レンズアレイの製造
一実施形態では、符号化開口は、スイスの「Suss Micro−optics of Neuchatel」が製造するようなマイクロレンズアレイから成る。マイクロレンズアレイは、典型的に直線又は六角形の格子で製造された典型的に平凸レンズのアレイである。一実施形態では、マイクロレンズアレイは、レンズを格子の各位置に備える符号化レンズアレイに使用されるが、「閉鎖」開口位置にあるこれらのレンズは、不透明の塗料を塗装されるか、又は「閉鎖」開口位置に不透明材料が平板印刷で被覆されるであろう。
【0061】
別の実施形態では、マイクロレンズアレイは、符号化レンズアレイの「開放」開口の位置のレンズのみで製造される。符号化レンズアレイの「閉鎖」開口位置は、不透明塗料を塗装されるか、又は不透明材料が「閉鎖」開口位置に平板印刷で被覆されるであろう。
【0062】
バッフル、カメラのFOV、及び光減衰
本発明により、符号化レンズアレイとセンサ面の間の距離は、個々のレンズの投影の各々について焦点が合うように選択される。無限遠にある被写体を撮像するには、センサ面は、レンズの焦点面に配置される。有限距離にある被写体を撮像するには、センサ面はレンズの焦点面よりも僅かに後ろに配置され、望ましい距離で焦点を合わせる。符号化開口結像の場合と異なり、符号化レンズアレイとセンサ面の間の距離は、従って、任意に選択されてはならず、焦点距離、結像面からセンサ面までの距離、及び結像される被写体の距離の間の制約は守られるべきである。
【0063】
このカメラの一実施形態は、FOV(FOV)を完全符号化FOV(FCFOV)に限定する技術を用いる。代替的に、FOVを限定する技術は、FOVがFCFOVよりも僅かに大きくなるような、すなわち、FOVがFCFOVに部分符号化FOV(PCFOV)の小部分を加えて構成されるような寸法にすることができる。このようにして、符号化レンズカメラのFOVは、画質の非常に軽微な劣化だけを犠牲にして増大することができる。
【0064】
一実施形態によれば、FOVの限定は、光線が符号化レンズアレイを通過してセンサに到達することができる最大角度を限定するためにレンズの前又は背部にバッフルを配置することにより達成される。
【0065】
バッフルの長さにより、FOVの大きさが判断されることに注意されたい。バッフルが長くなる時に、符号化レンズカメラのFOVは狭くなる。
【0066】
図8は、MURA3符号化レンズカメラのレンズの各々の投影されたFOVの側面図を示している。この例では、バッフル801は、レンズ802の背部、すなわち、センサ804に面したレンズの側に配置される。しかし、バッフルは、レンズの前、すなわち、光景に面したレンズの側に配置することも可能であることに注意すべきである。
【0067】
しかし、バッフルをレンズの背部に配置することは、このレンズシステムの射出瞳803がセンサ面の方へより近く移動されるという利点を有する。このように、各レンズにより起こる回折パターンの大きさは縮小され、それによって撮像システム全体の実現可能な解像度が増大する。
【0068】
更に、図8は、レンズの縁部を通過して反対側のバッフルの縁部の側ぎりぎりを通る周囲光線805によって各レンズのFOVが判断される方法を示している。lは、バッフルの長さを示し(図8では、l=18mm)、更に、dは、単レンズの直径を示している。この時、図8から分るように、視野角αは、以下のように与えられる。
tanα/2=d/l、又は
α=2atan(d/l)
【0069】
d=12mm及びl=18mmである図8に示す例では、視野角α=67.38°という結果になる。
【0070】
図8の右側の説明図810は、個々のレンズにより生じる投影がセンサ面で重なる方法を示している。各レンズは、同じ視野角を有する。しかし、レンズが互いに変位しているために、有限距離の被写体には視差が生じる。従って、全体的な撮像システムの視野は、個々のレンズの視野とほぼ同じであるが、有限距離の被写体については、この視差の影響により僅かに大きくなる場合がある。
【0071】
図8は、レンズが揃った列を示していることに注意すべきである。しかし、符号化レンズ撮像システムでは、各列の位置の一部は、いかなるレンズも含まずに塞がれることになる。図は、説明のために、レンズが揃った列を示しているに過ぎない。符号化レンズアレイのレンズの様々な列は、様々な位置にレンズを含む。一般的に、各位置は、少なくとも1つの列にレンズを含むために、視野全体は、図8に示すようになる可能性がある。
【0072】
バッフルを使用すると、光軸と並行に符号化レンズアレイを通過する光が減衰されない。しかし、光軸に対してある角度をなして符号化レンズアレイを通過する光は、バッフルにより一部遮られる。
【0073】
その結果、符号化レンズカメラで光景を撮像して再構成した後は、カメラの感度は、バッフルの減衰により、FOVの縁部(光軸に対してよりも大きい角度)よりもFOVの中心(光軸と並行な光)で高くなる。従って、一定の強度プロフィールの表面を撮像する場合、再構成は、画像の中心で明るく、縁部に向って徐々に暗くなる。従って、本発明の一実施形態では、再構成画像の各ピクセルに、ピクセルが受けたバッフルの減衰の逆数を掛けることにより、バッフルの減衰を補正する。バッフルの減衰は、レンズとバッフルの配置から公知である。このようにして、ノイズがない場合には、一定の強度プロフィールの表面は、一定の強度プロフィールの画像に再構成される。
【0074】
しかし、バッフルの減衰を逆転させることは、再構成の中のノイズを信号と同じ率で増幅させることにもなることに注意すべきである。従って、再構成画像のSN比(SNR)は、画像の中心で最も高く、画像の縁部に向って減少し、FOVの縁部でゼロの値になる。
【0075】
本発明の一実施形態により、この問題は、再構成画像の中心領域のみを使用し、再構成画像の周囲部を捨てることにより緩和される。別の実施形態により、この問題は、更に、再構成画像の周囲部の画像データにノイズ低減平滑化フィルタを利用することにより緩和される。
【0076】
文献から、ウィーナーフィルタは、ウィーナーフィルタに対する入力信号のSN比が既知であることを考えると、最適なノイズ低減平滑化フィルタであることが公知である。符号化レンズカメラの再構成画像では、SN比は、画像の全域で変化する。SNRは、再構成画像の各ピクセル又は各領域に関して既知である。一実施形態により、ノイズ低減は、既知のSNR変化により再構成画像の各ピクセル又は各領域によって変化するフィルタの特性と共に、局所的なウィーナーフィルタリング演算を利用することにより行われる。
【0077】
符号化レンズアレイのDOF
全ての光景の被写体の距離で焦点が合った画像を投影する符号化開口カメラとは違い、符号化レンズカメラは、符号化レンズアレイのレンズの焦点の制限を受ける。一般的に、従来の単レンズカメラでは、カメラの被写界深度(DOF)(すなわち、近い焦点から遠い焦点までの範囲)は、カメラの集光機能に反比例する。これは、レンズの開口を狭めてセンサに達する光景からの光を低減することにより、典型的にDOFが増大するからである。
【0078】
符号化レンズカメラは、焦点の制限を有するが、従来の単レンズカメラに優る符号化レンズカメラの第1の利点は、DOFを増大させるために有効レンズ口径を狭める時、光景からセンサに到達する光の量が実質的に減少しないということである。
【0079】
次のことを考慮する:すなわち、符号化レンズアレイは、典型的に、約50%のレンズを備えた透明開口と、50%の不透明開口とを有し、従って、典型的に光景からの光の50%が、符号化レンズ開口を通過する。符号化レンズアレイの重なり合う投影は、一般的にセンサ区域の4倍の区域の上に投影し、従って、投影された光の約25%がセンサに当たる。そこで、全体では、一般的に符号化レンズアレイに入射する光景からの光の25%*50%=12.5%がセンサに到達する。(勿論、正方形のレンズの代わりに円形のレンズを使用すること、バッフル、レンズの欠陥、及び収差からの減衰により、より少ない光が通過する場合があり、また、所定の開口パターンが閉鎖開口よりも多くの開放開口を有することがあるために、よりも多くの光が通過する場合もあるが、幾何学的には、12.5%は、50%の開放開口を有する正方形の開口の平均的な光の透過を表し、符号化レンズシステムに関する合理的な概算である。)12.5%の光透過率は、単レンズのf/2.8口径(12.7%の光透過率を有する)とほぼ等しい。
【0080】
典型的な単レンズシステムでは、f/2.8口径は、非常に広い口径の設定である。50mmのレンズでは、f/2.8は、17.9mmの口径に相当する。50mmレンズを備えた「Nikon D100」6メガピクセルカメラについて考える。25’(25フィート)の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約21.3’であり、遠い焦点の限界は、約30.2’である(全DOFは、30.2’−21.3’=8.82’)。(注:焦点の限界は、主観的なものであり、撮影者毎に変わるが、この段落で考える様々な状況には同じ基準を用いており、従って、結果は、互いに相対的なものと考えることができる。これらの計算は、http://www.dofmaster.com/dofjs.htmlにある被写界深度オンライン計算器を用いて行った。)近い焦点よりも近いか又は遠い焦点よりも遠くの光景にある被写体は、鮮明さが減少することがある。8.82’は、浅いDOFであるが、f/2.8設定は、光景からの光の約12.7%を通す。
【0081】
次に、50mmレンズを備えた同じ「Nikon D100」にf/16の設定を考える。この時、口径は、僅かに3.1mmであり、光景からの光の僅か0.4%がセンサに到達する。25’の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約13’、遠い焦点の限界は約805’である。従って、13’から805’までの光景の中の全ての焦点が合う792’のDOFになる。明らかに、これは、f/2.8における8.82’のDOFからDOFが著しく改善している。しかし、これは、光透過率を著しく犠牲にすることになり、f/16は、f/2.8により透過される光の0.4%/12.7%=3%を通すにすぎず、従って、これは、非常に明るい光景に使用することしかできない。
【0082】
同じ「Nikon D100」であるが、従来の50mm単レンズを使用する代わりに50mm四方のPBA8符号化レンズアレイを使用し、同じく25’の距離にある被写体に焦点を合わせたものを考える。図2に示すPBA8パターンは、レンズをPBA8の各透明(すなわち、白色として示す)開口に配置して利用される。PBA8は、16×16の開口アレイであり、この実施形態では各辺の長さが50mmであるために、各レンズの直径は、約3.1mmになり、これは、f/16まで絞った従来の50mm単レンズとほぼ同じ直径である。その結果、PBA8符号化レンズアレイのDOFは、f/16まで絞った従来の50mmレンズのDOFと大体同じになる。しかし、符号化レンズアレイは光景からの光の約12.5%を透過するために、光透過率は、f/2.8と同様である。従って、この符号化レンズアレイの実施形態は、f/2.8の従来のレンズの光透過率特性を備えたf/16の従来のレンズに同等のDOFを有する。
【0083】
別の実施形態では、前の段落に説明した同じ符号化レンズアレイを「Nikon D100」カメラで使用するが、この符号化レンズアレイは、25’ではなく26’の距離にある被写体に焦点を合わせる。この場合、近い焦点の限界は、12.9’であり、遠い焦点の限界は無限である。ある距離から無限までの全ての焦点が合うために、符号化レンズアレイは、焦点距離を「過焦点距離」に設定した「過焦点レンズ」として機能している。この構成は、光景の被写体の全てが少なくとも12.9’離れている一定の用途に有用であり、次に、符号化レンズアレイのレンズは、固定焦点に設定することができ、調節する必要がない。光景の被写体が12.9’よりも僅かに近い場合でも、それは、依然として有用に撮像することができることに注意されたい。それは、単に、最高の解像度では取り込まれことにならず、被写体が12.9’よりも近づき続ける時に、次第にぼやけていく(すなわち、低解像度になる)。従って、12.9’よりも近い被写体に対して高解像度を要求する用途では、符号化レンズアレイのレンズの焦点を合わせる手段が必要になることになる。
【0084】
符号化レンズアレイの収差補正及び焦点合わせ
説明を分かりやすくするために、図の大部分に示す符号化レンズアレイは、各透明開口にただ1つのレンズ要素を有する。これは、一部の用途には十分であると考えられるが、幾何学歪み、コマ、及び色収差のような画像収差を補正するために複数のレンズ要素を使用することが好ましい用途もある。一世紀にわたってレンズ業界全体は、多要素レンズを設計することに専念してレンズの収差問題に対処してきたが、この従来技術の研究の莫大な文献については、本明細書で繰り返さない。あえて言うならば、一般的に、写真品質の撮像には、3つ又はそれ以上の要素が必要であり、更に、一般的に、カメラが固定焦点ではない場合は、焦点を合わせるために、これらの要素のうちの1つ又はそれよりも多くを光軸上で前後に移動させる必要がある。このような前後の動きは、レンズの一部又は全部を囲むカラーを回転させる回転機構によって行われることが多く、カラーは、次に、レンズ要素の1つ又はそれよりも多くを光軸にそって移動させるネジ山に係合する。
【0085】
図14は、3つの要素のレンズを備えた符号化レンズアレイの側面図を示している。図示のレンズ形状は、単に説明のためのものであり、実際のレンズ形状には、膨大な数の従来技術の写真レンズ設計を用い、かつ望ましい光学特性により変動する。各開口は、1つ又はそれよりも多くの同心円筒内のスタックにこのような3つのレンズを有する。バッフルは、投影のFOVを限定するために、最後のレンズの背後でセンサの方へ張り出すであろう。各開口位置は、この図では、レンズのスタックを含んで示されていることに注意されたい。実際には、不透明開口は、レンズを含まないか、又は光を通過させないように覆われている。
【0086】
図15は、符号化レンズアレイ内の中心が中空になった歯車の配置を示し、各歯車は、レンズの周りを回転しているか(その位置が透明開口の場合)、又はレンズのない不透明開口の上で回転している。(説明のために、隣接する歯車の歯は、互いに接触していないが、実際には、これらは、通常互いに緊密に嵌っているであろう。)歯車1501は、手動で制御されるか、又は自動焦点機構により制御される電動機の軸に連結される。電動機が回転すると、歯車1501を回転させ、次に、この回転運動を符号化レンズアレイの全歯車に伝える。一例として、歯車1501が時計回りに回転する場合、これは、次に、歯車1502を反時計回りに回転させ、その後、歯車1503及び1504を共に時計回りに回転させ、次に、歯車1503及び1504が共に歯車1505を反時計回りに回転させる。この例を拡張すると、歯車1501の動きにより、各々の水平方向又は垂直方向にある次に続く歯車が反対方向に回転し、符号化レンズアレイ内の歯車の全てを回転させることが公知である。
【0087】
図16は、図15に示す歯車システムを利用した3要素符号化レンズアレイの側面図を示している。説明のために、全てのレンズアレイ位置にレンズを付けて示している。実際には、不透明レンズアレイ位置にはレンズがなく、その開口は光を遮るように閉鎖されている。この実施形態では、各レンズアレイ位置には、2つの固定レンズ1601及び1602と、光軸に沿って前後に移動する1つのレンズ1603とを有する。
【0088】
電動機1620は、手動又は自動焦点手段によって作動され、これが歯車1621を回転させ、次に、この歯車は、図15で上述のように、図16の歯車1604を含む符号化レンズアレイの他の歯車を移動させる。歯車1604は、中空シリンダ1605を回転させ、これが、次に、レンズ1603が入った中空シリンダ1606を移動させる。中空シリンダ1606は、光軸に沿って前後に(図16では左右に)移動することができるような方法で中空シリンダ1605と連結されている。中空シリンダ1606は、その外面にネジ山1607を有し、このネジ山は、構造体1609に固定されたピン1608のようなピンを切れ込みで固定する。中空シリンダ1606が回転すると、ネジ山1607により、このシリンダは、光軸に沿って前後に移動する。
【0089】
図15で分るように、符号化レンズアレイ内の各次の歯車は、反対方向に回転する。その結果、レンズが入った各次の中空シリンダには、反対の傾斜のネジ山を付けられ、例えば、ねじ山1610は、ネジ山1607の反対の傾斜を有する。このようにして、レンズアレイの真ん中のレンズは、互いの歯車位置が反対方向に回転しているという事実にも関わらず、電動機1620が歯車1621を作動させると、全て同じ方向に動く。
【0090】
この実施形態では、レンズアレイ機構を保持するこの同じ構造体1609は、レンズの背後に延びてバッフルを形成する。このような構造体1609は、アルミニウムのような金属、プラスチック、又は他の十分に頑丈であるが遮光性の材料で作ることができる。図16は側面図を示すが、実際には、バッフルは、各透明開口の周囲を囲むボックスを形成し、センサ1630の上に投影する各レンズスタックからの投影のFOVを限定する働きをすることに注意されたい。
【0091】
センサピクセルの大きさ及びレンズの大きさ
センサピクセルの大きさと開口要素の大きさが典型的に同じ大きさになるように選択された符号化開口の撮像と異なり、符号化レンズの撮像では、個々のレンズは、センサピクセルの大きさよりも遥かに大きくすることができる。
【0092】
一実施形態では、センサピクセルの大きさは、符号化レンズアレイの解像度と同じマグニチュードになるように選択される。この解像度は、個々のレンズの回折パターンに依存するということに注意すべきである。センサピクセルの大きさが回折パターンの大きさよりもかなり大きく選択された場合、撮像システムの解像度が無駄になる。他方では、センサピクセルの大きさが回折パターンの大きさよりもかなり小さく選択された場合、付加的な使用可能な情報は何も得られない。
【0093】
レンズの大きさの選択に関しては、回折パターンと達成可能なDOFとの兼ね合いがあることに注意すべきである。小さいレンズが選択される時に、回折パターンは、より大きく、DOFはより深くなる。しかし、特定の用途の解像度とDOFとの最良の妥協点を獲得するために、レンズの大きさの選択に自由度があるということに注意することが重要である。しかし、符号化開口の撮像には、この自由度が存在しない。それどころか、符号化開口の撮像では、センサピクセルの大きさと開口要素の大きさとは、大体同じであるように強いられる。
【0094】
カメラセンサ及びセンサ出力の調節
一実施形態によると、図5のセンサ504は、CCDセンサである。より具体的には、「バイエル」パターンの別名でも公知のカラーフィルタアレイ(CFA)を使用するカラーCCDセンサが、カラー撮像のために使用されている。CFAは、各センサのピクセルの前に配置された赤、緑、及び青色のフィルタのモザイクパターンであり、各センサのピクセルが、3つの色平面を読み取ることを可能にする(モノクロCCDセンサに比べて減少した空間解像度で)。図9は、例示的なRGB「バイエルパターン」を示している。各ピクセルクラスター900は、4ピクセル901〜904から成り、各ピクセル上に緑(G)、赤(R)、又は青(B)色のカラーフィルタを有する。「バイエル」パターンの各ピクセルクラスターは、2つの緑色のピクセル(901及び904)と、1つの赤色のピクセル(902)と、1つの青色のピクセル(903)とを有することに注意されたい。ピクセルクラスターは、一般的に、密に詰まってCFA全体を作り出すアレイ905になっている。しかし、本発明の基本原理は、「バイエル」パターンに限定されないことに注意すべきである。
【0095】
代替的な実施形態では、多層カラー画像センサを使用する。カラーセンサは、画像センサの半導体材料の後続層が様々な周波数の光を吸収すると同時に、他の周波数の光を透過させるという事実を利用することにより、カラーフィルタなしで達成することができる。例えば、カリフォルニア州サンタクララの「Foveon、Inc.」は、この多層構造を有する「Foveon X3」画像センサを販売している。これは、図10に示しており、図中、半導体層1001は、青色に反応するピクセルのアレイであり、層1002は、緑色に反応するピクセルのアレイであり、層1003は、赤色に反応するピクセルである。信号は、これらの層から個々に読み取られ、様々な色平面を取り込むことができる。この方法は、色平面間に空間移動がないという利点を有する。例えば、ピクセル1011〜1013は、互いの上に直接付着しており、赤、緑、及び青の値は、これらの間で水平又は垂直の空間移動がない。
【0096】
本発明の一実施形態によると、3つのRGB色平面の各々は、カラー画像センサ(CFA又は多層)から読み取られ、個々に再構成される。一実施形態では、以下に詳細を説明する再構成アルゴリズムが、3つの色平面の各々に1つずつ使用され、再構成画像の3つの別々の色平面を生成する。これらは、その後1つのRGBカラー画像に結合することができる。
【0097】
図11aに示すように、画像センサ1101のアナログ出力信号は、デジタル画像の再構成及び後処理を可能にするためにアナログ−デジタル変換器(A/D)によってデジタル化される。A/D1104の最大のダイナミックレンジを有効に使用するために、センサの出力は、A/Dに送り込まれる前にまずオペアンプ1100により増幅される。オペアンプ1100は、画像センサ1101の出力信号に一定のゼロオフセットz(1102)及び利得g(1103)を適用する。A/D1104への入力信号は、sを画像センサ1101の出力信号とすると、s’=g(s−z)になる。一実施形態では、オフセット1102及び利得1103は、A/Dの最大のダイナミックレンジを有効に使えるように、すなわち、可能な最低のセンサ信号値sminがゼロに相当し、可能な最高のセンサ信号値smaxが、A/D1104が飽和状態になることなくA/Dの入力信号に許容された最大に相当するように選択される。
【0098】
図12は、得られたシステムの特性を表している。上述のように、光景のダイナミックレンジは、符号化レンズの撮像により圧縮され、従って、ゼロオフセット及び利得は、単レンズを用いる従来の撮像よりも高くなる場合があるということに注意されたい。一実施形態では、ゼロオフセット及び利得は、図11bの流れ図に示す以下の組の作動に従って符号化レンズカメラにより最適な方法で自動的に選択される。
【0099】
1110において、初期ゼロオフセットを可能な最大のゼロオフセットとして選択し、このゼロオフセットに対して比較的大きい初期ステップサイズを選択する。1111において、初期利得を可能な最大の利得として選択し、比較的大きい初期ステップサイズをその利得に対して選択する。
【0100】
1112において、現在の設定を用いて画像を取得し、1113において、A/D出力にゼロ値を有するピクセルがあるか否かを判断する。ゼロ値を有するピクセルがある場合には、1114において、現在のゼロオフセットから現在のゼロオフセットのステップサイズを差し引き、処理は、段階1112に戻る。
【0101】
そうでなければ、ゼロ値を有するピクセルがない場合には、1115において、現在のゼロオフセットのステップサイズが最小限のステップサイズであるか否かを検査する。そうでない場合には、1116aにおいて、可能な最大のゼロオフセットを超えないようにしながら、現在のゼロオフセットのステップサイズを現在のゼロオフセットに加える。現在のゼロオフセットのステップサイズは、その後、1116bにおいて縮小され(例えば、10分割することにより)、処理は、1112に戻る。
【0102】
そうでなければ、段階1117において、現在の設定を用いて画像を取得する。1118において、A/D出力に最大出力値(例えば、8ビットのA/Dで255)を有するピクセルがあるか否かに関して判断を行う。最大値を有するピクセルがある場合には、現在の利得のステップサイズを1119において現在の利得から差し引き、処理は1117に戻る。
【0103】
そうでなければ、1120において、現在の利得のステップサイズが最小限のステップサイズであるか否かに関して判断する。そうでない場合は、1121aにおいて、可能な最大の利得を超えないようにしながら、現在の利得のステップサイズを現在の利得に加える。現在の利得のステップサイズは、次に、1121bにおいて縮小され(例えば、10分割することにより)、処理は、1117に戻る。そうでなければ、処理は、現在のゼロオフセット及び利得の設定で終了する。
【0104】
再構成アルゴリズムを利用する前に、ゼロオフセット及び利得の影響を逆転させるべきである。一実施形態では、これは、A/D出力信号s”から補正センサ信号s*をデジタル処理で計算することにより行われ、ここで、s”は、A/Dの入力信号s’に対するA/Dの出力であり、s*=s”/g+zである。オペアンプ1100にノイズがなく、量子化誤差がない場合には、s*は、元のアナログセンサの出力信号sに等しくなるということに注意されたい。
【0105】
符号化レンズの撮像では、各センサのピクセルは、光景の別々のピクセルから発せられ、符号化レンズアレイ内の別々のレンズを通ってセンサのピクセルに到達した光に露出される。符号化レンズの撮像に使用される再構成アルゴリズムは、センサ画像が、各個々のレンズがセンサ上に投影した全てのセンサ画像の線形和であると仮定する。従って、一実施形態では、センサの出力信号sは、露光時間中に各センサのピクセルに当たる光子の数pの正確に線形関数である。各センサのピクセルの実際の光子の数からセンサの出力信号の従属関係を説明する関数は、「伝達特性」と呼ばれている。CCD画像センサは、広範囲の強度で線形の伝達特性を有し、一方、CMOS画像センサは、対数の伝達特性を有する。典型的なCMOS及びCCD画像センサの伝達特性を示すグラフを図13に示している。センサの伝達特性s=f(p)が分ると、ルックアップテーブルによってこれを補うことができる。すなわち、LUTがセンサの伝達特性の非線形作用を補うルックアップテーブルである時、再構成に値s*を使用する代わりに、値LUT(s*)=LUT(s”/g+z)を使用する。上述の演算を完了した状態で、調節されたセンサ画像は、画像再構成のためにカメラのDSP、ASIC、又は他のタイプの画像再構成プロセッサ530に保存される。
【0106】
符号化レンズの写真撮影では、センサ信号のダイナミックレンジは、撮像される光景のダイナミックレンジとは異なる場合があることに注意すべきである。各センサのピクセルがFOVにわたって複数の光景のピクセルに露出されているために、符号化レンズアレイは、強度プロフィールの範囲に平均的影響を与える。高ダイナミックレンジを有する光景(例えば、暗い前景の被写体と明るい背景の被写体)でも、低ダイナミックレンジを有するセンサ信号を作り出す。画像再構成の処理では、元の光景のダイナミックレンジは、画像センサのダイナミックレンジとは無関係に再構成される。更に、正確には、画像センサの限定されたダイナミックレンジ(量子化ビットの有限数)は、量子化誤差につながり、これがセンサ画像にノイズとして形に表れる場合がある。この量子化ノイズはまた、再構成のノイズの原因になる。このノイズは、上述のように再構成画像の縁部近くでより顕著になるが、これは、バッフルの減衰を補正するためにこれらの区域に高い乗数を付加する必要があるからである。その結果、低ダイナミックレンジを有する画像センサで強度プロフィールの高ダイナミックレンジを有する光景を撮像することにより、再構成画像をよりノイズが多いが、低ダイナミックレンジではないものにする。これは、画像センサのダイナミックレンジが撮像可能な光景の最大ダイナミックレンジを直接限定する従来の単レンズの写真撮影と対照的である。
【0107】
光景の再構成
以下の演算の組は、本発明の一実施形態では、上述のように取り込まれて調節されたセンサ画像から光景を再構成するために用いられる。Gottesmanによれば、MURAレンズアレイは、次のように組み立てられる。最初に、pを奇素数とする時、長さpのルジャンドル数列を考える。i=0,1,...,p−1とする時、ルジャンドル数列l(i)は、次のように定められる。
l(0)=0、
l(i)=+1、あらゆるk=1,2,...,P−1に対して、k2 mod p=lの関係が満たされる場合、
l(i)=−1、それ以外の場合。
次に、サイズp×pのMURAであるa(i,j)は、次のように求められる。
a(0,j)=0、j=0,1,...,p−1の場合、
a(i,0)=1、i=1,2,...,p−1の場合、
a(i,j)=(l(i)*l(j)+1)/2、i=1,2,...,p−1及びj=1,2,...,p−1の場合。
【0108】
このMURAアレイでは、1は、レンズを表し、0は、符号化レンズアレイ内の不透明要素を表している。このMURAの単一周期のレンズの数は、K=(p2−1)/2である。このMURAに関連する周期的逆フィルタg(i,j)は、次のように求められる。
g(0,0)=+1/K、
g(i,j)=(2a(i,j)−1)/K、i>0又はj>0の場合。
【0109】
a(i,j)とg(i,j)の間の周期的な相互相関関数phi(n,m)は、n=0及びm=0に対して1、他の場合は0であることが公知である。従って、MURAに関連する周期的逆フィルタは、一定のオフセット及び一定の倍率を除き、また元のMURAに対して反転されたただ1つの要素を除いて、MURA自体と同じ構造を有する。図2は、様々な大きさのMURAレンズアレイパターンを示している。
【0110】
同様の方法で、BusboomによるPBAをレンズアレイとして使用することができる。この周期的逆フィルタは、一定のオフセット及び一定の倍率を除いて、PBA自体と厳密に同じ構造を有する。PBAを発生する公式及びアルゴリズムは、A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI Verlag」、Duesseldorf、1999年、ISBN3−18−157210−9、52〜56ページに見つけることができる。次数8及び24のPBAは、図2に示している。これらは、MURAパターンに比べて拡大されている。
【0111】
一定の距離にある被写体を符号化レンズアレイで撮像する時、センサ画像は、その符号化レンズアレイに関する被写体の関数の周期的な相互相関関数により、上述のように幾何学倍率fにより拡大されて求められる。元の被写体を再構成するために、周期的逆フィルタを適切に拡大したものを用いて測定されたセンサ画像の周期的な相互相関関数を計算する。測定されたセンサ画像にノイズ及び他の誤りがない場合には、結果は、元の被写体の関数と等しくなる。
【0112】
逆フィルタリングを行うことは、次に、以下の演算の組から成る。
1.符号化レンズアレイパターンに関連する周期的逆フィルタを計算する。
2.逆フィルタの2つの隣接する要素間の距離がセンサ面における2つの隣接するレンズの光景の投影の隔離距離と等しくなるように、逆フィルタを幾何学的に拡大したものを計算する。逆フィルタを拡大したものは、2つのフィルタ要素間の全ての値をゼロで埋め、フィルタ要素が非ゼロのピークを表し、各々が単一ピクセルの大きさを有するようにして、センサの解像度によって再サンプリングされる。本発明の一実施形態によると、2つの隣接するレンズの投影間の距離がピクセルサイズの整数の倍数である場合には、逆フィルタを拡大したものを計算するために、信号処理から公知である標準的な補間法を用いる。この場合、各フィルタ要素は、1ピクセルよりも多くに広がる場合がある。2つの隣接するレンズの投影間の隔離距離は、符号化レンズカメラからの被写体の距離により変化することに注意すべきである。従って、様々な距離の被写体を再構成するために、様々な逆フィルタが使用される場合がある。
3.段階(2)に従ってセンサの解像度に対して再サンプリングされたセンサ画像と逆フィルタの間の2次元周期的相互相関関数を計算する。
4.3.の結果の各ピクセルをK、すなわち、MURA又はPBA又は他のレンズアレイパターンの単一周期内のレンズの数で割る。
【0113】
既知の距離に1つの被写体を有する光景の再構成
上述のように、一実施形態では、センサ信号からの光景の再構成は、カメラに内蔵されたデジタル信号プロセッサ(DSP)(例えば、DSP132)又はカメラ外部のコンピュータ装置で行われる。一実施形態では、光景の再構成は、以下の演算シーケンスから成る。
1.センサの出力信号の伝達特性を線形にし、各センサの線形にされた出力信号がセンサのピクセル毎に数えられた光子の数に比例するようにする。
2.符号化レンズアレイに関連する適切に拡大された周期的な逆フィルタとセンサ信号を周期的に相関付ける。
3.その結果を負でないピクセル値まで低減する。
4.適切な増幅係数で各ピクセルを拡大することにより、バッフルの減衰を補正する。
5.任意的に、(4)の間に結果の中央部分よりもノイズ増幅を受けやすい結果の軸外部分を平滑化する。
【0114】
開口アレイがMURAである場合には、演算(2)の逆フィルタリングは、一連の2つの1次元フィルタ演算に分解することができ、その一方は、画像の横列毎に行われ、他方は、画像の縦列毎に行われるということに注意すべきである。この分解は、大きいアレイ次数の場合に(2)の計算の複雑性を軽減することができる。
【0115】
図17aは、前の段落で説明した手順を用いた既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示している。この例では、レンズアレイ(1700)に3×3のMURAパターンを使用した。アレイの2つの隣接するレンズ間の距離(ピッチ)は、3mmであった。各々のレンズは、5mmの焦点距離を有しており、これは、レンズアレイとセンサの間の距離でもあった。センサは、30×30umの正方形のピクセルを有する10×10mmのセンサであった。光景1701は、307×307ピクセルの平坦な(2次元の)テストパターンである。これは、3×3要素のMURAレンズアレイ1700を通って画像センサに投影され、センサ画像1711になる。センサ画像1711は、上述の処理によって調節されて再構成され、再構成1721になる。再構成1721の最端コーナ1730は、正確に再構成されていないことに注意されたい。これは、画像の最縁部でバッフルを通って投影中に光が減衰することによる。同様に、単調な307×307ピクセルの画像1702は、レンズアレイ1700を通して投影されてセンサ画像1712になり、処理されて再構成1722になる。同様に、単調な307×307ピクセルの画像1703は、レンズアレイ1700から投影されてセンサ画像1713になり、処理されて再構成1723になる。
【0116】
図17bは、図17aと同様の3つの例を示している。しかし、図17bでは、レンズアレイパターン(1750)として、24×24PBAパターンを使用した。レンズは、0.39mmのピッチを有し、レンズアレイの全体の大きさが図17aのものと同様になるようにしたものである(図17bでは、18.72×18.72mm及び図17aでは、18×18mm)。図17aの例と同じセンサを使用した。レンズは、この場合も5mmの焦点距離であった。光景1701は、24×24要素のPBAレンズアレイ1750を通って画像センサに投影され、センサ画像1731になる。センサ画像1731は、上述の処理によって調節されて再構成され、再構成1741になる。同様に、単調な307×307ピクセルの画像1702は、レンズアレイ1750から投影されてセンサ画像1732になり、処理されて再構成1742になる。同様に、単調な307×307ピクセルの画像1703は、レンズアレイ1750から投影されてセンサ画像1733になり、処理されて再構成1743になる。2つの例のセンサ画像(1171〜1713及び1731〜1733)から、レンズアレイの次数を増すと、センサ画像のコントラストが下がるということを観察することができる。図17bのセンサ画像1731〜1733では、もはや元の光景の詳細は認識できない。しかし、再構成画像1741〜1743から分るように、このセンサ画像は、同じく元の光景を再構成するために必要なあらゆる情報を含んでいる。
【0117】
上述のように、センサ画像1711〜1713及び1731〜1733は、1ピクセル当たり所定のビット数(例えば、8)で量子化することができるが、再構成画像1721〜1723及び1741〜1743に、1ピクセル当たりのより高いビット数(例えば、10)に同等の有用なダイナミックレンジ有する画像を生じる場合があることが分る。
【0118】
未知の距離に1つの被写体を有する光景の再構成
一実施形態では、正確な被写体の距離が不明確であるか又は未知である時に、「既知の距離に1つの被写体を有する光景の再構成」の節で説明した演算シーケンスのうちの演算(2)が、様々な予想される被写体の距離oで繰り返される。この技術により、同じセンサ信号から1組の複数の再構成が得られる。この再構成の組の中で、予想される被写体の距離が本当の被写体の距離と一致するか又はこれに最も近いものが、実際の光景の最も厳密な再構成になり、予想される距離と本当の距離とが一致しない再構成は、アーチファクトを含むことになる。これらのアーチファクトは、再構成の中で横線又は縦線の模様のような高周波アーチファクト、又は再構成の縁部付近の共鳴アーチファクトとして見られる。
【0119】
本発明の一実施形態によると、この再構成の組のうちから手動又は自動でアーチファクトが最も少ない再構成を選択する。それによって予めカメラの焦点を合わせる必要がなく、また、特に従来の単レンズカメラでは必要であったようなカメラの一部を機械的に移動させる、すなわち、予想される被写体の距離を予め選択する必要がなく、再構成の距離を変更することができる。更に、それによってユーザは、画像を取得した後に(すなわち、遡及的に)再構成の望ましい距離を判断することができるようになる。好ましくは、再構成の距離は、最も少ない量の高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成を識別することにより、再構成の組から自動的に選択される。
【0120】
符号化レンズカメラの「焦点を合わせる」ため、すなわち、1組の再構成画像から正確な距離を判断するための単純であるが非常に有効な基準は、各再構成の濃淡値の平均m及び標準偏差σを計算することである。更に、各再構成に対して比率m/σを計算する。この比率が最大値になる再構成が、最適な再構成として、すなわち、「焦点が合った」再構成として選択される。光景の被写体の焦点が個々の投影の各々で合っている場合、この技術は、最善の結果をもたらす。
【0121】
図18は、光景が1組の様々な距離で再構成される方法を示している。図18の生成には、図17bと同様のシステムの再構成を用い、すなわち、24×24PBAパターンを投影に使用した。元の光景は、1,000mmの距離で撮像された図17bからの試験画像1701であった。再構成は、500mm(1801)、800mm(1802)、1,000mm(1803)、及び5,000mm(1804)の仮定距離で結果として生じたセンサ画像から計算された。図では、1,000mmの正しい距離の左下隅の再構成が「鮮明」であるように見え、他の距離の再構成は、非常に強い高周波アーチファクトを含むことが明確に分る。図18はまた、4つの再構成の各々の濃淡値の標準偏差(stddev)を示している。更に、図18は、4つの再構成の各々について、濃淡値標準偏差で割った濃淡値平均の商(m/s)を示している。この値は、500mmの仮定距離における0.0977に始まり、その後、連続的に増大して1,000mmの正しい距離で2.0の最大値になり、その後、連続的に減少して5,000mmの仮定距離で0.1075の値に到達する。この例は、商m/sが最大値になる再構成を選択することにより、光景の本当の距離を1組の再構成から容易に計算することができる方法を示している。
【0122】
未知の距離にある1つの被写体を有する光景の再構成の最適化
一実施形態によると、様々な予想される被写体距離oを用い、画像の一部の部分的再構成のみを計算する。部分的再構成は、再構成画像の全てのピクセルの部分集合について、単に「既知の距離に1つの被写体を有する光景の再構成」の節の演算(2)の周期的な相互相関関数を求めることによって計算され、従って、再構成の計算の複雑性を軽減する。このピクセルの部分集合は、画像の2段抽出バージョン、画像の隣接領域、又はピクセルの他の適切な部分集合とすることができる。次に、2つの1次元の周期的なフィルタリング演算は、単に再構成画像の横列及び/又は縦列の部分集合について数値を求めればよい。部分的再構成の組から、本当の距離oを特定するために、高周波アーチファクトが最も少なく、かつ最も滑らかな強度プロフィールのものが識別される。識別された本当の被写体距離oについて、次に、完全な再構成を行う。このようにして、本当の被写体距離oを自動的に測定しながら光景の再構成を行うという計算の複雑性を軽減することができる。
【0123】
未知の距離に複数の被写体を有する光景の再構成
一実施形態により、様々な被写体距離oの1組の完全な画像再構成が計算される。光景の様々な部分の被写体は、様々な距離にある場合があるために、再構成は、いくつかの領域に分解される。各領域について、高周波アーチファクトが最も少なく、最も滑らかな強度プロフィールをもたらす被写体距離oを識別する。最終的な再構成は、領域毎にまとめられるが、各領域について最適な被写体距離oを有する再構成を選択する。このようにして、FOVの無限深度(クローズアップから無限まで)を有する画像を単一のセンサ信号から再構成することができる。
【0124】
組み合わされた再構成は、単調な光景、すなわち、単一の距離に単一の被写体を有する光景の単調な再構成よりも質が落ちる。光景の中に「焦点が外れて」いる他の領域があることにより、焦点の外れた領域が再構成において質を落とすだけでなく、焦点の外れた領域は、再構成にアーチファクトを含む。言い換えれば、焦点の外れた領域と焦点の合った領域の間に「クロストーク」がある。このクロストーク及びこれを抑える技術について次に説明する。
【0125】
未知の距離に複数の被写体を有する光景を再構成する際の「クロストーク」の低減
前に説明した通り、距離o1での領域r1の「単調な」再構成は、光景全体が一定の距離o1であった場合にのみ正確なものになるであろう。しかし、他の領域が様々な距離の場合には、領域r1の再構成に影響を与える「クロストーク」が発生する。従って、一実施形態により、反復的再構成手順を用い、様々な距離の光景の様々な領域間のこのクロストークを低減する。本発明の一実施形態に従った反復的再構成手順は、以下の演算の組から成る。
1.「単調な」再構成、すなわち、光景にわたって均一の距離を仮定する再構成を1組の距離o1、o2、...、onにおいて計算する。
2.このように取得した単調な再構成を用いて、光景をいくつかの連続的な領域r1、r2、...、rm及び対応する距離o1、o2、...、omに分解する。この分解は、各領域について距離oiの再構成riが「より良く」なる、すなわち、同じ領域の他の距離での全ての再構成よりも高周波アーチファクトが少なく、滑らかな強度プロフィールを有するように行われる。
3.再構成された領域ri(i=1,2,...,m)の各々について、センサ画像への寄与量siを計算する。これは、レンズアレイパターンを用いてriの2次元周期的相互相関関数を計算することにより行う。全ての領域の再構成が完全であった場合には、全てのセンサ画像の寄与量の合計は、測定されたセンサ画像sと等しくなるということに注意されたい。
4.再構成された領域ri(i=1,2,...,m)の各々に対して、測定されたセンサ画像から全ての他の領域のセンサ画像の寄与量を引く、すなわち、次のようにする。
【0126】
【0127】
各Δsi(i=1,2,...,m)は、この時点で領域riだけに関連するセンサ画像を含み、他の全ての領域ri、j≠iの寄与量は殆ど低減されていることに注意されたい。他の領域の再構成が完全ではなく、再構成の誤差を含むために、クロストークがいくらか残存しており、すなわち、Δsiは、他の領域からの残存している寄与量をいくらか含む。しかし、このクロストークは、異なるセンサ画像の計算をしないクロストークよりも非常に低い。
5.Δsi(i=1,2,...,m)を利用して、距離oiの各領域について正確な再構成r’iを計算する。任意的に、距離の推定oiを正確にするためにも、最初の距離oj前後のいくつかの様々な距離でこの段階を繰り返すことができる。この場合、各領域について最も少ない高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成及び距離を選択する。
6.任意的に、各領域を更に精巧にするために演算(3)に戻る。
【0128】
再構成された光景内の被写体の距離の判断
一実施形態によると、符号化レンズカメラの出力信号は(2次元の画像情報に加えて)、高周波アーチファクトが最も少なくかつ最も滑らかな強度プロフィールを有する各領域の被写体距離oを見つけることから判断された各画像ピクセル又はいくつかの画像領域に対する距離情報も含む。従って、画像内に再構成された各ピクセルに対して、単一強度値(グレースケールの可視光、赤外線、紫外線、又は他の単一周波数放射線に対して)又は赤、緑、青色の可視光線に対する3つの強度値を引き出す再構成に加えて、再構成は、画像内のそのピクセル位置でのカメラから被写体までの距離を示すz値を割り当てる。このようにして、単一の2次元センサ信号から3次元画像データを取得することができる。更に、距離データは、カメラ、外部撮像操作システム、又は画像操作アプリケーション又はシステムを利用するユーザが、光景の前景内の被写体を光景の後景から分離するなど、2次元画像を光景の様々な部分に関連する様々な領域に容易に分割することを可能にする。
【0129】
距離情報を用いてブルー/グリーンスクリーンの必要性を排除する
クロマキー法は、映像及び写真の製作で前景画像を無地の背景色から切り離すために一般的に使用される技術である。一般的に、「ブルースクリーン」又は「グリーンスクリーン」が使用され、これは、背景がビデオテープ又はフィルム上に撮影される又は取り込まれる間に演者又は被写体の背後に配置される非常に注意深く着色され、かつ照らされたスクリーンである。リアルタイムで又は後処理により、ハードウエア又はソフトウエアシステムは、前景画像を異なる背景に合成することができるように、恐らくは独特の色をした前景画像をかなり一様に着色された背景画像から切り離す。例えば、一般的にTVニュース番組の天気予報士は、ブルー又はグリーンスクリーンに対してクロマキー処理され、その後天気図の上に合成される。
【0130】
このようなブルー又はグリーンスクリーンは、製造が極めて面倒である。これらは、大きくて嵩張り、注意深い照明が必要であり、非常にきれいに保たねばならず、また、前景の被写体の縁部にブルー又はグリーンの光の「余波」を生み出さないように、前景の被写体の背後に十分離して設けられるべきである。前の段落の実施形態の原理を用いると、ブルー又はグリーンスクリーンなしで画像を取り込むことができ、各ピクセルに与えられたz値は、前景の被写体を背景から切り離すために十分な情報を合成システムに提供する(すなわち、光景のどのピクセルがより近い被写体の画像を含み、最終的な画像に維持されるべきか、また、光景のどのピクセルが被写体から遠い画像を含み、最終的な画像から低減されるべきかを識別することによる)。これは、写真、映像、映画製作、及び消費者の用途(例えば、様々な写真の家族を各写真の背景から切り離して数人の家族が一緒のグループ写真に合成することができるようにする)を含む多くの用途においてかなり有益であろう。
【0131】
図20は、背景の山2002を写真から除去した城2002のような異なる背景の光景に図19からの人物1901を容易に配置することができる方法を示している。これは、単に、人物1901のz値よりも大きいz値を有する図19から再構成された画像の全てのピクセルを城2002の画像からのピクセルと置換することにより完成される。ここでもまた、z値の処理は、例えば、DSP、ASIC、又は汎用プロセッサを含む事実上あらゆるタイプの画像処理プロセッサを用いて実行することができる。
【0132】
距離情報を用いて光学運動捕獲システムを改良する
一実施形態のピクセル毎の測距機能はまた、光学性能運動捕獲(mocap)において用途を有する。「mocap」は、現在、テレビゲーム(例えば、カリフォルニア州レッドウッド・シティー所在の「Electronic Arts」が提供する「NBA Live 2005」)及び映画(例えば、ニューヨーク州ニューヨーク所在の「Time Warner、Inc.」の一部門である「Castle Rock Entertainmanet」によりリリースされた「ポーラー・エクスプレス」)を含むCGアニメーションの人物、動物、及び小道具の動きを取り込むのに使用されている。このような「mocap」システム(例えば、英国オックスフォード所在の「Vicon Motion Systems、Ltd.」製のもの)は、一般的に、舞台を取り囲むいくつかの単レンズビデオカメラを用いる。逆反射マーカ(又は、他の特徴的なマーク付け)が、演者の体及び小道具全体に配置される。ビデオカメラは、各々が遮られていないFOV内のマーカを取り込みながら、同時にマーカの画像を取り込む。最後に、ソフトウエアが、ビデオフレームの全てを分析し、三角法によって3D空間の各マーカの位置の識別を試行する。
【0133】
図21は、例示的な運動捕獲セッションの写真である。3つの明るい光の輪は、ビデオカメラ2101〜2103の単レンズの周りのLEDの輪である。演者は、体に密着した黒いスーツを着ている。スーツの灰色の点は、逆反射マーカであり、これは、カメラのレンズに赤いLED光を反射して戻し、マーカが周囲の環境に対して明るく目立つようにする。左の演者の膝に付いたこのような4つの逆反射マーカは、2111〜2114で特定されている。
【0134】
マーカの全ては、カメラ画像の中で同じに見えるために、「mocap」システムが直面する課題の1つは、どのマーカ画像が光景のどのマーカ(又は、複数のマーカ)に対応するかを特定し、その後、演者又は小道具が動く時にフレーム毎にマーカを追跡することである。一般的に、演者は、マーカを体(又は小道具)のほぼ既知の位置に配置し、ほぼ既知の位置に立つ。カメラは、全てが最初のフレームを取り込み、ソフトウエアは、演者及び演者に付いたマーカの位置がほぼ既知であるために、各マーカを識別することができる。演者が動くと、マーカは、カメラの視野から出たり入ったりして動き、演者が動き回ると、頻繁に1台、数台、又は全てのカメラからよく見えなくなることがある。このために「mocap」システムがマーカを識別して追跡し続ける機能が不確かなものになる。
【0135】
例えば、所定のビデオカメラのフレームが、所定の(x,y)ピクセル位置に集中したマーカを示す場合、その画像は、実際は2つのマーカが前後に並んでいることを示している可能性が高い。次のフレームでは、演者の動きがマーカを異なる(x,y)位置に分離することがあるが、前のフレームにおいていずれのマーカが前方のマーカであっていずれが背後のマーカであったかを特定することは困難である場合がある(例えば、離れたマーカは、僅かに小さく見える場合があるが、その大きさの違いは、カメラに可能な解像度よりも小さい場合がある)。別の例としては、演者が床に転がって、マーカの全てを一方に隠す場合がある。演者が立ち上がると、多くのマーカがカメラの画像に突然に現れ、どのマーカがどれであるかを識別するのは困難である場合がある。このマーカ識別処理を改良するために、いくつかのアルゴリズムが開発されたが、依然として典型的な運動捕獲セッションでは、人間のオペレータがフレーム毎に間違ったマーカの識別を手動で訂正することにより取り込んだデータを「整える」べきであるという問題がある。このような作業は、退屈で時間を消費し、更に「mocap」製作のコストを増大させる。
【0136】
本発明の一実施形態では、単レンズのビデオカメラを本明細書に説明した符号化レンズ技術を用いたビデオカメラと取り替える。符号化レンズカメラは、マーカの画像を取り込むだけでなく、各マーカのおおよその深度もまた取り込む。これは、取込の連続したフレームの中で「mocap」システムがマーカを識別する機能を改善する。単レンズカメラは、マーカの有用な(x,y)位置情報を提供するのみであるが、符号化レンズカメラは、(上述のように)マーカの(x,y,z)位置情報を提供する。例えば、最初に一方のマーカが他方のマーカの前にあり、その後、次のフレームでこれらのマーカが分かれた場合、いずれのマーカがより近く、いずれがより離れているかを識別することは、符号化レンズカメラには容易なことである(すなわち、z値を利用する)。この情報は、次に、一方のマーカが他方のマーカの背後に隠れる前のフレームのマーカの位置と相関付けられ、両方のマーカが見えた時にいずれのマーカがいずれであるかを識別する。
【0137】
更に、時には1つのマーカが1つの「mocap」カメラのみで見え、他の全ての「mocap」カメラからは見えない場合がある(例えば、演者の体に隠れて)。単レンズの「mocap」カメラでは、1つのカメラのみで三角法を用いることはできず、従って、マーカの(x,y,z)位置を計算することができない。しかし、符号化レンズカメラを用いると、マーカまでの距離が分り、その結果、その(x,y,z)位置を容易に計算することができる。
【0138】
距離情報を用いてロボット視覚システムを改良する
別の実施形態では、符号化レンズカメラをロボット視覚システムに使用する。例えば、製造用途において、従来のレンズカメラは、ロボット電機子に距離情報を提供して組立てにおいてそれが持ち上げて挿入する必要がある部品の(x,y,z)位置を特定することはできないが、符号化レンズカメラは、それが可能である。
【0139】
増大したダイナミックレンジ及び(距離)測距情報を用いて防犯カメラシステムを改良する
一実施形態では、符号化レンズカメラを防犯システムに用いる。これらは、低ダイナミックレンジのセンサを使用して高ダイナミックレンジの光景を取り込む機能を有するために、従来の単レンズカメラでは通常は画像をぼやけさせる逆光照明がある状況において、使用可能な画像を提供することができる。例えば、侵入者が入口から入ってくる場合に、入口の外に明るい昼の光があった場合は、従来の単レンズカメラは、入口の外側でも入口の内側でも有用な画像を解像することはできないが、符号化レンズカメラは、それが可能である。
【0140】
本発明の実施形態は、上の説明のように様々な段階を含むことがある。これらの段階は、汎用プロセッサ又は専用プロセッサにある一定の段階を実行させる機械実行可能な命令に組み込むことができる。例えば、上述の様々な演算は、パーソナルコンピュータで実行されるか、又はパーソナルコンピュータ内のPCIカードに組み込まれたソフトウエアとすることができる。代替的に又はそれに加えて、演算は、DSP又はASICによって実施することができる。更に、本発明の関連のある態様を分りにくくすることを避けるために、コンピュータメモリ、ハードドライブ、入力装置などのような本発明の基本原理に関連しない様々な構成要素は、図及び説明を省略している。
【0141】
本発明の要素はまた、機械実行可能命令を格納する機械可読媒体として提供することができる。機械可読媒体は、以下に限定されるものではないが、フラッシュメモリ、光ディスク、CD−ROM、「DVD ROM」、RAM、EPROM、EEPROM、磁気又は光カード、伝播媒体、又は電子命令を格納するのに適切な他のタイプの機械可読媒体を含むことができる。例えば、本発明は、コンピュータプログラムとしてダウンロードすることができ、これは、通信リンク(例えば、モデム又はネットワーク接続)を通じて、搬送波又は他の伝播媒体の中に組み込まれたデータ信号により、リモートコンピュータ(例えば、サーバ)から、要求しているコンピュータ(例えば、クライアント)に転送することができる。
【0142】
上述の説明を通して、本発明のシステム及び方法を十分に理解するために、説明の目的で多くの特定の詳細を示した。しかし、本発明のシステム及び方法は、これら特定の詳細の一部がなくても実施することができることは、当業者には明らかであろう。例えば、本発明の実施形態は、「カメラ」との関連において上述したが、本発明の基本原理は、以下に限定されるものではないが、PDA、携帯電話、及びノート型コンピュータを含む事実上あらゆる種類の装置内に実施することができる。従って、本発明の範囲及び精神は、特許請求の範囲によって判断されるべきである。
【図面の簡単な説明】
【0143】
【図1】本発明の一実施形態による可視光符号化開口カメラを示す図である。
【図2】本発明の基本原理に従って用いられる3つの例示的なMURAパターンと2つの例示的なPBAパターンを示す図である。
【図3】本発明の一実施形態に従ったMURA次数3符号化開口アレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。
【図4】本発明の一実施形態に従ったMURA3符号化開口アレイの透明開口からの光の投影を示す図である。
【図5】本発明の一実施形態による符号化レンズカメラを示す図である。
【図6】本発明の一実施形態に従ったMURA次数3符号化レンズアレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。
【図7】本発明の一実施形態に従ったMURA3符号化レンズアレイの透明開口からの光の投影を示す図である。
【図8】本発明の一実施形態に従ったMURA次数3符号化レンズカメラの側面図である。
【図9】本発明の一実施形態に用いられる例示的なRGB「バイエルパターン」を示す図である。
【図10】多層構造として実装され、本発明の一実施形態に使用される画像センサを示す図である。
【図11a】デジタル画像の再構成及び後処理を可能にするために出力信号がアナログ−デジタル変換器(A/D)によってデジタル化される本発明の一実施形態を示す図である。
【図11b】本発明の一実施形態に従ってゼロオフセット及び利得を選択する手順を示す図である。
【図12】符号化レンズの結像特性及び典型的なレンズの結像特性を示す図である。
【図13】典型的なCMOS及びCCD画像センサの伝達特性を示すグラフである。
【図14】本発明の一実施形態に従った多要素レンズを備えたMURA次数3符号化レンズカメラの側面図である。
【図15】本発明の一実施形態に従った符号化レンズアレイ内のレンズの全ての焦点を同時に合わせる歯車配置を示す図である。
【図16】本発明の一実施形態に従った符号化レンズアレイの全レンズの焦点を同時に合わせるための歯車システムを備えた多要素符号化レンズシステムの側面図である。
【図17a】本発明の一実施形態に従ったMURA3符号化レンズアレイを使用した既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示す図である。
【図17b】本発明の一実施形態に従ったPBA24符号化レンズアレイを使用した既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示す図である。
【図18】本発明の一実施形態に従って正しい距離を識別するための様々な距離における画像の再構成を示す図である。
【図19】人物がカメラ近くに立ち、この人物のはるか後方に山がある画像を示す図である。
【図20】図19の人物を異なる背景を有する光景に容易に置くことができる方法を示す図である。
【図21】例示的な運動捕獲セッションの写真を示す図である。
【符号の説明】
【0144】
100 光景
101 符号化開口
104 光感応グレースケール又はカラー半導体センサ3
【技術分野】
【0001】
優先権の主張
本出願は、2005年1月18日出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願第11/039,029号の一部継続出願であり、2005年7月20日出願の「符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の米国特許仮出願第60/701,435号の恩典を主張するものである。その出願は、その全内容が引用により組み込まれている。
【0002】
本発明の分野
本発明は、一般的に画像取込及び画像処理の分野に関する。より具体的には、本発明は、符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法に関する。
【背景技術】
【0003】
写真撮像は、一般的に、写真フィルム又はCCD及びCMOSセンサを含む半導体センサのような光を感知する検出器の前に置かれた単一のガラスレンズを使用して、光景からの光を集束させることにより行われる。
【0004】
X線又はガンマ線のような高エネルギ放射線を撮像するためには、このような放射線は、ガラスレンズを使用して回折させることができないので、他の技術を用いなければならない。単一ピンホールカメラ及び多孔コリメータシステムを含むいくつかの技術が提案されてきた。特に有益な技術は、「符号化開口結像法」であり、そこでは、透明及び不透明要素の適切に選択されたパターンから成る構造化された開口が、撮像される放射線に感応する検出器の前に配置されている。開口パターンが適切に選択されると、撮像された光景は、検出器信号からデジタル方式で再構成することができる。符号化開口結像法は、高い空間分解能を高い光効率と結合させるという利点を有する。矩形又は六角形要素の構造化されたアレイを使用するX線及びガンマ線放射線の符号化開口結像法は、R.H.DICKE著「X線及びガンマ線のための散乱孔カメラ」、「ASTROHYS.J.」、153:L101−L106、1968年(以下、「Dicke」)から公知であり、天体撮像及び核医学に広く応用されている。
【0005】
符号化撮像システムの特に有用な部類は、E.E.Fenimore及びT.M.Cannon著「均一冗長アレイによる符号化開口結像法」、「Appl.Opt.」、17:337−347、1978年(以下「Fenimore」)から公知である。この部類のシステムでは、基本の開口パターンは、開口パターンが基本パターンの2×2のモザイクになるように循環的に繰り返される。検出器は、少なくとも基本開口パターンと同じ大きさを有する。このようなシステムでは、「完全に符号化されたFOV」(「FOV」は、本明細書で「視野」のことを指して使用する)とは、FOV内の区域として定義され、その内部では、点光源が、開口上に基本開口パターンの循環シフトバージョンの完全な影を落とすと考えられる。同様に、「一部符号化されたFOV」とは、FOV内の区域として定義され、その内部では、点光源が、開口上に単に基本開口パターンの一部の影を落とすと考えられる。Dickeによれば、コリメータを検出器の前に置き、これが、FOVを完全符号化FOVに限定し、従って、検出器信号からの光景の明瞭な再構成を可能にする。
【0006】
J.Gunson及びB.Polychronopulos著「ロケット用途のための符号化マスクX線望遠鏡の最適設計」、「MON.NOT.R.ASTRON.SOC.」、177:485−497、1976年(以下「Gunson」)から、開口自体がコリメータとして働き、かつFOVを完全符号化FOVに限定するように、開口の不透明要素に有限厚を与えることが更に公知である。このような「自己平行化開口」により、検出器の前の別のコリメータを省くことができる。
【0007】
FOVを限定することに加えて、コリメータは、光軸に対して厳密に平行である光だけを減衰なしで透過させるという望ましくない特性を有することに注意すべきである。コリメータを通過するどの軸外の光も減衰され、この減衰は、FOVの限界の方向に増大する。FOVの限界では、減衰は100%であり、すなわち、光は、このような角度ではコリメータを通過することができない。この影響は、本明細書では、以下に「コリメータ減衰」として表す。x方向及びy方向の両方で、コリメータ減衰は、光と光軸の間の角度の正接に比例する。
【0008】
符号化開口結像システムでセンサ信号から画像を再構成した後に、光度的に正しい画像を取得するために、コリメータ減衰の影響を逆転させる必要がある場合がある。これは、各個々のピクセル値にそのピクセルが関連する方向から来た光が減衰された係数の逆数を掛けることを伴っている。FOVの限界近くでは、減衰、特にコリメータ減衰が非常に高く、すなわち、この係数はゼロに近づくことに注意すべきである。この場合、コリメータ減衰を逆転させることは、ピクセル値をFOVの限界で無限大に近づく非常に大きい係数によって増幅することを伴っている。再構成におけるあらゆるノイズもこの係数によって増幅されることになるので、FOVの限界付近のピクセルは、ノイズが非常に大きくなるか、又は使用不能になる場合さえある。
【0009】
Fenimore又はGunsonによる符号化開口システムでは、基本開口パターンは、0と1の「開口アレイ」によって特徴付けることができ、ここで、1は、透明な開口要素を表し、0は、不透明な開口要素を表す。更に、FOV内の光景は、2次元アレイとして特徴付けることができ、各アレイ要素は、FOV内の単一ピクセルから発せられた光度を含んでいる。光景が開口から無限遠の距離にある場合、センサ信号は、FOVアレイと開口アレイの間の2次元の周期的な相互相関関数として特徴付けることができることが公知である。センサ信号それ自体は、撮像されている光景と似ていないということに注意すべきである。しかし、開口アレイに適する2次元の周期的な逆フィルタを計算することにより、「再構成フィルタ」を設計することができる。この2次元周期的逆フィルタは、開口アレイと逆フィルタの2次元周期的相互相関関数の全てのサイドローブが0になる方法で構成された2次元アレイである。センサ信号と再構成フィルタの2次元周期的相互相関関数を計算することにより、元の光景の画像をセンサ信号から再構成することができる。
【0010】
いわゆる「均一冗長アレイ」(URA)を開口アレイとして使用することは、Fenimoreから公知である。URAは、サイドローブ値が全て同一である2次元周期的相互相関関数を有する。URAは、一定のオフセット及び一定の倍率を除き、URAそのものと同じ構造を有する逆フィルタを有する。このような再構成フィルタは、センサ信号内のあらゆるノイズが、再構成フィルタリング中に可能な最低の増幅を受けることになるという意味では最適である。しかし、URAは、ごく少数の大きさを除いて代数学的に構成することが不可能である。
【0011】
更に、pが奇素数である時に全ての大きさp×pに対して存在する「修正均一冗長アレイ」(MURA)と呼ばれる修正された部類の開口アレイを使用することが、S.R.Gottesman及びE.E.Fenimore著「符号化開口結像法のための新しいバイナリアレイ群」、「APPL.OPT.」、28:4344−4352、1989年(以下「Gottesman」)から公知である。従って、MURAは、URAよりも多くの大きさに対して存在する。これらの相関特性及びノイズ増幅特性は、最適に近く、URAの特性と殆ど同様に良好である。MURAは、単一行及び単一列を除き、それらが、アレイに対して一方が列指数のみの関数で他方が行指数のみの関数である2つの1次元数列の積として表すことができるという付加的な利点を有する。同様に、単一行及び単一列を除き、これらの逆フィルタもまた、2つの1次元数列の積として表すことができる。この特性により、2次元逆フィルタリングを一連の2つの1次元フィルタリング演算に置換することが可能になり、再構成処理の計算が遥かに効率的になる。
【0012】
更に、s=0,1,2...及びr=1,2,3...である時に、全ての大きさ3S2r×3S2r及び全ての大きさ3S2r-1×3S2r+1に対して存在するいわゆる「完全バイナリアレイ」(PBA)を使用することが、A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI VERLAG」、DUESSELDORF、1999年、ISBN3−18−357210−9(以下「Busboom」)から公知である。従って、PBAはまた、多くの大きさ、特に、偶数の列及び行を有する多くの正方形の大きさに対しても存在する。これらの相関特性及びノイズ増幅特性は、URAと同じくらい良好である。
【0013】
光景が開口から有限距離にある場合、センサ画像の幾何学的拡大が発生する。oが光景と開口の間の距離、かつaが開口とセンサの間の距離である時に、光景の点光源は、実際の開口の大きさに比べて係数f=(o+a)/oだけ拡大された開口パターンの影をセンサ上に落とすと考えられることに注意すべきである。従って、光景が有限距離にある場合、センサ画像は、適宜拡大したバージョンの再構成フィルタでフィルタに掛ける必要がある。
【0014】
光景が開口に非常に近い場合、いわゆる近視野効果が発生する。「近視野」とは、センサの大きさ、開口の大きさ、又は開口とセンサの間の距離のうちでその量が最大のものの10倍に満たない範囲として定義される。被写体が近視野にある場合には、センサ画像は、もはや光景と開口アレイの間の2次元相互相関として表すことができない。これは、逆フィルタリングを使用して光景を再構成しようと試みる時にアーチファクトを引き起こす。Lanza他の米国特許出願第6,737,652号には、このような近視野アーチファクトを低減する方法が開示されている。これらの方法は、第2の開口アレイが第1の開口アレイの逆となっている(すなわち、透明要素が不透明要素と置換され、逆も同様)2つの別々の符号化開口を使用して光景を撮像することを伴っている。再構成は、次に、近視野アーチファクトが2つのセンサ画像を結合する処理で低減されるような方法で、2つの異なる開口で得られた2つのセンサ信号から計算される。
【0015】
今日までの符号化開口結像法は、主としてX線又はガンマ線放射を用いた産業上、医療上、及び科学的応用に限定されており、今日まで開発されたシステムは、それぞれ、特定の制約を受けた環境の中で機能するように設計されている。例えば、既存の符号化開口結像システムは、それぞれ、特定の視野深度で(例えば、天文学用に事実上無限遠で、又は核又はX線撮像用に特定の距離範囲で)設計されている。第2に、今日まで、符号化開口結像法は、制御された放射線源(例えば、核、X線、又は産業用の撮像)又は比較的安定していて事実上無限遠である天体の放射線源を用いて使用されてきた。その結果、既存の符号化開口システムは、例えば、レンズを使用する典型的な写真用カメラとはかなり異なって、制約された環境の中で作動するという利点を有してきた。単レンズを使用する(すなわち、センサ又はフィルムフレームにつき1つの単一のレンズ、ステレオカメラは2枚のレンズを有するが、レンズ毎に別のセンサ又はフィルムフレームを利用する)典型的な写真用カメラは、近距離から事実上無限遠距離までの様々な距離の3次元被写体を包含する光景の撮像を同時に処理するように設計され、かつ不明の起源、角度、及び大きく変化する強度の複数の環境放射線源を反射、拡散、吸収、屈折、又は逆反射する被写体を撮像するように設計されている。単レンズを有する莫大な数の写真用カメラが日常扱っているこの種の制約のない撮像環境を扱うことができる符号化開口システムは、これまでに設計されていない。
【0016】
単レンズを使用した光学スペクトルの写真撮像には、いくつかの不都合及び制限がある。単レンズ写真撮影の主な制限は、特に大きな開口の設定でのその有限被写界深度(DOF)である。限定されたDOFの光景のみに、単レンズ画像において焦点を合わすことができ、一方、DOFよりもカメラに近いか又は離れているあらゆる被写体は、画像内でぼやけて見えることになる。
【0017】
更に、単レンズカメラは、画像を取り込む前に手動又は自動で焦点を合わせる必要がある。これは、特に短いDOFを有する大きい開口では、スポーツ写真又は子供又は動物の写真のような速いか又は予期せぬ動きをする被写体を撮像する時に不都合である。このような状況では、焦点を合わせる十分な時間がなかったか又は画像を取得する時に被写体が予期せぬ動きをしたために、画像の焦点が合っていない場合がある。単レンズ写真撮影は、画像を取得した状態では、撮影者が遡及的に焦点を変更することを許さない。
【0018】
更に、単レンズのカメラの焦点を合わせることは、1つ又はそれよりも多くのレンズとセンサとの間の距離を調節することを伴っている。これには、単レンズカメラが機械的可動部を含む必要があるが、これは、機械の故障を起こしやすくする。液体レンズのようなガラスレンズの様々な代替物(例えば、B.Hendriks及びStein Kuiper著「レンズを通してはっきりと」、「IEEE SPECTRUM」、12月、2004年を参照)が、ガラスレンズの機械的制限を緩和しようという努力で提案されてきたが、このような代替物が設計の複雑さと潜在的な制限(例えば、作動温度範囲及び開口の大きさ)を加えた割には、これらは、依然として限られた焦点範囲の制約を受けている。
【0019】
更に、単レンズカメラは、そのセンサ(フィルム又は半導体センサ)が限られたダイナミックレンジを有する結果として、限られたダイナミックレンジを有する。これは、非常に明るい区域と非常に暗い区域を共に含む光景を撮像する時に深刻な制限になる。一般的に、暗い区域が十分なコントラストを有しながら、明るい区域が露出過度に見え、又は明るい区域が十分なコントラストを有しながら、暗い区域が露出不足に見えることになるかのいずれかである。この問題に対処するために、画像の様々な明るさの領域に適合させるように画像センサの各ピクセルが各々固有の利得でサンプリングされることを可能にする専門の半導体画像センサ(例えば、カリフォルニア州マウンテンビュー所在の「Pixim Inc.」製D1000)が開発された。しかし、このような画像センサは、従来のCCD又はCMOS画像センサよりも遥かに高価であり、従って、大量市場の一般的写真撮影を含む多くの用途に対してコスト優位性がない。
【0020】
焦点を合わせる要件により、単レンズは、レンズと被写体の間の距離の概算値を提供することができる。しかし、大部分の写真撮影用途は、同時焦点の範囲ができるだけ長くなるように設計されたレンズを必要とするために、距離の推定に焦点を利用することは、きわめて不正確である。単レンズは、一度に1つの距離範囲に焦点を合わせることしかできないために、レンズは、高々所定の時間に1つの被写体範囲までの距離の推定をもたらすことになる。
【0021】
「符号化開口結像法(CAI)」(1/18/05出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願出願番号第11/039,029号、以下「CAI出願」に開示されている)は、単レンズカメラの制約の多くに対処するものである。単レンズカメラに比べて、CAIは、より薄いカメラ、より軽いカメラ、より大きいダイナミックレンジを有するカメラ、及び同じく光景内の広範囲の深度にわたって焦点の合った画像を再構成することができるカメラを作ることを可能にする。
【0022】
「CAI出願」に説明した一実施形態に従った可視光符号化開口カメラを図1に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ104の前に配置された符号化開口101を含む。符号化開口101は、円形、正方形、六角形、矩形、又は他のタイル状要素のパターンであり、その中には可視光を通すもの(例えば、要素102)と、通さないもの(例えば、要素103)がある。図を分かりやすくするために、符号化開口101には、透明要素が殆どないことに注意されたい。典型的な符号化開口は、かなり多くの透明要素を有する場合がある(例えば、50%)。2次元又は3次元の光景100(周囲又は人工照明で照らされる場合がある)からの可視光は、符号化開口101を通って画像センサ104上に投射される。このカメラは、FOVをセンサ上に投影される完全符号化FOVに限定することができる。一実施形態では、これは、自動平行化符号化開口101を使用することにより実施される(以下に説明するように、平行化のためのバッフルを使用して)。符号化開口とセンサの間の空間は、遮光ハウジング105(その概略図のみを図1に示す)で遮蔽され、符号化開口の開口要素を通過する以外、いかなる光もセンサに到達させない。
【0023】
カメラは、更に、画像センサ104へのインタフェース109を備えた画像センサ読み出しサブシステム110(従来の符号化開口システムに使用されるものと同様とすることができる)を含む。読み出しサブシステムは、画像センサ104からアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるアナログバファリング、増幅、及び/又はフィルタリングを適用する。A/D120も組み込んだこのような読み出しサブシステム110の一例は、カリフォルニア州サニーベール所在の「NuCore Technology、Inc.」製「NDX−1260 CleanCapture 画像処理プロセッサ」である。読み出しサブシステム110によって読み取られたアナログピクセル値に対してゼロオフセット112及び利得111を調節する機能は(例えば、少なくとも1つの演算増幅器(オペアンプ)を使用して)、取り込まれた画像のダイナミックレンジを増大させることになるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に対して十分なダイナミックレンジを有する場合は、必ずしも重要ではない。
【0024】
一実施形態では、読み出しサブシステム110の出力は、アナログ出力をデジタル化する少なくとも1つのアナログ−デジタル変換器(A/D)120にインタフェース113を通じて接続される。A/Dの出力は、インタフェース121により、一実施形態では「デジタル信号プロセッサ(DSP)」132及び「ランダムアクセスメモリ(RAM)」131を内蔵している画像再構成プロセッサ130に接続される。インタフェース121からのデジタル化された画像は、RAM131に記憶され、DSP132は、元の光景101をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態によると、画像再構成プロセッサ130は、例えば、インテル・コーポレーション製「Pentium 4(登録商標)」のような汎用CPU又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ130は、専用のデジタル構造内で再構成処理の一部又は全部を実施する「特定用途向け集積回路(ASIC)」を内蔵している。再構成プロセッサ130によって再構成されたこのグレースケール又はカラー画像は、インタフェース133を通じて出力され、表示装置140上に表示される。
【0025】
しかし、CAIの1つの限界は、再構成画像の解像度である。CAIカメラの解像度は、(a)開口アレイの次数、及び(b)回折により起こる投影画像のゆがみの2つの主な要因のうちの大きい方に限定される。これについては、以下の段落で更に説明する。
【0026】
図2は、「次数」101、61、及び31のMURAのいくつかの代表的な符号化開口アレイパターンを示している(CAI用途でより詳細に説明)。図2はまた、次数8及び24のPBAの符号化開口アレイパターンを示している。(PBA8及び24は、それらのパターンをより良く示すために、MURAに比べて拡大して示している。)符号化開口アレイパターンは、水平方向に2回、及び垂直方向に2回繰り返された正方形アレイ(特定の次数の水平及び垂直寸法を有する)で形成されていることに注意されたい。従って、例えば、MURA101パターンは、202×202の全体の大きさを有する。また、アレイの開口要素の各々は、同じ大きさのものであることにも注意されたい。開口の一部は、他より大きく見えるが、これは、単に隣接する開口が結合してより大きい開口のように見えるものを作り出しているためである。CAIカメラは、その符号化開口アレイの次数よりも高い解像度の画像を解像することができない。例えば、MURA101のCAIカメラは、101×101ピクセルよりも高い解像度の画像を解像することができない。
【0027】
説明のために、図3は、図1に示す可視光符号化開口カメラの一実施形態を示している。図3に示す実施形態は、再構成画像の解像度が僅か3×3ピクセルであるために多くの用途で使用できないが、図1に示すようなカメラが機能する方法を説明するのに役立つものである。MURA次数3(MURA3)開口アレイ301は、開放開口302のような16の開放開口と閉鎖開口303のような20の閉鎖開口とを収容する。カラー又はグレースケールセンサ304は、MURA3開口アレイ301の1象限(すなわち、1つの3×3の開口ブロック)と同じ大きさであり、この実施形態では、それは、MURA3開口アレイ301に対して中心に位置決めされている。
【0028】
図3の正投影図320は、カメラの構造のより多くを明らかにしている。バッフル(「CAI用途」では「コリメータ」と呼ぶ)315は、開放開口302のような開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ304上への各開口の投影のFOVを制限する。閉鎖開口303のような閉鎖開口は、不透明なカバーで覆われ、従って、光が通過できないようになっている。センサ304は、開放開口の各々からの重なり合う投影の空間を可能にするようにMURA3開口アレイ301及びバッフル317から離されている。ユニット全体は、遮光カメラ本体316の中に入っており、これは、説明のために透明な状態で示している。この特定の例では、例えセンサ304が非常に高解像度のセンサであっても、3×3ピクセル画像しか再構成することができないことに注意されたい。
【0029】
図4は、光がMURA3開口アレイを通して投影される方法を示している。説明図400は、例示的な開放開口402及び閉鎖開口403と共に、黒い実線で示したMURA3開口アレイ401を示している。カラー又はグレースケールセンサ404の位置は、点線で描かれている。開放開口405は、破線で描かれている。開口405を通過する光は、グレーの正方形406として示したセンサ面上の正方形区域に投影する。開口アレイ401が説明図400では投影の上に重なるように示されているために、投影406の大部分は、閉鎖開口によって遮られていることに注意されたい。それでも、グレーの実線で描かれている投影406の周囲は、見ることができる。
【0030】
この実施形態では、投影406は、開口405の約9倍の大きさで開口405上に中心がある正方形である。開口アレイに対してセンサ404がどのくらい近いか又は遠いかにより、この投影は、広いか又は狭いFOVに対応することができる。開口405の周りのバッフル(この説明図には示していないが、図3では、バッフル317として見ることができる)は、この実施形態では、投影406の範囲を開口405の大きさの約9倍に限定するために使用されている。
【0031】
この実施形態では、投影406の面積のごく僅かな割合がセンサ404に重なっていることに注意されたい。この重なりの一部は、開放開口409を通して可視であり、その一部は、閉鎖開口408によって覆い隠されている。
【0032】
説明図410は、開口アレイ401の右上の象限からの4つの投影を重ね合わせたものを示している。(分かりやすくするために、説明図410及び420では、MURA3開口アレイ401の外形のみを示している。)右上象限にある4つの開放開口415は、破線で描かれている。これら4つの開口からの4つの投影416は、重なり合うグレーの区域として示されている。説明図400に示す投影406のような各投影は、その開口の約9倍の大きさの正方形であり、その開口上に中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、グレースケールの階調を変えることを利用して各区域を埋めている。最も明るいグレーは、1つの投影を示し、次に暗いものは、2つの投影の重なりを示し、次に暗いものは、3つの投影の重なりを示し、最後に最も暗いものは、4つの投影の重なりを示している。
【0033】
説明図420は、開口アレイ401全体からの16の投影全ての重なりを示している。16の開放開口425は、破線で描かれている。説明図400に示す投影406のような各投影は、その開口の約9倍の大きさでその開口に中心がある正方形であり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ404の各区域は、4つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって4つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変動、回折効果、及び観測される光景内の被写体までの変動する距離のために、図411のグレーの実線で示す投影の境界付近により少ないか又はより多い重なり合う投影が存在する場合がある。
【0034】
また、MURA3開口アレイ401に当たる光の大部分は、センサ404の縁部を超えて投影され、その結果、この光は、再構成に使用されないことに注意されたい。MURA3開口アレイ401の最右列の区域を無視する場合(この列にある開口は全て閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなくシステムから取り除くことができる)、MURA3開口アレイ401の残りの区域に当たる光の約13%が、実際にセンサ404上に投影される。従来のf/2.8単レンズは、レンズに当たる光の約12.7%を通し、従って、このMURA3符号化開口アレイカメラの13%の光透過性能は、従来のf/2.8レンズに同等のものとして見ることができる。
【0035】
一般的に、f/2.8は、写真用レンズには優れた光透過性能であり、従って、最後の数段落のMURA3符号化開口カメラの説明は、潜在的に望ましい光透過特性を有するカメラを特徴付けたものである。残念ながら、説明したシステムでは、僅か3×3ピクセル画像しか再構成できない。
【0036】
CAIカメラの各要素は、幾何学的には、ピンホールカメラのピンホールのように作用する。各開口を通過する光は、ピンホールカメラの場合と同様に、センサ上に投影を作る。また、ピンホールカメラのように、CAIカメラは、ピンホールを通過する光の回折効果を受ける。ピンホールでは、これらの回折効果は、一般的に「エアリー円盤」として公知の点光源投影パターンを作り出す。エアリー円盤の1次ローブは、所定のピンホールカメラの投影から最小の解像可能なスポットサイズをほぼ形成する。ピンホールからセンサまでの所定の距離においては、ピンホールの大きさが減少する時にエアリー円盤の大きさが増大する。幾何学的観点から、ピンホールカメラからの画像の解像度(すなわち、最小の点光源投影のスポットサイズ)もまた、ピンホールが小さくなる時に増大する。従って、ピンホールからセンサまでのあらゆる所定の距離に対して、点光源投影のスポットサイズがエアリー円盤の第1のローブの大きさと等しくなる最適のピンホールの大きさがある。ピンホールが、この最適サイズよりも小さく作られた場合、エアリー円盤の大きさが増大するために解像度は低下する。ピンホールがこの最適サイズよりも大きく作られた場合、点光源投影のスポットサイズが増大するために解像度は低下する。ピンホールカメラの解像度の特徴付けは主観的であるために、最適のピンホール直径を計算するために、様々な公式が提案されてきた。このような公式の1つが、A=SQRT(55F)であり、ここで、Aは、1000分の1インチ単位のピンホール直径、Fは、インチ単位のカメラの焦点距離、及びSQRT()は、平方根関数である。
【0037】
ピンホールカメラの実現可能な解像度は、カメラの焦点距離が増大する時に増大することに注意されたい。残念ながら、カメラの物理的大きさは、一般的に焦点距離に比例して増大し、その結果、高解像度のピンホール画像には、非常に大きいカメラが必要になる。例えば(公式A=SQRT(55F)を用いて)、1”の焦点距離(すなわち、1”の厚み)のピンホールカメラの最適なピンホールサイズは、約0.007”である。約53°の「通常の」視角に対して、これは、約134.8ピクセルの対角寸法、又は約95×95ピクセルの解像度画像になる。10”の焦点距離(すなわち、10”の厚み)ピンホールカメラの最適なピンホールサイズは、約0.023”である。53°の視角を用いて、これは、約426.4の対角解像度、又は約301×301の解像度画像になる。(様々な撮影者が、ピンホールカメラの解像可能な解像度を評価する際に、様々な主観的な基準を使用することになることに注意されたい。本明細書で計算する解像度は、解像可能な解像度の1つの解釈に基づいている。他の解釈は、より高いか又はより低い解像度の評価を導くであろうが、通常は、本明細書に示す数字の2倍の範囲以内で高く又は低くなることになる。)
【0038】
ピンホールカメラのように、可視光CAIカメラも、解像度/サイズの妥協点をもたらす場合がある回折効果を受ける。開口パターンが複雑であるために、回折パターンは、ピンホールの回折パターンよりも複雑であり、従って、画像解像度及び/又はカメラサイズ要件への影響を判断することは、より複雑である。しかし、CAI画像のピクセル解像度は、開口アレイの次数よりも高くならない可能性があるので、高解像度の画像を獲得するには、低次の開口アレイよりも潜在的に悪い回折効果を示す可能性がある高次の開口アレイを利用するか、又は代替的に、これらの回折効果を緩和するために、より長い焦点距離(及び、結果としてより大きいカメラサイズ)を要求することが必要である。
【0039】
デジタルカメラのレンズシステムの性能を改善する別の手法は、プレノプティックカメラである。プレノプティックカメラの基本概念は、米国特許第5,076,687号に説明されている。「プレノプティック」という言葉は、この特許には使用されていないが、この特許で参照される装置は、その発明者によりこのカメラについて説明したウェブページ:http://www−bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.htmlで「プレノプティックカメラ」と呼ばれている。2005年には、スタンフォード大学の研究者が、従来のf/22レンズのDOFを達成しながら、f/4レンズで集められると考えられる同等な光を光景から取り込むプレノプティックカメラ実装の応用を説明した論文(「Stanford Tech Report」、CTSR2005−02)を公開した。残念ながら、この集光機能の増加は、画像解像度の理論上線形の犠牲で達成される。このチームにより構成された試作品は、理論上の解像度の損失を越えて約2倍の損失をもたらし、従って、4000×4000ピクセルのセンサを用いて、彼らは、f/4の光取込でf/22のDOFを示す僅か296×296の画像を再構成することしかできなかった(すなわち、16メガピクセルのセンサが、90キロピクセルの画像を生成した)。このようなシステムは、ある一定の特定用途には有用かもしれないが、センサ解像度の非常に大きい損失は、このようなシステムを一般の写真用途に対して優位性のないものにする可能性が高いと思われる。
【0040】
【特許文献1】米国特許出願第11/039,029号
【特許文献2】米国特許仮出願第60/701,435号
【特許文献3】米国特許出願第6,737,652号
【特許文献4】米国特許第5,076,687号
【非特許文献1】R.H.DICKE著「X線及びガンマ線のための散乱孔カメラ」、「ASTROHYS.J.」、153:L101−L106、1968年
【非特許文献2】E.E.Fenimore及びT.M.Cannon著「均一冗長アレイによる符号化開口結像法」、「Appl.Opt.」、17:337−347、1978年
【非特許文献3】J.Gunson及びB.Polychronopulos著「ロケット用途のための符号化マスクX線望遠鏡の最適設計」、「MON.NOT.R.ASTRON.SOC.」、177:485−497、1976年
【非特許文献4】S.R.Gottesman及びE.E.Fenimore著「符号化開口結像法のための新しいバイナリアレイ群」、「APPL.OPT.」、28:4344−4352、1989年
【非特許文献5】A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI VERLAG」、DUESSELDORF、1999年、ISBN3−18−357210−9
【非特許文献6】B.Hendriks及びStein Kuiper著「レンズを通してはっきりと」、「IEEE SPECTRUM」、12月、2004年
【非特許文献7】論文、「Stanford Tech Report」、CTSR2005−02
【非特許文献8】ウェブページ:http://www−bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.html
【非特許文献9】ウェブページ:http://www.dofmaster.com/dofjs.html
【発明の開示】
【0041】
画像を取り込むための装置及び方法について説明する。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いだ符号化レンズアレイと、符号化レンズアレイに接続され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイのレンズを透過した光を感知するように構成されている。
【0042】
本発明は、図面と関連した次の詳細説明からより良く理解することができる。
【発明を実施するための最良の形態】
【0043】
符号化レンズ撮像技術を使用して静止画像及び映像を取り込むシステム及び方法について以下に説明する。説明では、説明の目的で、本発明を十分に理解するために多くの特定の詳細を示している。しかし、本発明は、これら特定の詳細の一部がなくても実行することができることは、当業者には明らかであろう。他の例では、公知の構造及び装置をブロック図の形態で示し、本発明の根本的な原理が曖昧にならないようにする。
【0044】
カメラシステムの構成
本発明の一実施形態により、読み出し電子機器とディスプレイとを含むシングルショット画像又は連続(例えば、ビデオ)画像のための可視光符号化レンズアレイカメラを図5に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ504の前に配置された符号化レンズアレイ501を含む。符号化レンズアレイ501は、円形、正方形、六角形、又は矩形のパターン(又は、平面にタイル張りされることが可能なあらゆるパターン)の開口であり、その一部は、可視光を通し(すなわち、「開放」)(例えば、要素503)、その一部は、可視光を通さないものである(すなわち、「閉鎖」)(例えば、要素503)。502のような各開放開口は、508のようなレンズで覆われ(又はレンズを含み)、事実上開放開口を通過する光の全てがレンズを通過するようになっている。典型的な符号化レンズアレイは、約50%の各々レンズが付いた透明な開口を有する。図示の符号化レンズアレイパターンは、透明開口の不透明開口に対する比が4/5であるMURA次数3である。2次元又は3次元の光景500(周囲又は人工照明で照らされることが可能)からの可視光は、符号化開口アレイ501のレンズ及び開放開口を通って画像センサ504上に投射される。(このカメラは、センサ上に投影されたFOVを完全符号化FOVに限定することができる。この完全符号化FOVの重なり合う投影の光の寄与は、図6の説明図620に示されている。)一実施形態では、これは、自動平行化符号化レンズアレイ501を使用することにより達成される(自動平行化は、符号化レンズアレイ501の背後のバッフル517により達成され、これについては以下に説明する)。符号化レンズアレイとセンサの間の空間は、遮光ハウジング516(その概略図のみを図5に示す)で覆われ、符号化レンズアレイ501のレンズ及び開放開口を通過する以外の光がセンサに到達しないようにする。
【0045】
カメラは、更に、画像センサ504へのインタフェース509を有する画像センサ読み出しサブシステム510を含む。読み出しサブシステムは、画像センサ504からのアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるようにバファリング、増幅、及び/又はフィルタリングを行う。A/D520も組み込んだ読み出しサブシステム510の一例は、カリフォルニア州サニーベール所在の「Nucore Technology、Inc.」製「NDX−1260CleanCapture画像処理プロセッサ」である。読み出しサブシステム510によって読み取られたアナログのピクセル値に対してゼロオフセット512及び利得511を調節する機能は(例えば、少なくとも1つの演算増幅器(オペアンプ)を用いて)、取り込まれた画像のダイナミックレンジを増大させるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に十分なダイナミックレンジを有する場合は、必ずしも重要ではない。
【0046】
一実施形態では、読み出しサブシステム510の出力は、アナログ出力をデジタル化する少なくとも1つのアナログ−デジタル変換器(A/D)520にインタフェース513を通じて接続される。A/Dの出力は、インタフェース521により、一実施形態では「デジタル信号プロセッサ(DSP)」532及び「ランダムアクセスメモリ(RAM)」531を内蔵している画像再構成プロセッサ530に接続される。インタフェース521からのデジタル画像は、RAM531に記憶され、DSP532は、元の光景500をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態により、画像再構成プロセッサ530は、例えば、インテル・コーポレーション製「Pentium 4(登録商標)」のような汎用CPU又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ530は、専用のデジタル構造において再構成処理の一部又は全部を行う「特定用途向け集積回路(ASIC)」を内蔵している。再構成プロセッサ530によって再構成されたこのグレースケール又はカラー画像は、インタフェース533を通じて出力されて表示装置540に表示される。
【0047】
図6は、図5に示す可視光の符号化レンズアレイカメラの一実施形態を示している。MURA次数3(MURA3)レンズアレイ601は、開放開口602のような開放開口と閉鎖開口603のような閉鎖開口20とを含む。602のような各開放開口は、1つのレンズを含む。図示の実施形態では、レンズは円形であるが、別の実施形態では、レンズは、開放開口602の区域を完全に占める他の形状(例えば、正方形又は六角形)とすることができる。しかし、この実施形態では、レンズ608の形状に関わらず、レンズ608で塞がれていない開放開口602の残りの区域は、不透明又はほぼ不透明でなければならない。カラー又はグレースケールセンサ604は、説明図610に示すように、MURA3開口アレイ601の1象限(すなわち、1つの3×3の開口ブロック)であり、この実施形態では、MURA3開口アレイ601に対して中心に位置決めされている。(説明図610は、MURA3レンズアレイ601の背後のセンサ604の設置位置を、レンズの形状を示す円を通してそれを示すことにより示している。単に説明のためにこのようにしたが、観察者がレンズを通して見る場合には、レンズの屈折の影響により実際のシステムの目視検査で見えるものは、こうではない場合がある。)
【0048】
図6の正投影図620は、カメラの構造のより多くを明らかにしている。バッフル(「CAI用途」では「コリメータ」と呼ぶ)617は、開放開口602及びレンズ608のようなレンズ及び開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ604上への各開口の投影のFOVを制限する。閉鎖開口603のような閉鎖開口は、不透明なカバーで覆われ、光が通過できないようになっている。センサ604は、開放開口の各々からの重なり合う投影の空間を与えるようにMURA3開口アレイ611及びバッフル617から離されている。ユニット全体は、説明のために透明な状態で示す遮光カメラ本体616の中に入っている。
【0049】
図7は、光がMURA3符号化レンズアレイ701から投影される方法を示している。説明図700は、例示的な開放開口及びレンズ702と閉鎖開口703とを有するMURA3符号化レンズアレイ701を示している。符号化レンズアレイ701の背後に位置決めされるカラー又はグレースケールセンサ704の位置は、点線で示している。レンズ705は、破線で描かれている。レンズ705を通過した光は、グレーの正方形706として示したセンサ面上の正方形区域の上に投影する。開口アレイ701は、説明図700では投影の上に重なるように示されているために、投影706の大部分が閉鎖開口により遮られていることに注意されたい。それにも関わらず、投影706の周囲は、グレーの実線で示されて見ることができる。
【0050】
この実施形態では、投影706は、レンズ705を囲む開放開口の正方形の約9倍の大きさでレンズ705上に中心がある正方形である。センサ704が開口アレイにどのくらい近いか又は離れているかにより、この投影は、より広いFOV又はより狭いFOVに対応することができる。開口705の周りのバッフル(この説明図には示していないが、図6では、バッフル617として見ることができる)は、この実施形態では、投影706の範囲をレンズ705の大きさの約9倍までに限定するために使用されている。
【0051】
この実施形態では、投影706の区域のごく僅かな割合がセンサ704に重なっていることに注意されたい。この重なりの一部は、開放開口709のレンズから見え(図では見えるが、物理的には必ずしも見えない)、その一部は、閉鎖開口708及び開放開口709のレンズを囲む区域によって遮られている(説明的に)。
【0052】
説明図710は、開口アレイ701の右上の象限からの4つの投影を重ね合わせたものを示している。(分かりやすくするために、説明図710及び720では、MURA3符号化開口アレイ701のみを示している。)右上象限にある開放開口715の4つのレンズは、破線で描かれている。これら4つのレンズからの4つの投影716は、重なり合うグレー区域として示されている。説明図700に示す投影706のような各投影は、そのレンズを囲む開放開口の正方形の約9倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合う投影の数を示すために、各区域は、様々な階調のグレースケールで埋められている。最も明るいグレーは1つの投影を示し、次に暗いものは、2つの投影の重なりを示し、次に暗いものは、3つの投影の重なりを示し、最も暗いものは、4つの投影の重なりを示している。
【0053】
説明図720は、開口アレイ701全体からの16の投影全ての重なりを示している。全ての開放開口725の16のレンズは、破線で描かれている。説明図700に示す投影706のような各投影は、そのレンズを囲む開放開口の正方形の約9倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ704の各区域は、4つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって4つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変化、回折効果、レンズ収差、及び観測される光景にある被写体までの変動する距離のために、図720のグレーの実線で示す投影の境界付近の重なり合う投影は、より少ないか又はより多い場合がある。
【0054】
また、MURA3符号化レンズアレイ701に当たる光の大部分は、センサ704の縁部を超えて投影され、その結果、この光は再構成に使用されないことにも注意されたい。MURA3符号化レンズアレイ701の最右列の区域を無視する場合(この列にある全ての開口は閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなく装置から取り除くことができる)、MURA3開口アレイ701の残りの区域に当たる光の約10.2%(この実施形態では円形レンズを使用しているためであり、代替的な実施形態で正方形のレンズを使用した場合、この数字は、約13%になる)が実際にセンサ704に投影される。従来のf/3.1単レンズは、レンズに当たる光の約10.2%を通し、従って、このMURA3符号化開口アレイカメラの10.2%の光透過性能は、従来のf/3.1レンズに同等のものとして見ることができる。
【0055】
一般的に、f/3.1は、写真用レンズには優れた光透過性能であり、従って、最後の数段落でのMURA3符号化レンズアレイカメラの説明は、潜在的に望ましい特性を有するカメラの特徴を説明したものである。再構成において3×3ピクセルの解像度に限定されている図3及び4に示すようなMURA3符号化開口アレイカメラと違い、図5、6、及び7に示すMURA3符号化レンズアレイカメラは、少なくともMURA3符号化レンズアレイのレンズの各々の回折限界近くまで画像を再構成することができる。例えば、36mmの焦点距離及び53度のFOVを有する12mmのレンズの場合、回折限界内で2000×2000の解像度(4メガピクセル)が達成することができる。
【0056】
先に示す例は、符号化レンズアレイの大きさとして1象限の大きさ(すなわち、各方向の2分の1の大きさ)にほぼ等しいとしてセンサの大きさを示している。これは、典型的な構成であるが、一実施形態では、センサの寸法は、符号化レンズアレイの大きさとは無関係であり、ただし、システムは、センサが符号化レンズアレイの1象限の大きさに一致し、かつ本明細書で説明した符号化レンズカメラ構成のような適切な間隔及び焦点距離を有したとすれば投影されたであろうパターンと同等なパターンを符号化レンズアレイがセンサ上に投影するような方法で構成される。言い換えれば、本明細書に説明した技術を使用した画像の再構成は、センサに対する符号化レンズアレイの特定の構成にではなく、センサ上に投影された光景の画像の重なり合うパターンの構成に依存し、本明細書に説明したものとは異なる符号化レンズアレイの構成がセンサに同様の重なり合うパターンをもたらすことができる場合には、画像の再構成は同じになる。例えば、MURA3パターンの望遠レンズをセンサから遠くに配置するが、各々の光路はセンサ上に投影されるパターンが図7に示すパターンと同じになるような角度に合わせられる場合、画像は、同じく正しく再構成することができる。
【0057】
図5に示すシステムの一実施形態により、再構成プロセッサからの結果として生じる出力533は、カメラのFOV内の光景を表すグレースケール又はカラーピクセルの2次元アレイである。一実施形態では、ピクセルデータは、デジタル変換器を通ってコンピュータ(又は他の画像処理装置)へ転送される。従って、符号化開口カメラの出力は、付属装置には従来のデジタルカメラの出力であるように見える。再構成画像データを転送するデジタルインタフェースは、例えば、「IEEE 1394」(FireWire)インタフェース又は「USB 2.0」インタフェース(これは、現在のスチールカメラ及びビデオカメラの用途に適する)のような必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェースであればよい。勿論、本発明の基本原理は、いかなる特定のデジタルインタフェースにも限定されない。カメラは、再構成画像を撮影者に見せるディスプレイ540(例えば、LCD又はOLEDディスプレイ)を含むことが好ましいが、この実施形態では、表示装置540及びインタフェース533は任意的である。
【0058】
一実施形態によると、カメラは、再構成プロセッサ530を含まない。代替的に、A/D変換器520からのデジタル化された画像データは、インタフェース521を通じて出力バッファに結合され、ここで画像データは、デジタルインタフェースを通じて出力されるようにパケット化され、フォーマット設定される。デジタルインタフェースは、典型的にパーソナルコンピュータのような外部コンピュータ手段に接続され、直ちに処理されて再構成されるか、又は大容量記憶媒体(例えば、磁気又は光ディスク、半導体メモリなど)に記憶されて後で処理及び再構成される。外部コンピュータ装置は、再構成画像を撮影者に見せるディスプレイを有することが好ましい。代替的に又はそれに加えて、デジタルインタフェースは、大容量記憶媒体(例えば、磁気又は光ディスク、半導体メモリなど)に直接接続される。再構成画像データを転送するデジタルインタフェースは、必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェース(例えば、「IEEE 1394」(FireWire)インタフェース又は「USB 2.0」インタフェース)であればよい。
【0059】
符号化レンズアレイパターン構成
本発明の一実施形態によれば、符号化レンズアレイ501は、「修正均一冗長アレイ(MURA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「完全バイナリアレイ(PBA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「均一冗長アレイ(URA)パターンである。また、本発明の更に別の実施形態によれば、符号化レンズアレイ501は、ランダムパターンである(ただし、一般的に、ランダムパターンでは、装置の性能は、MURA、PBA、又はURAの場合ほど最適ではない)。典型的に、基本の開口パターンは、センサと同じ大きさであり、符号化レンズアレイ全体は、この基本の開口パターンの2×2のモザイクになる。アレイの各透明開口は、レンズを含む。3つの例示的なMURAパターン及び1つのPBAパターンを図2に示している。MURA101は、101×101の要素のパターンであり、MURA61は、61×61の要素のパターンであり、MURA31は、31×31の要素のパターンである。PBA8は、8×8の要素のパターンであり、PBA24は、24×24の要素のパターンである。PBAパターンは、MURAパターンに比べて拡大して示している。各パターンでは、各黒い区域が不透明であり、各白い区域が透明であって(開放)レンズを含む。
【0060】
符号化レンズアレイの製造
一実施形態では、符号化開口は、スイスの「Suss Micro−optics of Neuchatel」が製造するようなマイクロレンズアレイから成る。マイクロレンズアレイは、典型的に直線又は六角形の格子で製造された典型的に平凸レンズのアレイである。一実施形態では、マイクロレンズアレイは、レンズを格子の各位置に備える符号化レンズアレイに使用されるが、「閉鎖」開口位置にあるこれらのレンズは、不透明の塗料を塗装されるか、又は「閉鎖」開口位置に不透明材料が平板印刷で被覆されるであろう。
【0061】
別の実施形態では、マイクロレンズアレイは、符号化レンズアレイの「開放」開口の位置のレンズのみで製造される。符号化レンズアレイの「閉鎖」開口位置は、不透明塗料を塗装されるか、又は不透明材料が「閉鎖」開口位置に平板印刷で被覆されるであろう。
【0062】
バッフル、カメラのFOV、及び光減衰
本発明により、符号化レンズアレイとセンサ面の間の距離は、個々のレンズの投影の各々について焦点が合うように選択される。無限遠にある被写体を撮像するには、センサ面は、レンズの焦点面に配置される。有限距離にある被写体を撮像するには、センサ面はレンズの焦点面よりも僅かに後ろに配置され、望ましい距離で焦点を合わせる。符号化開口結像の場合と異なり、符号化レンズアレイとセンサ面の間の距離は、従って、任意に選択されてはならず、焦点距離、結像面からセンサ面までの距離、及び結像される被写体の距離の間の制約は守られるべきである。
【0063】
このカメラの一実施形態は、FOV(FOV)を完全符号化FOV(FCFOV)に限定する技術を用いる。代替的に、FOVを限定する技術は、FOVがFCFOVよりも僅かに大きくなるような、すなわち、FOVがFCFOVに部分符号化FOV(PCFOV)の小部分を加えて構成されるような寸法にすることができる。このようにして、符号化レンズカメラのFOVは、画質の非常に軽微な劣化だけを犠牲にして増大することができる。
【0064】
一実施形態によれば、FOVの限定は、光線が符号化レンズアレイを通過してセンサに到達することができる最大角度を限定するためにレンズの前又は背部にバッフルを配置することにより達成される。
【0065】
バッフルの長さにより、FOVの大きさが判断されることに注意されたい。バッフルが長くなる時に、符号化レンズカメラのFOVは狭くなる。
【0066】
図8は、MURA3符号化レンズカメラのレンズの各々の投影されたFOVの側面図を示している。この例では、バッフル801は、レンズ802の背部、すなわち、センサ804に面したレンズの側に配置される。しかし、バッフルは、レンズの前、すなわち、光景に面したレンズの側に配置することも可能であることに注意すべきである。
【0067】
しかし、バッフルをレンズの背部に配置することは、このレンズシステムの射出瞳803がセンサ面の方へより近く移動されるという利点を有する。このように、各レンズにより起こる回折パターンの大きさは縮小され、それによって撮像システム全体の実現可能な解像度が増大する。
【0068】
更に、図8は、レンズの縁部を通過して反対側のバッフルの縁部の側ぎりぎりを通る周囲光線805によって各レンズのFOVが判断される方法を示している。lは、バッフルの長さを示し(図8では、l=18mm)、更に、dは、単レンズの直径を示している。この時、図8から分るように、視野角αは、以下のように与えられる。
tanα/2=d/l、又は
α=2atan(d/l)
【0069】
d=12mm及びl=18mmである図8に示す例では、視野角α=67.38°という結果になる。
【0070】
図8の右側の説明図810は、個々のレンズにより生じる投影がセンサ面で重なる方法を示している。各レンズは、同じ視野角を有する。しかし、レンズが互いに変位しているために、有限距離の被写体には視差が生じる。従って、全体的な撮像システムの視野は、個々のレンズの視野とほぼ同じであるが、有限距離の被写体については、この視差の影響により僅かに大きくなる場合がある。
【0071】
図8は、レンズが揃った列を示していることに注意すべきである。しかし、符号化レンズ撮像システムでは、各列の位置の一部は、いかなるレンズも含まずに塞がれることになる。図は、説明のために、レンズが揃った列を示しているに過ぎない。符号化レンズアレイのレンズの様々な列は、様々な位置にレンズを含む。一般的に、各位置は、少なくとも1つの列にレンズを含むために、視野全体は、図8に示すようになる可能性がある。
【0072】
バッフルを使用すると、光軸と並行に符号化レンズアレイを通過する光が減衰されない。しかし、光軸に対してある角度をなして符号化レンズアレイを通過する光は、バッフルにより一部遮られる。
【0073】
その結果、符号化レンズカメラで光景を撮像して再構成した後は、カメラの感度は、バッフルの減衰により、FOVの縁部(光軸に対してよりも大きい角度)よりもFOVの中心(光軸と並行な光)で高くなる。従って、一定の強度プロフィールの表面を撮像する場合、再構成は、画像の中心で明るく、縁部に向って徐々に暗くなる。従って、本発明の一実施形態では、再構成画像の各ピクセルに、ピクセルが受けたバッフルの減衰の逆数を掛けることにより、バッフルの減衰を補正する。バッフルの減衰は、レンズとバッフルの配置から公知である。このようにして、ノイズがない場合には、一定の強度プロフィールの表面は、一定の強度プロフィールの画像に再構成される。
【0074】
しかし、バッフルの減衰を逆転させることは、再構成の中のノイズを信号と同じ率で増幅させることにもなることに注意すべきである。従って、再構成画像のSN比(SNR)は、画像の中心で最も高く、画像の縁部に向って減少し、FOVの縁部でゼロの値になる。
【0075】
本発明の一実施形態により、この問題は、再構成画像の中心領域のみを使用し、再構成画像の周囲部を捨てることにより緩和される。別の実施形態により、この問題は、更に、再構成画像の周囲部の画像データにノイズ低減平滑化フィルタを利用することにより緩和される。
【0076】
文献から、ウィーナーフィルタは、ウィーナーフィルタに対する入力信号のSN比が既知であることを考えると、最適なノイズ低減平滑化フィルタであることが公知である。符号化レンズカメラの再構成画像では、SN比は、画像の全域で変化する。SNRは、再構成画像の各ピクセル又は各領域に関して既知である。一実施形態により、ノイズ低減は、既知のSNR変化により再構成画像の各ピクセル又は各領域によって変化するフィルタの特性と共に、局所的なウィーナーフィルタリング演算を利用することにより行われる。
【0077】
符号化レンズアレイのDOF
全ての光景の被写体の距離で焦点が合った画像を投影する符号化開口カメラとは違い、符号化レンズカメラは、符号化レンズアレイのレンズの焦点の制限を受ける。一般的に、従来の単レンズカメラでは、カメラの被写界深度(DOF)(すなわち、近い焦点から遠い焦点までの範囲)は、カメラの集光機能に反比例する。これは、レンズの開口を狭めてセンサに達する光景からの光を低減することにより、典型的にDOFが増大するからである。
【0078】
符号化レンズカメラは、焦点の制限を有するが、従来の単レンズカメラに優る符号化レンズカメラの第1の利点は、DOFを増大させるために有効レンズ口径を狭める時、光景からセンサに到達する光の量が実質的に減少しないということである。
【0079】
次のことを考慮する:すなわち、符号化レンズアレイは、典型的に、約50%のレンズを備えた透明開口と、50%の不透明開口とを有し、従って、典型的に光景からの光の50%が、符号化レンズ開口を通過する。符号化レンズアレイの重なり合う投影は、一般的にセンサ区域の4倍の区域の上に投影し、従って、投影された光の約25%がセンサに当たる。そこで、全体では、一般的に符号化レンズアレイに入射する光景からの光の25%*50%=12.5%がセンサに到達する。(勿論、正方形のレンズの代わりに円形のレンズを使用すること、バッフル、レンズの欠陥、及び収差からの減衰により、より少ない光が通過する場合があり、また、所定の開口パターンが閉鎖開口よりも多くの開放開口を有することがあるために、よりも多くの光が通過する場合もあるが、幾何学的には、12.5%は、50%の開放開口を有する正方形の開口の平均的な光の透過を表し、符号化レンズシステムに関する合理的な概算である。)12.5%の光透過率は、単レンズのf/2.8口径(12.7%の光透過率を有する)とほぼ等しい。
【0080】
典型的な単レンズシステムでは、f/2.8口径は、非常に広い口径の設定である。50mmのレンズでは、f/2.8は、17.9mmの口径に相当する。50mmレンズを備えた「Nikon D100」6メガピクセルカメラについて考える。25’(25フィート)の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約21.3’であり、遠い焦点の限界は、約30.2’である(全DOFは、30.2’−21.3’=8.82’)。(注:焦点の限界は、主観的なものであり、撮影者毎に変わるが、この段落で考える様々な状況には同じ基準を用いており、従って、結果は、互いに相対的なものと考えることができる。これらの計算は、http://www.dofmaster.com/dofjs.htmlにある被写界深度オンライン計算器を用いて行った。)近い焦点よりも近いか又は遠い焦点よりも遠くの光景にある被写体は、鮮明さが減少することがある。8.82’は、浅いDOFであるが、f/2.8設定は、光景からの光の約12.7%を通す。
【0081】
次に、50mmレンズを備えた同じ「Nikon D100」にf/16の設定を考える。この時、口径は、僅かに3.1mmであり、光景からの光の僅か0.4%がセンサに到達する。25’の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約13’、遠い焦点の限界は約805’である。従って、13’から805’までの光景の中の全ての焦点が合う792’のDOFになる。明らかに、これは、f/2.8における8.82’のDOFからDOFが著しく改善している。しかし、これは、光透過率を著しく犠牲にすることになり、f/16は、f/2.8により透過される光の0.4%/12.7%=3%を通すにすぎず、従って、これは、非常に明るい光景に使用することしかできない。
【0082】
同じ「Nikon D100」であるが、従来の50mm単レンズを使用する代わりに50mm四方のPBA8符号化レンズアレイを使用し、同じく25’の距離にある被写体に焦点を合わせたものを考える。図2に示すPBA8パターンは、レンズをPBA8の各透明(すなわち、白色として示す)開口に配置して利用される。PBA8は、16×16の開口アレイであり、この実施形態では各辺の長さが50mmであるために、各レンズの直径は、約3.1mmになり、これは、f/16まで絞った従来の50mm単レンズとほぼ同じ直径である。その結果、PBA8符号化レンズアレイのDOFは、f/16まで絞った従来の50mmレンズのDOFと大体同じになる。しかし、符号化レンズアレイは光景からの光の約12.5%を透過するために、光透過率は、f/2.8と同様である。従って、この符号化レンズアレイの実施形態は、f/2.8の従来のレンズの光透過率特性を備えたf/16の従来のレンズに同等のDOFを有する。
【0083】
別の実施形態では、前の段落に説明した同じ符号化レンズアレイを「Nikon D100」カメラで使用するが、この符号化レンズアレイは、25’ではなく26’の距離にある被写体に焦点を合わせる。この場合、近い焦点の限界は、12.9’であり、遠い焦点の限界は無限である。ある距離から無限までの全ての焦点が合うために、符号化レンズアレイは、焦点距離を「過焦点距離」に設定した「過焦点レンズ」として機能している。この構成は、光景の被写体の全てが少なくとも12.9’離れている一定の用途に有用であり、次に、符号化レンズアレイのレンズは、固定焦点に設定することができ、調節する必要がない。光景の被写体が12.9’よりも僅かに近い場合でも、それは、依然として有用に撮像することができることに注意されたい。それは、単に、最高の解像度では取り込まれことにならず、被写体が12.9’よりも近づき続ける時に、次第にぼやけていく(すなわち、低解像度になる)。従って、12.9’よりも近い被写体に対して高解像度を要求する用途では、符号化レンズアレイのレンズの焦点を合わせる手段が必要になることになる。
【0084】
符号化レンズアレイの収差補正及び焦点合わせ
説明を分かりやすくするために、図の大部分に示す符号化レンズアレイは、各透明開口にただ1つのレンズ要素を有する。これは、一部の用途には十分であると考えられるが、幾何学歪み、コマ、及び色収差のような画像収差を補正するために複数のレンズ要素を使用することが好ましい用途もある。一世紀にわたってレンズ業界全体は、多要素レンズを設計することに専念してレンズの収差問題に対処してきたが、この従来技術の研究の莫大な文献については、本明細書で繰り返さない。あえて言うならば、一般的に、写真品質の撮像には、3つ又はそれ以上の要素が必要であり、更に、一般的に、カメラが固定焦点ではない場合は、焦点を合わせるために、これらの要素のうちの1つ又はそれよりも多くを光軸上で前後に移動させる必要がある。このような前後の動きは、レンズの一部又は全部を囲むカラーを回転させる回転機構によって行われることが多く、カラーは、次に、レンズ要素の1つ又はそれよりも多くを光軸にそって移動させるネジ山に係合する。
【0085】
図14は、3つの要素のレンズを備えた符号化レンズアレイの側面図を示している。図示のレンズ形状は、単に説明のためのものであり、実際のレンズ形状には、膨大な数の従来技術の写真レンズ設計を用い、かつ望ましい光学特性により変動する。各開口は、1つ又はそれよりも多くの同心円筒内のスタックにこのような3つのレンズを有する。バッフルは、投影のFOVを限定するために、最後のレンズの背後でセンサの方へ張り出すであろう。各開口位置は、この図では、レンズのスタックを含んで示されていることに注意されたい。実際には、不透明開口は、レンズを含まないか、又は光を通過させないように覆われている。
【0086】
図15は、符号化レンズアレイ内の中心が中空になった歯車の配置を示し、各歯車は、レンズの周りを回転しているか(その位置が透明開口の場合)、又はレンズのない不透明開口の上で回転している。(説明のために、隣接する歯車の歯は、互いに接触していないが、実際には、これらは、通常互いに緊密に嵌っているであろう。)歯車1501は、手動で制御されるか、又は自動焦点機構により制御される電動機の軸に連結される。電動機が回転すると、歯車1501を回転させ、次に、この回転運動を符号化レンズアレイの全歯車に伝える。一例として、歯車1501が時計回りに回転する場合、これは、次に、歯車1502を反時計回りに回転させ、その後、歯車1503及び1504を共に時計回りに回転させ、次に、歯車1503及び1504が共に歯車1505を反時計回りに回転させる。この例を拡張すると、歯車1501の動きにより、各々の水平方向又は垂直方向にある次に続く歯車が反対方向に回転し、符号化レンズアレイ内の歯車の全てを回転させることが公知である。
【0087】
図16は、図15に示す歯車システムを利用した3要素符号化レンズアレイの側面図を示している。説明のために、全てのレンズアレイ位置にレンズを付けて示している。実際には、不透明レンズアレイ位置にはレンズがなく、その開口は光を遮るように閉鎖されている。この実施形態では、各レンズアレイ位置には、2つの固定レンズ1601及び1602と、光軸に沿って前後に移動する1つのレンズ1603とを有する。
【0088】
電動機1620は、手動又は自動焦点手段によって作動され、これが歯車1621を回転させ、次に、この歯車は、図15で上述のように、図16の歯車1604を含む符号化レンズアレイの他の歯車を移動させる。歯車1604は、中空シリンダ1605を回転させ、これが、次に、レンズ1603が入った中空シリンダ1606を移動させる。中空シリンダ1606は、光軸に沿って前後に(図16では左右に)移動することができるような方法で中空シリンダ1605と連結されている。中空シリンダ1606は、その外面にネジ山1607を有し、このネジ山は、構造体1609に固定されたピン1608のようなピンを切れ込みで固定する。中空シリンダ1606が回転すると、ネジ山1607により、このシリンダは、光軸に沿って前後に移動する。
【0089】
図15で分るように、符号化レンズアレイ内の各次の歯車は、反対方向に回転する。その結果、レンズが入った各次の中空シリンダには、反対の傾斜のネジ山を付けられ、例えば、ねじ山1610は、ネジ山1607の反対の傾斜を有する。このようにして、レンズアレイの真ん中のレンズは、互いの歯車位置が反対方向に回転しているという事実にも関わらず、電動機1620が歯車1621を作動させると、全て同じ方向に動く。
【0090】
この実施形態では、レンズアレイ機構を保持するこの同じ構造体1609は、レンズの背後に延びてバッフルを形成する。このような構造体1609は、アルミニウムのような金属、プラスチック、又は他の十分に頑丈であるが遮光性の材料で作ることができる。図16は側面図を示すが、実際には、バッフルは、各透明開口の周囲を囲むボックスを形成し、センサ1630の上に投影する各レンズスタックからの投影のFOVを限定する働きをすることに注意されたい。
【0091】
センサピクセルの大きさ及びレンズの大きさ
センサピクセルの大きさと開口要素の大きさが典型的に同じ大きさになるように選択された符号化開口の撮像と異なり、符号化レンズの撮像では、個々のレンズは、センサピクセルの大きさよりも遥かに大きくすることができる。
【0092】
一実施形態では、センサピクセルの大きさは、符号化レンズアレイの解像度と同じマグニチュードになるように選択される。この解像度は、個々のレンズの回折パターンに依存するということに注意すべきである。センサピクセルの大きさが回折パターンの大きさよりもかなり大きく選択された場合、撮像システムの解像度が無駄になる。他方では、センサピクセルの大きさが回折パターンの大きさよりもかなり小さく選択された場合、付加的な使用可能な情報は何も得られない。
【0093】
レンズの大きさの選択に関しては、回折パターンと達成可能なDOFとの兼ね合いがあることに注意すべきである。小さいレンズが選択される時に、回折パターンは、より大きく、DOFはより深くなる。しかし、特定の用途の解像度とDOFとの最良の妥協点を獲得するために、レンズの大きさの選択に自由度があるということに注意することが重要である。しかし、符号化開口の撮像には、この自由度が存在しない。それどころか、符号化開口の撮像では、センサピクセルの大きさと開口要素の大きさとは、大体同じであるように強いられる。
【0094】
カメラセンサ及びセンサ出力の調節
一実施形態によると、図5のセンサ504は、CCDセンサである。より具体的には、「バイエル」パターンの別名でも公知のカラーフィルタアレイ(CFA)を使用するカラーCCDセンサが、カラー撮像のために使用されている。CFAは、各センサのピクセルの前に配置された赤、緑、及び青色のフィルタのモザイクパターンであり、各センサのピクセルが、3つの色平面を読み取ることを可能にする(モノクロCCDセンサに比べて減少した空間解像度で)。図9は、例示的なRGB「バイエルパターン」を示している。各ピクセルクラスター900は、4ピクセル901〜904から成り、各ピクセル上に緑(G)、赤(R)、又は青(B)色のカラーフィルタを有する。「バイエル」パターンの各ピクセルクラスターは、2つの緑色のピクセル(901及び904)と、1つの赤色のピクセル(902)と、1つの青色のピクセル(903)とを有することに注意されたい。ピクセルクラスターは、一般的に、密に詰まってCFA全体を作り出すアレイ905になっている。しかし、本発明の基本原理は、「バイエル」パターンに限定されないことに注意すべきである。
【0095】
代替的な実施形態では、多層カラー画像センサを使用する。カラーセンサは、画像センサの半導体材料の後続層が様々な周波数の光を吸収すると同時に、他の周波数の光を透過させるという事実を利用することにより、カラーフィルタなしで達成することができる。例えば、カリフォルニア州サンタクララの「Foveon、Inc.」は、この多層構造を有する「Foveon X3」画像センサを販売している。これは、図10に示しており、図中、半導体層1001は、青色に反応するピクセルのアレイであり、層1002は、緑色に反応するピクセルのアレイであり、層1003は、赤色に反応するピクセルである。信号は、これらの層から個々に読み取られ、様々な色平面を取り込むことができる。この方法は、色平面間に空間移動がないという利点を有する。例えば、ピクセル1011〜1013は、互いの上に直接付着しており、赤、緑、及び青の値は、これらの間で水平又は垂直の空間移動がない。
【0096】
本発明の一実施形態によると、3つのRGB色平面の各々は、カラー画像センサ(CFA又は多層)から読み取られ、個々に再構成される。一実施形態では、以下に詳細を説明する再構成アルゴリズムが、3つの色平面の各々に1つずつ使用され、再構成画像の3つの別々の色平面を生成する。これらは、その後1つのRGBカラー画像に結合することができる。
【0097】
図11aに示すように、画像センサ1101のアナログ出力信号は、デジタル画像の再構成及び後処理を可能にするためにアナログ−デジタル変換器(A/D)によってデジタル化される。A/D1104の最大のダイナミックレンジを有効に使用するために、センサの出力は、A/Dに送り込まれる前にまずオペアンプ1100により増幅される。オペアンプ1100は、画像センサ1101の出力信号に一定のゼロオフセットz(1102)及び利得g(1103)を適用する。A/D1104への入力信号は、sを画像センサ1101の出力信号とすると、s’=g(s−z)になる。一実施形態では、オフセット1102及び利得1103は、A/Dの最大のダイナミックレンジを有効に使えるように、すなわち、可能な最低のセンサ信号値sminがゼロに相当し、可能な最高のセンサ信号値smaxが、A/D1104が飽和状態になることなくA/Dの入力信号に許容された最大に相当するように選択される。
【0098】
図12は、得られたシステムの特性を表している。上述のように、光景のダイナミックレンジは、符号化レンズの撮像により圧縮され、従って、ゼロオフセット及び利得は、単レンズを用いる従来の撮像よりも高くなる場合があるということに注意されたい。一実施形態では、ゼロオフセット及び利得は、図11bの流れ図に示す以下の組の作動に従って符号化レンズカメラにより最適な方法で自動的に選択される。
【0099】
1110において、初期ゼロオフセットを可能な最大のゼロオフセットとして選択し、このゼロオフセットに対して比較的大きい初期ステップサイズを選択する。1111において、初期利得を可能な最大の利得として選択し、比較的大きい初期ステップサイズをその利得に対して選択する。
【0100】
1112において、現在の設定を用いて画像を取得し、1113において、A/D出力にゼロ値を有するピクセルがあるか否かを判断する。ゼロ値を有するピクセルがある場合には、1114において、現在のゼロオフセットから現在のゼロオフセットのステップサイズを差し引き、処理は、段階1112に戻る。
【0101】
そうでなければ、ゼロ値を有するピクセルがない場合には、1115において、現在のゼロオフセットのステップサイズが最小限のステップサイズであるか否かを検査する。そうでない場合には、1116aにおいて、可能な最大のゼロオフセットを超えないようにしながら、現在のゼロオフセットのステップサイズを現在のゼロオフセットに加える。現在のゼロオフセットのステップサイズは、その後、1116bにおいて縮小され(例えば、10分割することにより)、処理は、1112に戻る。
【0102】
そうでなければ、段階1117において、現在の設定を用いて画像を取得する。1118において、A/D出力に最大出力値(例えば、8ビットのA/Dで255)を有するピクセルがあるか否かに関して判断を行う。最大値を有するピクセルがある場合には、現在の利得のステップサイズを1119において現在の利得から差し引き、処理は1117に戻る。
【0103】
そうでなければ、1120において、現在の利得のステップサイズが最小限のステップサイズであるか否かに関して判断する。そうでない場合は、1121aにおいて、可能な最大の利得を超えないようにしながら、現在の利得のステップサイズを現在の利得に加える。現在の利得のステップサイズは、次に、1121bにおいて縮小され(例えば、10分割することにより)、処理は、1117に戻る。そうでなければ、処理は、現在のゼロオフセット及び利得の設定で終了する。
【0104】
再構成アルゴリズムを利用する前に、ゼロオフセット及び利得の影響を逆転させるべきである。一実施形態では、これは、A/D出力信号s”から補正センサ信号s*をデジタル処理で計算することにより行われ、ここで、s”は、A/Dの入力信号s’に対するA/Dの出力であり、s*=s”/g+zである。オペアンプ1100にノイズがなく、量子化誤差がない場合には、s*は、元のアナログセンサの出力信号sに等しくなるということに注意されたい。
【0105】
符号化レンズの撮像では、各センサのピクセルは、光景の別々のピクセルから発せられ、符号化レンズアレイ内の別々のレンズを通ってセンサのピクセルに到達した光に露出される。符号化レンズの撮像に使用される再構成アルゴリズムは、センサ画像が、各個々のレンズがセンサ上に投影した全てのセンサ画像の線形和であると仮定する。従って、一実施形態では、センサの出力信号sは、露光時間中に各センサのピクセルに当たる光子の数pの正確に線形関数である。各センサのピクセルの実際の光子の数からセンサの出力信号の従属関係を説明する関数は、「伝達特性」と呼ばれている。CCD画像センサは、広範囲の強度で線形の伝達特性を有し、一方、CMOS画像センサは、対数の伝達特性を有する。典型的なCMOS及びCCD画像センサの伝達特性を示すグラフを図13に示している。センサの伝達特性s=f(p)が分ると、ルックアップテーブルによってこれを補うことができる。すなわち、LUTがセンサの伝達特性の非線形作用を補うルックアップテーブルである時、再構成に値s*を使用する代わりに、値LUT(s*)=LUT(s”/g+z)を使用する。上述の演算を完了した状態で、調節されたセンサ画像は、画像再構成のためにカメラのDSP、ASIC、又は他のタイプの画像再構成プロセッサ530に保存される。
【0106】
符号化レンズの写真撮影では、センサ信号のダイナミックレンジは、撮像される光景のダイナミックレンジとは異なる場合があることに注意すべきである。各センサのピクセルがFOVにわたって複数の光景のピクセルに露出されているために、符号化レンズアレイは、強度プロフィールの範囲に平均的影響を与える。高ダイナミックレンジを有する光景(例えば、暗い前景の被写体と明るい背景の被写体)でも、低ダイナミックレンジを有するセンサ信号を作り出す。画像再構成の処理では、元の光景のダイナミックレンジは、画像センサのダイナミックレンジとは無関係に再構成される。更に、正確には、画像センサの限定されたダイナミックレンジ(量子化ビットの有限数)は、量子化誤差につながり、これがセンサ画像にノイズとして形に表れる場合がある。この量子化ノイズはまた、再構成のノイズの原因になる。このノイズは、上述のように再構成画像の縁部近くでより顕著になるが、これは、バッフルの減衰を補正するためにこれらの区域に高い乗数を付加する必要があるからである。その結果、低ダイナミックレンジを有する画像センサで強度プロフィールの高ダイナミックレンジを有する光景を撮像することにより、再構成画像をよりノイズが多いが、低ダイナミックレンジではないものにする。これは、画像センサのダイナミックレンジが撮像可能な光景の最大ダイナミックレンジを直接限定する従来の単レンズの写真撮影と対照的である。
【0107】
光景の再構成
以下の演算の組は、本発明の一実施形態では、上述のように取り込まれて調節されたセンサ画像から光景を再構成するために用いられる。Gottesmanによれば、MURAレンズアレイは、次のように組み立てられる。最初に、pを奇素数とする時、長さpのルジャンドル数列を考える。i=0,1,...,p−1とする時、ルジャンドル数列l(i)は、次のように定められる。
l(0)=0、
l(i)=+1、あらゆるk=1,2,...,P−1に対して、k2 mod p=lの関係が満たされる場合、
l(i)=−1、それ以外の場合。
次に、サイズp×pのMURAであるa(i,j)は、次のように求められる。
a(0,j)=0、j=0,1,...,p−1の場合、
a(i,0)=1、i=1,2,...,p−1の場合、
a(i,j)=(l(i)*l(j)+1)/2、i=1,2,...,p−1及びj=1,2,...,p−1の場合。
【0108】
このMURAアレイでは、1は、レンズを表し、0は、符号化レンズアレイ内の不透明要素を表している。このMURAの単一周期のレンズの数は、K=(p2−1)/2である。このMURAに関連する周期的逆フィルタg(i,j)は、次のように求められる。
g(0,0)=+1/K、
g(i,j)=(2a(i,j)−1)/K、i>0又はj>0の場合。
【0109】
a(i,j)とg(i,j)の間の周期的な相互相関関数phi(n,m)は、n=0及びm=0に対して1、他の場合は0であることが公知である。従って、MURAに関連する周期的逆フィルタは、一定のオフセット及び一定の倍率を除き、また元のMURAに対して反転されたただ1つの要素を除いて、MURA自体と同じ構造を有する。図2は、様々な大きさのMURAレンズアレイパターンを示している。
【0110】
同様の方法で、BusboomによるPBAをレンズアレイとして使用することができる。この周期的逆フィルタは、一定のオフセット及び一定の倍率を除いて、PBA自体と厳密に同じ構造を有する。PBAを発生する公式及びアルゴリズムは、A.Busboom著「ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR」、「VDI Verlag」、Duesseldorf、1999年、ISBN3−18−157210−9、52〜56ページに見つけることができる。次数8及び24のPBAは、図2に示している。これらは、MURAパターンに比べて拡大されている。
【0111】
一定の距離にある被写体を符号化レンズアレイで撮像する時、センサ画像は、その符号化レンズアレイに関する被写体の関数の周期的な相互相関関数により、上述のように幾何学倍率fにより拡大されて求められる。元の被写体を再構成するために、周期的逆フィルタを適切に拡大したものを用いて測定されたセンサ画像の周期的な相互相関関数を計算する。測定されたセンサ画像にノイズ及び他の誤りがない場合には、結果は、元の被写体の関数と等しくなる。
【0112】
逆フィルタリングを行うことは、次に、以下の演算の組から成る。
1.符号化レンズアレイパターンに関連する周期的逆フィルタを計算する。
2.逆フィルタの2つの隣接する要素間の距離がセンサ面における2つの隣接するレンズの光景の投影の隔離距離と等しくなるように、逆フィルタを幾何学的に拡大したものを計算する。逆フィルタを拡大したものは、2つのフィルタ要素間の全ての値をゼロで埋め、フィルタ要素が非ゼロのピークを表し、各々が単一ピクセルの大きさを有するようにして、センサの解像度によって再サンプリングされる。本発明の一実施形態によると、2つの隣接するレンズの投影間の距離がピクセルサイズの整数の倍数である場合には、逆フィルタを拡大したものを計算するために、信号処理から公知である標準的な補間法を用いる。この場合、各フィルタ要素は、1ピクセルよりも多くに広がる場合がある。2つの隣接するレンズの投影間の隔離距離は、符号化レンズカメラからの被写体の距離により変化することに注意すべきである。従って、様々な距離の被写体を再構成するために、様々な逆フィルタが使用される場合がある。
3.段階(2)に従ってセンサの解像度に対して再サンプリングされたセンサ画像と逆フィルタの間の2次元周期的相互相関関数を計算する。
4.3.の結果の各ピクセルをK、すなわち、MURA又はPBA又は他のレンズアレイパターンの単一周期内のレンズの数で割る。
【0113】
既知の距離に1つの被写体を有する光景の再構成
上述のように、一実施形態では、センサ信号からの光景の再構成は、カメラに内蔵されたデジタル信号プロセッサ(DSP)(例えば、DSP132)又はカメラ外部のコンピュータ装置で行われる。一実施形態では、光景の再構成は、以下の演算シーケンスから成る。
1.センサの出力信号の伝達特性を線形にし、各センサの線形にされた出力信号がセンサのピクセル毎に数えられた光子の数に比例するようにする。
2.符号化レンズアレイに関連する適切に拡大された周期的な逆フィルタとセンサ信号を周期的に相関付ける。
3.その結果を負でないピクセル値まで低減する。
4.適切な増幅係数で各ピクセルを拡大することにより、バッフルの減衰を補正する。
5.任意的に、(4)の間に結果の中央部分よりもノイズ増幅を受けやすい結果の軸外部分を平滑化する。
【0114】
開口アレイがMURAである場合には、演算(2)の逆フィルタリングは、一連の2つの1次元フィルタ演算に分解することができ、その一方は、画像の横列毎に行われ、他方は、画像の縦列毎に行われるということに注意すべきである。この分解は、大きいアレイ次数の場合に(2)の計算の複雑性を軽減することができる。
【0115】
図17aは、前の段落で説明した手順を用いた既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示している。この例では、レンズアレイ(1700)に3×3のMURAパターンを使用した。アレイの2つの隣接するレンズ間の距離(ピッチ)は、3mmであった。各々のレンズは、5mmの焦点距離を有しており、これは、レンズアレイとセンサの間の距離でもあった。センサは、30×30umの正方形のピクセルを有する10×10mmのセンサであった。光景1701は、307×307ピクセルの平坦な(2次元の)テストパターンである。これは、3×3要素のMURAレンズアレイ1700を通って画像センサに投影され、センサ画像1711になる。センサ画像1711は、上述の処理によって調節されて再構成され、再構成1721になる。再構成1721の最端コーナ1730は、正確に再構成されていないことに注意されたい。これは、画像の最縁部でバッフルを通って投影中に光が減衰することによる。同様に、単調な307×307ピクセルの画像1702は、レンズアレイ1700を通して投影されてセンサ画像1712になり、処理されて再構成1722になる。同様に、単調な307×307ピクセルの画像1703は、レンズアレイ1700から投影されてセンサ画像1713になり、処理されて再構成1723になる。
【0116】
図17bは、図17aと同様の3つの例を示している。しかし、図17bでは、レンズアレイパターン(1750)として、24×24PBAパターンを使用した。レンズは、0.39mmのピッチを有し、レンズアレイの全体の大きさが図17aのものと同様になるようにしたものである(図17bでは、18.72×18.72mm及び図17aでは、18×18mm)。図17aの例と同じセンサを使用した。レンズは、この場合も5mmの焦点距離であった。光景1701は、24×24要素のPBAレンズアレイ1750を通って画像センサに投影され、センサ画像1731になる。センサ画像1731は、上述の処理によって調節されて再構成され、再構成1741になる。同様に、単調な307×307ピクセルの画像1702は、レンズアレイ1750から投影されてセンサ画像1732になり、処理されて再構成1742になる。同様に、単調な307×307ピクセルの画像1703は、レンズアレイ1750から投影されてセンサ画像1733になり、処理されて再構成1743になる。2つの例のセンサ画像(1171〜1713及び1731〜1733)から、レンズアレイの次数を増すと、センサ画像のコントラストが下がるということを観察することができる。図17bのセンサ画像1731〜1733では、もはや元の光景の詳細は認識できない。しかし、再構成画像1741〜1743から分るように、このセンサ画像は、同じく元の光景を再構成するために必要なあらゆる情報を含んでいる。
【0117】
上述のように、センサ画像1711〜1713及び1731〜1733は、1ピクセル当たり所定のビット数(例えば、8)で量子化することができるが、再構成画像1721〜1723及び1741〜1743に、1ピクセル当たりのより高いビット数(例えば、10)に同等の有用なダイナミックレンジ有する画像を生じる場合があることが分る。
【0118】
未知の距離に1つの被写体を有する光景の再構成
一実施形態では、正確な被写体の距離が不明確であるか又は未知である時に、「既知の距離に1つの被写体を有する光景の再構成」の節で説明した演算シーケンスのうちの演算(2)が、様々な予想される被写体の距離oで繰り返される。この技術により、同じセンサ信号から1組の複数の再構成が得られる。この再構成の組の中で、予想される被写体の距離が本当の被写体の距離と一致するか又はこれに最も近いものが、実際の光景の最も厳密な再構成になり、予想される距離と本当の距離とが一致しない再構成は、アーチファクトを含むことになる。これらのアーチファクトは、再構成の中で横線又は縦線の模様のような高周波アーチファクト、又は再構成の縁部付近の共鳴アーチファクトとして見られる。
【0119】
本発明の一実施形態によると、この再構成の組のうちから手動又は自動でアーチファクトが最も少ない再構成を選択する。それによって予めカメラの焦点を合わせる必要がなく、また、特に従来の単レンズカメラでは必要であったようなカメラの一部を機械的に移動させる、すなわち、予想される被写体の距離を予め選択する必要がなく、再構成の距離を変更することができる。更に、それによってユーザは、画像を取得した後に(すなわち、遡及的に)再構成の望ましい距離を判断することができるようになる。好ましくは、再構成の距離は、最も少ない量の高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成を識別することにより、再構成の組から自動的に選択される。
【0120】
符号化レンズカメラの「焦点を合わせる」ため、すなわち、1組の再構成画像から正確な距離を判断するための単純であるが非常に有効な基準は、各再構成の濃淡値の平均m及び標準偏差σを計算することである。更に、各再構成に対して比率m/σを計算する。この比率が最大値になる再構成が、最適な再構成として、すなわち、「焦点が合った」再構成として選択される。光景の被写体の焦点が個々の投影の各々で合っている場合、この技術は、最善の結果をもたらす。
【0121】
図18は、光景が1組の様々な距離で再構成される方法を示している。図18の生成には、図17bと同様のシステムの再構成を用い、すなわち、24×24PBAパターンを投影に使用した。元の光景は、1,000mmの距離で撮像された図17bからの試験画像1701であった。再構成は、500mm(1801)、800mm(1802)、1,000mm(1803)、及び5,000mm(1804)の仮定距離で結果として生じたセンサ画像から計算された。図では、1,000mmの正しい距離の左下隅の再構成が「鮮明」であるように見え、他の距離の再構成は、非常に強い高周波アーチファクトを含むことが明確に分る。図18はまた、4つの再構成の各々の濃淡値の標準偏差(stddev)を示している。更に、図18は、4つの再構成の各々について、濃淡値標準偏差で割った濃淡値平均の商(m/s)を示している。この値は、500mmの仮定距離における0.0977に始まり、その後、連続的に増大して1,000mmの正しい距離で2.0の最大値になり、その後、連続的に減少して5,000mmの仮定距離で0.1075の値に到達する。この例は、商m/sが最大値になる再構成を選択することにより、光景の本当の距離を1組の再構成から容易に計算することができる方法を示している。
【0122】
未知の距離にある1つの被写体を有する光景の再構成の最適化
一実施形態によると、様々な予想される被写体距離oを用い、画像の一部の部分的再構成のみを計算する。部分的再構成は、再構成画像の全てのピクセルの部分集合について、単に「既知の距離に1つの被写体を有する光景の再構成」の節の演算(2)の周期的な相互相関関数を求めることによって計算され、従って、再構成の計算の複雑性を軽減する。このピクセルの部分集合は、画像の2段抽出バージョン、画像の隣接領域、又はピクセルの他の適切な部分集合とすることができる。次に、2つの1次元の周期的なフィルタリング演算は、単に再構成画像の横列及び/又は縦列の部分集合について数値を求めればよい。部分的再構成の組から、本当の距離oを特定するために、高周波アーチファクトが最も少なく、かつ最も滑らかな強度プロフィールのものが識別される。識別された本当の被写体距離oについて、次に、完全な再構成を行う。このようにして、本当の被写体距離oを自動的に測定しながら光景の再構成を行うという計算の複雑性を軽減することができる。
【0123】
未知の距離に複数の被写体を有する光景の再構成
一実施形態により、様々な被写体距離oの1組の完全な画像再構成が計算される。光景の様々な部分の被写体は、様々な距離にある場合があるために、再構成は、いくつかの領域に分解される。各領域について、高周波アーチファクトが最も少なく、最も滑らかな強度プロフィールをもたらす被写体距離oを識別する。最終的な再構成は、領域毎にまとめられるが、各領域について最適な被写体距離oを有する再構成を選択する。このようにして、FOVの無限深度(クローズアップから無限まで)を有する画像を単一のセンサ信号から再構成することができる。
【0124】
組み合わされた再構成は、単調な光景、すなわち、単一の距離に単一の被写体を有する光景の単調な再構成よりも質が落ちる。光景の中に「焦点が外れて」いる他の領域があることにより、焦点の外れた領域が再構成において質を落とすだけでなく、焦点の外れた領域は、再構成にアーチファクトを含む。言い換えれば、焦点の外れた領域と焦点の合った領域の間に「クロストーク」がある。このクロストーク及びこれを抑える技術について次に説明する。
【0125】
未知の距離に複数の被写体を有する光景を再構成する際の「クロストーク」の低減
前に説明した通り、距離o1での領域r1の「単調な」再構成は、光景全体が一定の距離o1であった場合にのみ正確なものになるであろう。しかし、他の領域が様々な距離の場合には、領域r1の再構成に影響を与える「クロストーク」が発生する。従って、一実施形態により、反復的再構成手順を用い、様々な距離の光景の様々な領域間のこのクロストークを低減する。本発明の一実施形態に従った反復的再構成手順は、以下の演算の組から成る。
1.「単調な」再構成、すなわち、光景にわたって均一の距離を仮定する再構成を1組の距離o1、o2、...、onにおいて計算する。
2.このように取得した単調な再構成を用いて、光景をいくつかの連続的な領域r1、r2、...、rm及び対応する距離o1、o2、...、omに分解する。この分解は、各領域について距離oiの再構成riが「より良く」なる、すなわち、同じ領域の他の距離での全ての再構成よりも高周波アーチファクトが少なく、滑らかな強度プロフィールを有するように行われる。
3.再構成された領域ri(i=1,2,...,m)の各々について、センサ画像への寄与量siを計算する。これは、レンズアレイパターンを用いてriの2次元周期的相互相関関数を計算することにより行う。全ての領域の再構成が完全であった場合には、全てのセンサ画像の寄与量の合計は、測定されたセンサ画像sと等しくなるということに注意されたい。
4.再構成された領域ri(i=1,2,...,m)の各々に対して、測定されたセンサ画像から全ての他の領域のセンサ画像の寄与量を引く、すなわち、次のようにする。
【0126】
【0127】
各Δsi(i=1,2,...,m)は、この時点で領域riだけに関連するセンサ画像を含み、他の全ての領域ri、j≠iの寄与量は殆ど低減されていることに注意されたい。他の領域の再構成が完全ではなく、再構成の誤差を含むために、クロストークがいくらか残存しており、すなわち、Δsiは、他の領域からの残存している寄与量をいくらか含む。しかし、このクロストークは、異なるセンサ画像の計算をしないクロストークよりも非常に低い。
5.Δsi(i=1,2,...,m)を利用して、距離oiの各領域について正確な再構成r’iを計算する。任意的に、距離の推定oiを正確にするためにも、最初の距離oj前後のいくつかの様々な距離でこの段階を繰り返すことができる。この場合、各領域について最も少ない高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成及び距離を選択する。
6.任意的に、各領域を更に精巧にするために演算(3)に戻る。
【0128】
再構成された光景内の被写体の距離の判断
一実施形態によると、符号化レンズカメラの出力信号は(2次元の画像情報に加えて)、高周波アーチファクトが最も少なくかつ最も滑らかな強度プロフィールを有する各領域の被写体距離oを見つけることから判断された各画像ピクセル又はいくつかの画像領域に対する距離情報も含む。従って、画像内に再構成された各ピクセルに対して、単一強度値(グレースケールの可視光、赤外線、紫外線、又は他の単一周波数放射線に対して)又は赤、緑、青色の可視光線に対する3つの強度値を引き出す再構成に加えて、再構成は、画像内のそのピクセル位置でのカメラから被写体までの距離を示すz値を割り当てる。このようにして、単一の2次元センサ信号から3次元画像データを取得することができる。更に、距離データは、カメラ、外部撮像操作システム、又は画像操作アプリケーション又はシステムを利用するユーザが、光景の前景内の被写体を光景の後景から分離するなど、2次元画像を光景の様々な部分に関連する様々な領域に容易に分割することを可能にする。
【0129】
距離情報を用いてブルー/グリーンスクリーンの必要性を排除する
クロマキー法は、映像及び写真の製作で前景画像を無地の背景色から切り離すために一般的に使用される技術である。一般的に、「ブルースクリーン」又は「グリーンスクリーン」が使用され、これは、背景がビデオテープ又はフィルム上に撮影される又は取り込まれる間に演者又は被写体の背後に配置される非常に注意深く着色され、かつ照らされたスクリーンである。リアルタイムで又は後処理により、ハードウエア又はソフトウエアシステムは、前景画像を異なる背景に合成することができるように、恐らくは独特の色をした前景画像をかなり一様に着色された背景画像から切り離す。例えば、一般的にTVニュース番組の天気予報士は、ブルー又はグリーンスクリーンに対してクロマキー処理され、その後天気図の上に合成される。
【0130】
このようなブルー又はグリーンスクリーンは、製造が極めて面倒である。これらは、大きくて嵩張り、注意深い照明が必要であり、非常にきれいに保たねばならず、また、前景の被写体の縁部にブルー又はグリーンの光の「余波」を生み出さないように、前景の被写体の背後に十分離して設けられるべきである。前の段落の実施形態の原理を用いると、ブルー又はグリーンスクリーンなしで画像を取り込むことができ、各ピクセルに与えられたz値は、前景の被写体を背景から切り離すために十分な情報を合成システムに提供する(すなわち、光景のどのピクセルがより近い被写体の画像を含み、最終的な画像に維持されるべきか、また、光景のどのピクセルが被写体から遠い画像を含み、最終的な画像から低減されるべきかを識別することによる)。これは、写真、映像、映画製作、及び消費者の用途(例えば、様々な写真の家族を各写真の背景から切り離して数人の家族が一緒のグループ写真に合成することができるようにする)を含む多くの用途においてかなり有益であろう。
【0131】
図20は、背景の山2002を写真から除去した城2002のような異なる背景の光景に図19からの人物1901を容易に配置することができる方法を示している。これは、単に、人物1901のz値よりも大きいz値を有する図19から再構成された画像の全てのピクセルを城2002の画像からのピクセルと置換することにより完成される。ここでもまた、z値の処理は、例えば、DSP、ASIC、又は汎用プロセッサを含む事実上あらゆるタイプの画像処理プロセッサを用いて実行することができる。
【0132】
距離情報を用いて光学運動捕獲システムを改良する
一実施形態のピクセル毎の測距機能はまた、光学性能運動捕獲(mocap)において用途を有する。「mocap」は、現在、テレビゲーム(例えば、カリフォルニア州レッドウッド・シティー所在の「Electronic Arts」が提供する「NBA Live 2005」)及び映画(例えば、ニューヨーク州ニューヨーク所在の「Time Warner、Inc.」の一部門である「Castle Rock Entertainmanet」によりリリースされた「ポーラー・エクスプレス」)を含むCGアニメーションの人物、動物、及び小道具の動きを取り込むのに使用されている。このような「mocap」システム(例えば、英国オックスフォード所在の「Vicon Motion Systems、Ltd.」製のもの)は、一般的に、舞台を取り囲むいくつかの単レンズビデオカメラを用いる。逆反射マーカ(又は、他の特徴的なマーク付け)が、演者の体及び小道具全体に配置される。ビデオカメラは、各々が遮られていないFOV内のマーカを取り込みながら、同時にマーカの画像を取り込む。最後に、ソフトウエアが、ビデオフレームの全てを分析し、三角法によって3D空間の各マーカの位置の識別を試行する。
【0133】
図21は、例示的な運動捕獲セッションの写真である。3つの明るい光の輪は、ビデオカメラ2101〜2103の単レンズの周りのLEDの輪である。演者は、体に密着した黒いスーツを着ている。スーツの灰色の点は、逆反射マーカであり、これは、カメラのレンズに赤いLED光を反射して戻し、マーカが周囲の環境に対して明るく目立つようにする。左の演者の膝に付いたこのような4つの逆反射マーカは、2111〜2114で特定されている。
【0134】
マーカの全ては、カメラ画像の中で同じに見えるために、「mocap」システムが直面する課題の1つは、どのマーカ画像が光景のどのマーカ(又は、複数のマーカ)に対応するかを特定し、その後、演者又は小道具が動く時にフレーム毎にマーカを追跡することである。一般的に、演者は、マーカを体(又は小道具)のほぼ既知の位置に配置し、ほぼ既知の位置に立つ。カメラは、全てが最初のフレームを取り込み、ソフトウエアは、演者及び演者に付いたマーカの位置がほぼ既知であるために、各マーカを識別することができる。演者が動くと、マーカは、カメラの視野から出たり入ったりして動き、演者が動き回ると、頻繁に1台、数台、又は全てのカメラからよく見えなくなることがある。このために「mocap」システムがマーカを識別して追跡し続ける機能が不確かなものになる。
【0135】
例えば、所定のビデオカメラのフレームが、所定の(x,y)ピクセル位置に集中したマーカを示す場合、その画像は、実際は2つのマーカが前後に並んでいることを示している可能性が高い。次のフレームでは、演者の動きがマーカを異なる(x,y)位置に分離することがあるが、前のフレームにおいていずれのマーカが前方のマーカであっていずれが背後のマーカであったかを特定することは困難である場合がある(例えば、離れたマーカは、僅かに小さく見える場合があるが、その大きさの違いは、カメラに可能な解像度よりも小さい場合がある)。別の例としては、演者が床に転がって、マーカの全てを一方に隠す場合がある。演者が立ち上がると、多くのマーカがカメラの画像に突然に現れ、どのマーカがどれであるかを識別するのは困難である場合がある。このマーカ識別処理を改良するために、いくつかのアルゴリズムが開発されたが、依然として典型的な運動捕獲セッションでは、人間のオペレータがフレーム毎に間違ったマーカの識別を手動で訂正することにより取り込んだデータを「整える」べきであるという問題がある。このような作業は、退屈で時間を消費し、更に「mocap」製作のコストを増大させる。
【0136】
本発明の一実施形態では、単レンズのビデオカメラを本明細書に説明した符号化レンズ技術を用いたビデオカメラと取り替える。符号化レンズカメラは、マーカの画像を取り込むだけでなく、各マーカのおおよその深度もまた取り込む。これは、取込の連続したフレームの中で「mocap」システムがマーカを識別する機能を改善する。単レンズカメラは、マーカの有用な(x,y)位置情報を提供するのみであるが、符号化レンズカメラは、(上述のように)マーカの(x,y,z)位置情報を提供する。例えば、最初に一方のマーカが他方のマーカの前にあり、その後、次のフレームでこれらのマーカが分かれた場合、いずれのマーカがより近く、いずれがより離れているかを識別することは、符号化レンズカメラには容易なことである(すなわち、z値を利用する)。この情報は、次に、一方のマーカが他方のマーカの背後に隠れる前のフレームのマーカの位置と相関付けられ、両方のマーカが見えた時にいずれのマーカがいずれであるかを識別する。
【0137】
更に、時には1つのマーカが1つの「mocap」カメラのみで見え、他の全ての「mocap」カメラからは見えない場合がある(例えば、演者の体に隠れて)。単レンズの「mocap」カメラでは、1つのカメラのみで三角法を用いることはできず、従って、マーカの(x,y,z)位置を計算することができない。しかし、符号化レンズカメラを用いると、マーカまでの距離が分り、その結果、その(x,y,z)位置を容易に計算することができる。
【0138】
距離情報を用いてロボット視覚システムを改良する
別の実施形態では、符号化レンズカメラをロボット視覚システムに使用する。例えば、製造用途において、従来のレンズカメラは、ロボット電機子に距離情報を提供して組立てにおいてそれが持ち上げて挿入する必要がある部品の(x,y,z)位置を特定することはできないが、符号化レンズカメラは、それが可能である。
【0139】
増大したダイナミックレンジ及び(距離)測距情報を用いて防犯カメラシステムを改良する
一実施形態では、符号化レンズカメラを防犯システムに用いる。これらは、低ダイナミックレンジのセンサを使用して高ダイナミックレンジの光景を取り込む機能を有するために、従来の単レンズカメラでは通常は画像をぼやけさせる逆光照明がある状況において、使用可能な画像を提供することができる。例えば、侵入者が入口から入ってくる場合に、入口の外に明るい昼の光があった場合は、従来の単レンズカメラは、入口の外側でも入口の内側でも有用な画像を解像することはできないが、符号化レンズカメラは、それが可能である。
【0140】
本発明の実施形態は、上の説明のように様々な段階を含むことがある。これらの段階は、汎用プロセッサ又は専用プロセッサにある一定の段階を実行させる機械実行可能な命令に組み込むことができる。例えば、上述の様々な演算は、パーソナルコンピュータで実行されるか、又はパーソナルコンピュータ内のPCIカードに組み込まれたソフトウエアとすることができる。代替的に又はそれに加えて、演算は、DSP又はASICによって実施することができる。更に、本発明の関連のある態様を分りにくくすることを避けるために、コンピュータメモリ、ハードドライブ、入力装置などのような本発明の基本原理に関連しない様々な構成要素は、図及び説明を省略している。
【0141】
本発明の要素はまた、機械実行可能命令を格納する機械可読媒体として提供することができる。機械可読媒体は、以下に限定されるものではないが、フラッシュメモリ、光ディスク、CD−ROM、「DVD ROM」、RAM、EPROM、EEPROM、磁気又は光カード、伝播媒体、又は電子命令を格納するのに適切な他のタイプの機械可読媒体を含むことができる。例えば、本発明は、コンピュータプログラムとしてダウンロードすることができ、これは、通信リンク(例えば、モデム又はネットワーク接続)を通じて、搬送波又は他の伝播媒体の中に組み込まれたデータ信号により、リモートコンピュータ(例えば、サーバ)から、要求しているコンピュータ(例えば、クライアント)に転送することができる。
【0142】
上述の説明を通して、本発明のシステム及び方法を十分に理解するために、説明の目的で多くの特定の詳細を示した。しかし、本発明のシステム及び方法は、これら特定の詳細の一部がなくても実施することができることは、当業者には明らかであろう。例えば、本発明の実施形態は、「カメラ」との関連において上述したが、本発明の基本原理は、以下に限定されるものではないが、PDA、携帯電話、及びノート型コンピュータを含む事実上あらゆる種類の装置内に実施することができる。従って、本発明の範囲及び精神は、特許請求の範囲によって判断されるべきである。
【図面の簡単な説明】
【0143】
【図1】本発明の一実施形態による可視光符号化開口カメラを示す図である。
【図2】本発明の基本原理に従って用いられる3つの例示的なMURAパターンと2つの例示的なPBAパターンを示す図である。
【図3】本発明の一実施形態に従ったMURA次数3符号化開口アレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。
【図4】本発明の一実施形態に従ったMURA3符号化開口アレイの透明開口からの光の投影を示す図である。
【図5】本発明の一実施形態による符号化レンズカメラを示す図である。
【図6】本発明の一実施形態に従ったMURA次数3符号化レンズアレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。
【図7】本発明の一実施形態に従ったMURA3符号化レンズアレイの透明開口からの光の投影を示す図である。
【図8】本発明の一実施形態に従ったMURA次数3符号化レンズカメラの側面図である。
【図9】本発明の一実施形態に用いられる例示的なRGB「バイエルパターン」を示す図である。
【図10】多層構造として実装され、本発明の一実施形態に使用される画像センサを示す図である。
【図11a】デジタル画像の再構成及び後処理を可能にするために出力信号がアナログ−デジタル変換器(A/D)によってデジタル化される本発明の一実施形態を示す図である。
【図11b】本発明の一実施形態に従ってゼロオフセット及び利得を選択する手順を示す図である。
【図12】符号化レンズの結像特性及び典型的なレンズの結像特性を示す図である。
【図13】典型的なCMOS及びCCD画像センサの伝達特性を示すグラフである。
【図14】本発明の一実施形態に従った多要素レンズを備えたMURA次数3符号化レンズカメラの側面図である。
【図15】本発明の一実施形態に従った符号化レンズアレイ内のレンズの全ての焦点を同時に合わせる歯車配置を示す図である。
【図16】本発明の一実施形態に従った符号化レンズアレイの全レンズの焦点を同時に合わせるための歯車システムを備えた多要素符号化レンズシステムの側面図である。
【図17a】本発明の一実施形態に従ったMURA3符号化レンズアレイを使用した既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示す図である。
【図17b】本発明の一実施形態に従ったPBA24符号化レンズアレイを使用した既知の距離にある3つの単調な光景の投影及び再構成の3つの例を示す図である。
【図18】本発明の一実施形態に従って正しい距離を識別するための様々な距離における画像の再構成を示す図である。
【図19】人物がカメラ近くに立ち、この人物のはるか後方に山がある画像を示す図である。
【図20】図19の人物を異なる背景を有する光景に容易に置くことができる方法を示す図である。
【図21】例示的な運動捕獲セッションの写真を示す図である。
【符号の説明】
【0144】
100 光景
101 符号化開口
104 光感応グレースケール又はカラー半導体センサ3
【特許請求の範囲】
【請求項1】
互いに連結されて符号化パターンを形成する複数のレンズを含む符号化レンズアレイ、
を含むことを特徴とする、画像を符号化するための装置。
【請求項2】
前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサ、
を更に含み、
前記光感応センサは、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
ことを特徴とする請求項1に記載の装置。
【請求項3】
前記レンズを透過して前記光感応センサにより感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成論理、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項4】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項1に記載の装置。
【請求項5】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項1に記載の装置。
【請求項6】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項1に記載の装置。
【請求項7】
レンズを含まないアレイ要素を塞ぐ不透明材料が存在することを特徴とする請求項1に記載の装置。
【請求項8】
前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出しサブシステム、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項9】
前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化する複数のバッフル、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項10】
画像を符号化する方法であって、
複数のレンズを符号化パターンに配置する段階、
を含むことを特徴とする方法。
【請求項11】
前記符号化レンズアレイの背後の特定の距離に、該符号化レンズアレイ内の前記レンズを透過した光を感知するように構成された光感応半導体センサを位置決めする段階、
を更に含むことを特徴とする請求項10に記載の方法。
【請求項12】
前記レンズを透過して前記光感応センサによって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項13】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項10に記載の方法。
【請求項14】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項10に記載の方法。
【請求項15】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項10に記載の方法。
【請求項16】
レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項10に記載の方法。
【請求項17】
前記光感応半導体センサから画像データを受け取り、該画像データのピクセル値のゼロオフセット及び/又は利得を調節する段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項18】
前記符号化レンズアレイと前記光感応半導体センサとの間を通過する光を平行化する段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項19】
符号化パターンに配置された複数のレンズを含む符号化レンズアレイ手段、
を含むことを特徴とする装置。
【請求項20】
前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応センサ手段、
を更に含み、
前記光感応センサ手段は、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
ことを特徴とする請求項19に記載の装置。
【請求項21】
前記レンズを透過して前記光感応センサ手段によって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成手段、
を更に含むことを特徴とする請求項20に記載の装置。
【請求項22】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項19に記載の装置。
【請求項23】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項19に記載の装置。
【請求項24】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項19に記載の装置。
【請求項25】
レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項19に記載の装置。
【請求項26】
前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出し手段、
を更に含むことを特徴とする請求項20に記載の装置。
【請求項27】
前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化するバッフル手段、
を更に含むことを特徴とする請求項20に記載の装置。
【請求項1】
互いに連結されて符号化パターンを形成する複数のレンズを含む符号化レンズアレイ、
を含むことを特徴とする、画像を符号化するための装置。
【請求項2】
前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサ、
を更に含み、
前記光感応センサは、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
ことを特徴とする請求項1に記載の装置。
【請求項3】
前記レンズを透過して前記光感応センサにより感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成論理、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項4】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項1に記載の装置。
【請求項5】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項1に記載の装置。
【請求項6】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項1に記載の装置。
【請求項7】
レンズを含まないアレイ要素を塞ぐ不透明材料が存在することを特徴とする請求項1に記載の装置。
【請求項8】
前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出しサブシステム、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項9】
前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化する複数のバッフル、
を更に含むことを特徴とする請求項2に記載の装置。
【請求項10】
画像を符号化する方法であって、
複数のレンズを符号化パターンに配置する段階、
を含むことを特徴とする方法。
【請求項11】
前記符号化レンズアレイの背後の特定の距離に、該符号化レンズアレイ内の前記レンズを透過した光を感知するように構成された光感応半導体センサを位置決めする段階、
を更に含むことを特徴とする請求項10に記載の方法。
【請求項12】
前記レンズを透過して前記光感応センサによって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項13】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項10に記載の方法。
【請求項14】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項10に記載の方法。
【請求項15】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項10に記載の方法。
【請求項16】
レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項10に記載の方法。
【請求項17】
前記光感応半導体センサから画像データを受け取り、該画像データのピクセル値のゼロオフセット及び/又は利得を調節する段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項18】
前記符号化レンズアレイと前記光感応半導体センサとの間を通過する光を平行化する段階、
を更に含むことを特徴とする請求項11に記載の方法。
【請求項19】
符号化パターンに配置された複数のレンズを含む符号化レンズアレイ手段、
を含むことを特徴とする装置。
【請求項20】
前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応センサ手段、
を更に含み、
前記光感応センサ手段は、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
ことを特徴とする請求項19に記載の装置。
【請求項21】
前記レンズを透過して前記光感応センサ手段によって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成手段、
を更に含むことを特徴とする請求項20に記載の装置。
【請求項22】
前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項19に記載の装置。
【請求項23】
前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであり、
請求項1に記載のパターンは、PBAである、
ことを特徴とする請求項19に記載の装置。
【請求項24】
前記符号化パターンは、ランダムパターンであることを特徴とする請求項19に記載の装置。
【請求項25】
レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項19に記載の装置。
【請求項26】
前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出し手段、
を更に含むことを特徴とする請求項20に記載の装置。
【請求項27】
前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化するバッフル手段、
を更に含むことを特徴とする請求項20に記載の装置。
【図2】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11a】
【図11b】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17a】
【図17b】
【図19】
【図20】
【図21】
【図1】
【図4】
【図5】
【図18】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11a】
【図11b】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17a】
【図17b】
【図19】
【図20】
【図21】
【図1】
【図4】
【図5】
【図18】
【公表番号】特表2008−527944(P2008−527944A)
【公表日】平成20年7月24日(2008.7.24)
【国際特許分類】
【出願番号】特願2007−552179(P2007−552179)
【出願日】平成18年1月13日(2006.1.13)
【国際出願番号】PCT/US2006/001111
【国際公開番号】WO2006/078537
【国際公開日】平成18年7月27日(2006.7.27)
【出願人】(506352393)リアデン リミテッド ライアビリティ カンパニー (4)
【Fターム(参考)】
【公表日】平成20年7月24日(2008.7.24)
【国際特許分類】
【出願日】平成18年1月13日(2006.1.13)
【国際出願番号】PCT/US2006/001111
【国際公開番号】WO2006/078537
【国際公開日】平成18年7月27日(2006.7.27)
【出願人】(506352393)リアデン リミテッド ライアビリティ カンパニー (4)
【Fターム(参考)】
[ Back to top ]