画像取込装置および方法
【課題】静止画像および動画(ムービー)の双方を獲得するための画像取込装置および方法に関する。
【解決手段】
画像取込装置(2)は、複数の画素(6)を有する活性領域を持つセンサー(4)と、各画素の露光を制御するためのシャッターアレイ(8)とを備えている。画素は、複数の画素セットにグループ分けされ、時間的に隔てられた低解像度の画像を複数個獲得するように配置される。これらの低解像度の画像は、ムービーとして順次見ることもできるし、組み合わせて高解像度の静止画像を形成することもできる。
【解決手段】
画像取込装置(2)は、複数の画素(6)を有する活性領域を持つセンサー(4)と、各画素の露光を制御するためのシャッターアレイ(8)とを備えている。画素は、複数の画素セットにグループ分けされ、時間的に隔てられた低解像度の画像を複数個獲得するように配置される。これらの低解像度の画像は、ムービーとして順次見ることもできるし、組み合わせて高解像度の静止画像を形成することもできる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像取込装置および画像取込方法に関し、これ以外を排他するわけではないが、とりわけ、静止画像および動画(ムービー)の双方を獲得するための装置および方法に関する。
【背景技術】
【0002】
電子カメラは、一般に、スチルカメラとビデオカメラという2つの大きな分類に分けられる。しかしながら、これらの2種類のカメラはある程度重複する。例えば、ムービーおよび静止画像の双方を獲得することができる「ビデオ」カメラもある。
【0003】
一方で、スチルカメラの中には、「ムービー」機能を有するものがあり、この機能では、カメラは一連の画像を獲得することができる。続いて、これらの画像は、ムービーとして示されることができる。本発明は、主に(これ以外を排他するのではないが)後者の種類のカメラに関する。
【0004】
電子カメラは、一般に、感光検出器または感光画像素子(画素)のアレイを有する画像取込装置またはセンサーを有する。動画ないしムービーは、センサーにより検出された一連の画像を記録することにより獲得されることができる。
【0005】
一連の画像が獲得可能である速度(フレームレート)は、部分的には、センサーのサイズ(すなわち、アレイ中の画素数)に依存し、センサーからデータが読まれうる(デジタル化されうる)速度により制限される。高速で撮像センサーから情報を読むことにより、雑音(読み取り雑音)が発生し、この雑音により画像の信号品質が低下する。したがって、センサーが多数の画素数を有する際には、フレームレートは、一般的にやや遅くなるであろう。画素がより少なく、小さなセンサーでは、より高いフレームレートを提供しうるが、画像の解像度はこれに応じて低くなる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の目的は、上述の欠点を少なくともいくらか軽減した画像取込装置および画像取込方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、活性領域(active area)を持つセンサーを備えた画像取込装置が提供され、活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、活性領域はこれらの画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の(lo−res)画像を複数獲得するように構成および配置され、各低解像度の画像は、異なる画素サブセットからのデータを含む。
【0008】
本発明では、時間的に隔てられた低解像度の画像のセットが、各高解像度(hi−res)の画像内に組み込まれる。その後、組み込まれた低解像度の画像は、順次、ムービーとしてみることができる。あるいは、これらの画像中のデータは組み合わされ、単一の高解像度の画像を形成することができる。したがって、ムービーおよび静止画像は、同時に獲得できる。この装置では、これと等価のセンサーデバイスを用いて現在達成されうるよりも高いフレームレートでムービーを獲得することができ、低解像度の画像での空間解像度は、高解像度の画像の空間解像度よりも低いが、多くの用途にはそれでも十分である。解像度対フレームレートのバランスを、容易に調節することができる。さらに、空間解像度を失うことなく、装置のデータ記憶要求を顕著に高めることなく、静止画像を獲得することができる。
【0009】
より有利には、画像取込装置は、前記複数の低解像度の画像内のデータを組み合わせることにより、高解像度の画像を獲得するように構成および配置されている。
【0010】
より有利には、少なくとも1つの画素サブセットが、センサーの実質的に全活性領域の画素を含む。これにより、このような1つの画素サブセットから形成された各低解像度の画像は、フルフレーム画像となる。あるいはこれに加えて、少なくとも1つの画素サブセットが、センサーの全活性領域より小さい領域の画素を含むことができる。これにより、異なる場面の部分が、異なる空間解像度および時間解像度で撮像される。これは、特定の防犯カメラまたはロボット工学においては有用である。
【0011】
画像取込装置は、複数のシャッター部材を有するシャッターアレイを備えることができ、各シャッター部材は個々の画素の露出を制御するためのものである。あるいは、各シャッター部材は、2つ以上の画素の露出を制御してもよく、事実上1つの画素よりも大きい。あるいは、各シャッター部材は、事実上1つの個々の画素よりも小さくてもよく、各画素の露出は複数のシャッター部材により制御される。
【0012】
シャッターアレイは、不透過率または反射率が変動するシャッター部材を複数個有することができる。シャッターアレイは、センサーの活性領域上またはセンサーの前に(好ましくは、合焦装置が、シャッターアレイとセンサーとの間にあって)取り付けられることができる。
【0013】
あるいは、シャッターアレイは、配向性が変動するシャッター部材を複数個有することができる。シャッター部材はミラーを有することができ、ミラーは、光をセンサーに向ける方向に、または、センサーから離れた方向に反射するよう配向できる。
【0014】
この画像取込装置は、好ましくは、シャッターアレイの作動を制御するための制御装置を有する。これは、例えば、画素サブセット(センサー上の画素のフルセットがこのサブセットに分けられる)の数、画素サブセットの露出時間およびこれらの露出の相対的なタイミング、ならびに、装置の動作モード(例えば、ムービー/静止画モードまたは静止画のみモード)を制御することができる。制御装置は、所定のランダムまたは擬似ランダムの順序でシャッター部材を活性化するように構成および配置することができ、これは後に、一連の高速画像を復号化するために再構成されうる。制御装置は、スイッチ部材が全て同時に活性化される代替的な動作モードを提供するように配置されてもよい。
【0015】
別の好適な実施形態によれば、各画素が、電荷が画素から転送されうる電荷貯蔵デバイスに関連付けられ、画像取込装置は、前記複数の時間的に隔てられた低解像度の画像を獲得できるように電荷の転送を制御するための制御装置を有する。このシステムでは、シャッターアレイは必要ではなく、装置の構成が単純になる。
【0016】
本発明の別の態様によれば、上記請求項のいずれか1項に記載の画像取込装置と、センサー上の活性領域上に光の焦点を合わせるレンズとを有するカメラが提供される。
【0017】
このカメラは、獲得画像を表示するための表示装置を有することができ、この表示装置は、単一の高解像度の画像または一連の低解像度の画像を表示するように構成および配置されている。
【0018】
より有利には、このカメラは、画素サブセットの露出を制御するための制御装置を有する。
【0019】
本発明の別の態様によれば、複数の画素を有する活性領域を持つセンサーを備えた画像取込装置を用いて画像を獲得する方法が提供され、この方法は、センサーを露出させる工程と、各画素の露出を表すデータを記憶する工程と、時間的に隔てられた低解像度の画像を複数個獲得する工程を含み、前記画素が、複数の画素サブセットを有し、各低解像度の画像は、前記画素サブセットのうちの異なる1つの画素サブセットからのデータを含む。
【0020】
より有利には、この方法は、画素サブセットを、順次好ましくは所定のランダムまたは擬似ランダムの順序で、露出させる工程を含む。あるいは、最小限のモーションブラーを含む高解像度の静止画像を獲得するために、画素サブセットを同時に露出させてもよい。
【0021】
より有利には、この方法は各画素上の電荷を電荷貯蔵デバイスに転送する工程と、その後貯蔵された電荷をデジタル化する工程とを含む
【0022】
この方法は、複数の低解像度の画像からのデータを組み合わせることにより、高解像度の画像を作成する工程と、好ましくは前記高解像度の画像を表示する工程とを含むことができる。
【0023】
この方法は、前記時間的に隔てられた一連の低解像度の画像を表示する工程も含んでもよい。
【0024】
ここで、本発明の実施形態を、添付の図面を参照した例示により説明する。
【図面の簡単な説明】
【0025】
【図1】本発明の第1実施形態による画像取込装置を概略図示した直交正面図である。
【図2】この画像取込装置の小さい部分を拡大して示した正面図である。
【図3】図2の画像取込装置中の各シャッター部材用のシャッター露出時間を示したチャートである。
【図4】画像取込装置により一連の画像が獲得されうる方法を示した図である。
【図5】画像取込装置の正面図であり、一連の動作の一例を示した図である。
【図6】本発明の第2実施形態による画像取込装置の光学系を概略図示した側面図である。
【図7】本発明の第3実施形態による画像取込装置の光学系を概略図示した側面図である。
【図8】本発明の第4実施形態による画像取込装置の光学系を図示した側面図である。
【図9】本発明の第5実施形態による画像取込装置の小さい部分を示した正面図である。
【図10】本発明の第6実施形態による画像取込装置の小さい部分を拡大して示した正面図である。
【図11】本発明の画像取込装置を有するカメラの主要な部品を図示した概略図である。
【発明を実施するための最良の形態】
【0026】
本発明の第1実施形態による画像取込装置を、図1〜図4に示す。画像取込装置2は、センサー4を有し、このセンサー4は、長方形アレイの感光画像素子(画素)6を有する活性領域を備えている。センサー4は、例えばCCDもしくはCMOSデバイスまたはこれの等価物でありうる。この例では、センサー4は、1つのメガピクセルCCDであり、幅1000画素、高さ1000画素の長方形のアレイを有する。センサーは、もちろんこれより大きくても小さくてもよいし、別の縦横比を有してもよく、また画素は異なるパターンで配置されてもよい。
【0027】
センサー4の直前に取り付けられているのは、電子シャッター装置8であり、これは、画素サイズのシャッター部材10のアレイを有する。シャッター部材10は、センサー4の画素6に合わせられ、これと一列に並んでおり、その結果、各シャッター部材が、下にある画素の光への露出を制御している。したがって、この例では、シャッター装置8は、1000×1000のアレイに配置された100万個のシャッター部材10を有する。各シャッター部材10は、これ以外の1つまたは複数のシャッター部材には依存せずまたはこれに同期して活性化され、下にある1つまたは複数の画素6を露出させる。
【0028】
この例ではシャッター装置8は、強誘電性液晶デバイスからなり、これは、電圧をかけることにより透明または不透明にすることができる液晶セルのアレイを有する。これにより、シャッター部材10は非常に迅速に作動することができる。この機構には可動部品がないので、頑健性があり信頼性がある。あるいは、電子的に制御可能でかつ必要な画素レベルのシャッター機能を有するこれ以外の任意のシャッター機構を用いてもよい。
【0029】
より一般的に述べると、シャッター装置8はA個のシャッター部材を有し、これらが、N個のサブセットに分けられるが、これらをサブセット1、サブセット2…サブセットNと称する。各サブセットは、A/N個のシャッター部材を有する。この例では、シャッター装置は、100万個(A)のシャッター部材を有し、シャッター部材10の4個のサブセット(N)を有し、各サブセットは250,000個のシャッター部材を有する。シャッター部材10の下にある画素6は、これに対応する画素サブセットを形成する。
【0030】
異なるサブセットのシャッター部材10をシャッター群12に配置し、各シャッター群は、各サブセットからの1つのシャッター部材を有する。この例では、図2に示したように、各シャッター群12は、4つのシャッター部材10を有し、これらは四角形状に配置され、サブセット1のシャッター部材10Aは左上角に、サブセット2のシャッター部材10Bは右上角に、サブセット3のシャッター部材10Cは左下角に、サブセット4のシャッター部材10Dは右下角に配置されている。したがって、シャッター装置8は、250,000個のこのようなシャッター群を有している。画素も、同様に画素サブセットと画素群とに配置されており、各群が、各サブセットの1つの画素を有している。複数の画素群で、センサー4の活性表面の実質的に全体を覆っており、したがって、各画素サブセットは、センサーの実質的に全活性領域の画素を含んでいる。
【0031】
各サブセット中のシャッター部材は、電子的に連結されており、このサブセット中の全シャッター部材は、制御電子系により決められて、同時に開閉する。この例では、4つのシャッターサブセットが、図3に示すように、順次開くように配置されている。
【0032】
したがって、シャッターサブセット1が0.25秒間開き、続いて、サブセット2が次の0.25秒間開き、サブセット3が別の0.25秒間開き、最後にサブセット4が第4の0.25秒間開く。これゆえに、全サブセットの全積分時間Tiは1.0秒であり、各画素の個々の露出時間は、Ti/N(この場合、0.25秒)である。
【0033】
各露出時間の間、開いているシャッター部材の下にある画素は、露出時間の間、光に露出される。しかし、画素は、すべて同時に露出されるのではない。むしろ、対応するシャッター部材が開いたり、閉じたりするのにしたがって、画素は順次露出する、したがって、サブセット1のシャッター部材の下にある画素は、最初の0.25秒間露出し、続いて、サブセット2・3・4中のシャッター部材の下にある画素が露出する。
【0034】
露出中、各画素は、光子がその表面に当たる際に生成される電荷を積分する。設定された積分時間Ti後、全ての画素上の電荷は、デジタル化され、結果として得られるデジタル画像データが、センサー4からメモリデバイスに転送される。
【0035】
記憶された画像データは、動画(ムービー)または静止画像として表示されうる。ムービーとして画像データを表示するために、各画素サブセットにより獲得された画像データから、別の画像を作成する。したがって、図4に示すように、画像1は、画素サブセット1中の全ての画素により獲得された画像データから作られ、第1の0.25秒の期間中にセンサー上に入射した光を表す。画像2は、画素サブセット2中の全ての画素により獲得された画像データから作られ、第2の0.25秒の期間中にセンサー上に入射した光を表し、画像3および画像4についても同様である。その後4つの画像は、順次、4フレームの動画像列として表示される。表示された低解像度の画像中における各画素の位置は、シフトされていてもよいが、これは、画素がわずかに異なるがわかっている位置からデータを収集することを考慮に入れるためである。ムービーの各フレームは、250,000画素の画像サイズを有し、これは、全センサーの解像度の4分の1である。フル画素セットを用いて生成した高解像度(hi−res)の画像と区別するために、これらの画像を低解像度(lo−res)の画像と称する。
【0036】
拡張された動画像列が必要である場合、このプロセスを1回以上繰り返すことができ、これにより、Ti秒毎に1つのデータセットの速度で、複数のデータセットが獲得され、その後、獲得された低解像度の画像が順次表示されうる。
【0037】
静止画像を表示するためには、センサー上の全画素のデータを用いて、フルフレームである高解像度の画像を作成する。この例では、これは、1メガピクセル画像である。これは、4つ全ての低解像度の画像からのデータを組み合わせて、1つの高解像度の画像を作成することにより達成される。
【0038】
各サブセット中の画素の位置は、図2に示すような規則的なパターンに従う必要はない。乱数発生器をユーザが提供したシード値と共に用いて、露出群内での各画素の位置をシャッフルした数値スキームを実装することにより、シャッター群内で外見上ランダムな位置を選択することができる。これを図5に図示したが、ここでは、画素群サイズが4つである仮想の6×6の画素アレイについて図示している。数値スキームは、シャッフルした一連の整数を生成し、上述と同様、画素群はその画素群中の各画素を、全積分時間の部分区間の間露出させるが、タイミングは、シャッフルされた順序により与えられる。
【0039】
図2中のシャッフルされていない整数の順序である((1,2,3,4),(1,2,3,4)(1,2,3,4)....)では、第1シャッター群の左上に位置づけられている画素6Aは、0〜0.25秒の間開き、第1シャッター群の右上に位置づけられている画素6Bは、0.25〜0.5秒の間開くなどが示される。値が規則的なパターンで繰り返されるので、各画素群の露出時間は同じである。
【0040】
これとは対照的に、図5で示されたシャッフルされた順序((3,2,1,4),(4,1,2,3)(2,3,1,4)....)では、第1シャッター群の最も左上の画素6Aは,0.5〜0.75秒の間開き、第1シャッター群の右上の画素6Bは,0.25〜0.5秒の間開き、第1シャッター群の左下の画素6Cは,0〜0.25秒の間開き、第1シャッター群の右下の画素6Dは,0.75〜1.0秒の間開くことが示される。第2露出群は異なる開き時間の順序を有する。第2シャッター群の左上の画素は,0.75〜1.0秒の間開き、右上の画素は,0〜0.25秒の間開くなどである。さらに、この順序は、順に撮られるフレームについて繰り返されることはなく、0〜1秒の間の露出のパターンは、1〜2秒の間の露出パターンとは異なり、その後の各フレームについても、シャッフルされた順序の長さに依存する。
【0041】
このランダムのシャッタースキームには、2つの利点がある。まず第1に、画素間の平均的な距離が同じであっても、低解像度画像中の各画素の位置が、ランダムに割り当てられる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第4574311号(発明の名称「ランダムセンサーデバイスアレイ(RandomArray Sensing Devices)」、発明者、レスニコフ(Resnikoff)、ポッジオ(Poggio)およびシムズ(Sims))に十分説明されている。第2に、一連の低解像度画像は、正しいタイミングを与えるシャッフルされた整数の順序がわかっている場合のみ、回復可能である。キーが与えられる乱数発生アルゴリズムを内蔵するアルゴリズムによってシャッフルされる順序が生成される場合、その後、一連の像を見る人がこのキーを与える場合のみ、この一連の像が回復可能である。これにより、一連の像は暗号化され、権限のない人が見ることはできないように保護される。
【0042】
図2および図5に示すような長方形形状に加えて、シャッター群は、不規則な多角形形状を有しうる。シャッター群は、これゆえに対象の領域を正確に覆うことができ、不必要な画素を取り除く。生命科学分野での1つの可能な使用例は、ユーザが、顕微鏡の視野中で、少数のセルの活動をモニターしたい場合である。ユーザは、対象とするセルの周りで多角形状を描き、アルゴリズムは、この形状内の画素を異なる時点で露出される群に分けることができる。
【0043】
センサーにより撮像された被写体が露出時間中に動いた場合、画像は「モーションブラー」をいくらか含みうる。モーションブラーの量は、全ての画素が同時に露出される従来のスチルカメラセンサーの場合よりも、一般に大きいであろうが、これは、全積分時間が、個々の画素の露出時間よりも長いためである。しかしながら、ほぼ動かない被写体または全く動かない被写体については、画像の品質は、従来のセンサーの場合と実質的に等しい。
【0044】
あるいは、様々な異なる画像獲得モード、例えば、「ムービー/静止画モード」(上述のようにシャッター部材が順次活性化されるモード)、または、「静止画のみモード」(全てのシャッター部材が同時に動作するモード)から選択することもできる。ムービー/静止画モードでは、獲得されたlos−res画像は、ムービーとして順次見ることもできるし、または共に合わせて(場合によっては、モーションブラーを少し含んだ)高解像度の画像として見ることもできる。静止画のみモードでは、モーションブラーは、従来のセンサーの場合のモーションブラーと同程度であるが、時間的に隔てられたlos−res画像のセットは獲得されないので、画像を順次ムービーとして見ることはできない。
【0045】
あるいは、設定された画素数を用いて、ぼやけていない高解像度画像を得る一方で、この残りを用いて、上述したように一連の低解像度画像を得ることができる。高解像度のぼやけの少ない画像を得るための画素の数は、所望の写真の品質を確保するためにユーザが選択できる。例えば、画素の50%を、高解像度のぼやけていない画像を作成するためにあて、ここで、このサブ群の画素は、全アレイに渡って分布している。これらの画素は、ぼやけていない画像を得るためにユーザが設定した最適な露出時間に等しい短い時間の間、同時に露出される。残りの画素は、上述と同様N−1個の群に分けられ、一連のムービーを生成するために、順次露出される。高解像度群中への画素の分布は規則的(例えば、毎秒1画素)にすることができる。または、画素はランダムにまたは擬似ランダムに分布させることができる。その結果、規定された画素のサブ領域に渡って画素の平均的な密度は一定であるが、この領域内の各画素は、周知のランダム分布を用いて選択される。高解像度画像中に欠如した画素は、利用可能な様々な信号処理技術のいずれかを用いて補償できる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第4574311号(発明の名称「ランダムセンサーデバイスアレイ(RandomArray Sensing Devices)」、発明者、レスニコフ(Resnikoff)、ポッジオ(Poggio)およびシムズ(Sims))に十分説明されている。
【0046】
画素と同数のシャッター群を有することに加えて、異なるサイズのシャッター群を用いて、場面の一部を撮像することにより、複数の解像度の画像を構築することも可能である。例えば、検出器の上半分は、サイズ4のシャッター群を用いて撮像し(この結果、フルフレームを取得する間に、4つの低解像度の画像が収集される)、検出器の下部分を、サイズ9のシャッター群を用いて撮像することもできる(この結果、フルフレームを取得する間に、9つの低解像度の画像が収集される)。
【0047】
原理的には、ユーザの要求に基づいて、任意の異なる数のフレーム群を用いることができる。可能な用途として、ある場面中の複数の動く被写体をモニターし、被写体ベースで最適の設定(フレームレートに対する解像度)を採用することも可能である。撮像された場面中での変化に対処するために、シャッター群のサイズと形状とは、フレーム毎ベースで動的に変更可能である。
【0048】
ある特定の状況では、各シャッター部材が2つ以上の画素の露出を制御するようにシャッター部材のサイズが選択可能である。各シャッター部材の有効サイズは、個々の画素よりも大きい。これにより、シャッター部材の数が画素の数よりも少ないシャッター装置を使用できる。あるいは、各シャッター部材が、個々の画素よりも事実上小さくてもよく、各画素の露出が、複数のシャッター部材により制御される。これは、ある特定の状況では、焦点を合わせるのに役立つが、これは、異なるシャッターを用いてレンズ中の軸上歪曲に対処することができるからである。各フレームについて、異なるシャッターセットを開くことにより、センサーの空間解像度を高めることも可能である。
【0049】
本発明を、2340×3500画素の規模の8.2メガピクセルセンサーを備えたデジタル一眼レフカメラに実装した実施例について、以下で説明する。これと等価の従来のカメラは現在入手することが可能であり、これは、毎秒5フレームの速度で、フルフレーム画像を獲得することができる。もし、本発明をこのカメラに実装すると、例えば、各フルフレーム画像内に、10個の0.82メガピクセルの低解像度の画像が獲得できるであろう。その後、これらの低解像度の画像は、順次ムービーモードで毎秒50フレームの速度で、738×1108画素のフレームサイズで見ることができる。あるいは、各低解像度の画像セットを再度組み合わせて、高解像度の8.2メガピクセルの静止画像を作成することもできる。
【0050】
もちろん、より低い解像度の画像を各フルフレーム画像中に組み込んで、より高いフレームレートを得ることができることも明らかであろう。あるいは、より低いフレームレートが適切である場合は、より高い解像度のムービーを獲得することもできる。
【0051】
上述のプロセスでは、組み込まれた低解像度の画像を作成するために用いられる連続する露出間の間隔は、各露出時間の長さと等しい。したがって、次の露出は、前の露出の終了時から開始し、全積分時間Tiは、Ntと等しい。ここで、Nは、画素サブセットの数であり、tは個々の画素の露出時間である。あるいは、露出間の間隔および露出時間を調節し、露出時間を重複させ、または間隔をあけてもよい。これにより、ユーザは、モーションブラーまたは微光の状況を補償することができる。例えば、図3に示したような0.25秒という露出時間を用いる代わりに、露出時間を0.15秒に縮めてもよい。個々の画素サブセットの露出タイミングは以下のようになりうる。すなわち、画素サブセット1は、0〜0.15秒まで、画素サブセット2は、0.25〜0.4秒まで、画素サブセット3は、0.5〜0.65秒まで、画素サブセット4は、0.75〜0.9秒までという具合である。その結果、全積分時間は、Ntよりも短くなる。
【0052】
別の例として、露出時間を0.4秒に延ばしてもよい。この場合、個々の露出タイミングは以下のようになる。すなわち、画素サブセット1は、0〜0.4秒まで、画素サブセット2は、0.25〜0.65秒まで、画素サブセット3は、0.5〜0.9秒まで、画素サブセット4は、0.75〜1.15秒までという具合である。その結果、画素サブセットの露出は重複する(サブセット1はサブセット2と重複し、サブセット2はサブセット3と重複し、サブセット3はサブセット4と重複し、サブセット4はサブセット1と重複する。)。したがって、露出間隔は、被写体が変化するまたは移動する速度により最適化することができる。
【0053】
別の変形例として、画素サブセットが、全積分時間のほんの小さな区間の間だけ順次、露出するかわりに、画素サブセットが、光が遮断される短い一時的な期間以外は、完全な積分時間Tiの期間の間は全て露出することもできる。この遮断期間は、各画素サブセットに順に適用され、遮断された期間の間の画素値を見積もることができる。なぜならば、これは、NセットのN元一次方程式であるからである。この一時的な遮断期間を、例えば、Ti/Nとする。ここで、Tiは全積分時間であり、Nは画素サブセットの数である。各個々の画素の露出時間は、Ti−Ti/Nであり、これは、Nの数が大きければ、完全な積分時間Tiに近似する。各画素からの強度は隣接する画素から干渉を受けるので、低解像度画像は誤り(errors)を含みうる一方で、このプロセスでは、微光の状況で、フル解像度フレームの画像輝度が、従来のセンサーにより撮られたフレームの輝度に近似するという利点がある。
【0054】
センサーデバイスの様々な実践的な実装形態を、図1、図6、図7および図8に示す。図1では、ランダムにアクセス可能であるLCDの画素レベルでのシャッターアレイ8が、センサーアレイ4の表面上に直接形成されている。このセンサーアレイは、例えば、CCD,CMOSまたはEMCCDデバイスである。シャッターアレイ8は、例えば、強誘電性シャッター装置であり、これは透過性が迅速に変わるため、下にある画素の入射光への露出を迅速に変えることができる。
【0055】
あるいは、シリコン上の液晶(LCOS)デバイスを用いて、図6に示すように、画素に光を反射させることも可能である。被写体14からの光は、対物レンズ16により焦点が合わせられ、偏光ビームフィルター(またはスプリッター)18によりLCOSデバイス20上に反射され、このLCOSデバイス20が、偏光された光を、ユーザが選択可能なパターンで反射させる。この光は、ビームスプリッター18を通過し、コレクタレンズ22を通って、CCD検出器を有するセンサー4上に焦点が合わせられる。
【0056】
あるいは、反射性の画素レベルシャッターが用いられる場合(LCOSまたはDMD)、遮断された画素からの光は、第1CCD検出器と一致するよう配置されている第2CCD検出器上に焦点が合わせられることができる。これにより、CCD積分期間中の光のほとんどが、獲得可能となる。
【0057】
一致する画素の強度値は合計され、明るい高解像度画像を生成することができる。
【0058】
図7に示すシステムでは、シャッターアレイ8は、CCDセンサーデバイス4から距離をおいて配置されている。2セットのレンズが設けられ、第1セット24はシャッターアレイ8の前に位置づけられ、シャッターアレイ上に被写体14の画像の焦点を合わせるために配置されている。第2レンズセット26は、シャッターアレイとCCDセンサー4との間に位置づけられ、CCDセンサー4上に、シャッターアレイ面中に形成された画像の焦点を合わせる。シャッターアレイ8は、例えば、強誘電性LCDシャッターアレイであるので、必要に応じて、センサーアレイからの光を遮断させるために、または光をセンサーアレイに透過させるために役立つ。
【0059】
図8に示したシステムでは、高速デジタルミラーデバイス(DMD)28が、一対の対物レンズ30の焦点面に配置され、この一対の対物レンズ30が、DMD28の表面上に被写体14の画像の焦点を合わせる。DMD28は、ランダムにアクセス可能なマイクロミラー32を有し、これらのマイクロミラー32は、駆動電圧をかけることにより前後に傾斜可能である。毎秒16,000の完全なミラーパターンアレイが可能な1024×768の双安定マイクロミラーの0.7”アレイのDMDアレイは、容易に入手可能であり、この用途に適している。
【0060】
マイクロミラー32は、入射光をCCDセンサーアレイ34に反射させる第1角度にトグルスイッチで切り替え、または、光をライトトラップ36に反射させる第2角度にトグルスイッチで切り替えることができる。第2レンズセット38が、DMD28とセンサー34との間に設けられ、DMDの表面上に形成された画像をセンサー34上に再度合焦させる。DMD28は、このように、個々の画素への入射光の露出を制御するために操作される。
【0061】
上述の例は、全て動的マスキングを用いており、ここでは、例えばLCDシャッター装置またはDMDアレイにより、光は、画素から物理的に遮断されている。これに代えて、静的なチップ上のマスキングを用いて本発明を実装することも可能で、この場合、画素からセンサーチップのマスクされた電荷保持部上に電荷を順次伝送することにより、物理的なマスクの効果を模倣する。この方法を利用したセンサーの実施例を、図9中に概略的に示す。
【0062】
図9中のセンサー40は、活性画素42の列に分けられ、この活性画素は、マスクされた画素44の列により分離されている。マスクされた画素44は、不透明のマスクにより入射光から遮蔽されているので、画像取得のプロセスには直接貢献しない。その代わりに、これらは、電荷貯蔵デバイスとして役立ち、各マスクされた画素44は、隣接する活性画素42に連結されている。作動時には、電荷は、列ベースで、マスクされていない活性画素の列から、マスクされた不活性の画素の列へとシフトされる。センサーは、例えば、図9に示すように、4つの画素サブセットで配置され、これらの4つの画素サブセットは、この場合、画素サブセット1、画素サブセット2、画素サブセット3、画素サブセット4と番号が付けられている。画素サブセットは、露出群46中に配置され、各露出群は、各画素サブセットからの画素部材の列を1つ有する。
【0063】
1つの画素サブセット内の画素は、露出時間の間、光に露出されており、電荷は、その後、デジタル化されるために、マスクされた画素の隣接する列に転送される。このプロセスは、各画素サブセットについて順に繰り返されるので、各高解像度のフルフレーム画像内に、時間に依存する4つの低解像度の画像が形成される。これらの組み込まれた低解像度の画像は、順次ムービーとしてみることができ、または共に組み合わされて、単一の高解像度の静止画像を形成する。
【0064】
電荷がマスクされた画素上に転送されると、マスクされていない画素は、次の画像を獲得するために、再度光に露出できる。
【0065】
フレーム転送アーキテクチャを用いた静的なチップ上のマスキングプロセスの例を以下に挙げる。
【0066】
ここで、M個の列を有するフレーム転送CCDを考慮するが、この場合、チップのある部分が光に露出し、単一の高解像度の画像が、Ti秒毎に取得される。隣接するN個の列からなる複数の露出群が割り当てられ、各群の個目の列がマスクされた領域へと同時に転送を行う。
【0067】
CCD上の全てのn個目の列から、蓄積された電荷が、(n×Ti)/Nにおいて迅速にマスクされた領域に転送され、その結果、全ての列の電荷がTi秒内に転送される。これが繰り返され、画素の各列が、全部でT秒の間に、交互に光を積分させることができる。
【0068】
任意のサブ期間における列nの任意の画素上の電荷は、先行する列中の隣接する画素と差し引くことにより、演算されることができる。
【0069】
上述のスキームの例として、幅1000画素の撮像領域が、4列のそれぞれ250画素の露出群にわけられ、フレーム積分時間が1秒であるとする。各露出群の第1列は、t=0.25秒においてマスクされた領域にシフトされ、第2列はt=0.5秒においてシフトされ、第3列はt=0.75秒においてシフトされ、第4列はt=1秒においてシフトされる。電荷がいずれかの列からシフトされると、その画素は光を積分しつづけ、そして、1秒後にマスクされた領域にシフトされる。(したがって、列1はt=1.25秒、2.25秒などで電荷がシフトされ、列2はt=1.5秒、2.5秒などでシフトされる。)
【0070】
あるいは、電荷を画素からマスク下に移動させ、その後積分する画素に戻すことにより、光の一時的な遮断を用いたプロセスを実装することも可能である。別の可能性として、CMOS検出器を用いて、単一の高解像度の画像取得内に、異なる時点で画素から電荷を貯蔵することも可能である。
【0071】
本発明の別の可能な実装例を、図10に示す。この実施形態では、センサーデバイス50は、640×640個の画素アレイ有し、ここで画素52と対応するシャッター部材(不図示)とは、100個の画素群54中に配置され、各画素群は、8×8個のアレイに配置された64個の画素を有する。使用時には、各群54内のこの64個の画素52が順次露出され、例えば、図10中の画素52上に記した番号1〜64に示す順序で露出される。この実施形態では、各画素群54内の画素は同じ順序で露出され、この順序は連続して露出される画素が互いに確実に空間的に隔てられているように設計されていることが留意されている。この例では、露出されるべき第1画素が列1行1にあり、第2画素が列5行1にあり、第3画素が列1行5にあるなどとなっている。
【0072】
異なる組み合わせの画素の出力信号を処理することにより、センサーデバイスにより獲得される画像のフレームレートと解像度との双方を調整することができるが、これは、時間分解能に対して空間解像度をトレードオフすることにより行われる。例えば、センサーデバイスにより獲得された各フルフレーム画像を、640×640画素の高解像度の静止画像として表示することも可能であるし、一連の64個の80×80画素の低解像度の画像として表示することも可能である。あるいは、画素1〜4を1つのサブセットにまとめ(これらは、互いに、短時間内で露出されているので)、画素5〜8も同様にまとめることもでき、その結果、元の64画素群内に16の画素サブセットを生じさせることができる。同様の操作を、全ての画素群において行うことができ、これにより、16個のフレームの160×160画素の一連の画像となる。
【0073】
さらに、時間的に隣接する画素をまとめることにより、時間分解能と空間分解能とをさらに組み合わせることが可能となる。例えば、図10に示したシステムにおいては、画素1〜16(点付きの背景)はまとめられ第1サブセットを形成し、画素17〜32(縞付きの背景)はまとめられ第2サブセットを形成し、画素33〜48(斜線付き背景)はまとめられ第3サブセットを形成し、画素49〜64(白い背景)はまとめられ第4サブセットを形成する。これらのまとめられたサブセットによる低解像度の画像は、4つのフレーム、すなわち320×320画素の一連の画像を提供するために生成される。より一般化して述べると、A個のシャッター部材のシャッター装置内に、四角形状のN画素のセンサーがある場合には、4m×D2=Aの場合、4mのシャッター部材の一連の画像を作成することができる。ここで、Dは一連の画像中の各画像の規模(幅および高さ)に等しい正の整数であり、mは正の整数である。これにより、元のシャッター群が十分なシャッター部材を有するという前提の元で、ユーザは、画像が獲得された後で、一連の低解像度の画像の最適の空間解像度および時間解像度を決めることができる。もちろん、まとめられたサブセット中のシャッター部材は必ずしも正確に同時に露出されないので、新たにまとめられた一連の画像内の画像には、いくらかの歪曲がありうる。例えば、図10に示されたシステムにおける4つのフレームの320×320画素の一連の画像は、例えば、図2〜4において得られる4つの部材の一連の画像よりもはっきりしていないであろう。
【0074】
上述のスキームのさらなる変形例では、画素群サイズが十分大きく、順次露出される画素が離れている可能性が極めて高い場合には、ランダムに位置づけられた画素を用いることができる。原理的には、画素群サイズは、1つの群の画素のこの数と同じ程度大きくすることができ、これにより、最適な一連の画像を得るために、ユーザは時間的に隣接する画素をまとめることができる。
【0075】
本発明には様々なアプリケーションが考えられる。以下に、その中のいくつかについて説明する。
【0076】
消費者用カメラについて
【0077】
本発明は、主には静止画像を獲得することを意図しているが比較的高解像度および比較的高フレームレートでムービーを獲得する可能性があるカメラ内に実装することができる。例えば、上述したように、一連の8.2メガピクセルの画像を、毎秒5フレームの速度で撮ることができるカメラは、毎秒50フレームのフレームレートで0.8メガピクセルの画像の一連ムービーを提供することができる。
【0078】
消費者に対する利点は、元の高解像度の写真を保存することができ、データ記憶要件(メモリ中の画像サイズ)は、従来のデジタルカメラと同じにすることができるという点である。アプリケーションには、映像取得および防犯カメラの運用があり、詳細な場面用の高解像度画像と低解像度一連の画像との同時獲得が可能になる。
【0079】
カメラの基本的な要素を、図11に概略的に図示する。このカメラ60は、CCDセンサー64上に画像の焦点を合わせるレンズ62を有する。LCDシャッターアレイ66が、このセンサー64の前に取り付けられ、各画素の入射光に対する露出を制御している。LCDシャッターアレイ66の動作は中央演算ユニット(CPU)68により制御され、この中央演算ユニット(CPU)68は、センサー64からのデータを読むために、センサー64とも接続されている。このデータは、例えばフラッシュメモリカードであるメモリデバイス70に記憶される。カメラは、シャッターリリース部72と、CPU68に連結された制御スイッチ74とを有し、この制御スイッチ74は、例えば、カメラの操作モードを設定するために用いられうる。これらのモードは、例えば、「ムービー/静止画」モード(カメラが、各高解像度の内に,時間的に隔てられたlos−res画像セットを獲得し、これをムービーまたは高解像度の静止画像として見ることができるモード)、または、「静止画のみ」モード(最低限のモーションブラーで静止画像を形成するために画素が全て同時に露出されるモード)を含む。このカメラは、これ以外の従来の特徴も含むことができ、これらは、例えば、ファインダーと、設定をチェックするためまたは獲得画像を見るための表示ユニットと、絞り開口、焦点距離およびレンズ62の焦点合わせを制御するためのレンズ制御部と、フラッシュユニットと、データ出力ポートとなどである。
【0080】
科学撮像について
【0081】
時間的に解像度の高い検出器に対する大きな要望により、特殊で高価なカメラシステムができたが、このカメラシステムは、非常に低い空間解像度(例えば、80×80の画素を有し1KHzで動作しうるマルコーニ(Marconi)CCD39)、または、低いダイナミックレンジ(例えば、場面間のダイナミックレンジの劇的な低減を犠牲にして、フレームレートが高い場合に生じる高いフレーム読み取り雑音を補償するためのゲイン上昇機構を有する強化CCDおよびEMCCD)を有する。これ以外の利点については、後述する。
【0082】
現在、高時間解像度と高空間解像度とを真に同時に可能とした撮像様式は存在しない。この技術は、多くの生物学上の問題に容易に適用可能になる。例えば、心筋運動を高空間解像度でモニターすることができ、高時間解像度で心臓の電気的活動をモニターすることができるであろう。
【0083】
科学グレード(scientific grade)の高解像度メガピクセルのCCDは、(ビット深度および内部のカメラ回路によるが)単一のフレームを0.1〜1秒で積分することができる。従来の方法では、最も科学グレードの高解像度CCDおよびEMCCDシステム中の読み取り速度を、「チップ上のビニング(onchip binning)」と称する技術を用いて上げることができるが、この際、隣接する画素がチップ上に「グループ分け」され、より高速に読み出すことができる。高速化は、しばしば、N×Nのビニングスキームで、N程度で行われる。このNという因子は、ここで提案された技術により達成されうる因子よりも小さい。さらに、ビニングされた画像は、高空間解像度データを含んでいない。
【0084】
この新しい技術により、(長方形ではない)任意の形状の露出群を規定することが可能となり、これにより、研究者は、撮像される場面のまさにその特徴に応じて、速度と解像度とを最適化することができる。
【0085】
フレームレートは、低い空間解像度が容認できる場合に、非常に高くすることができる。提案された技術により、高いダイナミックレンジでかつ1ミリ秒未満のフレーム時間で場面を撮像することができる。これは、低雑音でダイナミックレンジの高い科学分野の検出器を用いて現在達成が可能な速度よりも著しく速い。
【0086】
信号対雑音比(S/N)の改善。さらなる重要な利点は、この提案した技術により、チップ上のビニングを用いて等価なフレームレートにおいて可能である全フレーム読み出しレートよりも、全フレーム読み出しレートを遅くすることができるという点である。これにより、S/N比が顕著に改善するという結果になるが、これはより高い速度では、読み取り雑音が、信号品質において支配的であるからである。
【0087】
新規なアンダーサンプリングプロトコルが使用可能となることにより、この技術を用いて、空間解像度および時間解像度をさらに改善することができると予想される。可能な一例は、時間解像度を改善するために(ロンブ・ピリオドグラム(LombPeriodogram)を介して)画素レベルで不規則なアンダーサンプリング時間を用いることである。これは、現在入手可能な撮像技術では、可能ではない。
【0088】
防犯/機械視覚について
【0089】
変化する3D場面をモニターするために用いられるカメラは、監視アプリケーションおよびロボット工学/機械視覚の分野で一般的であるが、このカメラは、いくつかの課題に直面する。1つの問題は、被写体がカメラに対して相対的に動くと、センサーを横断するこの画像の移動の大きさは、カメラから被写体までの距離に反比例する。これにより、カメラに近い被写体では、モーションブラーがより顕著になり、必要な詳細が曖昧になる。例えば、路上または建物のロビー中を歩いている人のグループの監視は、人がカメラの近くにいると、その人らの顔の画像がぼやける。画像全体のシャッター時間を短くすると、遠い被写体から集められた総光量が少なくなるので、カメラから遠い被写体の画像品質が劣化する可能性があるであろう。
【0090】
本発明は、1つのフレーム内のシャッター群の数を変えて(これにより、時間解像度および空間解像度ならびに全露出時間を変えて)、その場面内のいくつかの被写体の撮像を最適化することにより、この問題に対処することができる。より有用には、カメラにより近い被写体は、これに比例してより大きくなり、空間解像度の要求度が低くなり、時間解像度を大きくすることが可能になる。シャッター群のサイズは、場面の先験的な知識を用いて選択可能である。(たとえば、高速道路で走る車を、交通の流れの方向に直面して高い位置にあるカメラでモニターする場合、車は画像の上の方向に向かい比例して小さくなり、車ごとの平均画素数を維持するために、シャッター群サイズを段階的に変化させることができる。)あるいは、シャッター群のサイズは、アルゴリズム的方法を用いて動的に選択することができる(例えば、ベルトホールド(Berthold)およびシャンク(Shunck)著、「オプティカルフローの決定(DeterminingOptical Flow)」、技術レポート(TechnicalReport)、MIT,1980年に説明されているような、静止画像中のモーションブラーからオプティカルフローを得ることによりこれを行う)。または、このシャッター群のサイズは、測距装置(例えば、レーザー測距離器またはそれに類似したもの)を用いて動的に選択することができる。
【0091】
これに加えて、特に対象となる領域は、画像の大部分の中で用いられているシャッター群のパターンには依存しない、これとは異なる解像度で撮像可能である。例えば、交通をモニターしているカメラは、適切に選択した画素の四角形状の露出時間を制御することにより、車のナンバープレートの部分について、高い空間解像度画像を得て、車の動きについては低い空間解像度でモニターすることができる。
【0092】
車の速度検出とナンバープレート検出とは、このようなシステム中にレーダー装置を用いることなく、(十分大きなシャッター群を用いて)低い空間解像度で車の動きを連続的にモニターするカメラを用いて達成することができる。コンピュータアルゴリズムは、車の速度を演算し、シャッター群を動的に変えて、場面全体を撮像するか、または、必要に応じて高い解像度でナンバープレートのみを撮像するであろう。
【技術分野】
【0001】
本発明は、画像取込装置および画像取込方法に関し、これ以外を排他するわけではないが、とりわけ、静止画像および動画(ムービー)の双方を獲得するための装置および方法に関する。
【背景技術】
【0002】
電子カメラは、一般に、スチルカメラとビデオカメラという2つの大きな分類に分けられる。しかしながら、これらの2種類のカメラはある程度重複する。例えば、ムービーおよび静止画像の双方を獲得することができる「ビデオ」カメラもある。
【0003】
一方で、スチルカメラの中には、「ムービー」機能を有するものがあり、この機能では、カメラは一連の画像を獲得することができる。続いて、これらの画像は、ムービーとして示されることができる。本発明は、主に(これ以外を排他するのではないが)後者の種類のカメラに関する。
【0004】
電子カメラは、一般に、感光検出器または感光画像素子(画素)のアレイを有する画像取込装置またはセンサーを有する。動画ないしムービーは、センサーにより検出された一連の画像を記録することにより獲得されることができる。
【0005】
一連の画像が獲得可能である速度(フレームレート)は、部分的には、センサーのサイズ(すなわち、アレイ中の画素数)に依存し、センサーからデータが読まれうる(デジタル化されうる)速度により制限される。高速で撮像センサーから情報を読むことにより、雑音(読み取り雑音)が発生し、この雑音により画像の信号品質が低下する。したがって、センサーが多数の画素数を有する際には、フレームレートは、一般的にやや遅くなるであろう。画素がより少なく、小さなセンサーでは、より高いフレームレートを提供しうるが、画像の解像度はこれに応じて低くなる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の目的は、上述の欠点を少なくともいくらか軽減した画像取込装置および画像取込方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、活性領域(active area)を持つセンサーを備えた画像取込装置が提供され、活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、活性領域はこれらの画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の(lo−res)画像を複数獲得するように構成および配置され、各低解像度の画像は、異なる画素サブセットからのデータを含む。
【0008】
本発明では、時間的に隔てられた低解像度の画像のセットが、各高解像度(hi−res)の画像内に組み込まれる。その後、組み込まれた低解像度の画像は、順次、ムービーとしてみることができる。あるいは、これらの画像中のデータは組み合わされ、単一の高解像度の画像を形成することができる。したがって、ムービーおよび静止画像は、同時に獲得できる。この装置では、これと等価のセンサーデバイスを用いて現在達成されうるよりも高いフレームレートでムービーを獲得することができ、低解像度の画像での空間解像度は、高解像度の画像の空間解像度よりも低いが、多くの用途にはそれでも十分である。解像度対フレームレートのバランスを、容易に調節することができる。さらに、空間解像度を失うことなく、装置のデータ記憶要求を顕著に高めることなく、静止画像を獲得することができる。
【0009】
より有利には、画像取込装置は、前記複数の低解像度の画像内のデータを組み合わせることにより、高解像度の画像を獲得するように構成および配置されている。
【0010】
より有利には、少なくとも1つの画素サブセットが、センサーの実質的に全活性領域の画素を含む。これにより、このような1つの画素サブセットから形成された各低解像度の画像は、フルフレーム画像となる。あるいはこれに加えて、少なくとも1つの画素サブセットが、センサーの全活性領域より小さい領域の画素を含むことができる。これにより、異なる場面の部分が、異なる空間解像度および時間解像度で撮像される。これは、特定の防犯カメラまたはロボット工学においては有用である。
【0011】
画像取込装置は、複数のシャッター部材を有するシャッターアレイを備えることができ、各シャッター部材は個々の画素の露出を制御するためのものである。あるいは、各シャッター部材は、2つ以上の画素の露出を制御してもよく、事実上1つの画素よりも大きい。あるいは、各シャッター部材は、事実上1つの個々の画素よりも小さくてもよく、各画素の露出は複数のシャッター部材により制御される。
【0012】
シャッターアレイは、不透過率または反射率が変動するシャッター部材を複数個有することができる。シャッターアレイは、センサーの活性領域上またはセンサーの前に(好ましくは、合焦装置が、シャッターアレイとセンサーとの間にあって)取り付けられることができる。
【0013】
あるいは、シャッターアレイは、配向性が変動するシャッター部材を複数個有することができる。シャッター部材はミラーを有することができ、ミラーは、光をセンサーに向ける方向に、または、センサーから離れた方向に反射するよう配向できる。
【0014】
この画像取込装置は、好ましくは、シャッターアレイの作動を制御するための制御装置を有する。これは、例えば、画素サブセット(センサー上の画素のフルセットがこのサブセットに分けられる)の数、画素サブセットの露出時間およびこれらの露出の相対的なタイミング、ならびに、装置の動作モード(例えば、ムービー/静止画モードまたは静止画のみモード)を制御することができる。制御装置は、所定のランダムまたは擬似ランダムの順序でシャッター部材を活性化するように構成および配置することができ、これは後に、一連の高速画像を復号化するために再構成されうる。制御装置は、スイッチ部材が全て同時に活性化される代替的な動作モードを提供するように配置されてもよい。
【0015】
別の好適な実施形態によれば、各画素が、電荷が画素から転送されうる電荷貯蔵デバイスに関連付けられ、画像取込装置は、前記複数の時間的に隔てられた低解像度の画像を獲得できるように電荷の転送を制御するための制御装置を有する。このシステムでは、シャッターアレイは必要ではなく、装置の構成が単純になる。
【0016】
本発明の別の態様によれば、上記請求項のいずれか1項に記載の画像取込装置と、センサー上の活性領域上に光の焦点を合わせるレンズとを有するカメラが提供される。
【0017】
このカメラは、獲得画像を表示するための表示装置を有することができ、この表示装置は、単一の高解像度の画像または一連の低解像度の画像を表示するように構成および配置されている。
【0018】
より有利には、このカメラは、画素サブセットの露出を制御するための制御装置を有する。
【0019】
本発明の別の態様によれば、複数の画素を有する活性領域を持つセンサーを備えた画像取込装置を用いて画像を獲得する方法が提供され、この方法は、センサーを露出させる工程と、各画素の露出を表すデータを記憶する工程と、時間的に隔てられた低解像度の画像を複数個獲得する工程を含み、前記画素が、複数の画素サブセットを有し、各低解像度の画像は、前記画素サブセットのうちの異なる1つの画素サブセットからのデータを含む。
【0020】
より有利には、この方法は、画素サブセットを、順次好ましくは所定のランダムまたは擬似ランダムの順序で、露出させる工程を含む。あるいは、最小限のモーションブラーを含む高解像度の静止画像を獲得するために、画素サブセットを同時に露出させてもよい。
【0021】
より有利には、この方法は各画素上の電荷を電荷貯蔵デバイスに転送する工程と、その後貯蔵された電荷をデジタル化する工程とを含む
【0022】
この方法は、複数の低解像度の画像からのデータを組み合わせることにより、高解像度の画像を作成する工程と、好ましくは前記高解像度の画像を表示する工程とを含むことができる。
【0023】
この方法は、前記時間的に隔てられた一連の低解像度の画像を表示する工程も含んでもよい。
【0024】
ここで、本発明の実施形態を、添付の図面を参照した例示により説明する。
【図面の簡単な説明】
【0025】
【図1】本発明の第1実施形態による画像取込装置を概略図示した直交正面図である。
【図2】この画像取込装置の小さい部分を拡大して示した正面図である。
【図3】図2の画像取込装置中の各シャッター部材用のシャッター露出時間を示したチャートである。
【図4】画像取込装置により一連の画像が獲得されうる方法を示した図である。
【図5】画像取込装置の正面図であり、一連の動作の一例を示した図である。
【図6】本発明の第2実施形態による画像取込装置の光学系を概略図示した側面図である。
【図7】本発明の第3実施形態による画像取込装置の光学系を概略図示した側面図である。
【図8】本発明の第4実施形態による画像取込装置の光学系を図示した側面図である。
【図9】本発明の第5実施形態による画像取込装置の小さい部分を示した正面図である。
【図10】本発明の第6実施形態による画像取込装置の小さい部分を拡大して示した正面図である。
【図11】本発明の画像取込装置を有するカメラの主要な部品を図示した概略図である。
【発明を実施するための最良の形態】
【0026】
本発明の第1実施形態による画像取込装置を、図1〜図4に示す。画像取込装置2は、センサー4を有し、このセンサー4は、長方形アレイの感光画像素子(画素)6を有する活性領域を備えている。センサー4は、例えばCCDもしくはCMOSデバイスまたはこれの等価物でありうる。この例では、センサー4は、1つのメガピクセルCCDであり、幅1000画素、高さ1000画素の長方形のアレイを有する。センサーは、もちろんこれより大きくても小さくてもよいし、別の縦横比を有してもよく、また画素は異なるパターンで配置されてもよい。
【0027】
センサー4の直前に取り付けられているのは、電子シャッター装置8であり、これは、画素サイズのシャッター部材10のアレイを有する。シャッター部材10は、センサー4の画素6に合わせられ、これと一列に並んでおり、その結果、各シャッター部材が、下にある画素の光への露出を制御している。したがって、この例では、シャッター装置8は、1000×1000のアレイに配置された100万個のシャッター部材10を有する。各シャッター部材10は、これ以外の1つまたは複数のシャッター部材には依存せずまたはこれに同期して活性化され、下にある1つまたは複数の画素6を露出させる。
【0028】
この例ではシャッター装置8は、強誘電性液晶デバイスからなり、これは、電圧をかけることにより透明または不透明にすることができる液晶セルのアレイを有する。これにより、シャッター部材10は非常に迅速に作動することができる。この機構には可動部品がないので、頑健性があり信頼性がある。あるいは、電子的に制御可能でかつ必要な画素レベルのシャッター機能を有するこれ以外の任意のシャッター機構を用いてもよい。
【0029】
より一般的に述べると、シャッター装置8はA個のシャッター部材を有し、これらが、N個のサブセットに分けられるが、これらをサブセット1、サブセット2…サブセットNと称する。各サブセットは、A/N個のシャッター部材を有する。この例では、シャッター装置は、100万個(A)のシャッター部材を有し、シャッター部材10の4個のサブセット(N)を有し、各サブセットは250,000個のシャッター部材を有する。シャッター部材10の下にある画素6は、これに対応する画素サブセットを形成する。
【0030】
異なるサブセットのシャッター部材10をシャッター群12に配置し、各シャッター群は、各サブセットからの1つのシャッター部材を有する。この例では、図2に示したように、各シャッター群12は、4つのシャッター部材10を有し、これらは四角形状に配置され、サブセット1のシャッター部材10Aは左上角に、サブセット2のシャッター部材10Bは右上角に、サブセット3のシャッター部材10Cは左下角に、サブセット4のシャッター部材10Dは右下角に配置されている。したがって、シャッター装置8は、250,000個のこのようなシャッター群を有している。画素も、同様に画素サブセットと画素群とに配置されており、各群が、各サブセットの1つの画素を有している。複数の画素群で、センサー4の活性表面の実質的に全体を覆っており、したがって、各画素サブセットは、センサーの実質的に全活性領域の画素を含んでいる。
【0031】
各サブセット中のシャッター部材は、電子的に連結されており、このサブセット中の全シャッター部材は、制御電子系により決められて、同時に開閉する。この例では、4つのシャッターサブセットが、図3に示すように、順次開くように配置されている。
【0032】
したがって、シャッターサブセット1が0.25秒間開き、続いて、サブセット2が次の0.25秒間開き、サブセット3が別の0.25秒間開き、最後にサブセット4が第4の0.25秒間開く。これゆえに、全サブセットの全積分時間Tiは1.0秒であり、各画素の個々の露出時間は、Ti/N(この場合、0.25秒)である。
【0033】
各露出時間の間、開いているシャッター部材の下にある画素は、露出時間の間、光に露出される。しかし、画素は、すべて同時に露出されるのではない。むしろ、対応するシャッター部材が開いたり、閉じたりするのにしたがって、画素は順次露出する、したがって、サブセット1のシャッター部材の下にある画素は、最初の0.25秒間露出し、続いて、サブセット2・3・4中のシャッター部材の下にある画素が露出する。
【0034】
露出中、各画素は、光子がその表面に当たる際に生成される電荷を積分する。設定された積分時間Ti後、全ての画素上の電荷は、デジタル化され、結果として得られるデジタル画像データが、センサー4からメモリデバイスに転送される。
【0035】
記憶された画像データは、動画(ムービー)または静止画像として表示されうる。ムービーとして画像データを表示するために、各画素サブセットにより獲得された画像データから、別の画像を作成する。したがって、図4に示すように、画像1は、画素サブセット1中の全ての画素により獲得された画像データから作られ、第1の0.25秒の期間中にセンサー上に入射した光を表す。画像2は、画素サブセット2中の全ての画素により獲得された画像データから作られ、第2の0.25秒の期間中にセンサー上に入射した光を表し、画像3および画像4についても同様である。その後4つの画像は、順次、4フレームの動画像列として表示される。表示された低解像度の画像中における各画素の位置は、シフトされていてもよいが、これは、画素がわずかに異なるがわかっている位置からデータを収集することを考慮に入れるためである。ムービーの各フレームは、250,000画素の画像サイズを有し、これは、全センサーの解像度の4分の1である。フル画素セットを用いて生成した高解像度(hi−res)の画像と区別するために、これらの画像を低解像度(lo−res)の画像と称する。
【0036】
拡張された動画像列が必要である場合、このプロセスを1回以上繰り返すことができ、これにより、Ti秒毎に1つのデータセットの速度で、複数のデータセットが獲得され、その後、獲得された低解像度の画像が順次表示されうる。
【0037】
静止画像を表示するためには、センサー上の全画素のデータを用いて、フルフレームである高解像度の画像を作成する。この例では、これは、1メガピクセル画像である。これは、4つ全ての低解像度の画像からのデータを組み合わせて、1つの高解像度の画像を作成することにより達成される。
【0038】
各サブセット中の画素の位置は、図2に示すような規則的なパターンに従う必要はない。乱数発生器をユーザが提供したシード値と共に用いて、露出群内での各画素の位置をシャッフルした数値スキームを実装することにより、シャッター群内で外見上ランダムな位置を選択することができる。これを図5に図示したが、ここでは、画素群サイズが4つである仮想の6×6の画素アレイについて図示している。数値スキームは、シャッフルした一連の整数を生成し、上述と同様、画素群はその画素群中の各画素を、全積分時間の部分区間の間露出させるが、タイミングは、シャッフルされた順序により与えられる。
【0039】
図2中のシャッフルされていない整数の順序である((1,2,3,4),(1,2,3,4)(1,2,3,4)....)では、第1シャッター群の左上に位置づけられている画素6Aは、0〜0.25秒の間開き、第1シャッター群の右上に位置づけられている画素6Bは、0.25〜0.5秒の間開くなどが示される。値が規則的なパターンで繰り返されるので、各画素群の露出時間は同じである。
【0040】
これとは対照的に、図5で示されたシャッフルされた順序((3,2,1,4),(4,1,2,3)(2,3,1,4)....)では、第1シャッター群の最も左上の画素6Aは,0.5〜0.75秒の間開き、第1シャッター群の右上の画素6Bは,0.25〜0.5秒の間開き、第1シャッター群の左下の画素6Cは,0〜0.25秒の間開き、第1シャッター群の右下の画素6Dは,0.75〜1.0秒の間開くことが示される。第2露出群は異なる開き時間の順序を有する。第2シャッター群の左上の画素は,0.75〜1.0秒の間開き、右上の画素は,0〜0.25秒の間開くなどである。さらに、この順序は、順に撮られるフレームについて繰り返されることはなく、0〜1秒の間の露出のパターンは、1〜2秒の間の露出パターンとは異なり、その後の各フレームについても、シャッフルされた順序の長さに依存する。
【0041】
このランダムのシャッタースキームには、2つの利点がある。まず第1に、画素間の平均的な距離が同じであっても、低解像度画像中の各画素の位置が、ランダムに割り当てられる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第4574311号(発明の名称「ランダムセンサーデバイスアレイ(RandomArray Sensing Devices)」、発明者、レスニコフ(Resnikoff)、ポッジオ(Poggio)およびシムズ(Sims))に十分説明されている。第2に、一連の低解像度画像は、正しいタイミングを与えるシャッフルされた整数の順序がわかっている場合のみ、回復可能である。キーが与えられる乱数発生アルゴリズムを内蔵するアルゴリズムによってシャッフルされる順序が生成される場合、その後、一連の像を見る人がこのキーを与える場合のみ、この一連の像が回復可能である。これにより、一連の像は暗号化され、権限のない人が見ることはできないように保護される。
【0042】
図2および図5に示すような長方形形状に加えて、シャッター群は、不規則な多角形形状を有しうる。シャッター群は、これゆえに対象の領域を正確に覆うことができ、不必要な画素を取り除く。生命科学分野での1つの可能な使用例は、ユーザが、顕微鏡の視野中で、少数のセルの活動をモニターしたい場合である。ユーザは、対象とするセルの周りで多角形状を描き、アルゴリズムは、この形状内の画素を異なる時点で露出される群に分けることができる。
【0043】
センサーにより撮像された被写体が露出時間中に動いた場合、画像は「モーションブラー」をいくらか含みうる。モーションブラーの量は、全ての画素が同時に露出される従来のスチルカメラセンサーの場合よりも、一般に大きいであろうが、これは、全積分時間が、個々の画素の露出時間よりも長いためである。しかしながら、ほぼ動かない被写体または全く動かない被写体については、画像の品質は、従来のセンサーの場合と実質的に等しい。
【0044】
あるいは、様々な異なる画像獲得モード、例えば、「ムービー/静止画モード」(上述のようにシャッター部材が順次活性化されるモード)、または、「静止画のみモード」(全てのシャッター部材が同時に動作するモード)から選択することもできる。ムービー/静止画モードでは、獲得されたlos−res画像は、ムービーとして順次見ることもできるし、または共に合わせて(場合によっては、モーションブラーを少し含んだ)高解像度の画像として見ることもできる。静止画のみモードでは、モーションブラーは、従来のセンサーの場合のモーションブラーと同程度であるが、時間的に隔てられたlos−res画像のセットは獲得されないので、画像を順次ムービーとして見ることはできない。
【0045】
あるいは、設定された画素数を用いて、ぼやけていない高解像度画像を得る一方で、この残りを用いて、上述したように一連の低解像度画像を得ることができる。高解像度のぼやけの少ない画像を得るための画素の数は、所望の写真の品質を確保するためにユーザが選択できる。例えば、画素の50%を、高解像度のぼやけていない画像を作成するためにあて、ここで、このサブ群の画素は、全アレイに渡って分布している。これらの画素は、ぼやけていない画像を得るためにユーザが設定した最適な露出時間に等しい短い時間の間、同時に露出される。残りの画素は、上述と同様N−1個の群に分けられ、一連のムービーを生成するために、順次露出される。高解像度群中への画素の分布は規則的(例えば、毎秒1画素)にすることができる。または、画素はランダムにまたは擬似ランダムに分布させることができる。その結果、規定された画素のサブ領域に渡って画素の平均的な密度は一定であるが、この領域内の各画素は、周知のランダム分布を用いて選択される。高解像度画像中に欠如した画素は、利用可能な様々な信号処理技術のいずれかを用いて補償できる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第4574311号(発明の名称「ランダムセンサーデバイスアレイ(RandomArray Sensing Devices)」、発明者、レスニコフ(Resnikoff)、ポッジオ(Poggio)およびシムズ(Sims))に十分説明されている。
【0046】
画素と同数のシャッター群を有することに加えて、異なるサイズのシャッター群を用いて、場面の一部を撮像することにより、複数の解像度の画像を構築することも可能である。例えば、検出器の上半分は、サイズ4のシャッター群を用いて撮像し(この結果、フルフレームを取得する間に、4つの低解像度の画像が収集される)、検出器の下部分を、サイズ9のシャッター群を用いて撮像することもできる(この結果、フルフレームを取得する間に、9つの低解像度の画像が収集される)。
【0047】
原理的には、ユーザの要求に基づいて、任意の異なる数のフレーム群を用いることができる。可能な用途として、ある場面中の複数の動く被写体をモニターし、被写体ベースで最適の設定(フレームレートに対する解像度)を採用することも可能である。撮像された場面中での変化に対処するために、シャッター群のサイズと形状とは、フレーム毎ベースで動的に変更可能である。
【0048】
ある特定の状況では、各シャッター部材が2つ以上の画素の露出を制御するようにシャッター部材のサイズが選択可能である。各シャッター部材の有効サイズは、個々の画素よりも大きい。これにより、シャッター部材の数が画素の数よりも少ないシャッター装置を使用できる。あるいは、各シャッター部材が、個々の画素よりも事実上小さくてもよく、各画素の露出が、複数のシャッター部材により制御される。これは、ある特定の状況では、焦点を合わせるのに役立つが、これは、異なるシャッターを用いてレンズ中の軸上歪曲に対処することができるからである。各フレームについて、異なるシャッターセットを開くことにより、センサーの空間解像度を高めることも可能である。
【0049】
本発明を、2340×3500画素の規模の8.2メガピクセルセンサーを備えたデジタル一眼レフカメラに実装した実施例について、以下で説明する。これと等価の従来のカメラは現在入手することが可能であり、これは、毎秒5フレームの速度で、フルフレーム画像を獲得することができる。もし、本発明をこのカメラに実装すると、例えば、各フルフレーム画像内に、10個の0.82メガピクセルの低解像度の画像が獲得できるであろう。その後、これらの低解像度の画像は、順次ムービーモードで毎秒50フレームの速度で、738×1108画素のフレームサイズで見ることができる。あるいは、各低解像度の画像セットを再度組み合わせて、高解像度の8.2メガピクセルの静止画像を作成することもできる。
【0050】
もちろん、より低い解像度の画像を各フルフレーム画像中に組み込んで、より高いフレームレートを得ることができることも明らかであろう。あるいは、より低いフレームレートが適切である場合は、より高い解像度のムービーを獲得することもできる。
【0051】
上述のプロセスでは、組み込まれた低解像度の画像を作成するために用いられる連続する露出間の間隔は、各露出時間の長さと等しい。したがって、次の露出は、前の露出の終了時から開始し、全積分時間Tiは、Ntと等しい。ここで、Nは、画素サブセットの数であり、tは個々の画素の露出時間である。あるいは、露出間の間隔および露出時間を調節し、露出時間を重複させ、または間隔をあけてもよい。これにより、ユーザは、モーションブラーまたは微光の状況を補償することができる。例えば、図3に示したような0.25秒という露出時間を用いる代わりに、露出時間を0.15秒に縮めてもよい。個々の画素サブセットの露出タイミングは以下のようになりうる。すなわち、画素サブセット1は、0〜0.15秒まで、画素サブセット2は、0.25〜0.4秒まで、画素サブセット3は、0.5〜0.65秒まで、画素サブセット4は、0.75〜0.9秒までという具合である。その結果、全積分時間は、Ntよりも短くなる。
【0052】
別の例として、露出時間を0.4秒に延ばしてもよい。この場合、個々の露出タイミングは以下のようになる。すなわち、画素サブセット1は、0〜0.4秒まで、画素サブセット2は、0.25〜0.65秒まで、画素サブセット3は、0.5〜0.9秒まで、画素サブセット4は、0.75〜1.15秒までという具合である。その結果、画素サブセットの露出は重複する(サブセット1はサブセット2と重複し、サブセット2はサブセット3と重複し、サブセット3はサブセット4と重複し、サブセット4はサブセット1と重複する。)。したがって、露出間隔は、被写体が変化するまたは移動する速度により最適化することができる。
【0053】
別の変形例として、画素サブセットが、全積分時間のほんの小さな区間の間だけ順次、露出するかわりに、画素サブセットが、光が遮断される短い一時的な期間以外は、完全な積分時間Tiの期間の間は全て露出することもできる。この遮断期間は、各画素サブセットに順に適用され、遮断された期間の間の画素値を見積もることができる。なぜならば、これは、NセットのN元一次方程式であるからである。この一時的な遮断期間を、例えば、Ti/Nとする。ここで、Tiは全積分時間であり、Nは画素サブセットの数である。各個々の画素の露出時間は、Ti−Ti/Nであり、これは、Nの数が大きければ、完全な積分時間Tiに近似する。各画素からの強度は隣接する画素から干渉を受けるので、低解像度画像は誤り(errors)を含みうる一方で、このプロセスでは、微光の状況で、フル解像度フレームの画像輝度が、従来のセンサーにより撮られたフレームの輝度に近似するという利点がある。
【0054】
センサーデバイスの様々な実践的な実装形態を、図1、図6、図7および図8に示す。図1では、ランダムにアクセス可能であるLCDの画素レベルでのシャッターアレイ8が、センサーアレイ4の表面上に直接形成されている。このセンサーアレイは、例えば、CCD,CMOSまたはEMCCDデバイスである。シャッターアレイ8は、例えば、強誘電性シャッター装置であり、これは透過性が迅速に変わるため、下にある画素の入射光への露出を迅速に変えることができる。
【0055】
あるいは、シリコン上の液晶(LCOS)デバイスを用いて、図6に示すように、画素に光を反射させることも可能である。被写体14からの光は、対物レンズ16により焦点が合わせられ、偏光ビームフィルター(またはスプリッター)18によりLCOSデバイス20上に反射され、このLCOSデバイス20が、偏光された光を、ユーザが選択可能なパターンで反射させる。この光は、ビームスプリッター18を通過し、コレクタレンズ22を通って、CCD検出器を有するセンサー4上に焦点が合わせられる。
【0056】
あるいは、反射性の画素レベルシャッターが用いられる場合(LCOSまたはDMD)、遮断された画素からの光は、第1CCD検出器と一致するよう配置されている第2CCD検出器上に焦点が合わせられることができる。これにより、CCD積分期間中の光のほとんどが、獲得可能となる。
【0057】
一致する画素の強度値は合計され、明るい高解像度画像を生成することができる。
【0058】
図7に示すシステムでは、シャッターアレイ8は、CCDセンサーデバイス4から距離をおいて配置されている。2セットのレンズが設けられ、第1セット24はシャッターアレイ8の前に位置づけられ、シャッターアレイ上に被写体14の画像の焦点を合わせるために配置されている。第2レンズセット26は、シャッターアレイとCCDセンサー4との間に位置づけられ、CCDセンサー4上に、シャッターアレイ面中に形成された画像の焦点を合わせる。シャッターアレイ8は、例えば、強誘電性LCDシャッターアレイであるので、必要に応じて、センサーアレイからの光を遮断させるために、または光をセンサーアレイに透過させるために役立つ。
【0059】
図8に示したシステムでは、高速デジタルミラーデバイス(DMD)28が、一対の対物レンズ30の焦点面に配置され、この一対の対物レンズ30が、DMD28の表面上に被写体14の画像の焦点を合わせる。DMD28は、ランダムにアクセス可能なマイクロミラー32を有し、これらのマイクロミラー32は、駆動電圧をかけることにより前後に傾斜可能である。毎秒16,000の完全なミラーパターンアレイが可能な1024×768の双安定マイクロミラーの0.7”アレイのDMDアレイは、容易に入手可能であり、この用途に適している。
【0060】
マイクロミラー32は、入射光をCCDセンサーアレイ34に反射させる第1角度にトグルスイッチで切り替え、または、光をライトトラップ36に反射させる第2角度にトグルスイッチで切り替えることができる。第2レンズセット38が、DMD28とセンサー34との間に設けられ、DMDの表面上に形成された画像をセンサー34上に再度合焦させる。DMD28は、このように、個々の画素への入射光の露出を制御するために操作される。
【0061】
上述の例は、全て動的マスキングを用いており、ここでは、例えばLCDシャッター装置またはDMDアレイにより、光は、画素から物理的に遮断されている。これに代えて、静的なチップ上のマスキングを用いて本発明を実装することも可能で、この場合、画素からセンサーチップのマスクされた電荷保持部上に電荷を順次伝送することにより、物理的なマスクの効果を模倣する。この方法を利用したセンサーの実施例を、図9中に概略的に示す。
【0062】
図9中のセンサー40は、活性画素42の列に分けられ、この活性画素は、マスクされた画素44の列により分離されている。マスクされた画素44は、不透明のマスクにより入射光から遮蔽されているので、画像取得のプロセスには直接貢献しない。その代わりに、これらは、電荷貯蔵デバイスとして役立ち、各マスクされた画素44は、隣接する活性画素42に連結されている。作動時には、電荷は、列ベースで、マスクされていない活性画素の列から、マスクされた不活性の画素の列へとシフトされる。センサーは、例えば、図9に示すように、4つの画素サブセットで配置され、これらの4つの画素サブセットは、この場合、画素サブセット1、画素サブセット2、画素サブセット3、画素サブセット4と番号が付けられている。画素サブセットは、露出群46中に配置され、各露出群は、各画素サブセットからの画素部材の列を1つ有する。
【0063】
1つの画素サブセット内の画素は、露出時間の間、光に露出されており、電荷は、その後、デジタル化されるために、マスクされた画素の隣接する列に転送される。このプロセスは、各画素サブセットについて順に繰り返されるので、各高解像度のフルフレーム画像内に、時間に依存する4つの低解像度の画像が形成される。これらの組み込まれた低解像度の画像は、順次ムービーとしてみることができ、または共に組み合わされて、単一の高解像度の静止画像を形成する。
【0064】
電荷がマスクされた画素上に転送されると、マスクされていない画素は、次の画像を獲得するために、再度光に露出できる。
【0065】
フレーム転送アーキテクチャを用いた静的なチップ上のマスキングプロセスの例を以下に挙げる。
【0066】
ここで、M個の列を有するフレーム転送CCDを考慮するが、この場合、チップのある部分が光に露出し、単一の高解像度の画像が、Ti秒毎に取得される。隣接するN個の列からなる複数の露出群が割り当てられ、各群の個目の列がマスクされた領域へと同時に転送を行う。
【0067】
CCD上の全てのn個目の列から、蓄積された電荷が、(n×Ti)/Nにおいて迅速にマスクされた領域に転送され、その結果、全ての列の電荷がTi秒内に転送される。これが繰り返され、画素の各列が、全部でT秒の間に、交互に光を積分させることができる。
【0068】
任意のサブ期間における列nの任意の画素上の電荷は、先行する列中の隣接する画素と差し引くことにより、演算されることができる。
【0069】
上述のスキームの例として、幅1000画素の撮像領域が、4列のそれぞれ250画素の露出群にわけられ、フレーム積分時間が1秒であるとする。各露出群の第1列は、t=0.25秒においてマスクされた領域にシフトされ、第2列はt=0.5秒においてシフトされ、第3列はt=0.75秒においてシフトされ、第4列はt=1秒においてシフトされる。電荷がいずれかの列からシフトされると、その画素は光を積分しつづけ、そして、1秒後にマスクされた領域にシフトされる。(したがって、列1はt=1.25秒、2.25秒などで電荷がシフトされ、列2はt=1.5秒、2.5秒などでシフトされる。)
【0070】
あるいは、電荷を画素からマスク下に移動させ、その後積分する画素に戻すことにより、光の一時的な遮断を用いたプロセスを実装することも可能である。別の可能性として、CMOS検出器を用いて、単一の高解像度の画像取得内に、異なる時点で画素から電荷を貯蔵することも可能である。
【0071】
本発明の別の可能な実装例を、図10に示す。この実施形態では、センサーデバイス50は、640×640個の画素アレイ有し、ここで画素52と対応するシャッター部材(不図示)とは、100個の画素群54中に配置され、各画素群は、8×8個のアレイに配置された64個の画素を有する。使用時には、各群54内のこの64個の画素52が順次露出され、例えば、図10中の画素52上に記した番号1〜64に示す順序で露出される。この実施形態では、各画素群54内の画素は同じ順序で露出され、この順序は連続して露出される画素が互いに確実に空間的に隔てられているように設計されていることが留意されている。この例では、露出されるべき第1画素が列1行1にあり、第2画素が列5行1にあり、第3画素が列1行5にあるなどとなっている。
【0072】
異なる組み合わせの画素の出力信号を処理することにより、センサーデバイスにより獲得される画像のフレームレートと解像度との双方を調整することができるが、これは、時間分解能に対して空間解像度をトレードオフすることにより行われる。例えば、センサーデバイスにより獲得された各フルフレーム画像を、640×640画素の高解像度の静止画像として表示することも可能であるし、一連の64個の80×80画素の低解像度の画像として表示することも可能である。あるいは、画素1〜4を1つのサブセットにまとめ(これらは、互いに、短時間内で露出されているので)、画素5〜8も同様にまとめることもでき、その結果、元の64画素群内に16の画素サブセットを生じさせることができる。同様の操作を、全ての画素群において行うことができ、これにより、16個のフレームの160×160画素の一連の画像となる。
【0073】
さらに、時間的に隣接する画素をまとめることにより、時間分解能と空間分解能とをさらに組み合わせることが可能となる。例えば、図10に示したシステムにおいては、画素1〜16(点付きの背景)はまとめられ第1サブセットを形成し、画素17〜32(縞付きの背景)はまとめられ第2サブセットを形成し、画素33〜48(斜線付き背景)はまとめられ第3サブセットを形成し、画素49〜64(白い背景)はまとめられ第4サブセットを形成する。これらのまとめられたサブセットによる低解像度の画像は、4つのフレーム、すなわち320×320画素の一連の画像を提供するために生成される。より一般化して述べると、A個のシャッター部材のシャッター装置内に、四角形状のN画素のセンサーがある場合には、4m×D2=Aの場合、4mのシャッター部材の一連の画像を作成することができる。ここで、Dは一連の画像中の各画像の規模(幅および高さ)に等しい正の整数であり、mは正の整数である。これにより、元のシャッター群が十分なシャッター部材を有するという前提の元で、ユーザは、画像が獲得された後で、一連の低解像度の画像の最適の空間解像度および時間解像度を決めることができる。もちろん、まとめられたサブセット中のシャッター部材は必ずしも正確に同時に露出されないので、新たにまとめられた一連の画像内の画像には、いくらかの歪曲がありうる。例えば、図10に示されたシステムにおける4つのフレームの320×320画素の一連の画像は、例えば、図2〜4において得られる4つの部材の一連の画像よりもはっきりしていないであろう。
【0074】
上述のスキームのさらなる変形例では、画素群サイズが十分大きく、順次露出される画素が離れている可能性が極めて高い場合には、ランダムに位置づけられた画素を用いることができる。原理的には、画素群サイズは、1つの群の画素のこの数と同じ程度大きくすることができ、これにより、最適な一連の画像を得るために、ユーザは時間的に隣接する画素をまとめることができる。
【0075】
本発明には様々なアプリケーションが考えられる。以下に、その中のいくつかについて説明する。
【0076】
消費者用カメラについて
【0077】
本発明は、主には静止画像を獲得することを意図しているが比較的高解像度および比較的高フレームレートでムービーを獲得する可能性があるカメラ内に実装することができる。例えば、上述したように、一連の8.2メガピクセルの画像を、毎秒5フレームの速度で撮ることができるカメラは、毎秒50フレームのフレームレートで0.8メガピクセルの画像の一連ムービーを提供することができる。
【0078】
消費者に対する利点は、元の高解像度の写真を保存することができ、データ記憶要件(メモリ中の画像サイズ)は、従来のデジタルカメラと同じにすることができるという点である。アプリケーションには、映像取得および防犯カメラの運用があり、詳細な場面用の高解像度画像と低解像度一連の画像との同時獲得が可能になる。
【0079】
カメラの基本的な要素を、図11に概略的に図示する。このカメラ60は、CCDセンサー64上に画像の焦点を合わせるレンズ62を有する。LCDシャッターアレイ66が、このセンサー64の前に取り付けられ、各画素の入射光に対する露出を制御している。LCDシャッターアレイ66の動作は中央演算ユニット(CPU)68により制御され、この中央演算ユニット(CPU)68は、センサー64からのデータを読むために、センサー64とも接続されている。このデータは、例えばフラッシュメモリカードであるメモリデバイス70に記憶される。カメラは、シャッターリリース部72と、CPU68に連結された制御スイッチ74とを有し、この制御スイッチ74は、例えば、カメラの操作モードを設定するために用いられうる。これらのモードは、例えば、「ムービー/静止画」モード(カメラが、各高解像度の内に,時間的に隔てられたlos−res画像セットを獲得し、これをムービーまたは高解像度の静止画像として見ることができるモード)、または、「静止画のみ」モード(最低限のモーションブラーで静止画像を形成するために画素が全て同時に露出されるモード)を含む。このカメラは、これ以外の従来の特徴も含むことができ、これらは、例えば、ファインダーと、設定をチェックするためまたは獲得画像を見るための表示ユニットと、絞り開口、焦点距離およびレンズ62の焦点合わせを制御するためのレンズ制御部と、フラッシュユニットと、データ出力ポートとなどである。
【0080】
科学撮像について
【0081】
時間的に解像度の高い検出器に対する大きな要望により、特殊で高価なカメラシステムができたが、このカメラシステムは、非常に低い空間解像度(例えば、80×80の画素を有し1KHzで動作しうるマルコーニ(Marconi)CCD39)、または、低いダイナミックレンジ(例えば、場面間のダイナミックレンジの劇的な低減を犠牲にして、フレームレートが高い場合に生じる高いフレーム読み取り雑音を補償するためのゲイン上昇機構を有する強化CCDおよびEMCCD)を有する。これ以外の利点については、後述する。
【0082】
現在、高時間解像度と高空間解像度とを真に同時に可能とした撮像様式は存在しない。この技術は、多くの生物学上の問題に容易に適用可能になる。例えば、心筋運動を高空間解像度でモニターすることができ、高時間解像度で心臓の電気的活動をモニターすることができるであろう。
【0083】
科学グレード(scientific grade)の高解像度メガピクセルのCCDは、(ビット深度および内部のカメラ回路によるが)単一のフレームを0.1〜1秒で積分することができる。従来の方法では、最も科学グレードの高解像度CCDおよびEMCCDシステム中の読み取り速度を、「チップ上のビニング(onchip binning)」と称する技術を用いて上げることができるが、この際、隣接する画素がチップ上に「グループ分け」され、より高速に読み出すことができる。高速化は、しばしば、N×Nのビニングスキームで、N程度で行われる。このNという因子は、ここで提案された技術により達成されうる因子よりも小さい。さらに、ビニングされた画像は、高空間解像度データを含んでいない。
【0084】
この新しい技術により、(長方形ではない)任意の形状の露出群を規定することが可能となり、これにより、研究者は、撮像される場面のまさにその特徴に応じて、速度と解像度とを最適化することができる。
【0085】
フレームレートは、低い空間解像度が容認できる場合に、非常に高くすることができる。提案された技術により、高いダイナミックレンジでかつ1ミリ秒未満のフレーム時間で場面を撮像することができる。これは、低雑音でダイナミックレンジの高い科学分野の検出器を用いて現在達成が可能な速度よりも著しく速い。
【0086】
信号対雑音比(S/N)の改善。さらなる重要な利点は、この提案した技術により、チップ上のビニングを用いて等価なフレームレートにおいて可能である全フレーム読み出しレートよりも、全フレーム読み出しレートを遅くすることができるという点である。これにより、S/N比が顕著に改善するという結果になるが、これはより高い速度では、読み取り雑音が、信号品質において支配的であるからである。
【0087】
新規なアンダーサンプリングプロトコルが使用可能となることにより、この技術を用いて、空間解像度および時間解像度をさらに改善することができると予想される。可能な一例は、時間解像度を改善するために(ロンブ・ピリオドグラム(LombPeriodogram)を介して)画素レベルで不規則なアンダーサンプリング時間を用いることである。これは、現在入手可能な撮像技術では、可能ではない。
【0088】
防犯/機械視覚について
【0089】
変化する3D場面をモニターするために用いられるカメラは、監視アプリケーションおよびロボット工学/機械視覚の分野で一般的であるが、このカメラは、いくつかの課題に直面する。1つの問題は、被写体がカメラに対して相対的に動くと、センサーを横断するこの画像の移動の大きさは、カメラから被写体までの距離に反比例する。これにより、カメラに近い被写体では、モーションブラーがより顕著になり、必要な詳細が曖昧になる。例えば、路上または建物のロビー中を歩いている人のグループの監視は、人がカメラの近くにいると、その人らの顔の画像がぼやける。画像全体のシャッター時間を短くすると、遠い被写体から集められた総光量が少なくなるので、カメラから遠い被写体の画像品質が劣化する可能性があるであろう。
【0090】
本発明は、1つのフレーム内のシャッター群の数を変えて(これにより、時間解像度および空間解像度ならびに全露出時間を変えて)、その場面内のいくつかの被写体の撮像を最適化することにより、この問題に対処することができる。より有用には、カメラにより近い被写体は、これに比例してより大きくなり、空間解像度の要求度が低くなり、時間解像度を大きくすることが可能になる。シャッター群のサイズは、場面の先験的な知識を用いて選択可能である。(たとえば、高速道路で走る車を、交通の流れの方向に直面して高い位置にあるカメラでモニターする場合、車は画像の上の方向に向かい比例して小さくなり、車ごとの平均画素数を維持するために、シャッター群サイズを段階的に変化させることができる。)あるいは、シャッター群のサイズは、アルゴリズム的方法を用いて動的に選択することができる(例えば、ベルトホールド(Berthold)およびシャンク(Shunck)著、「オプティカルフローの決定(DeterminingOptical Flow)」、技術レポート(TechnicalReport)、MIT,1980年に説明されているような、静止画像中のモーションブラーからオプティカルフローを得ることによりこれを行う)。または、このシャッター群のサイズは、測距装置(例えば、レーザー測距離器またはそれに類似したもの)を用いて動的に選択することができる。
【0091】
これに加えて、特に対象となる領域は、画像の大部分の中で用いられているシャッター群のパターンには依存しない、これとは異なる解像度で撮像可能である。例えば、交通をモニターしているカメラは、適切に選択した画素の四角形状の露出時間を制御することにより、車のナンバープレートの部分について、高い空間解像度画像を得て、車の動きについては低い空間解像度でモニターすることができる。
【0092】
車の速度検出とナンバープレート検出とは、このようなシステム中にレーダー装置を用いることなく、(十分大きなシャッター群を用いて)低い空間解像度で車の動きを連続的にモニターするカメラを用いて達成することができる。コンピュータアルゴリズムは、車の速度を演算し、シャッター群を動的に変えて、場面全体を撮像するか、または、必要に応じて高い解像度でナンバープレートのみを撮像するであろう。
【特許請求の範囲】
【請求項1】
活性領域を持つセンサーを備えた画像取込装置であって、前記活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、前記活性領域は前記画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の画像を複数獲得するように構成および配置され、前記各低解像度の画像は、異なる画素サブセットからのデータを含む画像取込装置。
【請求項1】
活性領域を持つセンサーを備えた画像取込装置であって、前記活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、前記活性領域は前記画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の画像を複数獲得するように構成および配置され、前記各低解像度の画像は、異なる画素サブセットからのデータを含む画像取込装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−59123(P2013−59123A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2012−272064(P2012−272064)
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2010−506853(P2010−506853)の分割
【原出願日】平成20年5月8日(2008.5.8)
【出願人】(502144729)アイシス イノベイシヨン リミテツド (18)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2010−506853(P2010−506853)の分割
【原出願日】平成20年5月8日(2008.5.8)
【出願人】(502144729)アイシス イノベイシヨン リミテツド (18)
【Fターム(参考)】
[ Back to top ]