センサレベル画像歪み軽減方法および装置
画像の取得中にイメージセンサアレイ（１１２）のピクセルまたはピクセル領域をサンプリングして得られるメタデータ（１３２）を使用して画像処理を行う方法、装置およびソフトウェアプロダクト。画像形成中にアレイの個別のピクセルまたはピクセル領域に（非線形）信号処理方法を適用することにより性能向上が達成される。記述されてたその場信号処理方法は画像形成プロセスの知識を梃子としてアレイ内のピクセルの信号品質を選択する。本発明の方法、装置およびソフトウェアプロダクトは画像の取得後処理または画像の取得中または取得直後の処理に使用することができる。本方法の実施例はデジタル撮像アレイ内のノイズ、ぶれ、および低コントラスト歪みを軽減する。ハードウェアおよびソフトウェア実施例も提起される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にデジタル静止画およびデジタル画像シーケンスのキャプチャ、解析、および強調方法および装置およびこの方法を実施するソフトウェアプロダクトに関するものである。
【背景技術】
【０００２】
何百万人ものユーザが文書および静止および動画像をキャプチャし格納するのにデジタル装置に頼ってきている。市場アナリストは２００２年の全ての応用におけるデジタルカメラおよびスキャナに対して１億４千万個を超えるデジタルイメージセンサが製造されたと推定している。この数は２００６年まで毎年６０％を越えて伸びるものと期待される。デジタルイメージセンサは画像をキャプチャしデジタル撮像システム内の画像品質の基礎を設定する「フィルム」である。写真が撮影された後で「フィルム」から意味のあるデジタル画像を得るために、現在のカメラ設計はデジタルイメージセンサからのデータの相当な処理を必要とする。この処理にもかかわらず、何百万人ものユーザはこれらの画像を画像操作ソフトウェアを使用してコンピュータで修正して所望の画像品質を得る必要性（および機会）にも曝される。
【０００３】
デジタル画像および画像シーケンスの修正、調節、圧縮、送信または解釈のためのアルゴリズム、数学、および技術の本体はデジタル画像処理の広範な分野により規定される。ほぼ全てのデジタル撮像応用がシステムソフトウェアまたはハードウェア内にあるデジタル画像処理アルゴリズムを内蔵して所望の目的を達成する。これらの大概のアルゴリズムは画像が取得された後でそれを処理するのに使用される。画像形成後に画像処理に使用される画像処理方法は後処理方法と呼ばれる。後処理方法は現在の撮像システム内で実施される技術の大多数を構成し、デジタル静止画および画像シーケンスの強調、復元および圧縮技術を含んでいる。
【０００４】
何百万人もが自分達自身のデジタル画像および映像を定着、プリント、および配信することにより本質的に自分達自身のフォトラボ(photo-lab)となるにつれ、画像および映像を後処理するためのより精巧な手段に対する要求が高まってきている。フィルム写真家さえもがフィルム画像の問題点をキオスクでスキャニングして修正し画像の問題点を特殊な後処理アルゴリズムを使用して望むように修正するデジタル領域に慰めを求めている。さらに、デジタル撮像の成長によりデジタルフォーマットの画像および画像シーケンス数が急増し、デジタル静止画および動画内のオブジェクトを圧縮し、カタログを記述し、送信する必要性が重要となってきている。オブジェクトまたはコンテンツベース処理に向かうこのトレンドはデジタル静止画および映像の処理に対する新しい挑戦だけでなく新しい機会も提示する。
【０００５】
キャプチャされた後で画像品質を調節する必要があるのは多くの要因による。たとえば、損失の多い圧縮、不正確なレンズ設定、不適切な照明状況、誤った露出時間、センサ限界、不確かなシーン構造およびダイナミクスは全て最終画像品質に影響を及ぼす要因である。センサノイズ、動作ぶれ、焦点ずれ、色収差、低コントラスト、および過度/不足露光は全て画像形成中に画像内に導入されることがある歪みの例である。画像の損失の多い圧縮によりこれらの歪みはさらに悪化する。
【０００６】
画像復元の分野は劣化した観察画像から歪みの無いオリジナル画像を推定するための厳しい数学的方法を提供するデジタル画像処理の領域である。復元方法は画像形成および画像歪み過程の（パラメータ化された）モデルに基づいている。対照的に、画像強調の分野はデジタル静止画および動画のアドホック、主観的調節方法を提供する。画像強調方法は厳しい画像モデルの案内無しでインプリメントされる。画像処理アルゴリズムの圧倒的多数のソフトウェアおよびハードウェアインプリメンテーションがその単純性から画像強調を利用している。しかしながら、それらのアドホック応用ゆえに、画像強調アルゴリズムは限定されたクラスの画像歪みにしか有効ではない。
【０００７】
改善された画像強調に対する必要性がアドビシステムズ社等の主要なデジタル撮像ソフトウェア会社により発表される市場推進努力により明示されている。アドビが報告する２００３年２月２８日で終わる４半期の２９７百万ドルの売上のおよそ６６百万ドルがデジタルイメージングソフトウェアの研究開発に費やされた。また、アドビはデジタルイメージングソフトウェアの売上が２００３年の同じ４半期にわたって２３％増加したと報告している。この領域における最新の技術的進歩の中にカメラの未処理すなわち「デジタルネガ」画像にアクセスしてより強力な後処理を行う新しい機会がある。「デジタルネガ」はセンサアレイに最も近い後処理の前の画像データである。しかしながら、シーンおよびカメラに関する情報が後処理作業内に組み入れられていなければ、未処理カメラデータの後処理さえも制限されたままとなる。
【０００８】
多くのデジタル画像歪みは実際のカメラの物理的制約により生じる。これらの制約は多くのデジタル撮像システムで使用されるパッシブ画像形成過程で始まる。図１ａに示すように、伝統的撮像システムはレンズシステム２４を使用して光（またはエネルギ）感応センサピクセル２２のアレイ上に光２０を集束（または指定波長での所望エネルギ分布）させて画像形成を遂行する。電子的または機械的シャッタ装置２６によるシャッタリングがフィルム/センサアレイ２２により観察される光の量を制御する。センサアレイ２２により観察される光を許すシャッタ２６の時間は露出時間として知られている。露出時間中に、センサアレイ/フィルム・エレメント２２ａが各ピクセル領域に入射する光２０により発生される光電子電荷/電流を感知する。露出時間は明るい光でピクセル２２ａが飽和するのを防止するように設定されるものとする。この過程は次式で表すことができる。
ここに、
はピクセル位置l=(x,y)における画像強度（アナログ/デジタル変換前）の連続値、τeは露出時間の秒数、ε=(εx,εy)はそれぞれピクセルのピッチ、iph(l,t)およびin(l,t)は時間tにおける位置lの光電子電流および電子的ノイズの電流である。
【０００９】
方程式はほぼ全てのデジタルおよび化学フィルム撮像システムで見られるピクセルレベル画像形成を記述している。また、この方程式は画像形成をシャッタ管理および露出時間決定を必要とする受動的、連続的な時間過程として記述している。シャッタ管理および露出時間決定は従来の画像形成の弱点の一つであり、百年のフィルム画像キャプチャ哲学に基づいている。これは１９６０年代の後処理としてフィルム写真をデジタル化する最初の動機を与えたのと同じ画像形成方法である。
【００１０】
シャッタリングは明るい光が化学的フィルムを飽和させるのを防止しかつ電子的撮像アレイ内のブリーチングおよびブルーミングを制限するのに使用される。シャッタリングにおいて、入射光線の輝度がフィルムの面積にわたって変動する事実にもかかわらず、フィルム/アレイ表面全体が同じ露出時間とされる。そのため、フィルム上のある領域は露出時間のグローバル決定により露出不足または露出過度となることがある。さらに、大概の露出時間決定方法はシーンダイナミックス、レンズ設定および変化する照明状況により容易に騙される。画像形成に対するグローバルシャッタリング方法はシーンおよびカメラが静止しておりかつ画像内の明るい領域と暗い領域間の差が小さい静止、低コントラスト画像のキャプチャリングにしか適さない。
【００１１】
これらの理由および後述する他の理由により、現在のデジタルおよびフィルムカメラの性能は設計により制限される。方程式に記述されたパッシブ画像形成過程は低照明撮像性能を制限し、アレイ感度を制限し、アレイ（またはフィルム）ダイナミックレンジを制限し、画像輝度および明瞭度を制限し、ノイズ、ぶれ、および低コントラストを含む多くの歪みが最終画像を改悪するのを許す。
【００１２】
デジタル撮像システムであれ化学フィルム撮像システムであれ、センサアレイ２２は画像品質の基礎を設定する。「フィルム」から読み出された信号の品質は最高の画像品質を下流に誘導するため、この画像がどのようにキャプチャされるかが鍵となる。図１ｂに示す画像形成過程はシャッタを開いて画像形成を開始し３０、画像の形成を待機し３２、シャッタを閉じ３４、画像をセンサから読み出してキャプチャし３６、画像を処理し３８、画像を圧縮し４０、画像を格納する４２ステップを含んでいる。この過程は診断撮像システム、写真、モバイル/ワイヤレスおよび消費者撮像、バイオメトリックス、監視、および軍事的撮像からの画像の後処理の性能を妨げる。これらの制約および対応するエンジニアリング・トレードオフはここに記載する本発明により低減もしくは解消される。
【００１３】
最も早期の後処理アルゴリズムは１９６４年に発射されたレンジャー７プローブに載せたテレビジョンカメラの固有の制約により生じる月の画像で観察される歪みを修正するために開発された。ほぼ４０年後に、後処理アルゴリズムはカメラからの画像歪みを修正するのに必要とされている。デジタル画像および映像の正確で信頼できる後処理に対する主な障害は撮像システム、画像歪み、および画像形成過程の詳細な知識の欠落である。この情報が無いと、画像形成後の画像品質の調節は非効率的な推測ゲームとなる。多くの後処理ソフトウェアパッケージ、たとえば、Adobe Photoshop（登録商標）およびCorel Paint（登録商標）はそれらの画像強調アルゴリズムのある種の制御をユーザに与える。しかしながら、画像形成過程の詳細な知識が無いと、これらのパッケージ内の一揃えの画像改善ツールは根元にある歪み源を修正できず、ユーザ選択可能またはグローバルなアルゴリズムの実装に限定され、オブジェクト指向の後処理と相性が悪く、画像歪みの限定されたクラスでしか有用ではなく、しばしば歪んでいない画像領域内で適用され、多くの歪みの信頼できる自動的除去には不適切であり、画像形成過程の完了後に適用される。
【００１４】
画像強調に対する後処理の最も成功している応用は、シーンの知識、歪みの知識、または画像を取得するのに使用されたシステムの知識のうち１つ以上が既知である応用である。後処理における驚くべき成功の例はハブル宇宙望遠鏡（ＨＳＴ）である。１０億ドルのＨＳＴからの画像は整列されていないミラーにより歪んでいた。ＨＳＴの挙動は公知でありかつ高度に設計されたため、劣化したＨＳＴ画像を復元するのに使用できる正確な画像歪みモデルを引き出すことができた。ＨＳＴミラーは後にもう１つのミッションにおいて調整されたが、利用可能な技術により、多くの歪んだ画像が後処理により利用された。
【００１５】
残念ながら、大概の後処理ソフトウェアおよびハードウェアインプリメンテーションはそれらの処理においてシーン、歪み、またはカメラの限定された知識へのアクセスを持たず、また、それを組み入れたり伝達したりはしない。さらに、デジタル画像および映像から確実に歪みを除去するのに使用されるフィルタおよびアルゴリズムを特徴づけるパラメータは画像が形成され格納された後でしばしば消失してしまう付加知識を必要とする。
【００１６】
画像品質を適切に（かつ自動的に）調節するのに詳細な情報が必要である。このような情報の初めの部分は、たとえば、カメラ設定（開口、ｆ-ストップ、焦点距離、露出時間）を含んでおり、フィルム/センサアレイパラメータ（速度、カラーフィルタ・アレイタイプ、ピクセルサイズおよびピッチ）はデジタルカメラ標準ＥＸＩＦ Ｖ２.２に従った交換可能ないくつかのパラメータの例である。しかしながら、これらのパラメータはシーン構造またはダイナミックスではないカメラパラメータしか記述しない。従来のカメラでは詳細なシーン情報は抽出されたりエンドユーザ（外部装置）に運ばれることはない。シーン構造およびダイナミックスに関するメタデータは迅速に画像を復元したり、酷い歪みを修正したり、複雑なデジタル画像を解析したい人にとって極めて価値のあるものである。
【００１７】
一般的に、知覚された歪みは画像のユーザ選定領域内には無いことがあるという点において、このような知識が無いと後処理は非効率的となる。この場合、後処理は歪みの存在しないエリア内に適用され、結果的に計算努力は浪費され不要なアーチファクトを導入する可能性を生じる。
【００１８】
デジタル静止画およびデジタル動画に対する精巧なコンテンツまたはオブジェクトベース符号化標準の規定にもかかわらず、画像をそのコンポーネントオブジェクトへ分解する挑戦が残る。この過程は画像セグメンテーションと呼ばれる。効率的で信頼できる画像セグメンテーションは自由参加の挑戦として残されている。ＭＰＥＧ-４およびＭＰＥＧ-７等のマルチメディア標準のハイレベルコンテンツベース機能性の評判を広げるには、画像（シーケンス）をそのコンポーネントへセグメント化しこれらのオブジェクトを後処理するフレームワークを提供することが必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
画像セグメンテーションに対する強力な手掛りは動きである。画像シーケンス内の動きの証拠および性質が前景オブジェクトから背景オブジェクトを区別するための顕著な手掛りを与える。静止画の中のオブジェクトの動きに関する重要な情報は画像形成中に失われる。画像形成中にオブジェクトが動くと、最終画像においてぶれが明白となる。画像内のぶれを特徴づけるには単一フレームで入手可能なものよりも多くの情報を必要とする。しかしながら、動くオブジェクトの動きおよび範囲に関する十分な情報は画像形成中のピクセルの挙動を監視して引き出すことができる。
【課題を解決するための手段】
【００２０】
本発明はクリティカルシーンおよび、ここではメタデータと呼ばれる、画像形成データを抽出し、記録し、提供してハードウェアおよびソフトウェアリソースを使用する静止画および動画処理の有効性および性能を改善する。本発明は、さらに、メタデータを使用する画像処理方法だけでなく、メタデータを使用して処理済画面を作り出す静止および動画処理ハードウェアおよびソフトウェアを提供する。処理はピクセルまたはピクセル領域による画像形成中または形成後に行われることがあり、その強度レベルが画像形成中にモニタされる。
【００２１】
一般性を失うことなく、本発明に関して、後処理はデジタル静止画および動画処理用ハードウェアおよびソフトウェア装置および方法に関係している。デジタル静止画および動画処理は視覚通信データの強調、復元、操作、自動解釈および圧縮を含んでいる。
【００２２】
多くの画像歪みを検出することができ、場合によっては、画像形成中にピクセルレベルで防止することができる。後処理アルゴリズムに十分な情報が提供されれば、ピクセルレベル処理無しで後処理を使用してこれらの歪みを低減または解消することができる。本発明の一部は困難な歪みを効率的に除去するために後処理に必要な関連情報の規定である。本発明のもう一部は画像改悪の予測および/または防止である。計算リソースは特定歪のある特定エリアに集中される。
【００２３】
本発明のさまざまな実施例の重要な新機軸は、画像形成過程時および過程中に画像からの、ここではメタデータと呼ばれる、情報を抽出し、画像または画像シーケンス領域内の歪みまたはアクティビティのタイプおよび存在を記述するメタデータを計算し提供して画像を処理し、画像または画像シーケンス内の関心のある特定領域に処理努力を向け、かつ/または後処理に対するデジタル静止画および動画の歪みのタイプおよび範囲に基づいて画像または画像シーケンスを修正するのに十分なメタデータを与えることによる静止画および動画処理を提供することである。
【００２４】
本明細書に開示された本発明はそのさまざまな実施例において、アレイエレメントの全てまたは一部を使用して画像その他の解釈可能情報を抽出するセンサの任意のアレイ内で使用することができ、３Ｄおよび４Ｄ撮像システムを含む多次元撮像システム内で使用することができ、熱または機械的、または電磁気エネルギに感応するセンサのアレイに応用することができ、一連の画像に応用して高品質個別フレームを引き出すことができ、かつ/またはハードウェアまたはソフトウェアでインプリメントすることができる。画像形成中にシーン構造およびダイナミックスから情報を抽出して使用することによりデジタルカメラシステム内のオブジェクト検出、動き解析、注目およびハイパー-アキュイティ機構等のハイレベル処理が容易になる。
【実施例】
【００２５】
本発明は画像形成に関連するメタデータの取得およびメタデータを使用する画像処理を提供する。メタデータは画像データと一緒に出力したり、メタデータだけを出力したりすることができる。一般的に、図２ａから１２に関する下記の説明はメタデータを得て出力することに向けられており、図１３-１４はメタデータを使用する画像処理に関連している。
【００２６】
本発明の実施例では、シーンに関連する情報は画像形成中にピクセル（またはピクセル領域）の展開を解析（すなわち、フィルタリングおよび処理）して引き出される。多くの共通画像歪みは理想から逸脱するピクセルレベルプロファイルを有するためにこの方法が可能である。ピクセルプロファイルは従来の（パッシブ）画像形成ではアクセスできない貴重な情報を与える。ピクセル信号プロファイルが図２ａ，２ｂ，２ｃおよび２ｄに示されており、画像形成中に生じる共通の画像および映像歪みを例示している。理想的には、図２ａに示すように、画像形成中に光電電荷はセンサピクセルのダイナミック範囲内の最終値まで線型に増加しなければならない。最終ピクセル強度はこの曲線の下の積分に比例する。特に、電荷蓄積５０は露出時間（水平軸）にわたる光電子（垂直軸）の増加として示されている。図２ｂに示すようなノイズの多い画像では、５２において、ノイズはピクセル内の変化の増加率にランダムコンポーネントを加える。図２ｃに示すようなピクセルの飽和の場合には、ピクセルダイナミックレンジの最大値５６に達するまで画像形成中に光電電荷は５４において蓄積し、その後横ばい状態になる。画像フレーム内のオブジェクトの動きにより生じるようなぶれが画像内にある場合には、図２ｄに示すように、光電電荷プロファイル５８は光電荷がとる筈のパス６４から光電荷のレートを増加６０または減少６２できる強度変化により中断される。図２ｄのぶれの例示において、中断は電荷信号の非線形性、すなわち、勾配の変化である。理想的プロファイル６４からの逸脱は各ピクセルにおける画像形成過程をモニタしかつ各ケースを検出する変化検出および予測アルゴリズムをインプリメントすることにより容易に検出される。ピクセルレベルプロファイルは画像形成プロセスに関する時間的情報を提供する。
【００２７】
図３ａ，３ｂ，３ｃおよび３ｄに示す信号分布は画像形成中に生じることがある共通の画像および映像歪みの分布を例示している。ここで、グラフは水平軸に沿った強度および垂直軸に沿った光電電荷を示している。理想的には画像形成中に、ピクセルのサンプリングの分布は図３ａに示すような分布に対する単一値６８を与えなければならない。ノイズの多い画像の場合には、図３ｂ、曲線７０で示すように、ノイズコンポーネントはオリジナル強度値周りに広がるピクセル値を作り出す。曲線７０において、光電子電荷は前の信号の強度においてピークとなるが同じ値には達せず、広範な強度値にわたって散乱した電荷の低レベルを含む、より広い範囲にわたって広がる。図３ｃに示すように、画像形成中にピクセルが飽和する場合には、分布は飽和点ＩＳＡＴまで続くダイナミックレンジのエッジ近くに少量の確率質量を含む。大多数の確率質量７２はピクセルダイナミックレンジの最大値内に含まれる。図３ｄに示すようなぶれおよびノイズの場合には、たとえば、マルチモーダルまたはマルチピーク分布７４および７６が結果として生じる強度分布となる。理想的分布から逸脱する分布の検出は画像形成中の変化点だけでなく強度の同時推定に対する厳密な基礎を提供する。
【００２８】
図２ａ-２ｄおよび３ａ-３ｄのグラフは画像歪みの重要なクラスがピクセルレベルプロファイルおよび分布を使用して容易に識別されることを示している。この情報は従来の画像形成内に隠される。結果として生じる歪みは付随情報無しで画像形成過程完了後に識別して除去するのは困難である（不可能ではないとしても）。より良い後処理のための付随情報またはメタデータの定義、計算、および使用は本発明の焦点である。
【００２９】
本発明の一実施例では、メタデータは性能を改善するもしくはソフトウェアまたはハードウェア内のデジタル画像および映像の後処理に新しい機能を加えるのに使用できる一組の情報に関連する。メタデータは、カメラパラメータ、センサ/フィルムパラメータ、シーンパラメータ、アルゴリズムパラメータ、ピクセル値、タイムインスタントまたは歪み表示フラグのうち１つ以上を含むことができる。このリストは完全なものではなく、画像のそれ以上の側面をメタデータ内で識別することができる。さまざまな実施例におけるメタデータが単一ピクセルまたは、オブジェクト領域等の、任意形状またはサイズの決められた領域に関する情報を運ぶ。
【００３０】
この定義を使用して、メタデータを２つのカテゴリ、（１）予取得メタデータ（Ｐ-データ）および（２）取得間メタデータ（Ｉ-データ）の一方に入れることができる。予取得メタデータはセンサアレイ上に画像が形成される前に利用可能なシーンおよび撮像システム情報に関連する。Ｐ-データは画像毎に変動することがあるが、画像形成中は静止している。このような予取得データはフィルムシステムにも適用できる。Ｐ-データは所望する光（エネルギ）の画像を取得する前に撮像システムにより引き出される。予取得メタデータの特定例はＥＸＩＦ標準内の全てのタグ、たとえば、露出時間、速度、ｆ-ストップ、および開口サイズを含むことができる。
【００３１】
センサパラメータおよびレンズ焦点距離等のこの情報のいくつかは画像取得の遥か前に入手可能である。周囲光状況および露出時間等の他の情報は画像取得が開始する直前にしか入手できない。本発明は画像キャプチャ、または取得中にキャプチャされ定義される予取得メタデータのクラス内のメタデータも包含する。たとえば、露出時間は画像取得を開始する前に撮像システムにより設定することができ、あるいは、たとえば照明状況の変化の結果または光センサ等による画像キャプチャのリアルタイムモニタリングにより画像取得の進行中に変化することができる。たとえいくつかのデータが画像取得中に引き出されても、本発明の目的に対してこの情報は予取得メタデータの定義内に含まれる。
【００３２】
予取得パラメータの決定により有意画像の達成が容易になる。多くの画像歪みが生じこれらのパラメータが不適切に設定されたり未知であると後続処理において取り組むことができない。このような情報が利用可能であれば、画像の処理は意味のある方法で実施することができる。
【００３３】
取得間メタデータ、すなわちＩ-データは画像形成過程中に引き出すことができる画像に関する情報である。Ｉ-データは特定ピクセルまたはピクセル領域内の画像歪みの開始または存在を検出するのに使用できるデータを与えるダイナミック情報となる傾向がある。本発明の一実施例では、取得間データはピクセルまたはピクセル領域をモニタすることによりピクセルまたはピクセル領域ベースで引き出されるが、取得間データをイメージワイドにできることも本発明の範囲内である。Ｉ-データは画像後処理ソフトウェアまたはハードウェア用情報を運んで歪みを修正し、場合によっては、歪みにより最終画像の詳細が改悪されるのを防止する。当業者ならばＩ-データは動き推定および解析および画像セグメンテーションをアシストできることにお気づきであろう。限定はされないが、Ｉ-データはピクセルまたはピクセルグループに対する歪みインジケータフラグおよび時点を含むことができる。本発明の実施例に従ったＩ-データに対する効率的表現は各ピクセルまたはピクセルブロック位置が特定のＩ-データ位置にマッピングされるマスクとしてである。たとえば、画像サイズマスクでは、各ピクセルを特定のＩ-データ位置にマッピングすることができる。
【００３４】
本方法は画像取得時または取得後に生じるセンサ、ピクセルまたはピクセル領域における信号強度の蓄積率およびその変化または信号強度の両方に取り組む。これらは、たとえば、取得中に画像フレーム内の１つ以上のオブジェクトまたは画像キャプチャ装置により生じる動き、照明または反射率の予期せぬ変動、またはセンサの露出不足（ローライト）または露出過度（飽和）の結果であることがある。信号蓄積率の変化として特徴づけられるイベントは画像取得間隔中のある時間にまたはある時間にわたって生じるため、取得中の画像の時間的イベントまたは時間的変化として記述することができる。それらは時間的摂動または予期せぬ時間的変化と考えることもできる。動きはこのような時間的変化の１つのクラスである。強度信号の変化率は時間的イベントを識別し修正するのに使用され、所望する信号へのノイズの影響を克服するのに不十分な光がセンサに到達するローライト状況を識別し修正するのに使用することもできる。
【００３５】
図４に示すように、一実施例において、取得間メタデータ抽出過程はイメージセンサ２００、歪み検出器２０２、画像推定器２０４、マスクフォーマッタ２０６、および画像シーケンスフォーマッタ２０８を利用する。
【００３６】
図５に詳細に示すように、好ましい歪み検出器２０２はぶれプロセッサ２１０および露出プロセッサ２１２を含み、それらの出力は歪みインタプリタ２１４に接続されている。ぶれプロセッサ２１０内にフィルタ２１６、距離測定器２１８およびぶれ検出器２２０がある。露出プロセッサ２１２内にフィルタ２２２、距離測定器２２４およびぶれ検出器２２６がある。
【００３７】
図５において、fk(l), センサアレイ内の位置lにおける画像強度のk番目のサンプルがぶれプロセッサおよび露出プロセッサモジュールに送られる。ぶれプロセッサ内で信号はフィルタリングされて信号推定値
および残留誤差rkBを得る。信号推定値および残留誤差は距離測定器モジュールへ送られそれはぶれ検出器への入力SkBを発生する。この柔軟なアーキテクチュアによりいくつかのフィルタリングおよび距離測定器を使用することができる。有限インパルス応答（ＦＩＲ）、無限インパルス応答（ＩＩＲ）および状態空間フィルタ（すなわち、カルマンフィルタ）の広い範囲を含むフィルタリング技術が、qkBおよびrkBを得るために用いられる。この実施例では、簡単にするために、その係数が
およびfk(l)間の最小二乗距離を最小限に抑えるように設計されるスライディングウィンドＦＩＲフィルタがぶれ検出器のフィルタブロック内で使用される。残留は
として計算される。
【００３８】
ぶれプロセッサ内の距離測定器モジュールは歪みを表示するために信号のどの小面が検出されるかを決定する。画像形成中に動くオブジェクトにより生じる多数の強度の混合を画像領域内の個別のピクセルが観察する時に動きぶれ歪みが生じる。ピクセルレベルにおける動きぶれの検出は画像形成中にピクセルにおける画像強度の変化を検出することである。この変化を検出することにより、オリジナル（ぶれ前）ピクセル強度を保存することができる。距離測定器は残留rkBの平均、分散、相関または相関の符号の変化を検出するのに使用することができる。撮像アレイ内のピクセルは信号従属ノイズ（すなわち、ショットノイズ）および信号独立ノイズ（すなわち、熱ノイズ）の両方を経験するため、平均、分散、相関の変化を適用することができる。この実施例では、平均距離測定の変化skB=rkBが使用される。相関距離測定の分散、相関または相関符号の変化の例は
skB=(rkB)2-s2r, skB=rkBfk-m(l)およびskB=sign(rkBrBk-1)をそれぞれ含み、s2rは既知の残留分散でありm<kである。
【００３９】
歪みが検出されると、ぶれ検出モジュールは歪みの時間kBおよび（予歪み）ピクセル値fBからなるアラームを発する。平均の変化におけるぶれ検出アルゴリズムはＣＵＳＵＭ（累積ＳＵＭ）アルゴリズム、
を使用する。
ここに、n>0はドリフトパラメータでありhk>0はインデクス独立検出閾値パラメータである。このアルゴリズムは閾値hkよりも小さい大きな瞬間誤差による偽陽性(false positive)に抵抗してピクセル強度の積分またはフィルタリングの継続を許す。ドリフトパラメータはスプリアス誤差を効果的にフィルタリングするすなわち「減じる」時間的ローパスフィルタリングを加え、偽陽性を低減し、大きな局所誤差または動きぶれにより特徴づけられる小さなクラスタ誤差に検出過程をバイアスさせる。gkBが閾値hkを超えると、アラームが発せられてアルゴリズムは次の時点でgkB=0として再始動される。閾値hkはインデクス従属性として各ピクセルにおける積分時間を最大とすることができる。閾値hkは１階のサンプル時間k=1において無視され、露出時間の終に近いピクセルを改悪するのにより大きな強度偏差を必要とするため、露出期間の終りに増加することができる。それによりピクセルにおける信号独立ノイズをさらに低減することができる。変化検出において不可欠のトレードオフは感度対遅延である。値hkおよびnは検出時間を最適化して偽陽性を防止するように調整され、当業者ならばこれらのパラメータの設計方法をよく知っている。開示されたぶれ検出方法は検出過程内に放っておくことができメタデータを検出過程から発生できるようにすることで最初にTullにより後にEl-Gamalによる業績よりも優れている。
【００４０】
図５に示すマグニチュードプロセッサ２１２はフィルタ段階２２２、距離測定器モジュール２２４およびピクセルが適切に露出されているかどうかを確認する露出検出器モジュール２２６を含んでいる。この確認は展開するピクセル強度の勾配および値に基づいている。ピクセルの勾配および値が閾値よりも下であれば、そのピクセルはピクセルにおけるノイズ源に対して露出不足であると言われる。ピクセルの勾配および値がそのダイナミックレンジに対して最大値を超えれば、このピクセルは露出過度と言われる。この実施例では、下位閾値hLはセンサエレメントの暗電流密度（メーカにより指定される）およびアナログ/デジタル変換（ＡＤＣ）ノイズまたはその両方により決定される全体画像に対する定数である。この場合、ピクセルの勾配および値を導くことが、その最終値を予測するのに用いられる。この最終値が指定された信号対ノイズ比よりも下であれば、そのピクセルは露出不足としてフラグが立てられる。上位閾値hUはセンサアレイのメーカにより指定されるウエル容量（すなわち飽和電流）により決定される全体画像に対する定数であり、やはりアナログ/デジタル変換後のＡＤＣの最大ビット深さに対応する。ピクセルの強度がこの上位閾値に達すると、ピクセルは光強度を失う。
【００４１】
露出プロセッサのフィルタ段階において、２次自己回帰（ＡＲ）予測誤差推定器１を使用してカレント画像強度
が得られ、それは予測誤差
を与える。
【００４２】
露出プロセッサ距離測定器モジュールの出力はカレント強度推定値のその最終ピクセル強度への外挿である
から計算される。
【００４３】
露出検出器モジュールは２つのＣＵＳＵＭベースアルゴリズム、
をインプリメントする。
ここに、hLおよびhUは下位および上位検出器閾値であり、nLおよびnUは下位および上位ドリフト係数であり、gkLおよびgkUは上位および下位のテスト統計量である。ドリフト係数および閾値はピクセル強度に対する上位および下位の境界検出を実施するように設定される。いずれのテスト統計量もそれぞれの閾値を超えると、fEに格納された瞬間予測誤差からなるアラームおよびその時点kEが歪みインタプリタに送られる。
【００４４】
歪みインタプリタ（ＤＩ）２１４は歪みベクトルに優先順位を付けて各ピクセルに対する取得間メタデータを準備する。インタプリタは歪みベクトルの変化を追跡して冗長検出を解消する。実施例において、インタプリタには１つの歪みイベント（ピクセル当り露出当り）を記録して記憶装置を最小限に抑える責任がある。夥しい数のピクセル当り露出時間当り歪みイベントを十分なメモリリソースによりカタログに入れることができる。歪みインタプリタは露出およびぶれ検出器から得られたイベントに基づいてメタデータを発生、格納および発行することができる。各ピクセルに対するメタデータ出力ベクトルフォーマットは次式で表される。
v(l)={(歪みクラス、時間、値),(歪みクラス、時間、値)}
【００４５】
各ピクセルは単一の露出クラス歪みまたは単一のぶれクラス歪みしか有することができないか、あるいは両方を有することができる。２つの単一またはぶれクラス歪みは許されない。たとえば、露出時間中の時点kにおける動きに対応する単一変化をピクセルに経験させる。露出時間の終りに、ＤＩはベクトル,v(l)={PB,k,fB}を発生し、ここに、ＰＢは一部ぶれを示す歪みクラスシンボルであり、kは時点でありfBはピクセルの予歪み値である。このベクトルによりオリジナルピクセル強度の全露出値をfN(l)=(N/k)×fBとして後処理において再構成することができ、ここに、Ｎは画像形成中に行われた観察の数である。このピクセルにより観察された新しい強度値の同じピクセルがピクセルを飽和させることに注意されたい。この場合、メタデータベクトルはv(l)={PB,k,fB,X,k+1,fE}となる。このベクトルにより後処理ソフトウェアはオリジナルぶれ無しピクセルを時間kにおいて正確に再構成することができ、時点k+1において高強度ピクセル値が観察される。k+1におけるピクセル値はfk+1(l)=(N/k+1)×fEとして与えられる。ピクセルがこの点でリセットされると、より多くの強度を推定することができる。飽和の開始を予測することにより、ピクセルのダイナミックレンジよりもＮ倍明るい光強度を後処理において表現することができ、Ｎはピクセルの観察数である。
【００４６】
歪みインタプリタはピクセル当り３つのぶれ歪みクラスシンボル、部分的ぶれ（ＰＢ）、ぶれ（Ｂ）、またはぶれ皆無（Ｓ）の１つを発生することができる。Ｓクラスは実際上典型的に抜かされる。この分類は画像形成中に観察される変化の数に基づいている。ＰＢピクセルの場合、単一変化はオブジェクトがピクセル（またはピクセル領域）を覆うまたは覆いを取る場合のように画像形成中に観察される。画像形成中に２つ以上の強度変化が観察される場合、ピクセルはぶれた（Ｂ）ピクセルと言われる。画像形成中に変化が検出されなければ、ピクセルは静止すなわち（Ｓ）ピクセルである。実際上、（ＰＢおよびＢ）ピクセルは孤立状態で生じることはない。歪みインタプリタは他の（ＰＢおよびＢ）ピクセルに対する近隣ピクセルを調べてぶれプロセッサ検出器にこの制約を強制し一到性を保証する。歪みインタプリタはぶれプロセッサの状態をリセットし、局所ピクセルにおいてこの状態を強制することができる。
【００４７】
また、歪みインタプリタはピクセル当り３つの露出歪みクラスシンボル、露出不足（Ｌ）、露出過度（Ｘ）または十分な露出（Ｎ）の１つを発生することができる。実際上、（ＬおよびＸ）ピクセルは孤立状態では生じない。歪みインタプリタは他の（ＬおよびＸ）ピクセルに対する近隣ピクセルを調べて露出プロセッサにこの制約を強制し一到性を保証する。歪みインタプリタは露出プロセッサの状態をリセットしてこの状態を強制することができる。（Ｌ）割当てにより露出不足ピクセル内のノイズは後処理において類似ピクセルにより部分的にフィルタリングすることができる。当業者ならば非常に多くのノイズフィルタリング方法をご存知である。
【００４８】
画像強度推定器はサンプルfk(l)から画像の最終値を展開して強度値fの２次元ベクトルを作り出す。さまざまなフィルタリング方法を使用して最終画像強度を推定しノイズを低減することができる。この実施例では、画像強度は歪み検出器により歪みを管理しながら従来の撮像システムのように累積される（後に平均化される）。
【００４９】
マスクフォーマッタは取得間メタデータを効率的に格納して各ピクセルへ送信するためのマスク構造とする。場合によっては、取得間メタデータは個別ピクセルに対してではなくピクセルグループに対して提供することができる。ピクセルのグループまたは領域は任意数の方法で定義することができる。一実施例では、ピクセルの領域は撮像中のピクセルのビンニング(binning)により定義される。ビンニングはそれにより隣接ピクセルのグループが結合されて画像形成中に単一ピクセルとして作用する過程である。
【００５０】
本発明の目的のために、ピクセルおよびピクセル領域という用語は多数のセンサエレメントを有するセンサ、センサアレイとして配置されたセンサエレメント、単一または多数のチップセンサ、ビンド(binned)ピクセルまたは個別ピクセル、近隣ピクセルの分類、センサコンポーネントの配置、スキャナ、前進的に露出される線型アレイ、等を含んでいる。センサまたはセンサアレイはより一般的に可視光に感応するが、本発明は赤外センサ（近および/または遠赤外センサ等）、紫外センサ、レーダセンサ、Ｘ線センサ、Ｔ線（テラヘルツ放射）センサ、等を含む他の波長のエネルギを検出するセンサも包含する。
【００５１】
本発明はピクセルまたはセンサのさまざまな領域および/またはグループを規定するマスクに関連する。このようなセンサまたは領域のグループの識別は画像処理の伝統的感覚ではマスクにより記述する必要はないが、本発明の目的のために何らかの手段により識別されたセンサ、ピクセル、または領域の通信を行うセンサ、ピクセルまたは領域の識別および/または規定を包含する。
【００５２】
本発明のある実施例に従ってぶれマスクが提供される。静止画において、動きぶれは重要な視覚的手掛りであるだけでなく好ましくない画像歪みである。動き関連歪みは人間の視覚系により使用されて網膜上のイメージの知覚した空間および時間解像度を調節するという視覚科学文献からの精神物理的証拠がある。そのため、画像のぶれの適切な処置は観察者または望ましくないぶれの除去に対する視覚的手掛りに重要である。したがって、本発明のある実施例では、ぶれマスクは重要なメタデータコンポーネントである。ぶれマスクの目的は３つある、高速移動オブジェクトに対応する領域を規定する、オブジェクトオリエンテッド後処理を容易にする、および動き関連歪みを除去することである。
【００５３】
図６はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４ぶれマスク８０を例示しており、Ｎ×Ｍは各ぶれマスクエレメントに対する測定が行われる画像ブロックのサイズである。このマスクは画像内のどのピクセルまたはピクセル領域が画像形成過程中にぶれを経験しているかを示す。動きぶれは画像取得中に多数の強度が受信されるような変化をピクセルまたはピクセル領域が受ける時に生じる。動きぶれは画像形成中にピクセルまたはピクセル領域をモニタして検出される。ピクセルまたはピクセル領域内の強度の展開が予期された軌道から逸脱する時は、ぶれが生じている疑いがある。
【００５４】
図６で触れたように、ぶれマスク８０の各エレメントはピクセルを３つのカテゴリの１つに分類することができる。
【００５５】
カテゴリＳ-静止：ピクセルは画像形成中に単一エネルギ強度を観察し動き関連ぶれを経験しなかったことが確認されておればこの称号が割当てられる。この確認は決定的または推計的に行うことができる。静止ピクセルまたはピクセルグループの例が図６の８２に示されている。
【００５６】
カテゴリＰＢ-部分的ぶれ：センサピクセルは、任意の時点において、画像形成時間または露出時間中に２つ以上の区別できるエネルギ強度の混合を観察したことが確認されておればこの称号が割当てられる。この場合、センサピクセルはオリジナルシーンのぶれた観察を含んでいる。ピクセル動き推定値および分類Ｂ-ぶれと共に使用される場合、ＰＢ-部分的ぶれ分類は特に移動および静止オブジェクトの結合を観察したピクセルを指示する。通常の場合、移動オブジェクトは前景オブジェクトであり静止オブジェクトは背景オブジェクトであるが、必ずそうであるとは限らない。部分的ぶれピクセルまたはピクセルグループの例が図６の８４に示されている。
【００５７】
カテゴリＢ-ぶれ：ピクセルまたはピクセル領域が画像形成全体を通して多数のエネルギ強度の混合を観察しており、ピクセルはオリジナルシーンのぶれ観察であることが確認されておればピクセルにこの称号が割当てられる。ぶれピクセルまたはピクセル領域の例が図６の８６に示されている。
【００５８】
ピクセル動き推定値およびＰＢ-部分的ぶれピクセル分類と共に使用される場合、Ｂ-ぶれピクセル分類は特に露出時間中に移動する、通常は前景、オブジェクトしか観察しなかったピクセルまたはピクセル領域を指示する。ここでまた全体を通してオブジェクトは物理的オブジェクトに限定されず、背景、前景または中間景オブジェクトを含むことができる画像エリアまたはオブジェクトのエリアまたは部分を含んでいる。
【００５９】
各ピクセルまたはピクセル領域に対する分類過程は各ケースにおいて単一ピクセルまたはピクセル領域を使用するまたは多数のピクセルまたはピクセル領域を使用する決定的（ピクセルプロファイルの勾配変化検出による）、または推計的（推定理論を使用し推定されたパラメータベクトル内の変化検出による）とすることができる。ピクセルまたはピクセル領域動き推定値が無い場合、ぶれおよびぶれ無しピクセル間の区別はピクセルプロファイルから引き出されるため、Ｓ-静止およびＰＢ-部分的ぶれ分類しか使用されない。動き推定値等の追加情報はオブジェクトベース動きぶれ復元の目的に対してＢ-ぶれおよびＰＢ-部分的ぶれピクセル分類の区別を容易にする。
【００６０】
ピクセルまたはピクセル領域の共通カテゴリを有する画像のエリアは有界領域内へのグループであり、これらの有界領域はメタデータのぶれマスクを与える。このようにして、ぶれマスク８０は動きが画像のぶれを生じた画像のエリアを示すのに使用される。後処理方法はこのようなマスクを使用してマスクにより画定される画像のエリアを低減、除去、または処理することができる。画像のぶれ部分の検出を使用してインテリジェントシステム、自律車両、セキュリティシステム、またはこのような情報が有用となる他の応用に対する視覚システム等の、動き検出またはオブジェクト識別を行うこともできる。
【００６１】
ぶれマスクの前記した検討で具現される重要なコンセプトは近隣ピクセルまたはピクセル領域が撮像過程中に同じまたは類似結果を経験することである。ぶれは単一ピクセル内だけでは生ぜず画像のエリアにわたって見つかる。ぶれの検出は近隣ピクセルおよび近隣ピクセル上に生じたぶれを除去あるいは直すための画像処理の結果を計算することにより支援される。この近隣コンセプトは強度マスクおよびイベントタイムマスクの下記の検討へ持続する。本発明を使用して決定された任意の歪みを近隣ピクセルまたはピクセル領域を頼りに認識または処理することができる。
【００６２】
画像内のぶれ検出は画像取得中にセンサのサンプリングを必要とする。これは画像の選択されたピクセルだけのサンプリングまたはセンサ内の全てもしくは大部分のピクセルのサンプリングを含むいくつかの方法で実施することができる。これを遂行するために、特に後者の方法は、画像取得中に信号の非破壊的読取りを許すセンサまたはセンサアレイを必要とする。これを許すセンサの例はＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサおよびＣＩＤ(Charge Injection Device)センサである。このようにして、ピクセルまたはピクセルグループは画像形成中に多数回調べることができる。非破壊的センシングが不可能である場合には、取得間ピクセル値を外部メモリに格納して処理することができる。
【００６３】
図７に示すように、本発明のある実施例では強度マスク８８が提供される。強度マスク８８はその強度に基づいてピクセルまたはピクセル領域の相対信頼度を記述するメタデータを提供する。強度マスクをメタデータの重要なエレメントと見なす２つの理由がある。１階は、画像の明るい領域には、飽和または飽和に近いピクセルが存在する確率があることである。飽和ピクセルはもはや画像形成中の画像強度の増加には感応せず、したがって、ピクセルのダイナミックレンジを制限する。２階は、低光強度を観察するピクセルはノイズにより著しい不確定性を余儀なくされることである。ピクセルにおけるノイズのコンポーネントは信号独立性または信号従属性とすることができる。信号独立性ノイズは読取りノイズのように散発的にあるいは熱またはジョンソンノイズのように連続的に生じることができる。
【００６４】
信号従属性ノイズは、たとえば、そのノイズの分散が典型的に信号強度の平方根に比例するショットノイズを含む。低照明状況において、入射光へのピクセル応答は信号従属性および信号独立性ノイズ源の両方により支配することができ、この知識に従って処理しなければならない。
【００６５】
図７はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４強度マスク８８を例示しており、Ｎ×Ｍは各強度マスクエレメントに対してその上で測定を行った画像ブロックのサイズである。強度マスク８８のエレメントは３つのピクセル状態の１つをとる。
【００６６】
状態Ｘ-飽和：この称号を受けるピクセルまたはピクセル領域はカメラまたは撮像システム設定に基づく高強度光を観察しており、たとえば、受光強度は露出の長さに対して強すぎる。この称号を有するピクセルは飽和しているか画像露出時間中に飽和する。状態Ｘの例が９０に示されている。
【００６７】
状態Ｌ-低光：この称号が割当てられるピクセルまたはピクセル領域はカメラ設定に対して低光強度を観察しており露出不足のことがある。したがって、状態Ｌを有するピクセルまたはピクセル領域はノイズにより汚染される。つまり、ノイズはピクセルから得られる有用な信号の有意部分である。状態Ｌを有するピクセルまたはピクセル領域の例は９２である。
【００６８】
状態Ｎ-この称号が割当てられるピクセルまたはピクセル領域はカメラ設定に従って適切に露出されていることが確認されており、最小ノイズ処理しか必要としない。すなわち、ノイズ信号はこのピクセルまたはピクセル領域からの有用な信号の有意部分ではなく（有用な信号は信号のノイズ部分よりも遥かに高いため）ピクセルは飽和に達成または接近していない。状態Ｎにあるピクセルまたはピクセル領域の例は９４である。
【００６９】
これらの状態を有する画像のエリアは強度マスクの有界エリアを形成するように分類される。本発明の実施例では、強度マスクはメタデータのコンポーネントである。
【００７０】
強度マスク８８により強力な後処理は歪みを除去してカメラ性能を拡張するように計算努力を局限する。このマスクにより検出された状態-Ｌ低光ピクセルは他の低光ピクセルまたはピクセル領域の間で局所フィルタリングにより修正することができる。言い換えれば、ノイズ信号は露出不足、状態-Ｌピクセルはまたはピクセル領域からフィルタリングにより除去される。まだ飽和レベルに達しない明るい状態Ｘ-飽和クラスピクセルはイベント時間マスクの助けによりそれらの究極値に外挿することができる。イベント時間マスクについては後述する。飽和点に達しているピクセルに対する究極値の外挿を行うこともできる。このような場合には、画像の輝度、または強度、範囲をシフトさせて外挿値の調整が必要となることがある。この後処理能力はキャプチャされた画像のより豊かな色およびより優れた詳細に対する線型ダイナミックレンジを拡張し、少なくとも情報が無い筈の画像のエリア（飽和したピクセルの領域）の詳細が得られる。
【００７１】
強度マスク８８は画像内の孤立した偽ピクセルの検出も行う。一般的に、画像内の孤立した低光および輝光ピクセルの存在はめったにあることではない。画像内で、低光または輝光ピクセルは画像内のオブジェクトに対応しほぼ常に同じまたは類似の光状況を有する近隣ピクセルにより分類される。飽和すなわち低光ピクセルが孤立状態で生じれば、それは一般的に、たとえば、ノイズ源としての時間的ノイズ、ショットノイズおよび/または固定パターンノイズによる。これらのピクセルは図７に示すような強度マスクにより容易に識別される。たとえば、飽和ピクセル９０は低光ピクセル９２に包囲され、ピクセル９０の飽和はノイズまたはピクセル内の他の誤差である可能性が非常に高いことを示す。メジアンフィルタリング等の一般的な後処理技術を自動的に適用し強度マスクを使用してこの歪みと他の歪みを局所的に除去することができる。
【００７２】
図８に示すように、本発明のある実施例では、イベント時間マスク９６が提供される。イベント時間マスク９６は歪みイベントがいつ検出されるかを示す時間的マーカを与えるのに使用される。イベント時間マスクは後処理ソフトウェアまたはハードウェアを使用して画像歪みの修正を容易にするメタデータの重要なクラスである。前記したように、Ｉ-データすなわち取得間データは画像取得中にセンサアレイをサンプリングして得られる。イベント時間マスク９６は一般的に歪みイベントに対応するイベントが検出されたサンプル数により表現することができる。図８の例では、露出中にＮサンプルが採られ検出されたイベントの無いピクセルまたはピクセル領域は９８に示すようにＮのマークが付されて、イベントを認識することなく露出の最後のサンプルが採られたことを示す。
【００７３】
図８はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４時間イベントマスクに対するイベント時間マスクを例示しており、Ｎ×Ｍは各時間イベントマスクエレメントに対してその上で測定を行った画像ブロックのサイズである。時間的イベントマスクを使用してピクセルぶれの開始を表示し、移動オブジェクトのサポートを決定し、移動オブジェクトを局在化し、ピクセルが飽和した時間を決定し、露出時間に基づいてオリジナルピクセル値にバック投影することができる。このような結果を得るための他の方法も使用できる。各種の多数のマスクを発生して複雑な歪みの修正を容易にすることができる。このようなマスクの有用性は後処理システムの精巧さおよび利用可能な計算リソースによって決まる。
【００７４】
図８において、「１」として示されるイベント時間マスクのピクセルまたはピクセル領域１００は画像取得中にピクセルまたはピクセル領域の最初のサンプリングにおいて生じた時間イベントを識別する。「２」と表示されたピクセルまたはピクセル領域１０２は２階のサンプリングイベントにおいて感知されたイベントを示す。「４」と表示されたピクセルまたはピクセル領域１０４は画像が得られていたピクセルまたはピクセル領域の第４のサンプリング中にイベントが感知されたことを示す。ピクセルまたはピクセル領域ＮはＮサンプルの全数が画像取得中にイベント時間を検出することなく実施されていることを示す。ここで、採られるサンプル数Ｎは４よりも大きい。イメージセンサの露出中に採られるサンプル数Ｎは変動し露出時間、最大可能サンプリング周波数、所望するメタデータ情報、システムのイベント時間サンプルを格納する容量、等によって決まる。
【００７５】
ピクセルまたはピクセル領域電荷レベルがさまざまなサンプリング時間に求められる。この情報を後処理で使用して歪みイベントが無ければピクセルまたはピクセル領域の電荷曲線はどんなものであったかを再構成して、画像から歪みを除去することができる。たとえば、画像取得中の画像フレーム内のオブジェクトの移動により画像にぶれが生じる。サンプリングによりぶれ効果前後の露出部分を示すことができ、サンプリングされた画像信号を使用してぶれの無い画像を再構成する。同じことが画像取得中に生じる他のイベントにも適用できる。
【００７６】
イベント時間マスクは画像のぶれまたは不足および過度露出の検出または修正に使用することができる。すなわち、メタデータのさまざまなマスクを一緒に使用して画像の後処理における最善の利点を得る。前記した画像特徴に加えて、画像取得中のイベントのタイミングをモニタすることによりさまざまな他の画像特性および歪みを決定することができる。これらの付加特性および歪みも本発明の範囲内に入る。
【００７７】
本発明のさまざまな実施例に従って、撮像システムはメタデータプロセッサが設けられる。図９ａは基本的なデジタル撮像システム１１０を例示している。撮像システム１１０はレンズ構成（図８ａに示す）を介して集束される光を集めるように配置されたセンサアレイ１１２（図８ａのセンサアレイ２２とすることができる）を含んでいる。センサアレイ１１２はシステムバス１１４に接続され、それは次にシステムクロック１１６、システムコントローラ１１８、ランダムアクセスメモリ（ＲＡＭ）１２０、入出力装置１２２、およびＤＳＰ/ＲＩＳＣ(Digital Signal Processor/Reduced Instruction Set Computer)１２４に接続されている。システムコントローラ１１８はＡＳＩＣ(Application-Specific Integrated Circuit)，ＣＰＬＤ(Complex Programmable Logic Device)，またはＦＰＧＡ(Field Programmable Gate Array)とすることができタイミングコントローラ１２６によりセンサアレイ１１２に直接接続されている。
【００７８】
図９ｂはメタデータプロセッサ１３２を追加したデジタル撮像システム１３０を示し、同じまたは類似のエレメントには同一参照文字が与えられている。メタデータプロセッサ１３２はセンサアレイ１１２およびＤＳＰ/ＲＩＳＣ１２４に直接接続されており接続１２６を介してタイミング制御信号を受信する。メタデータプロセッサ１３２はグローバルＰ-データ（予取得データ）を格納し画像形成中にイメージセンサ１１２をサンプリングして内部ＤＳＰ/ＲＩＳＣ(Digital Signal Processor/Reduced Instruction Set Computer)および/または外部ソフトウェアが後処理に使用するＩ-データ（取得間データ）マスクを計算する。メタデータプロセッサ１３２は特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはマイクロプロセッサ等の個別のプログラマブルチッププロセッサとすることができる。
【００７９】
図１０ａおよび１０ｂについて、画像取得が記述される。図１ａと同様に、図１０ａにおいて光２０はシャッタおよび開口２６、レンズシステム２４を通過してセンサアレイ２２に入射し、それはピクセルまたはピクセル領域２２により構成されている。形成中のメタデータプロセッサの機能的アクティビティも図１０ｂに示されている。特に、ステップは１３６においてシャッタを開いて画像形成を開始し、１３８においてメタデータをサンプリングして処理し、画像形成をサンプリングされたメタデータに適応させ１４０（ある実施例において利用可能なオプショナルステップ）、画像を処理し１４２、画像を圧縮し１４４（ある実施例において利用可能なオプショナルステップ）、画像を格納する１４６ことを含んでいる。
【００８０】
本発明で使用されるセンサアレイ２２または１１２は白黒センサアレイまたはカラーセンサアレイとすることができる。カラーセンサアレイでは、ピクセルエレメントにカラーフィルタアレイとしても知られるカラーフィルタが設けられて画像のさまざまなカラーを感知できるようにするのが一般的である。メタデータはセンサアレイの全ピクセルまたはピクセル領域に適用することができ、あるいはカラーフィルタアレイ内の共通カラーに割り当てられたピクセルまたはピクセル領域に別々に適用することができる。たとえば、フィルタアレイ内のブルーフィルタの全ピクセルがメタデータコンポーネントを有することができ、イエローフィルタのピクセルは異なるメタデータコンポーネント等を有する。画像感知アレイは可視光以外の波長に感応することができる。たとえば、センサは赤外センサとすることができる。もちろん、他の波長も可能である。
【００８１】
本発明のセンサはシングルチップとすることができあるいはアレイ配置とされたチップの集まりとすることができる。他のセンサ構成も可能であり本発明の範囲内に入る。
【００８２】
メタデータ抽出、計算および格納は撮像システムの他のコンポーネントと統合してチップ数を減らし製作コストおよび消費電力を低減することができる。
【００８３】
図１１ａ，１１ｂおよび１１ｃは撮像システム内に組み入れるさらに３つのメタデータ処理構成を例示している。前と同様に、同じまたは類似エレメントには同一参照文字が付けられている。図１１ａにおいて、メタデータプロセッサ１３２はシステムコントローラの機能と結合される。センサアレイ１１２はメタデータプロセッサ１３２にしか接続されておらず、全てのタイミングおよび制御情報がその中を流れるようにされる。
【００８４】
図１１ｂはメタデータプロセッサとＤＳＰ/ＲＩＳＣプロセッサ１５０の組合せが設けられて、別々のＤＳＰ/ＲＩＳＣエレメントを解消する実施例を例示している。図１１ｃにおいて、メタデータ処理機能は単一ユニット１５２内のシステムコントローラおよびＤＳＰ/ＲＩＳＣと結合される。このようにして、撮像システム内のエレメント数は劇的に低減される。
【００８５】
メタデータは画像取得後処理ハードウェアおよびソフトウェアにより使用される。前記したように展開されたメタデータは画像データと共に撮像システムから出力され、ヘッダ情報内等の、画像データファイル内に含むことができ、あるいは個別のデータファイルとして含むことができる。個別であるか画像データに組み入れられるかにかかわらず、メタデータ構造の例が図１２に示されている。データ構造内で、画像に対するメタデータコンポーネントは、静止画か動画かにかかわらず、メタデータ部１５６を有する。メタデータ部１５６内には取得間データを含むＩ-データ部１５８および予取得データを含むＰ-データ部１６０がある。好ましい実施例では、Ｉ-データ部はイベント時間マスク１６２、露出マスク１６４およびぶれマスク１６６により構成される。各マスク部１６２，１６４および１６６は、１６８に示すように、行および列によるマスクの定義を有する。
【００８６】
図１２のデータ構造の例により、画像情報を画像処理および操作ソフトウェアに格納して読み込み読み出すことができる。データ構造内の情報は効率的格納および送信のためにエントロピ符号化（すなわち、ランレングス符号化）することができる。この機能は画像シーケンスフォーマッタにより実施される。
【００８７】
メタデータは画像データ取得中に抽出されるものと記述されている。本発明は画像データ取得後のメタデータの抽出も包含する。たとえば、図１２のデータ構造、または他のメタデータ構造、はセンサにより画像データが取得された後で、たとえば、取得されたまたは観察されたシーンの信号処理技術を使用するカメラの外部で発生または抽出することができる。メタデータはカメラ内またはカメラの外部で発生することができるため、メタデータは使用するカメラに基づいてはいない。
【００８８】
メタデータイネーブルドソフトウェアが好ましくはこの付加情報を与えられた画像ファイルを処理するために設けられる。好ましい実施例のソフトウェアはWindows（登録商標), Linux（登録商標）またはMac（登録商標）OSの元でパーソナルコンピュータまたはワークステーションで実行されるグラフィカルユーザインターフェイス（ＧＵＩ）を含んでいる。他のオペレーティングシステムももちろん可能である。ソフトウェアはカメラのＩ/Ｏ（入出力）インターフェイスを介して撮像装置と通信して画像データおよびメタデータを受信する。あるいは、ソフトウェアは記憶装置またはメモリから格納されたデータを受信する。たとえば、画像は固体メモリカードに格納することができメモリカードはコンピュータまたは外部メモリカードリーダ内の適切なスロットを介して画像処理コンピュータに接続されている。画像データがメタデータと共に磁気テープ、ハードデスク記憶装置、または光記憶装置その他の記憶手段に格納されることも本発明の範囲内である。たとえば、セキュリティシステム内で画像データは大容量記憶装置上に格納され必要時に画像データの選択された部分しか処理することができない。
【００８９】
画像データを処理するソフトウェアはオリジナル劣化画像をディスプレイして後処理されたシーンを見る窓を提供する。あるいは、ソフトウェアは必要な処理を実施して最終処理済画像だけを示すことができる。ソフトウェアはプルダウンメニューおよびオプションを提供して画像取得後処理過程およびアルゴリズムおよびそれらのパラメータをディスプレイする。ソフトウェアのユーザは、好ましくは、メタデータ内の情報に基づく画像処理を介して案内され、あるいは処理を自動的または半自動的に実施することができる。ソフトウェアはＩ/Ｏブロックを介したメタデータプロセッサまたはメモリ内のメモリ位置のＩ-データおよびＰ-データメタデータにアクセスすることによりメタデータイネーブルド後処理を実施する。Ｉ/ＯブロックはBluetooth（登録商標）または８０２.１１(Ａ，ＢまたはＧ)等のワイヤレス接続あるいは制御タイミング等のワイヤド接続を介して画像およびメタデータを提供することができる。
【００９０】
制御タイミングはＵＳＢ ＩまたはＩＩあるいはFirewire（登録商標）等のパラレルインターフェイスまたはシリアルインターフェイスを使用して可能である。好ましい実施例のメタデータアウェア後処理ソフトウェアは後処理をアシストするのに特定クラスのメタデータを利用できる表示をユーザを与える。ＧＵＩはメタデータに従って歪んでいることが判ったピクセル領域を示すことができる。これらのエリアはカラーコーディングを行って特定ピクセル領域内の歪みのタイプをユーザを示すことができる。ユーザはピクセル領域を選択して特定歪みの処理をイネーブルまたはディセーブルすることができる。ユーザは自動または手動後処理領域を選択することもできる。
【００９１】
圧縮、強調または回転、ズーム等の画像データの操作、または画像シーケンスのスケーリングはダウンロードされたメタデータにより指令することができる。画像または画像シーケンスが処理された後で、ソフトウェアを介して新しい画像データを保存することができる。
【００９２】
このようにして、デジタル画像の後処理を改善するためのメタデータ抽出および供給方法および装置が提示された。この改良によりシーン、歪みまたは画像形成過程に関する情報を供給するまたはそこへのアクセスを提供することができないことにより大概のハードウェアおよびソフトウェアベース後処理方法が蒙る性能上の制約を克服する。シーン、歪み、または画像形成過程に関する知識を利用する後処理のインプリメンテーションは本方法および装置により手に入れることができる。メタデータの使用により圧縮、操作および自動解釈を含む画像および映像処理性能が改善される。
【００９３】
本発明のもう１つの側面において、画像強調方法、装置およびソフトウェアプロダクトが提供される。画像形成後に信号および画像処理を実施するのではなく、ここに提示する方法は画像のその場処理を提供することである。その場処理はカメラ設定、センサパラメータ、および画像シーンの重要な知識を固有に利用して画像形成中にピクセルデータを処理するアクティブ画像形成を実施する。
【００９４】
その場処理は画像形成中に生じる画像歪みを予測し削除する。前記した図１０ａはその場画像処理過程を例示している。最初に、光子の検出が機械的または電子的手段により可能とされる。画像形成が開始すると、ピクセルまたはピクセル領域が画像形成中にサンプリングされ信号処理技術を使用して処理される。画像形成中にピクセルを処理することにより、（出現する）画像歪みを識別し、分類しまた場合によっては防止することができる。ピクセルまたはピクセル領域挙動が画像形成中に適合される。その場処理は静止画および動画強調および圧縮後処理または、後述するように、リアルタイムピクセル修正用の重要なデータを提供するのにも使用できる。
【００９５】
その場処理で生じることがある一般的な画像歪みが図２ａ，２ｂ，２ｃおよび２ｄに示され、前記した、対応する文に記述されている。その場処理に対する信号分布が図３ａ，３ｂ，３ｃおよび３ｄに示され、対応する文に記述されている。発明のこの側面に対して、各ピクセルにおける光強度の形成（入射光子の累積による）が取得中にモニタされる。これは正規の時間間隔でイメージセンサを読み取って（すなわちサンプリングして）行われ、その結果、センサアレイ上の各ピクセルはそれ自体のシャッタを有する。この新考案は一定照明状況の元で静止画を形成する線型モデルと結合される（すなわち、露出時間中にカメラまたはシーン内のオブジェクトの動きが無い）。入射光子率（単位時間当り光子数）は一定である、あるいは、光子の累積すなわち強度の増加は線型モデルに従うものとする。この線型光子累積モデルの元で、入射光子率の変化は非常に小さくなければならない（理想的にはゼロに等しい）。したがって、光強度の時間導関数の時間導関数（２階時間導関数）を各ピクセルにおいて評価する必要がある。したがって、この方法は非線形推定技術のクラスを一般化するロバストな統計的手順に基づいている。
【００９６】
τで露出時間を示しＮでこの露出時間中に強度値がサンプリングされる回数を示すものとする。サンプリング周期Ｔはτ/Ｎに等しくサンプリングインスタンスはtk=kT, k=1,...,Nで示される。また、２次元空間グリッドをl=(x,y)で示し、タイムインスタンスtkにおけるピクセルlの強度値をfk(l)=f(l,tk)で示す。
【００９７】
最後に、強度fk(l)の１階および２階時間導関数の数値近似を、それぞれ、
Δk1(l)およびΔk2(l)とする。
【００９８】
この技術のさまざまなバージョンが次に記述される。これらの方法の構造は処理段階および再構成段階を含む。再構成段階はカメラ内のピクセルまたはその近くあるいは画像キャプチャ装置外部のソフトウェア内でインプリメントすることができる。
【００９９】
（時間ベース信号外挿を使用する時空間歪み軽減）
図１８に示すプロセスは技術のこのバージョンにより各タイムインスタンスおよび各ピクセル位置｜Δk2(l)｜における強度値の２階時間導関数の絶対値が計算され固定閾値ηと比較される方法を提供する。次に、｜Δk2(l)｜<ηであれば、基礎をなす線形モデルに従うため、アクションはとられずに光子累積が継続する。一方、｜Δk2(l)｜>ηであれば、カメラまたは照明状況の変化によるシーン内のオブジェクトの動きにより基礎をなす線形モデルが侵害される。この場合、ピクセル値fk(l)はもはや更新されず画像形成はそのピクセルにおいて停止され、動き関連歪みが画像形成中に防止されるようにされる。ピクセル強度の最終値は最後の記録値fk(l)からks k-1により外挿され、線形画像形成モデルに従って、それはfN(l)=fks(l)・(N/ks)である。
【０１００】
１階および２階の時間導関数を数値的に評価するいくつかの技術がある。
【０１０１】
そうするための簡単で意味のある方法は両方の１次導関数に対して１次後進差分を使用することである。この場合、
Δk2(l)=fk(l)-fk-1(l)かつΔk2(l)=Δk1(l)-Δk-11(l)=fk(l)-2・fk-1(l)-fk-2(l)
いくつかのより精巧な数値微分方法については後述する。
【０１０２】
閾値ηの値は特定センサのノイズ特性および恐らくは応用によって決まるシーンの特徴を考慮して前もって指定される。
【０１０３】
（時間ベース信号外挿および時空間適応強度感応検出閾値を使用する時空間歪み軽減）
図１９に示すように、図１８の閾値ηの値は取得した画像の最終全体品質を決定するのに極めて重大である。したがって、閾値は時間的にも空間的にも変動できるようにするのが有利である。本技術のこのバージョンは固定閾値の替わりに空間的および時間的適応閾値を利用する点を除けば図１８と同一である。適応閾値は空間位置１および過去の強度値fPAST(l)によって決まり、ここにＰＡＳＴは現在の観察の前の全ての時間サンプルを示す。
【０１０４】
たとえば、光取得を記述する線の勾配はまだ確立されていないため、取得期間（kの小さい値）の開始中にノイズ問題に取り組むためにより大きい値のηを考慮することができる。直線からの小さな逸脱は受け入れられるため、kの大きい値に対しても同様に解説することができる。空間的変動について、閾値を前記した変数に関して適合できるようにすると、変化検出アルゴリズムは各時間間隔において信号従属性ノイズを考慮することができる。たとえば、光子ショットノイズが支配的であればηの大きい値を画像の明るいエリアで利用することができる。
【０１０５】
（擬似ノイズ更新、時間ベース信号外挿、および時空間適応強度感応検出閾値による時空間歪み軽減）
図２０は本技術の1つのバージョンを示し、図１９のような基礎をなす線形モデルからの画像形成プロセスの逸脱の検出に同じ機構が使用される、すなわち時間的空間的適応閾値が使用される。しかしながら、このような逸脱が検出されると、すなわち
である時に、ピクセル位置における画像取得はもはや図１９および２０のようには終結しない。その代わりに、擬似ノイズが改悪データを置換する。擬似ノイズ手順はノイズε(l,fPAST(l))を加え、統計は発展する強度fk-1(l)およびピクセルのノイズ統計に基づいている。有用なノイズの例はε(l,fPAST(l))=εSI(l)+εSDfk-1(l)であり、ＳＩおよびＳＤはそれぞれ信号独立および信号従属ノイズコンポーネントを示す。ノイズコンポーネントはセンサアレイおよび照明状況に基づいて適切なノイズ分布たとえばガウスまたはポアソンをとることができる。次に、撮像プロセスは最終露出時間に達するまで継続し、この方法により逸脱が最初に検出された後で追加ピクセル観察を組み入れることができる。この手順はノイズの支配的コンポーネントは速度可遷的（ergodic）でありその変動は均分することができると仮定している。擬似ノイズにより置換されるサンプル数がカウントされ変数Ks内に格納される。擬似ノイズ更新数にピクセル強度の期待値が乗じられ露出時間の終りに得られた強度から減じられる。次に、最終値はN/(N-ks)の割合で増幅され積分の終りに得られた値に外挿される。
【０１０６】
（擬似ノイズ更新、時間ベース信号外挿、時空間適応強度感応検出閾値および一般化された導関数推定による時空間歪み軽減）
図２１は一般化された導関数推定を加える。特定ピクセルの露出時間を変える判断は入射光子の２階導関数の計算に基づいている。導関数は差分方程式により近似される。最も単純な形式では、２階導関数はfk(l)の２階差分により近似することができる。
【０１０７】
より精巧な方法は遅延をトレードオフして導関数推定値内ノイズの影響を最小限に抑えながら導関数に制約を課す。導関数を近似する一般化された方法は最適化規準を利用してノイズを最小限に抑えるフィルタ係数を決定し変化検出を容易にする。フィルタ設計方法は古典的デジタル画像処理テキストに載っている。ランダムプロセスにおける変化検出の幾分統合された処置が知られている。
【０１０８】
（投票規準、擬似ノイズ更新、および一般化された導関数推定による時空間歪み軽減）
図２２は強度の変化を決定する投票規準を加える。各ピクセルまたはグループまたはピクセル領域がやはり前と同様に動きをテストされる。しかしながら、テスト結果はもはや取得状態を規定しない。その代わりに、変化は周囲ピクセルの変化の性質に基づく動きによるといわれる。空間的および時間的サポートはΩγにより定義され、この領域内のピクセルはポーリングされ変化フラグの重み付けされた和に結合される。結果がηγ(Ω)に格納された閾値を超えれば、ピクセル強度の変化は動きによるものと規定される。中央ピクセルの取得はさらなる歪みを防止するように修正される。
【０１０９】
サポートηγ(Ω)はカジュアルまたはアンチカジュアルとすることができる。重みγk’(l’)は中央ピクセルの積分を修正する最終判断における構造および連続的性に向けたバイアスを導入するために引き出される。
【０１１０】
（投票規準、ソフト判断基準、擬似ノイズ更新および一般化された導関数推定による強度感応、時空間歪み軽減）
図２３は投票規準の導入により時空間閾値比較がもはや２進結果の生成を強制されないことを示す。図２３に示すこの過程では、技術、ソフト閾値が比較のために利用される。
【０１１１】
この手順は導関数推定値が閾値に較べてどれだけ大きいかまたは小さいかに応じて０と１の間の値を割り当てる。結果が非ゼロであれば、投票規準は動きがあるかを判断し強度取得を停止する。ソフト閾値は追加パラメータδ１およびδ２により記述される。これらのパラメータは０および１の結果間の遷移領域を定義する。ブロック図において、線形関係を仮定する。
【０１１２】
しかしながら、特定の撮像システムに対しては他の入出力関係が適切なことがある。
【０１１３】
（ソフト判断基準、ソフト擬似ノイズ更新および一般化された導関数推定による強度感応、時空間歪み軽減）
図２４はソフト判断閾値および擬似ノイズ更新が結合されることを示す。前と同様に、擬似ノイズは取得中に誤差が検出されると導入される。しかしながら、ソフト閾値はもはや撮像状態に対する２進判断を生成しないため、ノイズの量は閾値判断に対して変動する。３状態ソフト閾値が図示されている。誤差の大きさは閾値δ１およびδ２により限量され、値はそれぞれ「小」、「境界」および「大」である誤差を定義する。「小」および「大」取得誤差に対しては、ソフト判断により２進結果が生成され、前と同様に擬似ノイズが取り入れられる。しかしながら、観察およびモデル間の「境界」差が検出されると、ソフト閾値は非２進値を返す。半擬似ノイズおよび半以前観察(half previous observation)からなるサンプル値を取り入れることにより取得過程が継続する。
【０１１４】
（ソフトウェア実施例）
図１３に示すその場処理ソフトウェア、開示されたソフトウェア実施例(“ソフトウェア”)はWindow（登録商標）, Unix（登録商標）またはMac（登録商標）OSの元でパーソナルコンピュータまたはワークステーションで実行されるグラフィカルユーザインターフェイス（ＧＵＩ）からなる。ソフトウェアはキャプチャされた画像データを含む記憶装置またはリアルタイムで画像データをキャプチャする撮像システムとカメラのＩ/Ｏインターフェイスを介して通信する。ソフトウェアは劣化した画像（従来のカメラでキャプチャされた）をディスプレイし、開示されたその場処理方法を使用して処理されたシーンを見るための窓を提供する。ソフトウェアはその場方法およびそれらのパラメータを指定しカスタマイズするためのプルダウンメニューおよびオプションを提供する。
【０１１５】
ソフトウェアはメモリ記憶装置からキャプチャされた画像データにアクセスするかまたはデジタル撮像システムを介してリアルタイム画像を受信することによりその場スタイル処理を実施することができる。また、ソフトウェアはこの方法を実施することができるソフトウェアおよび方法パラメータを図１３に示すその場ケーブル撮像システムへアップロードすることができる。ソフトウェアＧＵＩにおいて、センサおよびセンサからのアレイパラメータを与えて既存のイメージセンサ（アレイ）をモデル化することができる。
【０１１６】
画像または画像シーケンスが処理された後で、新しい画像（シーケンス）をソフトウェアを介して保存することができる。
【０１１７】
（ハードウェア実施例）
センサアクセラレータ図１４はセンサアクセラレータを追加した基本的なデジタル撮像システムを例示している。センサアクセラレータはセンサアレイをサンプリングし画像形成中に個別のピクセル（領域）上で信号処理技術をインプリメントする。特に、センサアクセラレータはここに記述された方法をインプリメントする。センサアクセラレータは特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）または縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ等の別々のプログラマブルチッププロセッサとすることができる。
【０１１８】
高集積センサアクセラレータ機能を撮像システムの他のコンポーネントと統合してチップ数を減らし製作コストおよび消費電力を低減することができる。図１５，１６および１７はセンサアクセラレータに対する３つの追加構成を例示している。図１５はシステムコントローラ上に集積されるセンサアクセラレータ技術を例示している。図１６はＤＳＰ/ＲＩＳＣプロセッサを有する単一コンポーネント上に集積されるセンサアクセラレータ機能を例示している。最後に、図１７はシステムコントローラおよびＤＳＰ/ＲＩＳＣと結合されるセンサアクセラレータ処理を例示している。
【０１１９】
センサ自体上のシステムオンチップ集積も可能である。
【０１２０】
（動画シーケンスキャプチャ）
映像キャプチャもここに開示された方法から利益を受ける。その場処理により高品質画像フレームの個別のフレーム精密調査が容易になる。しかしながら、動画シーケンスはシーケンスをリアリスティックに知覚するためにスムースに移動する画像を必要とする。この作業の方法を修正することにより、リアリスティックに画像シーケンスを見るためのスムースな画像データを含む差分画像と共にきちんとした高品質フレームをキャプチャすることができる。
【０１２１】
（飽和軽減）
開示された技術の延長は飽和軽減である。ピクセルレベルにおける飽和および対応する感度損失を防止することにより、ピクセルのダイナミックレンジは効果的に改善される。これは、たとえば、図１９のように更新後にピクセル値をポーリングすれば可能である。fk(l)>k/N)・fmaxであれば露出時間中にピクセルは飽和すると予測され、ここに、fmaxはウェル容量または飽和電流等のセンサピクセルパラメータにより指図される。露出時間中にピクセルが飽和すると予測されると、k番目の間隔においてさらなる取得は停止されピクセルの仮の値が記録される。
【０１２２】
この値は後にその真（最終）の値fN(l)=(N/k)・fk(l)に外挿される。この方法に基づいて、ダイナミックレンジの上端をＮ倍だけ拡張することができる。
【０１２３】
（制御タイミング）
この作業において、イメージセンサの性能を拡張する方法が提示された。
【０１２４】
開示された方法は困難な画像歪みの開始を予測し最終画像を改悪するのを防止することができる。開示された方法は画像形成中に個別のピクセルまたはピクセル領域を処理して改善された画像品質を達成する。本明細書に提示されたその場処理方法は典型的に古典的画像後処理技術では利用可能または有用とはならないクリティカルな情報を利用する。
【０１２５】
（産業応用性）
前記したことから、本発明は、たとえば、静止画および動画の取得および処理に産業応用性を有する。
【０１２６】
当業者ならば他の修正および変更を提案できるが、正当かつ適切にそれらの寄与の範囲内に入る全ての変更および修正はここに保証された本発明に含まれるものとする。
【図面の簡単な説明】
【０１２７】
【図１ａ】一般的な従来のデジタル撮像システムの略図である。
【図１ｂ】図１ａの撮像システムにより実施されるプロセスステップのフロー図である。
【図２ａ】ピクセル電荷蓄積のグラフである。
【図２ｂ】ピクセル電荷蓄積のグラフである。
【図２ｃ】ピクセル電荷蓄積のグラフである。
【図２ｄ】ピクセル電荷蓄積のグラフである。
【図３ａ】ピクセル信号強度のグラフである。
【図３ｂ】ピクセル信号強度のグラフである。
【図３ｃ】ピクセル信号強度のグラフである。
【図３ｄ】ピクセル信号強度のグラフである。
【図４】取得間メタデータ（Ｉ-データ）抽出過程の機能的ブロック図である。
【図５】歪み検出器の機能的ステップのブロック図である。
【図６】Ｎ×Ｍは各ぶれマスクエレメントに対して測定が行われた画像ブロックのサイズである、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４ぶれマスクである。
【図７】Ｎ×Ｍは各ぶれマスクエレメントに対して測定が行われた画像ブロックのサイズである、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４強度マスクである。
【図８】Ｎ×Ｍは各時間イベントマスクエレメントに対して測定が行われた画像ブロックのサイズでありＮは画像形成中に採られたサンプルの最大数である、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４時間イベントマスクである。
【図９ａ】基本的なデジタルカメラＯＥＭ開発システムアーキテクチュアを示すブロック図である。
【図９ｂ】メタデータプロセッサを有する基本的なデジタルカメラのブロック図である。
【図１０ａ】メタデータイネーブルド画像形成を示す略図である。
【図１０ｂ】図１０ａのメタデータイネーブルド画像形成を示すフロー図である。
【図１１ａ】システムコントローラと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１１ｂ】ＤＳＰ/ＲＩＳＣプロセッサと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１１ｃ】システムコントローラおよびＤＳＰ/ＲＩＳＣと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１２】内部ＤＳＰ/ＲＩＳＣプロセッサまたは外部後処理ソフトウェアが使用するＩおよびＰメタデータに対するサンプルデータ構造を示す図である。
【図１３】コンピュータシステムおよび関連する撮像システムの略図である。
【図１４】センサアクセラレータを有する撮像装置のブロック図である。
【図１５】センサアクセラレータおよびコントローラユニットを含む撮像装置のブロック図である。
【図１６】センサアクセラレータおよびＤＳＰ/ＲＩＳＣプロセッサユニットを含む撮像装置のブロック図である。
【図１７】センサアクセラレータ、コントローラおよびＤＳＰ/ＲＩＳＣプロセッサユニットを含む撮像装置のブロック図である。
【図１８】本発明に従った方法のフロー図である。
【図１９】本発明に従ったもう１つの方法のフロー図である。
【図２０】本発明に従ったもう１つの方法のフロー図である。
【図２１】本発明に従ったさらにもう１つの方法のフロー図である。
【図２２】本発明に従ったさらにもう１つの方法のフロー図である。
【図２３】本発明に従ったもう１つの方法のフロー図である。
【図２４】本発明に従ったもう１つの方法のフロー図である。
【技術分野】
【０００１】
本発明は一般的にデジタル静止画およびデジタル画像シーケンスのキャプチャ、解析、および強調方法および装置およびこの方法を実施するソフトウェアプロダクトに関するものである。
【背景技術】
【０００２】
何百万人ものユーザが文書および静止および動画像をキャプチャし格納するのにデジタル装置に頼ってきている。市場アナリストは２００２年の全ての応用におけるデジタルカメラおよびスキャナに対して１億４千万個を超えるデジタルイメージセンサが製造されたと推定している。この数は２００６年まで毎年６０％を越えて伸びるものと期待される。デジタルイメージセンサは画像をキャプチャしデジタル撮像システム内の画像品質の基礎を設定する「フィルム」である。写真が撮影された後で「フィルム」から意味のあるデジタル画像を得るために、現在のカメラ設計はデジタルイメージセンサからのデータの相当な処理を必要とする。この処理にもかかわらず、何百万人ものユーザはこれらの画像を画像操作ソフトウェアを使用してコンピュータで修正して所望の画像品質を得る必要性（および機会）にも曝される。
【０００３】
デジタル画像および画像シーケンスの修正、調節、圧縮、送信または解釈のためのアルゴリズム、数学、および技術の本体はデジタル画像処理の広範な分野により規定される。ほぼ全てのデジタル撮像応用がシステムソフトウェアまたはハードウェア内にあるデジタル画像処理アルゴリズムを内蔵して所望の目的を達成する。これらの大概のアルゴリズムは画像が取得された後でそれを処理するのに使用される。画像形成後に画像処理に使用される画像処理方法は後処理方法と呼ばれる。後処理方法は現在の撮像システム内で実施される技術の大多数を構成し、デジタル静止画および画像シーケンスの強調、復元および圧縮技術を含んでいる。
【０００４】
何百万人もが自分達自身のデジタル画像および映像を定着、プリント、および配信することにより本質的に自分達自身のフォトラボ(photo-lab)となるにつれ、画像および映像を後処理するためのより精巧な手段に対する要求が高まってきている。フィルム写真家さえもがフィルム画像の問題点をキオスクでスキャニングして修正し画像の問題点を特殊な後処理アルゴリズムを使用して望むように修正するデジタル領域に慰めを求めている。さらに、デジタル撮像の成長によりデジタルフォーマットの画像および画像シーケンス数が急増し、デジタル静止画および動画内のオブジェクトを圧縮し、カタログを記述し、送信する必要性が重要となってきている。オブジェクトまたはコンテンツベース処理に向かうこのトレンドはデジタル静止画および映像の処理に対する新しい挑戦だけでなく新しい機会も提示する。
【０００５】
キャプチャされた後で画像品質を調節する必要があるのは多くの要因による。たとえば、損失の多い圧縮、不正確なレンズ設定、不適切な照明状況、誤った露出時間、センサ限界、不確かなシーン構造およびダイナミクスは全て最終画像品質に影響を及ぼす要因である。センサノイズ、動作ぶれ、焦点ずれ、色収差、低コントラスト、および過度/不足露光は全て画像形成中に画像内に導入されることがある歪みの例である。画像の損失の多い圧縮によりこれらの歪みはさらに悪化する。
【０００６】
画像復元の分野は劣化した観察画像から歪みの無いオリジナル画像を推定するための厳しい数学的方法を提供するデジタル画像処理の領域である。復元方法は画像形成および画像歪み過程の（パラメータ化された）モデルに基づいている。対照的に、画像強調の分野はデジタル静止画および動画のアドホック、主観的調節方法を提供する。画像強調方法は厳しい画像モデルの案内無しでインプリメントされる。画像処理アルゴリズムの圧倒的多数のソフトウェアおよびハードウェアインプリメンテーションがその単純性から画像強調を利用している。しかしながら、それらのアドホック応用ゆえに、画像強調アルゴリズムは限定されたクラスの画像歪みにしか有効ではない。
【０００７】
改善された画像強調に対する必要性がアドビシステムズ社等の主要なデジタル撮像ソフトウェア会社により発表される市場推進努力により明示されている。アドビが報告する２００３年２月２８日で終わる４半期の２９７百万ドルの売上のおよそ６６百万ドルがデジタルイメージングソフトウェアの研究開発に費やされた。また、アドビはデジタルイメージングソフトウェアの売上が２００３年の同じ４半期にわたって２３％増加したと報告している。この領域における最新の技術的進歩の中にカメラの未処理すなわち「デジタルネガ」画像にアクセスしてより強力な後処理を行う新しい機会がある。「デジタルネガ」はセンサアレイに最も近い後処理の前の画像データである。しかしながら、シーンおよびカメラに関する情報が後処理作業内に組み入れられていなければ、未処理カメラデータの後処理さえも制限されたままとなる。
【０００８】
多くのデジタル画像歪みは実際のカメラの物理的制約により生じる。これらの制約は多くのデジタル撮像システムで使用されるパッシブ画像形成過程で始まる。図１ａに示すように、伝統的撮像システムはレンズシステム２４を使用して光（またはエネルギ）感応センサピクセル２２のアレイ上に光２０を集束（または指定波長での所望エネルギ分布）させて画像形成を遂行する。電子的または機械的シャッタ装置２６によるシャッタリングがフィルム/センサアレイ２２により観察される光の量を制御する。センサアレイ２２により観察される光を許すシャッタ２６の時間は露出時間として知られている。露出時間中に、センサアレイ/フィルム・エレメント２２ａが各ピクセル領域に入射する光２０により発生される光電子電荷/電流を感知する。露出時間は明るい光でピクセル２２ａが飽和するのを防止するように設定されるものとする。この過程は次式で表すことができる。
ここに、
はピクセル位置l=(x,y)における画像強度（アナログ/デジタル変換前）の連続値、τeは露出時間の秒数、ε=(εx,εy)はそれぞれピクセルのピッチ、iph(l,t)およびin(l,t)は時間tにおける位置lの光電子電流および電子的ノイズの電流である。
【０００９】
方程式はほぼ全てのデジタルおよび化学フィルム撮像システムで見られるピクセルレベル画像形成を記述している。また、この方程式は画像形成をシャッタ管理および露出時間決定を必要とする受動的、連続的な時間過程として記述している。シャッタ管理および露出時間決定は従来の画像形成の弱点の一つであり、百年のフィルム画像キャプチャ哲学に基づいている。これは１９６０年代の後処理としてフィルム写真をデジタル化する最初の動機を与えたのと同じ画像形成方法である。
【００１０】
シャッタリングは明るい光が化学的フィルムを飽和させるのを防止しかつ電子的撮像アレイ内のブリーチングおよびブルーミングを制限するのに使用される。シャッタリングにおいて、入射光線の輝度がフィルムの面積にわたって変動する事実にもかかわらず、フィルム/アレイ表面全体が同じ露出時間とされる。そのため、フィルム上のある領域は露出時間のグローバル決定により露出不足または露出過度となることがある。さらに、大概の露出時間決定方法はシーンダイナミックス、レンズ設定および変化する照明状況により容易に騙される。画像形成に対するグローバルシャッタリング方法はシーンおよびカメラが静止しておりかつ画像内の明るい領域と暗い領域間の差が小さい静止、低コントラスト画像のキャプチャリングにしか適さない。
【００１１】
これらの理由および後述する他の理由により、現在のデジタルおよびフィルムカメラの性能は設計により制限される。方程式に記述されたパッシブ画像形成過程は低照明撮像性能を制限し、アレイ感度を制限し、アレイ（またはフィルム）ダイナミックレンジを制限し、画像輝度および明瞭度を制限し、ノイズ、ぶれ、および低コントラストを含む多くの歪みが最終画像を改悪するのを許す。
【００１２】
デジタル撮像システムであれ化学フィルム撮像システムであれ、センサアレイ２２は画像品質の基礎を設定する。「フィルム」から読み出された信号の品質は最高の画像品質を下流に誘導するため、この画像がどのようにキャプチャされるかが鍵となる。図１ｂに示す画像形成過程はシャッタを開いて画像形成を開始し３０、画像の形成を待機し３２、シャッタを閉じ３４、画像をセンサから読み出してキャプチャし３６、画像を処理し３８、画像を圧縮し４０、画像を格納する４２ステップを含んでいる。この過程は診断撮像システム、写真、モバイル/ワイヤレスおよび消費者撮像、バイオメトリックス、監視、および軍事的撮像からの画像の後処理の性能を妨げる。これらの制約および対応するエンジニアリング・トレードオフはここに記載する本発明により低減もしくは解消される。
【００１３】
最も早期の後処理アルゴリズムは１９６４年に発射されたレンジャー７プローブに載せたテレビジョンカメラの固有の制約により生じる月の画像で観察される歪みを修正するために開発された。ほぼ４０年後に、後処理アルゴリズムはカメラからの画像歪みを修正するのに必要とされている。デジタル画像および映像の正確で信頼できる後処理に対する主な障害は撮像システム、画像歪み、および画像形成過程の詳細な知識の欠落である。この情報が無いと、画像形成後の画像品質の調節は非効率的な推測ゲームとなる。多くの後処理ソフトウェアパッケージ、たとえば、Adobe Photoshop（登録商標）およびCorel Paint（登録商標）はそれらの画像強調アルゴリズムのある種の制御をユーザに与える。しかしながら、画像形成過程の詳細な知識が無いと、これらのパッケージ内の一揃えの画像改善ツールは根元にある歪み源を修正できず、ユーザ選択可能またはグローバルなアルゴリズムの実装に限定され、オブジェクト指向の後処理と相性が悪く、画像歪みの限定されたクラスでしか有用ではなく、しばしば歪んでいない画像領域内で適用され、多くの歪みの信頼できる自動的除去には不適切であり、画像形成過程の完了後に適用される。
【００１４】
画像強調に対する後処理の最も成功している応用は、シーンの知識、歪みの知識、または画像を取得するのに使用されたシステムの知識のうち１つ以上が既知である応用である。後処理における驚くべき成功の例はハブル宇宙望遠鏡（ＨＳＴ）である。１０億ドルのＨＳＴからの画像は整列されていないミラーにより歪んでいた。ＨＳＴの挙動は公知でありかつ高度に設計されたため、劣化したＨＳＴ画像を復元するのに使用できる正確な画像歪みモデルを引き出すことができた。ＨＳＴミラーは後にもう１つのミッションにおいて調整されたが、利用可能な技術により、多くの歪んだ画像が後処理により利用された。
【００１５】
残念ながら、大概の後処理ソフトウェアおよびハードウェアインプリメンテーションはそれらの処理においてシーン、歪み、またはカメラの限定された知識へのアクセスを持たず、また、それを組み入れたり伝達したりはしない。さらに、デジタル画像および映像から確実に歪みを除去するのに使用されるフィルタおよびアルゴリズムを特徴づけるパラメータは画像が形成され格納された後でしばしば消失してしまう付加知識を必要とする。
【００１６】
画像品質を適切に（かつ自動的に）調節するのに詳細な情報が必要である。このような情報の初めの部分は、たとえば、カメラ設定（開口、ｆ-ストップ、焦点距離、露出時間）を含んでおり、フィルム/センサアレイパラメータ（速度、カラーフィルタ・アレイタイプ、ピクセルサイズおよびピッチ）はデジタルカメラ標準ＥＸＩＦ Ｖ２.２に従った交換可能ないくつかのパラメータの例である。しかしながら、これらのパラメータはシーン構造またはダイナミックスではないカメラパラメータしか記述しない。従来のカメラでは詳細なシーン情報は抽出されたりエンドユーザ（外部装置）に運ばれることはない。シーン構造およびダイナミックスに関するメタデータは迅速に画像を復元したり、酷い歪みを修正したり、複雑なデジタル画像を解析したい人にとって極めて価値のあるものである。
【００１７】
一般的に、知覚された歪みは画像のユーザ選定領域内には無いことがあるという点において、このような知識が無いと後処理は非効率的となる。この場合、後処理は歪みの存在しないエリア内に適用され、結果的に計算努力は浪費され不要なアーチファクトを導入する可能性を生じる。
【００１８】
デジタル静止画およびデジタル動画に対する精巧なコンテンツまたはオブジェクトベース符号化標準の規定にもかかわらず、画像をそのコンポーネントオブジェクトへ分解する挑戦が残る。この過程は画像セグメンテーションと呼ばれる。効率的で信頼できる画像セグメンテーションは自由参加の挑戦として残されている。ＭＰＥＧ-４およびＭＰＥＧ-７等のマルチメディア標準のハイレベルコンテンツベース機能性の評判を広げるには、画像（シーケンス）をそのコンポーネントへセグメント化しこれらのオブジェクトを後処理するフレームワークを提供することが必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
画像セグメンテーションに対する強力な手掛りは動きである。画像シーケンス内の動きの証拠および性質が前景オブジェクトから背景オブジェクトを区別するための顕著な手掛りを与える。静止画の中のオブジェクトの動きに関する重要な情報は画像形成中に失われる。画像形成中にオブジェクトが動くと、最終画像においてぶれが明白となる。画像内のぶれを特徴づけるには単一フレームで入手可能なものよりも多くの情報を必要とする。しかしながら、動くオブジェクトの動きおよび範囲に関する十分な情報は画像形成中のピクセルの挙動を監視して引き出すことができる。
【課題を解決するための手段】
【００２０】
本発明はクリティカルシーンおよび、ここではメタデータと呼ばれる、画像形成データを抽出し、記録し、提供してハードウェアおよびソフトウェアリソースを使用する静止画および動画処理の有効性および性能を改善する。本発明は、さらに、メタデータを使用する画像処理方法だけでなく、メタデータを使用して処理済画面を作り出す静止および動画処理ハードウェアおよびソフトウェアを提供する。処理はピクセルまたはピクセル領域による画像形成中または形成後に行われることがあり、その強度レベルが画像形成中にモニタされる。
【００２１】
一般性を失うことなく、本発明に関して、後処理はデジタル静止画および動画処理用ハードウェアおよびソフトウェア装置および方法に関係している。デジタル静止画および動画処理は視覚通信データの強調、復元、操作、自動解釈および圧縮を含んでいる。
【００２２】
多くの画像歪みを検出することができ、場合によっては、画像形成中にピクセルレベルで防止することができる。後処理アルゴリズムに十分な情報が提供されれば、ピクセルレベル処理無しで後処理を使用してこれらの歪みを低減または解消することができる。本発明の一部は困難な歪みを効率的に除去するために後処理に必要な関連情報の規定である。本発明のもう一部は画像改悪の予測および/または防止である。計算リソースは特定歪のある特定エリアに集中される。
【００２３】
本発明のさまざまな実施例の重要な新機軸は、画像形成過程時および過程中に画像からの、ここではメタデータと呼ばれる、情報を抽出し、画像または画像シーケンス領域内の歪みまたはアクティビティのタイプおよび存在を記述するメタデータを計算し提供して画像を処理し、画像または画像シーケンス内の関心のある特定領域に処理努力を向け、かつ/または後処理に対するデジタル静止画および動画の歪みのタイプおよび範囲に基づいて画像または画像シーケンスを修正するのに十分なメタデータを与えることによる静止画および動画処理を提供することである。
【００２４】
本明細書に開示された本発明はそのさまざまな実施例において、アレイエレメントの全てまたは一部を使用して画像その他の解釈可能情報を抽出するセンサの任意のアレイ内で使用することができ、３Ｄおよび４Ｄ撮像システムを含む多次元撮像システム内で使用することができ、熱または機械的、または電磁気エネルギに感応するセンサのアレイに応用することができ、一連の画像に応用して高品質個別フレームを引き出すことができ、かつ/またはハードウェアまたはソフトウェアでインプリメントすることができる。画像形成中にシーン構造およびダイナミックスから情報を抽出して使用することによりデジタルカメラシステム内のオブジェクト検出、動き解析、注目およびハイパー-アキュイティ機構等のハイレベル処理が容易になる。
【実施例】
【００２５】
本発明は画像形成に関連するメタデータの取得およびメタデータを使用する画像処理を提供する。メタデータは画像データと一緒に出力したり、メタデータだけを出力したりすることができる。一般的に、図２ａから１２に関する下記の説明はメタデータを得て出力することに向けられており、図１３-１４はメタデータを使用する画像処理に関連している。
【００２６】
本発明の実施例では、シーンに関連する情報は画像形成中にピクセル（またはピクセル領域）の展開を解析（すなわち、フィルタリングおよび処理）して引き出される。多くの共通画像歪みは理想から逸脱するピクセルレベルプロファイルを有するためにこの方法が可能である。ピクセルプロファイルは従来の（パッシブ）画像形成ではアクセスできない貴重な情報を与える。ピクセル信号プロファイルが図２ａ，２ｂ，２ｃおよび２ｄに示されており、画像形成中に生じる共通の画像および映像歪みを例示している。理想的には、図２ａに示すように、画像形成中に光電電荷はセンサピクセルのダイナミック範囲内の最終値まで線型に増加しなければならない。最終ピクセル強度はこの曲線の下の積分に比例する。特に、電荷蓄積５０は露出時間（水平軸）にわたる光電子（垂直軸）の増加として示されている。図２ｂに示すようなノイズの多い画像では、５２において、ノイズはピクセル内の変化の増加率にランダムコンポーネントを加える。図２ｃに示すようなピクセルの飽和の場合には、ピクセルダイナミックレンジの最大値５６に達するまで画像形成中に光電電荷は５４において蓄積し、その後横ばい状態になる。画像フレーム内のオブジェクトの動きにより生じるようなぶれが画像内にある場合には、図２ｄに示すように、光電電荷プロファイル５８は光電荷がとる筈のパス６４から光電荷のレートを増加６０または減少６２できる強度変化により中断される。図２ｄのぶれの例示において、中断は電荷信号の非線形性、すなわち、勾配の変化である。理想的プロファイル６４からの逸脱は各ピクセルにおける画像形成過程をモニタしかつ各ケースを検出する変化検出および予測アルゴリズムをインプリメントすることにより容易に検出される。ピクセルレベルプロファイルは画像形成プロセスに関する時間的情報を提供する。
【００２７】
図３ａ，３ｂ，３ｃおよび３ｄに示す信号分布は画像形成中に生じることがある共通の画像および映像歪みの分布を例示している。ここで、グラフは水平軸に沿った強度および垂直軸に沿った光電電荷を示している。理想的には画像形成中に、ピクセルのサンプリングの分布は図３ａに示すような分布に対する単一値６８を与えなければならない。ノイズの多い画像の場合には、図３ｂ、曲線７０で示すように、ノイズコンポーネントはオリジナル強度値周りに広がるピクセル値を作り出す。曲線７０において、光電子電荷は前の信号の強度においてピークとなるが同じ値には達せず、広範な強度値にわたって散乱した電荷の低レベルを含む、より広い範囲にわたって広がる。図３ｃに示すように、画像形成中にピクセルが飽和する場合には、分布は飽和点ＩＳＡＴまで続くダイナミックレンジのエッジ近くに少量の確率質量を含む。大多数の確率質量７２はピクセルダイナミックレンジの最大値内に含まれる。図３ｄに示すようなぶれおよびノイズの場合には、たとえば、マルチモーダルまたはマルチピーク分布７４および７６が結果として生じる強度分布となる。理想的分布から逸脱する分布の検出は画像形成中の変化点だけでなく強度の同時推定に対する厳密な基礎を提供する。
【００２８】
図２ａ-２ｄおよび３ａ-３ｄのグラフは画像歪みの重要なクラスがピクセルレベルプロファイルおよび分布を使用して容易に識別されることを示している。この情報は従来の画像形成内に隠される。結果として生じる歪みは付随情報無しで画像形成過程完了後に識別して除去するのは困難である（不可能ではないとしても）。より良い後処理のための付随情報またはメタデータの定義、計算、および使用は本発明の焦点である。
【００２９】
本発明の一実施例では、メタデータは性能を改善するもしくはソフトウェアまたはハードウェア内のデジタル画像および映像の後処理に新しい機能を加えるのに使用できる一組の情報に関連する。メタデータは、カメラパラメータ、センサ/フィルムパラメータ、シーンパラメータ、アルゴリズムパラメータ、ピクセル値、タイムインスタントまたは歪み表示フラグのうち１つ以上を含むことができる。このリストは完全なものではなく、画像のそれ以上の側面をメタデータ内で識別することができる。さまざまな実施例におけるメタデータが単一ピクセルまたは、オブジェクト領域等の、任意形状またはサイズの決められた領域に関する情報を運ぶ。
【００３０】
この定義を使用して、メタデータを２つのカテゴリ、（１）予取得メタデータ（Ｐ-データ）および（２）取得間メタデータ（Ｉ-データ）の一方に入れることができる。予取得メタデータはセンサアレイ上に画像が形成される前に利用可能なシーンおよび撮像システム情報に関連する。Ｐ-データは画像毎に変動することがあるが、画像形成中は静止している。このような予取得データはフィルムシステムにも適用できる。Ｐ-データは所望する光（エネルギ）の画像を取得する前に撮像システムにより引き出される。予取得メタデータの特定例はＥＸＩＦ標準内の全てのタグ、たとえば、露出時間、速度、ｆ-ストップ、および開口サイズを含むことができる。
【００３１】
センサパラメータおよびレンズ焦点距離等のこの情報のいくつかは画像取得の遥か前に入手可能である。周囲光状況および露出時間等の他の情報は画像取得が開始する直前にしか入手できない。本発明は画像キャプチャ、または取得中にキャプチャされ定義される予取得メタデータのクラス内のメタデータも包含する。たとえば、露出時間は画像取得を開始する前に撮像システムにより設定することができ、あるいは、たとえば照明状況の変化の結果または光センサ等による画像キャプチャのリアルタイムモニタリングにより画像取得の進行中に変化することができる。たとえいくつかのデータが画像取得中に引き出されても、本発明の目的に対してこの情報は予取得メタデータの定義内に含まれる。
【００３２】
予取得パラメータの決定により有意画像の達成が容易になる。多くの画像歪みが生じこれらのパラメータが不適切に設定されたり未知であると後続処理において取り組むことができない。このような情報が利用可能であれば、画像の処理は意味のある方法で実施することができる。
【００３３】
取得間メタデータ、すなわちＩ-データは画像形成過程中に引き出すことができる画像に関する情報である。Ｉ-データは特定ピクセルまたはピクセル領域内の画像歪みの開始または存在を検出するのに使用できるデータを与えるダイナミック情報となる傾向がある。本発明の一実施例では、取得間データはピクセルまたはピクセル領域をモニタすることによりピクセルまたはピクセル領域ベースで引き出されるが、取得間データをイメージワイドにできることも本発明の範囲内である。Ｉ-データは画像後処理ソフトウェアまたはハードウェア用情報を運んで歪みを修正し、場合によっては、歪みにより最終画像の詳細が改悪されるのを防止する。当業者ならばＩ-データは動き推定および解析および画像セグメンテーションをアシストできることにお気づきであろう。限定はされないが、Ｉ-データはピクセルまたはピクセルグループに対する歪みインジケータフラグおよび時点を含むことができる。本発明の実施例に従ったＩ-データに対する効率的表現は各ピクセルまたはピクセルブロック位置が特定のＩ-データ位置にマッピングされるマスクとしてである。たとえば、画像サイズマスクでは、各ピクセルを特定のＩ-データ位置にマッピングすることができる。
【００３４】
本方法は画像取得時または取得後に生じるセンサ、ピクセルまたはピクセル領域における信号強度の蓄積率およびその変化または信号強度の両方に取り組む。これらは、たとえば、取得中に画像フレーム内の１つ以上のオブジェクトまたは画像キャプチャ装置により生じる動き、照明または反射率の予期せぬ変動、またはセンサの露出不足（ローライト）または露出過度（飽和）の結果であることがある。信号蓄積率の変化として特徴づけられるイベントは画像取得間隔中のある時間にまたはある時間にわたって生じるため、取得中の画像の時間的イベントまたは時間的変化として記述することができる。それらは時間的摂動または予期せぬ時間的変化と考えることもできる。動きはこのような時間的変化の１つのクラスである。強度信号の変化率は時間的イベントを識別し修正するのに使用され、所望する信号へのノイズの影響を克服するのに不十分な光がセンサに到達するローライト状況を識別し修正するのに使用することもできる。
【００３５】
図４に示すように、一実施例において、取得間メタデータ抽出過程はイメージセンサ２００、歪み検出器２０２、画像推定器２０４、マスクフォーマッタ２０６、および画像シーケンスフォーマッタ２０８を利用する。
【００３６】
図５に詳細に示すように、好ましい歪み検出器２０２はぶれプロセッサ２１０および露出プロセッサ２１２を含み、それらの出力は歪みインタプリタ２１４に接続されている。ぶれプロセッサ２１０内にフィルタ２１６、距離測定器２１８およびぶれ検出器２２０がある。露出プロセッサ２１２内にフィルタ２２２、距離測定器２２４およびぶれ検出器２２６がある。
【００３７】
図５において、fk(l), センサアレイ内の位置lにおける画像強度のk番目のサンプルがぶれプロセッサおよび露出プロセッサモジュールに送られる。ぶれプロセッサ内で信号はフィルタリングされて信号推定値
および残留誤差rkBを得る。信号推定値および残留誤差は距離測定器モジュールへ送られそれはぶれ検出器への入力SkBを発生する。この柔軟なアーキテクチュアによりいくつかのフィルタリングおよび距離測定器を使用することができる。有限インパルス応答（ＦＩＲ）、無限インパルス応答（ＩＩＲ）および状態空間フィルタ（すなわち、カルマンフィルタ）の広い範囲を含むフィルタリング技術が、qkBおよびrkBを得るために用いられる。この実施例では、簡単にするために、その係数が
およびfk(l)間の最小二乗距離を最小限に抑えるように設計されるスライディングウィンドＦＩＲフィルタがぶれ検出器のフィルタブロック内で使用される。残留は
として計算される。
【００３８】
ぶれプロセッサ内の距離測定器モジュールは歪みを表示するために信号のどの小面が検出されるかを決定する。画像形成中に動くオブジェクトにより生じる多数の強度の混合を画像領域内の個別のピクセルが観察する時に動きぶれ歪みが生じる。ピクセルレベルにおける動きぶれの検出は画像形成中にピクセルにおける画像強度の変化を検出することである。この変化を検出することにより、オリジナル（ぶれ前）ピクセル強度を保存することができる。距離測定器は残留rkBの平均、分散、相関または相関の符号の変化を検出するのに使用することができる。撮像アレイ内のピクセルは信号従属ノイズ（すなわち、ショットノイズ）および信号独立ノイズ（すなわち、熱ノイズ）の両方を経験するため、平均、分散、相関の変化を適用することができる。この実施例では、平均距離測定の変化skB=rkBが使用される。相関距離測定の分散、相関または相関符号の変化の例は
skB=(rkB)2-s2r, skB=rkBfk-m(l)およびskB=sign(rkBrBk-1)をそれぞれ含み、s2rは既知の残留分散でありm<kである。
【００３９】
歪みが検出されると、ぶれ検出モジュールは歪みの時間kBおよび（予歪み）ピクセル値fBからなるアラームを発する。平均の変化におけるぶれ検出アルゴリズムはＣＵＳＵＭ（累積ＳＵＭ）アルゴリズム、
を使用する。
ここに、n>0はドリフトパラメータでありhk>0はインデクス独立検出閾値パラメータである。このアルゴリズムは閾値hkよりも小さい大きな瞬間誤差による偽陽性(false positive)に抵抗してピクセル強度の積分またはフィルタリングの継続を許す。ドリフトパラメータはスプリアス誤差を効果的にフィルタリングするすなわち「減じる」時間的ローパスフィルタリングを加え、偽陽性を低減し、大きな局所誤差または動きぶれにより特徴づけられる小さなクラスタ誤差に検出過程をバイアスさせる。gkBが閾値hkを超えると、アラームが発せられてアルゴリズムは次の時点でgkB=0として再始動される。閾値hkはインデクス従属性として各ピクセルにおける積分時間を最大とすることができる。閾値hkは１階のサンプル時間k=1において無視され、露出時間の終に近いピクセルを改悪するのにより大きな強度偏差を必要とするため、露出期間の終りに増加することができる。それによりピクセルにおける信号独立ノイズをさらに低減することができる。変化検出において不可欠のトレードオフは感度対遅延である。値hkおよびnは検出時間を最適化して偽陽性を防止するように調整され、当業者ならばこれらのパラメータの設計方法をよく知っている。開示されたぶれ検出方法は検出過程内に放っておくことができメタデータを検出過程から発生できるようにすることで最初にTullにより後にEl-Gamalによる業績よりも優れている。
【００４０】
図５に示すマグニチュードプロセッサ２１２はフィルタ段階２２２、距離測定器モジュール２２４およびピクセルが適切に露出されているかどうかを確認する露出検出器モジュール２２６を含んでいる。この確認は展開するピクセル強度の勾配および値に基づいている。ピクセルの勾配および値が閾値よりも下であれば、そのピクセルはピクセルにおけるノイズ源に対して露出不足であると言われる。ピクセルの勾配および値がそのダイナミックレンジに対して最大値を超えれば、このピクセルは露出過度と言われる。この実施例では、下位閾値hLはセンサエレメントの暗電流密度（メーカにより指定される）およびアナログ/デジタル変換（ＡＤＣ）ノイズまたはその両方により決定される全体画像に対する定数である。この場合、ピクセルの勾配および値を導くことが、その最終値を予測するのに用いられる。この最終値が指定された信号対ノイズ比よりも下であれば、そのピクセルは露出不足としてフラグが立てられる。上位閾値hUはセンサアレイのメーカにより指定されるウエル容量（すなわち飽和電流）により決定される全体画像に対する定数であり、やはりアナログ/デジタル変換後のＡＤＣの最大ビット深さに対応する。ピクセルの強度がこの上位閾値に達すると、ピクセルは光強度を失う。
【００４１】
露出プロセッサのフィルタ段階において、２次自己回帰（ＡＲ）予測誤差推定器１を使用してカレント画像強度
が得られ、それは予測誤差
を与える。
【００４２】
露出プロセッサ距離測定器モジュールの出力はカレント強度推定値のその最終ピクセル強度への外挿である
から計算される。
【００４３】
露出検出器モジュールは２つのＣＵＳＵＭベースアルゴリズム、
をインプリメントする。
ここに、hLおよびhUは下位および上位検出器閾値であり、nLおよびnUは下位および上位ドリフト係数であり、gkLおよびgkUは上位および下位のテスト統計量である。ドリフト係数および閾値はピクセル強度に対する上位および下位の境界検出を実施するように設定される。いずれのテスト統計量もそれぞれの閾値を超えると、fEに格納された瞬間予測誤差からなるアラームおよびその時点kEが歪みインタプリタに送られる。
【００４４】
歪みインタプリタ（ＤＩ）２１４は歪みベクトルに優先順位を付けて各ピクセルに対する取得間メタデータを準備する。インタプリタは歪みベクトルの変化を追跡して冗長検出を解消する。実施例において、インタプリタには１つの歪みイベント（ピクセル当り露出当り）を記録して記憶装置を最小限に抑える責任がある。夥しい数のピクセル当り露出時間当り歪みイベントを十分なメモリリソースによりカタログに入れることができる。歪みインタプリタは露出およびぶれ検出器から得られたイベントに基づいてメタデータを発生、格納および発行することができる。各ピクセルに対するメタデータ出力ベクトルフォーマットは次式で表される。
v(l)={(歪みクラス、時間、値),(歪みクラス、時間、値)}
【００４５】
各ピクセルは単一の露出クラス歪みまたは単一のぶれクラス歪みしか有することができないか、あるいは両方を有することができる。２つの単一またはぶれクラス歪みは許されない。たとえば、露出時間中の時点kにおける動きに対応する単一変化をピクセルに経験させる。露出時間の終りに、ＤＩはベクトル,v(l)={PB,k,fB}を発生し、ここに、ＰＢは一部ぶれを示す歪みクラスシンボルであり、kは時点でありfBはピクセルの予歪み値である。このベクトルによりオリジナルピクセル強度の全露出値をfN(l)=(N/k)×fBとして後処理において再構成することができ、ここに、Ｎは画像形成中に行われた観察の数である。このピクセルにより観察された新しい強度値の同じピクセルがピクセルを飽和させることに注意されたい。この場合、メタデータベクトルはv(l)={PB,k,fB,X,k+1,fE}となる。このベクトルにより後処理ソフトウェアはオリジナルぶれ無しピクセルを時間kにおいて正確に再構成することができ、時点k+1において高強度ピクセル値が観察される。k+1におけるピクセル値はfk+1(l)=(N/k+1)×fEとして与えられる。ピクセルがこの点でリセットされると、より多くの強度を推定することができる。飽和の開始を予測することにより、ピクセルのダイナミックレンジよりもＮ倍明るい光強度を後処理において表現することができ、Ｎはピクセルの観察数である。
【００４６】
歪みインタプリタはピクセル当り３つのぶれ歪みクラスシンボル、部分的ぶれ（ＰＢ）、ぶれ（Ｂ）、またはぶれ皆無（Ｓ）の１つを発生することができる。Ｓクラスは実際上典型的に抜かされる。この分類は画像形成中に観察される変化の数に基づいている。ＰＢピクセルの場合、単一変化はオブジェクトがピクセル（またはピクセル領域）を覆うまたは覆いを取る場合のように画像形成中に観察される。画像形成中に２つ以上の強度変化が観察される場合、ピクセルはぶれた（Ｂ）ピクセルと言われる。画像形成中に変化が検出されなければ、ピクセルは静止すなわち（Ｓ）ピクセルである。実際上、（ＰＢおよびＢ）ピクセルは孤立状態で生じることはない。歪みインタプリタは他の（ＰＢおよびＢ）ピクセルに対する近隣ピクセルを調べてぶれプロセッサ検出器にこの制約を強制し一到性を保証する。歪みインタプリタはぶれプロセッサの状態をリセットし、局所ピクセルにおいてこの状態を強制することができる。
【００４７】
また、歪みインタプリタはピクセル当り３つの露出歪みクラスシンボル、露出不足（Ｌ）、露出過度（Ｘ）または十分な露出（Ｎ）の１つを発生することができる。実際上、（ＬおよびＸ）ピクセルは孤立状態では生じない。歪みインタプリタは他の（ＬおよびＸ）ピクセルに対する近隣ピクセルを調べて露出プロセッサにこの制約を強制し一到性を保証する。歪みインタプリタは露出プロセッサの状態をリセットしてこの状態を強制することができる。（Ｌ）割当てにより露出不足ピクセル内のノイズは後処理において類似ピクセルにより部分的にフィルタリングすることができる。当業者ならば非常に多くのノイズフィルタリング方法をご存知である。
【００４８】
画像強度推定器はサンプルfk(l)から画像の最終値を展開して強度値fの２次元ベクトルを作り出す。さまざまなフィルタリング方法を使用して最終画像強度を推定しノイズを低減することができる。この実施例では、画像強度は歪み検出器により歪みを管理しながら従来の撮像システムのように累積される（後に平均化される）。
【００４９】
マスクフォーマッタは取得間メタデータを効率的に格納して各ピクセルへ送信するためのマスク構造とする。場合によっては、取得間メタデータは個別ピクセルに対してではなくピクセルグループに対して提供することができる。ピクセルのグループまたは領域は任意数の方法で定義することができる。一実施例では、ピクセルの領域は撮像中のピクセルのビンニング(binning)により定義される。ビンニングはそれにより隣接ピクセルのグループが結合されて画像形成中に単一ピクセルとして作用する過程である。
【００５０】
本発明の目的のために、ピクセルおよびピクセル領域という用語は多数のセンサエレメントを有するセンサ、センサアレイとして配置されたセンサエレメント、単一または多数のチップセンサ、ビンド(binned)ピクセルまたは個別ピクセル、近隣ピクセルの分類、センサコンポーネントの配置、スキャナ、前進的に露出される線型アレイ、等を含んでいる。センサまたはセンサアレイはより一般的に可視光に感応するが、本発明は赤外センサ（近および/または遠赤外センサ等）、紫外センサ、レーダセンサ、Ｘ線センサ、Ｔ線（テラヘルツ放射）センサ、等を含む他の波長のエネルギを検出するセンサも包含する。
【００５１】
本発明はピクセルまたはセンサのさまざまな領域および/またはグループを規定するマスクに関連する。このようなセンサまたは領域のグループの識別は画像処理の伝統的感覚ではマスクにより記述する必要はないが、本発明の目的のために何らかの手段により識別されたセンサ、ピクセル、または領域の通信を行うセンサ、ピクセルまたは領域の識別および/または規定を包含する。
【００５２】
本発明のある実施例に従ってぶれマスクが提供される。静止画において、動きぶれは重要な視覚的手掛りであるだけでなく好ましくない画像歪みである。動き関連歪みは人間の視覚系により使用されて網膜上のイメージの知覚した空間および時間解像度を調節するという視覚科学文献からの精神物理的証拠がある。そのため、画像のぶれの適切な処置は観察者または望ましくないぶれの除去に対する視覚的手掛りに重要である。したがって、本発明のある実施例では、ぶれマスクは重要なメタデータコンポーネントである。ぶれマスクの目的は３つある、高速移動オブジェクトに対応する領域を規定する、オブジェクトオリエンテッド後処理を容易にする、および動き関連歪みを除去することである。
【００５３】
図６はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４ぶれマスク８０を例示しており、Ｎ×Ｍは各ぶれマスクエレメントに対する測定が行われる画像ブロックのサイズである。このマスクは画像内のどのピクセルまたはピクセル領域が画像形成過程中にぶれを経験しているかを示す。動きぶれは画像取得中に多数の強度が受信されるような変化をピクセルまたはピクセル領域が受ける時に生じる。動きぶれは画像形成中にピクセルまたはピクセル領域をモニタして検出される。ピクセルまたはピクセル領域内の強度の展開が予期された軌道から逸脱する時は、ぶれが生じている疑いがある。
【００５４】
図６で触れたように、ぶれマスク８０の各エレメントはピクセルを３つのカテゴリの１つに分類することができる。
【００５５】
カテゴリＳ-静止：ピクセルは画像形成中に単一エネルギ強度を観察し動き関連ぶれを経験しなかったことが確認されておればこの称号が割当てられる。この確認は決定的または推計的に行うことができる。静止ピクセルまたはピクセルグループの例が図６の８２に示されている。
【００５６】
カテゴリＰＢ-部分的ぶれ：センサピクセルは、任意の時点において、画像形成時間または露出時間中に２つ以上の区別できるエネルギ強度の混合を観察したことが確認されておればこの称号が割当てられる。この場合、センサピクセルはオリジナルシーンのぶれた観察を含んでいる。ピクセル動き推定値および分類Ｂ-ぶれと共に使用される場合、ＰＢ-部分的ぶれ分類は特に移動および静止オブジェクトの結合を観察したピクセルを指示する。通常の場合、移動オブジェクトは前景オブジェクトであり静止オブジェクトは背景オブジェクトであるが、必ずそうであるとは限らない。部分的ぶれピクセルまたはピクセルグループの例が図６の８４に示されている。
【００５７】
カテゴリＢ-ぶれ：ピクセルまたはピクセル領域が画像形成全体を通して多数のエネルギ強度の混合を観察しており、ピクセルはオリジナルシーンのぶれ観察であることが確認されておればピクセルにこの称号が割当てられる。ぶれピクセルまたはピクセル領域の例が図６の８６に示されている。
【００５８】
ピクセル動き推定値およびＰＢ-部分的ぶれピクセル分類と共に使用される場合、Ｂ-ぶれピクセル分類は特に露出時間中に移動する、通常は前景、オブジェクトしか観察しなかったピクセルまたはピクセル領域を指示する。ここでまた全体を通してオブジェクトは物理的オブジェクトに限定されず、背景、前景または中間景オブジェクトを含むことができる画像エリアまたはオブジェクトのエリアまたは部分を含んでいる。
【００５９】
各ピクセルまたはピクセル領域に対する分類過程は各ケースにおいて単一ピクセルまたはピクセル領域を使用するまたは多数のピクセルまたはピクセル領域を使用する決定的（ピクセルプロファイルの勾配変化検出による）、または推計的（推定理論を使用し推定されたパラメータベクトル内の変化検出による）とすることができる。ピクセルまたはピクセル領域動き推定値が無い場合、ぶれおよびぶれ無しピクセル間の区別はピクセルプロファイルから引き出されるため、Ｓ-静止およびＰＢ-部分的ぶれ分類しか使用されない。動き推定値等の追加情報はオブジェクトベース動きぶれ復元の目的に対してＢ-ぶれおよびＰＢ-部分的ぶれピクセル分類の区別を容易にする。
【００６０】
ピクセルまたはピクセル領域の共通カテゴリを有する画像のエリアは有界領域内へのグループであり、これらの有界領域はメタデータのぶれマスクを与える。このようにして、ぶれマスク８０は動きが画像のぶれを生じた画像のエリアを示すのに使用される。後処理方法はこのようなマスクを使用してマスクにより画定される画像のエリアを低減、除去、または処理することができる。画像のぶれ部分の検出を使用してインテリジェントシステム、自律車両、セキュリティシステム、またはこのような情報が有用となる他の応用に対する視覚システム等の、動き検出またはオブジェクト識別を行うこともできる。
【００６１】
ぶれマスクの前記した検討で具現される重要なコンセプトは近隣ピクセルまたはピクセル領域が撮像過程中に同じまたは類似結果を経験することである。ぶれは単一ピクセル内だけでは生ぜず画像のエリアにわたって見つかる。ぶれの検出は近隣ピクセルおよび近隣ピクセル上に生じたぶれを除去あるいは直すための画像処理の結果を計算することにより支援される。この近隣コンセプトは強度マスクおよびイベントタイムマスクの下記の検討へ持続する。本発明を使用して決定された任意の歪みを近隣ピクセルまたはピクセル領域を頼りに認識または処理することができる。
【００６２】
画像内のぶれ検出は画像取得中にセンサのサンプリングを必要とする。これは画像の選択されたピクセルだけのサンプリングまたはセンサ内の全てもしくは大部分のピクセルのサンプリングを含むいくつかの方法で実施することができる。これを遂行するために、特に後者の方法は、画像取得中に信号の非破壊的読取りを許すセンサまたはセンサアレイを必要とする。これを許すセンサの例はＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサおよびＣＩＤ(Charge Injection Device)センサである。このようにして、ピクセルまたはピクセルグループは画像形成中に多数回調べることができる。非破壊的センシングが不可能である場合には、取得間ピクセル値を外部メモリに格納して処理することができる。
【００６３】
図７に示すように、本発明のある実施例では強度マスク８８が提供される。強度マスク８８はその強度に基づいてピクセルまたはピクセル領域の相対信頼度を記述するメタデータを提供する。強度マスクをメタデータの重要なエレメントと見なす２つの理由がある。１階は、画像の明るい領域には、飽和または飽和に近いピクセルが存在する確率があることである。飽和ピクセルはもはや画像形成中の画像強度の増加には感応せず、したがって、ピクセルのダイナミックレンジを制限する。２階は、低光強度を観察するピクセルはノイズにより著しい不確定性を余儀なくされることである。ピクセルにおけるノイズのコンポーネントは信号独立性または信号従属性とすることができる。信号独立性ノイズは読取りノイズのように散発的にあるいは熱またはジョンソンノイズのように連続的に生じることができる。
【００６４】
信号従属性ノイズは、たとえば、そのノイズの分散が典型的に信号強度の平方根に比例するショットノイズを含む。低照明状況において、入射光へのピクセル応答は信号従属性および信号独立性ノイズ源の両方により支配することができ、この知識に従って処理しなければならない。
【００６５】
図７はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４強度マスク８８を例示しており、Ｎ×Ｍは各強度マスクエレメントに対してその上で測定を行った画像ブロックのサイズである。強度マスク８８のエレメントは３つのピクセル状態の１つをとる。
【００６６】
状態Ｘ-飽和：この称号を受けるピクセルまたはピクセル領域はカメラまたは撮像システム設定に基づく高強度光を観察しており、たとえば、受光強度は露出の長さに対して強すぎる。この称号を有するピクセルは飽和しているか画像露出時間中に飽和する。状態Ｘの例が９０に示されている。
【００６７】
状態Ｌ-低光：この称号が割当てられるピクセルまたはピクセル領域はカメラ設定に対して低光強度を観察しており露出不足のことがある。したがって、状態Ｌを有するピクセルまたはピクセル領域はノイズにより汚染される。つまり、ノイズはピクセルから得られる有用な信号の有意部分である。状態Ｌを有するピクセルまたはピクセル領域の例は９２である。
【００６８】
状態Ｎ-この称号が割当てられるピクセルまたはピクセル領域はカメラ設定に従って適切に露出されていることが確認されており、最小ノイズ処理しか必要としない。すなわち、ノイズ信号はこのピクセルまたはピクセル領域からの有用な信号の有意部分ではなく（有用な信号は信号のノイズ部分よりも遥かに高いため）ピクセルは飽和に達成または接近していない。状態Ｎにあるピクセルまたはピクセル領域の例は９４である。
【００６９】
これらの状態を有する画像のエリアは強度マスクの有界エリアを形成するように分類される。本発明の実施例では、強度マスクはメタデータのコンポーネントである。
【００７０】
強度マスク８８により強力な後処理は歪みを除去してカメラ性能を拡張するように計算努力を局限する。このマスクにより検出された状態-Ｌ低光ピクセルは他の低光ピクセルまたはピクセル領域の間で局所フィルタリングにより修正することができる。言い換えれば、ノイズ信号は露出不足、状態-Ｌピクセルはまたはピクセル領域からフィルタリングにより除去される。まだ飽和レベルに達しない明るい状態Ｘ-飽和クラスピクセルはイベント時間マスクの助けによりそれらの究極値に外挿することができる。イベント時間マスクについては後述する。飽和点に達しているピクセルに対する究極値の外挿を行うこともできる。このような場合には、画像の輝度、または強度、範囲をシフトさせて外挿値の調整が必要となることがある。この後処理能力はキャプチャされた画像のより豊かな色およびより優れた詳細に対する線型ダイナミックレンジを拡張し、少なくとも情報が無い筈の画像のエリア（飽和したピクセルの領域）の詳細が得られる。
【００７１】
強度マスク８８は画像内の孤立した偽ピクセルの検出も行う。一般的に、画像内の孤立した低光および輝光ピクセルの存在はめったにあることではない。画像内で、低光または輝光ピクセルは画像内のオブジェクトに対応しほぼ常に同じまたは類似の光状況を有する近隣ピクセルにより分類される。飽和すなわち低光ピクセルが孤立状態で生じれば、それは一般的に、たとえば、ノイズ源としての時間的ノイズ、ショットノイズおよび/または固定パターンノイズによる。これらのピクセルは図７に示すような強度マスクにより容易に識別される。たとえば、飽和ピクセル９０は低光ピクセル９２に包囲され、ピクセル９０の飽和はノイズまたはピクセル内の他の誤差である可能性が非常に高いことを示す。メジアンフィルタリング等の一般的な後処理技術を自動的に適用し強度マスクを使用してこの歪みと他の歪みを局所的に除去することができる。
【００７２】
図８に示すように、本発明のある実施例では、イベント時間マスク９６が提供される。イベント時間マスク９６は歪みイベントがいつ検出されるかを示す時間的マーカを与えるのに使用される。イベント時間マスクは後処理ソフトウェアまたはハードウェアを使用して画像歪みの修正を容易にするメタデータの重要なクラスである。前記したように、Ｉ-データすなわち取得間データは画像取得中にセンサアレイをサンプリングして得られる。イベント時間マスク９６は一般的に歪みイベントに対応するイベントが検出されたサンプル数により表現することができる。図８の例では、露出中にＮサンプルが採られ検出されたイベントの無いピクセルまたはピクセル領域は９８に示すようにＮのマークが付されて、イベントを認識することなく露出の最後のサンプルが採られたことを示す。
【００７３】
図８はピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応することができる４×４時間イベントマスクに対するイベント時間マスクを例示しており、Ｎ×Ｍは各時間イベントマスクエレメントに対してその上で測定を行った画像ブロックのサイズである。時間的イベントマスクを使用してピクセルぶれの開始を表示し、移動オブジェクトのサポートを決定し、移動オブジェクトを局在化し、ピクセルが飽和した時間を決定し、露出時間に基づいてオリジナルピクセル値にバック投影することができる。このような結果を得るための他の方法も使用できる。各種の多数のマスクを発生して複雑な歪みの修正を容易にすることができる。このようなマスクの有用性は後処理システムの精巧さおよび利用可能な計算リソースによって決まる。
【００７４】
図８において、「１」として示されるイベント時間マスクのピクセルまたはピクセル領域１００は画像取得中にピクセルまたはピクセル領域の最初のサンプリングにおいて生じた時間イベントを識別する。「２」と表示されたピクセルまたはピクセル領域１０２は２階のサンプリングイベントにおいて感知されたイベントを示す。「４」と表示されたピクセルまたはピクセル領域１０４は画像が得られていたピクセルまたはピクセル領域の第４のサンプリング中にイベントが感知されたことを示す。ピクセルまたはピクセル領域ＮはＮサンプルの全数が画像取得中にイベント時間を検出することなく実施されていることを示す。ここで、採られるサンプル数Ｎは４よりも大きい。イメージセンサの露出中に採られるサンプル数Ｎは変動し露出時間、最大可能サンプリング周波数、所望するメタデータ情報、システムのイベント時間サンプルを格納する容量、等によって決まる。
【００７５】
ピクセルまたはピクセル領域電荷レベルがさまざまなサンプリング時間に求められる。この情報を後処理で使用して歪みイベントが無ければピクセルまたはピクセル領域の電荷曲線はどんなものであったかを再構成して、画像から歪みを除去することができる。たとえば、画像取得中の画像フレーム内のオブジェクトの移動により画像にぶれが生じる。サンプリングによりぶれ効果前後の露出部分を示すことができ、サンプリングされた画像信号を使用してぶれの無い画像を再構成する。同じことが画像取得中に生じる他のイベントにも適用できる。
【００７６】
イベント時間マスクは画像のぶれまたは不足および過度露出の検出または修正に使用することができる。すなわち、メタデータのさまざまなマスクを一緒に使用して画像の後処理における最善の利点を得る。前記した画像特徴に加えて、画像取得中のイベントのタイミングをモニタすることによりさまざまな他の画像特性および歪みを決定することができる。これらの付加特性および歪みも本発明の範囲内に入る。
【００７７】
本発明のさまざまな実施例に従って、撮像システムはメタデータプロセッサが設けられる。図９ａは基本的なデジタル撮像システム１１０を例示している。撮像システム１１０はレンズ構成（図８ａに示す）を介して集束される光を集めるように配置されたセンサアレイ１１２（図８ａのセンサアレイ２２とすることができる）を含んでいる。センサアレイ１１２はシステムバス１１４に接続され、それは次にシステムクロック１１６、システムコントローラ１１８、ランダムアクセスメモリ（ＲＡＭ）１２０、入出力装置１２２、およびＤＳＰ/ＲＩＳＣ(Digital Signal Processor/Reduced Instruction Set Computer)１２４に接続されている。システムコントローラ１１８はＡＳＩＣ(Application-Specific Integrated Circuit)，ＣＰＬＤ(Complex Programmable Logic Device)，またはＦＰＧＡ(Field Programmable Gate Array)とすることができタイミングコントローラ１２６によりセンサアレイ１１２に直接接続されている。
【００７８】
図９ｂはメタデータプロセッサ１３２を追加したデジタル撮像システム１３０を示し、同じまたは類似のエレメントには同一参照文字が与えられている。メタデータプロセッサ１３２はセンサアレイ１１２およびＤＳＰ/ＲＩＳＣ１２４に直接接続されており接続１２６を介してタイミング制御信号を受信する。メタデータプロセッサ１３２はグローバルＰ-データ（予取得データ）を格納し画像形成中にイメージセンサ１１２をサンプリングして内部ＤＳＰ/ＲＩＳＣ(Digital Signal Processor/Reduced Instruction Set Computer)および/または外部ソフトウェアが後処理に使用するＩ-データ（取得間データ）マスクを計算する。メタデータプロセッサ１３２は特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはマイクロプロセッサ等の個別のプログラマブルチッププロセッサとすることができる。
【００７９】
図１０ａおよび１０ｂについて、画像取得が記述される。図１ａと同様に、図１０ａにおいて光２０はシャッタおよび開口２６、レンズシステム２４を通過してセンサアレイ２２に入射し、それはピクセルまたはピクセル領域２２により構成されている。形成中のメタデータプロセッサの機能的アクティビティも図１０ｂに示されている。特に、ステップは１３６においてシャッタを開いて画像形成を開始し、１３８においてメタデータをサンプリングして処理し、画像形成をサンプリングされたメタデータに適応させ１４０（ある実施例において利用可能なオプショナルステップ）、画像を処理し１４２、画像を圧縮し１４４（ある実施例において利用可能なオプショナルステップ）、画像を格納する１４６ことを含んでいる。
【００８０】
本発明で使用されるセンサアレイ２２または１１２は白黒センサアレイまたはカラーセンサアレイとすることができる。カラーセンサアレイでは、ピクセルエレメントにカラーフィルタアレイとしても知られるカラーフィルタが設けられて画像のさまざまなカラーを感知できるようにするのが一般的である。メタデータはセンサアレイの全ピクセルまたはピクセル領域に適用することができ、あるいはカラーフィルタアレイ内の共通カラーに割り当てられたピクセルまたはピクセル領域に別々に適用することができる。たとえば、フィルタアレイ内のブルーフィルタの全ピクセルがメタデータコンポーネントを有することができ、イエローフィルタのピクセルは異なるメタデータコンポーネント等を有する。画像感知アレイは可視光以外の波長に感応することができる。たとえば、センサは赤外センサとすることができる。もちろん、他の波長も可能である。
【００８１】
本発明のセンサはシングルチップとすることができあるいはアレイ配置とされたチップの集まりとすることができる。他のセンサ構成も可能であり本発明の範囲内に入る。
【００８２】
メタデータ抽出、計算および格納は撮像システムの他のコンポーネントと統合してチップ数を減らし製作コストおよび消費電力を低減することができる。
【００８３】
図１１ａ，１１ｂおよび１１ｃは撮像システム内に組み入れるさらに３つのメタデータ処理構成を例示している。前と同様に、同じまたは類似エレメントには同一参照文字が付けられている。図１１ａにおいて、メタデータプロセッサ１３２はシステムコントローラの機能と結合される。センサアレイ１１２はメタデータプロセッサ１３２にしか接続されておらず、全てのタイミングおよび制御情報がその中を流れるようにされる。
【００８４】
図１１ｂはメタデータプロセッサとＤＳＰ/ＲＩＳＣプロセッサ１５０の組合せが設けられて、別々のＤＳＰ/ＲＩＳＣエレメントを解消する実施例を例示している。図１１ｃにおいて、メタデータ処理機能は単一ユニット１５２内のシステムコントローラおよびＤＳＰ/ＲＩＳＣと結合される。このようにして、撮像システム内のエレメント数は劇的に低減される。
【００８５】
メタデータは画像取得後処理ハードウェアおよびソフトウェアにより使用される。前記したように展開されたメタデータは画像データと共に撮像システムから出力され、ヘッダ情報内等の、画像データファイル内に含むことができ、あるいは個別のデータファイルとして含むことができる。個別であるか画像データに組み入れられるかにかかわらず、メタデータ構造の例が図１２に示されている。データ構造内で、画像に対するメタデータコンポーネントは、静止画か動画かにかかわらず、メタデータ部１５６を有する。メタデータ部１５６内には取得間データを含むＩ-データ部１５８および予取得データを含むＰ-データ部１６０がある。好ましい実施例では、Ｉ-データ部はイベント時間マスク１６２、露出マスク１６４およびぶれマスク１６６により構成される。各マスク部１６２，１６４および１６６は、１６８に示すように、行および列によるマスクの定義を有する。
【００８６】
図１２のデータ構造の例により、画像情報を画像処理および操作ソフトウェアに格納して読み込み読み出すことができる。データ構造内の情報は効率的格納および送信のためにエントロピ符号化（すなわち、ランレングス符号化）することができる。この機能は画像シーケンスフォーマッタにより実施される。
【００８７】
メタデータは画像データ取得中に抽出されるものと記述されている。本発明は画像データ取得後のメタデータの抽出も包含する。たとえば、図１２のデータ構造、または他のメタデータ構造、はセンサにより画像データが取得された後で、たとえば、取得されたまたは観察されたシーンの信号処理技術を使用するカメラの外部で発生または抽出することができる。メタデータはカメラ内またはカメラの外部で発生することができるため、メタデータは使用するカメラに基づいてはいない。
【００８８】
メタデータイネーブルドソフトウェアが好ましくはこの付加情報を与えられた画像ファイルを処理するために設けられる。好ましい実施例のソフトウェアはWindows（登録商標), Linux（登録商標）またはMac（登録商標）OSの元でパーソナルコンピュータまたはワークステーションで実行されるグラフィカルユーザインターフェイス（ＧＵＩ）を含んでいる。他のオペレーティングシステムももちろん可能である。ソフトウェアはカメラのＩ/Ｏ（入出力）インターフェイスを介して撮像装置と通信して画像データおよびメタデータを受信する。あるいは、ソフトウェアは記憶装置またはメモリから格納されたデータを受信する。たとえば、画像は固体メモリカードに格納することができメモリカードはコンピュータまたは外部メモリカードリーダ内の適切なスロットを介して画像処理コンピュータに接続されている。画像データがメタデータと共に磁気テープ、ハードデスク記憶装置、または光記憶装置その他の記憶手段に格納されることも本発明の範囲内である。たとえば、セキュリティシステム内で画像データは大容量記憶装置上に格納され必要時に画像データの選択された部分しか処理することができない。
【００８９】
画像データを処理するソフトウェアはオリジナル劣化画像をディスプレイして後処理されたシーンを見る窓を提供する。あるいは、ソフトウェアは必要な処理を実施して最終処理済画像だけを示すことができる。ソフトウェアはプルダウンメニューおよびオプションを提供して画像取得後処理過程およびアルゴリズムおよびそれらのパラメータをディスプレイする。ソフトウェアのユーザは、好ましくは、メタデータ内の情報に基づく画像処理を介して案内され、あるいは処理を自動的または半自動的に実施することができる。ソフトウェアはＩ/Ｏブロックを介したメタデータプロセッサまたはメモリ内のメモリ位置のＩ-データおよびＰ-データメタデータにアクセスすることによりメタデータイネーブルド後処理を実施する。Ｉ/ＯブロックはBluetooth（登録商標）または８０２.１１(Ａ，ＢまたはＧ)等のワイヤレス接続あるいは制御タイミング等のワイヤド接続を介して画像およびメタデータを提供することができる。
【００９０】
制御タイミングはＵＳＢ ＩまたはＩＩあるいはFirewire（登録商標）等のパラレルインターフェイスまたはシリアルインターフェイスを使用して可能である。好ましい実施例のメタデータアウェア後処理ソフトウェアは後処理をアシストするのに特定クラスのメタデータを利用できる表示をユーザを与える。ＧＵＩはメタデータに従って歪んでいることが判ったピクセル領域を示すことができる。これらのエリアはカラーコーディングを行って特定ピクセル領域内の歪みのタイプをユーザを示すことができる。ユーザはピクセル領域を選択して特定歪みの処理をイネーブルまたはディセーブルすることができる。ユーザは自動または手動後処理領域を選択することもできる。
【００９１】
圧縮、強調または回転、ズーム等の画像データの操作、または画像シーケンスのスケーリングはダウンロードされたメタデータにより指令することができる。画像または画像シーケンスが処理された後で、ソフトウェアを介して新しい画像データを保存することができる。
【００９２】
このようにして、デジタル画像の後処理を改善するためのメタデータ抽出および供給方法および装置が提示された。この改良によりシーン、歪みまたは画像形成過程に関する情報を供給するまたはそこへのアクセスを提供することができないことにより大概のハードウェアおよびソフトウェアベース後処理方法が蒙る性能上の制約を克服する。シーン、歪み、または画像形成過程に関する知識を利用する後処理のインプリメンテーションは本方法および装置により手に入れることができる。メタデータの使用により圧縮、操作および自動解釈を含む画像および映像処理性能が改善される。
【００９３】
本発明のもう１つの側面において、画像強調方法、装置およびソフトウェアプロダクトが提供される。画像形成後に信号および画像処理を実施するのではなく、ここに提示する方法は画像のその場処理を提供することである。その場処理はカメラ設定、センサパラメータ、および画像シーンの重要な知識を固有に利用して画像形成中にピクセルデータを処理するアクティブ画像形成を実施する。
【００９４】
その場処理は画像形成中に生じる画像歪みを予測し削除する。前記した図１０ａはその場画像処理過程を例示している。最初に、光子の検出が機械的または電子的手段により可能とされる。画像形成が開始すると、ピクセルまたはピクセル領域が画像形成中にサンプリングされ信号処理技術を使用して処理される。画像形成中にピクセルを処理することにより、（出現する）画像歪みを識別し、分類しまた場合によっては防止することができる。ピクセルまたはピクセル領域挙動が画像形成中に適合される。その場処理は静止画および動画強調および圧縮後処理または、後述するように、リアルタイムピクセル修正用の重要なデータを提供するのにも使用できる。
【００９５】
その場処理で生じることがある一般的な画像歪みが図２ａ，２ｂ，２ｃおよび２ｄに示され、前記した、対応する文に記述されている。その場処理に対する信号分布が図３ａ，３ｂ，３ｃおよび３ｄに示され、対応する文に記述されている。発明のこの側面に対して、各ピクセルにおける光強度の形成（入射光子の累積による）が取得中にモニタされる。これは正規の時間間隔でイメージセンサを読み取って（すなわちサンプリングして）行われ、その結果、センサアレイ上の各ピクセルはそれ自体のシャッタを有する。この新考案は一定照明状況の元で静止画を形成する線型モデルと結合される（すなわち、露出時間中にカメラまたはシーン内のオブジェクトの動きが無い）。入射光子率（単位時間当り光子数）は一定である、あるいは、光子の累積すなわち強度の増加は線型モデルに従うものとする。この線型光子累積モデルの元で、入射光子率の変化は非常に小さくなければならない（理想的にはゼロに等しい）。したがって、光強度の時間導関数の時間導関数（２階時間導関数）を各ピクセルにおいて評価する必要がある。したがって、この方法は非線形推定技術のクラスを一般化するロバストな統計的手順に基づいている。
【００９６】
τで露出時間を示しＮでこの露出時間中に強度値がサンプリングされる回数を示すものとする。サンプリング周期Ｔはτ/Ｎに等しくサンプリングインスタンスはtk=kT, k=1,...,Nで示される。また、２次元空間グリッドをl=(x,y)で示し、タイムインスタンスtkにおけるピクセルlの強度値をfk(l)=f(l,tk)で示す。
【００９７】
最後に、強度fk(l)の１階および２階時間導関数の数値近似を、それぞれ、
Δk1(l)およびΔk2(l)とする。
【００９８】
この技術のさまざまなバージョンが次に記述される。これらの方法の構造は処理段階および再構成段階を含む。再構成段階はカメラ内のピクセルまたはその近くあるいは画像キャプチャ装置外部のソフトウェア内でインプリメントすることができる。
【００９９】
（時間ベース信号外挿を使用する時空間歪み軽減）
図１８に示すプロセスは技術のこのバージョンにより各タイムインスタンスおよび各ピクセル位置｜Δk2(l)｜における強度値の２階時間導関数の絶対値が計算され固定閾値ηと比較される方法を提供する。次に、｜Δk2(l)｜<ηであれば、基礎をなす線形モデルに従うため、アクションはとられずに光子累積が継続する。一方、｜Δk2(l)｜>ηであれば、カメラまたは照明状況の変化によるシーン内のオブジェクトの動きにより基礎をなす線形モデルが侵害される。この場合、ピクセル値fk(l)はもはや更新されず画像形成はそのピクセルにおいて停止され、動き関連歪みが画像形成中に防止されるようにされる。ピクセル強度の最終値は最後の記録値fk(l)からks k-1により外挿され、線形画像形成モデルに従って、それはfN(l)=fks(l)・(N/ks)である。
【０１００】
１階および２階の時間導関数を数値的に評価するいくつかの技術がある。
【０１０１】
そうするための簡単で意味のある方法は両方の１次導関数に対して１次後進差分を使用することである。この場合、
Δk2(l)=fk(l)-fk-1(l)かつΔk2(l)=Δk1(l)-Δk-11(l)=fk(l)-2・fk-1(l)-fk-2(l)
いくつかのより精巧な数値微分方法については後述する。
【０１０２】
閾値ηの値は特定センサのノイズ特性および恐らくは応用によって決まるシーンの特徴を考慮して前もって指定される。
【０１０３】
（時間ベース信号外挿および時空間適応強度感応検出閾値を使用する時空間歪み軽減）
図１９に示すように、図１８の閾値ηの値は取得した画像の最終全体品質を決定するのに極めて重大である。したがって、閾値は時間的にも空間的にも変動できるようにするのが有利である。本技術のこのバージョンは固定閾値の替わりに空間的および時間的適応閾値を利用する点を除けば図１８と同一である。適応閾値は空間位置１および過去の強度値fPAST(l)によって決まり、ここにＰＡＳＴは現在の観察の前の全ての時間サンプルを示す。
【０１０４】
たとえば、光取得を記述する線の勾配はまだ確立されていないため、取得期間（kの小さい値）の開始中にノイズ問題に取り組むためにより大きい値のηを考慮することができる。直線からの小さな逸脱は受け入れられるため、kの大きい値に対しても同様に解説することができる。空間的変動について、閾値を前記した変数に関して適合できるようにすると、変化検出アルゴリズムは各時間間隔において信号従属性ノイズを考慮することができる。たとえば、光子ショットノイズが支配的であればηの大きい値を画像の明るいエリアで利用することができる。
【０１０５】
（擬似ノイズ更新、時間ベース信号外挿、および時空間適応強度感応検出閾値による時空間歪み軽減）
図２０は本技術の1つのバージョンを示し、図１９のような基礎をなす線形モデルからの画像形成プロセスの逸脱の検出に同じ機構が使用される、すなわち時間的空間的適応閾値が使用される。しかしながら、このような逸脱が検出されると、すなわち
である時に、ピクセル位置における画像取得はもはや図１９および２０のようには終結しない。その代わりに、擬似ノイズが改悪データを置換する。擬似ノイズ手順はノイズε(l,fPAST(l))を加え、統計は発展する強度fk-1(l)およびピクセルのノイズ統計に基づいている。有用なノイズの例はε(l,fPAST(l))=εSI(l)+εSDfk-1(l)であり、ＳＩおよびＳＤはそれぞれ信号独立および信号従属ノイズコンポーネントを示す。ノイズコンポーネントはセンサアレイおよび照明状況に基づいて適切なノイズ分布たとえばガウスまたはポアソンをとることができる。次に、撮像プロセスは最終露出時間に達するまで継続し、この方法により逸脱が最初に検出された後で追加ピクセル観察を組み入れることができる。この手順はノイズの支配的コンポーネントは速度可遷的（ergodic）でありその変動は均分することができると仮定している。擬似ノイズにより置換されるサンプル数がカウントされ変数Ks内に格納される。擬似ノイズ更新数にピクセル強度の期待値が乗じられ露出時間の終りに得られた強度から減じられる。次に、最終値はN/(N-ks)の割合で増幅され積分の終りに得られた値に外挿される。
【０１０６】
（擬似ノイズ更新、時間ベース信号外挿、時空間適応強度感応検出閾値および一般化された導関数推定による時空間歪み軽減）
図２１は一般化された導関数推定を加える。特定ピクセルの露出時間を変える判断は入射光子の２階導関数の計算に基づいている。導関数は差分方程式により近似される。最も単純な形式では、２階導関数はfk(l)の２階差分により近似することができる。
【０１０７】
より精巧な方法は遅延をトレードオフして導関数推定値内ノイズの影響を最小限に抑えながら導関数に制約を課す。導関数を近似する一般化された方法は最適化規準を利用してノイズを最小限に抑えるフィルタ係数を決定し変化検出を容易にする。フィルタ設計方法は古典的デジタル画像処理テキストに載っている。ランダムプロセスにおける変化検出の幾分統合された処置が知られている。
【０１０８】
（投票規準、擬似ノイズ更新、および一般化された導関数推定による時空間歪み軽減）
図２２は強度の変化を決定する投票規準を加える。各ピクセルまたはグループまたはピクセル領域がやはり前と同様に動きをテストされる。しかしながら、テスト結果はもはや取得状態を規定しない。その代わりに、変化は周囲ピクセルの変化の性質に基づく動きによるといわれる。空間的および時間的サポートはΩγにより定義され、この領域内のピクセルはポーリングされ変化フラグの重み付けされた和に結合される。結果がηγ(Ω)に格納された閾値を超えれば、ピクセル強度の変化は動きによるものと規定される。中央ピクセルの取得はさらなる歪みを防止するように修正される。
【０１０９】
サポートηγ(Ω)はカジュアルまたはアンチカジュアルとすることができる。重みγk’(l’)は中央ピクセルの積分を修正する最終判断における構造および連続的性に向けたバイアスを導入するために引き出される。
【０１１０】
（投票規準、ソフト判断基準、擬似ノイズ更新および一般化された導関数推定による強度感応、時空間歪み軽減）
図２３は投票規準の導入により時空間閾値比較がもはや２進結果の生成を強制されないことを示す。図２３に示すこの過程では、技術、ソフト閾値が比較のために利用される。
【０１１１】
この手順は導関数推定値が閾値に較べてどれだけ大きいかまたは小さいかに応じて０と１の間の値を割り当てる。結果が非ゼロであれば、投票規準は動きがあるかを判断し強度取得を停止する。ソフト閾値は追加パラメータδ１およびδ２により記述される。これらのパラメータは０および１の結果間の遷移領域を定義する。ブロック図において、線形関係を仮定する。
【０１１２】
しかしながら、特定の撮像システムに対しては他の入出力関係が適切なことがある。
【０１１３】
（ソフト判断基準、ソフト擬似ノイズ更新および一般化された導関数推定による強度感応、時空間歪み軽減）
図２４はソフト判断閾値および擬似ノイズ更新が結合されることを示す。前と同様に、擬似ノイズは取得中に誤差が検出されると導入される。しかしながら、ソフト閾値はもはや撮像状態に対する２進判断を生成しないため、ノイズの量は閾値判断に対して変動する。３状態ソフト閾値が図示されている。誤差の大きさは閾値δ１およびδ２により限量され、値はそれぞれ「小」、「境界」および「大」である誤差を定義する。「小」および「大」取得誤差に対しては、ソフト判断により２進結果が生成され、前と同様に擬似ノイズが取り入れられる。しかしながら、観察およびモデル間の「境界」差が検出されると、ソフト閾値は非２進値を返す。半擬似ノイズおよび半以前観察(half previous observation)からなるサンプル値を取り入れることにより取得過程が継続する。
【０１１４】
（ソフトウェア実施例）
図１３に示すその場処理ソフトウェア、開示されたソフトウェア実施例(“ソフトウェア”)はWindow（登録商標）, Unix（登録商標）またはMac（登録商標）OSの元でパーソナルコンピュータまたはワークステーションで実行されるグラフィカルユーザインターフェイス（ＧＵＩ）からなる。ソフトウェアはキャプチャされた画像データを含む記憶装置またはリアルタイムで画像データをキャプチャする撮像システムとカメラのＩ/Ｏインターフェイスを介して通信する。ソフトウェアは劣化した画像（従来のカメラでキャプチャされた）をディスプレイし、開示されたその場処理方法を使用して処理されたシーンを見るための窓を提供する。ソフトウェアはその場方法およびそれらのパラメータを指定しカスタマイズするためのプルダウンメニューおよびオプションを提供する。
【０１１５】
ソフトウェアはメモリ記憶装置からキャプチャされた画像データにアクセスするかまたはデジタル撮像システムを介してリアルタイム画像を受信することによりその場スタイル処理を実施することができる。また、ソフトウェアはこの方法を実施することができるソフトウェアおよび方法パラメータを図１３に示すその場ケーブル撮像システムへアップロードすることができる。ソフトウェアＧＵＩにおいて、センサおよびセンサからのアレイパラメータを与えて既存のイメージセンサ（アレイ）をモデル化することができる。
【０１１６】
画像または画像シーケンスが処理された後で、新しい画像（シーケンス）をソフトウェアを介して保存することができる。
【０１１７】
（ハードウェア実施例）
センサアクセラレータ図１４はセンサアクセラレータを追加した基本的なデジタル撮像システムを例示している。センサアクセラレータはセンサアレイをサンプリングし画像形成中に個別のピクセル（領域）上で信号処理技術をインプリメントする。特に、センサアクセラレータはここに記述された方法をインプリメントする。センサアクセラレータは特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）または縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ等の別々のプログラマブルチッププロセッサとすることができる。
【０１１８】
高集積センサアクセラレータ機能を撮像システムの他のコンポーネントと統合してチップ数を減らし製作コストおよび消費電力を低減することができる。図１５，１６および１７はセンサアクセラレータに対する３つの追加構成を例示している。図１５はシステムコントローラ上に集積されるセンサアクセラレータ技術を例示している。図１６はＤＳＰ/ＲＩＳＣプロセッサを有する単一コンポーネント上に集積されるセンサアクセラレータ機能を例示している。最後に、図１７はシステムコントローラおよびＤＳＰ/ＲＩＳＣと結合されるセンサアクセラレータ処理を例示している。
【０１１９】
センサ自体上のシステムオンチップ集積も可能である。
【０１２０】
（動画シーケンスキャプチャ）
映像キャプチャもここに開示された方法から利益を受ける。その場処理により高品質画像フレームの個別のフレーム精密調査が容易になる。しかしながら、動画シーケンスはシーケンスをリアリスティックに知覚するためにスムースに移動する画像を必要とする。この作業の方法を修正することにより、リアリスティックに画像シーケンスを見るためのスムースな画像データを含む差分画像と共にきちんとした高品質フレームをキャプチャすることができる。
【０１２１】
（飽和軽減）
開示された技術の延長は飽和軽減である。ピクセルレベルにおける飽和および対応する感度損失を防止することにより、ピクセルのダイナミックレンジは効果的に改善される。これは、たとえば、図１９のように更新後にピクセル値をポーリングすれば可能である。fk(l)>k/N)・fmaxであれば露出時間中にピクセルは飽和すると予測され、ここに、fmaxはウェル容量または飽和電流等のセンサピクセルパラメータにより指図される。露出時間中にピクセルが飽和すると予測されると、k番目の間隔においてさらなる取得は停止されピクセルの仮の値が記録される。
【０１２２】
この値は後にその真（最終）の値fN(l)=(N/k)・fk(l)に外挿される。この方法に基づいて、ダイナミックレンジの上端をＮ倍だけ拡張することができる。
【０１２３】
（制御タイミング）
この作業において、イメージセンサの性能を拡張する方法が提示された。
【０１２４】
開示された方法は困難な画像歪みの開始を予測し最終画像を改悪するのを防止することができる。開示された方法は画像形成中に個別のピクセルまたはピクセル領域を処理して改善された画像品質を達成する。本明細書に提示されたその場処理方法は典型的に古典的画像後処理技術では利用可能または有用とはならないクリティカルな情報を利用する。
【０１２５】
（産業応用性）
前記したことから、本発明は、たとえば、静止画および動画の取得および処理に産業応用性を有する。
【０１２６】
当業者ならば他の修正および変更を提案できるが、正当かつ適切にそれらの寄与の範囲内に入る全ての変更および修正はここに保証された本発明に含まれるものとする。
【図面の簡単な説明】
【０１２７】
【図１ａ】一般的な従来のデジタル撮像システムの略図である。
【図１ｂ】図１ａの撮像システムにより実施されるプロセスステップのフロー図である。
【図２ａ】ピクセル電荷蓄積のグラフである。
【図２ｂ】ピクセル電荷蓄積のグラフである。
【図２ｃ】ピクセル電荷蓄積のグラフである。
【図２ｄ】ピクセル電荷蓄積のグラフである。
【図３ａ】ピクセル信号強度のグラフである。
【図３ｂ】ピクセル信号強度のグラフである。
【図３ｃ】ピクセル信号強度のグラフである。
【図３ｄ】ピクセル信号強度のグラフである。
【図４】取得間メタデータ（Ｉ-データ）抽出過程の機能的ブロック図である。
【図５】歪み検出器の機能的ステップのブロック図である。
【図６】Ｎ×Ｍは各ぶれマスクエレメントに対して測定が行われた画像ブロックのサイズである、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４ぶれマスクである。
【図７】Ｎ×Ｍは各ぶれマスクエレメントに対して測定が行われた画像ブロックのサイズである、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４強度マスクである。
【図８】Ｎ×Ｍは各時間イベントマスクエレメントに対して測定が行われた画像ブロックのサイズでありＮは画像形成中に採られたサンプルの最大数である、ピクセルの４×４グループすなわち画像の４Ｎ×４Ｍ領域に対応する４×４時間イベントマスクである。
【図９ａ】基本的なデジタルカメラＯＥＭ開発システムアーキテクチュアを示すブロック図である。
【図９ｂ】メタデータプロセッサを有する基本的なデジタルカメラのブロック図である。
【図１０ａ】メタデータイネーブルド画像形成を示す略図である。
【図１０ｂ】図１０ａのメタデータイネーブルド画像形成を示すフロー図である。
【図１１ａ】システムコントローラと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１１ｂ】ＤＳＰ/ＲＩＳＣプロセッサと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１１ｃ】システムコントローラおよびＤＳＰ/ＲＩＳＣと結合されたメタデータプロセッサを有するメタデータプロセッサインプリメンテーションのブロック図である。
【図１２】内部ＤＳＰ/ＲＩＳＣプロセッサまたは外部後処理ソフトウェアが使用するＩおよびＰメタデータに対するサンプルデータ構造を示す図である。
【図１３】コンピュータシステムおよび関連する撮像システムの略図である。
【図１４】センサアクセラレータを有する撮像装置のブロック図である。
【図１５】センサアクセラレータおよびコントローラユニットを含む撮像装置のブロック図である。
【図１６】センサアクセラレータおよびＤＳＰ/ＲＩＳＣプロセッサユニットを含む撮像装置のブロック図である。
【図１７】センサアクセラレータ、コントローラおよびＤＳＰ/ＲＩＳＣプロセッサユニットを含む撮像装置のブロック図である。
【図１８】本発明に従った方法のフロー図である。
【図１９】本発明に従ったもう１つの方法のフロー図である。
【図２０】本発明に従ったもう１つの方法のフロー図である。
【図２１】本発明に従ったさらにもう１つの方法のフロー図である。
【図２２】本発明に従ったさらにもう１つの方法のフロー図である。
【図２３】本発明に従ったもう１つの方法のフロー図である。
【図２４】本発明に従ったもう１つの方法のフロー図である。
【特許請求の範囲】
【請求項１】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像を取得しながら画像の時間的変化をピクセルレベルまたはピクセル領域レベルで感知するステップと、
前記画像取得中に前記時間的変化が感知されている前記画像の領域を画定するステップと、
前記画定された領域に対応するメタデータを生成するステップと、
前記画像データを出力する時に前記メタデータに画像データを与えるステップと、
を含む前記方法。
【請求項２】
請求項１に記載の方法であって、前記時間的変化は前記画像の少なくとも一部の動き関連変化である前記方法。
【請求項３】
請求項２に記載の方法であって、前記動き関連変化は前記画像取得中の前記画像内の少なくとも１つのオブジェクトの動きの結果である前記方法。
【請求項４】
請求項１に記載の方法であって、前記メタデータは前記画定された領域に対応するマスクである前記方法。
【請求項５】
請求項４に記載の方法であって、前記マスクはぶれマスクである前記方法。
【請求項６】
請求項１に記載の方法であって、前記画定ステップはピクセルを静止しているまたはぶれているとして分類するステップを含む前記方法。
【請求項７】
請求項６に記載の方法であって、さらに、前記ピクセルの一方を部分的にぶれているとして画定することを含む前記方法。
【請求項８】
請求項１に記載の方法であって、さらに、
画像用画像データ取得中に前記ピクセルまたは前記ピクセル領域の少なくとも一方をサンプリングすることを含む前記方法。
【請求項９】
請求項８に記載の方法であって、さらに、
前記画像取得中にピクセルまたはピクセル領域における画像信号累積率の変化の存在を確認するステップを含み、前記変化は前記画像取得中の動きを示す前記方法。
【請求項１０】
請求項８に記載の方法であって、前記サンプリングは前記画像取得中に複数回実施される前記方法。
【請求項１１】
請求項１０に記載の方法であって、さらに、
前記サンプリングにより検出された前記信号累積内でイベントが生じた前記画像取得中の時間を識別するイベント時間マスクを生成するステップを含む前記方法。
【請求項１２】
請求項１１に記載の方法であって、前記時間はサンプルシーケンス数により識別される前記方法。
【請求項１３】
請求項１に記載の方法であって、さらに、
前記画像取得中に予め定められた低信号閾値よりも下の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１４】
請求項１に記載の方法であって、さらに、
前記画像取得中に予め定められた高信号閾値よりも上の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１５】
請求項１４に記載の方法であって、さらに、
前記予め定められた高信号閾値よりも上のピクセルまたはピクセル領域を有するエリアの露出マスクを生成するステップを含む前記方法。
【請求項１６】
請求項１４に記載の方法であって、さらに、
前記画像取得中に予め定められた低信号閾値よりも下の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１７】
請求項１６に記載の方法であって、さらに、
前記予め定められた高信号閾値よりも上のピクセルまたはピクセル領域を有するエリアおよび前記予め定められた低信号閾値よりも下のピクセルまたはピクセル領域を有するエリアの露出マスクを生成するステップを含む前記方法。
【請求項１８】
請求項１６に記載の方法であって、さらに、
前記サンプリングにより検出された前記信号累積内でイベントが生じた前記画像取得中の時間を識別するイベント時間マスクを生成するステップを含む前記方法。
【請求項１９】
請求項１８に記載の方法であって、さらに、
前記イベント時間マスクおよび前記露出マスクおよび前記ぶれマスクを前記画像取得中に得られた画像データを伴うメタデータとして出力するステップを含む前記方法。
【請求項２０】
請求項１４に記載の方法であって、前記予め定められた高信号閾値は前記ピクセルまたはピクセル領域に対する飽和レベルに近いか飽和レベルである前記方法。
【請求項２１】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルをサンプリングするステップと、
前記画像取得ステップ中にピクセル内に確立される強度の変化を決定するステップと、
予め定められた閾値よりも大きい強度確立の変化を有する前記画像の領域を画定するステップと、
前記領域の情報に画像のデータを含めるステップと、
を含む前記方法。
【請求項２２】
請求項２１に記載の方法であって、前記領域の前記情報はマスク情報である前記方法。
【請求項２３】
請求項２１に記載の方法であって、前記強度変化は少なくとも１つのオブジェクトの動きに対応し、前記画像取得中に該オブジェクトの画像が取得されている前記方法。
【請求項２４】
請求項２１に記載の方法であって、前記強度変化は少なくとも１つのピクセルの飽和に対応する前記方法。
【請求項２５】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得中に飽和または飽和に近いピクセルを感知するステップと、
光強度の予め定められた閾値よりも下のピクセルを感知するステップと、
飽和または飽和に近いピクセルを有する前記画像の領域および前記予め定められた閾値よりも下の領域を画定するステップと、
前記領域の情報に画像のデータを含めるステップと、
を含む前記方法。
【請求項２６】
感知チップ上に画像の焦点を合わせる光学系と、
前記光学系から前記画像を受像するように配置された感知チップと、
前記感知チップに接続されて前記感知チップと２方向通信を行うプロセッサであって、予め定められた状況に対応する前記画像の領域に関するメタデータを生成し、かつ前記画像が出力されると前記メタデータに前記画像のデータを含める前記プロセッサと、
を含む画像取得装置。
【請求項２７】
請求項２３に記載の装置であって、前記メタデータはイベント時間マスクと露出マスクとぶれマスクの少なくとも１つを含む前記装置。
【請求項２８】
画像データ用出力を有するイメージセンサアレイと、
前記イメージセンサアレイ上に電磁気エネルギを向けるように搭載された光学系と、
前記イメージセンサアレイに接続されたイメージプロセッサであって、前記イメージセンサアレイによる画像取得中に画像信号累積をモニタして信号累積の時間的変化を決定するように動作することができ、前記時間的変化に関連する画像取得中に得られた情報を適用して前記イメージセンサアレイにより出力された画像データを処理し、前記画像信号累積の前記モニタ中に得られた情報により処理された画像データを含む処理済画像データを提供する前記イメージプロセッサと、
を含むデジタル撮像システム。
【請求項２９】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサは画像累積中に領域内の複数のピクセルまたはピクセルエリアに対する画像累積データを得、前記イメージプロセッサは前記領域内の画像データを処理する前記デジタル撮像システム。
【請求項３０】
請求項２８に記載のデジタル撮像システムであって、さらに、画像累積中に得られた画像累積値を格納するように接続されたメモリを含む前記デジタル撮像システム。
【請求項３１】
請求項２８に記載のデジタル撮像システムであって、前記イメージプロセッサは前記イメージセンサアレイに接続されたセンサアクセラレータを含む前記デジタル撮像システム。
【請求項３２】
請求項２８に記載のデジタル撮像システムであって、前記イメージプロセッサは前記画像取得中に前記イメージセンサアレイの少なくとも１つのピクセルまたはピクセル領域内の画像累積率の変化を決定するよう動作できる前記デジタル撮像システム。
【請求項３３】
請求項３２に記載のデジタル撮像システムであって、画像累積率の前記変化は前記画像取得中の前記画像の画像フレーム内の少なくとも１つのオブジェクトの動きに対応し、前記プロセッサは少なくとも前記動きに起因する画像内のぶれを減少させるように動作できる前記デジタル撮像システム。
【請求項３４】
請求項３２に記載のデジタル撮像システムであって、画像累積率の前記変化は前記画像取得中のピクセルまたはピクセル領域の飽和に対応し、前記プロセッサは少なくとも前記画像内の前記飽和の影響を低減するように動作できる前記デジタル撮像システム。
【請求項３５】
請求項２８に記載のデジタル撮像システムであって、前記プロセッサは前記画像取得中に複数回前記イメージセンサアレイから画像レベルデータを得るように動作できる前記デジタル撮像システム。
【請求項３６】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサアレイは光感応アレイである前記デジタル撮像システム。
【請求項３７】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサアレイは赤外感応アレイである前記デジタル撮像システム。
【請求項３８】
画像処理方法であって、
画像取得時間にわたってイメージセンサのアレイにより前記画像を取得するステップと、
前記画像取得時間中に少なくとも１組の前記イメージセンサの画像累積値を読み取って前記画像累積に関する情報を得るステップと、
前記読取りステップで得られた画像累積に関する情報を使用して前記取得ステップで取得した画像データを処理するステップと、
処理済画像データを出力するステップと、
を含む前記方法。
【請求項３９】
請求項３８に記載の方法であって、さらに、前記画像累積情報を出力するステップを含む前記方法。
【請求項４０】
請求項３８に記載の方法であって、画像累積を読み取る前記ステップは前記画像取得時間中の画像累積率を読み取るステップを含む前記方法。
【請求項４１】
請求項３８に記載の方法であって、前記取得ステップ中に取得した前記画像データの前記処理は前記画像取得時間中に時間的イベントを識別する前記方法。
【請求項４２】
請求項３８に記載の方法であって、さらに、
前記読取りステップで得られた情報を少なくとも前記画像取得時間の終りまで格納するステップと、
前記処理ステップ中に前記格納された情報を使用するステップと、
を含む前記方法。
【請求項４３】
請求項３８に記載の方法であって、前記処理ステップは、
少なくとも１つのピクセルまたはピクセル領域の強度値を引き出すステップと、
前記引出しステップで得られた導関数を予め定められた閾値と比較するステップと、
を含む前記方法。
【請求項４４】
請求項３８に記載の方法であって、さらに、
前記画像取得時間中に時間的イベントを検出したらピクセルまたはピクセル領域値の更新を停止させるステップを含む前記方法。
【請求項４５】
デジタル撮像システムにより画像を取得するステップと、
前記画像取得中にデジタル撮像システムのピクセルまたはピクセル領域をサンプリングするステップと、
前記画像取得中に画像信号蓄積内の予め定められた特性の存在を確認するステップと、
前記画像の複数の画像信号を処理するステップと、
前記処理ステップの前記処理済信号を含む画像データを出力するステップと、
を含む方法。
【請求項４６】
請求項４５に記載の方法であって、前記予め定められた特性は前記画像取得中の時間的イベントである前記方法。
【請求項４７】
請求項４５に記載の方法であって、前記時間的イベントは累積率の変化である前記方法。
【請求項４８】
請求項４５に記載の方法であって、さらに、
画像信号蓄積に変化が生じた前記画像の領域を画定するステップを含み、前記処理ステップは前記画定ステップの前記領域の画像信号処理を含む前記方法。
【請求項４９】
請求項４５に記載の方法であって、さらに、
前記画像取得中にインスタンスにおけるピクセルまたはピクセル領域の値を記録するステップを含む前記方法。
【請求項５０】
画像処理用ソフトウェアプロダクトであって、
メモリ内に格納されコンピュータシステムで実行することができるソフトウェアを含み、該ソフトウェアは、
画像データを読み取るステップと、
前記画像取得時間中に得られた少なくとも１組の前記イメージセンサの前記画像累積値を読み取って前記画像累積に関する情報を得るステップと、
前記画像累積値読取りステップで得られた前記画像累積に関する情報を使用して前記取得ステップで取得した画像データを処理するステップと、
処理済画像データを出力するステップと、
を含む前記ソフトウェアプロダクト。
【請求項５１】
請求項５０に記載のソフトウェアプロダクトであって、前記ソフトウェアにより画像累積値を読み取る前記ステップは前記画像取得中に実施される前記ソフトウェアプロダクト。
【請求項５２】
請求項５０に記載のソフトウェアプロダクトであって、前記ソフトウェアにより画像累積値を読み取る前記ステップは前記画像取得後に実施される前記ソフトウェアプロダクト。
【請求項５３】
インターフェイスコンピュータ上のグラフィカルユーザインターフェイスと、
画像データおよび前記画像データに対応するメタデータが格納される記憶装置と、
前記画像データを処理し前記メタデータを使用して処理済画像を出力する処理コンピュータ上の画像処理ソフトウェアと、
を含むデジタル画像処理システム。
【請求項５４】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中にピクセルの強度を予め定められた閾値と比較するステップと、
前記予め定められた閾値に達していないピクセルにおける画像形成を継続しながら前記予め定められた閾値を超えるピクセルにおける画像形成を停止するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【請求項５５】
請求項５４に記載の方法であって、ピクセルの前記強度は強度値の時間導関数である前記方法。
【請求項５６】
請求項５４に記載の方法であって、前記予め定められた閾値は空間的および時間的に適合される前記方法。
【請求項５７】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中に前記画像の移動部分を撮像しているピクセルを確認するステップと、
前記移動部分を撮像していると確認されていないピクセルにおける画像形成を継続しながら前記移動部分を撮像していると確認されているピクセルにおける画像形成を修正するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【請求項５８】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中に前記画像の移動部分を撮像しているピクセルを確認するステップと、
前記移動部分を撮像していると確認されていないピクセルにおける画像形成を継続しながら前記移動部分を撮像していると確認されているピクセルにおける画像形成を停止するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【請求項１】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像を取得しながら画像の時間的変化をピクセルレベルまたはピクセル領域レベルで感知するステップと、
前記画像取得中に前記時間的変化が感知されている前記画像の領域を画定するステップと、
前記画定された領域に対応するメタデータを生成するステップと、
前記画像データを出力する時に前記メタデータに画像データを与えるステップと、
を含む前記方法。
【請求項２】
請求項１に記載の方法であって、前記時間的変化は前記画像の少なくとも一部の動き関連変化である前記方法。
【請求項３】
請求項２に記載の方法であって、前記動き関連変化は前記画像取得中の前記画像内の少なくとも１つのオブジェクトの動きの結果である前記方法。
【請求項４】
請求項１に記載の方法であって、前記メタデータは前記画定された領域に対応するマスクである前記方法。
【請求項５】
請求項４に記載の方法であって、前記マスクはぶれマスクである前記方法。
【請求項６】
請求項１に記載の方法であって、前記画定ステップはピクセルを静止しているまたはぶれているとして分類するステップを含む前記方法。
【請求項７】
請求項６に記載の方法であって、さらに、前記ピクセルの一方を部分的にぶれているとして画定することを含む前記方法。
【請求項８】
請求項１に記載の方法であって、さらに、
画像用画像データ取得中に前記ピクセルまたは前記ピクセル領域の少なくとも一方をサンプリングすることを含む前記方法。
【請求項９】
請求項８に記載の方法であって、さらに、
前記画像取得中にピクセルまたはピクセル領域における画像信号累積率の変化の存在を確認するステップを含み、前記変化は前記画像取得中の動きを示す前記方法。
【請求項１０】
請求項８に記載の方法であって、前記サンプリングは前記画像取得中に複数回実施される前記方法。
【請求項１１】
請求項１０に記載の方法であって、さらに、
前記サンプリングにより検出された前記信号累積内でイベントが生じた前記画像取得中の時間を識別するイベント時間マスクを生成するステップを含む前記方法。
【請求項１２】
請求項１１に記載の方法であって、前記時間はサンプルシーケンス数により識別される前記方法。
【請求項１３】
請求項１に記載の方法であって、さらに、
前記画像取得中に予め定められた低信号閾値よりも下の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１４】
請求項１に記載の方法であって、さらに、
前記画像取得中に予め定められた高信号閾値よりも上の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１５】
請求項１４に記載の方法であって、さらに、
前記予め定められた高信号閾値よりも上のピクセルまたはピクセル領域を有するエリアの露出マスクを生成するステップを含む前記方法。
【請求項１６】
請求項１４に記載の方法であって、さらに、
前記画像取得中に予め定められた低信号閾値よりも下の信号強度を受信するピクセルまたはピクセル領域を識別するステップを含む前記方法。
【請求項１７】
請求項１６に記載の方法であって、さらに、
前記予め定められた高信号閾値よりも上のピクセルまたはピクセル領域を有するエリアおよび前記予め定められた低信号閾値よりも下のピクセルまたはピクセル領域を有するエリアの露出マスクを生成するステップを含む前記方法。
【請求項１８】
請求項１６に記載の方法であって、さらに、
前記サンプリングにより検出された前記信号累積内でイベントが生じた前記画像取得中の時間を識別するイベント時間マスクを生成するステップを含む前記方法。
【請求項１９】
請求項１８に記載の方法であって、さらに、
前記イベント時間マスクおよび前記露出マスクおよび前記ぶれマスクを前記画像取得中に得られた画像データを伴うメタデータとして出力するステップを含む前記方法。
【請求項２０】
請求項１４に記載の方法であって、前記予め定められた高信号閾値は前記ピクセルまたはピクセル領域に対する飽和レベルに近いか飽和レベルである前記方法。
【請求項２１】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルをサンプリングするステップと、
前記画像取得ステップ中にピクセル内に確立される強度の変化を決定するステップと、
予め定められた閾値よりも大きい強度確立の変化を有する前記画像の領域を画定するステップと、
前記領域の情報に画像のデータを含めるステップと、
を含む前記方法。
【請求項２２】
請求項２１に記載の方法であって、前記領域の前記情報はマスク情報である前記方法。
【請求項２３】
請求項２１に記載の方法であって、前記強度変化は少なくとも１つのオブジェクトの動きに対応し、前記画像取得中に該オブジェクトの画像が取得されている前記方法。
【請求項２４】
請求項２１に記載の方法であって、前記強度変化は少なくとも１つのピクセルの飽和に対応する前記方法。
【請求項２５】
画像取得方法であって、
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得中に飽和または飽和に近いピクセルを感知するステップと、
光強度の予め定められた閾値よりも下のピクセルを感知するステップと、
飽和または飽和に近いピクセルを有する前記画像の領域および前記予め定められた閾値よりも下の領域を画定するステップと、
前記領域の情報に画像のデータを含めるステップと、
を含む前記方法。
【請求項２６】
感知チップ上に画像の焦点を合わせる光学系と、
前記光学系から前記画像を受像するように配置された感知チップと、
前記感知チップに接続されて前記感知チップと２方向通信を行うプロセッサであって、予め定められた状況に対応する前記画像の領域に関するメタデータを生成し、かつ前記画像が出力されると前記メタデータに前記画像のデータを含める前記プロセッサと、
を含む画像取得装置。
【請求項２７】
請求項２３に記載の装置であって、前記メタデータはイベント時間マスクと露出マスクとぶれマスクの少なくとも１つを含む前記装置。
【請求項２８】
画像データ用出力を有するイメージセンサアレイと、
前記イメージセンサアレイ上に電磁気エネルギを向けるように搭載された光学系と、
前記イメージセンサアレイに接続されたイメージプロセッサであって、前記イメージセンサアレイによる画像取得中に画像信号累積をモニタして信号累積の時間的変化を決定するように動作することができ、前記時間的変化に関連する画像取得中に得られた情報を適用して前記イメージセンサアレイにより出力された画像データを処理し、前記画像信号累積の前記モニタ中に得られた情報により処理された画像データを含む処理済画像データを提供する前記イメージプロセッサと、
を含むデジタル撮像システム。
【請求項２９】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサは画像累積中に領域内の複数のピクセルまたはピクセルエリアに対する画像累積データを得、前記イメージプロセッサは前記領域内の画像データを処理する前記デジタル撮像システム。
【請求項３０】
請求項２８に記載のデジタル撮像システムであって、さらに、画像累積中に得られた画像累積値を格納するように接続されたメモリを含む前記デジタル撮像システム。
【請求項３１】
請求項２８に記載のデジタル撮像システムであって、前記イメージプロセッサは前記イメージセンサアレイに接続されたセンサアクセラレータを含む前記デジタル撮像システム。
【請求項３２】
請求項２８に記載のデジタル撮像システムであって、前記イメージプロセッサは前記画像取得中に前記イメージセンサアレイの少なくとも１つのピクセルまたはピクセル領域内の画像累積率の変化を決定するよう動作できる前記デジタル撮像システム。
【請求項３３】
請求項３２に記載のデジタル撮像システムであって、画像累積率の前記変化は前記画像取得中の前記画像の画像フレーム内の少なくとも１つのオブジェクトの動きに対応し、前記プロセッサは少なくとも前記動きに起因する画像内のぶれを減少させるように動作できる前記デジタル撮像システム。
【請求項３４】
請求項３２に記載のデジタル撮像システムであって、画像累積率の前記変化は前記画像取得中のピクセルまたはピクセル領域の飽和に対応し、前記プロセッサは少なくとも前記画像内の前記飽和の影響を低減するように動作できる前記デジタル撮像システム。
【請求項３５】
請求項２８に記載のデジタル撮像システムであって、前記プロセッサは前記画像取得中に複数回前記イメージセンサアレイから画像レベルデータを得るように動作できる前記デジタル撮像システム。
【請求項３６】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサアレイは光感応アレイである前記デジタル撮像システム。
【請求項３７】
請求項２８に記載のデジタル撮像システムであって、前記イメージセンサアレイは赤外感応アレイである前記デジタル撮像システム。
【請求項３８】
画像処理方法であって、
画像取得時間にわたってイメージセンサのアレイにより前記画像を取得するステップと、
前記画像取得時間中に少なくとも１組の前記イメージセンサの画像累積値を読み取って前記画像累積に関する情報を得るステップと、
前記読取りステップで得られた画像累積に関する情報を使用して前記取得ステップで取得した画像データを処理するステップと、
処理済画像データを出力するステップと、
を含む前記方法。
【請求項３９】
請求項３８に記載の方法であって、さらに、前記画像累積情報を出力するステップを含む前記方法。
【請求項４０】
請求項３８に記載の方法であって、画像累積を読み取る前記ステップは前記画像取得時間中の画像累積率を読み取るステップを含む前記方法。
【請求項４１】
請求項３８に記載の方法であって、前記取得ステップ中に取得した前記画像データの前記処理は前記画像取得時間中に時間的イベントを識別する前記方法。
【請求項４２】
請求項３８に記載の方法であって、さらに、
前記読取りステップで得られた情報を少なくとも前記画像取得時間の終りまで格納するステップと、
前記処理ステップ中に前記格納された情報を使用するステップと、
を含む前記方法。
【請求項４３】
請求項３８に記載の方法であって、前記処理ステップは、
少なくとも１つのピクセルまたはピクセル領域の強度値を引き出すステップと、
前記引出しステップで得られた導関数を予め定められた閾値と比較するステップと、
を含む前記方法。
【請求項４４】
請求項３８に記載の方法であって、さらに、
前記画像取得時間中に時間的イベントを検出したらピクセルまたはピクセル領域値の更新を停止させるステップを含む前記方法。
【請求項４５】
デジタル撮像システムにより画像を取得するステップと、
前記画像取得中にデジタル撮像システムのピクセルまたはピクセル領域をサンプリングするステップと、
前記画像取得中に画像信号蓄積内の予め定められた特性の存在を確認するステップと、
前記画像の複数の画像信号を処理するステップと、
前記処理ステップの前記処理済信号を含む画像データを出力するステップと、
を含む方法。
【請求項４６】
請求項４５に記載の方法であって、前記予め定められた特性は前記画像取得中の時間的イベントである前記方法。
【請求項４７】
請求項４５に記載の方法であって、前記時間的イベントは累積率の変化である前記方法。
【請求項４８】
請求項４５に記載の方法であって、さらに、
画像信号蓄積に変化が生じた前記画像の領域を画定するステップを含み、前記処理ステップは前記画定ステップの前記領域の画像信号処理を含む前記方法。
【請求項４９】
請求項４５に記載の方法であって、さらに、
前記画像取得中にインスタンスにおけるピクセルまたはピクセル領域の値を記録するステップを含む前記方法。
【請求項５０】
画像処理用ソフトウェアプロダクトであって、
メモリ内に格納されコンピュータシステムで実行することができるソフトウェアを含み、該ソフトウェアは、
画像データを読み取るステップと、
前記画像取得時間中に得られた少なくとも１組の前記イメージセンサの前記画像累積値を読み取って前記画像累積に関する情報を得るステップと、
前記画像累積値読取りステップで得られた前記画像累積に関する情報を使用して前記取得ステップで取得した画像データを処理するステップと、
処理済画像データを出力するステップと、
を含む前記ソフトウェアプロダクト。
【請求項５１】
請求項５０に記載のソフトウェアプロダクトであって、前記ソフトウェアにより画像累積値を読み取る前記ステップは前記画像取得中に実施される前記ソフトウェアプロダクト。
【請求項５２】
請求項５０に記載のソフトウェアプロダクトであって、前記ソフトウェアにより画像累積値を読み取る前記ステップは前記画像取得後に実施される前記ソフトウェアプロダクト。
【請求項５３】
インターフェイスコンピュータ上のグラフィカルユーザインターフェイスと、
画像データおよび前記画像データに対応するメタデータが格納される記憶装置と、
前記画像データを処理し前記メタデータを使用して処理済画像を出力する処理コンピュータ上の画像処理ソフトウェアと、
を含むデジタル画像処理システム。
【請求項５４】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中にピクセルの強度を予め定められた閾値と比較するステップと、
前記予め定められた閾値に達していないピクセルにおける画像形成を継続しながら前記予め定められた閾値を超えるピクセルにおける画像形成を停止するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【請求項５５】
請求項５４に記載の方法であって、ピクセルの前記強度は強度値の時間導関数である前記方法。
【請求項５６】
請求項５４に記載の方法であって、前記予め定められた閾値は空間的および時間的に適合される前記方法。
【請求項５７】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中に前記画像の移動部分を撮像しているピクセルを確認するステップと、
前記移動部分を撮像していると確認されていないピクセルにおける画像形成を継続しながら前記移動部分を撮像していると確認されているピクセルにおける画像形成を修正するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【請求項５８】
デジタル撮像システムを使用して画像を取得するステップと、
前記画像取得ステップ中にピクセルを感知するステップと、
前記画像取得ステップ中に前記画像の移動部分を撮像しているピクセルを確認するステップと、
前記移動部分を撮像していると確認されていないピクセルにおける画像形成を継続しながら前記移動部分を撮像していると確認されているピクセルにおける画像形成を停止するステップと、
前記画像取得を完了するステップと、
前記画像のデータを出力するステップと、
を含む画像取得方法。
【図１ａ】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公表番号】特表２００７−５０５５９０（Ｐ２００７−５０５５９０Ａ）
【公表日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００６−５３２８３０（Ｐ２００６−５３２８３０）
【出願日】平成１６年５月７日（２００４．５．７）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１４１９６
【国際公開番号】ＷＯ２００４／１０２４７４
【国際公開日】平成１６年１１月２５日（２００４．１１．２５）
【出願人】（５０５４１３２７７）ディーブイアイピー マルチメディア インコーポレイテッド (1)
【Ｆターム（参考）】
【公表日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１６年５月７日（２００４．５．７）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１４１９６
【国際公開番号】ＷＯ２００４／１０２４７４
【国際公開日】平成１６年１１月２５日（２００４．１１．２５）
【出願人】（５０５４１３２７７）ディーブイアイピー マルチメディア インコーポレイテッド (1)
【Ｆターム（参考）】
[ Back to top ]