単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法
【課題】画像センサの単一アレイを用いて、共通の露光源レベルから、異なったレベルの入射露光照度による複数の異なる画像を得る方法を提供する。
【解決手段】さらに具体的には、光入射エレメントの第一および第二マトリックスが、単一のカメラ中に展開され、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列され、同等レベルのカラー画像情報に同等に反応する感光性画像センサの対応する第一および第二マトリックスの前面に配置される。光入射エレメントのそれぞれのマトリックスは、露光焦点レンズ光からのカラー画像情報を、異なったレベルの輝度で感光性画像センサのそれらに対応するマトリックスに伝送し、画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、これら画像からのピクセル・データが合成されてＨＤＲ画像が生成される。
【解決手段】さらに具体的には、光入射エレメントの第一および第二マトリックスが、単一のカメラ中に展開され、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列され、同等レベルのカラー画像情報に同等に反応する感光性画像センサの対応する第一および第二マトリックスの前面に配置される。光入射エレメントのそれぞれのマトリックスは、露光焦点レンズ光からのカラー画像情報を、異なったレベルの輝度で感光性画像センサのそれらに対応するマトリックスに伝送し、画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、これら画像からのピクセル・データが合成されてＨＤＲ画像が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各々が異なるレベルの入射光を通して得られた、同じ光景の複数の個別画像から、高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成することに関する。
【背景技術】
【０００２】
ＨＤＲ撮像において、ダイナミック・レンジとは、一般に、特定の光景のそれぞれの画像（または、画像情報データ・セット）を生成するために用いる複数の別個の異なる照度、露光、または輝度レベルのレンジをいい、これら異なった画像／データが合成されまたは共に用いられ、例えば、ソフトウエア・アプリケーションなどを使用して単一のＨＤＲ画像が生成される。これによって、所与の任意の画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を、異なるレベルの露光で取った別の画像の画像データで置き換え、かくして異なった様々な範囲の照度、露光、または輝度レベルに亘る画像を生成することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＨＤＲ写真術では、相異なる照度、露光、または輝度レベルを用いる画像は、従来から、各々の画像を取得するため用いられるカメラのレンズ開口部のそれぞれの絞り目盛り（「ｆ−ｓｔｏｐ」）値を変えることによって得られている。ｆ−ｓｔｏｐ値は、レンズの焦点距離をレンズの開口部の直径で除した値であり、従来から、一続きのｆ−ｓｔｏｐの各々がその前の値の開口部の半分である段階的なスケールから選択されており、しかして、ｆ−ｓｔｏｐの値が低いほど、レンズを通してより多くの光が、例えば、アナログ写真術であればフィルム材料に、あるいはデジタル写真術であれば電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）または複合金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｏｓｉｔｅ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ・デバイスなどの画像センサに入射する。一例として、ｆ−ｓｔｏｐをｆ８にセットした８０ｍｍのレンズは１０ｍｍに等しい開口部直径を有し、ｆ−ｓｔｏｐをｆ１６に変更すると５ｍｍの直径が生成される。また一方、ｆ−ｓｔｏｐの設定によって、取得された画像データの「被写界深度」、すなわち、焦点被写体の前部および後部のどのくらいまでの画像が同様に焦点内にあるかも決まり得て、ｆ−ｓｔｏｐが小さいほど、同じレンズのより大きなｆ−ｓｔｏｐ設定で得られた画像に比べて、相対的により大きな被写界深度が得られる。従って、ＨＤＲのため、レンズのｆ−ｓｔｏｐ設定を変えて入射光のレベルを変化させて光景の複数の画像を取得するのは、かかる画像がそれぞれ異なる被写界深度を有し得て、より大きなｆ−ｓｔｏｐの画像では一部の前景および背景エレメントが焦点外れになるなど、多くの問題が生じる。
【課題を解決するための手段】
【０００４】
本発明の一つの実施形態において、画像センサの単一のアレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なった画像を取得する方法は、露光期間の間、単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスをカメラの焦点レンズからの光景画像の光に露光するステップを含む。光入射エレメントのマトリックスの各々は、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列された対応する感光性画像センサのマトリックスの前面に配置され、第一および第二マトリックスの各々の中の画像センサは、露光された焦点レンズ光中の同等レベルのカラー画像情報に対しては同等に反応する。光入射エレメントの第一マトリックスは、露光期間の間、露光焦点レンズ光からのカラー画像情報を、露出光の第一レベルの輝度で感光性画像センサの対応する第一マトリックスに伝送し、光入射エレメントの第二マトリックスは、光景画像からのカラー画像情報を、異なった第二レベルの輝度で感光性画像センサの対応する第二マトリックスに伝送する。しかして、感光性画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、それら取得された画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
【０００５】
別の実施形態において、システムは、処理装置と、コンピュータ可読メモリと、プログラム命令を有するコンピュータ可読記憶媒体デバイスとを有し、処理装置は、格納されたプログラム命令を実行するとき、露光期間の間、対応する光入射エレメントの第一マトリックスによってカメラ中の感光性画像センサの第一マトリックスに伝送された、光景画像の露光焦点レンズからのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、第一マトリックスの光入射エレメントの各々は、焦点レンズ光に対し、カメラ中の感光性画像センサの第一マトリックスの対応する一つずつの前面に配置される。処理装置は、第一マトリックス・センサとともにカメラの単一焦点面アレイ中に配列された感光性画像センサの第二マトリックス中に伝送されたカラー画像情報から、第二輝度レベルの第二画像をさらに取得し、該第二レベルの輝度は光入射エレメントの第二マトリックスの対応するエレメントによって伝送される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された相異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
【０００６】
別の実施形態において、製造品は、中に具現されたコンピュータ可読プログラム・コードを備えたコンピュータ可読記憶媒体を有し、コンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、コンピュータ・プロセッサに、露光期間の間、対応する第一および第二光入射エレメントのマトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、相異なる輝度レベルの第一および第二画像を取得させ、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック・レンジ画像が生成される。
【０００７】
別の実施形態において、画像センサの単一アレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得るためのサービスを提供する方法は、露光期間の間、光入射エレメントの対応する第一および第二マトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、異なった輝度レベルの第一および第二画像を取得する画像アクワイヤラを含む一つ以上の製品を提供するステップを含み、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された第一および第二画像からのピクセル・データを合成して、光景の高ダイナミック画像を生成する高ダイナミック・レンジ画像ジェネレータが設けられる。
【０００８】
本発明のこれらのおよび他の特質は、添付の図面を併せ見れば、以下の本発明のさまざまな態様の詳細な説明からさらに容易に理解されよう。これら図面は必ずしも一定の縮尺ではない。図面は単なる配置図であって、本発明の特定のパラメータを表すことを意図していない。これら図面は、本発明の典型的な実施形態だけを描くことを意図したものであり、従って本発明の範囲を限定すると見なすべきではない。図面中の同じ番号は同じエレメントを表す。
【図面の簡単な説明】
【０００９】
【図１】本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なった入射露光照度レベルの複数の異なる画像を得るための方法またはシステムの実施形態のフローチャート説明図である。
【図２】本発明の実施形態による、システムの概略図である。
【図３】本発明の実施形態による、相異なる光入射エレメントのマトリックスの概略図である。
【図４】図４Ａ〜図４Ｄは、本発明の実施形態による、相異なる光入射エレメントの例示的なマトリックスの概略図である。
【図５】本発明の実施形態による、共通またはオーバーラップした露光時系列によって異なったレベルの入射光における複数の異なる画像を取得するためのプロセスの概略図である。
【図６】本発明の実施形態のコンピュータ化実装のブロック概略図である。
【図７】本発明による製品のブロック概略図である。
【発明を実施するための形態】
【００１０】
当業者ならよく理解するであろうように、本発明の態様は、システム、方法、またはコンピュータ・プログラム製品として具現することができる。従って、本発明の態様は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウエア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれる、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明の態様は、内部に具体化されたコンピュータ可読プログラム・コードを有する一つ以上のコンピュータ可読媒体（群）中に具現されたコンピュータ・プログラム製品の形を取ることもできる。
【００１１】
一つ以上のコンピュータ可読媒体（群）の任意の組み合わせを用いることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、以下に限らないが、電子的、磁気的、光学的、電磁気的、赤外的な、または半導体の、システム、装置、もしくはデバイス、あるいはこれらの任意の適切な組み合わせとすることができる。コンピュータ可読記憶媒体のさらに具体的な例（非包括的リスト）には、一つ以上の配線を有する電気接続、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはフラッシュ・メモリ）、光ファイバ、携帯型コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、光記憶デバイス、磁気記憶デバイス、またはこれらの任意の適切な組み合わせが含まれよう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを、包含または格納できる任意の有形媒体とすることができる。
【００１２】
コンピュータ可読信号媒体には、例えばベースバンド中にまたは搬送波の一部として具現されたコンピュータ可読のプログラム・コードを有する、伝播データ信号を含めることができる。かかる伝播信号は、以下に限らないが、電磁気的、光学的、またはこれらの任意の適切な組み合わせを含め、さまざまな任意の形を取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを通信、伝播、または輸送が可能な任意のコンピュータ可読媒体であり得る。
【００１３】
コンピュータ可読媒体中に具現されたプログラム・コードは、以下に限らないが、無線、有線、光ファイバ・ケーブル、ＲＦなど、またはこれらの任意の適した組み合わせを含め、任意の適切な媒体を用いて伝送することができる。
【００１４】
本発明の態様のオペレーションを実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、“Ｃ”プログラミング言語または類似のプログラミング言語などの従来式手続き型プログラミング言語を含め、一つ以上のプログラミング言語の任意の組み合せで記述することができる。このプログラム・コードは、全体をユーザのコンピュータで、一部をユーザのコンピュータで、スタンドアロン・ソフトウェア・パッケージとして実行することができ、一部をユーザのコンピュータで他の部分を遠隔コンピュータで、または全体を遠隔のコンピュータまたはサーバで実行することができる。後者のシナリオでは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）または広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することができ、あるいは（例えばインターネット・サービス・プロバイダを使いインターネットを介し）外部のコンピュータへの接続を行うことができる。
【００１５】
本発明の実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャート説明図もしくはブロック図またはその両方を参照しながら、本発明の態様を以下に説明する。フローチャート説明図もしくはブロック図またはその両方の各ブロック、および、フローチャート説明図もしくはブロック図またはその両方中のブロックの組み合せは、コンピュータ・プログラム命令によって実行可能であることが理解されよう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、またはマシンを形成する他のプログラム可能データ処理装置のプロセッサに供給し、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群／処理群を実施するための手段を生成するようにすることができる。
【００１６】
また、これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに対し特定の仕方で機能するよう命令できるコンピュータ可読媒体に格納し、そのコンピュータ可読媒体に格納された命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能／処理を実施する命令群を包含する製造品を形成するようにすることができる。
【００１７】
同様に、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードして、これらコンピュータ、他のプログラム可能装置、または他のデバイス上で一連のオペレーション・ステップを実行させてコンピュータ実行のプロセスを生成し、これらコンピュータまたは他のプログラム可能装置で実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群／処理群を実施するためのプロセスを提供するようにすることもできる。
【００１８】
ここで図１を参照すると、本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を取得するための方法、プロセス、またはシステムの実施形態が示されている。さらに具体的には、１０２において、単一のカメラの中に、相互に構造的に区別された光入射エレメントの第一および第二マトリックスが、単一のカメラの中に、焦点レンズに対し、カメラの単一焦点面アレイ中の共通アレイ内に画定された感光性画像センサの対応する第一および第二マトリックスそれぞれの前面に配置される。画像センサの各々は、処理装置（例えば、デジタル・シグナル・プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）または他の処理装置または製品）と回路通信し、これにより、それらそれぞれのマトリックス内の他のセンサと合わさって画像データを提供し、処理装置が、画像センサの第一および第二マトリックスの各々から別個の光景画像を形成することを可能にする。個別の光入射エレメントは、それらそれぞれの共通マトリックス内の他のエレメントとの回路通信する能動構造（例えば、機械的、電気的、化学的にアクティブなシャッタなど）とし、関連するセンサ・アレイに対し一致して同じレベルまたは量の光を伝送することができ、あるいは受動構造（例えば、フィルタ、マスクなど）とすることもできる。以下にさらに詳しく説明するように、光入射エレメントの各々は、共通の光景露光から、相異なるマトリックス中の光入射エレメント群の少なくとも他の一つに対して異なったレベルまたは量の露光で、関連するセンサ・エレメントに光を入射させる。
【００１９】
１０４で、光入射エレメントのマトリックスは、露光期間の間、焦点レンズからの光景画像光に露光される。これにより、この露光期間において、（１）１０６で、第一マトリックス光入射エレメントは、露光期間の間、光景画像の露光焦点レンズ光からのカラー画像情報を、第一レベルの入射光で、対応する感光性画像センサの第一マトリックスの各々に伝送し、（２）１０８で、第二マトリックス光入射エレメントは、同じ露光期間の間、光景画像の露光焦点レンズ光からの同じカラー画像情報を、第一レベルの入射光の輝度とは異なる第二レベルの入射光の輝度で、対応する感光性画像センサの第二マトリックスの各々に伝送する。これに応じ、１１０で、第一レベルの輝度を有する、感光性画像センサの第一マトリックスに伝送されたカラー画像情報から、第一画像が取得され、１１２で、同じ露光の期間に、感光性画像センサの第二マトリックスに伝送されたカラー画像情報から、第二画像が取得され、第二画像は、得られた第一画像の第一レベルの輝度と異なる第二レベルの輝度を有する。
【００２０】
異なる輝度レベルの画像情報を含む、同じ光景のこれら２つの別個の画像からのピクセル・データは、次いで１１４で、処理装置を介して合成され、光景の単一の高ダイナミック・レンジ画像が生成される。しかして、光景のＨＤＲ画像は、画像センサの単一アレイ内の別個のアレイを、同じ視点を有する光景情報光（同じレンズを通して焦点合わせされた同じ画像）に、共通のまたはオーバーラップした露光時間に亘って露光することによって、だが各々がそれぞれ異なるレベルの入射光の輝度により取得されるようにして、各々生成される２つ（またはそれ以上）の別個の画像から生成される。一つの態様において、１１４で、ＨＤＲを形成するステップは、所与の任意の個別画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を異なるレベルの露光で取られた異なるレベルの画像輝度を有する別の画像からの画像データで置き換え、これにより相異なる照度、露光、または輝度レベルの範囲に亘る画像を生成することを可能にする。
【００２１】
さらに具体的には、それぞれの光入射エレメント・マトリックスは、同一単一回の露光の期間の同じ光景露光で、同じカラー画像情報だが異なる入射光レベルの画像を含む、それぞれ異なる光景の画像の取得を可能にする。カラー情報とは、一般的に画像情報をいい、フル・スペクトル・カラー情報、または部分的またはハイブリッド・スペクトル情報（例えば、赤外、イエローシアン、または緑色感受性など）、または黒白情報、またはこれらに任意の組み合わせであり得ることが理解されよう。カラー情報がどのように定義されようと、感光性画像センサのそれぞれのマトリックスは、同じカラー情報を取得するかまたはそれに対する感受性があり、第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。これは、従来式の感光性画像センサのアレイを使って本発明の実施形態を実施することを可能にし、アレイ内に異なる種類のセンサを用いる必要性をなくし、センサと通信している処理装置による操作を介して、画像センサの単一アレイ内の別個のグループから複数の画像を得ることができ、むしろいろいろな光入射エレメントを用いて、それぞれ相異なった入射光レベルの異なる複数の画像が生成される。
【００２２】
光景の画像データを異なった複数の入射光レベルで取得するための従来技術の方法およびシステムは、レンズの前面に分割減光フィルタを使うことが可能である。例えば、レンズを一部だけを覆って過剰な輝度の光景の部分だけに作用させる遮蔽フィルタをレンズに被せ、一回の露光設定で、光景中に存在する輝度の範囲を適切に包含することができる。しかしながら、このアプローチは、フィルタをマニュアルで調整するため、撮影者が、２つの異なる照度レベル領域の間の輝度の移行に対する明瞭に区画された境界（例えば、地平線、構造上の端部など）を容易に識別できる場合にのみ有用である。かかるアプローチは、面倒で費用が掛かり、また、変化する光の状態に反応しまたは別途に調整するためには遅すぎる。
【００２３】
別の従来技術のアプローチは、異なったシャッタ速度設定で、複数の異なるカメラを使い、または同一のカメラの一連の露光で、同じ光景の複数の露光を行う。しかしながら、かかるアプローチは、複数のカメラを通して、異なった視点を正確に整列させ露出を同期化する必要、あるいは同じカメラを使う場合は複数回にわたって整列させたままにしておく必要があり、しかして、出来栄えは、カメラの動きまたは対象と他の被写体間の動きの回避処理、あるいは、一連の異なる時間における異なる画像を取得する時間の間の照度レベルまたは条件の変化による問題の回避処理の如何による。各カメラ、または一連のショットを取得するため使う場合は同じカメラは、例えば三脚などによって空間的に固定されていなければならず、さもなければ、画像群は合成写真ＨＤＲ画像に整列することができず、手持ちカメラを使っての成功は見込みがないかまたは不可能である。かかる検討の結果として、リアルタイムＨＤＲビデオは生成が困難で、通常、静止画ビデオを使った低速度撮影技術が必要となる。
【００２４】
これに対し、本発明の実施形態は、共通の露光イベントであるが、その共通の露光により入射した異なるそれぞれの照度のレベルによって撮影された同一光景の複数のショットからＨＤＲ撮像を生成し、従い、複数のカメラを使った複数のショット、または一台のカメラを使った別個の連続的ショットを取る必要がなく、これにより、前述の問題を回避する。その代わりに、単一の画像センサ・アレイは、同時、同じ一回の露光によって、各々が異なったレベルの入射照度を用いる複数の画像を取得し、配列されたセンサの全てを一つだけの画像に使用する場合に比べて低減された解像度を代償として複数の画像を提供する。
【００２５】
図２は、各々が、露光照度への感知度またはこれに対する反応が同一、または少なくとも類似または同等な画像センサ２０４のアレイ２０２を含む、本発明によるカメラ・システム２０１の一つの実施形態を示す。異なった光入射エレメントの、組み合わされた２つの相異なるマトリックス２０８および２１０を含むアレイ２０６が、画像センサ・アレイ２０２の上面に配置されており、しかして、これらは、画像センサ・アレイ２０２と、画像光景からの露出光２０５からレンズ２０３によって画像センサ・アレイ２０２の焦点面上に焦点合わせされた露出光２０７との間に入っている。本実施形態において、相異なる光入射エレメント２０８および２１０の各々は、一対一の関係で、画像センサ２０４の各々の上に一つずつ配置されているが、別の実施形態では、光入射エレメント２０８または２１０を、例えば、エレメント２０８または２１０の一つを、一を上回る画像センサ２０４の群または複数個の上に配置するなど（図示せず）一対多の関係で配置することもできる。
【００２６】
一部の実施形態において、当業者ならよく理解しているであろうように、これら異なる光入射エレメント・マトリックスは、画像のカラー情報を生成するために、各々がそれぞれ違った色合いを持つ複数の相異なる透過マスキング・エレメントを含む。例えば、図３は、本発明による、相異なる光入射エレメントのアレイ２０６の一つの実施形態の上面図であり、第一マトリックス光入射エレメント２０８は、各々白２０８Ｗ、赤２０８Ｒ、青２０８Ｂ、および緑２０８Ｇマスク・エレメントから選択されたカラー・マスクを含み、それらの下位に配置された画像センサ２０４からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像に合成されて、第一画像中の赤、白、青、および緑のカラー・ピクセルの各々に対するそれらそれぞれの入射光のレベルに応じて、第一カラー画像が生成される。第二マトリックス光入射エレメント２１０は、同じカラーのより暗色に対応するマスク、すなわち、暗白色２１０ＤＷ、暗赤色２１０ＤＲ、暗青色２１０ＤＢ、および暗緑色２１０ＤＧマスク・エレメントから選択され、それらの下位に配置された画像センサ２０４からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像中に合成されて、第一画像に対する赤、白、青、および緑のカラー・ピクセルのそれらそれぞれのより低いレベルの入射光に応じた第二カラー画像が生成される。
【００２７】
さらに具体的には、各異なる光入射エレメント・マトリックスは、異なった色調の透過性を有する複数の相異なるマスキングまたはフィルタリング・エレメントで構成することができ、関連する光センサからのインプットの組み合わせによって生成されたこれらの画像は、入射され各マトリックスの画像に使われたそれぞれの合計の合成された光量に関し異なったものとすることができる。標準および暗色マトリックス２０８／２１０の各々の下位に配置された画像センサ２０４は、露光による飽和挙動に関して構造的に同一または実質的に同等なので、本発明の実施形態は、単純化されたセンサ・アレイ２０２の構造を可能にし、デジタル・シグナル・プロセッサ（ＤＳＰ）または他の処理装置または製品が、各マトリックス・センサの組み合わせからの別個の画像を取り入れ、それら個別のピクセル・データを合成してＨＤＲ画像を生成することができる。
【００２８】
さまざまな第一および第二マトリックスの組み合わせ配列、および他のマトリックス集合を実施することができる。例えば、図４Ａは、第二マトリックスの第二光入射エレメント４０４の各々と一つおきに交互配置された、第一光入射エレメント４０２の第一マトリックスの例を示す。図４Ｂは、前例に換わって、第一光入射エレメント４０２が、第二マトリックスの光入射エレメント４０４の列４０８と一つおきの関係で、交代（または交互配置）の列４０６に配列された別の例を示す。
【００２９】
一部の実施形態において、第一および第二光入射エレメント・マトリックスは、アレイ２０２中の利用可能センサ２０４を等しく分け合っていて、２つだけのマトリックスが使われており、各々が、画像センサ・アレイ２０２の集合体の合計解像度の半分で、それぞれ第一および第二画像を生成することができる。しかしながら、他の配分も実施が可能である。図４Ｃは、第一マトリックス光入射エレメント４０２の、第二マトリックス光入射エレメント４０４に対する三対一の関係の一例を示しており、第一マトリックス光入射エレメント４０２の各々に関連付けられたより多い数のセンサは、アレイ２０２上の利用可能なセンサ２０４の７５％を含み、これらに関連付けられたセンサ２０４は、合計利用可能センサ２０４の２５％だけを含む、より少ない数の第二マトリックス光入射エレメント４０４に関連付けられたセンサ２０４が提供する解像度の３倍の解像度の画像を提供する。さらに、２を超える別個のマトリックスを実施し、生成された画像の各々または少なくとも一つが容認可能な解像度を実現できることを前提として、同じ露光の間に２を上回る画像を生成することができる。例えば、図４Ｄは、第三マトリックスの「Ｃ」と標識された光入射エレメント４１０とともに、一つおきの関係で組み合わされた第一および第二マトリックス光入射エレメント４０２および４０４の例を示しており、これら３つのマトリックスの各々は配列された利用可能な画像センサの３３％を使って、一対一の関係で配列されており、一回の露光で３つの画像を取得することができる。例えば、３つのマトリックスを使った５０％−２５％−２５％、および４０％−４０％−２０％、あるいは２５％−２５％−２５％−２５％の４つのマトリックスで一回の露光で４つの画像を撮るなど、さらなる他の３つ以上のマトリックス配分を実施することができることを十分理解されたい。
【００３０】
これまで説明してきた、複数の実質上同時に取得された画像は、ＨＤＲビデオへの使用にも適している。というのは、各フレームは、同じ共通の露光時に、だが、その同じ時間の間、下位に配置されたセンサに入射される光の量を異なえて取得された２つ以上の画像で構成することができるからである。各画像は、合成センサ・アレイ２０２によって画定された共通の焦点面上に焦点を合わされたきっかり同じの眺めからきっかり同じの時間枠で取られるので、これらの各々は、例えば引き続く露光の間、時とともに移動する対象の同じ対象の位置を記録することになる。しかして、各々が、実質的に光景内の対象の同じ時間的な動きを捉え、また、露光時間に亘る一切の照度レベルの同じ変化を経た複数の原画像が生成される。
【００３１】
本発明の他の実施形態において、異なったマトリックス内の相異なる光入射エレメントは、異なった別個の露光時間の間オープンする能動シャッタ・エレメントとし、これにより、これらの相異なる個別のオープン時間に応じて、これらに関連するセンサへの共通露出光からの異なった光量を入射させることができる。しかして、シャッタの第一マトリックスをより短い時間オープンし、より長い露光時間オープンするシャッタの第二マトリックスにより捉えられた第二画像よりも、低い入射光レベルで捉えられた第一マトリックスの画像が得られるようにすることができる。画像センサごとに全体的シャッタを生成する代わりに、ピクセルの間に組み込んだ複数のシャッタを設けることもできる。これらシャッタ・エレメントは、さまざまな機械的、電気的、化学的、および選択的に活性化された構造、または、備えられた全シャッタの複数のサブセットと同期して制御可能な他の任意の種類のシャッタ・メカニズムによって設けることができる。
【００３２】
一部の実施形態において、第二マトリックスが別の画像を捉えるために使うより長くオープンしているシャッタの特定の時間枠の間に、より短時間設定の光入射シャッタ・エレメントの第一マトリックスを用いて該特定の全露光時間枠に亘って２つの画像を取得することができる。しかして、２つのマトリックスで、特定の露光期間に亘って、各々が全センサ・アレイの半分の解像度の合計３つの画像を取得することができるが、これらは、それぞれのシャッタ時間に応じた異なった入射光のレベルに対応して生成される。図５は、かかるアレンジメントの時系列５０２の一例を示す。第一光入射マトリックスの「エレメントＡ」シャッタは、１０の時間ユニット（１〜１０）を含む「露光＃１」時間に亘ってオープンのままで、これにより下位に配置された画像センサ２０４セルを露光し、次の２つの時間ユニット（１１および１２）は、ＤＳＰまたは他の製品が、下位に配置された画像センサ２０４セルから画像データを読み取り、そのセルを電気的にパージすることによってリセットするために使われる。同じ時間ユニット１〜１２に亘り、従って同時に、第二光入射エレメント・マトリックスの別の「エレメントＢ」シャッタがオープンし、これにより下位に配置された画像センサ２０４セルを、第一６時間ユニット（１〜６）を含むより短い「露光＃２」時間に亘って露光し、次の２つの時間ユニット（７および８）の間は、画像データを読み取って下位に配置された画像センサ２０４セルをパージしてリセットするためクローズし、次いで、合計４時間ユニットの間（９〜１２）さらに短い「露光＃３」時間に亘って再度オープンし、下位に配置された画像センサ２０４セルを露光する。次いで、後続の時間ユニット１３および１４に亘って第三露光のデータが読み取られパージされる。
【００３３】
しかして、同じカラー情報を有する３つの異なる画像が、時系列５０２の間のオーバーラップする露光による３つの異なるシャッタ露光時間に亘って得られ、それぞれの露光時間の違いによりこれらの画像の光景の異なった輝度レベルが得られる。一部の実施形態において、シャッタ・エレメントの２つのマトリックス、および、しかして３つの取得された画像の各々は、それぞれ利用可能なアレイ・センサ２０４の半分に関連付けられており、従い、各画像は、下位に配置されたセンサの全体によって提供される利用可能な全解像度の半分を代償として取得される。また一方、種々さまざまなエレメント配分を実施することができ、他の実施形態において、個々のマトリックスには、利用可能なアレイ・センサ２０４の同等でない割合を持たせることができ、利用可能なセンサの５０％より多いまたは少ないセンサを使って画像を取得することができる。
【００３４】
さまざまな画像時間定義を行うこともできる。本事例において、６時間ユニットの露光＃２の経過時間は露光＃１の合計露光時間の半分よりも多いが、これを半分に設定することも他の任意の割り当てに設定することも、また一つの態様では、データを転送し下位に配置されたピクセル・セルをパージするのに要する時間に相当するように設定することも可能である。また、他のアレンジメントにおいて、より長い露光時間＃１および読み取り／リセット期間を使って、３を超える画像を取ることもできる。
【００３５】
次いで図６を参照すると、本発明の実施形態の例示的コンピュータ化実装は、カメラまたは他の撮像デバイス５０６（例えば、ビデオ・カメラまたはビデオ・サーバなど）と通信するコンピュータまたは他のプログラム可能デバイス５２２を含む。命令５４２は、コンピュータ可読メモリ５１６中の、または、コンピュータ可読記憶システム５３２、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）５２４または処理装置（ＣＰＵ）５３８によってコンピュータ・ネットワーク・インフラストラクチャ５２６を介してアクセスされる他の５０６デバイスまたは他のコンピュータ可読記憶媒体中の、コンピュータ可読コード内に所在する。しかして、これらの命令は、処理装置（ＣＰＵ）５３８によって実行されたとき、処理装置（ＣＰＵ）５３８が、光入射エレメントの個々のマトリックスを使って、図１から５に関連して前述したように、画像センサの単一のアレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るようにさせる。
【００３６】
図７は、図１〜図６に関連して前述したように、本発明による、光入射エレメントの個々のマトリックスを使って、画像センサの単一アレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るための製品６０１（例えば、プログラム可能なデバイス、システムなど）を示す。製品６０１の一つ以上の構成要素は、例えば、前述の処理装置５３８、コンピュータ可読メモリ５１６、およびコンピュータ可読記憶システム５３２を含む、特定の機能を遂行する有形のデバイスである。しかして、図１〜６および関連する上記説明資料から理解されるように、カメラ６０２の単一の焦点面アレイ中の共通アレイ内に画定された感光性画像センサの個々のマトリックスと通信する画像アクワイヤラ６０４は、対応する相異なる光伝送エレメントのマトリックスによって伝送されたカラー画像情報の各マトリックスから相異なる画像を取得し、これらの画像は、入射光／露光の輝度のレベルが異なる。画像アクワイヤラ６０４は、カメラ６０２マトリックス中の個別の能動光入射エレメント（例えば、シャッタ）を（例えば、能動機械的に、電気的に、化学的に、など）制御し、関連するセンサ・アレイに対する一致した露光設定によって、相異なる画像の各々を生成するため用いられる異なるレベルの露出光をもたらす。あるいは光入射エレメントは受動的マスクまたはフィルタにすることもできる。高ダイナミック・レンジ（ＨＤＲ）画像ジェネレータ６０６は、取得した画像群からのピクセル・データを合成して、光景の単一の高ダイナミック・レンジ画像を生成する。
【００３７】
本発明の実施形態は、会費、広告、もしくは手数料ベースまたはこれらの組み合わせで、本発明のプロセス・ステップを実施することができる。すなわち、サービス・プロバイダは、図１〜７に関連して前述したような、光入射エレメントの個々のマトリックスを用いて、画像センサの単一アレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るオファを提供できよう。しかして、サービス・プロバイダは、一人以上の顧客に対し、本発明のプロセス・ステップを遂行する、例えば、ネットワーク・コンピュータ・システム５２２、コンピュータ・ネットワーク・インフラストラクチャ５２６、もしくは製品６０１（またはその部品）またはこれらの組み合わせなどのコンピュータ・インフラストラクチャを、生成、維持、およびサポートなどすることができる。サービス・プロバイダは、見返りとして、会費もしくは手数料契約またはその両方の下で顧客（群）から支払いを受けることができ、もしくはサービス・プロバイダは、一人以上の第三者に対する広告コンテンツの販売に対する支払いを受けることができ、またはこれらの両方の支払いを受けることができる。サービスには、（１）コンピュータ可読媒体デバイス５１６、５２０、または５０６から、コンピュータ／デバイス５２２／６０１などのコンピューティング・デバイスのプログラム・コードインストールすること、（２）コンピュータ・インフラストラクチャに一つ以上のコンピューティング・デバイスを追加すること、および（３）コンピュータ・インフラストラクチャが本発明のプロセス・ステップを遂行できるように、コンピュータ・インフラストラクチャの一つ以上の既存のシステムを統合もしくは修正またはその両方を行うこと、の一つ以上を含めることができる。
【００３８】
本明細書で使用する用語は、特定の実施形態を説明する目的のためだけのものであり、本発明を限定することは意図されていない。本明細書で用いられる、単数形「ある（ａ、ａｎ）」、および「該（ｔｈｅ）」は、文脈上明確に別途に示されていなければ、複数形も同じように含むことを意図されている。さらに、本明細書で用いられる「含む（ｃｏｍｐｒｉｓｅ）」もしくは「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方は、述べられた機能、完全体、ステップ、オペレーション、エレメント、もしくはコンポーネント、またはこれらの組み合わせの存在を特定するが、一つ以上の他の機能、完全体、ステップ、オペレーション、エレメント、コンポーネント、もしくはこれらの群、またはこれらの組み合わせの存在を排除するものでないことがさらに理解されよう。請求項に記載、および図面に示したものを含め、本明細書に記載された特定の事例およびエレメントは、一意的形容詞（例えば、複数のエレメントの「第二」または「第三」から区別された「第一」エレメント、「二次」のものから区別された「一次」、または「別の」項目など）によって、他のものから区別または別途に識別されていることがある。かかる識別形容詞は、一般に混同または不確かさを低減するため用いられており、請求事項をいずれか特定の例示エレメントまたは実施形態に限定するもの、または、いずれかの請求エレメント、制約条件、またはプロセス・ステップの優位、順序または序列を意味するものと解釈しないものとする。
【００３９】
添付の請求項中の全てのミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの要素の、対応する構造、材料、処置および均等物は、具体的に請求された他の請求要素と組み合わせて機能を遂行するための、一切の構造、材料または処置を包含することが意図されている。本発明の記述は、例示および説明目的で提示されたもので、網羅的であること、または本発明を開示した形態に限定することは意図されていない。当業者には、本発明の範囲および精神から逸脱することのない多くの修改および変形が明白であろう。本実施形態は、本発明の原理および実際的な応用を最善に説明し、他の当業者が、意図する特定の用途に適したさまざまな修改を加えたさまざまな実施形態のため、本発明を理解できるようにするため、選択し説明されたものである。
【符号の説明】
【００４０】
２０１ カメラ・システム
２０２ 画像センサ・アレイ
２０３ レンズ
２０４ 画像センサ
２０５ 露出光
２０６ 光入射エレメント・アレイ
２０７ 焦点合わせされた露出光
２０８ 光入射エレメント
２１０ 光入射エレメント
【技術分野】
【０００１】
本発明は、各々が異なるレベルの入射光を通して得られた、同じ光景の複数の個別画像から、高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成することに関する。
【背景技術】
【０００２】
ＨＤＲ撮像において、ダイナミック・レンジとは、一般に、特定の光景のそれぞれの画像（または、画像情報データ・セット）を生成するために用いる複数の別個の異なる照度、露光、または輝度レベルのレンジをいい、これら異なった画像／データが合成されまたは共に用いられ、例えば、ソフトウエア・アプリケーションなどを使用して単一のＨＤＲ画像が生成される。これによって、所与の任意の画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を、異なるレベルの露光で取った別の画像の画像データで置き換え、かくして異なった様々な範囲の照度、露光、または輝度レベルに亘る画像を生成することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＨＤＲ写真術では、相異なる照度、露光、または輝度レベルを用いる画像は、従来から、各々の画像を取得するため用いられるカメラのレンズ開口部のそれぞれの絞り目盛り（「ｆ−ｓｔｏｐ」）値を変えることによって得られている。ｆ−ｓｔｏｐ値は、レンズの焦点距離をレンズの開口部の直径で除した値であり、従来から、一続きのｆ−ｓｔｏｐの各々がその前の値の開口部の半分である段階的なスケールから選択されており、しかして、ｆ−ｓｔｏｐの値が低いほど、レンズを通してより多くの光が、例えば、アナログ写真術であればフィルム材料に、あるいはデジタル写真術であれば電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）または複合金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｏｓｉｔｅ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ・デバイスなどの画像センサに入射する。一例として、ｆ−ｓｔｏｐをｆ８にセットした８０ｍｍのレンズは１０ｍｍに等しい開口部直径を有し、ｆ−ｓｔｏｐをｆ１６に変更すると５ｍｍの直径が生成される。また一方、ｆ−ｓｔｏｐの設定によって、取得された画像データの「被写界深度」、すなわち、焦点被写体の前部および後部のどのくらいまでの画像が同様に焦点内にあるかも決まり得て、ｆ−ｓｔｏｐが小さいほど、同じレンズのより大きなｆ−ｓｔｏｐ設定で得られた画像に比べて、相対的により大きな被写界深度が得られる。従って、ＨＤＲのため、レンズのｆ−ｓｔｏｐ設定を変えて入射光のレベルを変化させて光景の複数の画像を取得するのは、かかる画像がそれぞれ異なる被写界深度を有し得て、より大きなｆ−ｓｔｏｐの画像では一部の前景および背景エレメントが焦点外れになるなど、多くの問題が生じる。
【課題を解決するための手段】
【０００４】
本発明の一つの実施形態において、画像センサの単一のアレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なった画像を取得する方法は、露光期間の間、単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスをカメラの焦点レンズからの光景画像の光に露光するステップを含む。光入射エレメントのマトリックスの各々は、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列された対応する感光性画像センサのマトリックスの前面に配置され、第一および第二マトリックスの各々の中の画像センサは、露光された焦点レンズ光中の同等レベルのカラー画像情報に対しては同等に反応する。光入射エレメントの第一マトリックスは、露光期間の間、露光焦点レンズ光からのカラー画像情報を、露出光の第一レベルの輝度で感光性画像センサの対応する第一マトリックスに伝送し、光入射エレメントの第二マトリックスは、光景画像からのカラー画像情報を、異なった第二レベルの輝度で感光性画像センサの対応する第二マトリックスに伝送する。しかして、感光性画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、それら取得された画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
【０００５】
別の実施形態において、システムは、処理装置と、コンピュータ可読メモリと、プログラム命令を有するコンピュータ可読記憶媒体デバイスとを有し、処理装置は、格納されたプログラム命令を実行するとき、露光期間の間、対応する光入射エレメントの第一マトリックスによってカメラ中の感光性画像センサの第一マトリックスに伝送された、光景画像の露光焦点レンズからのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、第一マトリックスの光入射エレメントの各々は、焦点レンズ光に対し、カメラ中の感光性画像センサの第一マトリックスの対応する一つずつの前面に配置される。処理装置は、第一マトリックス・センサとともにカメラの単一焦点面アレイ中に配列された感光性画像センサの第二マトリックス中に伝送されたカラー画像情報から、第二輝度レベルの第二画像をさらに取得し、該第二レベルの輝度は光入射エレメントの第二マトリックスの対応するエレメントによって伝送される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された相異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
【０００６】
別の実施形態において、製造品は、中に具現されたコンピュータ可読プログラム・コードを備えたコンピュータ可読記憶媒体を有し、コンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、コンピュータ・プロセッサに、露光期間の間、対応する第一および第二光入射エレメントのマトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、相異なる輝度レベルの第一および第二画像を取得させ、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック・レンジ画像が生成される。
【０００７】
別の実施形態において、画像センサの単一アレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得るためのサービスを提供する方法は、露光期間の間、光入射エレメントの対応する第一および第二マトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、異なった輝度レベルの第一および第二画像を取得する画像アクワイヤラを含む一つ以上の製品を提供するステップを含み、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された第一および第二画像からのピクセル・データを合成して、光景の高ダイナミック画像を生成する高ダイナミック・レンジ画像ジェネレータが設けられる。
【０００８】
本発明のこれらのおよび他の特質は、添付の図面を併せ見れば、以下の本発明のさまざまな態様の詳細な説明からさらに容易に理解されよう。これら図面は必ずしも一定の縮尺ではない。図面は単なる配置図であって、本発明の特定のパラメータを表すことを意図していない。これら図面は、本発明の典型的な実施形態だけを描くことを意図したものであり、従って本発明の範囲を限定すると見なすべきではない。図面中の同じ番号は同じエレメントを表す。
【図面の簡単な説明】
【０００９】
【図１】本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なった入射露光照度レベルの複数の異なる画像を得るための方法またはシステムの実施形態のフローチャート説明図である。
【図２】本発明の実施形態による、システムの概略図である。
【図３】本発明の実施形態による、相異なる光入射エレメントのマトリックスの概略図である。
【図４】図４Ａ〜図４Ｄは、本発明の実施形態による、相異なる光入射エレメントの例示的なマトリックスの概略図である。
【図５】本発明の実施形態による、共通またはオーバーラップした露光時系列によって異なったレベルの入射光における複数の異なる画像を取得するためのプロセスの概略図である。
【図６】本発明の実施形態のコンピュータ化実装のブロック概略図である。
【図７】本発明による製品のブロック概略図である。
【発明を実施するための形態】
【００１０】
当業者ならよく理解するであろうように、本発明の態様は、システム、方法、またはコンピュータ・プログラム製品として具現することができる。従って、本発明の態様は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウエア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれる、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明の態様は、内部に具体化されたコンピュータ可読プログラム・コードを有する一つ以上のコンピュータ可読媒体（群）中に具現されたコンピュータ・プログラム製品の形を取ることもできる。
【００１１】
一つ以上のコンピュータ可読媒体（群）の任意の組み合わせを用いることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、以下に限らないが、電子的、磁気的、光学的、電磁気的、赤外的な、または半導体の、システム、装置、もしくはデバイス、あるいはこれらの任意の適切な組み合わせとすることができる。コンピュータ可読記憶媒体のさらに具体的な例（非包括的リスト）には、一つ以上の配線を有する電気接続、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはフラッシュ・メモリ）、光ファイバ、携帯型コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、光記憶デバイス、磁気記憶デバイス、またはこれらの任意の適切な組み合わせが含まれよう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを、包含または格納できる任意の有形媒体とすることができる。
【００１２】
コンピュータ可読信号媒体には、例えばベースバンド中にまたは搬送波の一部として具現されたコンピュータ可読のプログラム・コードを有する、伝播データ信号を含めることができる。かかる伝播信号は、以下に限らないが、電磁気的、光学的、またはこれらの任意の適切な組み合わせを含め、さまざまな任意の形を取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを通信、伝播、または輸送が可能な任意のコンピュータ可読媒体であり得る。
【００１３】
コンピュータ可読媒体中に具現されたプログラム・コードは、以下に限らないが、無線、有線、光ファイバ・ケーブル、ＲＦなど、またはこれらの任意の適した組み合わせを含め、任意の適切な媒体を用いて伝送することができる。
【００１４】
本発明の態様のオペレーションを実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、“Ｃ”プログラミング言語または類似のプログラミング言語などの従来式手続き型プログラミング言語を含め、一つ以上のプログラミング言語の任意の組み合せで記述することができる。このプログラム・コードは、全体をユーザのコンピュータで、一部をユーザのコンピュータで、スタンドアロン・ソフトウェア・パッケージとして実行することができ、一部をユーザのコンピュータで他の部分を遠隔コンピュータで、または全体を遠隔のコンピュータまたはサーバで実行することができる。後者のシナリオでは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）または広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することができ、あるいは（例えばインターネット・サービス・プロバイダを使いインターネットを介し）外部のコンピュータへの接続を行うことができる。
【００１５】
本発明の実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャート説明図もしくはブロック図またはその両方を参照しながら、本発明の態様を以下に説明する。フローチャート説明図もしくはブロック図またはその両方の各ブロック、および、フローチャート説明図もしくはブロック図またはその両方中のブロックの組み合せは、コンピュータ・プログラム命令によって実行可能であることが理解されよう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、またはマシンを形成する他のプログラム可能データ処理装置のプロセッサに供給し、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群／処理群を実施するための手段を生成するようにすることができる。
【００１６】
また、これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに対し特定の仕方で機能するよう命令できるコンピュータ可読媒体に格納し、そのコンピュータ可読媒体に格納された命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能／処理を実施する命令群を包含する製造品を形成するようにすることができる。
【００１７】
同様に、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードして、これらコンピュータ、他のプログラム可能装置、または他のデバイス上で一連のオペレーション・ステップを実行させてコンピュータ実行のプロセスを生成し、これらコンピュータまたは他のプログラム可能装置で実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群／処理群を実施するためのプロセスを提供するようにすることもできる。
【００１８】
ここで図１を参照すると、本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を取得するための方法、プロセス、またはシステムの実施形態が示されている。さらに具体的には、１０２において、単一のカメラの中に、相互に構造的に区別された光入射エレメントの第一および第二マトリックスが、単一のカメラの中に、焦点レンズに対し、カメラの単一焦点面アレイ中の共通アレイ内に画定された感光性画像センサの対応する第一および第二マトリックスそれぞれの前面に配置される。画像センサの各々は、処理装置（例えば、デジタル・シグナル・プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）または他の処理装置または製品）と回路通信し、これにより、それらそれぞれのマトリックス内の他のセンサと合わさって画像データを提供し、処理装置が、画像センサの第一および第二マトリックスの各々から別個の光景画像を形成することを可能にする。個別の光入射エレメントは、それらそれぞれの共通マトリックス内の他のエレメントとの回路通信する能動構造（例えば、機械的、電気的、化学的にアクティブなシャッタなど）とし、関連するセンサ・アレイに対し一致して同じレベルまたは量の光を伝送することができ、あるいは受動構造（例えば、フィルタ、マスクなど）とすることもできる。以下にさらに詳しく説明するように、光入射エレメントの各々は、共通の光景露光から、相異なるマトリックス中の光入射エレメント群の少なくとも他の一つに対して異なったレベルまたは量の露光で、関連するセンサ・エレメントに光を入射させる。
【００１９】
１０４で、光入射エレメントのマトリックスは、露光期間の間、焦点レンズからの光景画像光に露光される。これにより、この露光期間において、（１）１０６で、第一マトリックス光入射エレメントは、露光期間の間、光景画像の露光焦点レンズ光からのカラー画像情報を、第一レベルの入射光で、対応する感光性画像センサの第一マトリックスの各々に伝送し、（２）１０８で、第二マトリックス光入射エレメントは、同じ露光期間の間、光景画像の露光焦点レンズ光からの同じカラー画像情報を、第一レベルの入射光の輝度とは異なる第二レベルの入射光の輝度で、対応する感光性画像センサの第二マトリックスの各々に伝送する。これに応じ、１１０で、第一レベルの輝度を有する、感光性画像センサの第一マトリックスに伝送されたカラー画像情報から、第一画像が取得され、１１２で、同じ露光の期間に、感光性画像センサの第二マトリックスに伝送されたカラー画像情報から、第二画像が取得され、第二画像は、得られた第一画像の第一レベルの輝度と異なる第二レベルの輝度を有する。
【００２０】
異なる輝度レベルの画像情報を含む、同じ光景のこれら２つの別個の画像からのピクセル・データは、次いで１１４で、処理装置を介して合成され、光景の単一の高ダイナミック・レンジ画像が生成される。しかして、光景のＨＤＲ画像は、画像センサの単一アレイ内の別個のアレイを、同じ視点を有する光景情報光（同じレンズを通して焦点合わせされた同じ画像）に、共通のまたはオーバーラップした露光時間に亘って露光することによって、だが各々がそれぞれ異なるレベルの入射光の輝度により取得されるようにして、各々生成される２つ（またはそれ以上）の別個の画像から生成される。一つの態様において、１１４で、ＨＤＲを形成するステップは、所与の任意の個別画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を異なるレベルの露光で取られた異なるレベルの画像輝度を有する別の画像からの画像データで置き換え、これにより相異なる照度、露光、または輝度レベルの範囲に亘る画像を生成することを可能にする。
【００２１】
さらに具体的には、それぞれの光入射エレメント・マトリックスは、同一単一回の露光の期間の同じ光景露光で、同じカラー画像情報だが異なる入射光レベルの画像を含む、それぞれ異なる光景の画像の取得を可能にする。カラー情報とは、一般的に画像情報をいい、フル・スペクトル・カラー情報、または部分的またはハイブリッド・スペクトル情報（例えば、赤外、イエローシアン、または緑色感受性など）、または黒白情報、またはこれらに任意の組み合わせであり得ることが理解されよう。カラー情報がどのように定義されようと、感光性画像センサのそれぞれのマトリックスは、同じカラー情報を取得するかまたはそれに対する感受性があり、第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。これは、従来式の感光性画像センサのアレイを使って本発明の実施形態を実施することを可能にし、アレイ内に異なる種類のセンサを用いる必要性をなくし、センサと通信している処理装置による操作を介して、画像センサの単一アレイ内の別個のグループから複数の画像を得ることができ、むしろいろいろな光入射エレメントを用いて、それぞれ相異なった入射光レベルの異なる複数の画像が生成される。
【００２２】
光景の画像データを異なった複数の入射光レベルで取得するための従来技術の方法およびシステムは、レンズの前面に分割減光フィルタを使うことが可能である。例えば、レンズを一部だけを覆って過剰な輝度の光景の部分だけに作用させる遮蔽フィルタをレンズに被せ、一回の露光設定で、光景中に存在する輝度の範囲を適切に包含することができる。しかしながら、このアプローチは、フィルタをマニュアルで調整するため、撮影者が、２つの異なる照度レベル領域の間の輝度の移行に対する明瞭に区画された境界（例えば、地平線、構造上の端部など）を容易に識別できる場合にのみ有用である。かかるアプローチは、面倒で費用が掛かり、また、変化する光の状態に反応しまたは別途に調整するためには遅すぎる。
【００２３】
別の従来技術のアプローチは、異なったシャッタ速度設定で、複数の異なるカメラを使い、または同一のカメラの一連の露光で、同じ光景の複数の露光を行う。しかしながら、かかるアプローチは、複数のカメラを通して、異なった視点を正確に整列させ露出を同期化する必要、あるいは同じカメラを使う場合は複数回にわたって整列させたままにしておく必要があり、しかして、出来栄えは、カメラの動きまたは対象と他の被写体間の動きの回避処理、あるいは、一連の異なる時間における異なる画像を取得する時間の間の照度レベルまたは条件の変化による問題の回避処理の如何による。各カメラ、または一連のショットを取得するため使う場合は同じカメラは、例えば三脚などによって空間的に固定されていなければならず、さもなければ、画像群は合成写真ＨＤＲ画像に整列することができず、手持ちカメラを使っての成功は見込みがないかまたは不可能である。かかる検討の結果として、リアルタイムＨＤＲビデオは生成が困難で、通常、静止画ビデオを使った低速度撮影技術が必要となる。
【００２４】
これに対し、本発明の実施形態は、共通の露光イベントであるが、その共通の露光により入射した異なるそれぞれの照度のレベルによって撮影された同一光景の複数のショットからＨＤＲ撮像を生成し、従い、複数のカメラを使った複数のショット、または一台のカメラを使った別個の連続的ショットを取る必要がなく、これにより、前述の問題を回避する。その代わりに、単一の画像センサ・アレイは、同時、同じ一回の露光によって、各々が異なったレベルの入射照度を用いる複数の画像を取得し、配列されたセンサの全てを一つだけの画像に使用する場合に比べて低減された解像度を代償として複数の画像を提供する。
【００２５】
図２は、各々が、露光照度への感知度またはこれに対する反応が同一、または少なくとも類似または同等な画像センサ２０４のアレイ２０２を含む、本発明によるカメラ・システム２０１の一つの実施形態を示す。異なった光入射エレメントの、組み合わされた２つの相異なるマトリックス２０８および２１０を含むアレイ２０６が、画像センサ・アレイ２０２の上面に配置されており、しかして、これらは、画像センサ・アレイ２０２と、画像光景からの露出光２０５からレンズ２０３によって画像センサ・アレイ２０２の焦点面上に焦点合わせされた露出光２０７との間に入っている。本実施形態において、相異なる光入射エレメント２０８および２１０の各々は、一対一の関係で、画像センサ２０４の各々の上に一つずつ配置されているが、別の実施形態では、光入射エレメント２０８または２１０を、例えば、エレメント２０８または２１０の一つを、一を上回る画像センサ２０４の群または複数個の上に配置するなど（図示せず）一対多の関係で配置することもできる。
【００２６】
一部の実施形態において、当業者ならよく理解しているであろうように、これら異なる光入射エレメント・マトリックスは、画像のカラー情報を生成するために、各々がそれぞれ違った色合いを持つ複数の相異なる透過マスキング・エレメントを含む。例えば、図３は、本発明による、相異なる光入射エレメントのアレイ２０６の一つの実施形態の上面図であり、第一マトリックス光入射エレメント２０８は、各々白２０８Ｗ、赤２０８Ｒ、青２０８Ｂ、および緑２０８Ｇマスク・エレメントから選択されたカラー・マスクを含み、それらの下位に配置された画像センサ２０４からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像に合成されて、第一画像中の赤、白、青、および緑のカラー・ピクセルの各々に対するそれらそれぞれの入射光のレベルに応じて、第一カラー画像が生成される。第二マトリックス光入射エレメント２１０は、同じカラーのより暗色に対応するマスク、すなわち、暗白色２１０ＤＷ、暗赤色２１０ＤＲ、暗青色２１０ＤＢ、および暗緑色２１０ＤＧマスク・エレメントから選択され、それらの下位に配置された画像センサ２０４からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像中に合成されて、第一画像に対する赤、白、青、および緑のカラー・ピクセルのそれらそれぞれのより低いレベルの入射光に応じた第二カラー画像が生成される。
【００２７】
さらに具体的には、各異なる光入射エレメント・マトリックスは、異なった色調の透過性を有する複数の相異なるマスキングまたはフィルタリング・エレメントで構成することができ、関連する光センサからのインプットの組み合わせによって生成されたこれらの画像は、入射され各マトリックスの画像に使われたそれぞれの合計の合成された光量に関し異なったものとすることができる。標準および暗色マトリックス２０８／２１０の各々の下位に配置された画像センサ２０４は、露光による飽和挙動に関して構造的に同一または実質的に同等なので、本発明の実施形態は、単純化されたセンサ・アレイ２０２の構造を可能にし、デジタル・シグナル・プロセッサ（ＤＳＰ）または他の処理装置または製品が、各マトリックス・センサの組み合わせからの別個の画像を取り入れ、それら個別のピクセル・データを合成してＨＤＲ画像を生成することができる。
【００２８】
さまざまな第一および第二マトリックスの組み合わせ配列、および他のマトリックス集合を実施することができる。例えば、図４Ａは、第二マトリックスの第二光入射エレメント４０４の各々と一つおきに交互配置された、第一光入射エレメント４０２の第一マトリックスの例を示す。図４Ｂは、前例に換わって、第一光入射エレメント４０２が、第二マトリックスの光入射エレメント４０４の列４０８と一つおきの関係で、交代（または交互配置）の列４０６に配列された別の例を示す。
【００２９】
一部の実施形態において、第一および第二光入射エレメント・マトリックスは、アレイ２０２中の利用可能センサ２０４を等しく分け合っていて、２つだけのマトリックスが使われており、各々が、画像センサ・アレイ２０２の集合体の合計解像度の半分で、それぞれ第一および第二画像を生成することができる。しかしながら、他の配分も実施が可能である。図４Ｃは、第一マトリックス光入射エレメント４０２の、第二マトリックス光入射エレメント４０４に対する三対一の関係の一例を示しており、第一マトリックス光入射エレメント４０２の各々に関連付けられたより多い数のセンサは、アレイ２０２上の利用可能なセンサ２０４の７５％を含み、これらに関連付けられたセンサ２０４は、合計利用可能センサ２０４の２５％だけを含む、より少ない数の第二マトリックス光入射エレメント４０４に関連付けられたセンサ２０４が提供する解像度の３倍の解像度の画像を提供する。さらに、２を超える別個のマトリックスを実施し、生成された画像の各々または少なくとも一つが容認可能な解像度を実現できることを前提として、同じ露光の間に２を上回る画像を生成することができる。例えば、図４Ｄは、第三マトリックスの「Ｃ」と標識された光入射エレメント４１０とともに、一つおきの関係で組み合わされた第一および第二マトリックス光入射エレメント４０２および４０４の例を示しており、これら３つのマトリックスの各々は配列された利用可能な画像センサの３３％を使って、一対一の関係で配列されており、一回の露光で３つの画像を取得することができる。例えば、３つのマトリックスを使った５０％−２５％−２５％、および４０％−４０％−２０％、あるいは２５％−２５％−２５％−２５％の４つのマトリックスで一回の露光で４つの画像を撮るなど、さらなる他の３つ以上のマトリックス配分を実施することができることを十分理解されたい。
【００３０】
これまで説明してきた、複数の実質上同時に取得された画像は、ＨＤＲビデオへの使用にも適している。というのは、各フレームは、同じ共通の露光時に、だが、その同じ時間の間、下位に配置されたセンサに入射される光の量を異なえて取得された２つ以上の画像で構成することができるからである。各画像は、合成センサ・アレイ２０２によって画定された共通の焦点面上に焦点を合わされたきっかり同じの眺めからきっかり同じの時間枠で取られるので、これらの各々は、例えば引き続く露光の間、時とともに移動する対象の同じ対象の位置を記録することになる。しかして、各々が、実質的に光景内の対象の同じ時間的な動きを捉え、また、露光時間に亘る一切の照度レベルの同じ変化を経た複数の原画像が生成される。
【００３１】
本発明の他の実施形態において、異なったマトリックス内の相異なる光入射エレメントは、異なった別個の露光時間の間オープンする能動シャッタ・エレメントとし、これにより、これらの相異なる個別のオープン時間に応じて、これらに関連するセンサへの共通露出光からの異なった光量を入射させることができる。しかして、シャッタの第一マトリックスをより短い時間オープンし、より長い露光時間オープンするシャッタの第二マトリックスにより捉えられた第二画像よりも、低い入射光レベルで捉えられた第一マトリックスの画像が得られるようにすることができる。画像センサごとに全体的シャッタを生成する代わりに、ピクセルの間に組み込んだ複数のシャッタを設けることもできる。これらシャッタ・エレメントは、さまざまな機械的、電気的、化学的、および選択的に活性化された構造、または、備えられた全シャッタの複数のサブセットと同期して制御可能な他の任意の種類のシャッタ・メカニズムによって設けることができる。
【００３２】
一部の実施形態において、第二マトリックスが別の画像を捉えるために使うより長くオープンしているシャッタの特定の時間枠の間に、より短時間設定の光入射シャッタ・エレメントの第一マトリックスを用いて該特定の全露光時間枠に亘って２つの画像を取得することができる。しかして、２つのマトリックスで、特定の露光期間に亘って、各々が全センサ・アレイの半分の解像度の合計３つの画像を取得することができるが、これらは、それぞれのシャッタ時間に応じた異なった入射光のレベルに対応して生成される。図５は、かかるアレンジメントの時系列５０２の一例を示す。第一光入射マトリックスの「エレメントＡ」シャッタは、１０の時間ユニット（１〜１０）を含む「露光＃１」時間に亘ってオープンのままで、これにより下位に配置された画像センサ２０４セルを露光し、次の２つの時間ユニット（１１および１２）は、ＤＳＰまたは他の製品が、下位に配置された画像センサ２０４セルから画像データを読み取り、そのセルを電気的にパージすることによってリセットするために使われる。同じ時間ユニット１〜１２に亘り、従って同時に、第二光入射エレメント・マトリックスの別の「エレメントＢ」シャッタがオープンし、これにより下位に配置された画像センサ２０４セルを、第一６時間ユニット（１〜６）を含むより短い「露光＃２」時間に亘って露光し、次の２つの時間ユニット（７および８）の間は、画像データを読み取って下位に配置された画像センサ２０４セルをパージしてリセットするためクローズし、次いで、合計４時間ユニットの間（９〜１２）さらに短い「露光＃３」時間に亘って再度オープンし、下位に配置された画像センサ２０４セルを露光する。次いで、後続の時間ユニット１３および１４に亘って第三露光のデータが読み取られパージされる。
【００３３】
しかして、同じカラー情報を有する３つの異なる画像が、時系列５０２の間のオーバーラップする露光による３つの異なるシャッタ露光時間に亘って得られ、それぞれの露光時間の違いによりこれらの画像の光景の異なった輝度レベルが得られる。一部の実施形態において、シャッタ・エレメントの２つのマトリックス、および、しかして３つの取得された画像の各々は、それぞれ利用可能なアレイ・センサ２０４の半分に関連付けられており、従い、各画像は、下位に配置されたセンサの全体によって提供される利用可能な全解像度の半分を代償として取得される。また一方、種々さまざまなエレメント配分を実施することができ、他の実施形態において、個々のマトリックスには、利用可能なアレイ・センサ２０４の同等でない割合を持たせることができ、利用可能なセンサの５０％より多いまたは少ないセンサを使って画像を取得することができる。
【００３４】
さまざまな画像時間定義を行うこともできる。本事例において、６時間ユニットの露光＃２の経過時間は露光＃１の合計露光時間の半分よりも多いが、これを半分に設定することも他の任意の割り当てに設定することも、また一つの態様では、データを転送し下位に配置されたピクセル・セルをパージするのに要する時間に相当するように設定することも可能である。また、他のアレンジメントにおいて、より長い露光時間＃１および読み取り／リセット期間を使って、３を超える画像を取ることもできる。
【００３５】
次いで図６を参照すると、本発明の実施形態の例示的コンピュータ化実装は、カメラまたは他の撮像デバイス５０６（例えば、ビデオ・カメラまたはビデオ・サーバなど）と通信するコンピュータまたは他のプログラム可能デバイス５２２を含む。命令５４２は、コンピュータ可読メモリ５１６中の、または、コンピュータ可読記憶システム５３２、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）５２４または処理装置（ＣＰＵ）５３８によってコンピュータ・ネットワーク・インフラストラクチャ５２６を介してアクセスされる他の５０６デバイスまたは他のコンピュータ可読記憶媒体中の、コンピュータ可読コード内に所在する。しかして、これらの命令は、処理装置（ＣＰＵ）５３８によって実行されたとき、処理装置（ＣＰＵ）５３８が、光入射エレメントの個々のマトリックスを使って、図１から５に関連して前述したように、画像センサの単一のアレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るようにさせる。
【００３６】
図７は、図１〜図６に関連して前述したように、本発明による、光入射エレメントの個々のマトリックスを使って、画像センサの単一アレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るための製品６０１（例えば、プログラム可能なデバイス、システムなど）を示す。製品６０１の一つ以上の構成要素は、例えば、前述の処理装置５３８、コンピュータ可読メモリ５１６、およびコンピュータ可読記憶システム５３２を含む、特定の機能を遂行する有形のデバイスである。しかして、図１〜６および関連する上記説明資料から理解されるように、カメラ６０２の単一の焦点面アレイ中の共通アレイ内に画定された感光性画像センサの個々のマトリックスと通信する画像アクワイヤラ６０４は、対応する相異なる光伝送エレメントのマトリックスによって伝送されたカラー画像情報の各マトリックスから相異なる画像を取得し、これらの画像は、入射光／露光の輝度のレベルが異なる。画像アクワイヤラ６０４は、カメラ６０２マトリックス中の個別の能動光入射エレメント（例えば、シャッタ）を（例えば、能動機械的に、電気的に、化学的に、など）制御し、関連するセンサ・アレイに対する一致した露光設定によって、相異なる画像の各々を生成するため用いられる異なるレベルの露出光をもたらす。あるいは光入射エレメントは受動的マスクまたはフィルタにすることもできる。高ダイナミック・レンジ（ＨＤＲ）画像ジェネレータ６０６は、取得した画像群からのピクセル・データを合成して、光景の単一の高ダイナミック・レンジ画像を生成する。
【００３７】
本発明の実施形態は、会費、広告、もしくは手数料ベースまたはこれらの組み合わせで、本発明のプロセス・ステップを実施することができる。すなわち、サービス・プロバイダは、図１〜７に関連して前述したような、光入射エレメントの個々のマトリックスを用いて、画像センサの単一アレイへの共通の露光からの異なるレベルの入射／露光照度による複数の異なった画像を得るオファを提供できよう。しかして、サービス・プロバイダは、一人以上の顧客に対し、本発明のプロセス・ステップを遂行する、例えば、ネットワーク・コンピュータ・システム５２２、コンピュータ・ネットワーク・インフラストラクチャ５２６、もしくは製品６０１（またはその部品）またはこれらの組み合わせなどのコンピュータ・インフラストラクチャを、生成、維持、およびサポートなどすることができる。サービス・プロバイダは、見返りとして、会費もしくは手数料契約またはその両方の下で顧客（群）から支払いを受けることができ、もしくはサービス・プロバイダは、一人以上の第三者に対する広告コンテンツの販売に対する支払いを受けることができ、またはこれらの両方の支払いを受けることができる。サービスには、（１）コンピュータ可読媒体デバイス５１６、５２０、または５０６から、コンピュータ／デバイス５２２／６０１などのコンピューティング・デバイスのプログラム・コードインストールすること、（２）コンピュータ・インフラストラクチャに一つ以上のコンピューティング・デバイスを追加すること、および（３）コンピュータ・インフラストラクチャが本発明のプロセス・ステップを遂行できるように、コンピュータ・インフラストラクチャの一つ以上の既存のシステムを統合もしくは修正またはその両方を行うこと、の一つ以上を含めることができる。
【００３８】
本明細書で使用する用語は、特定の実施形態を説明する目的のためだけのものであり、本発明を限定することは意図されていない。本明細書で用いられる、単数形「ある（ａ、ａｎ）」、および「該（ｔｈｅ）」は、文脈上明確に別途に示されていなければ、複数形も同じように含むことを意図されている。さらに、本明細書で用いられる「含む（ｃｏｍｐｒｉｓｅ）」もしくは「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方は、述べられた機能、完全体、ステップ、オペレーション、エレメント、もしくはコンポーネント、またはこれらの組み合わせの存在を特定するが、一つ以上の他の機能、完全体、ステップ、オペレーション、エレメント、コンポーネント、もしくはこれらの群、またはこれらの組み合わせの存在を排除するものでないことがさらに理解されよう。請求項に記載、および図面に示したものを含め、本明細書に記載された特定の事例およびエレメントは、一意的形容詞（例えば、複数のエレメントの「第二」または「第三」から区別された「第一」エレメント、「二次」のものから区別された「一次」、または「別の」項目など）によって、他のものから区別または別途に識別されていることがある。かかる識別形容詞は、一般に混同または不確かさを低減するため用いられており、請求事項をいずれか特定の例示エレメントまたは実施形態に限定するもの、または、いずれかの請求エレメント、制約条件、またはプロセス・ステップの優位、順序または序列を意味するものと解釈しないものとする。
【００３９】
添付の請求項中の全てのミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの要素の、対応する構造、材料、処置および均等物は、具体的に請求された他の請求要素と組み合わせて機能を遂行するための、一切の構造、材料または処置を包含することが意図されている。本発明の記述は、例示および説明目的で提示されたもので、網羅的であること、または本発明を開示した形態に限定することは意図されていない。当業者には、本発明の範囲および精神から逸脱することのない多くの修改および変形が明白であろう。本実施形態は、本発明の原理および実際的な応用を最善に説明し、他の当業者が、意図する特定の用途に適したさまざまな修改を加えたさまざまな実施形態のため、本発明を理解できるようにするため、選択し説明されたものである。
【符号の説明】
【００４０】
２０１ カメラ・システム
２０２ 画像センサ・アレイ
２０３ レンズ
２０４ 画像センサ
２０５ 露出光
２０６ 光入射エレメント・アレイ
２０７ 焦点合わせされた露出光
２０８ 光入射エレメント
２１０ 光入射エレメント
【特許請求の範囲】
【請求項１】
画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得る方法であって、前記方法は、
単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスを、露光期間の間、前記カメラの焦点レンズからの光景画像の光に露光するステップであって、前記光入射エレメントの前記第一マトリックスは、前記焦点レンズ光に対し、対応する感光性画像センサの第一マトリックスの前面に配置され、前記カメラ中の単一の焦点面アレイに配列されて、処理装置と回路通信し、前記光入射エレメントの前記第二マトリックスは、前記焦点レンズ光に対し、対応する前記感光性画像センサの第二マトリックスの前面に配置され、前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには等しく反応する、前記露光するステップと；
光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記露出光の第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップと；
前記光入射エレメントの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一レベルの輝度とは異なる、前記露出光の第二レベルの輝度で、感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップと；
前記露光期間の間、感光性画像センサの前記第一マトリックスに伝送された前記カラー画像情報から前記第一レベルの輝度を有する第一画像を取得するステップと；
前記露光期間の間、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から前記第二レベルの輝度を有する第二画像を取得するステップと；
前記処理装置によって、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成するステップと；
を含む方法。
【請求項２】
前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、請求項１に記載の方法。
【請求項３】
前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置される、請求項１に記載の方法。
【請求項４】
前記露光期間の間、前記単一のカメラ中に展開された光入射エレメントの第三マトリックスを、前記カメラの前記焦点レンズからの前記光景画像の光に露光するステップであって、前記光入射エレメントの前記第三マトリックスは、前記焦点レンズ光に対し、前記感光性画像センサの対応する第三マトリックスの前面に配置され、前記カメラ中の前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第三マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには、前記第一および第二マトリックス中のセンサと同様に反応し、前記第三光入射エレメントは構造的に相互に区別されている、前記露光するステップと；
光入射エレメントの前記第三マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一および第二レベルの輝度の少なくとも一つよりも高いかまたは低い前記露出光の第三レベルの輝度で、感光性画像センサの前記対応する第三マトリックスの各々に伝送するステップと；
前記露光期間の間、感光性画像センサの前記第三マトリックスに伝送された前記カラー画像情報から、前記第三レベルの輝度を有する第三画像を取得するステップと；
をさらに含み、
前記処理装置を介して、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成する前記ステップは、前記取得した第一、第二、および第三画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成するステップをさらに含む、
請求項１に記載の方法。
【請求項５】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１に記載の方法。
【請求項６】
区別された光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、第一光入射エレメント・マトリックスの白色マスクが、白色カラー画像情報を第一レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの赤色マスクが、赤色カラー画像情報を第一レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの青色マスクが、青色カラー画像情報を第一レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの緑色マスクが、緑色カラー画像情報を第一レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含み、
区別された光入射エレメントの前記第二マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップは、第二光入射エレメント・マトリックスの暗白色マスクが、前記白色カラー画像情報を前記第一レベルの白色光輝度と異なる第二レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗赤色マスクが、前記赤色カラー画像情報を前記第一レベルの赤色光輝度と異なる第二レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗青色マスクが、前記青色カラー画像情報を前記第一レベルの青色光輝度と異なる第二レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗緑色マスクが、前記緑色カラー画像情報を、前記第一レベルの緑色光輝度と異なる第二レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含む、
請求項５に記載の方法。
【請求項７】
前記第一および前記第二光入射エレメントの各々はシャッタであり、
区別された光入射エレメント・シャッタの前記第一マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、前記第一光入射エレメント・シャッタが、前記露光期間の第一シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含み、
区別された光入射エレメント・シャッタの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に透過するステップは、前記第二光入射エレメント・シャッタが、前記露光期間の前記第一マトリックス・シャッタ時間より短い第二マトリックス・シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第二レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含む、
請求項１に記載の方法。
【請求項８】
前記露光期間の前記第二マトリックス・シャッタ時間の間オープンされた第二光入射エレメント・シャッタによって、感光性画像センサの前記第二マトリックスに伝送され前記第二画像を前記取得するステップに用いられた前記カラー情報をパージするステップと、
前記第二マトリックス光入射エレメント・マトリックス・シャッタが、前記露光期間の別のマトリックス・シャッタ時間の間再オープンし、前記光景画像の前記露光焦点レンズ光からの前記カラー情報を再オープン・レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送させるステップと、
前記別のマトリックス・シャッタ時間露光期間の前記第二マトリックス・シャッタ時間の前記再オープンの間に、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から、前記再オープン・レベルの輝度で別の画像を取得するステップと、
をさらに含み、
前記取得された第一および第二画像からの前記ピクセル・データを前記合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップは、前記第一、前記第二、および前記別の画像からのピクセル・データを合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップをさらに含む、
請求項７に記載の方法。
【請求項９】
前記第一、前記第二、および前記別の画像の各々は、前記焦点面アレイ中の前記センサの総計の全画像解像度の半分の解像度を有する、請求項８に記載の方法。
【請求項１０】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１に記載の方法。
【請求項１１】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの前記総計の７５％を含み、前記画像センサの前記第二マトリックスは、前記焦点面アレイ中の前記センサの前記総計の２５％を含む、請求項１０に記載の方法。
【請求項１２】
画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を得るためのサービスを提供する方法であって、前記方法は、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得する画像アクワイヤラであって、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記画像アクワイヤラは、前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像をさらに取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっている、前記画像アクワイヤラと、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する高ダイナミック・レンジ画像ジェネレータと、
を提供するステップをさらに含む方法。
【請求項１３】
前記第一および前記第二光入射エレメントの各々はシャッタであり、前記画像アクワイヤラは、さらに、
前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンし、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項１２に記載の方法。
【請求項１４】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１２に記載の方法。
【請求項１５】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１２に記載の方法。
【請求項１６】
処理装置、コンピュータ可読メモリ、およびコンピュータ可読記憶媒体を含むシステムであって、
前記処理装置は、前記コンピュータ可読メモリを介し前記コンピュータ可読記憶媒体に格納されたプログラム命令を実行したとき、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送された光景画像の露光レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送された前記光景画像の前記露光レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する、
システム。
【請求項１７】
前記第一および前記第二光入射エレメントの各々はシャッタであり、前記処理装置は、前記コンピュータ可読記憶媒体に格納されたプログラム命令を、前記コンピュータ可読メモリを介して実行したとき、さらに、
前記露光期間の第一シャッタ時間の間、前記第一マトリックス光入射エレメント・シャッタをオープンし、前記第一光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間、前記第二マトリックス光入射エレメント・シャッタをオープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記異なった第二レベルの輝度で画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項１６に記載のシステム。
【請求項１８】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１６に記載のシステム。
【請求項１９】
前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置され、
前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、
請求項１６に記載のシステム。
【請求項２０】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１６に記載のシステム。
【請求項２１】
具現されたコンピュータ可読プログラム・コードをその中に有するコンピュータ可読記憶媒体を含む製造品であって、前記コンピュータ・プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得させ、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像を取得させ、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成させる、
命令を含む、製造品。
【請求項２２】
前記第一および第二光入射エレメントの各々はシャッタであり、前記コンピュータ可読プログラム・コード命令は、前記コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、さらに、
前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンさせて、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンさせて、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項２１に記載の製造品。
【請求項２３】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項２１に記載の製造品。
【請求項２４】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項２１に記載の製造品。
【請求項１】
画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得る方法であって、前記方法は、
単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスを、露光期間の間、前記カメラの焦点レンズからの光景画像の光に露光するステップであって、前記光入射エレメントの前記第一マトリックスは、前記焦点レンズ光に対し、対応する感光性画像センサの第一マトリックスの前面に配置され、前記カメラ中の単一の焦点面アレイに配列されて、処理装置と回路通信し、前記光入射エレメントの前記第二マトリックスは、前記焦点レンズ光に対し、対応する前記感光性画像センサの第二マトリックスの前面に配置され、前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには等しく反応する、前記露光するステップと；
光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記露出光の第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップと；
前記光入射エレメントの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一レベルの輝度とは異なる、前記露出光の第二レベルの輝度で、感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップと；
前記露光期間の間、感光性画像センサの前記第一マトリックスに伝送された前記カラー画像情報から前記第一レベルの輝度を有する第一画像を取得するステップと；
前記露光期間の間、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から前記第二レベルの輝度を有する第二画像を取得するステップと；
前記処理装置によって、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成するステップと；
を含む方法。
【請求項２】
前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、請求項１に記載の方法。
【請求項３】
前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置される、請求項１に記載の方法。
【請求項４】
前記露光期間の間、前記単一のカメラ中に展開された光入射エレメントの第三マトリックスを、前記カメラの前記焦点レンズからの前記光景画像の光に露光するステップであって、前記光入射エレメントの前記第三マトリックスは、前記焦点レンズ光に対し、前記感光性画像センサの対応する第三マトリックスの前面に配置され、前記カメラ中の前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第三マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには、前記第一および第二マトリックス中のセンサと同様に反応し、前記第三光入射エレメントは構造的に相互に区別されている、前記露光するステップと；
光入射エレメントの前記第三マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一および第二レベルの輝度の少なくとも一つよりも高いかまたは低い前記露出光の第三レベルの輝度で、感光性画像センサの前記対応する第三マトリックスの各々に伝送するステップと；
前記露光期間の間、感光性画像センサの前記第三マトリックスに伝送された前記カラー画像情報から、前記第三レベルの輝度を有する第三画像を取得するステップと；
をさらに含み、
前記処理装置を介して、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成する前記ステップは、前記取得した第一、第二、および第三画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成するステップをさらに含む、
請求項１に記載の方法。
【請求項５】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１に記載の方法。
【請求項６】
区別された光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、第一光入射エレメント・マトリックスの白色マスクが、白色カラー画像情報を第一レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの赤色マスクが、赤色カラー画像情報を第一レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの青色マスクが、青色カラー画像情報を第一レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの緑色マスクが、緑色カラー画像情報を第一レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含み、
区別された光入射エレメントの前記第二マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップは、第二光入射エレメント・マトリックスの暗白色マスクが、前記白色カラー画像情報を前記第一レベルの白色光輝度と異なる第二レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗赤色マスクが、前記赤色カラー画像情報を前記第一レベルの赤色光輝度と異なる第二レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗青色マスクが、前記青色カラー画像情報を前記第一レベルの青色光輝度と異なる第二レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗緑色マスクが、前記緑色カラー画像情報を、前記第一レベルの緑色光輝度と異なる第二レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含む、
請求項５に記載の方法。
【請求項７】
前記第一および前記第二光入射エレメントの各々はシャッタであり、
区別された光入射エレメント・シャッタの前記第一マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、前記第一光入射エレメント・シャッタが、前記露光期間の第一シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含み、
区別された光入射エレメント・シャッタの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に透過するステップは、前記第二光入射エレメント・シャッタが、前記露光期間の前記第一マトリックス・シャッタ時間より短い第二マトリックス・シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第二レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含む、
請求項１に記載の方法。
【請求項８】
前記露光期間の前記第二マトリックス・シャッタ時間の間オープンされた第二光入射エレメント・シャッタによって、感光性画像センサの前記第二マトリックスに伝送され前記第二画像を前記取得するステップに用いられた前記カラー情報をパージするステップと、
前記第二マトリックス光入射エレメント・マトリックス・シャッタが、前記露光期間の別のマトリックス・シャッタ時間の間再オープンし、前記光景画像の前記露光焦点レンズ光からの前記カラー情報を再オープン・レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送させるステップと、
前記別のマトリックス・シャッタ時間露光期間の前記第二マトリックス・シャッタ時間の前記再オープンの間に、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から、前記再オープン・レベルの輝度で別の画像を取得するステップと、
をさらに含み、
前記取得された第一および第二画像からの前記ピクセル・データを前記合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップは、前記第一、前記第二、および前記別の画像からのピクセル・データを合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップをさらに含む、
請求項７に記載の方法。
【請求項９】
前記第一、前記第二、および前記別の画像の各々は、前記焦点面アレイ中の前記センサの総計の全画像解像度の半分の解像度を有する、請求項８に記載の方法。
【請求項１０】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１に記載の方法。
【請求項１１】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの前記総計の７５％を含み、前記画像センサの前記第二マトリックスは、前記焦点面アレイ中の前記センサの前記総計の２５％を含む、請求項１０に記載の方法。
【請求項１２】
画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を得るためのサービスを提供する方法であって、前記方法は、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得する画像アクワイヤラであって、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記画像アクワイヤラは、前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像をさらに取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっている、前記画像アクワイヤラと、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する高ダイナミック・レンジ画像ジェネレータと、
を提供するステップをさらに含む方法。
【請求項１３】
前記第一および前記第二光入射エレメントの各々はシャッタであり、前記画像アクワイヤラは、さらに、
前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンし、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項１２に記載の方法。
【請求項１４】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１２に記載の方法。
【請求項１５】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１２に記載の方法。
【請求項１６】
処理装置、コンピュータ可読メモリ、およびコンピュータ可読記憶媒体を含むシステムであって、
前記処理装置は、前記コンピュータ可読メモリを介し前記コンピュータ可読記憶媒体に格納されたプログラム命令を実行したとき、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送された光景画像の露光レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送された前記光景画像の前記露光レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する、
システム。
【請求項１７】
前記第一および前記第二光入射エレメントの各々はシャッタであり、前記処理装置は、前記コンピュータ可読記憶媒体に格納されたプログラム命令を、前記コンピュータ可読メモリを介して実行したとき、さらに、
前記露光期間の第一シャッタ時間の間、前記第一マトリックス光入射エレメント・シャッタをオープンし、前記第一光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間、前記第二マトリックス光入射エレメント・シャッタをオープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記異なった第二レベルの輝度で画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項１６に記載のシステム。
【請求項１８】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項１６に記載のシステム。
【請求項１９】
前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置され、
前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、
請求項１６に記載のシステム。
【請求項２０】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項１６に記載のシステム。
【請求項２１】
具現されたコンピュータ可読プログラム・コードをその中に有するコンピュータ可読記憶媒体を含む製造品であって、前記コンピュータ・プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、
露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得させ、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像を取得させ、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成させる、
命令を含む、製造品。
【請求項２２】
前記第一および第二光入射エレメントの各々はシャッタであり、前記コンピュータ可読プログラム・コード命令は、前記コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、さらに、
前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンさせて、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンさせて、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
請求項２１に記載の製造品。
【請求項２３】
前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項２１に記載の製造品。
【請求項２４】
前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項２１に記載の製造品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７８１１４（Ｐ２０１３−７８１１４Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−１８７８０２（Ｐ２０１２−１８７８０２）
【出願日】平成２４年８月２８日（２０１２．８．２８）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年８月２８日（２０１２．８．２８）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]