説明

画像の平均信号対雑音比値を推定するための方法およびカメラ

【課題】異なる露光時間で撮像された複数の画像から多重露光HDR画像を作成する場合に必要な画像の平均SNR値を推定するための方法を提供する。
【解決手段】複数のビンに分けられた画像ヒストグラムを提供するステップであって、画像ヒストグラムが出力画像の画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画素の組を含む、ステップと、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップと、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画素の組内の画素数で重みづけするステップと、ビンの重みづけされた信号対雑音比値を合計するステップと、ビンの重みづけされた信号対雑音比値の合計を、出力画像の画素の総数または画像ヒストグラムのビン内の画素の総数で割るステップと、を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、出力画像の平均信号対雑音比値を推定するための方法に関する。本発明は、出力画像の平均信号対雑音比値を推定するために構成されたカメラにも関する。
【背景技術】
【0002】
画像センサを使用してデジタルカメラで取り込まれた画像は、読み出し雑音σおよび/または光子ショット雑音σphなど、様々なソースからの雑音を拾い上げる。これらの画像の多くのさらなる用途では、画像内の雑音を低減させる必要がある。画像内の雑音を低減させるためには雑音フィルタリングが使用される。雑音フィルタリングを画像に適用する場合、雑音フィルタリング方法および雑音フィルタリングの強さを画像内に存在するどのくらいの雑音に適合させるかが重要である。信号対雑音比値(SNR値)は、画像内の雑音に対する画像信号の強さを定量化することができ、したがって雑音フィルタリングを画像に適用する場合に重要なパラメータである。特に、雑音フィルタリングを画像に適用するときに画像全体の平均SNR値を推定することが非常に有用となりうる。平均SNR値の別の使用分野では、平均SNR値を、カメラ内のデイ/ナイト機能を作動させるべきときの示度として使用する。平均SNR値が小さい、すなわち減少することは、画像雑音が大きい、すなわち画像信号に対して増大することを示しており、例えば、カメラのナイト機能を作動させる必要があることを示すことができる。平均SNR値の別の使用分野では、許容雑音レベルを発生させる露光時間を見出すための自動露光アルゴリズムで平均SNR値を使用する。
【0003】
確率変数Sに対するSNR値は、


と定義される(画像化に使用される定義)。上式で、E[S]は信号Sの期待値であり、σは信号Sの標準偏差である。画像処理パイプラインにおいては、処理能力の点で、式(A)を使用して画像データからSNR値を計算するのに非常に費用がかかり、しがたって推定SNR値が必要とされる。カメラが1回露光を使用して出力画像を生成する場合、これは、その場面における平均輝度値を信号の期待値として使用し、かつ事前に計算した読み取り雑音値を信号の標準偏差として使用することによって行われることが多い。しかし、こうした手法は、多重露光HDR画像などの多重露光画像には役に立たない。これは、多重露光画像が異なる露光から異なる露光時間でスティッチされた画像で構成されるからであり、このことは、例えば、雑音レベルおよび/または雑音源がスティッチ画像の異なる露光領域の間で異なる可能性があることを含意し、SNR値がスティッチ画像の異なる露光領域の間で異なることも含意する。
【0004】
したがって、画像の平均SNR値を推定するための代替方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記に鑑みて、本発明の一目的は、画像の平均SNR値を推定するための方法およびカメラを提供することである。
【0006】
本発明の別の目的は、複数の画像からスティッチされている出力画像の平均SNR値を推定するのに適している方法およびカメラを提供することである。
【課題を解決するための手段】
【0007】
特に、本発明の第1の態様によれば、複数の画像画素を含む出力画像の平均信号対雑音比値を推定するための方法であって、画像の各画像画素が画素値を有する、方法が提供される。この方法は、ビンに分けられた画像ヒストグラムを提供するステップであって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含む、ステップと、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップと、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の複数の画像画素で重みづけするステップと、ビンの重みづけされた信号対雑音比値を合計するステップと、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割るステップと、を含む。
【0008】
これによれば、画像の推定平均SNR値を与える方法が実現される。出力画像の推定平均SNR値を与えることにより、出力画像に対して雑音フィルタリングを行うために、この平均信号対雑音比値を使用することが可能になる。さらに、推定平均SNR値は、カメラ内のデイ/ナイト機能を作動させるために使用することもできる。別の使用分野では、平均SNR値を自動露光アルゴリズムで使用する。上述の方法での重要な利点は、上述の方法が画像の推定平均SNR値を低い計算費用で与えることである。
【0009】
出力画像は複数の画像画素を含むどんな種類の画像でもよく、出力画像の各画像画素は画素値を有する。出力画像は、複数の他の画像をスティッチすることによって得られた画像とすることができる。この種のスティッチ出力画像は、2つ以上の画像をスティッチすることによって得られた多重露光HDR画像、パノラマ画像、あるいは他の種類の画像などの多重露光画像とすることができる。出力画像は画像の一部とすることもできる。すなわち、出力画像は別の画像からの切り抜きとすることができる。
【0010】
出力画像の画像画素の画素値は通常、画像センサからの出力信号または出力信号を組み合わせたものである。画像センサは通常、センサ画素に分割される。画像センサのセンサ画素はそれぞれ、画素値を出力するように構成される。画素値は、画像センサの対応するセンサ画素内の受け取られた光子の数の関数である。画素値は例えば、画像センサユニットからのアナログ‐デジタルユニットまたは画像センサからの出力を表す他の量によって具現化することができる。センサ画素のうちの少なくともいくつかの画素値は、画像センサによって取り込まれた画像の対応する画像画素の画素値を構成する。すなわち、いくつかのセンサ画素からの画素値は、例えば、画像センサの暗電流および/または他の特性を計算するために使用することができ、いくつかのセンサ画素からの他の画素値は、例えば、画像に無関係と見なすことができ、他のいくつかのセンサ画素の画素値は、画像センサによって取り込まれた画像の画素値を導き出すために使用することができる。
【0011】
出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムは、出力画像を取り込むために使用される画像センサによって与えることができる。多重露光画像の場合、画像ヒストグラムは複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラム内の各ビンは画素値範囲を表す。したがって、画像ヒストグラムは、各ビン内に画素値を有する画像画素数に関する情報を含む。
【0012】
本発明の一実施形態によれば、前記出力画像は、複数の画像の画像画素に由来する画素値を有する画像画素を含むことができる。したがって、出力画像は、複数の画像をスティッチすることによって形成された画像とすることができる。したがって、出力画像は、2つ以上の画像を混合することによって形成された多重露光HDR画像やパノラマ画像などの多重露光画像とすることができる。
【0013】
本発明の別の実施形態によれば、前記複数の画像は異なる露光時間を有することができる。これは、多重露光HDR画像などの多重露光画像の場合である。
【0014】
本発明の別の実施形態によれば、前記出力画像内の第1の画素の画素値は前記複数の画像のうちの第1の画像の画素からの画素値とすることができ、前記出力画像内の第2の画素の画素値は前記複数の画像のうちの第2の画像の画素からの画素値とすることができる。すなわち、出力画像は、出力画像を形成するために使用される前記複数の画像のうちのただ1つの画像からの画像データを含む画素を含む。これは、どんな種類の多重露光出力画像にも当てはまる。
【0015】
本発明の別の実施形態によれば、前記出力画像の画素のうちの少なくとも1つの画素の画素値は、前記複数の画像のうちの少なくとも2つの画像からの画素の画素値を混合することによって得られた画素値とすることができる。すなわち、出力画像は、出力画像を形成するために使用される前記複数の画像のうちの少なくとも2つの画像からの画像データを含む画素を含む。前記複数の画像のうちの少なくとも2つの画像からの画素の画素値は、当業者によって知られている様々な方法で混合することができる。前記複数の画像のうちの少なくとも2つの画像からの画素の画素値を混合するこの種の一方法について、以下で諸実施形態の記述において説明する。前記複数の画像のうちの少なくとも2つの画像からの画素の画素値を混合する他の方法が、米国特許出願公開第2009/0059039号明細書および米国特許出願公開第2010/0310190号明細書に記述されている。2つ以上の画素からの画素値を混合するのは、どんな種類の多重露光画像に対しても行うことができる。多重露光HDR画像の場合、これは、複数の画像のうちの少なくとも2つの画像からの画素データが出力画像のより高いダイナミックレンジを達成するために使用される遷移領域に対応する。パノラマ画像の場合、これは、パノラマ画像を構成する画像のうちの少なくとも2つの画像からの寄与を有する画像の領域、すなわちパノラマ画像を構成する少なくとも2つの画像の重複する領域に対応する。
【0016】
本発明の別の実施形態によれば、信号対雑音比値を、前記複数の画像のうちの少なくとも2つ画像からの画素の値を混合することによって得られた画素値を有する前記画素を含む前記画像ヒストグラムの前記ビンのうちのビンに帰属させるという行為は、前記複数の画像のうちの前記少なくとも2つの画像からの前記画素の前記画素値の信号対雑音比値を混合するステップを含むことができる。
【0017】
本発明の別の態様によれば、コンピュータ可読記録媒体が提供される。コンピュータ可読記録媒体には、処理能力を有する装置で実行されると、上述した諸実施形態のうちのいずれか1つによる方法を実施するためのプログラムが記録されている。
【0018】
本発明の別の態様によれば、複数の画素を含む出力画像の平均信号対雑音比値を推定するために構成されたカメラであって、画像の各画素が画素値を有する、カメラが提供される。このカメラは、前記出力画像の画素の画素値を導き出すために使用される画素値を取り込むように構成された画像センサと、出力画像の画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供するように構成された画像ヒストグラムプロバイダであって、画像ヒストグラムの各ビンが所定の範囲内の画素値を有する画素の組を含む、画像ヒストグラムプロバイダと、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるように構成された信号対雑音比値アトリビュータと、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画素の組内の画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画素の総数または画像ヒストグラムのビン内の画素の総数で割ることにより、前記平均信号対雑音比値を計算するように構成された計算機と、を備える。
【0019】
本発明の一実施形態によれば、カメラは、前記出力画像を形成するために前記画像センサによって取り込まれた複数の画像に由来する画素の画素値を混合するように構成された画像コンバイナをさらに備えることができる。
【0020】
本発明の別の実施形態によれば、前記複数の画像は異なる露光時間を使用して取り込むことができる。
【0021】
本発明の別の実施形態によれば、画像コンバイナは、前記複数の画像のうちの第1の画像の画素からの画素値を使用して前記出力画像の第1の画素の画素値を形成しかつ前記複数の画像のうちの第2の画像の画素からの画素値を使用して前記出力画像の第2の画素の画素値を形成するように構成されることができる。
【0022】
本発明の別の実施形態によれば、画像コンバイナは、前記出力画像の画素のうちの少なくとも1つの画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも2つの画像の画素からの画素値を混合するように構成することができる。
【0023】
本発明の別の実施形態によれば、信号対雑音比値アトリビュータは、信号対雑音比を、前記出力画像の画素のうちの前記少なくとも1つの画素を含む画像ヒストグラムのビンのうちのビンに帰属させるために、前記出力画像の画素のうちの前記少なくとも1つの画素の前記画素値を得るために使用される前記複数の画像のうちの前記少なくとも2つの画像の画素の画素値の信号対雑音比値を混合するように構成される。
【0024】
本発明の別の実施形態によれば、カメラは、画素値の関数である信号対雑音比値の表あるいは信号対雑音比値を画素値の関数として計算するための定義済み関数およびパラメータ値を含むメモリをさらに備える。
【0025】
本発明の別の実施形態によれば、画像ヒストグラムの各ビンの信号対雑音比値が画像センサの温度に依存する。
【0026】
次に、本発明のこれらおよびその他の態様について、本発明の諸実施形態を示す添付図面を参照しながらより詳細に説明する。これらの図は、本発明を特定の実施形態に限定すると見なされるべきでなく、代わりに本発明を説明しかつ理解するために使用される。図全体を通して同じ番号は同じ要素を意味する。
【図面の簡単な説明】
【0027】
【図1】本発明の一実施形態によるカメラの概略図である。
【図2】本発明の一実施形態による方法を示す概略流れ図である。
【発明を実施するための形態】
【0028】
式(A)を使用して平均SNR値を計算するのはプロセッサ容量の点で費用がかかり、多重露光画像のようなスティッチ出力画像に正確な結果を与えることはない。
【0029】
本発明は、出力画像の平均SNR値の推定を低い処理費用で行うという問題を解決する。特に、本発明は、スティッチ出力画像、特に、異なる露光時間で記録された複数の画像からの画像データを含むスティッチ出力画像の推定平均SNR値を与えるために使用することができる。
【0030】
スティッチ出力画像は、画像のダイナミックレンジを向上させる多重露光技術、高ダイナミックレンジ(HDR)、広ダイナミックレンジ(WDR)または拡張ダイナミックレンジ技術と呼ばれることもある技術領域を使用して生成することができる。別法として、スティッチ出力画像は、全景を実現するために、パノラマ技術を使用して、すなわち複数の画像をスティッチして生成することもできる。例えば、雑音レベルおよび/または雑音源がスティッチ画像の異なる露光領域間で異なる可能性があることを含意する、例えば異なる露光時間を使用して取り込まれた画像データを含むスティッチ出力画像の性質により、SNR値はスティッチ出力画像の異なる画像画素の間で異なる。多重露光画像などのスティッチ出力画像の画像画素の画素値のSNR値に関するより詳細な議論については下記を参照されたい。したがって、推定平均SNR値は出力画像のSNRを平均して表すのに役立つ。推定平均SNR値は、例えば、出力画像の雑音フィルタリングのための入力および/またはカメラ内のデイ/ナイト機能を作動させ、および/または自動露光アルゴリズムで適切な露光時間を見出すための入力として使用することができる。
【0031】
本発明での重要な利点は、本発明が出力画像の推定平均SNR値を低い計算費用で与えることである。
【0032】
要約すると、推定平均SNR値を計算するための本発明の方法は、出力画像内の画像画素の画素値の分布を表す画像ヒストグラムと、画像ヒストグラムの各画素値範囲の期待SNR値、すなわち画像ヒストグラムの各ビンの期待SNR値を計算するための事前に計算した表または1つ以上の定義済み関数およびパラメータと、を使用することを含む。次いで、推定平均SNR値は、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割ることによって計算される。
【0033】
出力画像内の画素値の分布を表す画像ヒストグラムは、画像センサまたは画像処理パイプラインによって与えることができる。出力画像が多重露光画像などのスティッチ出力画像である場合、画像ヒストグラムは、複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラム内の各ビンは画素値範囲を表す。画素値は、画像センサの対応するセンサ画素内の受け取られた光子の数の関数である。画素値は例えば、画像センサからのアナログ‐デジタルユニットまたは画像センサの出力を表す他の量によって具現化することができる。
【0034】
画像ヒストグラム内の各ビンのSNR値のための事前に計算した表または定義済み関数およびパラメータは、画像センサの較正データ、画像センサの特性および/または画像センサの温度を使用して計算または事前定義することができる。スティッチ出力画像が、例えば異なる露光時間を有する画像のように、異なる画像からの画像データを含む場合、異なる画像のうちの少なくとも2つの画像画素の画素値を混合することによって形成された画像画素を含む1つまたは複数のビンのSNR値は、例えばスケーリングおよび/または補間により、ビンの画像画素を形成するために使用される異なる画像のうちの少なくとも2つの画像画素の画素値のSNR値を混合することによって計算される。例えば、異なる露光時間を使用して取り入れられた画像のように、異なる画像からの画素の画素値を混合する方法について以下で論じる。さらに、異なる画像、特に異なる露光時間を有する画像からの画像画素の画素値の信号対雑音比値を混合する方法についても以下で論じる。
【0035】
異なる画素値の関数であるSNR値の事前に計算した表および/または所定の関数およびパラメータは、カメラの実行時間中に計算し、および/または製作中に決定しカメラに保存することができる。
【0036】
図1には、画像の各画像画素が画素値を有している、複数の画像画素を含む出力画像の平均SNR値を推定するためのカメラ1の一実施形態が示されている。
【0037】
カメラ1は、一般に任意の種類のデジタルカメラである。カメラ1は、1回露光技法または多重露光技法を使用して、静止画像および/またはビデオ画像を取り込むことができるかもしれない。さらに、カメラ1は、デジタルネットワークに接続可能とすることができる。さらに、カメラ1は、携帯用カメラ、固定カメラ、またはパン/チルト機能を有するカメラとすることができる。カメラ1は、監視目的、マシンビジョン、ストアコンプライアンス、ビジネス情報などの用途を監視するためのカメラとすることができる。本発明の理解を容易にするために、本発明に関連していないカメラの標準機能については記述しない。カメラ1は、ハウジング2、レンズ3、画像センサ4、画像コンバイナ6、画像ヒストグラムプロバイダ8、信号対雑音比値アトリビュータ10、計算機12、プロセッサ14、およびメモリ16を備える。
【0038】
プロセッサ14は、カメラ1の他の構成要素のいずれかによって生成されているデータを処理し、および/または伝えるように構成される。
【0039】
画像センサ4は、画像を取り込むように構成される。画像センサ4は、例えば、入射光を記録するための電荷結合素子(CCD)センサ、相補型金属酸化膜半導体(CMOS)センサ、または類似のものとすることができる。画像センサ4は複数のセンサ画素を含む。画像センサ4は、各センサ画素の画素値を出力するように構成される。各センサ画素の画素値は、前記センサ画素によって受け取られた光子の数の関数である。センサ画素のうちの少なくともいくつかの画素値は、画像センサによって取り込まれた画像の対応する画像画素の画素値を構成する。すなわち、センサ画素のうちのいくつかからの画素値は、例えば、画像センサの暗電流および/または他の特性を計算するために使用することができ、センサ画素のうちのいくつかからの他の画素値は、例えば、画像と画像センサによって取り込まれた画像の画素値とに無関係と見なすことができる。
【0040】
本発明のいくつかの応用例では、画像センサ4によって取り込まれた単一画像が出力画像と見なされ、これは、本発明が画像センサによって取り込まれた単一画像からの画像データを含む出力画像の平均SNR値を推定するために使用される場合に当てはまる。
【0041】
画像センサ4によって取り込まれた複数の画像からスティッチ出力画像を形成するために、カメラは画像コンバイナ6を備える。画像コンバイナ6は、出力画像の画像画素を形成するために、前記画像センサ4によって取り込まれた複数の画像に由来する画像画素の画素値を混合するように構成され、出力画像はこのときスティッチ出力画像である。スティッチ出力画像は通常、複数の画像から推定された画素値を有する画像画素を含む。スティッチ出力画像は、例えば、前記複数の画像のうちの第1の画像だけに由来する画素値を有する画像画素、前記複数の画像のうちの第2の画像だけに由来する画素値を有する画像画素、および/または前記複数の画像のうちの少なくとも2つの画像からの画素値の組合せに由来する画素値を有する画像画素を含むことができる。これは通常、多重露光HDR画像または多重露光パノラマ画像を形成する場合に当てはまる。したがって、画像コンバイナ6は、前記複数の画像のうちの第1の画像の画像画素に基づく画素値を使用して前記出力画像の第1の画像画素の画素値を形成し、かつ前記複数の画像のうちの第2の画像の画像画素に基づく画素値を使用して前記出力画像の第2の画像画素の画素値を形成するように構成される。さらに、画像コンバイナ6は、前記出力画像の画像画素のうちの少なくとも1つの画像画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも2つの画像の画像画素に基づく画素値を混合するように構成される。
【0042】
画像ヒストグラムプロバイダ8は、出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供するように構成される。多重露光画像の場合、画像ヒストグラムは複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラムの各ビンは、所定の範囲内の画素値を有する画像画素の組を含む。したがって、画像ヒストグラム内の各ビンは画素値範囲を表す。したがって、画像ヒストグラムは、各ビン内に画素値を有する画像画素数に関する情報を含む。
【0043】
信号対雑音比値アトリビュータ10は、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるように構成される。一般に、ビンの範囲内の画素値が選択され、対応するSNR値がその画素値に対して計算される。ビンの範囲内のどの画素値を使用すべきであるかは、本発明の様々な実施によって異なることがある。例えば、ビンの範囲内の最大値または最小値を使用することができる。別の実施例ではビンの範囲の中央の画素値を使用する。
【0044】
計算機12は、出力画像の前記平均信号対雑音比値を計算するように構成される。この計算は、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数で割ることによって行われる。別法として、ビンの重みづけされた信号対雑音比値の合計は、画像ヒストグラムのビン内の画像画素の総数で割ることもできる。典型的には、これらの2つの選択肢は同じ値を与える。これは、出力画像内の画像画素の総数と画像ヒストグラムのビン内の画像画素の総数が同じであるべきであるからである。
【0045】
メモリ16は、画素値範囲、例えばビンの画素値の関数であるSNR値の前記事前に計算した表を含む。別法として、メモリ16は、信号対雑音比値を画素値の関数として計算するための1つ以上の定義済み関数およびパラメータ値を含む。メモリ16は、前記事前に計算した表ならびに前記1つ以上の定義済み関数およびパラメータの両方を含みうることが実現される。メモリ16は、異なる画像センサの温度に対する異なる表を含むこともできる。これは、SNR値が画像センサの温度に依存するからである。これらの表は、以下で定義されるように、式(A)とともに式(G)、(H)、(I)および(J)を使用して事前に計算することができる。定義済み関数は、以下で定義されるように、式(A)、(G)、(H)、(I)および(J)に基づく関数とすることができる。
【0046】
本発明の一実施形態によれば、画像コンバイナ6および/または画像ヒストグラムプロバイダ8は、画像センサ4の1つ以上の一体的な部分とすることができる。
【0047】
本発明の一実施形態によれば、計算機12は、カメラ1のプロセッサ14内に実装することができる。
【0048】
図2は、出力画像の平均SNR値を推定するための方法の一実施形態を示す。この方法は、ビンに分けられた画像ヒストグラムを提供するステップ100であって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含む、ステップ100と、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップ102と、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけするステップ104と、ビンの重みづけされた信号対雑音比値を合計するステップ106と、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数で割るステップ108と、を含む。上述のように、別法として、ビンの重みづけされた信号対雑音比値の合計は、画像ヒストグラムのビン内の画像画素の総数で割ることもできる。
【0049】
本発明の一実施形態によれば、前記出力画像は、例えば異なる露光時間を有する画像のように、複数の画像の画像画素に由来する画素値を有する画像画素を含む。出力画像の画像画素の画素値を得るためには、前記出力画像の画像画素のうちのいくつかの画素値が、前記複数の画像のうちの第1の画像の画像画素から取り出される。出力画像の画像画素の他の画素値は、前記複数の画像のうちの第2の画像の画像画素から画素値を取り出すことによって得ることができる。そして最後に、出力画像の画像画素の画素値のうちのいくつかは、前記複数の画像のうちの前記第1の画像と前記第2の画像の両方からの画像画素に基づく画素値を混合することによって得ることができる。
【0050】
出力画像が複数の画像からスティッチされた画像である場合、信号対雑音比値を、前記複数の画像のうちの少なくとも2つの画像から得られる画像画素の画素値を混合することによって得られた画素値を有する画像画素を含む画像ヒストグラムの前記複数のビンのうちのビンに帰属させるという行為は、前記複数の画像のうちの前記少なくとも2つの画像から得られる前記画像画素の前記画素値の信号対雑音比値を混合するステップを含む。
【0051】
多重露光画像の推定SNR値
上述のように、確率変数Sに対するSNR値は、


と定義される(画像化に使用される定義)。
【0052】
上式で、E[S]は信号Sの期待値であり、σは信号Sの標準偏差である。画像センサから出力されている各センサ画素の画素値の信号、すなわちデジタル符号出力またはアナログ‐デジタルユニット(ADU)は、センサ固有の変換率Cを使用して生成された対応する数の電子に変換される。

【0053】
上式で、Gは、画像ヒストグラムが計算される前に信号に加えられる任意のアナログ利得またはデジタル利得である。
【0054】
画像ヒストグラム内の各ビンのSNR値を計算する場合、各ビンに対応する画素値は期待値として使用することができる。これは、ビン内の画像画素のうちの多くが、少数の画像画素を有するビンに対して生じうる同じ画素値および場合により誤った寄与を有するので、もっともな想定であり、出力画像の平均SNR値を計算する場合に後で重みづけされる。
【0055】
信号、この場合は画素値の標準偏差については、読み出し雑音σおよび光子ショット雑音σphしか説明されない(というのは、暗電流が光学的に黒の基準センサ画素を用いてセンサから除去されることが多いからである)。当業者は、さらなるファクタが標準偏差を推定するときを考慮できることに気付いている。
【0056】
読み出し雑音σは、通常は各センサに対して事前に計算され、通常は例えば画像を取り込む画像センサの温度に依存する。光子ショット雑音σphは、センサ画素に入射する光子の数がポアソン分布に追従するために出現している。したがって、


である。
【0057】
これらの雑音源を集めることが、全雑音の


を与える。
【0058】
スティッチ出力画像を実現するために複数の画像をスティッチする場合、スティッチ出力画像の画像画素の画素値は、前記複数の画像からの画像画素の画素値を混合することにより得ることができる。例えば、多重露光画像、例えば多重露光HDR画像を形成する場合、異なる露光時間を有する画像に由来する画像画素の画素値が使用される。スティッチ出力画像内の各画像画素の各画素値の推定SNR値を計算するには、画像スティッチが実行されるのを説明する必要がある。スティッチ出力画像の画像画素の画素値は、スティッチ出力画像を構成する複数の画像から取り出される。スティッチ出力画像のいくつかの画像画素には、前記複数の画像のうちの第1の画像からの画素値が使用され、スティッチ出力画像の他の画像画素には、前記複数の画像のうちの第2の画像からの画素値が使用される。さらに、スティッチ出力画像の他の画像画素には、前記複数の画像のうちの少なくとも2つの画像の画像画素に基づく画素値間の補間画素値が使用されうる。多重露光画像の場合、2回の隣接する露光の2つの画像画素の間の補間画素値が、前記複数の画像のうちの1つ以上から寄与を有する画像画素の画素値を得るために使用される。画像画素が前記複数の画像のうちの少なくとも2つの画像からの画像画素に基づく画素値を補間することによって得られた画素値を有する場合、前記複数の画像のうちの前記少なくとも2つの画像からの各画素値からの雑音が混合される。したがって、前記複数の画像のうちの少なくとも2つの画像の画像画素に基づく画素値を補間することによって得られているスティッチ出力画像の画像画素の画素値の雑音は、その特定の画像画素の画素値を得るために使用される画素値の混合雑音である。
【0059】
以下は、2回の露光TとTの間に画素値が補間された場合の多重露光画像の画像画素のSNR値を推定する方法の一実施例である。画素値は、2回の露光の間に重みづけされた(尺度)値であるものとする。
S=αS[T]+εβS[T];α+β=1 (E)
【0060】
重み係数αおよびβは、全重みが、T露光に対する画素値だけが使用されるTの終点でTに与えられるように選択され、その逆も同じである。露光時間比εは既知の係数である。より短い露光T内の信号は、Tデータに合致するように調整される必要がある。さらに、


は、事実上、2つの露光の間の画像ビュー内に動きがない、と言っているものとする。これは、平均で正確な値を与える。
【0061】
したがって、生成された対応する数の電子に変換される集合信号(F)の場合、((B)、(E)および(F)を使用して)


を得る。
【0062】
次に標準偏差について、ここで助けになるように、無相関な確率変数の標準偏差の下記の特性が使用される。

【0063】
最後に、(D)および(G)を使用して、


を得る。
【0064】
そして(F)を使用して、


を得る。
【0065】
次いで、式(G)、(H)、(I)および(J)は、画像ヒストグラム内の画素値に対して、その画素値を有するスティッチ出力画像の画像画素を含む画像ヒストグラムのビンに関連するSNR値を計算するために、式(A)とともに使用することができる。
【0066】
スティッチ出力画像の画像画素が前記複数の画像のうちのただ1つに由来する画素値を有する場合、対応する重み係数をゼロに設定するだけでよい。
【0067】
露光が3回以上であれば、複数の補間領域をもたらすので、当業者はそれが上述したのと同じように処理されうることに気付く。
【0068】
多重露光画像の画像画素のSNR値を混合する方法は、参照により本出願に組み込まれる米国特許出願公開第2009/0059039号明細書および米国特許出願公開第2010/0310190号明細書により詳細に論じられている。
【0069】
図面および本明細書には、本発明の好ましい実施形態および実施例が開示されており、特定の用語が用いられているが、それらは、一般的で記述的な意味でのみ使用され、限定する目的で使用されるものではなく、本発明の範囲は以下の特許請求の範囲に記述されている。
【符号の説明】
【0070】
1 カメラ
2 ハウジング
3 レンズ
4 画像センサ
6 画像コンバイナ
8 画像ヒストグラムプロバイダ
10 信号対雑音比値アトリビュータ
12 計算機
14 プロセッサ
16 メモリ

【特許請求の範囲】
【請求項1】
複数の画像画素を含む出力画像の平均信号対雑音比値を推定するための方法であって、出力画像の各画像画素が画素値を有し、
ビンに分けられた画像ヒストグラムを提供するステップであって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含むステップと、
信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップと、
画像ヒストグラムのビンごとに、ビンの信号対雑音比値にビンの画像画素の組内の画像画素数で重みづけするステップと、
ビンの重みづけされた信号対雑音比値を合計するステップと、
ビンの重みづけされた信号対雑音比値の合計を、出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割るステップと
を含む方法。
【請求項2】
前記出力画像が、複数の画像の画像画素に由来する画素値を有する画像画素を含む、請求項1に記載の方法。
【請求項3】
前記複数の画像が、異なる露光時間を使用して取り込まれている、請求項2に記載の方法。
【請求項4】
前記出力画像内の第1の画像画素の画素値が前記複数の画像のうちの第1の画像の画像画素に基づく画素値であり、前記出力画像内の第2の画像画素の画素値が前記複数の画像のうちの第2の画像の画像画素に基づく画素値である、請求項2または3に記載の方法。
【請求項5】
前記出力画像の画像画素のうちの少なくとも1つの画素の画素値が、前記複数の画像のうちの少なくとも2つの画像から得られる画像画素の画素値を混合することによって得られた画素値である、請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記複数の画像のうちの少なくとも2つの画像から得られる画像画素の画素値を混合することによって得られた画素値を有する前記画像画素を含む画像ヒストグラムの前記複数のビンのうちのビンに、信号対雑音比値を帰属させる行為が、前記複数の画像のうちの前記少なくとも2つの画像から得られる前記画像画素の前記画素値の信号対雑音比値を混合するステップを含む、請求項5に記載の方法。
【請求項7】
処理能力を有する装置で実行されると、請求項1から6のいずれか一項に記載の方法を実施するためのプログラムが記録されているコンピュータ可読記録媒体。
【請求項8】
複数の画像画素を含む出力画像の平均信号対雑音比値を推定するカメラ(1)であって、画像の各画像画素が画素値を有し、
前記出力画像の画像画素の画素値を導き出すために使用される画素値を取り込む画像センサ(4)と、
出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供する画像ヒストグラムプロバイダ(8)であって、画像ヒストグラムの各ビンが所定の範囲内の画素値を有する画像画素の組を含む、画像ヒストグラムプロバイダ(8)と、
信号対雑音比値を画像ヒストグラムの各ビンに帰属させる信号対雑音比値アトリビュータ(10)と、
画像ヒストグラムのビンごとに、前記ビンの信号対雑音比値に前記ビンの画像画素の組内の画像画素数で重みをかけ、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割ることにより、前記平均信号対雑音比値を計算する計算機(12)と
を備えるカメラ。
【請求項9】
前記出力画像を形成するために前記画像センサ(4)によって取り込まれた複数の画像に由来する画像画素の画素値を混合する画像コンバイナ(6)をさらに備える、請求項8に記載のカメラ。
【請求項10】
前記複数の画像が異なる露光時間を使用して取り込まれる、請求項9に記載のカメラ。
【請求項11】
画像コンバイナ(6)が、前記複数の画像のうちの第1の画像の画像画素に基づく画素値を使用して前記出力画像の第1の画像画素の画素値を形成し、前記複数の画像のうちの第2の画像の画像画素に基づく画素値を使用して前記出力画像の第2の画像画素の画素値を形成する、請求項9または10に記載のカメラ。
【請求項12】
画像コンバイナ(6)が、前記出力画像の画像画素のうちの少なくとも1つの画像画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも2つの画像の画像画素に基づく画素値を混合する、請求項9から11のいずれか一項に記載のカメラ。
【請求項13】
信号対雑音比値アトリビュータ(10)が、前記出力画像の画像画素の前記少なくとも1つの画像画素を含む画像ヒストグラムの複数のビンのうちのビンに、前記信号対雑音比を帰属させるために、前記出力画像の画像画素のうちの前記少なくとも1つの画像画素の前記画素値を得るために使用される前記複数の画像のうちの前記少なくとも2つの画像の画像画素の画素値の信号対雑音比値を混合する、請求項12に記載のカメラ。
【請求項14】
画素値の関数である信号対雑音比値の表、あるいは信号対雑音比値を画素値の関数として計算するための1つ以上の定義済み関数およびパラメータ値を含むメモリ(16)をさらに備える、請求項8から13のいずれか一項に記載のカメラ。
【請求項15】
画像ヒストグラムの各ビンの信号対雑音比値が画像センサ(4)の温度に依存する、請求項8から14のいずれか一項に記載のカメラ。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2013−31175(P2013−31175A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−167073(P2012−167073)
【出願日】平成24年7月27日(2012.7.27)
【出願人】(502208205)アクシス アーベー (39)
【Fターム(参考)】