画像を取得し変換するための方法および装置
取得レンズにより、画像をローパスフィルタリングするステップと、画像センサを使用し、アップサンプリング係数を用いて、前述のローパスフィルタリングされた画像から、第１の解像度を有するアップサンプリングされた画像を生成するステップと、画像処理回路を用いて、前述のアップサンプリングされた画像を、前述の第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するステップとを含む、画像を取得し、変換するための方法であって、前述の変換するステップが、前述のレンズの前述のローパスフィルタリングおよび前述のアップサンプリング係数に依拠する、方法。ギガピクセルセンサおよび慣例画像センサに適合される。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、画像の取得及び変換のための方法に関する。本発明は、画像取得装置およびコンピュータプログラム製品にも関する。
【背景技術】
【０００２】
関連技術の説明
図１ａに、カメラまたは他の撮像システムの単純化した構造を示す。カメラは、列またはアレイを成す複数の画素２０を含む画像センサ２の平面上への入射光の焦点を合わせるレンズ１を含む。画像センサ内の各画素２０は光子を集め、その光子をアナログ電気信号に変換し、そのアナログ電気信号はＡ／Ｄ変換器などの量子化器により、例えば１ビット、８ビット、または１２ビットに量子化される。画素に当たる光子の数は、ポアソン過程によりモデル化することができる。量子化器は、画素ごとに設けることができ、または複数の画素によって共用される読出し回路ごとに設けることができる。
【０００３】
画像センサは、所与の露光時間の間の、およびある空間領域にわたる、光強度場の積分関数（integration function）をサンプリングするサンプリング装置とみなすことができる。カメラにおいて最も重要なパラメータの１つは、空間的なサンプリング間隔を決定する、画素のサイズである。
【０００４】
回折限界により、レイリーの基準は、理想的なレンズの最小空間解像度を与える。レンズ１のインパルス応答は、点広がり関数（ＰＳＦ）、図２に示すＰ（ｘ）である。レンズには収差があり、理想的なレンズでさえ回折があるので、点広がり関数はディラックのデルタ関数ではなく、むしろこのレンズはゼロを上回る最小空間解像度を有するローパスフィルタの役割を果たす。
【０００５】
図３に、レンズのモデルを一例として示す。レンズの前の光強度場はλ（ｘ）であり、ｘは空間インデックスを表す。レンズのローパス効果により、レンズの後の光強度場は帯域制限され、λ（ｘ）＊Ｐ（ｘ）に等しい（＊は畳み込み作用素である）。
【０００６】
ＣＭＯＳ技術におけるスケーリング効果のおかげで、消費者向けのカメラおよび他の撮像装置で使用される最先端の画素サイズは、多くの場合レンズの最小空間解像度よりも小さい。この場合、画像センサはオーバーサンプリング装置の役割を果たし、レンズによる帯域制限後の画像信号の帯域幅が必要とするよりも多くのサンプルを生成する。
【０００７】
さらに、いわゆるギガピクセルカメラ（またはギガピクセルデジタルフィルム）も知られており、これらでは大きなオーバーサンプリング係数が使用される。ギガピクセルカメラの画像センサは、対数関数に似た非線形応答を有し、そのような応答はそれらの画像センサを、高ダイナミックレンジシーンを取得するのに非常に適したものにする。さらに、ギガピクセルカメラは通常、画素ごとに単一の光子検出器を有し、このことは、高感度の光子検出機構により微光状態における露光時間を短縮する。映像や写真、または例えば光の代わりにＸ線や他の波長を用いる医用画像を含む一般にどんな種類の画像を撮るためにも、ギガビジョンカメラを使用することができる。
【０００８】
通常、ギガピクセルカメラ内の画素は、各画素の出力を２進値（黒または白）に変換するための１ビット量子化器を有する。したがって、ギガピクセルセンサによる画像出力は、非常に高い空間解像度を有するが、画素ごとに２つのレベルだけ、例えば２つの階調レベルしか有さない。その結果、ギガピクセルセンサの高解像度の２進出力を、より低い解像度だがより多くの階調レベルを有する画像信号に変換するための処理回路が必要である。
【０００９】
一態様によれば、このようなわけで本発明は画像変換に関し、具体的にはオーバーサンプリングされたデジタル信号に基づくマルチレベル画像の推定値を再構築するための方法に関する。一部の実施形態では、本発明は、高解像度の２値画像信号をより低い解像度のマルチレベル信号に変換することに関する。別の実施形態では、本発明は、マルチレベル画像信号を各画素または一部の画素において異なる数のレベルを有しかつ／または異なる解像度を有する、別の信号に変換することにも関する。どんな画像センサによる１Ｄ、２Ｄ、またはＮ−Ｄ画像信号出力を変換するためにも、全ての実施形態を使用することができる。
【００１０】
図４は、画像センサ２を概略的に示す。このセンサの働きは、レンズ１を通過する入射光をサンプリングすることである。ｋ番目の画素によって生成される電子の数Ｓｋは、この画素に衝突する光子の数によって決まる。例えば画素の量子効率が「１」の場合、画素２０が生成する電子の数は、この画素が受け取る光子の数に等しい。
【００１１】
露光時間τの間、および画素幅Δｘでは、ｋ番目の画素によって生成される電子の数Ｓｋは、パラメータ
【数１】
を伴うポアソン分布に従い、
これは、露光時間の間に画素が生成する電子の平均数である。この分布は以下のように表すことができる。
【数２】
【００１２】
図４に示すように、画像センサ２によって与えられる値は、カーネル関数ｆ（ｘ）によるレンズの後の信号λ（ｘ）＊Ｐ（ｘ）の畳み込みと、その後に続く、
【数３】
における、その結果生じる関数
【数４】
のサンプリングである。次いで、量子化器を使用して電子の数を量子化し、以下の通り同じくランダム変数である画素値Ｂｋをもたらす。
【数５】
【００１３】
ｋ番目の画素の開始位置はｘｋ−１であり、終了位置はｘｋである。したがって、画素が受ける光の推定値
【数６】
は、次式の通りである。
【数７】
【００１４】
量子化した後、画像センサ２は１組の数値Ｂ＝［Ｂ１，Ｂ２，．．．，ＢＫ］Ｔをもたらし、ｂ＝［ｂ１，ｂ２，．．．，ｂＫ］Ｔは、ランダム変数Ｂの具現化（realization）である。
【００１５】
したがって本発明の１つの狙いは、それらの量子化した画素値を所与として、光強度場
【数８】
の推定値をもたらすことである。
【００１６】
具体的には、本発明の狙いは、オーバーサンプリング画像センサ、すなわち
【数９】
のナイキストレートよりも大きい空間周波数および／または時間周波数を有する画像センサの出力に基づいて光強度場
【数１０】
を取得することである。
【００１７】
ギガピクセルセンサの特別なケースでは、本発明の狙いは、センサによる２進のより高解像度の画像出力を使用して、（階調レベルを有する）従来の画像を再構築することである。
【００１８】
ギガピクセルカメラなどのオーバーサンプリングカメラによってとられる量子化された測定から画像を再構築するための再構築法は従来技術で知られている。例えば、ブロック内で隣接する画素によって与えられる信号を追加し、または平均することが知られている。ギガピクセルカメラの場合、例えば隣接する画素のブロック内で２進値Ｂを合計することにより、階調レベルを示す多値信号を生成することが提案されている。画像センサの出力をローパスフィルタリングし、ダウンサンプルすることに基づく他の方法も知られている。この処理は画像センサの読出し回路内で通常行われ、またはカメラ内もしくはコンピュータ内の任意のデジタル画像処理システム、または捕捉画像を受け取って処理する他の処理システムによって行うことができる。
【００１９】
この従来技術による手法の問題点は、ローパスフィルタリングおよびダウンサンプリングによる画像再構築の性能が悪く、または少なくとも最適ではないことである。
【００２０】
従来技術の画像センサにおける１つの難点は、レベルを区別するために量子化器が用いる閾値Ｑ１を決定することである。例えば光強度が高い場合、閾値Ｑ１が大きいギガピクセルカメラは、閾値が小さいギガピクセルカメラよりもうまく機能する。光強度が低い場合、閾値Ｑ１が小さいギガビジョンカメラは、閾値が大きいギガビジョンカメラよりもうまく機能する。マルチレベル画像を生成する画像センサにも同じ困難が当てはまる。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
したがって、より優れた画像品質を提供し、画像センサが生成する量子化値に基づいて入射光場のより優れた推定値をもたらす、改善された画像取得および再構築の方法および装置が求められている。
【００２２】
カメラによってとられる量子化された測定から画像を再構築するための再構築アルゴリズムの速度を改善することも求められている。
【００２３】
多重露光の下で画像を捕捉する際に、または大量の空間的オーバーサンプリングに伴って計算の複雑さが著しく高まることがない再構築法も求められている。
【課題を解決するための手段】
【００２４】
本発明の再構築の方法および装置は、サンプリング理論の新規使用に部分的に基づく。この理論は、推定光強度場
【数１１】
を、ナイキストレートにおけるサンプル
γｊ，Ｊ＝１，２，．．．，Ｊから完璧に再構築できることを次式の通り知らせ、
【数１２】
ただし
γｊ，Ｊ＝１，２，．．．，Ｊはナイキストレートにおける推定光強度場
【数１３】
のサンプルであり、φ（ｘ）はカーネル関数であり、Ｘｊはｊ番目の画素のサンプリング位置である。オーバーサンプリングレートは、
【数１４】
である。
【００２５】
サンプリング位置ｘｋ，Ｋ＝１，２，．．．，Ｋを考慮に入れ、先の式を以下のようにデジタル形式で示すことができる。
【数１５】
【００２６】
画素サイズΔｘがＮ倍に変わる場合、カーネル関数をこの倍率だけ変えればよいという仮定に基づき、上記の等式では記号「≒」を使用するが、それはカーネル関数が多くの場合理想的なものではなく近似に過ぎないからである。
【００２７】
したがって本発明の一態様によれば、上述の狙いは、従来技術のように画像信号の変換が単に一連のローパスフィルタリング操作およびダウンサンプリング操作ではなく、むしろこの変換をデジタルサンプル値から信号を再構築すること、例えばナイキストレートを上回るサンプリングレートでとるデジタル値から信号を再構築することであって、光学系および電子システム全体の特性、とりわけレンズの特性を考慮に入れる、再構築することとみなす方法によって達成される。
【００２８】
上述の狙いはさらに、
画像の取得及び変換のための方法であって、
取得レンズにより、画像をローパスフィルタリングする（またはより広くは変換関数を使って変換する）ステップと、
画像センサを使用し、アップサンプリング係数を用いて、前述のローパスフィルタリングされた画像から、第１の解像度を有するアップサンプリングされた画像を生成するステップと、
画像処理回路を用いて、前述のアップサンプリングされた画像を、前述の第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するステップと
を含み、
前述の変換するステップが、前述のレンズの前述のローパスフィルタリングおよび前述のアップサンプリング係数に依拠する、
方法によって達成される。
【００２９】
再構築はレンズの伝達関数およびオーバーサンプリング係数に依拠し、よって、システム全体の最適化および改善された画像品質をもたらす。
【００３０】
この再構築プロセスによって与えられる出力は、典型的にはマルチレベル画像、すなわちグレースケールやカラー画像など、画素ごとに３つ以上のあり得る異なる値を有する画像である。
【００３１】
一実施形態では、アップサンプリングされた画像は、２進のアップサンプリングされた画像を出力するギガピクセル画像センサを用いて生成される。
【００３２】
一実施形態では、センサの量子化器が空間的に変化する構成を含む。例えば１ビット量子化器の場合、センサ上のある画素群が閾値Ｑ１＝１を有し、残りの画素がより高い閾値または様々な異なる閾値を有することができる。
【００３３】
有利には、マルチレベル画像への変換は、最尤推定法を実施する方法および回路によって行われる。
【００３４】
一態様によれば、本発明は、負の対数尤度関数が凸関数であるという発見に基づき、このことは、とりわけ量子化器の閾値Ｑが「１」の場合に当てはまるが、閾値が「１」ではなく、量子化器がマルチレベル測定値Ｂを生成するための複数の閾値を有する場合にも当てはまる。したがって、凸最適化を使用して最適な解決策を実現することができる。
【００３５】
一実施形態では、取得した画像ごとに少なくとも２回の露光を行い、その結果、時間的（temporal）オーバーサンプリングおよび画像ごとに使用されるより多くのサンプルをもたらす。計算上の複雑さを著しく高めることなしに多重露光を使用できるようにする方法について記載する。
【００３６】
一態様によれば、この再構築法は、負の対数尤度関数の勾配、およびベクトルとヘッセ行列との乗算を計算するためのフィルタバンク技法に基づく最大尤度法を使用する。フィルタバンク技法を使用することは高速処理をもたらす。
【００３７】
有利には、計算速度を上げるために、信号および作用素の多相表現または改善された別の表現を使用する。
【００３８】
本発明による方法の重要な利点は、レンズのローパスフィルタリング関数およびギガビジョンセンサのアップサンプリング関数を活用して、およびそれらに依拠して画像を再構築できるようにすることである。
【００３９】
有利には、センサによって出力される測定から画像を再構築することは、ＤＳＰエレメントによって、ＦＰＧＡコンポーネントによって、カメラ内またはコンピュータ内のマイクロプロセッサもしくはマイクロコントローラによって行うことができる。例えばこの方法の中で使用する最尤推定は、この一覧の中の手段によって実行することができ、または他の任意の適切なハードウェアもしくはソフトウェアの手段によって実行することができる。
【００４０】
このために、画像を処理する間の画像確立（image elaboration）プログラムは、カメラのセンサおよびレンズを考慮に入れる。別の実施形態では、再構築をカメラの外部にある画像処理装置、例えばコンピュータが実行する画像処理ソフトウェアや、カメラが出力する画像ファイルを受け取って処理するＩＴ装置によって行う。本発明は、本願に記載の方法を処理システムに実行させるためのコンピュータプログラムを有形かつ永続的に記憶するコンピュータプログラム製品にも関する。
【００４１】
本発明は、例として図面によって示される実施形態の記載により、よりよく理解される。
【図面の簡単な説明】
【００４２】
【図１ａ】カメラの単純化した構造を示す。入射光がレンズによって焦点を合わせられ、画像センサ上に衝突する。その後、画像センサ内の各画素が受け取った光子を電子に変換する。
【図１ｂ】カメラおよび追加の画像処理手段を含む画像取得装置の単純化した構造を示す。
【図２】レンズの点広がり関数の一例を示す。
【図３】レンズのモデルを示す。レンズは、インパルス応答Ｐ（ｘ）を有する線形システムとしてモデル化される。光強度場λ（ｘ）がレンズを通過した結果がλ（ｘ）＊Ｐ（ｘ）である。
【図４】電子の数を量子化し、画素値Ｂｋ，ｋ＝１，２，．．．，Ｋをもたらすために、レベルＱ１，Ｑ２，．．．，ＱＬ−１を有するＬレベルの量子化器を使用する画像センサのモデルを示す。
【図５】本発明のカメラについてのモデルの一例を示す。γ＝［γ１，γ２，．．．，γＪ］Ｔは、ナイキストレートにおける
【数１６】
のサンプルである。Ｎはアップサンプリング係数である。ｇ［ｎ］はローパスフィルタである。
【数１７】
は
【数１８】
のオーバーサンプリングされたサンプルである。Ｂ＝［Ｂ１，Ｂ２，．．．，ＢＫ］Ｔは、量子化された画素値であり、ｂ＝［ｂ１，ｂ２，．．．，ｂＫ］ＴはＢの具現化である。
【数１９】
は
【数２０】
の再構築された値である。
【図６】アップサンプリングおよびローパスフィルタリング作用素Ｇを示す。
【図７】ローパスフィルタリングおよびダウンサンプリングのための作用素ＧＴを示す。
【図８】Ｌ（γ）のヘッセ行列Ｈｖにベクトルｖを掛ける計算の図を示す。ｇ［ｎ］およびｇ［−ｎ］はローパスフィルタである。
【図９】シーケンスｘ［ｋ］（左）およびフィルタｇ［ｋ］（右）の多相表現を示す。
【図１０】１−Ｄ合成信号γの一例を示す。
【図１１】オーバーサンプリング係数Ｎ＝１００、および露光時間τ＝１を用いた、アップサンプリングされ、ローパスフィルタリングされた信号
【数２１】
の一例を示す。
【図１２】閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、および総露光時間τ＝１を用いてカメラによって生成された２進シーケンスの一例を示す。
【図１３】閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、露光回数Ｍ＝１、および露光時間τ＝１を用いた、１−Ｄ合成信号γならびに推定信号
【数２２】
の一例を示す。
【発明を実施するための形態】
【００４３】
発明の可能な実施形態の詳細な説明
表記を単純にするために、１次元（１−Ｄ）センサアレイの特定の事例をより詳しく説明する。あらゆる結果および解説を二次元（２−Ｄ）の事例、またはＮ次元の事例にさえも拡張することができ、Ｎ次元の事例では追加の次元が、例えば三次元画像センサによって、またはカメラのネットワークによって与えられる奥行き（画像センサまでの距離）に相当することができる。さらにこの方法および装置は、写真および／またはビデオ画像などの静止画を処理するために使用することができる。
【００４４】
図１ｂに、画像取得装置の単純化した構造を示す。このシステムは、レンズ１および画素２０を有する画像センサ２を含む、図１ａに関連して記載したのと同様のカメラを含む。レンズおよび画像センサは、多くのコンパクトカメラにあるように一体型とすることができ、またはレフ型カメラにあるように脱着式とすることもできる。レンズは、超薄型カメラを実現するためのレンズアレイとすることができる。一例では、各画素がアバランシェフォトダイオードの周りに構築され、単一の光子検出器として機能する。ＣＭＯＳ画像センサやＣＣＤ画像センサなどの従来の画像センサ、ならびに赤外線センサ、Ｘ線センサ、または電磁信号を受け取るときに電荷を発生させることができる他のセンサも使用することができる。
【００４５】
参照番号２２は、画素の出力をデジタル値に変換するための量子化回路を示す。この量子化器は各画素の一部とすることができ、その場合それらの画素は、露光時間の間に受け取る光子の数に応じたデジタル値、例えば２進値や整数値を直接送り出す。別の実施形態では、量子化回路が、複数の画素によって出力される信号を処理し、量子化するように構成される読出し回路の一部である。単一の画像センサにいくつかの量子化回路を関連させてもよい。
【００４６】
一実施形態では各量子化器が単一の閾値Ｑを有し、その場合、その量子化器によって与えられる出力信号は２進であり、画素によってもたらされる電子の数がこの閾値を上回る場合、出力信号の値は１であり、さもなければ０である。
【００４７】
別の実施形態では、量子化器が、複数のレベルＱ１，Ｑ２，．．．，ＱＬ−１を有するＬレベルの量子化器４であり、レベル間の閾値は等距離でもそうでなくてもよく、量子化器は、Ｋ画素それぞれの階調レベルを示すマルチレベル画素値Ｂｋ，Ｋ＝１，２，．．．，Ｋをもたらす。以下に説明するように、異なる数の閾値を有しかつ／または閾値間の様々な距離を有する様々な量子化器を単一の画像センサに関連させることができる。
【００４８】
図１ｂの参照２３は、１つまたは複数の量子化器２２によって与えられる量子化された画素値Ｂを処理するための処理回路を示す。この処理回路は、マイクロプロセッサ、マイクロコントローラ、デジタル処理回路、ＦＰＧＡ、ａｓｉｃ等の周りに構築することができる。この処理回路はメモリ、例えば処理回路によって実行されるソフトウェア（ｂｉｏｓ）、および処理回路２３によって与えられる処理済み画像を記憶するための、例えばフラッシュメモリなどの半永久メモリ２５に接続される。この処理回路は、以下に記載する再構築法を使用して、画像センサ２２によって与えられる画像信号をより低解像度の画像ファイルに変換するためのプログラムまたは関数を実行する。それらの再構築法は、カメラの外部、例えばパーソナルコンピュータ７、ワークステーション、サーバ、または画像センサがもたらすオーバーサンプリングされたサンプルを受け取って処理することができる他の任意のＩＴシステム内で実行されるプログラムにより、全体的にまたは部分的に実行することもできる。
【００４９】
再構築はレンズの伝達関数および画像センサが使用するオーバーサンプリング係数に依拠するので、再構築を行う処理回路２３はそれらのパラメータを知っておく必要がある。レンズがこの処理回路と一体でない場合、使用されるレンズの種類またはレンズの伝達関数を画像ファイル内のメタデータとして示すことができ、またはユーザが入力することができ、または例えばナレッジデータベースから取得することができ、または事前に知っておくことができる。オーバーサンプリング係数は通常、例えばサンプルの数ｂを求めることによって画像ファイルから取得することができる。
【００５０】
図５は、本発明の装置の別のブロック図である。光強度場γ＝［γ１，γ２，．．．，γＪ］Ｔが、カメラセンサ２により、係数Ｎによって空間的に（および／または時間的に）アップサンプルされ、レンズ１に相当するローパスフィルタｇ［ｎ］によってフィルタリングされ、その結果、
【数２３】
のオーバーサンプリングされたサンプルをもたらす。画像センサの出力部における光強度場
【数２４】
とレンズの前の光強度場γとの間の関係を
【数２５】
と示すことができ、ただしＧ＝［ｇ１，ｇ２，．．．，ｇｋ］Ｔは、図６に示すアップサンプリングおよびローパスフィルタリング作用素を表すＫ×Ｊ行列である。
【００５１】
次いで量子化器２２が、量子化された画素値Ｂを生成する。最後に、カメラ内またはデジタル処理システム内のデジタル処理手段２３が再構築アルゴリズムを実行して、光強度場の推定値
【数２６】
を得る。
【００５２】
再構築の狙いは、光強度場の推定値
【数２７】
を計算することである。本発明の一態様によれば、デジタル処理手段２３が実行する再構築法は、再構築問題を解き、以下のように
【数２８】
を計算するために、最尤推定量（ＭＬＥ）または他の最尤推定手段を使用する。
【数２９】
【００５３】
それらの関係は、以下の発見に基づく。（１）では、λＫが与えられるときの各画素の独立性を使用し、（２）では、対数関数１ｎが最大化問題の解を変えないことを使用し、（３）では、関数を最大化する解が、対応する陰関数の最小化に等しい特性を使用する。
【００５４】
各画素ｋについて、負の対数尤度関数Ｌ（γ）を
【数３０】
として示すことができ、その結果
【数３１】
となる。
【００５５】
たとえ量子化器がマルチレベル量子化器でも、Ｌ（γ）が凸関数であることを論証することができる。論証は付録の中で見ることができる。
【００５６】
空間的オーバーサンプリングに加えて、またはその代わりに、各期間［０，τ］の間にＭ枚の写真を撮ることにより、時間的オーバーサンプリングを行うことも可能である。この例では全ての写真を同じ露光時間
【数３２】
で撮るが、別の露光時間を考えてもよい。
【００５７】
仮に
【数３３】
を画像センサ用の新たなパラメータ関数とした場合、次式
【数３４】
が成立し、これは各露光について同じである。そのようにして、元のパラメータ関数をＭ倍スケールダウンさせる。すると次式
【数３５】
および
【数３６】
が成立する。仮にＢ＝［Ｂｌ，Ｂ２，．．．，ＢＭ］とし、ただしＢｍ，［Ｂｍｌ，Ｂｍ２，．．．，ＢｍＫ］Ｔ、Ｍ＝１，２，．．．，Ｍは、ｍ番目の露光中に出力される画素値であり、Ｂｍｋ，Ｋ＝１，２，．．．,Ｋは、ｍ番目の露光中のｋ番目の画素の画素値である。γを推定するための最尤推定量（ＭＬＥ）は次式の通りである。
【数３７】
【００５８】
したがって推定量は、以下の発見を使用する。（１）では、関係はλｋが与えられるときの各画素の独立性に基づき、（２）では、推定量は１ｎが最大化問題の解を変えないことを使用し、（３）では、推定量は関数を最大化する解が、対応する陰関数を最小化するのに等しい特性を使用する。
【００５９】
したがって先の等式により、次式
【数３８】
が成立し、ただし
【数３９】
は、次式のように負の対数尤度関数である。
【数４０】
【００６０】
仮に
【数４１】
とした場合、次式が成立する。
【数４２】
【００６１】
複数の連続した露光では、単一の露光の場合と同様に
【数４３】
が凸関数であることを論証することができる（付録を参照されたい）。したがって、負の対数尤度関数は凸関数なので、推定量は、例えば内点法、信頼領域法、ニュートン法のような、凸最適化問題を解くための任意の方法を使用することができる。有利には、この方法は、解を見つけるのに必要な計算時間および計算能力を減らすように選択する。
【００６２】
一実施形態では、推定量が、露光が１回の事例において入射光を推定するために、以下の修正されたニュートン法を使用する。当業者は、多重露光の事例にもこの方法を適用することができる。あり得る擬似コードは以下の通りである。
【数４４】
【００６３】
問題は、ヘッセ行列のサイズ∇２Ｌ（γ）が非常に大きく、そのためこの行列の逆を計算するにはかなりの処理能力および処理時間が必要である。一態様によれば、この計算時間を減らすために、本システムは共役勾配法を実行し、∇２Ｌ（γ）-1∇Ｌ（γ）を直接計算するようにプログラムされる。
【００６４】
ニュートン法、内点法、信頼領域法のような凸最適化問題を解くための最も知られている方法では、負の対数尤度関数の勾配を与え、ベクトルとのヘッセ行列の乗算を行う必要がある。
【００６５】
本発明の方法で使用する方法は、負の対数尤度関数Ｌ（γ）の勾配が
【数４５】
であり、Ｌ（γ）のヘッセ行列がＨ＝ＧＴＡＧであるという発見にも基づいており、ただし以下の関係が成立する。
【数４６】
【００６６】
上記の２つの等式の問題点は、アップサンプリング係数が大きい場合、行列Ｇは大きく、それを記憶するために莫大な記憶空間が必要になることである。
【００６７】
しかし、作用素Ｇはレンズおよび画像センサのアップサンプリング部分に相当し、行列全体を記憶する必要はない。アップサンプリングおよびローパスフィルタリング作用素のパラメータ、すなわちアップサンプリング係数Ｎおよびローパスフィルタｇ［ｎ］の係数さえ分かればよい。レンズのローパスフィルタの係数はレンズの記憶域内に記憶し、変換を行う処理手段に伝送することができる。別の実施形態では、それらの係数が処理手段によって事前に知られている。例えば、処理手段は、使用されるレンズの特性を前もって知っている。さらに別の実施形態では、処理手段は、自らが受け取るレンズの種類の識別情報に基づき、それらの特性を取得する。
【００６８】
Ｇ＝ＬＵと示すことができ、ただしＬはローパスフィルタリング作用素を示し、Ｕはアップサンプリング作用素を示す。すると次式が成立し、ＧＴ＝（ＬＵ）Ｔ＝ＵＴＬＴ＝ＤＲ、ただしＤはダウンサンプリング作用素の行列表記法であり、Ｒはローパスフィルタリング作用素の行列表記法である。Ｄのダウンサンプリング係数は、Ｕのアップサンプリング係数に等しい。Ｌのフィルタ係数がｇ［ｎ］の場合、Ｒのフィルタ係数はｇ［−ｎ］である。対称ローパスフィルタの場合、ＬおよびＲのフィルタ係数は同じである。図７は、ローパスフィルタリングおよびダウンサンプリング作用素ＧＴの行列を示す。
【００６９】
【数４７】
の勾配は、まずベクトルＬ
【数４８】
をローパスフィルタリングし、次いでそれを係数Ｎによってダウンサンプリングすることで計算することができる。
【００７０】
負の対数尤度関数のヘッセ行列Ｈ掛けるベクトルｖはＨｖ＝ＧＴ ＡＧｖである。図８は、上記の等式を計算するための図を示す。アップサンプリング係数Ｎを使ってベクトルｖをアップサンプリングし、次いで、フィルタｇ［ｎ］を使用してそれをローパスフィルタリングする。
【００７１】
行列Ａは対角行列なので、ＡとベクトルＧｖとの乗算は、ＡとＧｖとの対角線の要素ごと乗算（elementwise multiplication）に等しい。その後、得たベクトルを処理手段がフィルタｇ［−ｎ］を使ってローパスフィルタリングし、Ｎ倍にダウンサンプリングしてＨｖを得る。
【００７２】
結果として、処理手段は測定されたサンプルから画像信号を再構築することができる。
【００７３】
本発明の一態様によれば、最適化プロセスの速度をさらに上げるために、多相表現を使用してアップサンプリングおよびダウンサンプリング作用素の計算時間を減らすことができる。シーケンスおよびフィルタのために様々な多相表現を定めることができる。
【００７４】
次式に定めるように、１−Ｄシーケンスｘ［ｋ］またはフィルタｇ［ｋ］をＮの多相成分に分解することができる。
【数４９】
【００７５】
図９は、シーケンスｘ［ｋ］（左部）およびフィルタｇ［ｋ］（右部）の多相表現を概略的に示す。次式のように、ｚ領域におけるこの多相表現を計算することもできる。
【数５０】
【００７６】
仮にＹ（ｚ）を、信号ｘ［ｋ］に対してローパスフィルタリングおよびダウンサンプリング作用素を実施する場合の出力であるシーケンスｙ［ｋ］のｚ変換とした場合、次式が得られる。
【数５１】
【００７７】
これは、シーケンスｘ［ｋ］に対して作用素を実施するプロセスが、フィルタおよびシーケンスをＮの多相成分に分解し、シーケンスのｎ番目の多相成分を、対応するフィルタのｎ番目の多相成分とは別にフィルタリングし、フィルタリングした全ての結果を合計してｙ［ｋ］を生成することを意味する。
【００７８】
このプロセスの間、処理手段はダウンサンプリングプロセス中に廃棄されるシーケンス値を計算しないようにし、その結果計算時間を節約することができる。
【００７９】
ｇ［ｋ］をシーケンスに関する多相表現の定義を使って分解する場合、次式が成立する。
【数５２】
そして、ｘ［ｋ］に対してアップサンプリングおよびローパスフィルタリング作用素を実施する出力は以下のように示すことができる。
【数５３】
ここで、Ｙｎ（Ｚ）は、出力シーケンスｙ［ｋ］のｎ番目の多相成分のｚ変換である。
【００８０】
この方法を使用して、処理手段はフィルタ係数とアップサンプリングプロセス中に生成される「０」との乗算を計算しないようにし、それにより速度をＮ倍に上げる。
【００８１】
分析により、１ビット量子化器の事例では、より低い閾値Ｑ１が微光状況において僅かな推定誤りをもたらすが、より高い閾値がより適している光強度が高い領域ではうまく機能しないことも分かった。
【００８２】
適切な閾値の問題に対処するために、一実施形態では、センサの量子化器が空間的に変化する構成を有する。例えば１ビット量子化器を使用する一実施形態では、センサ上の第１の画素群が閾値Ｑ１＝１を有する一方で、他の画素はより高い閾値を有する。同様に、ｎビットの量子化器を有する実施形態では、同じチップの様々な画素に対して複数の異なる閾値を使用することができる。行く行くは、または照明条件に応じて閾値を変えることもできる。
【００８３】
２種類の画素は、所与のパターンに応じて空間的にインタレースさせることができる。この場合、負の対数尤度関数は依然として凸関数であることを示すことができる。したがって、先の全ての技法を使用することができる。
【００８４】
所与のセンサ上の（様々な閾値を有する）様々な種類の画素の構成は、最も優れた信号対雑音比を実現する、最適なパターンおよび様々な閾値の構成を実現するように設計することができる。
【００８５】
最適なパターンを設計するために、以下の方法を使用することができる。画素の総数がＮ、最大閾値がＱｍａｘ、およびａ∈［０，ａｍａｘ］の場合。一例では、画素が２つの異なる閾値Ｑ１１およびＱ１２しか有さず、Ｎ１が閾値Ｑ１１を有する画素の数であり、Ｎ２＝Ｎ−Ｎ１が閾値Ｑ１２を有する画素の数である。問題は、
【数５４】
を最大化することができる最適なＱ１１，Ｑ１２，Ｎ１，Ｎ２は何かということである。これは、
【数５５】
【００８６】
この最適なパターン設計は、センサチップの設計中に１回だけ行い、変数の範囲が広くないので、この最適化問題を解くために徹底探索法を使用することができる。
【００８７】
ここでは２つの閾値がある事例のみを検討するが、複数の閾値またはマルチレベル量子化器を有するより複雑な事例も同じ方法で行うことができる。
【００８８】
単純な例を与える。ａｍａｘ＝１００、Ｑｍａｘ＝９、およびＮ＝１００、Ｍ＝１の場合。上記のアルゴリズムを使用して、最適なパターンは、Ｎ１＝３７画素がＱ１１＝１を有し、Ｎ２＝６３画素がＱ１２＝９を有する。
【００８９】
１Ｄ画像および２Ｄ画像に関する実験結果は、空間的および／または時間的なオーバーサンプリング係数を増すことは、閾値Ｑ１＝１のとき装置および方法の性能を高めることを示している。光強度が大きい場合、小さいＱ１ではセンサが飽和する、すなわち全ての画素値が「１」になる確率が高い。そのため光強度が大きい場合はより大きな閾値Ｑ１が必要である。光強度が小さい場合、大きなＱ１ではセンサが全て「０」の出力を有する確率が高く、このことは低い光強度に対してセンサを敏感でなくする。そのため光強度が小さい場合は小さなＱ１が必要である。Ｑ１＞２が成立する場合、所与のγｊについて最適な（ＮＭ）ｏｐｔが存在する。（ＮＭ）ｏｐｔよりも大きいＮＭは、より劣った性能を有する。
【００９０】
図１０は、１−Ｄ合成信号γの一例を示す。図１１は、オーバーサンプリング係数Ｎ＝１００、および露光時間τ＝１を用いた、アップサンプリングされ、ローパスフィルタリングされた信号λの一例を示す。図１２は、閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、および総露光時間τ＝１を用いてカメラ／画像センサによって生成された２進シーケンスの一例を示す。図１３は、閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、露光回数Ｍ＝１、および露光時間τ＝１を用いた、１−Ｄ合成信号γならびに推定信号
【数５６】
の一例を示す。
【００９１】
上述の方法は、静止カメラもしくはビデオカメラ内、他の画像取得装置内、または適切な画像処理アプリケーションを有するコンピュータやワークステーションが含まれる任意の画像処理装置内の様々なハードウェアおよび／またはソフトウェアコンポーネントなど、これらの操作を実行できるどんな適切な手段によっても実行することができる。
【００９２】
上述の方法および装置は、静止カメラやビデオカメラ、カメラ付き携帯電話、ウェブカメラなどの、消費者向け画像取得システム内で使用することができる。それらの方法および装置は、これだけに限定されないが、高ダイナミックレンジ写真、微光取得（天文学や夜の画像用）、ＤＮＡ画像解析、クロマトグラフィなど、高ダイナミックレンジの静止画像およびビデオ画像を取得するのにとりわけ有用である。
【００９３】
本願に記載した様々な等式および処理ステップは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）、個別部品、またはそれらの任意の組合せによって実行されるソフトウェアによって実行することができる。装置は、レンズを含むカメラ、カメラ内の画像処理装置などの画像取得装置、または別個の装置（別個のコンピュータなど）、または静止画像もしくはビデオ画像を取得／処理するためにコンピュータと組み合わせてもしくは連続して使用されるカメラなど、その２つの間の組合せとすることができる。
【００９４】
本願による方法のどんなステップも、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはその２つの組合せによって実施することができる。したがって本発明は、本明細書に示した操作を実行するためのコンピュータプログラム製品にも関する。ソフトウェアによって実装する場合、記載した諸機能は１つまたは複数の命令としてコンピュータ可読媒体上に記憶することができる。使用することができる記憶媒体の一部の例には、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、他の光ディスク、またはコンピュータ、カメラ、もしくは画像取得装置によってアクセスされ得る任意の入手可能な媒体が含まれる。
【００９５】
付録
【数５７】
連鎖法則を適用することにより、次式を示すことができる。
【数５８】
【００９６】
【数５９】
【数６０】
のヘッセ行列は、Ｈ＝ＧＴＡＧであり、ただし以下の関係が成立する。
【数６１】
証明：
連鎖法則によれば、次式が成立する。
【数６２】
【００９７】
【数６３】
【数６４】
が凸関数であることを証明するには、
【数６５】
のヘッセ行列Ｈが半正定値であることを示せば十分である。ヘッセ行列を見ると、
【数６６】
であることを証明する必要がある。
仮に
【数６７】
とする。
表記を単純にするために、ＰＱを用いて関数ＰＱ（ｘ）を示す。ＰＱの一次導関数は、Ｐ’Ｑ＝ＰＱ−１である。Ｒ’Ｑ＝ＲＱ−１の一次導関数。ＰＱ−ＰＱ−１＝ＲＱ、および
【数６８】
という等式も得られる。
Ｂｋ＝０の場合、次式が成立し、
【数６９】
Ｑ１＝１の場合、
【数７０】
が成立する。
Ｑ１＝２の場合、
【数７１】
となり、
【数７２】
が成立する。
Ｑ１≧３の場合は次式が成立し、
【数７３】
Ｑ≧３の場合、ＲＱ−１ＰＱ−ＲＱＰＱ−１≧０も得られる（２）。
１≦Ｂｋ＝１≦Ｌ−２の場合、次式が成立する。
【数７４】
ここで、Ｑ１＋１はＱ１よりも大きいものとする。
Ｑ１＝１、Ｑ１＋１＝２の場合、次式が成立する。
【数７５】
Ｑ１＝１、Ｑ１＋１≧３の場合、次式が成立する。
【数７６】
等式（２）から、
【数７７】
となることが分かる。
Ｑ１≧２の場合、Ｑ１＋１≧３となり、次式が成立する。
【数７８】
そのため、
【数７９】
となる。
したがって、１≦Ｂｋ＝１≦Ｌ−２が成立し、
Ｂｋ＝Ｌ−１の場合、次式が得られる。
【数８０】
ＱＬ−１＝１の場合、
【数８１】
が成立する。
ＱＬ−１≧２の場合、次式が成立する。
【数８２】
そのため、Ｂｋ＝Ｌ−１の場合、次式が成立する。
【数８３】
上記の内容から、どんなＢｋについても次式が成立するという結論を下すことができる。
【数８４】
そのため、Ｌ（γ）のヘッセ行列は半正定値であり、凸関数である。
【００９８】
【数８５】
【数８６】
の勾配は、次式の通りである。
【数８７】
証明：
連鎖法則によれば、次式が成立する。
【数８８】
【００９９】
【数８９】
【数９０】
のヘッセ行列は次式の通りであり、
【数９１】
ただし以下の関係が成立する。
【数９２】
証明：
連鎖法則によれば、次式が成立する。
【数９３】
【０１００】
【数９４】
【数９５】
が凸関数であることを証明するには、
【数９６】
のヘッセ行列が半正定値であることを示せば十分である。ヘッセ行列を見ると、
【数９７】
であることを証明する必要がある。これは
【数９８】
の証明と同様に証明することができる。
【技術分野】
【０００１】
発明の分野
本発明は、画像の取得及び変換のための方法に関する。本発明は、画像取得装置およびコンピュータプログラム製品にも関する。
【背景技術】
【０００２】
関連技術の説明
図１ａに、カメラまたは他の撮像システムの単純化した構造を示す。カメラは、列またはアレイを成す複数の画素２０を含む画像センサ２の平面上への入射光の焦点を合わせるレンズ１を含む。画像センサ内の各画素２０は光子を集め、その光子をアナログ電気信号に変換し、そのアナログ電気信号はＡ／Ｄ変換器などの量子化器により、例えば１ビット、８ビット、または１２ビットに量子化される。画素に当たる光子の数は、ポアソン過程によりモデル化することができる。量子化器は、画素ごとに設けることができ、または複数の画素によって共用される読出し回路ごとに設けることができる。
【０００３】
画像センサは、所与の露光時間の間の、およびある空間領域にわたる、光強度場の積分関数（integration function）をサンプリングするサンプリング装置とみなすことができる。カメラにおいて最も重要なパラメータの１つは、空間的なサンプリング間隔を決定する、画素のサイズである。
【０００４】
回折限界により、レイリーの基準は、理想的なレンズの最小空間解像度を与える。レンズ１のインパルス応答は、点広がり関数（ＰＳＦ）、図２に示すＰ（ｘ）である。レンズには収差があり、理想的なレンズでさえ回折があるので、点広がり関数はディラックのデルタ関数ではなく、むしろこのレンズはゼロを上回る最小空間解像度を有するローパスフィルタの役割を果たす。
【０００５】
図３に、レンズのモデルを一例として示す。レンズの前の光強度場はλ（ｘ）であり、ｘは空間インデックスを表す。レンズのローパス効果により、レンズの後の光強度場は帯域制限され、λ（ｘ）＊Ｐ（ｘ）に等しい（＊は畳み込み作用素である）。
【０００６】
ＣＭＯＳ技術におけるスケーリング効果のおかげで、消費者向けのカメラおよび他の撮像装置で使用される最先端の画素サイズは、多くの場合レンズの最小空間解像度よりも小さい。この場合、画像センサはオーバーサンプリング装置の役割を果たし、レンズによる帯域制限後の画像信号の帯域幅が必要とするよりも多くのサンプルを生成する。
【０００７】
さらに、いわゆるギガピクセルカメラ（またはギガピクセルデジタルフィルム）も知られており、これらでは大きなオーバーサンプリング係数が使用される。ギガピクセルカメラの画像センサは、対数関数に似た非線形応答を有し、そのような応答はそれらの画像センサを、高ダイナミックレンジシーンを取得するのに非常に適したものにする。さらに、ギガピクセルカメラは通常、画素ごとに単一の光子検出器を有し、このことは、高感度の光子検出機構により微光状態における露光時間を短縮する。映像や写真、または例えば光の代わりにＸ線や他の波長を用いる医用画像を含む一般にどんな種類の画像を撮るためにも、ギガビジョンカメラを使用することができる。
【０００８】
通常、ギガピクセルカメラ内の画素は、各画素の出力を２進値（黒または白）に変換するための１ビット量子化器を有する。したがって、ギガピクセルセンサによる画像出力は、非常に高い空間解像度を有するが、画素ごとに２つのレベルだけ、例えば２つの階調レベルしか有さない。その結果、ギガピクセルセンサの高解像度の２進出力を、より低い解像度だがより多くの階調レベルを有する画像信号に変換するための処理回路が必要である。
【０００９】
一態様によれば、このようなわけで本発明は画像変換に関し、具体的にはオーバーサンプリングされたデジタル信号に基づくマルチレベル画像の推定値を再構築するための方法に関する。一部の実施形態では、本発明は、高解像度の２値画像信号をより低い解像度のマルチレベル信号に変換することに関する。別の実施形態では、本発明は、マルチレベル画像信号を各画素または一部の画素において異なる数のレベルを有しかつ／または異なる解像度を有する、別の信号に変換することにも関する。どんな画像センサによる１Ｄ、２Ｄ、またはＮ−Ｄ画像信号出力を変換するためにも、全ての実施形態を使用することができる。
【００１０】
図４は、画像センサ２を概略的に示す。このセンサの働きは、レンズ１を通過する入射光をサンプリングすることである。ｋ番目の画素によって生成される電子の数Ｓｋは、この画素に衝突する光子の数によって決まる。例えば画素の量子効率が「１」の場合、画素２０が生成する電子の数は、この画素が受け取る光子の数に等しい。
【００１１】
露光時間τの間、および画素幅Δｘでは、ｋ番目の画素によって生成される電子の数Ｓｋは、パラメータ
【数１】
を伴うポアソン分布に従い、
これは、露光時間の間に画素が生成する電子の平均数である。この分布は以下のように表すことができる。
【数２】
【００１２】
図４に示すように、画像センサ２によって与えられる値は、カーネル関数ｆ（ｘ）によるレンズの後の信号λ（ｘ）＊Ｐ（ｘ）の畳み込みと、その後に続く、
【数３】
における、その結果生じる関数
【数４】
のサンプリングである。次いで、量子化器を使用して電子の数を量子化し、以下の通り同じくランダム変数である画素値Ｂｋをもたらす。
【数５】
【００１３】
ｋ番目の画素の開始位置はｘｋ−１であり、終了位置はｘｋである。したがって、画素が受ける光の推定値
【数６】
は、次式の通りである。
【数７】
【００１４】
量子化した後、画像センサ２は１組の数値Ｂ＝［Ｂ１，Ｂ２，．．．，ＢＫ］Ｔをもたらし、ｂ＝［ｂ１，ｂ２，．．．，ｂＫ］Ｔは、ランダム変数Ｂの具現化（realization）である。
【００１５】
したがって本発明の１つの狙いは、それらの量子化した画素値を所与として、光強度場
【数８】
の推定値をもたらすことである。
【００１６】
具体的には、本発明の狙いは、オーバーサンプリング画像センサ、すなわち
【数９】
のナイキストレートよりも大きい空間周波数および／または時間周波数を有する画像センサの出力に基づいて光強度場
【数１０】
を取得することである。
【００１７】
ギガピクセルセンサの特別なケースでは、本発明の狙いは、センサによる２進のより高解像度の画像出力を使用して、（階調レベルを有する）従来の画像を再構築することである。
【００１８】
ギガピクセルカメラなどのオーバーサンプリングカメラによってとられる量子化された測定から画像を再構築するための再構築法は従来技術で知られている。例えば、ブロック内で隣接する画素によって与えられる信号を追加し、または平均することが知られている。ギガピクセルカメラの場合、例えば隣接する画素のブロック内で２進値Ｂを合計することにより、階調レベルを示す多値信号を生成することが提案されている。画像センサの出力をローパスフィルタリングし、ダウンサンプルすることに基づく他の方法も知られている。この処理は画像センサの読出し回路内で通常行われ、またはカメラ内もしくはコンピュータ内の任意のデジタル画像処理システム、または捕捉画像を受け取って処理する他の処理システムによって行うことができる。
【００１９】
この従来技術による手法の問題点は、ローパスフィルタリングおよびダウンサンプリングによる画像再構築の性能が悪く、または少なくとも最適ではないことである。
【００２０】
従来技術の画像センサにおける１つの難点は、レベルを区別するために量子化器が用いる閾値Ｑ１を決定することである。例えば光強度が高い場合、閾値Ｑ１が大きいギガピクセルカメラは、閾値が小さいギガピクセルカメラよりもうまく機能する。光強度が低い場合、閾値Ｑ１が小さいギガビジョンカメラは、閾値が大きいギガビジョンカメラよりもうまく機能する。マルチレベル画像を生成する画像センサにも同じ困難が当てはまる。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
したがって、より優れた画像品質を提供し、画像センサが生成する量子化値に基づいて入射光場のより優れた推定値をもたらす、改善された画像取得および再構築の方法および装置が求められている。
【００２２】
カメラによってとられる量子化された測定から画像を再構築するための再構築アルゴリズムの速度を改善することも求められている。
【００２３】
多重露光の下で画像を捕捉する際に、または大量の空間的オーバーサンプリングに伴って計算の複雑さが著しく高まることがない再構築法も求められている。
【課題を解決するための手段】
【００２４】
本発明の再構築の方法および装置は、サンプリング理論の新規使用に部分的に基づく。この理論は、推定光強度場
【数１１】
を、ナイキストレートにおけるサンプル
γｊ，Ｊ＝１，２，．．．，Ｊから完璧に再構築できることを次式の通り知らせ、
【数１２】
ただし
γｊ，Ｊ＝１，２，．．．，Ｊはナイキストレートにおける推定光強度場
【数１３】
のサンプルであり、φ（ｘ）はカーネル関数であり、Ｘｊはｊ番目の画素のサンプリング位置である。オーバーサンプリングレートは、
【数１４】
である。
【００２５】
サンプリング位置ｘｋ，Ｋ＝１，２，．．．，Ｋを考慮に入れ、先の式を以下のようにデジタル形式で示すことができる。
【数１５】
【００２６】
画素サイズΔｘがＮ倍に変わる場合、カーネル関数をこの倍率だけ変えればよいという仮定に基づき、上記の等式では記号「≒」を使用するが、それはカーネル関数が多くの場合理想的なものではなく近似に過ぎないからである。
【００２７】
したがって本発明の一態様によれば、上述の狙いは、従来技術のように画像信号の変換が単に一連のローパスフィルタリング操作およびダウンサンプリング操作ではなく、むしろこの変換をデジタルサンプル値から信号を再構築すること、例えばナイキストレートを上回るサンプリングレートでとるデジタル値から信号を再構築することであって、光学系および電子システム全体の特性、とりわけレンズの特性を考慮に入れる、再構築することとみなす方法によって達成される。
【００２８】
上述の狙いはさらに、
画像の取得及び変換のための方法であって、
取得レンズにより、画像をローパスフィルタリングする（またはより広くは変換関数を使って変換する）ステップと、
画像センサを使用し、アップサンプリング係数を用いて、前述のローパスフィルタリングされた画像から、第１の解像度を有するアップサンプリングされた画像を生成するステップと、
画像処理回路を用いて、前述のアップサンプリングされた画像を、前述の第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するステップと
を含み、
前述の変換するステップが、前述のレンズの前述のローパスフィルタリングおよび前述のアップサンプリング係数に依拠する、
方法によって達成される。
【００２９】
再構築はレンズの伝達関数およびオーバーサンプリング係数に依拠し、よって、システム全体の最適化および改善された画像品質をもたらす。
【００３０】
この再構築プロセスによって与えられる出力は、典型的にはマルチレベル画像、すなわちグレースケールやカラー画像など、画素ごとに３つ以上のあり得る異なる値を有する画像である。
【００３１】
一実施形態では、アップサンプリングされた画像は、２進のアップサンプリングされた画像を出力するギガピクセル画像センサを用いて生成される。
【００３２】
一実施形態では、センサの量子化器が空間的に変化する構成を含む。例えば１ビット量子化器の場合、センサ上のある画素群が閾値Ｑ１＝１を有し、残りの画素がより高い閾値または様々な異なる閾値を有することができる。
【００３３】
有利には、マルチレベル画像への変換は、最尤推定法を実施する方法および回路によって行われる。
【００３４】
一態様によれば、本発明は、負の対数尤度関数が凸関数であるという発見に基づき、このことは、とりわけ量子化器の閾値Ｑが「１」の場合に当てはまるが、閾値が「１」ではなく、量子化器がマルチレベル測定値Ｂを生成するための複数の閾値を有する場合にも当てはまる。したがって、凸最適化を使用して最適な解決策を実現することができる。
【００３５】
一実施形態では、取得した画像ごとに少なくとも２回の露光を行い、その結果、時間的（temporal）オーバーサンプリングおよび画像ごとに使用されるより多くのサンプルをもたらす。計算上の複雑さを著しく高めることなしに多重露光を使用できるようにする方法について記載する。
【００３６】
一態様によれば、この再構築法は、負の対数尤度関数の勾配、およびベクトルとヘッセ行列との乗算を計算するためのフィルタバンク技法に基づく最大尤度法を使用する。フィルタバンク技法を使用することは高速処理をもたらす。
【００３７】
有利には、計算速度を上げるために、信号および作用素の多相表現または改善された別の表現を使用する。
【００３８】
本発明による方法の重要な利点は、レンズのローパスフィルタリング関数およびギガビジョンセンサのアップサンプリング関数を活用して、およびそれらに依拠して画像を再構築できるようにすることである。
【００３９】
有利には、センサによって出力される測定から画像を再構築することは、ＤＳＰエレメントによって、ＦＰＧＡコンポーネントによって、カメラ内またはコンピュータ内のマイクロプロセッサもしくはマイクロコントローラによって行うことができる。例えばこの方法の中で使用する最尤推定は、この一覧の中の手段によって実行することができ、または他の任意の適切なハードウェアもしくはソフトウェアの手段によって実行することができる。
【００４０】
このために、画像を処理する間の画像確立（image elaboration）プログラムは、カメラのセンサおよびレンズを考慮に入れる。別の実施形態では、再構築をカメラの外部にある画像処理装置、例えばコンピュータが実行する画像処理ソフトウェアや、カメラが出力する画像ファイルを受け取って処理するＩＴ装置によって行う。本発明は、本願に記載の方法を処理システムに実行させるためのコンピュータプログラムを有形かつ永続的に記憶するコンピュータプログラム製品にも関する。
【００４１】
本発明は、例として図面によって示される実施形態の記載により、よりよく理解される。
【図面の簡単な説明】
【００４２】
【図１ａ】カメラの単純化した構造を示す。入射光がレンズによって焦点を合わせられ、画像センサ上に衝突する。その後、画像センサ内の各画素が受け取った光子を電子に変換する。
【図１ｂ】カメラおよび追加の画像処理手段を含む画像取得装置の単純化した構造を示す。
【図２】レンズの点広がり関数の一例を示す。
【図３】レンズのモデルを示す。レンズは、インパルス応答Ｐ（ｘ）を有する線形システムとしてモデル化される。光強度場λ（ｘ）がレンズを通過した結果がλ（ｘ）＊Ｐ（ｘ）である。
【図４】電子の数を量子化し、画素値Ｂｋ，ｋ＝１，２，．．．，Ｋをもたらすために、レベルＱ１，Ｑ２，．．．，ＱＬ−１を有するＬレベルの量子化器を使用する画像センサのモデルを示す。
【図５】本発明のカメラについてのモデルの一例を示す。γ＝［γ１，γ２，．．．，γＪ］Ｔは、ナイキストレートにおける
【数１６】
のサンプルである。Ｎはアップサンプリング係数である。ｇ［ｎ］はローパスフィルタである。
【数１７】
は
【数１８】
のオーバーサンプリングされたサンプルである。Ｂ＝［Ｂ１，Ｂ２，．．．，ＢＫ］Ｔは、量子化された画素値であり、ｂ＝［ｂ１，ｂ２，．．．，ｂＫ］ＴはＢの具現化である。
【数１９】
は
【数２０】
の再構築された値である。
【図６】アップサンプリングおよびローパスフィルタリング作用素Ｇを示す。
【図７】ローパスフィルタリングおよびダウンサンプリングのための作用素ＧＴを示す。
【図８】Ｌ（γ）のヘッセ行列Ｈｖにベクトルｖを掛ける計算の図を示す。ｇ［ｎ］およびｇ［−ｎ］はローパスフィルタである。
【図９】シーケンスｘ［ｋ］（左）およびフィルタｇ［ｋ］（右）の多相表現を示す。
【図１０】１−Ｄ合成信号γの一例を示す。
【図１１】オーバーサンプリング係数Ｎ＝１００、および露光時間τ＝１を用いた、アップサンプリングされ、ローパスフィルタリングされた信号
【数２１】
の一例を示す。
【図１２】閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、および総露光時間τ＝１を用いてカメラによって生成された２進シーケンスの一例を示す。
【図１３】閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、露光回数Ｍ＝１、および露光時間τ＝１を用いた、１−Ｄ合成信号γならびに推定信号
【数２２】
の一例を示す。
【発明を実施するための形態】
【００４３】
発明の可能な実施形態の詳細な説明
表記を単純にするために、１次元（１−Ｄ）センサアレイの特定の事例をより詳しく説明する。あらゆる結果および解説を二次元（２−Ｄ）の事例、またはＮ次元の事例にさえも拡張することができ、Ｎ次元の事例では追加の次元が、例えば三次元画像センサによって、またはカメラのネットワークによって与えられる奥行き（画像センサまでの距離）に相当することができる。さらにこの方法および装置は、写真および／またはビデオ画像などの静止画を処理するために使用することができる。
【００４４】
図１ｂに、画像取得装置の単純化した構造を示す。このシステムは、レンズ１および画素２０を有する画像センサ２を含む、図１ａに関連して記載したのと同様のカメラを含む。レンズおよび画像センサは、多くのコンパクトカメラにあるように一体型とすることができ、またはレフ型カメラにあるように脱着式とすることもできる。レンズは、超薄型カメラを実現するためのレンズアレイとすることができる。一例では、各画素がアバランシェフォトダイオードの周りに構築され、単一の光子検出器として機能する。ＣＭＯＳ画像センサやＣＣＤ画像センサなどの従来の画像センサ、ならびに赤外線センサ、Ｘ線センサ、または電磁信号を受け取るときに電荷を発生させることができる他のセンサも使用することができる。
【００４５】
参照番号２２は、画素の出力をデジタル値に変換するための量子化回路を示す。この量子化器は各画素の一部とすることができ、その場合それらの画素は、露光時間の間に受け取る光子の数に応じたデジタル値、例えば２進値や整数値を直接送り出す。別の実施形態では、量子化回路が、複数の画素によって出力される信号を処理し、量子化するように構成される読出し回路の一部である。単一の画像センサにいくつかの量子化回路を関連させてもよい。
【００４６】
一実施形態では各量子化器が単一の閾値Ｑを有し、その場合、その量子化器によって与えられる出力信号は２進であり、画素によってもたらされる電子の数がこの閾値を上回る場合、出力信号の値は１であり、さもなければ０である。
【００４７】
別の実施形態では、量子化器が、複数のレベルＱ１，Ｑ２，．．．，ＱＬ−１を有するＬレベルの量子化器４であり、レベル間の閾値は等距離でもそうでなくてもよく、量子化器は、Ｋ画素それぞれの階調レベルを示すマルチレベル画素値Ｂｋ，Ｋ＝１，２，．．．，Ｋをもたらす。以下に説明するように、異なる数の閾値を有しかつ／または閾値間の様々な距離を有する様々な量子化器を単一の画像センサに関連させることができる。
【００４８】
図１ｂの参照２３は、１つまたは複数の量子化器２２によって与えられる量子化された画素値Ｂを処理するための処理回路を示す。この処理回路は、マイクロプロセッサ、マイクロコントローラ、デジタル処理回路、ＦＰＧＡ、ａｓｉｃ等の周りに構築することができる。この処理回路はメモリ、例えば処理回路によって実行されるソフトウェア（ｂｉｏｓ）、および処理回路２３によって与えられる処理済み画像を記憶するための、例えばフラッシュメモリなどの半永久メモリ２５に接続される。この処理回路は、以下に記載する再構築法を使用して、画像センサ２２によって与えられる画像信号をより低解像度の画像ファイルに変換するためのプログラムまたは関数を実行する。それらの再構築法は、カメラの外部、例えばパーソナルコンピュータ７、ワークステーション、サーバ、または画像センサがもたらすオーバーサンプリングされたサンプルを受け取って処理することができる他の任意のＩＴシステム内で実行されるプログラムにより、全体的にまたは部分的に実行することもできる。
【００４９】
再構築はレンズの伝達関数および画像センサが使用するオーバーサンプリング係数に依拠するので、再構築を行う処理回路２３はそれらのパラメータを知っておく必要がある。レンズがこの処理回路と一体でない場合、使用されるレンズの種類またはレンズの伝達関数を画像ファイル内のメタデータとして示すことができ、またはユーザが入力することができ、または例えばナレッジデータベースから取得することができ、または事前に知っておくことができる。オーバーサンプリング係数は通常、例えばサンプルの数ｂを求めることによって画像ファイルから取得することができる。
【００５０】
図５は、本発明の装置の別のブロック図である。光強度場γ＝［γ１，γ２，．．．，γＪ］Ｔが、カメラセンサ２により、係数Ｎによって空間的に（および／または時間的に）アップサンプルされ、レンズ１に相当するローパスフィルタｇ［ｎ］によってフィルタリングされ、その結果、
【数２３】
のオーバーサンプリングされたサンプルをもたらす。画像センサの出力部における光強度場
【数２４】
とレンズの前の光強度場γとの間の関係を
【数２５】
と示すことができ、ただしＧ＝［ｇ１，ｇ２，．．．，ｇｋ］Ｔは、図６に示すアップサンプリングおよびローパスフィルタリング作用素を表すＫ×Ｊ行列である。
【００５１】
次いで量子化器２２が、量子化された画素値Ｂを生成する。最後に、カメラ内またはデジタル処理システム内のデジタル処理手段２３が再構築アルゴリズムを実行して、光強度場の推定値
【数２６】
を得る。
【００５２】
再構築の狙いは、光強度場の推定値
【数２７】
を計算することである。本発明の一態様によれば、デジタル処理手段２３が実行する再構築法は、再構築問題を解き、以下のように
【数２８】
を計算するために、最尤推定量（ＭＬＥ）または他の最尤推定手段を使用する。
【数２９】
【００５３】
それらの関係は、以下の発見に基づく。（１）では、λＫが与えられるときの各画素の独立性を使用し、（２）では、対数関数１ｎが最大化問題の解を変えないことを使用し、（３）では、関数を最大化する解が、対応する陰関数の最小化に等しい特性を使用する。
【００５４】
各画素ｋについて、負の対数尤度関数Ｌ（γ）を
【数３０】
として示すことができ、その結果
【数３１】
となる。
【００５５】
たとえ量子化器がマルチレベル量子化器でも、Ｌ（γ）が凸関数であることを論証することができる。論証は付録の中で見ることができる。
【００５６】
空間的オーバーサンプリングに加えて、またはその代わりに、各期間［０，τ］の間にＭ枚の写真を撮ることにより、時間的オーバーサンプリングを行うことも可能である。この例では全ての写真を同じ露光時間
【数３２】
で撮るが、別の露光時間を考えてもよい。
【００５７】
仮に
【数３３】
を画像センサ用の新たなパラメータ関数とした場合、次式
【数３４】
が成立し、これは各露光について同じである。そのようにして、元のパラメータ関数をＭ倍スケールダウンさせる。すると次式
【数３５】
および
【数３６】
が成立する。仮にＢ＝［Ｂｌ，Ｂ２，．．．，ＢＭ］とし、ただしＢｍ，［Ｂｍｌ，Ｂｍ２，．．．，ＢｍＫ］Ｔ、Ｍ＝１，２，．．．，Ｍは、ｍ番目の露光中に出力される画素値であり、Ｂｍｋ，Ｋ＝１，２，．．．,Ｋは、ｍ番目の露光中のｋ番目の画素の画素値である。γを推定するための最尤推定量（ＭＬＥ）は次式の通りである。
【数３７】
【００５８】
したがって推定量は、以下の発見を使用する。（１）では、関係はλｋが与えられるときの各画素の独立性に基づき、（２）では、推定量は１ｎが最大化問題の解を変えないことを使用し、（３）では、推定量は関数を最大化する解が、対応する陰関数を最小化するのに等しい特性を使用する。
【００５９】
したがって先の等式により、次式
【数３８】
が成立し、ただし
【数３９】
は、次式のように負の対数尤度関数である。
【数４０】
【００６０】
仮に
【数４１】
とした場合、次式が成立する。
【数４２】
【００６１】
複数の連続した露光では、単一の露光の場合と同様に
【数４３】
が凸関数であることを論証することができる（付録を参照されたい）。したがって、負の対数尤度関数は凸関数なので、推定量は、例えば内点法、信頼領域法、ニュートン法のような、凸最適化問題を解くための任意の方法を使用することができる。有利には、この方法は、解を見つけるのに必要な計算時間および計算能力を減らすように選択する。
【００６２】
一実施形態では、推定量が、露光が１回の事例において入射光を推定するために、以下の修正されたニュートン法を使用する。当業者は、多重露光の事例にもこの方法を適用することができる。あり得る擬似コードは以下の通りである。
【数４４】
【００６３】
問題は、ヘッセ行列のサイズ∇２Ｌ（γ）が非常に大きく、そのためこの行列の逆を計算するにはかなりの処理能力および処理時間が必要である。一態様によれば、この計算時間を減らすために、本システムは共役勾配法を実行し、∇２Ｌ（γ）-1∇Ｌ（γ）を直接計算するようにプログラムされる。
【００６４】
ニュートン法、内点法、信頼領域法のような凸最適化問題を解くための最も知られている方法では、負の対数尤度関数の勾配を与え、ベクトルとのヘッセ行列の乗算を行う必要がある。
【００６５】
本発明の方法で使用する方法は、負の対数尤度関数Ｌ（γ）の勾配が
【数４５】
であり、Ｌ（γ）のヘッセ行列がＨ＝ＧＴＡＧであるという発見にも基づいており、ただし以下の関係が成立する。
【数４６】
【００６６】
上記の２つの等式の問題点は、アップサンプリング係数が大きい場合、行列Ｇは大きく、それを記憶するために莫大な記憶空間が必要になることである。
【００６７】
しかし、作用素Ｇはレンズおよび画像センサのアップサンプリング部分に相当し、行列全体を記憶する必要はない。アップサンプリングおよびローパスフィルタリング作用素のパラメータ、すなわちアップサンプリング係数Ｎおよびローパスフィルタｇ［ｎ］の係数さえ分かればよい。レンズのローパスフィルタの係数はレンズの記憶域内に記憶し、変換を行う処理手段に伝送することができる。別の実施形態では、それらの係数が処理手段によって事前に知られている。例えば、処理手段は、使用されるレンズの特性を前もって知っている。さらに別の実施形態では、処理手段は、自らが受け取るレンズの種類の識別情報に基づき、それらの特性を取得する。
【００６８】
Ｇ＝ＬＵと示すことができ、ただしＬはローパスフィルタリング作用素を示し、Ｕはアップサンプリング作用素を示す。すると次式が成立し、ＧＴ＝（ＬＵ）Ｔ＝ＵＴＬＴ＝ＤＲ、ただしＤはダウンサンプリング作用素の行列表記法であり、Ｒはローパスフィルタリング作用素の行列表記法である。Ｄのダウンサンプリング係数は、Ｕのアップサンプリング係数に等しい。Ｌのフィルタ係数がｇ［ｎ］の場合、Ｒのフィルタ係数はｇ［−ｎ］である。対称ローパスフィルタの場合、ＬおよびＲのフィルタ係数は同じである。図７は、ローパスフィルタリングおよびダウンサンプリング作用素ＧＴの行列を示す。
【００６９】
【数４７】
の勾配は、まずベクトルＬ
【数４８】
をローパスフィルタリングし、次いでそれを係数Ｎによってダウンサンプリングすることで計算することができる。
【００７０】
負の対数尤度関数のヘッセ行列Ｈ掛けるベクトルｖはＨｖ＝ＧＴ ＡＧｖである。図８は、上記の等式を計算するための図を示す。アップサンプリング係数Ｎを使ってベクトルｖをアップサンプリングし、次いで、フィルタｇ［ｎ］を使用してそれをローパスフィルタリングする。
【００７１】
行列Ａは対角行列なので、ＡとベクトルＧｖとの乗算は、ＡとＧｖとの対角線の要素ごと乗算（elementwise multiplication）に等しい。その後、得たベクトルを処理手段がフィルタｇ［−ｎ］を使ってローパスフィルタリングし、Ｎ倍にダウンサンプリングしてＨｖを得る。
【００７２】
結果として、処理手段は測定されたサンプルから画像信号を再構築することができる。
【００７３】
本発明の一態様によれば、最適化プロセスの速度をさらに上げるために、多相表現を使用してアップサンプリングおよびダウンサンプリング作用素の計算時間を減らすことができる。シーケンスおよびフィルタのために様々な多相表現を定めることができる。
【００７４】
次式に定めるように、１−Ｄシーケンスｘ［ｋ］またはフィルタｇ［ｋ］をＮの多相成分に分解することができる。
【数４９】
【００７５】
図９は、シーケンスｘ［ｋ］（左部）およびフィルタｇ［ｋ］（右部）の多相表現を概略的に示す。次式のように、ｚ領域におけるこの多相表現を計算することもできる。
【数５０】
【００７６】
仮にＹ（ｚ）を、信号ｘ［ｋ］に対してローパスフィルタリングおよびダウンサンプリング作用素を実施する場合の出力であるシーケンスｙ［ｋ］のｚ変換とした場合、次式が得られる。
【数５１】
【００７７】
これは、シーケンスｘ［ｋ］に対して作用素を実施するプロセスが、フィルタおよびシーケンスをＮの多相成分に分解し、シーケンスのｎ番目の多相成分を、対応するフィルタのｎ番目の多相成分とは別にフィルタリングし、フィルタリングした全ての結果を合計してｙ［ｋ］を生成することを意味する。
【００７８】
このプロセスの間、処理手段はダウンサンプリングプロセス中に廃棄されるシーケンス値を計算しないようにし、その結果計算時間を節約することができる。
【００７９】
ｇ［ｋ］をシーケンスに関する多相表現の定義を使って分解する場合、次式が成立する。
【数５２】
そして、ｘ［ｋ］に対してアップサンプリングおよびローパスフィルタリング作用素を実施する出力は以下のように示すことができる。
【数５３】
ここで、Ｙｎ（Ｚ）は、出力シーケンスｙ［ｋ］のｎ番目の多相成分のｚ変換である。
【００８０】
この方法を使用して、処理手段はフィルタ係数とアップサンプリングプロセス中に生成される「０」との乗算を計算しないようにし、それにより速度をＮ倍に上げる。
【００８１】
分析により、１ビット量子化器の事例では、より低い閾値Ｑ１が微光状況において僅かな推定誤りをもたらすが、より高い閾値がより適している光強度が高い領域ではうまく機能しないことも分かった。
【００８２】
適切な閾値の問題に対処するために、一実施形態では、センサの量子化器が空間的に変化する構成を有する。例えば１ビット量子化器を使用する一実施形態では、センサ上の第１の画素群が閾値Ｑ１＝１を有する一方で、他の画素はより高い閾値を有する。同様に、ｎビットの量子化器を有する実施形態では、同じチップの様々な画素に対して複数の異なる閾値を使用することができる。行く行くは、または照明条件に応じて閾値を変えることもできる。
【００８３】
２種類の画素は、所与のパターンに応じて空間的にインタレースさせることができる。この場合、負の対数尤度関数は依然として凸関数であることを示すことができる。したがって、先の全ての技法を使用することができる。
【００８４】
所与のセンサ上の（様々な閾値を有する）様々な種類の画素の構成は、最も優れた信号対雑音比を実現する、最適なパターンおよび様々な閾値の構成を実現するように設計することができる。
【００８５】
最適なパターンを設計するために、以下の方法を使用することができる。画素の総数がＮ、最大閾値がＱｍａｘ、およびａ∈［０，ａｍａｘ］の場合。一例では、画素が２つの異なる閾値Ｑ１１およびＱ１２しか有さず、Ｎ１が閾値Ｑ１１を有する画素の数であり、Ｎ２＝Ｎ−Ｎ１が閾値Ｑ１２を有する画素の数である。問題は、
【数５４】
を最大化することができる最適なＱ１１，Ｑ１２，Ｎ１，Ｎ２は何かということである。これは、
【数５５】
【００８６】
この最適なパターン設計は、センサチップの設計中に１回だけ行い、変数の範囲が広くないので、この最適化問題を解くために徹底探索法を使用することができる。
【００８７】
ここでは２つの閾値がある事例のみを検討するが、複数の閾値またはマルチレベル量子化器を有するより複雑な事例も同じ方法で行うことができる。
【００８８】
単純な例を与える。ａｍａｘ＝１００、Ｑｍａｘ＝９、およびＮ＝１００、Ｍ＝１の場合。上記のアルゴリズムを使用して、最適なパターンは、Ｎ１＝３７画素がＱ１１＝１を有し、Ｎ２＝６３画素がＱ１２＝９を有する。
【００８９】
１Ｄ画像および２Ｄ画像に関する実験結果は、空間的および／または時間的なオーバーサンプリング係数を増すことは、閾値Ｑ１＝１のとき装置および方法の性能を高めることを示している。光強度が大きい場合、小さいＱ１ではセンサが飽和する、すなわち全ての画素値が「１」になる確率が高い。そのため光強度が大きい場合はより大きな閾値Ｑ１が必要である。光強度が小さい場合、大きなＱ１ではセンサが全て「０」の出力を有する確率が高く、このことは低い光強度に対してセンサを敏感でなくする。そのため光強度が小さい場合は小さなＱ１が必要である。Ｑ１＞２が成立する場合、所与のγｊについて最適な（ＮＭ）ｏｐｔが存在する。（ＮＭ）ｏｐｔよりも大きいＮＭは、より劣った性能を有する。
【００９０】
図１０は、１−Ｄ合成信号γの一例を示す。図１１は、オーバーサンプリング係数Ｎ＝１００、および露光時間τ＝１を用いた、アップサンプリングされ、ローパスフィルタリングされた信号λの一例を示す。図１２は、閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、および総露光時間τ＝１を用いてカメラ／画像センサによって生成された２進シーケンスの一例を示す。図１３は、閾値Ｑ１＝１、オーバーサンプリング係数Ｎ＝１００、露光回数Ｍ＝１、および露光時間τ＝１を用いた、１−Ｄ合成信号γならびに推定信号
【数５６】
の一例を示す。
【００９１】
上述の方法は、静止カメラもしくはビデオカメラ内、他の画像取得装置内、または適切な画像処理アプリケーションを有するコンピュータやワークステーションが含まれる任意の画像処理装置内の様々なハードウェアおよび／またはソフトウェアコンポーネントなど、これらの操作を実行できるどんな適切な手段によっても実行することができる。
【００９２】
上述の方法および装置は、静止カメラやビデオカメラ、カメラ付き携帯電話、ウェブカメラなどの、消費者向け画像取得システム内で使用することができる。それらの方法および装置は、これだけに限定されないが、高ダイナミックレンジ写真、微光取得（天文学や夜の画像用）、ＤＮＡ画像解析、クロマトグラフィなど、高ダイナミックレンジの静止画像およびビデオ画像を取得するのにとりわけ有用である。
【００９３】
本願に記載した様々な等式および処理ステップは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）、個別部品、またはそれらの任意の組合せによって実行されるソフトウェアによって実行することができる。装置は、レンズを含むカメラ、カメラ内の画像処理装置などの画像取得装置、または別個の装置（別個のコンピュータなど）、または静止画像もしくはビデオ画像を取得／処理するためにコンピュータと組み合わせてもしくは連続して使用されるカメラなど、その２つの間の組合せとすることができる。
【００９４】
本願による方法のどんなステップも、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはその２つの組合せによって実施することができる。したがって本発明は、本明細書に示した操作を実行するためのコンピュータプログラム製品にも関する。ソフトウェアによって実装する場合、記載した諸機能は１つまたは複数の命令としてコンピュータ可読媒体上に記憶することができる。使用することができる記憶媒体の一部の例には、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、他の光ディスク、またはコンピュータ、カメラ、もしくは画像取得装置によってアクセスされ得る任意の入手可能な媒体が含まれる。
【００９５】
付録
【数５７】
連鎖法則を適用することにより、次式を示すことができる。
【数５８】
【００９６】
【数５９】
【数６０】
のヘッセ行列は、Ｈ＝ＧＴＡＧであり、ただし以下の関係が成立する。
【数６１】
証明：
連鎖法則によれば、次式が成立する。
【数６２】
【００９７】
【数６３】
【数６４】
が凸関数であることを証明するには、
【数６５】
のヘッセ行列Ｈが半正定値であることを示せば十分である。ヘッセ行列を見ると、
【数６６】
であることを証明する必要がある。
仮に
【数６７】
とする。
表記を単純にするために、ＰＱを用いて関数ＰＱ（ｘ）を示す。ＰＱの一次導関数は、Ｐ’Ｑ＝ＰＱ−１である。Ｒ’Ｑ＝ＲＱ−１の一次導関数。ＰＱ−ＰＱ−１＝ＲＱ、および
【数６８】
という等式も得られる。
Ｂｋ＝０の場合、次式が成立し、
【数６９】
Ｑ１＝１の場合、
【数７０】
が成立する。
Ｑ１＝２の場合、
【数７１】
となり、
【数７２】
が成立する。
Ｑ１≧３の場合は次式が成立し、
【数７３】
Ｑ≧３の場合、ＲＱ−１ＰＱ−ＲＱＰＱ−１≧０も得られる（２）。
１≦Ｂｋ＝１≦Ｌ−２の場合、次式が成立する。
【数７４】
ここで、Ｑ１＋１はＱ１よりも大きいものとする。
Ｑ１＝１、Ｑ１＋１＝２の場合、次式が成立する。
【数７５】
Ｑ１＝１、Ｑ１＋１≧３の場合、次式が成立する。
【数７６】
等式（２）から、
【数７７】
となることが分かる。
Ｑ１≧２の場合、Ｑ１＋１≧３となり、次式が成立する。
【数７８】
そのため、
【数７９】
となる。
したがって、１≦Ｂｋ＝１≦Ｌ−２が成立し、
Ｂｋ＝Ｌ−１の場合、次式が得られる。
【数８０】
ＱＬ−１＝１の場合、
【数８１】
が成立する。
ＱＬ−１≧２の場合、次式が成立する。
【数８２】
そのため、Ｂｋ＝Ｌ−１の場合、次式が成立する。
【数８３】
上記の内容から、どんなＢｋについても次式が成立するという結論を下すことができる。
【数８４】
そのため、Ｌ（γ）のヘッセ行列は半正定値であり、凸関数である。
【００９８】
【数８５】
【数８６】
の勾配は、次式の通りである。
【数８７】
証明：
連鎖法則によれば、次式が成立する。
【数８８】
【００９９】
【数８９】
【数９０】
のヘッセ行列は次式の通りであり、
【数９１】
ただし以下の関係が成立する。
【数９２】
証明：
連鎖法則によれば、次式が成立する。
【数９３】
【０１００】
【数９４】
【数９５】
が凸関数であることを証明するには、
【数９６】
のヘッセ行列が半正定値であることを示せば十分である。ヘッセ行列を見ると、
【数９７】
であることを証明する必要がある。これは
【数９８】
の証明と同様に証明することができる。
【特許請求の範囲】
【請求項１】
画像の取得及び変換のための方法であって、
取得レンズにより、画像をローパスフィルタリングするステップと、
画像センサを使用し、アップサンプリング係数を用いて、前記ローパスフィルタリングされた画像から、第１の解像度を有するアップサンプリングされた画像を生成するステップと、
画像処理回路を用いて、前記アップサンプリングされた画像を、前記第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するステップとを含み、
前記変換するステップが、前記レンズの前記ローパスフィルタリングおよび前記アップサンプリング係数に依拠する、
方法。
【請求項２】
前記アップサンプリングされた画像が、２進のアップサンプリングされた画像を出力するギガピクセル画像センサを用いて生成される、請求項１に記載の方法。
【請求項３】
前記変換するステップが、前記ローパスフィルタリングされた画像に基づいて光強度場の推定値
【数１】
を計算するステップを含み、前記推定値を計算するために最尤推定量（ＭＬＥ）が使用される、請求項１に記載の方法。
【請求項４】
前記最尤推定量を計算するために、ニュートン法または修正されたニュートン法を使用するステップを含む、請求項３に記載の方法。
【請求項５】
時間的オーバーサンプリングをもたらす複数の連続した露光から１つの画像を再構築する、請求項３に記載の方法。
【請求項６】
計算速度を上げるために、信号および／または作用素の多相表現を使用する、請求項３に記載の方法。
【請求項７】
共役勾配法を実行するステップを含む、請求項３に記載の方法。
【請求項８】
同じ画像センサ上の、様々な光感度閾値を有する画素を使用するステップを含む、請求項１から７のいずれか１項に記載の方法。
【請求項９】
ローパスフィルタリング関数を有するレンズと、
アップサンプリング係数を使ってアップサンプリングされた画像を生成する、第１の解像度を有する画像センサと、
前記画像を、前記第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するための画像処理回路と
を備え、
前記画像処理回路が、前記レンズの前記ローパスフィルタリング関数および前記アップサンプリング係数に依拠する、
画像取得装置。
【請求項１０】
前記画像センサが、２進のアップサンプリングされた画像を生成するように構成される２進センサである、請求項９に記載の画像取得装置。
【請求項１１】
前記画像処理回路が、前記ローパスフィルタリングされた画像に基づいて光強度場の推定値を計算するように構成され、前記装置が、前記推定値を計算するように構成される最尤推定量（ＭＬＥ）を含む、請求項９に記載の画像取得装置。
【請求項１２】
負の対数尤度関数の勾配、およびベクトルとヘッセ行列との乗算を計算するように構成されるフィルタバンクを含む、請求項１１に記載の画像取得装置。
【請求項１３】
複数の連続した露光から１つの画像を再構築するように構成される、請求項９に記載の画像取得装置。
【請求項１４】
前記装置が静止カメラまたはビデオカメラである、請求項１１に記載の画像取得装置。
【請求項１５】
前記画像センサが、様々な光感度閾値を有する画素のパターンを含む、請求項９に記載の画像取得装置。
【請求項１６】
コンピュータ可読媒体を含む、信号処理のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
画像を第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するために、レンズが取得する前記画像をアップサンプリング係数を用いてアップサンプリングする画像センサが生成する、前記第１の解像度を有するアップサンプリングされた画像を処理するために実行可能な命令を含み、
前記変換するステップが、前記レンズのローパスフィルタリングおよび前記アップサンプリング係数に依拠する、
コンピュータプログラム製品。
【請求項１７】
前記画像処理回路が、最尤推定（ＭＬＥ）法を実施する、請求項１６に記載のコンピュータプログラム製品。
【請求項１８】
取得した画像ごとに少なくとも２回の露光が行われる、請求項１７に記載のコンピュータプログラム製品。
【請求項１９】
前記命令が、カメラ内のプロセッサによって実行可能である、請求項１７に記載のコンピュータプログラム製品。
【請求項２０】
画像センサによってとられる測定から画像を再構築するための方法であって、
オーバーサンプリングされた光強度値を得るために、光強度場を、レンズを使ってフィルタリングし、画像センサを使ってアップサンプリングするステップと、
最尤推定を使用して、前記再構築された画像を生成するために、前記オーバーサンプリングされた光強度値を処理するステップと
を含む、方法。
【請求項２１】
前記処理は、凸最適化問題を解くための高速アルゴリズムを使用するために、前記画像センサの閾値が１に正規化される場合、前記最尤推定の負の対数尤度関数の凸性を活用する、請求項２０に記載の方法。
【請求項２２】
前記画像センサが、２値画像を生成する２値画像センサである、請求項２０に記載の方法。
【請求項２３】
２進測定から画像を再構築するためのシステムであって、
オーバーサンプリングされた光強度値を得るために、サンプリングされた光強度係数値を、アップサンプリング係数を使ってアップサンプリングするための、第１のローパスフィルタおよびアップサンプリング画像センサと、
最尤推定を使用して、前記再構築された画像を生成するために、前記オーバーサンプリングされた光強度値を処理するための回路と
を含む、システム。
【請求項１】
画像の取得及び変換のための方法であって、
取得レンズにより、画像をローパスフィルタリングするステップと、
画像センサを使用し、アップサンプリング係数を用いて、前記ローパスフィルタリングされた画像から、第１の解像度を有するアップサンプリングされた画像を生成するステップと、
画像処理回路を用いて、前記アップサンプリングされた画像を、前記第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するステップとを含み、
前記変換するステップが、前記レンズの前記ローパスフィルタリングおよび前記アップサンプリング係数に依拠する、
方法。
【請求項２】
前記アップサンプリングされた画像が、２進のアップサンプリングされた画像を出力するギガピクセル画像センサを用いて生成される、請求項１に記載の方法。
【請求項３】
前記変換するステップが、前記ローパスフィルタリングされた画像に基づいて光強度場の推定値
【数１】
を計算するステップを含み、前記推定値を計算するために最尤推定量（ＭＬＥ）が使用される、請求項１に記載の方法。
【請求項４】
前記最尤推定量を計算するために、ニュートン法または修正されたニュートン法を使用するステップを含む、請求項３に記載の方法。
【請求項５】
時間的オーバーサンプリングをもたらす複数の連続した露光から１つの画像を再構築する、請求項３に記載の方法。
【請求項６】
計算速度を上げるために、信号および／または作用素の多相表現を使用する、請求項３に記載の方法。
【請求項７】
共役勾配法を実行するステップを含む、請求項３に記載の方法。
【請求項８】
同じ画像センサ上の、様々な光感度閾値を有する画素を使用するステップを含む、請求項１から７のいずれか１項に記載の方法。
【請求項９】
ローパスフィルタリング関数を有するレンズと、
アップサンプリング係数を使ってアップサンプリングされた画像を生成する、第１の解像度を有する画像センサと、
前記画像を、前記第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するための画像処理回路と
を備え、
前記画像処理回路が、前記レンズの前記ローパスフィルタリング関数および前記アップサンプリング係数に依拠する、
画像取得装置。
【請求項１０】
前記画像センサが、２進のアップサンプリングされた画像を生成するように構成される２進センサである、請求項９に記載の画像取得装置。
【請求項１１】
前記画像処理回路が、前記ローパスフィルタリングされた画像に基づいて光強度場の推定値を計算するように構成され、前記装置が、前記推定値を計算するように構成される最尤推定量（ＭＬＥ）を含む、請求項９に記載の画像取得装置。
【請求項１２】
負の対数尤度関数の勾配、およびベクトルとヘッセ行列との乗算を計算するように構成されるフィルタバンクを含む、請求項１１に記載の画像取得装置。
【請求項１３】
複数の連続した露光から１つの画像を再構築するように構成される、請求項９に記載の画像取得装置。
【請求項１４】
前記装置が静止カメラまたはビデオカメラである、請求項１１に記載の画像取得装置。
【請求項１５】
前記画像センサが、様々な光感度閾値を有する画素のパターンを含む、請求項９に記載の画像取得装置。
【請求項１６】
コンピュータ可読媒体を含む、信号処理のためのコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
画像を第１の解像度よりも低い第２の解像度を有するマルチレベル画像に変換するために、レンズが取得する前記画像をアップサンプリング係数を用いてアップサンプリングする画像センサが生成する、前記第１の解像度を有するアップサンプリングされた画像を処理するために実行可能な命令を含み、
前記変換するステップが、前記レンズのローパスフィルタリングおよび前記アップサンプリング係数に依拠する、
コンピュータプログラム製品。
【請求項１７】
前記画像処理回路が、最尤推定（ＭＬＥ）法を実施する、請求項１６に記載のコンピュータプログラム製品。
【請求項１８】
取得した画像ごとに少なくとも２回の露光が行われる、請求項１７に記載のコンピュータプログラム製品。
【請求項１９】
前記命令が、カメラ内のプロセッサによって実行可能である、請求項１７に記載のコンピュータプログラム製品。
【請求項２０】
画像センサによってとられる測定から画像を再構築するための方法であって、
オーバーサンプリングされた光強度値を得るために、光強度場を、レンズを使ってフィルタリングし、画像センサを使ってアップサンプリングするステップと、
最尤推定を使用して、前記再構築された画像を生成するために、前記オーバーサンプリングされた光強度値を処理するステップと
を含む、方法。
【請求項２１】
前記処理は、凸最適化問題を解くための高速アルゴリズムを使用するために、前記画像センサの閾値が１に正規化される場合、前記最尤推定の負の対数尤度関数の凸性を活用する、請求項２０に記載の方法。
【請求項２２】
前記画像センサが、２値画像を生成する２値画像センサである、請求項２０に記載の方法。
【請求項２３】
２進測定から画像を再構築するためのシステムであって、
オーバーサンプリングされた光強度値を得るために、サンプリングされた光強度係数値を、アップサンプリング係数を使ってアップサンプリングするための、第１のローパスフィルタおよびアップサンプリング画像センサと、
最尤推定を使用して、前記再構築された画像を生成するために、前記オーバーサンプリングされた光強度値を処理するための回路と
を含む、システム。
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１３−５１７７２８（Ｐ２０１３−５１７７２８Ａ）
【公表日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−５４９３５０（Ｐ２０１２−５４９３５０）
【出願日】平成２３年１月１９日（２０１１．１．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５０７１０
【国際公開番号】ＷＯ２０１１／０８９１６５
【国際公開日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（５０１０５５９６１）ラムバス・インコーポレーテッド (89)
【Ｆターム（参考）】
【公表日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１月１９日（２０１１．１．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５０７１０
【国際公開番号】ＷＯ２０１１／０８９１６５
【国際公開日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（５０１０５５９６１）ラムバス・インコーポレーテッド (89)
【Ｆターム（参考）】
[ Back to top ]