シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ
【課題】移動物体から取得された画像の動きぶれの影響を除去する。各画像の点像分布関数（ＰＳＦ）がぶれに起因して反転不能であっても、画像のセットにおける動きぶれを反転する。
【解決手段】まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。
【解決手段】まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像処理に関し、より詳細には、移動物体から取得された画像の動きぶれの影響を除去することに関する。
【背景技術】
【０００２】
動きぶれは、画像が取得されている間のカメラとシーンとの間の相対的な動きに起因して生じる。その動きが少なくとも局所的にシフト不変であり、且つ、ぶれを引き起こした、点像分布関数（ＰＳＦ）としても知られているぶれ関数が判明している場合には、動きぶれのある画像は、画像逆畳み込みによって、喪失した空間周波数に至るまで復元することができる。
【０００３】
反転可能な（invertible：可逆的な）動きＰＳＦを保持することは、従来の画像では可能ではない。有限の露出時間によるボックス関数は、ローパスフィルタを有する畳み込みに対応し、したがって、ＰＳＦの周波数変換はゼロ（ヌル）を含む。ＰＳＦのヌルに対応する周波数は失われ、これによって、ぶれ補正は効果がなくなる。従来の方法は、特殊化されたカメラを使用してＰＳＦを求める。
【０００４】
例えば、１つの従来の方法は、広帯域バイナリコードを使用して、露出時間の間シャッタを開閉する。広帯域コードには、周波数領域にヌルがなく、それにより、その結果生成されるＰＳＦは反転可能となる。しかしながら、その方法は、特殊化されたハードウェアを必要とし、一定背景を前提としており、また、手動によるＰＳＦ推定及び物体セグメンテーションを必要とする。
【０００５】
動き不変画像化手法（motion invariant imaging method）は、画像を取得しながら一定の加速度でカメラを移動させる。キーとなるアイデアは、一定の範囲内で動きＰＳＦを物体の速度に対して不変とすることである。これによって、セグメンテーション及びＰＳＦ推定が不要になる。しかしながら、その方法では、動きの方向を事前に知っている必要があり、遮蔽背景（occluding background）に起因して物体境界にアーティファクトが作成され、シーンの静止部分にもぶれが危うく導入される。
【０００６】
波面符号化方法は、レンズの前に立方相板を使用して、ＰＳＦをシーンの深さに対して不変とする。しかしながら、その方法の結果、当初焦点が合っていたシーンの部分に焦点ずれのぶれが生じることになる。
【０００７】
別の方法は、広帯域バイナリ符号でカメラのシャッタを開閉して、ＰＳＦを反転可能にする。カメラの動きを加速することにより、静止部分にぶれが生じるという代償を払って、動きＰＳＦは物体の速度に対して不変となる。
【０００８】
従来の民生用カメラは、慣性センサによって制御された適応光学素子を使用して画像安定化を行い、カメラの動きを補償する。
【０００９】
ハイブリッドカメラは、補助低解像度高フレームレートを使用してＰＳＦを推定するハイブリッド画像化システムを使用して、高解像度１次センサ画像のぶれを補正する。しかしながら、その方法は、ＰＳＦ推定用の補助カメラを必要とする。
【００１０】
動きＰＳＦは、ＰＳＦ推定用の短い露出及び推定されたＰＳＦを使用した画像ぶれ補正用の長い露出の２つの異なる露出を有する連続画像からの部分情報を組み合わせることによって推定されていた。しかしながら、短い露出で画像を取得するには、特殊なカメラが必要とされる。
【００１１】
重なり合った露出時間及び再構成可能なマルチカメラアレイを有する複数の定位置カメラも、取得画像の時間解像度を増加させるのに使用されてきた。しかしながら、ＰＳＦ反転用に単一の従来のカメラを使用することが望まれている。
【００１２】
したがって、たとえ各画像のＰＳＦがぶれに起因して反転不能であり、画像が単一の従来のカメラによって取得されても、シーンのぶれを補正することが望まれている。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
たとえ各画像の点像分布関数（ＰＳＦ）がぶれに起因して反転不能であっても、画像のセットにおける動きぶれを反転することが、主題発明の目的である。
【課題を解決するための手段】
【００１４】
ぶれのある画像は、ＰＳＦの周波数変換においてヌル（ゼロ）を示し、これによって、逆畳み込みは不良設定になる。この問題を回避するハードウェアの解決法では、符号化露出カメラ又は加速度モーションセンサ等の特殊化されたデバイスを必要とする。従来のビデオカメラが使用され、複数のＰＳＦのヌル充填（null-filling）及びジョイント反転可能性（joint invertability）の考えが導入される。キーとなる実現は、変化するＰＳＦでシーンの画像のセットを取得し、その結果、或る画像の周波数成分におけるヌルを他の画像が充填できるというものである。結合された周波数変換は、ヌルがなく、ぶれ補正を良設定にする。
【００１５】
本発明の実施の形態は、シーンの画像のぶれを低減するための方法を説明する。まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、関連のぶれと、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）とを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に一緒に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態によるマルチ画像ぶれ補正のための方法のブロック図である。
【図２】本発明の実施の形態による不良設定の点像分布関数（ＰＳＦ）の模式図である。
【図３】本発明の実施の形態によるＰＳＦヌル充填の模式図である。
【図４】本発明の実施の形態による単一画像ぶれ補正のブロック図である。
【図５】本発明の実施の形態によるマルチ画像ぶれ補正のための結合線形システムのブロック図である。
【図６】本発明の実施の形態による自動ぶれ補正のための方法のブロック図である。
【発明を実施するための形態】
【００１７】
図１は、本発明の実施の形態によるシーンの画像のセット１１０のマルチ画像ぶれ補正の方法１００を示す。各画像１１１〜１１３は、点像分布関数（ＰＳＦ）１２１〜１２３のセット１２０に関連付けられたぶれを有する物体を含む。この方法は、ＰＳＦのセットを使用して画像のセットを一緒に反転し（１４０）、ぶれが低減された出力画像１５０を生成する。この方法のステップは、プロセッサ１０１によって実行される。
【００１８】
画像１１０は、ＰＳＦのセットがヌル充填演算１３０に適合するようなカメラによって取得される。適合性は、異なる露出時間で画像を取得することによって達成される。
【００１９】
例えば、一実施の形態では、第１の画像１１１が、第１の露出時間で取得され、第２の画像１１２が、第１の露出時間の整数倍でない第２の露出時間で取得される。いくつかの実施の形態では、自動段階露出（ＡＥＢ）を有する従来のカメラを使用する。ＡＥＢによって、カメラは、異なる露出で一連の画像を撮影することが可能になる。
【００２０】
図２に示すように、従来の露出を有するカメラによって取得された単一の画像１１１について、動きＰＳＦはボックスフィルタ２２０である。ＰＳＦの離散フーリエ変換（ＤＦＴ）２３０は、カーディナルサイン（ｓｉｎｃ）関数２４０である。カーディナルサイン（ｓｉｎｃ）関数２４０は、ゼロ２５０を含み、したがって、ぶれ補正を不良設定にする。ＰＳＦのセット１２０は、第１のＰＳＦ１２１及び第２のＰＳＦ１２２を含む。特定の周波数２５０における第１のＰＳＦの値はゼロに等しい。特定の周波数における第２のＰＳＦの値は、ゼロに等しくない。
【００２１】
本発明の実施の形態は、ＰＳＦヌル充填の新規な概念を使用する。図３は、異なる露出時間３２０で取得された複数の画像１１０を結合することによって、各個々のＰＳＦのヌル３３０が他のＰＳＦからのデータで充填されることを示す。したがって、結合されたＰＳＦ３４０は、ぶれ補正１４０を良条件にする。
【００２２】
反転不能ＰＳＦのジョイント反転可能性
ｆを、物体を含むシーンの鮮明な画像を表すものとする。物体のＮ個のぶれのある画像ｉｋを撮影する。各画像ｉｋは、ＰＳＦのセットを形成する異なるＰＳＦ ｈｋを有する。
【００２３】
【数１】
【００２４】
ここで、＊は畳み込み演算子であり、ｎｋは、分散σ２ｋを有するゼロ平均加法的白色ガウス雑音である。Ｔｋを、ｋ番目の画像の露出時間とする。量のフーリエ変換を、大文字を使用して表すことにする。ｗを周波数とすると、画像Ｉ（ｗ）のフーリエ変換Ｆ（ｗ）は、
【００２５】
【数２】
【００２６】
である。
【００２７】
１次元の物体の動きが、等速でセンサ面に対して平行である場合、ＰＳＦのそれぞれは、ボックスフィルタの長さ２２５が露出時間Ｔｋに比例するボックスフィルタ２２０に対応する。ｒｋを、ｋ番目のフレームにおけるぶれのサイズとする。このとき、
【００２８】
【数３】
【００２９】
である。
【００３０】
あらゆる個々の画像の単一画像ぶれ補正（ＳＩＤ）は、
【００３１】
【数４】
【００３２】
である。ここで、Ｆ（ｗ）は、ぶれ補正された画像のフーリエ変換を表し、
【００３３】
【数５】
【００３４】
は、対応する逆畳み込みフィルタｖｋのフーリエ変換である。
【００３５】
図３は、例えばＮ個の画像１１０を使用するマルチ画像ぶれ補正（ＭＩＤ）のための方法を示す。好ましい実施の形態では、各周波数ｗにおいて、
【００３６】
【数６】
【００３７】
によってぶれ補正された出力画像の雑音電力を最小にすることにより、最適な逆畳み込みフィルタＶｋ（ｗ）が得られる。鮮明な画像を再生するために、
【００３８】
【数７】
【００３９】
であることに留意されたい。
【００４０】
ラグランジュ乗数を使用すると、コスト関数は、
【００４１】
【数８】
【００４２】
であり、したがって、
【００４３】
【数９】
【００４４】
である。
【００４５】
特定の周波数ｗ ３５０においてすべてのＰＳＦ ３３０間で共通のゼロがある場合、その周波数におけるすべてのｋについてＨｋ（ｗ）＝０であり、Ｖ（ｗ）は不安定になる。
【００４６】
ＰＳＦのフーリエ変換において共通のゼロがない場合、各個々の画像で失われた情報は、他の或る画像によって取得される。各個々のＰＳＦにおけるゼロは、他のＰＳＦによって充填される。
【００４７】
このように、ＰＳＦのセットが共通のゼロを有しない場合、たとえ各ＰＳＦが反転不能であっても、結合された逆畳み込みを良設定にすることができる。すなわち、ＰＳＦのセットは、ヌル充填に適合している。
【００４８】
一実施の形態では、ＰＳＦは動きＰＳＦである。しかしながら、他のタイプのＰＳＦが本実施の形態では使用される。動きＰＳＦの場合、これによって、露出時間が互いの整数倍になるべきでないことが必要とされる。
【００４９】
【数１０】
【００５０】
は、結合された逆畳み込みの演算子である。
【００５１】
マルチ画像ぶれ補正
動きぶれを、鮮明な画像によって乗算される動きスミア行列（motion smear matrix）として定式化する。図４に示すように、単一画像ぶれ補正（ＳＩＤ）の場合、画像１１１〜１１３は、動きスミア行列４１１〜４１３に鮮明な画像１５０を乗算することで再生される。しかしながら、動きスミア行列はＰＳＦによって決まるので、ＰＳＦが悪条件である場合、ぶれ補正は満足できるものではない。
【００５２】
図５は、マルチ画像ぶれ補正（ＭＩＤ）の結合線形システムを示す。この結合線形システムでは、行列５１０と画像５２０とを結合する。動きぶれ行列の特異値は、結合ぶれ補正システムＡｃがより良い条件であることを示す。
【００５３】
離散領域における畳み込み式は、各動きラインに対して
【００５４】
【数１１】
【００５５】
である。ここで、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【００５６】
【数１２】
【００５７】
は、ぶれのある物体を記述するベクトルであり、
【００５８】
【数１３】
【００５９】
は、鮮明な物体を記述するベクトルであり、
【００６０】
【数１４】
【００６１】
は、各動きラインに沿った雑音強度を記述するベクトルである。ＳＩＤの場合、ぶれ補正された物体を記述するベクトル
【００６２】
【数１５】
【００６３】
は、コスト関数
【００６４】
【数１６】
【００６５】
を最小にすることによって得られ、その結果、
【００６６】
【数１７】
【００６７】
となる。
【００６８】
同様に、ＭＩＤの場合、結合線形式は、
【００６９】
【数１８】
【００７０】
である。式（９）において、Ａｃは、結合共分散行列（combined covariance matrix）であり、
【００７１】
【数１９】
【００７２】
は、雑音分散である。
【００７３】
いくつかの実施の形態では、推定されたぶれ補正済みベクトル
【００７４】
【数２０】
【００７５】
は、コスト関数
【００７６】
【数２１】
【００７７】
を最小にすることによって
【００７８】
【数２２】
【００７９】
として得られる。
【００８０】
したがって、式（１０）を使用して画像のセット及びＰＳＦのセットを一緒に反転すると、ぶれが低減された出力画像が生成される。
【００８１】
露出シーケンスの最適化
一実施の形態では、結合された演算子Ｐの最小値を最大にする露出時間を検索する。別の実施の形態では、信号依存性雑音を考慮するためにセンサ雑音特性を組み込む。光子によって生成された電子の分散は、測定された信号と共に線形に増加するので、露出時間σ２ｋは、σ２ｇｒａｙ＋βＴｋによって与えられる。ここで、σ２ｇｒａｙは暗雑音であり、βはカメラ依存性定数である。
【００８２】
これらのパラメータを使用すると、ｎｆによって与えられる信号対雑音比（ＳＮＲ）の減少を最小にすることにより、最適な露出シーケンスが得られる。符号化露出の場合、検索空間は、ほぼ２ｎ程度である。ここで、ｎは符号長であり、例えば５２である。ＭＩＤの未知のものの数は、使用される異なる露出時間の数に等しい。通常、ぶれ補正には、３つ又は４つの異なる露出時間で十分であり、したがって、検索は比較的小規模である。
【００８３】
自動ぶれ補正
図６は、自動ぶれ補正方法のブロック図を示す。本発明の実施の形態は、平滑でない背景の前面で移動する物体を有する画像６１０をぶれ補正するためのジョイントＰＳＦ反転可能性を使用する。
【００８４】
ＰＳＦ推定
空間的に不変のぶれの場合、ＰＳＦ推定６２０は、画像空間物体速度ｖと画像毎の露出時間との乗算として表される。物体速度は、画像間の動きベクトルと画像間の時間経過との間の比である。この空間的に不変のぶれの場合、画像間の動きベクトルは、対応する画像パッチを照合することによって計算される。しかしながら、露出時間が異なると、その結果、ぶれのサイズが異なることになり、したがって、照合及びＰＳＦ推定を容易にするために、画像を取得するための露出シーケンスが繰り返される。したがって、画像のセット６１０における画像は、Ｎ個の画像ごとに同じ露出を有する。ここで、Ｎは、使用される異なる露出の数（≒３〜４）である。動きベクトルは、同じ露出を使用して取得された画像を照合することによって計算することができる。異なる露出についての動きベクトルを平均化することによって、ＰＳＦの最終推定値が与えられる。
【００８５】
初期化
ＥＱ ｍ＼ｓ＼ｄｏ５（ｋ）（ｘ＼，ｙ）は、ｋ番目の画像における物体のバイナリマスクであり、Ｔｉはフレーム間時間である。ｂ（ｘ，ｙ）が、物体を伴わない背景画像である場合、取得された動きぶれのある画像ｉｋは、
【００８６】
【数２３】
【００８７】
によって与えられる。
【００８８】
最初に、背景ｂを推定する。いくつかの実施の形態では、物体は、十分高速に移動する。すなわち、各背景ピクセルは、画像の５０％未満において物体により遮蔽される。したがって、時間方向に沿ったメディアンフィルタリングを使用する。低速の移動物体の場合、背景差分を使用して背景ｂが求められる。
【００８９】
ぶれのある画像は、ぶれのある前景及び背景の双方からの寄与を有する。画像ぶれの式（１７）は、アルファマッティング（alpha matting）式の点から
【００９０】
【数２４】
【００９１】
として、記述することができる。ここで、
【００９２】
【数２５】
【００９３】
であり、αｋ＝ｈｋ＊ｍｋである。アルファマップのぶれ補正は、バイナリセグメンテーションマスクｍｋを再生することができる。マッティングは、通常、透明な静止物体に使用され、前景の動きぶれのある物体は、不透明であり、鮮明に合焦されているものと仮定する。したがって、アルファマップは、動きぶれにのみ依存し、マッティング前景は、実際には、ぶれのある物体に対応し、鮮明な物体には対応しない。
【００９４】
初期アルファマップ６３０を計算するために、まず、入力画像ｉｋと背景画像ｂとの間の差分をしきい値処理することによって、画像毎の粗いトライマップ（crude trimap）を生成する。このトライマップは、移動物体の内部の場合は１であり、背景の場合は０であり、ぶれのある領域の場合は不明である。ホール充填（hole-filling）等のモルフォロジー演算を適用して、雑音が低減される。トライマップを使用すると、アルファマッティングは、各フレームに対して独立に実行される。
【００９５】
ぶれのある前景ｆｂｋは、各入力画像からの背景寄与を除去する（６４０）ことによって、
【００９６】
【数２６】
【００９７】
として得られる。
【００９８】
空間的に不変の動きぶれの場合、アルファマップは、各動きラインに沿った勾配であり、雑音を有する。
【００９９】
マルチ画像ぶれ補正（ＭＩＤ）
物体は、連続した画像では異なる位置に現れるので、ぶれのある前景ｆｂｋは、逆畳み込みの前に位置合わせする必要がある。直線的な一定の動きの場合、位置合わせは、画像平面におけるシフトに対応する。物体は物体速度ｖを有するので、ｉ番目の画像と（ｉ＋１）番目の画像との間のシフトはｖ＊Ｔｉである。ぶれのある前景を位置合わせした後、式（１０）を解くことによりＭＩＤ６５０を使用してぶれ補正が実行される。雑音を有するアルファマップに起因して、ぶれのある画像のこの初期推定値は、雑音を有し、エラーのある背景寄与を含む。
【０１００】
精緻化
動きは、実世界のシーンでは一定条件でない場合があるので、前のステップにおける前景レイヤの位置合わせは、わずかにずれている可能性がある。位置合わせミスは、逆畳み込みでエラーを引き起こす。前のステップで得られた、ぶれ補正された前景ｆを使用して、位置合わせを精緻化する（６６０）。具体的には、ブラーカーネル（blur kernel）ｈｋを使用して鮮明な前景ｆにぶれを起こし、ぶれのある合成前景とｆｂｋとの間のシフトを検出する。したがって、すべてのぶれのある前景ｆｂｋｓは、鮮明な前景ｆを通じて相関され、正確に位置合わせすることができる。
【０１０１】
セグメンテーションの精緻化
ぶれ補正された前景ｆを使用すると、精緻化されたアルファマップは、
【０１０２】
【数２７】
【０１０３】
として計算される。得られたアルファマップは、次に、同じＭＩＤアルゴリズム及びしきい値を使用してぶれ補正され、物体のバイナリセグメンテーションｍｋが得られる。線形システムは良設定であるので、アルファマップのぶれ補正によって、真の前景セグメンテーションの厳密な解が与えられる。しかしながら、単純なしきい値処理では、セグメンテーションマスクは正確なものとはならず、これを改良する必要がある。
【０１０４】
動きライン毎のセグメンテーションを独立して精緻化する（６７０）。一実施の形態では、例えば０．６５といった控え目なしきい値を使用して、物体のサイズよりも小さな初期セグメンテーションマスクｍ０を得る。各動きラインに対して、同時に各辺で１ピクセル、セグメンテーションマスクを拡大し、最良の推定値を見つける。最良の推定値は、結合コスト関数
【０１０５】
【数２８】
【０１０６】
を最小にするものである。
【０１０７】
精緻化は、ぶれ領域全体に繰り返され、動きライン毎のエラーを最小にする最良のセグメンテーションが選ばれる。通常、各辺において１０ピクセル内で検索を行い、その結果、拡張は走査ライン毎に１０２＝１００個になる。通常、セグメンテーション及びぶれ補正の質は、最初の繰り返しの後であっても改善する。精緻化は、最終結果を得るために２回又は３回反復される。
【０１０８】
本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るようなこのようなすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。
【技術分野】
【０００１】
本発明は、包括的には、画像処理に関し、より詳細には、移動物体から取得された画像の動きぶれの影響を除去することに関する。
【背景技術】
【０００２】
動きぶれは、画像が取得されている間のカメラとシーンとの間の相対的な動きに起因して生じる。その動きが少なくとも局所的にシフト不変であり、且つ、ぶれを引き起こした、点像分布関数（ＰＳＦ）としても知られているぶれ関数が判明している場合には、動きぶれのある画像は、画像逆畳み込みによって、喪失した空間周波数に至るまで復元することができる。
【０００３】
反転可能な（invertible：可逆的な）動きＰＳＦを保持することは、従来の画像では可能ではない。有限の露出時間によるボックス関数は、ローパスフィルタを有する畳み込みに対応し、したがって、ＰＳＦの周波数変換はゼロ（ヌル）を含む。ＰＳＦのヌルに対応する周波数は失われ、これによって、ぶれ補正は効果がなくなる。従来の方法は、特殊化されたカメラを使用してＰＳＦを求める。
【０００４】
例えば、１つの従来の方法は、広帯域バイナリコードを使用して、露出時間の間シャッタを開閉する。広帯域コードには、周波数領域にヌルがなく、それにより、その結果生成されるＰＳＦは反転可能となる。しかしながら、その方法は、特殊化されたハードウェアを必要とし、一定背景を前提としており、また、手動によるＰＳＦ推定及び物体セグメンテーションを必要とする。
【０００５】
動き不変画像化手法（motion invariant imaging method）は、画像を取得しながら一定の加速度でカメラを移動させる。キーとなるアイデアは、一定の範囲内で動きＰＳＦを物体の速度に対して不変とすることである。これによって、セグメンテーション及びＰＳＦ推定が不要になる。しかしながら、その方法では、動きの方向を事前に知っている必要があり、遮蔽背景（occluding background）に起因して物体境界にアーティファクトが作成され、シーンの静止部分にもぶれが危うく導入される。
【０００６】
波面符号化方法は、レンズの前に立方相板を使用して、ＰＳＦをシーンの深さに対して不変とする。しかしながら、その方法の結果、当初焦点が合っていたシーンの部分に焦点ずれのぶれが生じることになる。
【０００７】
別の方法は、広帯域バイナリ符号でカメラのシャッタを開閉して、ＰＳＦを反転可能にする。カメラの動きを加速することにより、静止部分にぶれが生じるという代償を払って、動きＰＳＦは物体の速度に対して不変となる。
【０００８】
従来の民生用カメラは、慣性センサによって制御された適応光学素子を使用して画像安定化を行い、カメラの動きを補償する。
【０００９】
ハイブリッドカメラは、補助低解像度高フレームレートを使用してＰＳＦを推定するハイブリッド画像化システムを使用して、高解像度１次センサ画像のぶれを補正する。しかしながら、その方法は、ＰＳＦ推定用の補助カメラを必要とする。
【００１０】
動きＰＳＦは、ＰＳＦ推定用の短い露出及び推定されたＰＳＦを使用した画像ぶれ補正用の長い露出の２つの異なる露出を有する連続画像からの部分情報を組み合わせることによって推定されていた。しかしながら、短い露出で画像を取得するには、特殊なカメラが必要とされる。
【００１１】
重なり合った露出時間及び再構成可能なマルチカメラアレイを有する複数の定位置カメラも、取得画像の時間解像度を増加させるのに使用されてきた。しかしながら、ＰＳＦ反転用に単一の従来のカメラを使用することが望まれている。
【００１２】
したがって、たとえ各画像のＰＳＦがぶれに起因して反転不能であり、画像が単一の従来のカメラによって取得されても、シーンのぶれを補正することが望まれている。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
たとえ各画像の点像分布関数（ＰＳＦ）がぶれに起因して反転不能であっても、画像のセットにおける動きぶれを反転することが、主題発明の目的である。
【課題を解決するための手段】
【００１４】
ぶれのある画像は、ＰＳＦの周波数変換においてヌル（ゼロ）を示し、これによって、逆畳み込みは不良設定になる。この問題を回避するハードウェアの解決法では、符号化露出カメラ又は加速度モーションセンサ等の特殊化されたデバイスを必要とする。従来のビデオカメラが使用され、複数のＰＳＦのヌル充填（null-filling）及びジョイント反転可能性（joint invertability）の考えが導入される。キーとなる実現は、変化するＰＳＦでシーンの画像のセットを取得し、その結果、或る画像の周波数成分におけるヌルを他の画像が充填できるというものである。結合された周波数変換は、ヌルがなく、ぶれ補正を良設定にする。
【００１５】
本発明の実施の形態は、シーンの画像のぶれを低減するための方法を説明する。まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、関連のぶれと、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）とを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に一緒に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態によるマルチ画像ぶれ補正のための方法のブロック図である。
【図２】本発明の実施の形態による不良設定の点像分布関数（ＰＳＦ）の模式図である。
【図３】本発明の実施の形態によるＰＳＦヌル充填の模式図である。
【図４】本発明の実施の形態による単一画像ぶれ補正のブロック図である。
【図５】本発明の実施の形態によるマルチ画像ぶれ補正のための結合線形システムのブロック図である。
【図６】本発明の実施の形態による自動ぶれ補正のための方法のブロック図である。
【発明を実施するための形態】
【００１７】
図１は、本発明の実施の形態によるシーンの画像のセット１１０のマルチ画像ぶれ補正の方法１００を示す。各画像１１１〜１１３は、点像分布関数（ＰＳＦ）１２１〜１２３のセット１２０に関連付けられたぶれを有する物体を含む。この方法は、ＰＳＦのセットを使用して画像のセットを一緒に反転し（１４０）、ぶれが低減された出力画像１５０を生成する。この方法のステップは、プロセッサ１０１によって実行される。
【００１８】
画像１１０は、ＰＳＦのセットがヌル充填演算１３０に適合するようなカメラによって取得される。適合性は、異なる露出時間で画像を取得することによって達成される。
【００１９】
例えば、一実施の形態では、第１の画像１１１が、第１の露出時間で取得され、第２の画像１１２が、第１の露出時間の整数倍でない第２の露出時間で取得される。いくつかの実施の形態では、自動段階露出（ＡＥＢ）を有する従来のカメラを使用する。ＡＥＢによって、カメラは、異なる露出で一連の画像を撮影することが可能になる。
【００２０】
図２に示すように、従来の露出を有するカメラによって取得された単一の画像１１１について、動きＰＳＦはボックスフィルタ２２０である。ＰＳＦの離散フーリエ変換（ＤＦＴ）２３０は、カーディナルサイン（ｓｉｎｃ）関数２４０である。カーディナルサイン（ｓｉｎｃ）関数２４０は、ゼロ２５０を含み、したがって、ぶれ補正を不良設定にする。ＰＳＦのセット１２０は、第１のＰＳＦ１２１及び第２のＰＳＦ１２２を含む。特定の周波数２５０における第１のＰＳＦの値はゼロに等しい。特定の周波数における第２のＰＳＦの値は、ゼロに等しくない。
【００２１】
本発明の実施の形態は、ＰＳＦヌル充填の新規な概念を使用する。図３は、異なる露出時間３２０で取得された複数の画像１１０を結合することによって、各個々のＰＳＦのヌル３３０が他のＰＳＦからのデータで充填されることを示す。したがって、結合されたＰＳＦ３４０は、ぶれ補正１４０を良条件にする。
【００２２】
反転不能ＰＳＦのジョイント反転可能性
ｆを、物体を含むシーンの鮮明な画像を表すものとする。物体のＮ個のぶれのある画像ｉｋを撮影する。各画像ｉｋは、ＰＳＦのセットを形成する異なるＰＳＦ ｈｋを有する。
【００２３】
【数１】
【００２４】
ここで、＊は畳み込み演算子であり、ｎｋは、分散σ２ｋを有するゼロ平均加法的白色ガウス雑音である。Ｔｋを、ｋ番目の画像の露出時間とする。量のフーリエ変換を、大文字を使用して表すことにする。ｗを周波数とすると、画像Ｉ（ｗ）のフーリエ変換Ｆ（ｗ）は、
【００２５】
【数２】
【００２６】
である。
【００２７】
１次元の物体の動きが、等速でセンサ面に対して平行である場合、ＰＳＦのそれぞれは、ボックスフィルタの長さ２２５が露出時間Ｔｋに比例するボックスフィルタ２２０に対応する。ｒｋを、ｋ番目のフレームにおけるぶれのサイズとする。このとき、
【００２８】
【数３】
【００２９】
である。
【００３０】
あらゆる個々の画像の単一画像ぶれ補正（ＳＩＤ）は、
【００３１】
【数４】
【００３２】
である。ここで、Ｆ（ｗ）は、ぶれ補正された画像のフーリエ変換を表し、
【００３３】
【数５】
【００３４】
は、対応する逆畳み込みフィルタｖｋのフーリエ変換である。
【００３５】
図３は、例えばＮ個の画像１１０を使用するマルチ画像ぶれ補正（ＭＩＤ）のための方法を示す。好ましい実施の形態では、各周波数ｗにおいて、
【００３６】
【数６】
【００３７】
によってぶれ補正された出力画像の雑音電力を最小にすることにより、最適な逆畳み込みフィルタＶｋ（ｗ）が得られる。鮮明な画像を再生するために、
【００３８】
【数７】
【００３９】
であることに留意されたい。
【００４０】
ラグランジュ乗数を使用すると、コスト関数は、
【００４１】
【数８】
【００４２】
であり、したがって、
【００４３】
【数９】
【００４４】
である。
【００４５】
特定の周波数ｗ ３５０においてすべてのＰＳＦ ３３０間で共通のゼロがある場合、その周波数におけるすべてのｋについてＨｋ（ｗ）＝０であり、Ｖ（ｗ）は不安定になる。
【００４６】
ＰＳＦのフーリエ変換において共通のゼロがない場合、各個々の画像で失われた情報は、他の或る画像によって取得される。各個々のＰＳＦにおけるゼロは、他のＰＳＦによって充填される。
【００４７】
このように、ＰＳＦのセットが共通のゼロを有しない場合、たとえ各ＰＳＦが反転不能であっても、結合された逆畳み込みを良設定にすることができる。すなわち、ＰＳＦのセットは、ヌル充填に適合している。
【００４８】
一実施の形態では、ＰＳＦは動きＰＳＦである。しかしながら、他のタイプのＰＳＦが本実施の形態では使用される。動きＰＳＦの場合、これによって、露出時間が互いの整数倍になるべきでないことが必要とされる。
【００４９】
【数１０】
【００５０】
は、結合された逆畳み込みの演算子である。
【００５１】
マルチ画像ぶれ補正
動きぶれを、鮮明な画像によって乗算される動きスミア行列（motion smear matrix）として定式化する。図４に示すように、単一画像ぶれ補正（ＳＩＤ）の場合、画像１１１〜１１３は、動きスミア行列４１１〜４１３に鮮明な画像１５０を乗算することで再生される。しかしながら、動きスミア行列はＰＳＦによって決まるので、ＰＳＦが悪条件である場合、ぶれ補正は満足できるものではない。
【００５２】
図５は、マルチ画像ぶれ補正（ＭＩＤ）の結合線形システムを示す。この結合線形システムでは、行列５１０と画像５２０とを結合する。動きぶれ行列の特異値は、結合ぶれ補正システムＡｃがより良い条件であることを示す。
【００５３】
離散領域における畳み込み式は、各動きラインに対して
【００５４】
【数１１】
【００５５】
である。ここで、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【００５６】
【数１２】
【００５７】
は、ぶれのある物体を記述するベクトルであり、
【００５８】
【数１３】
【００５９】
は、鮮明な物体を記述するベクトルであり、
【００６０】
【数１４】
【００６１】
は、各動きラインに沿った雑音強度を記述するベクトルである。ＳＩＤの場合、ぶれ補正された物体を記述するベクトル
【００６２】
【数１５】
【００６３】
は、コスト関数
【００６４】
【数１６】
【００６５】
を最小にすることによって得られ、その結果、
【００６６】
【数１７】
【００６７】
となる。
【００６８】
同様に、ＭＩＤの場合、結合線形式は、
【００６９】
【数１８】
【００７０】
である。式（９）において、Ａｃは、結合共分散行列（combined covariance matrix）であり、
【００７１】
【数１９】
【００７２】
は、雑音分散である。
【００７３】
いくつかの実施の形態では、推定されたぶれ補正済みベクトル
【００７４】
【数２０】
【００７５】
は、コスト関数
【００７６】
【数２１】
【００７７】
を最小にすることによって
【００７８】
【数２２】
【００７９】
として得られる。
【００８０】
したがって、式（１０）を使用して画像のセット及びＰＳＦのセットを一緒に反転すると、ぶれが低減された出力画像が生成される。
【００８１】
露出シーケンスの最適化
一実施の形態では、結合された演算子Ｐの最小値を最大にする露出時間を検索する。別の実施の形態では、信号依存性雑音を考慮するためにセンサ雑音特性を組み込む。光子によって生成された電子の分散は、測定された信号と共に線形に増加するので、露出時間σ２ｋは、σ２ｇｒａｙ＋βＴｋによって与えられる。ここで、σ２ｇｒａｙは暗雑音であり、βはカメラ依存性定数である。
【００８２】
これらのパラメータを使用すると、ｎｆによって与えられる信号対雑音比（ＳＮＲ）の減少を最小にすることにより、最適な露出シーケンスが得られる。符号化露出の場合、検索空間は、ほぼ２ｎ程度である。ここで、ｎは符号長であり、例えば５２である。ＭＩＤの未知のものの数は、使用される異なる露出時間の数に等しい。通常、ぶれ補正には、３つ又は４つの異なる露出時間で十分であり、したがって、検索は比較的小規模である。
【００８３】
自動ぶれ補正
図６は、自動ぶれ補正方法のブロック図を示す。本発明の実施の形態は、平滑でない背景の前面で移動する物体を有する画像６１０をぶれ補正するためのジョイントＰＳＦ反転可能性を使用する。
【００８４】
ＰＳＦ推定
空間的に不変のぶれの場合、ＰＳＦ推定６２０は、画像空間物体速度ｖと画像毎の露出時間との乗算として表される。物体速度は、画像間の動きベクトルと画像間の時間経過との間の比である。この空間的に不変のぶれの場合、画像間の動きベクトルは、対応する画像パッチを照合することによって計算される。しかしながら、露出時間が異なると、その結果、ぶれのサイズが異なることになり、したがって、照合及びＰＳＦ推定を容易にするために、画像を取得するための露出シーケンスが繰り返される。したがって、画像のセット６１０における画像は、Ｎ個の画像ごとに同じ露出を有する。ここで、Ｎは、使用される異なる露出の数（≒３〜４）である。動きベクトルは、同じ露出を使用して取得された画像を照合することによって計算することができる。異なる露出についての動きベクトルを平均化することによって、ＰＳＦの最終推定値が与えられる。
【００８５】
初期化
ＥＱ ｍ＼ｓ＼ｄｏ５（ｋ）（ｘ＼，ｙ）は、ｋ番目の画像における物体のバイナリマスクであり、Ｔｉはフレーム間時間である。ｂ（ｘ，ｙ）が、物体を伴わない背景画像である場合、取得された動きぶれのある画像ｉｋは、
【００８６】
【数２３】
【００８７】
によって与えられる。
【００８８】
最初に、背景ｂを推定する。いくつかの実施の形態では、物体は、十分高速に移動する。すなわち、各背景ピクセルは、画像の５０％未満において物体により遮蔽される。したがって、時間方向に沿ったメディアンフィルタリングを使用する。低速の移動物体の場合、背景差分を使用して背景ｂが求められる。
【００８９】
ぶれのある画像は、ぶれのある前景及び背景の双方からの寄与を有する。画像ぶれの式（１７）は、アルファマッティング（alpha matting）式の点から
【００９０】
【数２４】
【００９１】
として、記述することができる。ここで、
【００９２】
【数２５】
【００９３】
であり、αｋ＝ｈｋ＊ｍｋである。アルファマップのぶれ補正は、バイナリセグメンテーションマスクｍｋを再生することができる。マッティングは、通常、透明な静止物体に使用され、前景の動きぶれのある物体は、不透明であり、鮮明に合焦されているものと仮定する。したがって、アルファマップは、動きぶれにのみ依存し、マッティング前景は、実際には、ぶれのある物体に対応し、鮮明な物体には対応しない。
【００９４】
初期アルファマップ６３０を計算するために、まず、入力画像ｉｋと背景画像ｂとの間の差分をしきい値処理することによって、画像毎の粗いトライマップ（crude trimap）を生成する。このトライマップは、移動物体の内部の場合は１であり、背景の場合は０であり、ぶれのある領域の場合は不明である。ホール充填（hole-filling）等のモルフォロジー演算を適用して、雑音が低減される。トライマップを使用すると、アルファマッティングは、各フレームに対して独立に実行される。
【００９５】
ぶれのある前景ｆｂｋは、各入力画像からの背景寄与を除去する（６４０）ことによって、
【００９６】
【数２６】
【００９７】
として得られる。
【００９８】
空間的に不変の動きぶれの場合、アルファマップは、各動きラインに沿った勾配であり、雑音を有する。
【００９９】
マルチ画像ぶれ補正（ＭＩＤ）
物体は、連続した画像では異なる位置に現れるので、ぶれのある前景ｆｂｋは、逆畳み込みの前に位置合わせする必要がある。直線的な一定の動きの場合、位置合わせは、画像平面におけるシフトに対応する。物体は物体速度ｖを有するので、ｉ番目の画像と（ｉ＋１）番目の画像との間のシフトはｖ＊Ｔｉである。ぶれのある前景を位置合わせした後、式（１０）を解くことによりＭＩＤ６５０を使用してぶれ補正が実行される。雑音を有するアルファマップに起因して、ぶれのある画像のこの初期推定値は、雑音を有し、エラーのある背景寄与を含む。
【０１００】
精緻化
動きは、実世界のシーンでは一定条件でない場合があるので、前のステップにおける前景レイヤの位置合わせは、わずかにずれている可能性がある。位置合わせミスは、逆畳み込みでエラーを引き起こす。前のステップで得られた、ぶれ補正された前景ｆを使用して、位置合わせを精緻化する（６６０）。具体的には、ブラーカーネル（blur kernel）ｈｋを使用して鮮明な前景ｆにぶれを起こし、ぶれのある合成前景とｆｂｋとの間のシフトを検出する。したがって、すべてのぶれのある前景ｆｂｋｓは、鮮明な前景ｆを通じて相関され、正確に位置合わせすることができる。
【０１０１】
セグメンテーションの精緻化
ぶれ補正された前景ｆを使用すると、精緻化されたアルファマップは、
【０１０２】
【数２７】
【０１０３】
として計算される。得られたアルファマップは、次に、同じＭＩＤアルゴリズム及びしきい値を使用してぶれ補正され、物体のバイナリセグメンテーションｍｋが得られる。線形システムは良設定であるので、アルファマップのぶれ補正によって、真の前景セグメンテーションの厳密な解が与えられる。しかしながら、単純なしきい値処理では、セグメンテーションマスクは正確なものとはならず、これを改良する必要がある。
【０１０４】
動きライン毎のセグメンテーションを独立して精緻化する（６７０）。一実施の形態では、例えば０．６５といった控え目なしきい値を使用して、物体のサイズよりも小さな初期セグメンテーションマスクｍ０を得る。各動きラインに対して、同時に各辺で１ピクセル、セグメンテーションマスクを拡大し、最良の推定値を見つける。最良の推定値は、結合コスト関数
【０１０５】
【数２８】
【０１０６】
を最小にするものである。
【０１０７】
精緻化は、ぶれ領域全体に繰り返され、動きライン毎のエラーを最小にする最良のセグメンテーションが選ばれる。通常、各辺において１０ピクセル内で検索を行い、その結果、拡張は走査ライン毎に１０２＝１００個になる。通常、セグメンテーション及びぶれ補正の質は、最初の繰り返しの後であっても改善する。精緻化は、最終結果を得るために２回又は３回反復される。
【０１０８】
本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るようなこのようなすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。
【特許請求の範囲】
【請求項１】
シーンの画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
前記シーンの画像のセットを取得するステップであって、前記画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、前記ＰＳＦのセットは、ヌル充填演算に適合している、ステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
【請求項２】
互いの非整数倍である露出時間で前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項３】
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１に記載の方法。
【請求項４】
単一のカメラで前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項５】
異なるフレームレートで動作する複数のカメラを使用して、前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項６】
前記ＰＳＦは動きＰＳＦである、請求項１に記載の方法。
【請求項７】
前記反転することは、
【数１】
に従って前記出力画像を求めること、
をさらに含み、ここで、
【数２】
は、前記出力画像を記述するベクトルであり、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【数３】
は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、請求項１に記載の方法。
【請求項８】
逆畳み込み演算子が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
【請求項９】
信号対雑音比が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
【請求項１０】
画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
露出のセットで移動物体の画像のセットを繰り返し取得するステップであって、前記露出は互いの非整数倍である、ステップ、
同じ露出で取得された画像から計算された動きベクトルを使用して、点像分布関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）を推定するステップ、
前記画像のセットにおける画像毎のアルファマップを求めるステップ、
前記アルファマップを使用して、前記画像から背景寄与を除去するステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
【請求項１１】
前記求めること、前記除去すること、及び前記反転することを繰り返すことをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記取得することは、自動段階露出を有するカメラを使用して実行される、請求項１０に記載の方法。
【請求項１３】
画像毎に、
前記画像の背景を推定すること、及び
前記画像と前記背景との間の差分をしきい値処理することによって粗いトライマップを生成すること、
をさらに含む、請求項１０に記載の方法。
【請求項１４】
前記画像のセットにおいて前記物体を位置合わせすることをさらに含む、請求項１０に記載の方法。
【請求項１５】
各動きラインに対して前記物体のセグメンテーションを独立に精緻化すること、
をさらに含む、請求項１０に記載の方法。
【請求項１６】
画像のぶれを低減するように構成されたカメラであって、
移動物体の画像のセットを取得する手段であって、各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられており、前記ＰＳＦのセットは、ヌル充填演算に適合している、取得する手段、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転する手段であって、低減されたぶれを有する出力画像を生成する、反転する手段、
を備える、カメラ。
【請求項１７】
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１６に記載のカメラ。
【請求項１８】
前記反転する手段は、
【数４】
に従って前記出力画像を求める手段、
をさらに備え、ここで、
【数５】
は、前記出力画像を記述するベクトルであり、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【数６】
は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、
請求項１６に記載のカメラ。
【請求項１９】
前記ＰＳＦのセットを推定する手段をさらに備える、請求項１６に記載のカメラ。
【請求項２０】
前記画像のセットを分割する手段をさらに備える、請求項１６に記載のカメラ。
【請求項１】
シーンの画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
前記シーンの画像のセットを取得するステップであって、前記画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、前記ＰＳＦのセットは、ヌル充填演算に適合している、ステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
【請求項２】
互いの非整数倍である露出時間で前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項３】
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１に記載の方法。
【請求項４】
単一のカメラで前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項５】
異なるフレームレートで動作する複数のカメラを使用して、前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
【請求項６】
前記ＰＳＦは動きＰＳＦである、請求項１に記載の方法。
【請求項７】
前記反転することは、
【数１】
に従って前記出力画像を求めること、
をさらに含み、ここで、
【数２】
は、前記出力画像を記述するベクトルであり、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【数３】
は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、請求項１に記載の方法。
【請求項８】
逆畳み込み演算子が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
【請求項９】
信号対雑音比が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
【請求項１０】
画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
露出のセットで移動物体の画像のセットを繰り返し取得するステップであって、前記露出は互いの非整数倍である、ステップ、
同じ露出で取得された画像から計算された動きベクトルを使用して、点像分布関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）を推定するステップ、
前記画像のセットにおける画像毎のアルファマップを求めるステップ、
前記アルファマップを使用して、前記画像から背景寄与を除去するステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
【請求項１１】
前記求めること、前記除去すること、及び前記反転することを繰り返すことをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記取得することは、自動段階露出を有するカメラを使用して実行される、請求項１０に記載の方法。
【請求項１３】
画像毎に、
前記画像の背景を推定すること、及び
前記画像と前記背景との間の差分をしきい値処理することによって粗いトライマップを生成すること、
をさらに含む、請求項１０に記載の方法。
【請求項１４】
前記画像のセットにおいて前記物体を位置合わせすることをさらに含む、請求項１０に記載の方法。
【請求項１５】
各動きラインに対して前記物体のセグメンテーションを独立に精緻化すること、
をさらに含む、請求項１０に記載の方法。
【請求項１６】
画像のぶれを低減するように構成されたカメラであって、
移動物体の画像のセットを取得する手段であって、各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられており、前記ＰＳＦのセットは、ヌル充填演算に適合している、取得する手段、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転する手段であって、低減されたぶれを有する出力画像を生成する、反転する手段、
を備える、カメラ。
【請求項１７】
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１６に記載のカメラ。
【請求項１８】
前記反転する手段は、
【数４】
に従って前記出力画像を求める手段、
をさらに備え、ここで、
【数５】
は、前記出力画像を記述するベクトルであり、Ａｋは、画像ｋについての巡回動きスミア行列であり、
【数６】
は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、
請求項１６に記載のカメラ。
【請求項１９】
前記ＰＳＦのセットを推定する手段をさらに備える、請求項１６に記載のカメラ。
【請求項２０】
前記画像のセットを分割する手段をさらに備える、請求項１６に記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２３８２３４（Ｐ２０１０−２３８２３４Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−６２８２４（Ｐ２０１０−６２８２４）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２０１０−６２８２４（Ｐ２０１０−６２８２４）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]