２次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
【課題】画像シーケンス又はビデオシーケンス中のフレーム間の主要な動きを推定する。
【解決手段】２次元画像を表現する方法は、画像を少なくとも１つの軸上に投影することによって画像の少なくとも１つの１次元表現を導出すること、及びこの１次元表現にフーリエ変換を適用することを含む。この表現は、画像間の主要な動きの推定に用いることができる。
【解決手段】２次元画像を表現する方法は、画像を少なくとも１つの軸上に投影することによって画像の少なくとも１つの１次元表現を導出すること、及びこの１次元表現にフーリエ変換を適用することを含む。この表現は、画像間の主要な動きの推定に用いることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の背景］
本発明は、画像シーケンス又はビデオシーケンス中のフレーム間の主要な動き(dominant motion)を推定する方法に関する。実際的な用途としては、カメラ画像の安定化、ビデオ符号化及び規格変換がある。
【背景技術】
【０００２】
［従来技術］
主要な動きの効率的な推定は、ビデオ符号化、カメラ画像の安定化、動きに基づくビデオ区分化、規格変換又はノイズ低減を含む多くのタスクに重要なプロセスである。
【０００３】
非常に多くの従来技術が存在する。いくつかの大きな分類、すなわち、ｉ）或る種の回帰と組み合わせた特徴検出（縁又は角）、ｉｉ）フーリエ変換に基づく技法、及びｉｉｉ）テンプレートマッチング技法がある。
【０００４】
位相相関は、適度な速度を持ち、大きな変位を測定することができるよく知られた技法である（C. Kuglin及びD. Hines著「The Phase Correlation Image alignment Method」（IEEE Int. Conf. on Cybernetics and Society, 1975）並びにG.A Thomas著「Television motion measurement for DATV and other applications」（BBC RD 1987/11））。
【０００５】
簡単に言えば、２つの画像を位置合わせする(register)ために、位相相関方法は、先ず各画像に対して２次元フーリエ変換を行うこと、次に対応する周波数成分をともに乗算すること、及び結果として得られる積に逆フーリエ変換を適用することであって、それによって、いわゆる位相相関表面を得る、逆フーリエ変換を適用することを含む。平行移動の動き(translational motion)は、２Ｄ位相相関表面におけるピークの位置を探索することによって復元することができる。
【０００６】
例えば、米国特許第６，４７４，４６２号は、位相相関ピーク検出アルゴリズムと多重解像度の頑強な(robust)回帰方法とを組み合わせて、推定プロセスの頑強性を高める方法を開示する。
【０００７】
しかし、古典的な位相相関方法は、特に高解像度のビデオシーケンスを処理する場合、リアルタイムでの実施には複雑すぎる場合がある。これは、高解像度画像の２Ｄフーリエ変換の計算が計算資源及び記憶資源に大きな要求を課すためである。
【０００８】
複雑度を低減するために異なる手法が調査された。例えば、Erturk（「Digital image stabilization with sub-image phase correlation based global motion estimation」（IEEE Transactions on Consumer Electronics, pp 1320-1325, Volume: 49, Issue: 4 Nov. 2003））は、画像の角の領域にある６４×６４画素の大きさの４つの領域のみを検討することによって位相相関手法の複雑度を低減するデジタル画像の安定化方法を提示する。位相相関に基づく動き推定を用いてそれぞれ検出される４つのサブ画像の局所的な動きから大域的な動きを推定する。サブ画像の使用により、位相相関に基づく動き推定を高速に実施することが可能になる。画像フレームの大域的な動きベクトルを累積して大域的な変位ベクトルを得る。この大域的な変位ベクトルを安定化のためにカルマンフィルタリングする。しかし、空間的な支持（spatial support）の限定されたサブ領域を使用する結果、より大きな動きに対する方法の頑強性が大幅に低減される。
【０００９】
説明したように、上記の技法はすべて、極めて複雑であり、速い動き、照明の変化、局所的な物体等のような因子に対して十分に頑強でない。
【００１０】
［本発明が扱う問題］
本発明は、ビデオシーケンス又は他の画像若しくは２Ｄデータシーケンス中の動きを推定する新規の超高速な方法を提案する。本推定プロセスは非常に高速であり、通常、位相相関手法を用いる従来技術の推定方法よりも１０倍〜５００倍速く、ノイズの多い画像においてさえ、また大きく速い動きを伴うビデオシーケンスについて信頼できる結果を生じる。本発明はまた、動き解析及び他のビデオシーケンス解析タスクに適用可能なフレーム又はフレームビデオデータの非常に簡潔な記述を提供する。
【００１１】
［発明の説明］
一態様によれば、本発明は、装置を用いて画像に対応する信号を処理することによって画像を表現する方法であって、画像の少なくとも２つの１次元表現を導出することを含み、各１次元画像は、画像をそれぞれの軸上に投影することによって導出される、画像を表現する方法を提供する。
【００１２】
別の態様によれば、本発明は、各構成画像の表現を結合することによって画像シーケンス、例えばビデオシーケンスを表現する方法を提供する。
【００１３】
別の態様によれば、本発明は、装置を用いて画像に対応する信号を処理することによって画像を比較する方法であって、各２次元画像の少なくとも２つの１次元表現を導出すること、及び、画像の対応する１次元表現を比較することを含み、各１次元表現は、各画像をそれぞれの軸上に投影することによって導出される、画像を比較する方法を提供する。
【００１４】
好ましくは、本方法は、画像間の動きを推定するため、特に画像間の主要な動きを推定するためのものである。
【００１５】
さらに別の態様によれば、本発明は、必ずしも時間的に隣接していない異なる複数のフレーム対間の動きの複数の推定値の頑強な積分によって、画像シーケンスについて信頼できる正確な動き推定値を導出する方法を提供する。このような平均化は、本発明の別の態様によって提供される、処理能力及びメモリ使用に対する要件の大幅な低減により実行可能である。
【００１６】
次に、以下の図面を参照して本発明を説明する。
【００１７】
提案するアルゴリズムの主な着想は、処理及び記述抽出の早い段階で２Ｄ画像情報を複数の１Ｄ信号に変換することである。これは、画像を少なくとも２つの軸上に投影することによって達成される。計算の複雑度の低減に焦点を当てる好ましい実施形態では、ｘ方向及びｙ方向における横方向投影を選択した。Ｉ（ｘ，ｙ）が画像（いずれのカラーチャネル又は画像の色相、彩度若しくは明度(intensity)であってもよい）である場合、Ｘ投影及びＹ投影は次のように計算される。
【００１８】
【数１】
【００１９】
両投影は、画像の１回の２Ｄ走査で計算することができる。図２（ａ、ｂ、及びｃ）は、ビデオシーケンス「Ｄｏｎｏｓｔｉａ」からの３つのフレームと、それらのＲＧＢカラーチャネルの横方向投影を示す。各フレームの下にＸ投影を示し、各フレームの右側にＹ投影を示す。全カラーチャネルの投影を示すが、アルゴリズムの好ましい実施形態は緑色チャネルの投影のみを用いる。
【００２０】
従来技術では、両平行移動パラメータ、すなわちｖｘとｖｙの同時復元を提供する２Ｄ位相相関により２Ｄ画像を位置合わせすることが知られている。しかし、このような処理は、メモリ資源及び処理資源に非常に厳しい要求を課す。本発明によれば、画像の１Ｄ投影のみを位置合わせし、投影された１Ｄの変位を融合して２Ｄの動きを得る。Ｘ軸及びＹ軸上への２つの１Ｄ投影を用いる場合、本方法は、Ｘ平行移動パラメータ（ｖｘ）及びＹ平行移動パラメータ（ｖｙ）をそれぞれ各投影から直接得る。図３は、図２からの投影の位置合わせを示す。投影間の推定される平行移動を融合して、２つのフレーム間の平行移動の動きを得る。
【００２１】
平行移動グラフの一例を図４に示す。フレームを共通の座標系に平行移動することによって、（アルゴリズムの特定用途に応じて）ビデオモザイク又は安定化されたビデオシーケンスのいずれかを得ることができる。本発明を用いて推定されるパラメータにより再構成されるビデオモザイクの一例を図５に示す。
【００２２】
［１Ｄ位相相関を用いた成分速度の推定］
現フレームの投影を抽出したら、これらの投影を窓掛け処理して(window)フーリエ領域に変換し、マルチプロジェクション(multi-projection)画像記述子を形成する。現フレームと前フレームのマルチプロジェクション画像記述子を使用して、フレーム間の動き（変位）を推定する。
【００２３】
位相相関アルゴリズム（図６）を用いて、２つの１Ｄ信号（２つの投影）間のシフトを検出する。
【００２４】
位相相関（図７）は、２つの信号の頑強な平行移動位置合わせ方法である。本方法は、フーリエ変換及びシフト定理(Shift Theorem)に基づく。２つの信号Ｐｉ及びＰｊが次式のように平行移動ａだけ異なる場合、
【００２５】
【数２】
【００２６】
標準的な位相相関を次のように適用する。
【００２７】
【数３】
【００２８】
Ｆ（ｆ）は信号ｆのフーリエ変換であり、Ｆ＊（ｆ）はＦ（ｆ）の複素共役である。これにより、次のような、この平行移動値におけるパルスを得る。
【００２９】
【数４】
【００３０】
平行移動値は、結果として得られる信号（図７）において最も高いピークを見つけることによって求めることができる。
【００３１】
信号の境界に起因するアーチファクトを低減するには、信号（すなわち元の投影）に窓掛け演算子を適用しなければならないことが知られている。以下の窓掛け関数を用いる。
【００３２】
【数５】
【００３３】
ここで、Ｍは信号の長さである。窓掛け処理された投影は次のように得られる。
【００３４】
【数６】
【００３５】
位相相関方法の１つの有用な特徴は、フレーム投影間の変換を平行移動で近似することができる限り、相関関数において容易に識別可能なピークを見つけることができることである。位相相関ピークが低くなると、これは、２つの状況、すなわち、（１）平行移動では動きの信頼できる近似が得られない状況、（２）フレーム間の重なりが小さい状況を示す可能性がある。これらの状況では、全体的な動き推定誤差を防止するために動きの推定を拒絶しなければならない。したがって、ピークの大きさ(amplitude)は、１Ｄの変位推定値の品質の適切なインジケータであり、ピークが高くなるほど、推定値の信頼度も高くなる。全ての投影の照合から得られるピークの大きさを結合して、例えば最小値をとることによって、又は任意の他の従来技術の方法によって１つの推定信頼係数Ｃにすることができる。この信頼係数Ｃは、信頼できない照合結果を拒絶するために閾値と比較することができる。
【００３６】
［複数のフレームから得られる動き情報の頑強な積分］
ビデオシーケンス中の複数のフレーム１、２、．．．、Ｋを「位置合わせする」ことが望ましい場合が多く、１番目のフレームと位置合わせされた座標系に対するＫ番目のフレームの変位ベクトルＴＫは、次式のような全てのフレーム間変位の総和として求めることができることが知られている。
【００３７】
ＴＫ＝Ｔ１，２＋Ｔ２，３＋…＋ＴＫ−１，Ｋ
【００３８】
３つのフレームＫ−２、Ｋ−１及びＫを用いたこの手法の一例を図８に示す。各平行移動の動きＴｌ−１，ｌは、高速な従来技術の方法を用いて、又は本発明を適用することによって推定することができる。しかし、このような手法では、推定成分平行移動の誤差が累積され、許容できない総合誤差につながる場合がある。さらに、（例えば短期の遮蔽又はぼけに起因する）成分平行移動推定値のいずれか、例えばＴｌ−１，ｌの総誤差は、以後の全ての大域的な変位の推定値Ｔｌ、Ｔｌ＋１、．．．、ＴＫの誤差につながる。
【００３９】
この問題を改善するために、マルチフレーム推定を用いた新規の動き情報の頑強な積分方法を提案する。提案するマルチフレームの頑強な積分方法の概念を図９に示す。この着想は、ビデオシーケンスから得られる多数の過去の画像／フレームから抽出される簡潔な記述を維持し、連続フレーム間のみでなく、必ずしも隣接していない多くのフレーム対間でも動き推定値を導出するためのものである。次に、これらの変位推定値を過去のフレーム位置履歴と結合して、グローバル(global)座標系における現在のフレーム位置の複数の推定値の導出に用いる。次に、このような成分推定値を頑強な積分方法により結合する。
【００４０】
この拡張は、本発明が、画像の非常に簡潔な表現（記述）及びこのような記述から動きを推定する計算効率の高い方法を提供するという事実により可能になる。したがって、多くのフレーム／画像のこのような記述子をシステムのメモリに記憶することが実現可能になる。例えば、Ｎ×Ｍ画素の画像をＸ及びＹへの２つの横方向投影により記述するために、提案する方法が必要とするのは（Ｘ＋Ｙ）＊２＊４バイトのみである。
【００４１】
古典的な形態の位相相関方法は、画像全体のＦＦＴ係数の記憶を必要とし、これはＸ＊Ｙ＊２＊４バイトとなる。例えば、ＶＧＡ解像度のビデオシーケンス（６４０×４８０画素）の場合、古典的な移送相関方法の場合に１フレームに関する情報を記憶するために必要なメモリで十分に、２７４個のフレームの記述子の情報を記憶することができる。
【００４２】
さらに、ほとんどの従来技術のアルゴリズムでは、動き推定の計算コストが高いために複数のフレームをリアルタイムで照合することは不可能である。これを例示するために、本明細書において開示する本発明のアルゴリズムと、効率的な従来技術のアルゴリズム（Erturk）との実施を比較する。これらは両方とも、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）−ＩＶプロセッサで実行し、ＶＧＡ解像度のビデオシーケンスに適用する。この場合、Eturkに記載されている動き推定は、一対のフレームの解析に約１６ｍｓを要する。これは、３０フレーム／秒のフレームレートのリアルタイムビデオに対してリアルタイムで実行できることを意味する。しかし、３つのフレーム（すなわち、フレームＫおよびフレームＫ−１の照合と、フレームＫおよびフレームＫ−２の照合とを組み合わせること）のみを用いる本明細書に開示する動きの頑強な積分方法を用いるErturkの拡張は、ビデオフレームにつき３０ｍｓよりも長い時間を要するため、リアルタイムで実行することができない。本発明において開示する動き推定が要するのは、画像対につき０．２ｍｓの時間及びフレーム毎に約５Ｋバイトのメモリのみである。したがって、Ｍ個のフレームを用いた動きの頑強な積分は、０．２（Ｍ−１）ｍｓの時間及び５Ｍ Ｋバイトのメモリ記憶域を要する。このような拡張は、通常のハードウェアで実現でき、多数のフレーム（例えばＭ＝１０、５０、１００）についてさえ比較的少ないメモリ容量しか要しないことが容易に分かる。
【００４３】
図１１を参照して動き情報の頑強な積分を説明する。本方法は、Ｍ個のフレーム（現フレームを含む）を用い、過去のＭ−１個のフレームについて全ての中間データ（Ｄｉ，Ｔｉ）が記憶されているものと仮定する。以下のステップを新たなフレームＫについて行う。
【００４４】
１．フレームＫのフレーム記述ＤＫを抽出し、ＤＫをメモリに記憶する（最後のＮ個のフレーム記述のみを保持する）。
【００４５】
２．Ｍ−１個のフレーム対（Ｋ−Ｍ＋１，Ｋ）、（Ｋ−Ｍ＋２，Ｋ）、．．（Ｋ−１，Ｋ）を作成する。メモリに記憶されている２つのフレーム記述子ＤＫ−ｉ、ＤＫを用いて、フレーム対（Ｋ−ｉ，Ｋ）（ｉ＝１，，２，．．，Ｍ−１）毎に、フレームＫ−ｉとフレームＫとの間の動きの推定値ＴＫ−ｉ，Ｋを計算する。対毎に、対応する位相相関係数に基づいて推定信頼係数ＣＫ−ｉ，Ｋも計算する。各推定値にその信頼測度（ＴＫ−ｉ，Ｋ，ＣＫ−ｉ，Ｋ）を結び付ける。
【００４６】
３．グローバル座標系におけるフレームＫの位置のＭ−１個の推定値の組｛ＴＫ（１），．．．，ＴＫ（Ｍ−１）｝を計算する：ＴＫ（１）＝ＴＫ−１＋ＴＫ−１，Ｋ；ＴＫ（２）＝ＴＫ−２＋ＴＫ−２，ｋ；．．，ＴＫ（Ｍ−１）＝ＴＫ−（Ｍ−１）＋ＴＫ−（Ｍ−１），Ｋ
【００４７】
４．任意の従来技術の頑強な方法を用いて位置のＭ個の推定値ＴＫ（１），ＴＫ（２），．．，ＴＫ（Ｍ−１）をすべて積分（結合）して１つの推定値ＴＫにする。例えば、トリムド平均値(trimmed average)及び中央値フィルタの試験結果は良好であった。積分プロセスから、関連する信頼係数ＣＫ−ｉ，Ｋが信頼閾値を下回る推定値ＴＫ（ｉ）を除外する。
【００４８】
図１２は、「Ｄｏｎｏｓｔｉａ」シーケンスからのいくつかのフレームについて動きの頑強な積分を用いた処理結果を示す。緑色の＋印はＴＮの複数の測定値を示し、赤色の曲線は、それらの中央値を接続するとともに、全体的な推定値を表す。
【００４９】
図１３は、本発明に基づくビデオシーケンス動き解析回路のブロック図を示す。新たなビデオフレームＫ（８００）をシステムに入力し、ブロック８１２においてフレームの投影を抽出する。次に、各投影を窓掛け処理及びＦＦＴブロック８１４において処理し、マルチプロジェクション画像記述子８１５を形成する。この記述子をメモリ８５０に記憶する。動き推定器８２０は、フレームセレクタ８６０の設定に応じて、現フレームＫと以前のフレームＫ−ｉのうちの１つの間の動きを推定する。この推定はフレーム記述子に基づく。動き推定器は、成分投影動きの推定器（８２２）と、成分投影の動きから選択されたフレームＫ，Ｋ−ｉ間の全体的な動きを計算する投影動き積分器（８２４）とから成る。モジュール８２４もまた、グローバル座標系におけるフレームＫのグローバル位置を計算する。頑強なマルチフレーム積分ブロック８３０において複数の測定値を結合して、大域的な動きベクトルの最終的な推定値８４０を得る。推定プロセスは、制御ブロック８７０によって制御される。
【００５０】
［性能］
表１は、６４０×４８０の解像度の２つのビデオフレーム間の大域的な動き推定に必要な時間の比較を示す。この処理は、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）ＩＶプロセッサで行った。
【００５１】
【表１】
【００５２】
上述のように、窓掛け処理を１次元の投影に適用して１次元表現を生成し、この１次元表現にフーリエ変換を適用する。好ましくは、ハン窓(Hann window)を用いる。好ましくは、この窓は一定である。例えば、画像の比較又は位置合わせに表現を用いる場合、画像シーケンスを処理する際に、同一の一定の窓を用いて異なる画像対を比較することが好ましい。
【００５３】
本明細書において、「画像」及び「フレーム」という用語は、フィルタリング後のものを含む画像単位を記述するために用いられるとともに、画像、フィールド、ピクチャ、又は画像、フレーム等のサブユニット又は領域といった他の同様の用語にも当てはまる。画素及び画素ブロック又は画素グループという用語は、適切な場合に置き換え可能に用いられる場合がある。本明細書において、画像という用語は、文脈から明らかである場合を除き、画像全体又は画像の一領域を意味する。同様に、画像の一領域は、画像全体を意味し得る。画像は、フレーム又はフィールドを含み、静止画、又は映画若しくはビデオのような画像シーケンス中、又は関連する画像グループ中の画像に関連する。
【００５４】
画像は、グレースケール画像であってもカラー画像であってもよく、又は、別のタイプのマルチスペクトル画像、例えばＩＲ画像、ＵＶ画像若しくは他の電磁画像、又は音響画像等であってもよい。
【００５５】
本発明は、例えば画像に対応する信号を処理する装置を用いて実施することができる。本装置は、例えば、適切なソフトウェア及び／又はハードウェアの変更を施したコンピュータシステムであってもよい。例えば、本発明は、プロセッサ又は制御デバイスのような制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等のような画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタのようなデータ出力手段、キーボードのようなデータ入力手段、及びスキャナのような画像入力手段、又はそのような構成要素とさらなる構成要素の任意の組み合わせを有するコンピュータ又は同様のものを用いて実施することができる。本発明の態様は、ソフトウェア及び／又はハードウェアの形態で、又は特定用途向け装置内で提供することができ、又は、チップのような特定用途向けモジュールを提供してもよい。本発明の一実施形態による装置内のシステムの構成要素は、他の構成要素から遠隔して、例えばインターネットを介して設けてもよい。
【図面の簡単な説明】
【００５６】
【図１】アルゴリズムのブロック図である。
【図２】ビデオシーケンス「Ｄｏｎｏｓｔｉａ」からの３つのフレームとそれらの横方向投影を示す図である。
【図３】図２に示すフレームの投影位置合わせの結果を示す図である。（ａ）はＸ投影を示し、（ｂ）はＹ投影を示す。
【図４】フレームインデックスの関数としてのフレーム間のＸ変位及びＹ変位を示す図である。
【図５】本発明を用いて推定される平行移動パラメータを用いてビデオフレームから作成されるモザイクを示す図である。
【図６】１Ｄの画像投影から平行移動の動きの成分を推定するモジュールのブロック図である。
【図７】２つの１Ｄ信号間のシフトを検出する移送相関方法の処理結果の例を示す図である。
【図８】２つのフレームに基づく主要な動きの推定アルゴリズムを示す図である。
【図９】頑強な動き積分手法を示す図である。
【図１０】頑強な動き積分手法のブロック図である。
【図１１】３つのフレームからの動き推定値の頑強な積分を示す図である。
【図１２】「Ｄｏｎｏｓｔｉａ」シーケンスからのいくつかのフレームについて動きの頑強な積分を用いた処理の結果を示す図である（ｘ成分のみを示す）。
【図１３】本発明に基づくビデオシーケンス動き解析回路のブロック図である。
【技術分野】
【０００１】
［発明の背景］
本発明は、画像シーケンス又はビデオシーケンス中のフレーム間の主要な動き(dominant motion)を推定する方法に関する。実際的な用途としては、カメラ画像の安定化、ビデオ符号化及び規格変換がある。
【背景技術】
【０００２】
［従来技術］
主要な動きの効率的な推定は、ビデオ符号化、カメラ画像の安定化、動きに基づくビデオ区分化、規格変換又はノイズ低減を含む多くのタスクに重要なプロセスである。
【０００３】
非常に多くの従来技術が存在する。いくつかの大きな分類、すなわち、ｉ）或る種の回帰と組み合わせた特徴検出（縁又は角）、ｉｉ）フーリエ変換に基づく技法、及びｉｉｉ）テンプレートマッチング技法がある。
【０００４】
位相相関は、適度な速度を持ち、大きな変位を測定することができるよく知られた技法である（C. Kuglin及びD. Hines著「The Phase Correlation Image alignment Method」（IEEE Int. Conf. on Cybernetics and Society, 1975）並びにG.A Thomas著「Television motion measurement for DATV and other applications」（BBC RD 1987/11））。
【０００５】
簡単に言えば、２つの画像を位置合わせする(register)ために、位相相関方法は、先ず各画像に対して２次元フーリエ変換を行うこと、次に対応する周波数成分をともに乗算すること、及び結果として得られる積に逆フーリエ変換を適用することであって、それによって、いわゆる位相相関表面を得る、逆フーリエ変換を適用することを含む。平行移動の動き(translational motion)は、２Ｄ位相相関表面におけるピークの位置を探索することによって復元することができる。
【０００６】
例えば、米国特許第６，４７４，４６２号は、位相相関ピーク検出アルゴリズムと多重解像度の頑強な(robust)回帰方法とを組み合わせて、推定プロセスの頑強性を高める方法を開示する。
【０００７】
しかし、古典的な位相相関方法は、特に高解像度のビデオシーケンスを処理する場合、リアルタイムでの実施には複雑すぎる場合がある。これは、高解像度画像の２Ｄフーリエ変換の計算が計算資源及び記憶資源に大きな要求を課すためである。
【０００８】
複雑度を低減するために異なる手法が調査された。例えば、Erturk（「Digital image stabilization with sub-image phase correlation based global motion estimation」（IEEE Transactions on Consumer Electronics, pp 1320-1325, Volume: 49, Issue: 4 Nov. 2003））は、画像の角の領域にある６４×６４画素の大きさの４つの領域のみを検討することによって位相相関手法の複雑度を低減するデジタル画像の安定化方法を提示する。位相相関に基づく動き推定を用いてそれぞれ検出される４つのサブ画像の局所的な動きから大域的な動きを推定する。サブ画像の使用により、位相相関に基づく動き推定を高速に実施することが可能になる。画像フレームの大域的な動きベクトルを累積して大域的な変位ベクトルを得る。この大域的な変位ベクトルを安定化のためにカルマンフィルタリングする。しかし、空間的な支持（spatial support）の限定されたサブ領域を使用する結果、より大きな動きに対する方法の頑強性が大幅に低減される。
【０００９】
説明したように、上記の技法はすべて、極めて複雑であり、速い動き、照明の変化、局所的な物体等のような因子に対して十分に頑強でない。
【００１０】
［本発明が扱う問題］
本発明は、ビデオシーケンス又は他の画像若しくは２Ｄデータシーケンス中の動きを推定する新規の超高速な方法を提案する。本推定プロセスは非常に高速であり、通常、位相相関手法を用いる従来技術の推定方法よりも１０倍〜５００倍速く、ノイズの多い画像においてさえ、また大きく速い動きを伴うビデオシーケンスについて信頼できる結果を生じる。本発明はまた、動き解析及び他のビデオシーケンス解析タスクに適用可能なフレーム又はフレームビデオデータの非常に簡潔な記述を提供する。
【００１１】
［発明の説明］
一態様によれば、本発明は、装置を用いて画像に対応する信号を処理することによって画像を表現する方法であって、画像の少なくとも２つの１次元表現を導出することを含み、各１次元画像は、画像をそれぞれの軸上に投影することによって導出される、画像を表現する方法を提供する。
【００１２】
別の態様によれば、本発明は、各構成画像の表現を結合することによって画像シーケンス、例えばビデオシーケンスを表現する方法を提供する。
【００１３】
別の態様によれば、本発明は、装置を用いて画像に対応する信号を処理することによって画像を比較する方法であって、各２次元画像の少なくとも２つの１次元表現を導出すること、及び、画像の対応する１次元表現を比較することを含み、各１次元表現は、各画像をそれぞれの軸上に投影することによって導出される、画像を比較する方法を提供する。
【００１４】
好ましくは、本方法は、画像間の動きを推定するため、特に画像間の主要な動きを推定するためのものである。
【００１５】
さらに別の態様によれば、本発明は、必ずしも時間的に隣接していない異なる複数のフレーム対間の動きの複数の推定値の頑強な積分によって、画像シーケンスについて信頼できる正確な動き推定値を導出する方法を提供する。このような平均化は、本発明の別の態様によって提供される、処理能力及びメモリ使用に対する要件の大幅な低減により実行可能である。
【００１６】
次に、以下の図面を参照して本発明を説明する。
【００１７】
提案するアルゴリズムの主な着想は、処理及び記述抽出の早い段階で２Ｄ画像情報を複数の１Ｄ信号に変換することである。これは、画像を少なくとも２つの軸上に投影することによって達成される。計算の複雑度の低減に焦点を当てる好ましい実施形態では、ｘ方向及びｙ方向における横方向投影を選択した。Ｉ（ｘ，ｙ）が画像（いずれのカラーチャネル又は画像の色相、彩度若しくは明度(intensity)であってもよい）である場合、Ｘ投影及びＹ投影は次のように計算される。
【００１８】
【数１】
【００１９】
両投影は、画像の１回の２Ｄ走査で計算することができる。図２（ａ、ｂ、及びｃ）は、ビデオシーケンス「Ｄｏｎｏｓｔｉａ」からの３つのフレームと、それらのＲＧＢカラーチャネルの横方向投影を示す。各フレームの下にＸ投影を示し、各フレームの右側にＹ投影を示す。全カラーチャネルの投影を示すが、アルゴリズムの好ましい実施形態は緑色チャネルの投影のみを用いる。
【００２０】
従来技術では、両平行移動パラメータ、すなわちｖｘとｖｙの同時復元を提供する２Ｄ位相相関により２Ｄ画像を位置合わせすることが知られている。しかし、このような処理は、メモリ資源及び処理資源に非常に厳しい要求を課す。本発明によれば、画像の１Ｄ投影のみを位置合わせし、投影された１Ｄの変位を融合して２Ｄの動きを得る。Ｘ軸及びＹ軸上への２つの１Ｄ投影を用いる場合、本方法は、Ｘ平行移動パラメータ（ｖｘ）及びＹ平行移動パラメータ（ｖｙ）をそれぞれ各投影から直接得る。図３は、図２からの投影の位置合わせを示す。投影間の推定される平行移動を融合して、２つのフレーム間の平行移動の動きを得る。
【００２１】
平行移動グラフの一例を図４に示す。フレームを共通の座標系に平行移動することによって、（アルゴリズムの特定用途に応じて）ビデオモザイク又は安定化されたビデオシーケンスのいずれかを得ることができる。本発明を用いて推定されるパラメータにより再構成されるビデオモザイクの一例を図５に示す。
【００２２】
［１Ｄ位相相関を用いた成分速度の推定］
現フレームの投影を抽出したら、これらの投影を窓掛け処理して(window)フーリエ領域に変換し、マルチプロジェクション(multi-projection)画像記述子を形成する。現フレームと前フレームのマルチプロジェクション画像記述子を使用して、フレーム間の動き（変位）を推定する。
【００２３】
位相相関アルゴリズム（図６）を用いて、２つの１Ｄ信号（２つの投影）間のシフトを検出する。
【００２４】
位相相関（図７）は、２つの信号の頑強な平行移動位置合わせ方法である。本方法は、フーリエ変換及びシフト定理(Shift Theorem)に基づく。２つの信号Ｐｉ及びＰｊが次式のように平行移動ａだけ異なる場合、
【００２５】
【数２】
【００２６】
標準的な位相相関を次のように適用する。
【００２７】
【数３】
【００２８】
Ｆ（ｆ）は信号ｆのフーリエ変換であり、Ｆ＊（ｆ）はＦ（ｆ）の複素共役である。これにより、次のような、この平行移動値におけるパルスを得る。
【００２９】
【数４】
【００３０】
平行移動値は、結果として得られる信号（図７）において最も高いピークを見つけることによって求めることができる。
【００３１】
信号の境界に起因するアーチファクトを低減するには、信号（すなわち元の投影）に窓掛け演算子を適用しなければならないことが知られている。以下の窓掛け関数を用いる。
【００３２】
【数５】
【００３３】
ここで、Ｍは信号の長さである。窓掛け処理された投影は次のように得られる。
【００３４】
【数６】
【００３５】
位相相関方法の１つの有用な特徴は、フレーム投影間の変換を平行移動で近似することができる限り、相関関数において容易に識別可能なピークを見つけることができることである。位相相関ピークが低くなると、これは、２つの状況、すなわち、（１）平行移動では動きの信頼できる近似が得られない状況、（２）フレーム間の重なりが小さい状況を示す可能性がある。これらの状況では、全体的な動き推定誤差を防止するために動きの推定を拒絶しなければならない。したがって、ピークの大きさ(amplitude)は、１Ｄの変位推定値の品質の適切なインジケータであり、ピークが高くなるほど、推定値の信頼度も高くなる。全ての投影の照合から得られるピークの大きさを結合して、例えば最小値をとることによって、又は任意の他の従来技術の方法によって１つの推定信頼係数Ｃにすることができる。この信頼係数Ｃは、信頼できない照合結果を拒絶するために閾値と比較することができる。
【００３６】
［複数のフレームから得られる動き情報の頑強な積分］
ビデオシーケンス中の複数のフレーム１、２、．．．、Ｋを「位置合わせする」ことが望ましい場合が多く、１番目のフレームと位置合わせされた座標系に対するＫ番目のフレームの変位ベクトルＴＫは、次式のような全てのフレーム間変位の総和として求めることができることが知られている。
【００３７】
ＴＫ＝Ｔ１，２＋Ｔ２，３＋…＋ＴＫ−１，Ｋ
【００３８】
３つのフレームＫ−２、Ｋ−１及びＫを用いたこの手法の一例を図８に示す。各平行移動の動きＴｌ−１，ｌは、高速な従来技術の方法を用いて、又は本発明を適用することによって推定することができる。しかし、このような手法では、推定成分平行移動の誤差が累積され、許容できない総合誤差につながる場合がある。さらに、（例えば短期の遮蔽又はぼけに起因する）成分平行移動推定値のいずれか、例えばＴｌ−１，ｌの総誤差は、以後の全ての大域的な変位の推定値Ｔｌ、Ｔｌ＋１、．．．、ＴＫの誤差につながる。
【００３９】
この問題を改善するために、マルチフレーム推定を用いた新規の動き情報の頑強な積分方法を提案する。提案するマルチフレームの頑強な積分方法の概念を図９に示す。この着想は、ビデオシーケンスから得られる多数の過去の画像／フレームから抽出される簡潔な記述を維持し、連続フレーム間のみでなく、必ずしも隣接していない多くのフレーム対間でも動き推定値を導出するためのものである。次に、これらの変位推定値を過去のフレーム位置履歴と結合して、グローバル(global)座標系における現在のフレーム位置の複数の推定値の導出に用いる。次に、このような成分推定値を頑強な積分方法により結合する。
【００４０】
この拡張は、本発明が、画像の非常に簡潔な表現（記述）及びこのような記述から動きを推定する計算効率の高い方法を提供するという事実により可能になる。したがって、多くのフレーム／画像のこのような記述子をシステムのメモリに記憶することが実現可能になる。例えば、Ｎ×Ｍ画素の画像をＸ及びＹへの２つの横方向投影により記述するために、提案する方法が必要とするのは（Ｘ＋Ｙ）＊２＊４バイトのみである。
【００４１】
古典的な形態の位相相関方法は、画像全体のＦＦＴ係数の記憶を必要とし、これはＸ＊Ｙ＊２＊４バイトとなる。例えば、ＶＧＡ解像度のビデオシーケンス（６４０×４８０画素）の場合、古典的な移送相関方法の場合に１フレームに関する情報を記憶するために必要なメモリで十分に、２７４個のフレームの記述子の情報を記憶することができる。
【００４２】
さらに、ほとんどの従来技術のアルゴリズムでは、動き推定の計算コストが高いために複数のフレームをリアルタイムで照合することは不可能である。これを例示するために、本明細書において開示する本発明のアルゴリズムと、効率的な従来技術のアルゴリズム（Erturk）との実施を比較する。これらは両方とも、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）−ＩＶプロセッサで実行し、ＶＧＡ解像度のビデオシーケンスに適用する。この場合、Eturkに記載されている動き推定は、一対のフレームの解析に約１６ｍｓを要する。これは、３０フレーム／秒のフレームレートのリアルタイムビデオに対してリアルタイムで実行できることを意味する。しかし、３つのフレーム（すなわち、フレームＫおよびフレームＫ−１の照合と、フレームＫおよびフレームＫ−２の照合とを組み合わせること）のみを用いる本明細書に開示する動きの頑強な積分方法を用いるErturkの拡張は、ビデオフレームにつき３０ｍｓよりも長い時間を要するため、リアルタイムで実行することができない。本発明において開示する動き推定が要するのは、画像対につき０．２ｍｓの時間及びフレーム毎に約５Ｋバイトのメモリのみである。したがって、Ｍ個のフレームを用いた動きの頑強な積分は、０．２（Ｍ−１）ｍｓの時間及び５Ｍ Ｋバイトのメモリ記憶域を要する。このような拡張は、通常のハードウェアで実現でき、多数のフレーム（例えばＭ＝１０、５０、１００）についてさえ比較的少ないメモリ容量しか要しないことが容易に分かる。
【００４３】
図１１を参照して動き情報の頑強な積分を説明する。本方法は、Ｍ個のフレーム（現フレームを含む）を用い、過去のＭ−１個のフレームについて全ての中間データ（Ｄｉ，Ｔｉ）が記憶されているものと仮定する。以下のステップを新たなフレームＫについて行う。
【００４４】
１．フレームＫのフレーム記述ＤＫを抽出し、ＤＫをメモリに記憶する（最後のＮ個のフレーム記述のみを保持する）。
【００４５】
２．Ｍ−１個のフレーム対（Ｋ−Ｍ＋１，Ｋ）、（Ｋ−Ｍ＋２，Ｋ）、．．（Ｋ−１，Ｋ）を作成する。メモリに記憶されている２つのフレーム記述子ＤＫ−ｉ、ＤＫを用いて、フレーム対（Ｋ−ｉ，Ｋ）（ｉ＝１，，２，．．，Ｍ−１）毎に、フレームＫ−ｉとフレームＫとの間の動きの推定値ＴＫ−ｉ，Ｋを計算する。対毎に、対応する位相相関係数に基づいて推定信頼係数ＣＫ−ｉ，Ｋも計算する。各推定値にその信頼測度（ＴＫ−ｉ，Ｋ，ＣＫ−ｉ，Ｋ）を結び付ける。
【００４６】
３．グローバル座標系におけるフレームＫの位置のＭ−１個の推定値の組｛ＴＫ（１），．．．，ＴＫ（Ｍ−１）｝を計算する：ＴＫ（１）＝ＴＫ−１＋ＴＫ−１，Ｋ；ＴＫ（２）＝ＴＫ−２＋ＴＫ−２，ｋ；．．，ＴＫ（Ｍ−１）＝ＴＫ−（Ｍ−１）＋ＴＫ−（Ｍ−１），Ｋ
【００４７】
４．任意の従来技術の頑強な方法を用いて位置のＭ個の推定値ＴＫ（１），ＴＫ（２），．．，ＴＫ（Ｍ−１）をすべて積分（結合）して１つの推定値ＴＫにする。例えば、トリムド平均値(trimmed average)及び中央値フィルタの試験結果は良好であった。積分プロセスから、関連する信頼係数ＣＫ−ｉ，Ｋが信頼閾値を下回る推定値ＴＫ（ｉ）を除外する。
【００４８】
図１２は、「Ｄｏｎｏｓｔｉａ」シーケンスからのいくつかのフレームについて動きの頑強な積分を用いた処理結果を示す。緑色の＋印はＴＮの複数の測定値を示し、赤色の曲線は、それらの中央値を接続するとともに、全体的な推定値を表す。
【００４９】
図１３は、本発明に基づくビデオシーケンス動き解析回路のブロック図を示す。新たなビデオフレームＫ（８００）をシステムに入力し、ブロック８１２においてフレームの投影を抽出する。次に、各投影を窓掛け処理及びＦＦＴブロック８１４において処理し、マルチプロジェクション画像記述子８１５を形成する。この記述子をメモリ８５０に記憶する。動き推定器８２０は、フレームセレクタ８６０の設定に応じて、現フレームＫと以前のフレームＫ−ｉのうちの１つの間の動きを推定する。この推定はフレーム記述子に基づく。動き推定器は、成分投影動きの推定器（８２２）と、成分投影の動きから選択されたフレームＫ，Ｋ−ｉ間の全体的な動きを計算する投影動き積分器（８２４）とから成る。モジュール８２４もまた、グローバル座標系におけるフレームＫのグローバル位置を計算する。頑強なマルチフレーム積分ブロック８３０において複数の測定値を結合して、大域的な動きベクトルの最終的な推定値８４０を得る。推定プロセスは、制御ブロック８７０によって制御される。
【００５０】
［性能］
表１は、６４０×４８０の解像度の２つのビデオフレーム間の大域的な動き推定に必要な時間の比較を示す。この処理は、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）ＩＶプロセッサで行った。
【００５１】
【表１】
【００５２】
上述のように、窓掛け処理を１次元の投影に適用して１次元表現を生成し、この１次元表現にフーリエ変換を適用する。好ましくは、ハン窓(Hann window)を用いる。好ましくは、この窓は一定である。例えば、画像の比較又は位置合わせに表現を用いる場合、画像シーケンスを処理する際に、同一の一定の窓を用いて異なる画像対を比較することが好ましい。
【００５３】
本明細書において、「画像」及び「フレーム」という用語は、フィルタリング後のものを含む画像単位を記述するために用いられるとともに、画像、フィールド、ピクチャ、又は画像、フレーム等のサブユニット又は領域といった他の同様の用語にも当てはまる。画素及び画素ブロック又は画素グループという用語は、適切な場合に置き換え可能に用いられる場合がある。本明細書において、画像という用語は、文脈から明らかである場合を除き、画像全体又は画像の一領域を意味する。同様に、画像の一領域は、画像全体を意味し得る。画像は、フレーム又はフィールドを含み、静止画、又は映画若しくはビデオのような画像シーケンス中、又は関連する画像グループ中の画像に関連する。
【００５４】
画像は、グレースケール画像であってもカラー画像であってもよく、又は、別のタイプのマルチスペクトル画像、例えばＩＲ画像、ＵＶ画像若しくは他の電磁画像、又は音響画像等であってもよい。
【００５５】
本発明は、例えば画像に対応する信号を処理する装置を用いて実施することができる。本装置は、例えば、適切なソフトウェア及び／又はハードウェアの変更を施したコンピュータシステムであってもよい。例えば、本発明は、プロセッサ又は制御デバイスのような制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等のような画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタのようなデータ出力手段、キーボードのようなデータ入力手段、及びスキャナのような画像入力手段、又はそのような構成要素とさらなる構成要素の任意の組み合わせを有するコンピュータ又は同様のものを用いて実施することができる。本発明の態様は、ソフトウェア及び／又はハードウェアの形態で、又は特定用途向け装置内で提供することができ、又は、チップのような特定用途向けモジュールを提供してもよい。本発明の一実施形態による装置内のシステムの構成要素は、他の構成要素から遠隔して、例えばインターネットを介して設けてもよい。
【図面の簡単な説明】
【００５６】
【図１】アルゴリズムのブロック図である。
【図２】ビデオシーケンス「Ｄｏｎｏｓｔｉａ」からの３つのフレームとそれらの横方向投影を示す図である。
【図３】図２に示すフレームの投影位置合わせの結果を示す図である。（ａ）はＸ投影を示し、（ｂ）はＹ投影を示す。
【図４】フレームインデックスの関数としてのフレーム間のＸ変位及びＹ変位を示す図である。
【図５】本発明を用いて推定される平行移動パラメータを用いてビデオフレームから作成されるモザイクを示す図である。
【図６】１Ｄの画像投影から平行移動の動きの成分を推定するモジュールのブロック図である。
【図７】２つの１Ｄ信号間のシフトを検出する移送相関方法の処理結果の例を示す図である。
【図８】２つのフレームに基づく主要な動きの推定アルゴリズムを示す図である。
【図９】頑強な動き積分手法を示す図である。
【図１０】頑強な動き積分手法のブロック図である。
【図１１】３つのフレームからの動き推定値の頑強な積分を示す図である。
【図１２】「Ｄｏｎｏｓｔｉａ」シーケンスからのいくつかのフレームについて動きの頑強な積分を用いた処理の結果を示す図である（ｘ成分のみを示す）。
【図１３】本発明に基づくビデオシーケンス動き解析回路のブロック図である。
【特許請求の範囲】
【請求項１】
２次元画像の表現方法であって、
前記画像を少なくとも１つの軸上に投影することによって、前記画像の少なくとも１つの１次元表現を導出することと、
前記１次元表現にフーリエ変換を適用することと
を含む、２次元画像の表現方法。
【請求項２】
前記画像を少なくとも２つの軸上に投影することによって、少なくとも２つの１次元表現をそれぞれ導出することを含む請求項１に記載の２次元画像の表現方法。
【請求項３】
少なくとも１つの軸は、前記画像の縁に平行である請求項１又は２に記載の２次元画像の表現方法。
【請求項４】
少なくとも２つの軸は、垂直である請求項１〜３のいずれか一項に記載の２次元画像の表現方法。
【請求項５】
前記画像の縁に位置合わせされた垂直なＸ軸及びＹ軸上に、前記画像を投影することを含む、請求項１〜４のいずれか一項に記載の２次元画像の表現方法。
【請求項６】
軸Ａへの投影が、軸Ａ上の位置ａ毎に、位置ａにおける軸Ａに垂直な線に沿って画素の画像値を総和することを含む、請求項１〜５のいずれか一項に記載の２次元画像の表現方法。
【請求項７】
請求項５に従属し、投影が、
【数１】
として計算される請求項６に記載の２次元画像の表現方法。
【請求項８】
前記１次元表現に適用される窓を適用することを含む、請求項１〜７のいずれか一項に記載の２次元画像の表現方法。
【請求項９】
ハン窓を使用することを含む、請求項８に記載の２次元画像の表現方法。
【請求項１０】
少なくとも１つの色成分に適用される、請求項１〜９のいずれか一項に記載の２次元画像の表現方法。
【請求項１１】
少なくとも緑色の色成分に適用される、請求項８に記載の２次元画像の表現方法。
【請求項１２】
明度値に適用される、請求項１〜１１のいずれか一項に記載の２次元画像の表現方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の方法を用いて導出される、少なくとも１つの１次元表現を含む画像表現。
【請求項１４】
請求項１３に記載の表現の各画像について対応する１次元表現を比較することを含む、画像の比較方法。
【請求項１５】
１次元表現を比較することは、前記１次元表現間のシフトを求めるために位置合わせすることを含む、請求項１４に記載の画像の比較方法。
【請求項１６】
前記１次元表現間でシフトを求めることは位相相関を含む、請求項１５に記載の画像の比較方法。
【請求項１７】
位相相関は、逆フーリエ変換及びシフト値に対応するピークの検出を含む請求項１６に記載の画像の比較方法。
【請求項１８】
画像間の動きを推定するための、請求項１４〜１７のいずれか一項に記載の画像の比較方法。
【請求項１９】
少なくとも１つの画像を複数の他の画像の各々と比較することであって、それによって、不連続な画像間のものを含む複数の動き推定値を導出する、画像を比較することを含む、請求項１８に記載の画像の比較方法。
【請求項２０】
動き推定値の各々について信頼測度を求めることを含む請求項１９に記載の画像の比較方法。
【請求項２１】
請求項１４〜２０のいずれか一項に記載の方法を用いて画像シーケンスを処理する方法であって、
前記１次元投影に対して窓掛け処理が適用され、
異なる画像対に対して同一の窓が用いられる
画像シーケンスを処理する方法。
【請求項２２】
請求項１８〜２０のいずれか一項に記載の方法を用いて画像間の動きを推定することを含む、画像シーケンスにおいて動き表現を導出する方法。
【請求項２３】
請求項２２に記載の方法を用いて導出される画像シーケンスにおける動き表現。
【請求項２４】
少なくとも１つの基準画像を参照して、画像の位置を求める方法であって、
請求項１４〜２０のいずれか一項に記載の方法を用いて導出された画像間のシフトを総和することを含む
画像の位置を求める方法。
【請求項２５】
請求項１９又は請求項２０に従属し、
複数の動き推定値を用いて、複数の画像位置を求めることと、
前記動き推定値を、例えば平均化を用いて、結合することと
を含む、請求項２４に記載の画像の位置を求める方法。
【請求項２６】
信頼測度が閾値を下回る動き推定値を除外することを含む、請求項２５に記載の画像の位置を求める方法。
【請求項２７】
請求項１３又は請求項２３に記載の表現の、記憶、送信、受信のような、使用。
【請求項２８】
カメラの安定化のための、請求項２７に記載の使用。
【請求項２９】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行するようにプログラムされた制御デバイス。
【請求項３０】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行する装置。
【請求項３１】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行するための、コンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
【請求項１】
２次元画像の表現方法であって、
前記画像を少なくとも１つの軸上に投影することによって、前記画像の少なくとも１つの１次元表現を導出することと、
前記１次元表現にフーリエ変換を適用することと
を含む、２次元画像の表現方法。
【請求項２】
前記画像を少なくとも２つの軸上に投影することによって、少なくとも２つの１次元表現をそれぞれ導出することを含む請求項１に記載の２次元画像の表現方法。
【請求項３】
少なくとも１つの軸は、前記画像の縁に平行である請求項１又は２に記載の２次元画像の表現方法。
【請求項４】
少なくとも２つの軸は、垂直である請求項１〜３のいずれか一項に記載の２次元画像の表現方法。
【請求項５】
前記画像の縁に位置合わせされた垂直なＸ軸及びＹ軸上に、前記画像を投影することを含む、請求項１〜４のいずれか一項に記載の２次元画像の表現方法。
【請求項６】
軸Ａへの投影が、軸Ａ上の位置ａ毎に、位置ａにおける軸Ａに垂直な線に沿って画素の画像値を総和することを含む、請求項１〜５のいずれか一項に記載の２次元画像の表現方法。
【請求項７】
請求項５に従属し、投影が、
【数１】
として計算される請求項６に記載の２次元画像の表現方法。
【請求項８】
前記１次元表現に適用される窓を適用することを含む、請求項１〜７のいずれか一項に記載の２次元画像の表現方法。
【請求項９】
ハン窓を使用することを含む、請求項８に記載の２次元画像の表現方法。
【請求項１０】
少なくとも１つの色成分に適用される、請求項１〜９のいずれか一項に記載の２次元画像の表現方法。
【請求項１１】
少なくとも緑色の色成分に適用される、請求項８に記載の２次元画像の表現方法。
【請求項１２】
明度値に適用される、請求項１〜１１のいずれか一項に記載の２次元画像の表現方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の方法を用いて導出される、少なくとも１つの１次元表現を含む画像表現。
【請求項１４】
請求項１３に記載の表現の各画像について対応する１次元表現を比較することを含む、画像の比較方法。
【請求項１５】
１次元表現を比較することは、前記１次元表現間のシフトを求めるために位置合わせすることを含む、請求項１４に記載の画像の比較方法。
【請求項１６】
前記１次元表現間でシフトを求めることは位相相関を含む、請求項１５に記載の画像の比較方法。
【請求項１７】
位相相関は、逆フーリエ変換及びシフト値に対応するピークの検出を含む請求項１６に記載の画像の比較方法。
【請求項１８】
画像間の動きを推定するための、請求項１４〜１７のいずれか一項に記載の画像の比較方法。
【請求項１９】
少なくとも１つの画像を複数の他の画像の各々と比較することであって、それによって、不連続な画像間のものを含む複数の動き推定値を導出する、画像を比較することを含む、請求項１８に記載の画像の比較方法。
【請求項２０】
動き推定値の各々について信頼測度を求めることを含む請求項１９に記載の画像の比較方法。
【請求項２１】
請求項１４〜２０のいずれか一項に記載の方法を用いて画像シーケンスを処理する方法であって、
前記１次元投影に対して窓掛け処理が適用され、
異なる画像対に対して同一の窓が用いられる
画像シーケンスを処理する方法。
【請求項２２】
請求項１８〜２０のいずれか一項に記載の方法を用いて画像間の動きを推定することを含む、画像シーケンスにおいて動き表現を導出する方法。
【請求項２３】
請求項２２に記載の方法を用いて導出される画像シーケンスにおける動き表現。
【請求項２４】
少なくとも１つの基準画像を参照して、画像の位置を求める方法であって、
請求項１４〜２０のいずれか一項に記載の方法を用いて導出された画像間のシフトを総和することを含む
画像の位置を求める方法。
【請求項２５】
請求項１９又は請求項２０に従属し、
複数の動き推定値を用いて、複数の画像位置を求めることと、
前記動き推定値を、例えば平均化を用いて、結合することと
を含む、請求項２４に記載の画像の位置を求める方法。
【請求項２６】
信頼測度が閾値を下回る動き推定値を除外することを含む、請求項２５に記載の画像の位置を求める方法。
【請求項２７】
請求項１３又は請求項２３に記載の表現の、記憶、送信、受信のような、使用。
【請求項２８】
カメラの安定化のための、請求項２７に記載の使用。
【請求項２９】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行するようにプログラムされた制御デバイス。
【請求項３０】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行する装置。
【請求項３１】
請求項１〜１２、１４〜２２、又は２４〜２６のいずれか一項に記載の方法を実行するための、コンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−１４６９２６（Ｐ２００６−１４６９２６Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００５−３３４５２３（Ｐ２００５−３３４５２３）
【出願日】平成１７年１１月１８日（２００５．１１．１８）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００５−３３４５２３（Ｐ２００５−３３４５２３）
【出願日】平成１７年１１月１８日（２００５．１１．１８）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
[ Back to top ]