説明

ビデオデータを安定させるための方法及びシステム

本発明は、ビデオカメラにより作成され、ビデオデータで表されるシーンのビデオ記録を安定化する方法に関する。当該方法は、以下のステップを含む。ビデオデータを複数の連続するフレームに小分割し、連続するフレームのそれぞれを複数のブロックに分割するステップ。それぞれのフレームのそれぞれのブロックについて、ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップ。ベクトルGMVは、瞬間tでのグローバル動きベクトルGMV(t)と呼ばれ、前のフレームに関して瞬間tでの前記動きを表す。瞬間tで統合された動きベクトルIMV(t)と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトルの補正を示すステップ。かかる統合された動きベクトルは、式.IMV(t)=GMV(t)+a(E).IMV(t−1)により与えられる。a(E)は表現Eに依存する可変の適応ファクタであり、IMV(t−1)は前の現在のフレームに対応する統合された動きベクトルである。それぞれ連続する現在のフレームについて定義された変更された統合された動きベクトルに従ってビデオデータを変更するステップ。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオデータを安定させる方法、及びかかる方法を実行する安定化システムに関する。
【背景技術】
【0002】
近年におけるビデオカメラの小型化及びパワフルズームの包含は、ハンドヘルドビデオカメラの移動のため、これらの装置において画像を安定化する問題を招く。この望まれないカメラの動きすなわちジッタを除くため、必須のカメラの動きを表示し、より楽しい視聴経験を提供するシーケンスを生成するため、デジタル画像の安定化(DIS: Digital Image Stabilizing)システムが開発されている。ジッタは、カメラの意図的な動きに追加される画像の全ての望まれない位置の変動(平行移動、回転等)として定義され、(たとえば、動きベクトルの大きさ又は数を増加させ、符号化された動きベクトルのランレングスにおける減少となる場合がある動き予測符号化に)多くの著しい悪影響を有する可能性がある。大部分のDISシステムでは、動き予測は、画像フレームの全体的な動きを得るため、2つの連続するフレーム(時間t−1及びt)間で実行される。かかる全体的な動きは、グローバル動きベクトルGMV(t)と呼ばれる1つのベクトルにより表される。問題は、連続的な値GMV(t)が意図的な動きと意図的ではない動き(ジッタ)と両方を含むことである。
【0003】
文献“Fast digital image stabilizer based on Gray-coded bit-plane matching”, IEEE Transaction on Consumer Electronics, vol.45, no3, August 1999, pp.598-603は、動きが意図的なものであるか否かを判定するのを可能にする動き補償システムが記載されている。このため、全体的な動きベクトルは、ダンピング係数と統合され、このように定義された統合された動きベクトルIMV(t)は、動き補償のための現在の行フレームに適用される最終的な動きベクトル補正を示す。この統合された動きベクトルは、安定化されたシーケンスを構築するために提供されるものであって、以下の式(1)により与えられる。
IMV(t)=a.IMV(t−1)+GMV(t) (1)
ここで、GMV(t)は時間tで考慮される現在のフレームの全体的な動きベクトルであり、aは0と1の間に含まれ、統合された動きベクトルがカメラの動きがないときにゼロに集束することに従うルールを担う。ダンピングファクタである、この数aの選択は、望まれる安定化の程度に依存するが、カメラの動きのタイプを考慮して重要であって、(たとえば)定数の使用は、準最適なことがある。
【0004】
実際に、シーケンスの過程にわたりジッタから意図的な動きを分離することは常に複雑な問題である。リアルタイムのアプリケーションについて、主要な制約は、さらに、遅延が許容されないことであり、すなわち、ひとたび動きが既知となると、メモリに幾つかのフレームを記憶すること、動き補償を後に適用することが不可能なことである。文献で提案される全てのソリューションは、多かれ少なかれ幾つかの欠点を有しており、低振幅のジッタ及び固定された位置を有するシーケンスの部分で、ジッタが減衰されるがキャンセルされないことであり、全部の景色が見える動き又はいずれか他のタイプの強いカメラの動きはあるとすぐに、出力フィルタシーケンスは、現実の動きに殆ど追従することができないか、又は長い遅延の後に追従する。さらに、フィルタリング用に使用されるサンプリングウィンドウは、低振幅のジッタを補正するときに知覚可能な遅延を生じる。低振幅のジッタを減衰させるための強度と、できるだけ低い遅延で意図的な動きに追従する能力との間のトレードオフを発見することに結果的に終始する。
【発明の開示】
【発明が解決しようとする課題】
【0005】
したがって、本発明の目的は、改善された動き補償を実行するのを可能にするフィルタリング方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明は、ビデオカメラにより作成され、ビデオデータにより表現されるシーンのビデオ記録を安定化する方法に関する。当該方法は、前記ビデオデータを複数の連続するフレームに小分割するステップ、前記連続するフレームのそれぞれを複数のブロックに分割するステップ、それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップを含み、前記ベクトルGMVは、瞬間tでのグローバル動きベクトルGMV(t)と呼ばれ、前のフレームに関して瞬間tでの前記動きを表す。さらに、当該方法は、瞬間tで統合された動きベクトルIMV(t)と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトルの補正を示すステップを含み、前記統合された動きベクトルは、
式 IMV(t)=GMV(t)+a(E).IMV(t−1)
により与えられ、GMV(t)は瞬間tでの現在のフレームのグローバル動きベクトルであり、a(E)は表現Eに依存する可変の適応ファクタであり、IMV(t−1)は前の現在のフレームに対応する統合された動きベクトルである。さらに、当該方法は、それぞれ連続する現在のフレームについて定義される変更された統合された動きベクトルに従ってビデオデータを変更するステップを含んでいる。
【0007】
好適な実施の形態では、前記可変の適応ファクタは、2つの最後のグローバル動きベクトルの合計に依存する。
好ましくは、可変のダンピングファクタは、IMV及びGMVの水平及び垂直座標に独立に計算され、2つの軸に沿ったフィルタリングは、常に互いに独立している。
許可される余分の入力領域に対応して、IMV補正が所与の閾値を超えていないかがチェックされる場合があり、超えていない場合、たとえば±16画素といった予め決定された許容されるレンジに留まるために補正が変更される。
【発明を実施するための最良の形態】
【0008】
本発明は、添付図面を参照して例示を通して以下に記載される。
本発明の方法によれば、安定化方法が提案され、提案される補償が前に定義された統合された動きベクトルIMV(t)に等しいが、a(E)で示されるダンピング係数をもち、この係数は可変の適応ファクタである。
IMV(t)=a(t,t−1,…).IMV(t−1)+GMV(t) (2)
この式(2)では、ダンピングファクタa(E)はもはや定数ではなく、たとえば2つの最後のグローバル動きベクトルの合計に依存する適応的な値である。これにより、意図的な動きの開始を追跡するのを可能にする(最後のグローバル動きベクトルは、本質的に使用されるには余りに不安定である)。
【0009】
ダンピングファクタa(E)と2つの最後のグローバル動きベクトルの合計(GMV(t)+GMV(t−1))との間の対応テーブルは、以下のようなやり方で構築される。
(a)GMV値の低い合計(low sum)は、まるで静的な意図的なカメラを想定した、シーケンスを強く安定化する高いダンピングファクタの値を含む。
(b)GMV値の高い合計(high sum)は、非くいダンピングファクタの値を含み、次いでシーケンスは、より正確にオリジナルの動きに追従する。
【0010】
ユニット当たり4分の1でのダンピングファクタの値DFV対最後の2つの全体的な動きベクトルの増加する合計SLGは、表1のテーブルで与えられる。
【0011】
幾つかの更なる特徴が提案される場合がある。たとえば、yベクトルのフィルタリングとは独立にxベクトルでのフィルタリングを有する場合に有効である。さらに、境界検出の出力が提供される場合があり、かかる検出は、IMV補正が許可された余分の入力領域に対応する所与の閾値を超えていないかをチェックし、たとえば±16画素(ピクセル)といった許容されるレンジにあるように補正するのを可能にする。
【0012】
提案される安定化方法は、オリジナルの動き(曲線A)、ムービングアベレージフィルタにより慣習的にフィルタリングされた動き(曲線B)、及び本発明に係る安定化方法によりフィルタリングされた動きの曲線Mを同時に示す図2に例示されるように動きが余りに高いとき(3つの曲線について、水平軸がフレーム数NOFに対応し、垂直軸が累積的な変位、すなわちグローバル動きベクトルの合計SLGに対応する)、意図的な動きに追従しつつ、ジッタが所定の空間的な位置の周りにセンタリングされたときに長い安定化されたショットをつくる。幾つかの高速の動きの遷移がなお目に見ることができるが、これらは、許容された余分の画像の境界に留まるのを望む場合に、幾つかのやり方で追従される必要があるオリジナルのシーケンスにおける突然の動きに対応する。安定化方法は、低速の動きを追跡することに有効でもある。
【図面の簡単な説明】
【0013】
【図1】本発明に係る安定化方法で使用されるダンピングファクタの値の幾つかの例を与える表である。
【図2】本発明に係る安定化方法の利点を例示する図である。

【特許請求の範囲】
【請求項1】
ビデオデータを安定化する方法であって、
当該方法は、
前記ビデオデータを複数の連続するフレームに小分割するステップと、
前記連続するフレームを複数のブロックに分割するステップと、
それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップと、瞬間tでの前記ベクトルは、グローバル動きベクトルGMV(t)と呼ばれ、前のフレームに関して瞬間tでの前記動きを表しており、
瞬間tで統合された動きベクトルIMT(t)と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトル補正を示すステップと、前記統合された動きベクトルは、式
IMV(t)=GMV(t)+a(E).IMV(t−1)
により与えられ、GMV(t)は瞬間tでの現在のフレームのグローバル動きベクトルであり、a(E)は表示Eに依存する可変の適応ファクタであり、IMV(t−1)は前の現在のフレームに対応する統合された動きベクトルであり、
それぞれ連続した現在のフレームについて定義された変更された統合された動きベクトルに従って前記ビデオデータを変更するステップと、
を含むことを特徴とする方法。
【請求項2】
前記可変の適応ファクタは、2つの最後のグローバル動きベクトルの合計に依存する、
請求項1記載の安定化方法。
【請求項3】
前記可変のダンピングファクタa(E)は、ベクトルの水平及び垂直座標とは独立に決定される、
請求項2記載の安定化方法。
【請求項4】
動きベクトルの補正が所与の閾値を超えないかをチェックするために設けられる更なる補正ステップ、超えない場合に、予め決定された許容されるレンジにあるように前記補正を変更するステップを含む、
請求項1乃至3のいずれか記載の安定化方法。
【請求項5】
ビデオデータを安定化するシステムであって、
ビデオ記録のビデオデータの複数の連続するフレームを記憶するフレームストレージと、
それぞれのフレームを複数のブロックに分割するために前記フレームストレージに結合され、それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルであって、瞬間tでグローバル動きベクトルGMV(t)と呼ばれ、前のフレームに関して瞬間tでの前記動きを表す動きベクトルを決定し、瞬間tで統合された動きベクトルIMV(t)と呼ばれる動きベクトルであって、GMV(t)を瞬間tでの現在のフレームのグローバル動きベクトル、a(E)を表示Eに依存する可変の適応ファクタ、IMV(t−1)を前の現在のフレームに対応する統合された動きベクトルとして、式IMV(t)=GMV(t)+a(E).IMV(t−1)により与えられる動きベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトル補正を示し、それぞれ連続する現在のフレームについて定義された変更された統合された動きベクトルに従って前記ビデオデータを変更するプロセッサと、
を有することを特徴とするシステム。

【図1】
image rotate

【図2】
image rotate


【公表番号】特表2007−516679(P2007−516679A)
【公表日】平成19年6月21日(2007.6.21)
【国際特許分類】
【出願番号】特願2006−546387(P2006−546387)
【出願日】平成16年12月17日(2004.12.17)
【国際出願番号】PCT/IB2004/004227
【国際公開番号】WO2005/064919
【国際公開日】平成17年7月14日(2005.7.14)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】