ディジタル画像安定化のための方法及び装置
本発明は、カメラで生成された画像のオリジナルの画像シーケンス（１０）から、ジッタを除去するためのディジタル画像安定化方法に関する。オリジナルの画像シーケンス（１０）を、安定化アルゴリズム（１１）に供給する。カメラのグローバルな動き成分を推定し、デフォルト動きフィルタを用いてフィルタリング（１１０）する。予め定めたパラメータ（１３，１４０，１４１）を、オリジナルの画像シーケンス（１０）及び安定化の画像シーケンス（１２）の双方の画像から抽出する。測度値を、安定化品質を評価するために計算し、閾値と比較する。評価結果（Ｏ１５，Ｏ’１５）に依存して、安定化アルゴリズム（１１）は、安定化品質を改善するために別のフィルタを用いるか、又はデフォルトのフィルタを用い続ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不所望なカメラの動き成分、いわゆるジッタを、前記カメラで発生するオリジナルの画像シーケンスから除去し、安定化した画像シーケンスを得るディジタル画像安定化のための方法及び装置に関し、前記オリジナルの画像シーケンスを安定化アルゴリズムに供給して、前記ジッタを除去するようにする。
【０００２】
本方法及び装置は、例えば、ディジタルのローエンド／ミドルエンドの動画カメラ又は携帯電話に用いることができる。
【背景技術】
【０００３】
周知なように、ディジタル画像安定化方法の目標は、不所望なカメラの動き成分、即ちジッタを除去することにより、必要なカメラの動き成分だけを表示する画像シーケンスを生成して、より快い見応えを提供することにある。ジッタとは、特に平行移動及び／又は回転などの、カメラの意図的な動き成分に加えられる、全ての不所望な位置変動の画像として規定する。
【０００４】
安定化アルゴリズムは、その処理によって固い画像になることがよくある。これらのアルゴリズムが、全ての種類の安定させるべき入力画像シーケンス、例えば単一ビューポイント、パノラマショット、ユーザが前方又は後方に移動する場合の画像シーケンスなどに完全に適応させるのは困難である。
【０００５】
従って、より柔軟な方法を持つためのニーズがあり、一方で、多くのタイプの入力される画像シーケンスに最適な方法、他方では、これに対応する装置のニーズがある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、上述のような装置を提示することにある。
【課題を解決するための手段】
【０００７】
従って、本発明は、冒頭で述べたような装置に関し、
本装置は、更に、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期段と、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１の段と、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２の段と、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３の段とを備える。
【０００８】
また、本発明の目的は、このような装置で実行することができる方法を提供することにもある。
【０００９】
従って、本発明は、冒頭で述べたような装置に関し、
本方法は、更に、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期ステップと、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１のステップと、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２のステップと、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３のステップとを含む。
【００１０】
本方法の最重要の特徴要素によれば、画像シーケンスの本質的な特性を用いて評価し、安定化効率を高めることができる。
【００１１】
実際に、本方法を実現するために、“ループストラテジ”を用いる。本方法の最重要の特徴要素によれば、このループのキーツールは、ユーザによって安定化に悪影響を及ぼしうる画像シーケンスに特有の、幾つかの関連パラメータの評価ということになる。
【００１２】
本目標を達成するため、まず、オリジナルのジッタ化した画像シーケンス（又は、その一部）を、安定化アルゴリズムのデフォルトのバージョンによって安定化させる。更に、安定化した画像シーケンスのグローバルな動き成分及び周波数の高い特性を考慮して、安定化アルゴリズムにおける閾値／パラメータ値を、より安定化を得るように適合させる。
【００１３】
本発明による方法は、動的なビデオ安定化ツールとして、ハイエンド／ローエンド／ミドルエンドのディジタルカメラに適用することができ、携帯電話、キーリング（Ｋｅｙ‐ｒｉｎｇ）、ＰＣプログラムなどで実現することができる。
【００１４】
本発明の他の特徴は、従属請求項で見つけることができる。
【００１５】
本発明の追加の目的、特徴及び利点は、図面を参照して、以下の詳細な説明から明らかになる。
【発明を実施するための最良の形態】
【００１６】
以下の説明では、当業者に周知の機能又は構成の詳しい説明は省略する。不必要な説明は、本発明の理解をあいまいにしうるためである。
【００１７】
本発明の範囲を制限することなく、本提案を定めるために、以下、ジッタ化した画像が動画カメラ（図示せず）によって生成されたものとする。オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方は、メモリ手段、各モジュールに格納することができる。
【００１８】
図１は、本発明によるディジタル画像安定化（ＤＩＳ）の方法を実現するシステム１のアーキテクチャを図解的に示す（以下、簡単化のために、ディジタル画像安定化の方法を、“ＤＩＳ”と称する）。
【００１９】
モジュール１１は、安定化アルゴリズムを実装し、且つ、安定化アルゴリズムフィルタ（モジュール１１０）をも実装しており、以下詳述する。
【００２０】
安定化アルゴリズムモジュール１１は、オリジナル、即ち動画カメラによって生成されたジッタ化した画像シーケンス１２を作成する。この画像は、“マクロブロック”と称する大きめの画素領域で分割することができる。安定化アルゴリズムモジュール１１から来る幾つかの関連の画像シーケンスのパラメータ、即ち、以下“ＧＭＶ”と称するグローバル動きベクトル、又は以下“ＢＭＶ”と称するマクロブロック当たりの動きベクトルは、画像シーケンスパラメータモジュール１３に送出され、そこに格納される。次に、これらパラメータは、評価モジュール１５（出力Ｏ１３）に送出され、且つ評価される（評価モジュール１５の種々の回路は、図２で詳述する）。この評価の結果に依存して、安定化アルゴリズムの新たな閾値を調整し、より一層オリジナルの画像シーケンスを安定化させるようにする。
【００２１】
評価モジュール１５で実行した解析は、（オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方における）異なる原理の測定値、つまり連続画像の“ピーク信号・雑音比”、即ち“ＰＳＮＲ”と称される周知のパラメータ、画像シーケンスに沿った動きベクトルの周波数解析値、及び現行の画像の動きパラメータの解析値を用いることによって、ビデオの安定化品質の客観的な測度を導出する。この演算は、各フレーム単位に行われ、詳細は後述する。この評価に基づいて、アルゴリズムの安定化パラメータを、動的に（各フレーム単位に、又はＮ個のフレームからなるグループごとに）調整する。また、安定化アルゴリズムの動き成分／ジッタのフィルタリング部分の可能な調整、及び安定化アルゴリズムにおける評価したパラメータと、そのインタラクションとの関係は、詳細に後述する。
【００２２】
ここで、詳細な図２に関連して、評価モジュール１５を説明する。既に言及したように、解析は、評価モジュール１５で行われ、（オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方において）異なる原理の測定値、即ち連続画像の“ＰＳＮＲ”と称されるパラメータ、画像シーケンスに沿った“ＧＭＶ”の周波数解析値を用いることによって、ビデオの安定化品質の客観的な測度を導出する。
【００２３】
モジュール１４（図１を参照）は、Ｎ個のフレームを格納するメモリ手段を備える。特に、オリジナルの画像シーケンス１０からのＮ個のフレームを格納するオリジナル用バッファ１４０と、安定化した画像シーケンス１２からのＮ個のフレームを格納する安定化用バッファ１４１とを備える。これらの画像シーケンスのＮ個のフレームは、評価モジュール１５（それぞれ出力Ｏ１４０及びＯ１４１）に送られ、特に評価モジュール１５に設けられた解析ブロック１６に送られる。
【００２４】
オリジナルの画像シーケンス１０及び安定化画像シーケンス１２の動き成分の周波数、知覚的考察、及び定型手段の“フレーム間の変換のフィデリティ度（Ｉｎｔｅｒ‐ｆｒａｍｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｆｉｄｅｌｉｔｙ ｍｅａｓｕｒｅ）” に基づくパラメータの組み合わせを用いることにより、数個の測度を組み合わせて、以下“ＳＱＭ”と称する“安定化品質メトリック”を作成する。
【００２５】
特に、本発明“客観的なビデオの安定化品質測定システム”の好適な実施例によれば、“ＳＱＭ”を、以下の通り測定する。
【００２６】
連続する“ＧＭＶ”の値に基づく動き成分スペクトラムは、（本例において）代表的には１Ｈｚより高い高周波用、及び１Ｈｚ以下の低周波用の、２つのエネルギーバンドに分割する。
【００２７】
従って、Ｅｓｔｉｍａｔｉｏｎ＿ｏｆ＿Ｓｔａｂｉｌｉｚａｔｉｏｎ＿Ｑｕａｌｉｔｙと称する安定化品質の評価は、次式によって与えられる。
【００２８】
【数１】
【００２９】
ここに、α１及びα2は、フレーム間変換フィデリティ（ＩＴＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、α０は、トータルの測度とするようなＩＴＦの全体的な重要度を表し、β１及びβ２は、高周波低減（ｒｅｄＨＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、β０は、トータルの測度とするようなｒｅｄＨＦの全体的な重要度を表し、γ１及びγ２は、低周波低減（ｒｅｄＬＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、γ０は、トータルの測度とするようなｒｅｄＬＦの全体的な重要度をそれぞれ表す。これらのパラメータは、実験的に決定する。
【００３０】
以下、他のパラメータを詳述する。
【００３１】
Ａａｂｏｖｅ及びＡｂｅｌｏｗ は、トータルの動き成分エネルギーと比較した、双方のエネルギーバンドにおけるエネルギーの割合（それぞれ、例えば１Ｈｚの上側／下側）を表す。尚、ＨＦ＿Ｅｎｅｒｇｙ及びＬＦ＿Ｅｎｅｒｇｙは、高周波及び低周波エネルギーの絶対レベルとする。
【００３２】
前記パラメータは、以下の２つの式で与えられる。
【００３３】
【数２】
【００３４】
ｒｅｄＨＦ及びｒｅｄＬＦは、それぞれ考慮した２つ周波数帯にわたってオリジナルの画像シーケンス１０と安定化した画像シーケンス１２との間の動き成分エネルギーの低減量を表す。これは、ジッタ低減用の、特に高周波における第１のインジケータとすることができる。
【００３５】
ＩＴＦは、２つの連続したフレーム間の輝度データで計算された標準の“ＰＳＮＲ”となるインデックスを表す。最終的なインデックスは、全体のスライディング・テストウィンドウ（即ち、連続的な測定の場合における全体の画像シーケンス）にわたって、平均されたものとなる。
【００３６】
式（４）は、連続したフレーム間の“ＰＳＮＲ”の表現式である。
【００３７】
【数３】
【００３８】
ａｉｊ及びｂｉｊは、それぞれ現在のフレーム、及び連続したフレームの対応画素である。
【００３９】
“フレーム間変換フィデリティ”、即ちＩＴＦ度は、Ｋを任意のランクとして画像シーケンスの連続した画像間の“ＰＳＮＲ”の値（ＰＳＮＲ（ＩＫ， ＩＫ＋１））から計算される。
【００４０】
ＩＴＦのインデックスは、式（５）によって与えられる。
【００４１】
【数４】
【００４２】
ここに、ｎｂ＿ｆｒａｍｅは、画像シーケンスのテストした部分のフレーム数を表す。
【００４３】
上述したパラメータは、モジュール１３から受信した画像シーケンスパラメータ（図１：出力Ｏ１３）、オリジナル用バッファ１４０から受信したオリジナルのフレーム（出力Ｏ１４０）及び安定化用バッファ（出力Ｏ１４１）を考慮して、解析ブロック１６（図２）で計算される。前記パラメータは、メモリ手段１６０（ＩＴＦ），１６１（ｒｅｄＨＦ），１６２（ｒｅｄＬＦ）、１６３（Ａａｂｏｖｅ），１６４（Ａｂｅｌｏｗ）に格納される。上述のメモリ手段の内容は、測度計算モジュール１７に抄出される。
【００４４】
ここで、図１のモジュール１１に実装される安定化アルゴリズムを詳述する。通常、安定化アルゴリズムは、まず、或るフレームから次のフレームへのグローバルなカメラの動き成分を推定し、“グローバル動きベクトル”、即ち“ＧＭＶ”を導出する。次に、この動き成分をフィルタリングして、不所望な成分、即ちジッタを除去する必要がある。このような成分は、意図的な動き成分とは分離する必要がある。基本的に、絶対変位ベクトル値を画像シーケンスにわたって考慮し、且つローパスフィルタリングを適用することによって、通常の傾向を保守しながら、高周波ジッタを除去することができる。
【００４５】
本発明の特徴要素によれば、２つの第１のフィルタを用い、以下、それぞれフィルタＦＩＬＴＥＲＡ及びＦＩＬＴＥＲＢと称する。“ＧＭＶ”のローパスフィルタリングの間、“ＧＭＶ”の曲線を、ｎ個のフレームにわたる時間を介してフィルタリングして、累積する。適用すべき補正量は、オリジナルの画像シーケンスの累積した曲線ＡＭＶ（ｎ）の差分値である。曲線ＡＭＶ（ｎ）は、次式に示される。
【００４６】
【数５】
【００４７】
また、変形した累積化曲線ＡＭＶｍｏｄ（ｎ）は、次式に示される。
【００４８】
【数６】
【００４９】
２つの移動平均フィルタリングモードを適用可能にする。
【００５０】
フィルタＦＩＬＴＥＲＡで、時間ｔの移動平均フィルタリングを実行する。“ＧＭＶ”を、Ｍ個の前の“ＧＭＶ”の平均値に置き換えることにより、“ＧＭＶ”の高周波成分のフィルタリングは、次式のようになる。
【００５１】
【数７】
【００５２】
フィルタＦＩＬＴＥＲＢで、時間ｔのダブルパス移動平均フィルタリングを実行する。移動平均フィルタリングした“ＧＭＶ”であるＧＭＶ＿ｆｉｌｔｔは、同じサンプリングウィンドウでもう一度、次式のように平均処理する。
【００５３】
【数８】
【００５４】
このダブルフィルタリングした“ＧＭＶ”は、単純な移動平均フィルタリングよりも、さらに平滑化した結果をもたらす。
【００５５】
次に、“動きベクトル統合”は、他の２つの動きフィルタ、即ちＦＩＬＴＥＲＣ及びＦＩＬＴＥＲＤの基礎をもたらす。この場合、次式のように、“ＧＭＶ”は、減衰係数で統合され、これにより生成される統合した動きベクトル（“ＩＭＶ”）は、現行の入力画像に適用するための最終的な動きベクトル補正を示し、さらに安定化した画像シーケンスを構成することができる。
【００５６】
【数９】
【００５７】
ここに、αは、減衰係数＜１である（減衰係数は、所望の安定化の程度に依存して、０〜１で選定する)。
【００５８】
また、本発明の方法の特徴要素によれば、次式を満たすように、適応型の減衰係数αを用いることができる。
【００５９】
【数１０】
【００６０】
この減衰係数αは、最後の２つの“ＧＭＶ”の合計値に依存するものにする。これは、意図的な動き成分の始まりの追跡を可能にする。αと（ＧＭＶｔ＋ＧＭＶｔ−１）との間の対応関係を表す対応テーブルは、以下のように構築する。
【００６１】
“ＧＭＶ”の低い合計値は、高い減衰係数値をもたらす。高い減衰値は、静的で意図的なカメラを想定する場合のように画像シーケンスを強めに安定させる。
【００６２】
“ＧＭＶ”の高い合計値は、低い減衰係数値をもたらし、低い減衰値は、画像シーケンスをオリジナルの動き成分に、より追従させる。
【００６３】
２つの対応テーブルを、以下のように用いる。
【００６４】
ＦＩＬＴＥＲＣの場合、対応テーブルは、安定化した画像シーケンスにおけるオリジナルの動き成分をできるだけ安定化させようとするように構成される。包括的には、このテーブルは、高い減衰係数値で満たすようにする。
【００６５】
ＦＩＬＴＥＲＤの場合、対応テーブルは、安定化した画像シーケンスにおける大きい意図的な動き成分を、より高速に追跡可能にするように構成される（このテーブルは、フィルタＣの場合よりも、わずかに低い減衰係数値で満たすようにする）。
【００６６】
ここで、詳細にループ・インタラクションについて説明する。
【００６７】
安定化アルゴリズムで用いられるデフォルトの“動きフィルタリング”は、ＦＩＬＴＥＲＣである。評価結果に依存して、安定化アルゴリズムは、異なる動きフィルタを用いることができる。
【００６８】
まず、安定化アルゴリズムは、評価モジュール１５によって、より正確には解析ブロックモジュール１６によって、測度、即ちマークが与えられる（図２）。前記測度は、既に説明したように、モジュール１６０〜１６４からパラメータＩＴＦなどを受信する測度計算モジュール１７によって計算される。測度計算モジュール１７の出力は、比較モジュール１９に送出され、所定の閾値ＴＨＲと比較される。測度が、限界閾値ＴＨＲを超えない場合には、安定化させる結果を満足しており、変更不要であることを意味しており、即ち、枝路“ＹＥＳ”での第１の出力の信号Ｏ１５を、安定化アルゴリズムモジュール１１に位置付けられたフィルタサブモジュール１１０に送出する。
【００６９】
測度が、限界リミット閾値ＴＨＲを超える場合は、画像シーケンスは、別のフィルタを用いて処理され、即ち、枝路“ＮＯ”に進む。比較モジュール１９における第２の出力の信号は、パラメータＡａｂｏｖｅ及びＡｂｅｌｏｗをも受信するフィルタアクション解析モジュール１８に送出される。
【００７０】
ここでの切り替え処理は、以下のようである。
【００７１】
Ａｂｅｌｏｗ＞Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＡ又はＦＩＬＴＥＲＢのフィルタを用い、更にＡａｂｏｖｅ＞Ｔ２であれば、フィルタＦＩＬＴＥＲＢを用い、それ以外はフィルタＦＩＬＴＥＲＡを用いる。
【００７２】
Ａｂｅｌｏｗ＜Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＣ又はＦＩＬＴＥＲＤのフィルタ用い、更にＡａｂｏｖｅ＞Ｔ３であれば、フィルタＦＩＬＴＥＲＣを用い、それ以外はフィルタＦＩＬＴＥＲＤを用いる。
【００７３】
Ｔ１，Ｔ２及びＴ３は、実験的に決定される閾値である。
【００７４】
上述の計算結果、即ち“Ｓｅｎｄ＿Ｆｉｌｔｅｒ＿Ａｃｔｉｏｎ ｍｅｓｓａｇｅ”と称する、予め定めたフォーマットを有する出力Ｏ’１５の信号は、フィルタ制御モジュール１１０に送出される。
【００７５】
次に、安定化アルゴリズムモジュール１１は、出力Ｏ１５から受信した信号の値と、評価モジュール１５の出力Ｏ’１５から受信した信号の値のいずれかを考慮に入れて、グローバルなカメラの動き成分をフィルタリングし、不所望なジッタを排除する。
【００７６】
従って、本発明の方法における最重要の特徴要素によれば、前記排除は、画像の画像シーケンスの本質的な特性を用いることによって、且つそれらを評価することによって為され、安定化を改善する。
【００７７】
本発明の最適な使用方法は、閉ループを用いることでループ・インタラクションを実現することである。図３は、前記最適な使用方法を説明するタイム・チャートである。ループ・インタラクションは、閉ループを用いて、即ち“安定化効率測定スライディングウィンドウ”Ｗｉ（ｉは、任意のランク）と称する所定数の連続したフレーム（図３に示す例では６個）に基づく測度により動的に行う。
【００７８】
初期フレームは、ＩＦ（上側の線）を基準とし、第１の安定化フレームは、ＳＦ１（下側の線）を基準とする。第１のウィンドウは、Ｗ１を基準とする。このウィンドウの全てのフレームにとって、ループ内の正しい安定化制御を達成するのに十分に処理したフレームがまだない。Ｗ２（図３の点線）を基準とした第２のウィンドウにおける最後のフレームＦから、解析ウィンドウが満たされることにより、ループ内の安定化がアクティブになる。
【００７９】
各ウィンドウは、同一数のタイムスロット（各タイムスロットは、２つの連続するフレームの時間間隔に対応する）、即ち、同一のフレーム数からなるが、或る発生したフレームから次に発生したフレームまでその時間間隔でシフトする。例えば、ウィンドウＷ１は、オリジナルのフレーム番号１（ＩＦ）〜６、及び、安定化のフレーム番号１〜６からなり、ウィンドウＷ２は、オリジナル及び安定化のフレーム番号２〜７（Ｆ）等からなる。
【００８０】
上述したメカニズムは、モジュール１１に実装された安定化アルゴリズムの一部をフィルタリングしながらリアルタイムで当該動き成分を変えることができる（図１）。上述した説明で、本発明が設定した目標を十分に達成することができることは明らかである。本発明によるＤＩＳ方法は、特に動的なビデオ安定化ツールとしてローエンド／ミドルエンドのディジタルビデオカメラに適用するのが好適であるが、携帯電話、キーリング、ＰＣプログラム等にも構築させることができる。
【００８１】
しかしながら、本発明は前述の実施例及び明示した変形例に限定されるものではなく、本発明の趣旨及び範囲から逸脱することなく変更することができることは明らかである。特に、ハードウェア又はソフトウェア、或いはその双方のアイテムによって、本発明による方法の機能を実施する多数の方法があり、ハードウェア又はソフトウェアの１つの項目が幾つかの機能を行うこともできる。ハードウェア又はソフトウェア、或いはその双方の組み合わせが機能を行うようにすることを除外するものではなく、本発明によるＤＩＳ方法を変更することなく、単一機能を形成することもできる。前記ハードウェア又はソフトウェアのアイテムは、有線の電子回路によるか、又は適切にプログラムした集積回路などによって、それぞれ幾つかの態様で実現することもできる。
【図面の簡単な説明】
【００８２】
【図１】本発明の好適な実施例によるディジタル画像安定化の方法を実現するシステムのアーキテクチャを図解的に示す図である。
【図２】“評価モジュール”と称する、図１の１つのモジュールを詳細な態様で図解的に示す図である。
【図３】本発明におけるループの最適な使用方法を示すタイム・チャートである。
【技術分野】
【０００１】
本発明は、不所望なカメラの動き成分、いわゆるジッタを、前記カメラで発生するオリジナルの画像シーケンスから除去し、安定化した画像シーケンスを得るディジタル画像安定化のための方法及び装置に関し、前記オリジナルの画像シーケンスを安定化アルゴリズムに供給して、前記ジッタを除去するようにする。
【０００２】
本方法及び装置は、例えば、ディジタルのローエンド／ミドルエンドの動画カメラ又は携帯電話に用いることができる。
【背景技術】
【０００３】
周知なように、ディジタル画像安定化方法の目標は、不所望なカメラの動き成分、即ちジッタを除去することにより、必要なカメラの動き成分だけを表示する画像シーケンスを生成して、より快い見応えを提供することにある。ジッタとは、特に平行移動及び／又は回転などの、カメラの意図的な動き成分に加えられる、全ての不所望な位置変動の画像として規定する。
【０００４】
安定化アルゴリズムは、その処理によって固い画像になることがよくある。これらのアルゴリズムが、全ての種類の安定させるべき入力画像シーケンス、例えば単一ビューポイント、パノラマショット、ユーザが前方又は後方に移動する場合の画像シーケンスなどに完全に適応させるのは困難である。
【０００５】
従って、より柔軟な方法を持つためのニーズがあり、一方で、多くのタイプの入力される画像シーケンスに最適な方法、他方では、これに対応する装置のニーズがある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、上述のような装置を提示することにある。
【課題を解決するための手段】
【０００７】
従って、本発明は、冒頭で述べたような装置に関し、
本装置は、更に、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期段と、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１の段と、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２の段と、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３の段とを備える。
【０００８】
また、本発明の目的は、このような装置で実行することができる方法を提供することにもある。
【０００９】
従って、本発明は、冒頭で述べたような装置に関し、
本方法は、更に、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期ステップと、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１のステップと、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２のステップと、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３のステップとを含む。
【００１０】
本方法の最重要の特徴要素によれば、画像シーケンスの本質的な特性を用いて評価し、安定化効率を高めることができる。
【００１１】
実際に、本方法を実現するために、“ループストラテジ”を用いる。本方法の最重要の特徴要素によれば、このループのキーツールは、ユーザによって安定化に悪影響を及ぼしうる画像シーケンスに特有の、幾つかの関連パラメータの評価ということになる。
【００１２】
本目標を達成するため、まず、オリジナルのジッタ化した画像シーケンス（又は、その一部）を、安定化アルゴリズムのデフォルトのバージョンによって安定化させる。更に、安定化した画像シーケンスのグローバルな動き成分及び周波数の高い特性を考慮して、安定化アルゴリズムにおける閾値／パラメータ値を、より安定化を得るように適合させる。
【００１３】
本発明による方法は、動的なビデオ安定化ツールとして、ハイエンド／ローエンド／ミドルエンドのディジタルカメラに適用することができ、携帯電話、キーリング（Ｋｅｙ‐ｒｉｎｇ）、ＰＣプログラムなどで実現することができる。
【００１４】
本発明の他の特徴は、従属請求項で見つけることができる。
【００１５】
本発明の追加の目的、特徴及び利点は、図面を参照して、以下の詳細な説明から明らかになる。
【発明を実施するための最良の形態】
【００１６】
以下の説明では、当業者に周知の機能又は構成の詳しい説明は省略する。不必要な説明は、本発明の理解をあいまいにしうるためである。
【００１７】
本発明の範囲を制限することなく、本提案を定めるために、以下、ジッタ化した画像が動画カメラ（図示せず）によって生成されたものとする。オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方は、メモリ手段、各モジュールに格納することができる。
【００１８】
図１は、本発明によるディジタル画像安定化（ＤＩＳ）の方法を実現するシステム１のアーキテクチャを図解的に示す（以下、簡単化のために、ディジタル画像安定化の方法を、“ＤＩＳ”と称する）。
【００１９】
モジュール１１は、安定化アルゴリズムを実装し、且つ、安定化アルゴリズムフィルタ（モジュール１１０）をも実装しており、以下詳述する。
【００２０】
安定化アルゴリズムモジュール１１は、オリジナル、即ち動画カメラによって生成されたジッタ化した画像シーケンス１２を作成する。この画像は、“マクロブロック”と称する大きめの画素領域で分割することができる。安定化アルゴリズムモジュール１１から来る幾つかの関連の画像シーケンスのパラメータ、即ち、以下“ＧＭＶ”と称するグローバル動きベクトル、又は以下“ＢＭＶ”と称するマクロブロック当たりの動きベクトルは、画像シーケンスパラメータモジュール１３に送出され、そこに格納される。次に、これらパラメータは、評価モジュール１５（出力Ｏ１３）に送出され、且つ評価される（評価モジュール１５の種々の回路は、図２で詳述する）。この評価の結果に依存して、安定化アルゴリズムの新たな閾値を調整し、より一層オリジナルの画像シーケンスを安定化させるようにする。
【００２１】
評価モジュール１５で実行した解析は、（オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方における）異なる原理の測定値、つまり連続画像の“ピーク信号・雑音比”、即ち“ＰＳＮＲ”と称される周知のパラメータ、画像シーケンスに沿った動きベクトルの周波数解析値、及び現行の画像の動きパラメータの解析値を用いることによって、ビデオの安定化品質の客観的な測度を導出する。この演算は、各フレーム単位に行われ、詳細は後述する。この評価に基づいて、アルゴリズムの安定化パラメータを、動的に（各フレーム単位に、又はＮ個のフレームからなるグループごとに）調整する。また、安定化アルゴリズムの動き成分／ジッタのフィルタリング部分の可能な調整、及び安定化アルゴリズムにおける評価したパラメータと、そのインタラクションとの関係は、詳細に後述する。
【００２２】
ここで、詳細な図２に関連して、評価モジュール１５を説明する。既に言及したように、解析は、評価モジュール１５で行われ、（オリジナルの画像シーケンス１０及び安定化した画像シーケンス１２の双方において）異なる原理の測定値、即ち連続画像の“ＰＳＮＲ”と称されるパラメータ、画像シーケンスに沿った“ＧＭＶ”の周波数解析値を用いることによって、ビデオの安定化品質の客観的な測度を導出する。
【００２３】
モジュール１４（図１を参照）は、Ｎ個のフレームを格納するメモリ手段を備える。特に、オリジナルの画像シーケンス１０からのＮ個のフレームを格納するオリジナル用バッファ１４０と、安定化した画像シーケンス１２からのＮ個のフレームを格納する安定化用バッファ１４１とを備える。これらの画像シーケンスのＮ個のフレームは、評価モジュール１５（それぞれ出力Ｏ１４０及びＯ１４１）に送られ、特に評価モジュール１５に設けられた解析ブロック１６に送られる。
【００２４】
オリジナルの画像シーケンス１０及び安定化画像シーケンス１２の動き成分の周波数、知覚的考察、及び定型手段の“フレーム間の変換のフィデリティ度（Ｉｎｔｅｒ‐ｆｒａｍｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｆｉｄｅｌｉｔｙ ｍｅａｓｕｒｅ）” に基づくパラメータの組み合わせを用いることにより、数個の測度を組み合わせて、以下“ＳＱＭ”と称する“安定化品質メトリック”を作成する。
【００２５】
特に、本発明“客観的なビデオの安定化品質測定システム”の好適な実施例によれば、“ＳＱＭ”を、以下の通り測定する。
【００２６】
連続する“ＧＭＶ”の値に基づく動き成分スペクトラムは、（本例において）代表的には１Ｈｚより高い高周波用、及び１Ｈｚ以下の低周波用の、２つのエネルギーバンドに分割する。
【００２７】
従って、Ｅｓｔｉｍａｔｉｏｎ＿ｏｆ＿Ｓｔａｂｉｌｉｚａｔｉｏｎ＿Ｑｕａｌｉｔｙと称する安定化品質の評価は、次式によって与えられる。
【００２８】
【数１】
【００２９】
ここに、α１及びα2は、フレーム間変換フィデリティ（ＩＴＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、α０は、トータルの測度とするようなＩＴＦの全体的な重要度を表し、β１及びβ２は、高周波低減（ｒｅｄＨＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、β０は、トータルの測度とするようなｒｅｄＨＦの全体的な重要度を表し、γ１及びγ２は、低周波低減（ｒｅｄＬＦ）を考慮した、Ａｂｅｌｏｗ 及びＡａｂｏｖｅのそれぞれの重要度を表し、γ０は、トータルの測度とするようなｒｅｄＬＦの全体的な重要度をそれぞれ表す。これらのパラメータは、実験的に決定する。
【００３０】
以下、他のパラメータを詳述する。
【００３１】
Ａａｂｏｖｅ及びＡｂｅｌｏｗ は、トータルの動き成分エネルギーと比較した、双方のエネルギーバンドにおけるエネルギーの割合（それぞれ、例えば１Ｈｚの上側／下側）を表す。尚、ＨＦ＿Ｅｎｅｒｇｙ及びＬＦ＿Ｅｎｅｒｇｙは、高周波及び低周波エネルギーの絶対レベルとする。
【００３２】
前記パラメータは、以下の２つの式で与えられる。
【００３３】
【数２】
【００３４】
ｒｅｄＨＦ及びｒｅｄＬＦは、それぞれ考慮した２つ周波数帯にわたってオリジナルの画像シーケンス１０と安定化した画像シーケンス１２との間の動き成分エネルギーの低減量を表す。これは、ジッタ低減用の、特に高周波における第１のインジケータとすることができる。
【００３５】
ＩＴＦは、２つの連続したフレーム間の輝度データで計算された標準の“ＰＳＮＲ”となるインデックスを表す。最終的なインデックスは、全体のスライディング・テストウィンドウ（即ち、連続的な測定の場合における全体の画像シーケンス）にわたって、平均されたものとなる。
【００３６】
式（４）は、連続したフレーム間の“ＰＳＮＲ”の表現式である。
【００３７】
【数３】
【００３８】
ａｉｊ及びｂｉｊは、それぞれ現在のフレーム、及び連続したフレームの対応画素である。
【００３９】
“フレーム間変換フィデリティ”、即ちＩＴＦ度は、Ｋを任意のランクとして画像シーケンスの連続した画像間の“ＰＳＮＲ”の値（ＰＳＮＲ（ＩＫ， ＩＫ＋１））から計算される。
【００４０】
ＩＴＦのインデックスは、式（５）によって与えられる。
【００４１】
【数４】
【００４２】
ここに、ｎｂ＿ｆｒａｍｅは、画像シーケンスのテストした部分のフレーム数を表す。
【００４３】
上述したパラメータは、モジュール１３から受信した画像シーケンスパラメータ（図１：出力Ｏ１３）、オリジナル用バッファ１４０から受信したオリジナルのフレーム（出力Ｏ１４０）及び安定化用バッファ（出力Ｏ１４１）を考慮して、解析ブロック１６（図２）で計算される。前記パラメータは、メモリ手段１６０（ＩＴＦ），１６１（ｒｅｄＨＦ），１６２（ｒｅｄＬＦ）、１６３（Ａａｂｏｖｅ），１６４（Ａｂｅｌｏｗ）に格納される。上述のメモリ手段の内容は、測度計算モジュール１７に抄出される。
【００４４】
ここで、図１のモジュール１１に実装される安定化アルゴリズムを詳述する。通常、安定化アルゴリズムは、まず、或るフレームから次のフレームへのグローバルなカメラの動き成分を推定し、“グローバル動きベクトル”、即ち“ＧＭＶ”を導出する。次に、この動き成分をフィルタリングして、不所望な成分、即ちジッタを除去する必要がある。このような成分は、意図的な動き成分とは分離する必要がある。基本的に、絶対変位ベクトル値を画像シーケンスにわたって考慮し、且つローパスフィルタリングを適用することによって、通常の傾向を保守しながら、高周波ジッタを除去することができる。
【００４５】
本発明の特徴要素によれば、２つの第１のフィルタを用い、以下、それぞれフィルタＦＩＬＴＥＲＡ及びＦＩＬＴＥＲＢと称する。“ＧＭＶ”のローパスフィルタリングの間、“ＧＭＶ”の曲線を、ｎ個のフレームにわたる時間を介してフィルタリングして、累積する。適用すべき補正量は、オリジナルの画像シーケンスの累積した曲線ＡＭＶ（ｎ）の差分値である。曲線ＡＭＶ（ｎ）は、次式に示される。
【００４６】
【数５】
【００４７】
また、変形した累積化曲線ＡＭＶｍｏｄ（ｎ）は、次式に示される。
【００４８】
【数６】
【００４９】
２つの移動平均フィルタリングモードを適用可能にする。
【００５０】
フィルタＦＩＬＴＥＲＡで、時間ｔの移動平均フィルタリングを実行する。“ＧＭＶ”を、Ｍ個の前の“ＧＭＶ”の平均値に置き換えることにより、“ＧＭＶ”の高周波成分のフィルタリングは、次式のようになる。
【００５１】
【数７】
【００５２】
フィルタＦＩＬＴＥＲＢで、時間ｔのダブルパス移動平均フィルタリングを実行する。移動平均フィルタリングした“ＧＭＶ”であるＧＭＶ＿ｆｉｌｔｔは、同じサンプリングウィンドウでもう一度、次式のように平均処理する。
【００５３】
【数８】
【００５４】
このダブルフィルタリングした“ＧＭＶ”は、単純な移動平均フィルタリングよりも、さらに平滑化した結果をもたらす。
【００５５】
次に、“動きベクトル統合”は、他の２つの動きフィルタ、即ちＦＩＬＴＥＲＣ及びＦＩＬＴＥＲＤの基礎をもたらす。この場合、次式のように、“ＧＭＶ”は、減衰係数で統合され、これにより生成される統合した動きベクトル（“ＩＭＶ”）は、現行の入力画像に適用するための最終的な動きベクトル補正を示し、さらに安定化した画像シーケンスを構成することができる。
【００５６】
【数９】
【００５７】
ここに、αは、減衰係数＜１である（減衰係数は、所望の安定化の程度に依存して、０〜１で選定する)。
【００５８】
また、本発明の方法の特徴要素によれば、次式を満たすように、適応型の減衰係数αを用いることができる。
【００５９】
【数１０】
【００６０】
この減衰係数αは、最後の２つの“ＧＭＶ”の合計値に依存するものにする。これは、意図的な動き成分の始まりの追跡を可能にする。αと（ＧＭＶｔ＋ＧＭＶｔ−１）との間の対応関係を表す対応テーブルは、以下のように構築する。
【００６１】
“ＧＭＶ”の低い合計値は、高い減衰係数値をもたらす。高い減衰値は、静的で意図的なカメラを想定する場合のように画像シーケンスを強めに安定させる。
【００６２】
“ＧＭＶ”の高い合計値は、低い減衰係数値をもたらし、低い減衰値は、画像シーケンスをオリジナルの動き成分に、より追従させる。
【００６３】
２つの対応テーブルを、以下のように用いる。
【００６４】
ＦＩＬＴＥＲＣの場合、対応テーブルは、安定化した画像シーケンスにおけるオリジナルの動き成分をできるだけ安定化させようとするように構成される。包括的には、このテーブルは、高い減衰係数値で満たすようにする。
【００６５】
ＦＩＬＴＥＲＤの場合、対応テーブルは、安定化した画像シーケンスにおける大きい意図的な動き成分を、より高速に追跡可能にするように構成される（このテーブルは、フィルタＣの場合よりも、わずかに低い減衰係数値で満たすようにする）。
【００６６】
ここで、詳細にループ・インタラクションについて説明する。
【００６７】
安定化アルゴリズムで用いられるデフォルトの“動きフィルタリング”は、ＦＩＬＴＥＲＣである。評価結果に依存して、安定化アルゴリズムは、異なる動きフィルタを用いることができる。
【００６８】
まず、安定化アルゴリズムは、評価モジュール１５によって、より正確には解析ブロックモジュール１６によって、測度、即ちマークが与えられる（図２）。前記測度は、既に説明したように、モジュール１６０〜１６４からパラメータＩＴＦなどを受信する測度計算モジュール１７によって計算される。測度計算モジュール１７の出力は、比較モジュール１９に送出され、所定の閾値ＴＨＲと比較される。測度が、限界閾値ＴＨＲを超えない場合には、安定化させる結果を満足しており、変更不要であることを意味しており、即ち、枝路“ＹＥＳ”での第１の出力の信号Ｏ１５を、安定化アルゴリズムモジュール１１に位置付けられたフィルタサブモジュール１１０に送出する。
【００６９】
測度が、限界リミット閾値ＴＨＲを超える場合は、画像シーケンスは、別のフィルタを用いて処理され、即ち、枝路“ＮＯ”に進む。比較モジュール１９における第２の出力の信号は、パラメータＡａｂｏｖｅ及びＡｂｅｌｏｗをも受信するフィルタアクション解析モジュール１８に送出される。
【００７０】
ここでの切り替え処理は、以下のようである。
【００７１】
Ａｂｅｌｏｗ＞Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＡ又はＦＩＬＴＥＲＢのフィルタを用い、更にＡａｂｏｖｅ＞Ｔ２であれば、フィルタＦＩＬＴＥＲＢを用い、それ以外はフィルタＦＩＬＴＥＲＡを用いる。
【００７２】
Ａｂｅｌｏｗ＜Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＣ又はＦＩＬＴＥＲＤのフィルタ用い、更にＡａｂｏｖｅ＞Ｔ３であれば、フィルタＦＩＬＴＥＲＣを用い、それ以外はフィルタＦＩＬＴＥＲＤを用いる。
【００７３】
Ｔ１，Ｔ２及びＴ３は、実験的に決定される閾値である。
【００７４】
上述の計算結果、即ち“Ｓｅｎｄ＿Ｆｉｌｔｅｒ＿Ａｃｔｉｏｎ ｍｅｓｓａｇｅ”と称する、予め定めたフォーマットを有する出力Ｏ’１５の信号は、フィルタ制御モジュール１１０に送出される。
【００７５】
次に、安定化アルゴリズムモジュール１１は、出力Ｏ１５から受信した信号の値と、評価モジュール１５の出力Ｏ’１５から受信した信号の値のいずれかを考慮に入れて、グローバルなカメラの動き成分をフィルタリングし、不所望なジッタを排除する。
【００７６】
従って、本発明の方法における最重要の特徴要素によれば、前記排除は、画像の画像シーケンスの本質的な特性を用いることによって、且つそれらを評価することによって為され、安定化を改善する。
【００７７】
本発明の最適な使用方法は、閉ループを用いることでループ・インタラクションを実現することである。図３は、前記最適な使用方法を説明するタイム・チャートである。ループ・インタラクションは、閉ループを用いて、即ち“安定化効率測定スライディングウィンドウ”Ｗｉ（ｉは、任意のランク）と称する所定数の連続したフレーム（図３に示す例では６個）に基づく測度により動的に行う。
【００７８】
初期フレームは、ＩＦ（上側の線）を基準とし、第１の安定化フレームは、ＳＦ１（下側の線）を基準とする。第１のウィンドウは、Ｗ１を基準とする。このウィンドウの全てのフレームにとって、ループ内の正しい安定化制御を達成するのに十分に処理したフレームがまだない。Ｗ２（図３の点線）を基準とした第２のウィンドウにおける最後のフレームＦから、解析ウィンドウが満たされることにより、ループ内の安定化がアクティブになる。
【００７９】
各ウィンドウは、同一数のタイムスロット（各タイムスロットは、２つの連続するフレームの時間間隔に対応する）、即ち、同一のフレーム数からなるが、或る発生したフレームから次に発生したフレームまでその時間間隔でシフトする。例えば、ウィンドウＷ１は、オリジナルのフレーム番号１（ＩＦ）〜６、及び、安定化のフレーム番号１〜６からなり、ウィンドウＷ２は、オリジナル及び安定化のフレーム番号２〜７（Ｆ）等からなる。
【００８０】
上述したメカニズムは、モジュール１１に実装された安定化アルゴリズムの一部をフィルタリングしながらリアルタイムで当該動き成分を変えることができる（図１）。上述した説明で、本発明が設定した目標を十分に達成することができることは明らかである。本発明によるＤＩＳ方法は、特に動的なビデオ安定化ツールとしてローエンド／ミドルエンドのディジタルビデオカメラに適用するのが好適であるが、携帯電話、キーリング、ＰＣプログラム等にも構築させることができる。
【００８１】
しかしながら、本発明は前述の実施例及び明示した変形例に限定されるものではなく、本発明の趣旨及び範囲から逸脱することなく変更することができることは明らかである。特に、ハードウェア又はソフトウェア、或いはその双方のアイテムによって、本発明による方法の機能を実施する多数の方法があり、ハードウェア又はソフトウェアの１つの項目が幾つかの機能を行うこともできる。ハードウェア又はソフトウェア、或いはその双方の組み合わせが機能を行うようにすることを除外するものではなく、本発明によるＤＩＳ方法を変更することなく、単一機能を形成することもできる。前記ハードウェア又はソフトウェアのアイテムは、有線の電子回路によるか、又は適切にプログラムした集積回路などによって、それぞれ幾つかの態様で実現することもできる。
【図面の簡単な説明】
【００８２】
【図１】本発明の好適な実施例によるディジタル画像安定化の方法を実現するシステムのアーキテクチャを図解的に示す図である。
【図２】“評価モジュール”と称する、図１の１つのモジュールを詳細な態様で図解的に示す図である。
【図３】本発明におけるループの最適な使用方法を示すタイム・チャートである。
【特許請求の範囲】
【請求項１】
カメラによって生成されたオリジナルの画像シーケンスから、ジッタと称する不所望な前記カメラの動き成分を除去するディジタル画像安定化装置であって、前記オリジナルの画像シーケンスを、前記ジッタを除去するために安定化アルゴリズム部に供給する、ディジタル画像安定化装置において、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期段と、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１の段と、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２の段と、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを前記安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３の段とを備えることを特徴とする、ディジタル画像安定化装置。
【請求項２】
カメラによって生成されたオリジナルの画像シーケンスから、ジッタと称する不所望な前記カメラの動き成分を除去するディジタル画像安定化方法であって、前記オリジナルの画像シーケンスを、前記ジッタを除去するために前記安定化アルゴリズム部に供給する、ディジタル画像安定化方法において、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期ステップと、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１のステップと、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２のステップと、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを前記安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３のステップとを含むことを特徴とする、ディジタル画像安定化方法。
【請求項３】
前記画像は、大きめの画素領域である“マクロブロック”で分割され、前記パラメータは、グローバル動きベクトルと、“マクロブロック”のベクトルとを含むことを特徴とする、請求項２に記載のディジタル画像安定化方法。
【請求項４】
前記マークは、前記オリジナル及び前記安定化の画像シーケンスの双方で生成した測度の組み合わせに基づく安定化品質メトリックからなり、前記測度は、連続画像のピーク信号・雑音比、及び、所定数の画像の画像シーケンスに沿った動きベクトルの周波数解析値を少なくとも含み、前記測度は、前記オリジナル及び前記安定化の画像シーケンスの双方で測定されることを特徴とする、請求項３に記載のディジタル画像安定化方法。
【請求項５】
前記所定数の画像の画像シーケンスの動き成分スペクトラムを、低周波の第１のエネルギーバンド及び高周波の第２のエネルギーバンドからなる、予め定めた２つのエネルギーバンドに分割するステップを更に含み、
前記動き成分スペクトラムを、連続するグローバル動きベクトルから計算し、
前記安定化品質メトリックは、
前記第１及び第２のエネルギーバンドのそれぞれにおけるエネルギーの割合を表す、それぞれＡｂｅｌｏｗ及びＡａｂｏｖｅと称する、第１のパラメータ及び第２のパラメータと、
前記第１及び第２の周波数帯にわたって前記オリジナルの画像シーケンスと前記安定化した画像シーケンスとの間の動き成分エネルギーの低減量を表す第３及び第４のパラメータと、
前記所定数の画像の画像シーケンスにおける連続的な画像間のピーク信号・雑音比を表す、フレーム間変換フィデリティと称する第５のパラメータと、
からなる計算値、及びこれらの組み合わせに基づいていることを特徴とする、請求項４に記載のディジタル画像安定化方法。
【請求項６】
前記高周波は、１Ｈｚを越える周波数であり、前記低周波は、１Ｈｚ以下の周波数であることを特徴とする、請求項５に記載のディジタル画像安定化方法。
【請求項７】
ＦＩＬＴＥＲＣと称するデフォルトの動きフィルタにおける第１の特性の設定値は、前記カメラの動き成分の高安定化を得るために設計され、且つ高い減衰係数値で満たされる対応テーブルからなることを特徴とする、請求項５又は６に記載のディジタル画像安定化方法。
【請求項８】
ＦＩＬＴＥＲＤと称する少なくとも１つの別のフィルタにおける第２の特性の設定値は、前記カメラの意図的な大きい動き成分のより高速な追跡を可能とするために設計され、且つ前記ＦＩＬＴＥＲＣの減衰係数の値よりも低い値の減衰係数で満たされる対応テーブルからなることを特徴とする、請求項７に記載のディジタル画像安定化方法。
【請求項９】
前記初期ステップは、それぞれＦＩＬＴＥＲＡ 及びＦＩＬＴＥＲＢと称する第３及び第４の特性の設定値を有する更に別の２つの動きフィルタを構築するステップを含み、
前記第３の特性の設定値は、前記オリジナルの画像シーケンスに対して移動平均フィルタリングを行うように設計され、前記グローバル動きベクトルを、サンプリングウィンドウを表す、所定数の前のグローバル動きベクトルの平均値で置き換えて、動きベクトルの高周波成分をフィルタリングするようにし、
前記第４の特性の設定値は、前記オリジナルの画像シーケンスに対してダブルパス移動平均フィルタリングを行うように設計され、前記グローバル動きベクトルを、所定数の前のグローバル動きベクトルの平均値で置き換えて、第１のパスにおけるフィルタリングの間、動きベクトルの高周波成分をフィルタリングし、且つ、該第１のパスでフィルタリングした動きベクトルを、第２のパスにおけるフィルタリングの間、同一のサンプリングウィンドウで、再びフィルタリングするようにすることを特徴とする、請求項５又は６に記載のディジタル画像安定化方法。
【請求項１０】
前記初期ステップは、実験的に決定される、それぞれＴ１，Ｔ２及びＴ３と称する更に別の３つの閾値を含み、前記測度が請求項２に記載の前記閾値を超える場合に、前記第１及び第２のパラメータであるＡｂｅｌｏｗ及びＡａｂｏｖｅをそれぞれ用いて連続して比較するステップを更に含み、
該連続して比較するステップは、
Ａｂｅｌｏｗ＞Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＡ又はＦＩＬＴＥＲＢのフィルタを用い、更にＡａｂｏｖｅ＞Ｔ２であれば、フィルタＦＩＬＴＥＲＢを用い、それ以外はフィルタＦＩＬＴＥＲＡを用いるようにし、
Ａｂｅｌｏｗ＜Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＣ又はＦＩＬＴＥＲＤのフィルタ用い、更にＡａｂｏｖｅ＞Ｔ３であれば、フィルタＦＩＬＴＥＲＣを用い、それ以外はフィルタＦＩＬＴＥＲＤを用いるようにすることを特徴とする、請求項９に記載のディジタル画像安定化方法。
【請求項１１】
前記サンプリングウィンドウは、一定数のタイムスロットからなるスライディングウィンドウであり、
各タイムスロットは、前記オリジナル及び前記安定化の画像シーケンスの双方における２つの連続したフレームを分ける時間間隔に対応しており、
前記スラインディングウィンドウは、或るフレームから次のフレームまでの時間間隔でシフトし、リアルタイムで当該動き成分のフィルタリングを行うようにしたことを特徴とする、請求項１０に記載のディジタル画像安定化方法。
【請求項１】
カメラによって生成されたオリジナルの画像シーケンスから、ジッタと称する不所望な前記カメラの動き成分を除去するディジタル画像安定化装置であって、前記オリジナルの画像シーケンスを、前記ジッタを除去するために安定化アルゴリズム部に供給する、ディジタル画像安定化装置において、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期段と、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１の段と、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２の段と、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを前記安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３の段とを備えることを特徴とする、ディジタル画像安定化装置。
【請求項２】
カメラによって生成されたオリジナルの画像シーケンスから、ジッタと称する不所望な前記カメラの動き成分を除去するディジタル画像安定化方法であって、前記オリジナルの画像シーケンスを、前記ジッタを除去するために前記安定化アルゴリズム部に供給する、ディジタル画像安定化方法において、
各フィルタが前記安定化アルゴリズム部で実現される、予め定めた第１の特性の設定値を有するデフォルトのフィルタとしての第１の動きフィルタと、予め定めた第２の特性の設定値を有する少なくとも１つの別の動きフィルタとを構築する初期ステップと、
前記カメラのグローバルな動き成分を、前記デフォルトの第１の動きフィルタでフィルタリングする際に推定を行う第１のステップと、
前記オリジナルの画像シーケンス及び安定化した画像シーケンスの双方から、予め定めたパラメータを抽出し、測度となるマークを生成し、安定化品質を評価する第２のステップと、
前記マークを予め定めた閾値と比較して、前記閾値を越える場合には、安定化品質を改善するために、別の動きフィルタを前記安定化アルゴリズム部に用いるようにする第１の制御信号を生成し、前記閾値を越える場合以外は、前記デフォルトのフィルタを前記安定化アルゴリズム部に用い続けるようにする第２の制御信号を生成する第３のステップとを含むことを特徴とする、ディジタル画像安定化方法。
【請求項３】
前記画像は、大きめの画素領域である“マクロブロック”で分割され、前記パラメータは、グローバル動きベクトルと、“マクロブロック”のベクトルとを含むことを特徴とする、請求項２に記載のディジタル画像安定化方法。
【請求項４】
前記マークは、前記オリジナル及び前記安定化の画像シーケンスの双方で生成した測度の組み合わせに基づく安定化品質メトリックからなり、前記測度は、連続画像のピーク信号・雑音比、及び、所定数の画像の画像シーケンスに沿った動きベクトルの周波数解析値を少なくとも含み、前記測度は、前記オリジナル及び前記安定化の画像シーケンスの双方で測定されることを特徴とする、請求項３に記載のディジタル画像安定化方法。
【請求項５】
前記所定数の画像の画像シーケンスの動き成分スペクトラムを、低周波の第１のエネルギーバンド及び高周波の第２のエネルギーバンドからなる、予め定めた２つのエネルギーバンドに分割するステップを更に含み、
前記動き成分スペクトラムを、連続するグローバル動きベクトルから計算し、
前記安定化品質メトリックは、
前記第１及び第２のエネルギーバンドのそれぞれにおけるエネルギーの割合を表す、それぞれＡｂｅｌｏｗ及びＡａｂｏｖｅと称する、第１のパラメータ及び第２のパラメータと、
前記第１及び第２の周波数帯にわたって前記オリジナルの画像シーケンスと前記安定化した画像シーケンスとの間の動き成分エネルギーの低減量を表す第３及び第４のパラメータと、
前記所定数の画像の画像シーケンスにおける連続的な画像間のピーク信号・雑音比を表す、フレーム間変換フィデリティと称する第５のパラメータと、
からなる計算値、及びこれらの組み合わせに基づいていることを特徴とする、請求項４に記載のディジタル画像安定化方法。
【請求項６】
前記高周波は、１Ｈｚを越える周波数であり、前記低周波は、１Ｈｚ以下の周波数であることを特徴とする、請求項５に記載のディジタル画像安定化方法。
【請求項７】
ＦＩＬＴＥＲＣと称するデフォルトの動きフィルタにおける第１の特性の設定値は、前記カメラの動き成分の高安定化を得るために設計され、且つ高い減衰係数値で満たされる対応テーブルからなることを特徴とする、請求項５又は６に記載のディジタル画像安定化方法。
【請求項８】
ＦＩＬＴＥＲＤと称する少なくとも１つの別のフィルタにおける第２の特性の設定値は、前記カメラの意図的な大きい動き成分のより高速な追跡を可能とするために設計され、且つ前記ＦＩＬＴＥＲＣの減衰係数の値よりも低い値の減衰係数で満たされる対応テーブルからなることを特徴とする、請求項７に記載のディジタル画像安定化方法。
【請求項９】
前記初期ステップは、それぞれＦＩＬＴＥＲＡ 及びＦＩＬＴＥＲＢと称する第３及び第４の特性の設定値を有する更に別の２つの動きフィルタを構築するステップを含み、
前記第３の特性の設定値は、前記オリジナルの画像シーケンスに対して移動平均フィルタリングを行うように設計され、前記グローバル動きベクトルを、サンプリングウィンドウを表す、所定数の前のグローバル動きベクトルの平均値で置き換えて、動きベクトルの高周波成分をフィルタリングするようにし、
前記第４の特性の設定値は、前記オリジナルの画像シーケンスに対してダブルパス移動平均フィルタリングを行うように設計され、前記グローバル動きベクトルを、所定数の前のグローバル動きベクトルの平均値で置き換えて、第１のパスにおけるフィルタリングの間、動きベクトルの高周波成分をフィルタリングし、且つ、該第１のパスでフィルタリングした動きベクトルを、第２のパスにおけるフィルタリングの間、同一のサンプリングウィンドウで、再びフィルタリングするようにすることを特徴とする、請求項５又は６に記載のディジタル画像安定化方法。
【請求項１０】
前記初期ステップは、実験的に決定される、それぞれＴ１，Ｔ２及びＴ３と称する更に別の３つの閾値を含み、前記測度が請求項２に記載の前記閾値を超える場合に、前記第１及び第２のパラメータであるＡｂｅｌｏｗ及びＡａｂｏｖｅをそれぞれ用いて連続して比較するステップを更に含み、
該連続して比較するステップは、
Ａｂｅｌｏｗ＞Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＡ又はＦＩＬＴＥＲＢのフィルタを用い、更にＡａｂｏｖｅ＞Ｔ２であれば、フィルタＦＩＬＴＥＲＢを用い、それ以外はフィルタＦＩＬＴＥＲＡを用いるようにし、
Ａｂｅｌｏｗ＜Ｔ１＊Ａａｂｏｖｅであれば、ＦＩＬＴＥＲＣ又はＦＩＬＴＥＲＤのフィルタ用い、更にＡａｂｏｖｅ＞Ｔ３であれば、フィルタＦＩＬＴＥＲＣを用い、それ以外はフィルタＦＩＬＴＥＲＤを用いるようにすることを特徴とする、請求項９に記載のディジタル画像安定化方法。
【請求項１１】
前記サンプリングウィンドウは、一定数のタイムスロットからなるスライディングウィンドウであり、
各タイムスロットは、前記オリジナル及び前記安定化の画像シーケンスの双方における２つの連続したフレームを分ける時間間隔に対応しており、
前記スラインディングウィンドウは、或るフレームから次のフレームまでの時間間隔でシフトし、リアルタイムで当該動き成分のフィルタリングを行うようにしたことを特徴とする、請求項１０に記載のディジタル画像安定化方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公表番号】特表２００９−５０５４７６（Ｐ２００９−５０５４７６Ａ）
【公表日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００８−５２５７０１（Ｐ２００８−５２５７０１）
【出願日】平成１８年８月９日（２００６．８．９）
【国際出願番号】ＰＣＴ／ＩＢ２００６／０５２７４９
【国際公開番号】ＷＯ２００７／０１７８４０
【国際公開日】平成１９年２月１５日（２００７．２．１５）
【出願人】（５０７２１９４９１）エヌエックスピー ビー ヴィ (657)
【Ｆターム（参考）】
【公表日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１８年８月９日（２００６．８．９）
【国際出願番号】ＰＣＴ／ＩＢ２００６／０５２７４９
【国際公開番号】ＷＯ２００７／０１７８４０
【国際公開日】平成１９年２月１５日（２００７．２．１５）
【出願人】（５０７２１９４９１）エヌエックスピー ビー ヴィ (657)
【Ｆターム（参考）】
[ Back to top ]