適応フィルタリングを利用したデジタルイメージ安定化方法
【課題】補償ウィンドウオーバーエクスカーションのヒストリー（ｈｉｓｔｏｒｙ）に基づいてビデオフレームの場面で止められた／背景客体を代表する主要（ｐｒｉｎｃｉｐａｌ）変換／補償変換Ｐ（ｎ）を適応的にフィルタリングする段階を含むデジタルイメージ安定化方法を提供する。
【解決手段】デジタルイメージ安定化方法ビデオは、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループの複数の変換のそれぞれと特徴点モーションベクトル（ＦＰ ＭＶ）グループのそれぞれとのスコアリングに基づいて、フレームの場面内の停止／背景客体を表わす主要変換を選択する段階と、停止（背景）グループのヒストリーと複数のモーションベクトルグループのそれぞれのヒストリーとに基づいて大型移動客体を除外させる段階と、を含む。
【解決手段】デジタルイメージ安定化方法ビデオは、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループの複数の変換のそれぞれと特徴点モーションベクトル（ＦＰ ＭＶ）グループのそれぞれとのスコアリングに基づいて、フレームの場面内の停止／背景客体を表わす主要変換を選択する段階と、停止（背景）グループのヒストリーと複数のモーションベクトルグループのそれぞれのヒストリーとに基づいて大型移動客体を除外させる段階と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の概念は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に関し、特に、キャプチャーされたビデオフレーム（ｃａｐｔｕｒｅｄ ｖｉｄｅｏ ｆｒａｍｅｓ）の補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎｗｉｎｄｏｗｓ）のオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を減らすための方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ、及びこのようなカメラを含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、カメラが、操作者の手で動作される間に、イメージまたはビデオをキャプチャー（ｃａｐｔｕｒｅ）するために度々使われる。そのため、ビデオカメラは、イメージまたはビデオをキャプチャーする間に、手ぶれや、ジッタ（ｊｉｔｔｅｒ）が発生しうる。ジッタ（ｊｉｔｔｅｒ）は、水平成分、垂直成分、及び回転成分を含みうる。ジッタは、ハンドキャプチャードビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を、これを見る人にディストラクティング（ｄｉｓｔｒａｃｔｉｎｇ）またはディスオリエンティング（ｄｉｓｏｒｉｅｎｔｉｎｇ）するように作ることができ、したがって、デジタル的にカメラ軌跡を推定し（すなわち、連続したフレームの各対の間から検出されたジッタ）、同じ場面（ｓｃｅｎｅ）のビデオフレームのシーケンス（ｓｅｑｕｅｎｃｅ）からジッタをフィルタリング（ｆｉｌｔｅｒ ｏｕｔ）するためのデジタル回路を使うことが要求される。
【０００３】
静的もしくは動的に安定したビデオカメラによって製作されたビデオは、キャプチャーされたビデオに主に滑らかなモーション、例えば、並進（ｔｒａｎｓｌａｔｉｏｎ）または回転（ｒｏｔａｔｉｏｎａｌ）を含んでいる。一方、不安定なビデオカメラは、ビデオイメージの全体に亘って高周波数のジッタ（並進及び／または回転）を含むビデオとなる。
【０００４】
デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、訂正をイメージシーケンスに適用する。正確なグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）の推定（カメラ軌跡推定）は、ビデオ安定化アルゴリズムの核心である。安定化されたビデオの視覚的効果は、カメラ軌跡推定の質に大きく依存する。カメラ／場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとを区別するために分析され、補償変換Ｐ（ｎ）は、意図されていないジッタリモーションを補償するために生成される。ビデオ安定化アルゴリズムは、ユーザが所望するカメラモーションが保持される間にジッタモーションを除去する。一般的に、カメラモーションが遅く線形的であるか、単調な間に、迅速で（すなわち、高周波数の）非線形的な手ぶれまたはプラットフォームの振動によってジッタが引き起こされる。グローバルモーション（カメラ軌跡）ベクトルは、マッチングされる特徴点ペア（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｐａｉｒ）を使って隣接したフレームの間で計算された補償変換Ｐ（ｎ）のアフィン変換パラメータ（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎｐａｒａｍｅｔｅｒｓ）に含まれる。
【０００５】
前記補償変換Ｐ（ｎ）は、アフィン変換であり得る。数学で、アフィン幾何学は、アフィン変換によって変わらないように保持される幾何学的性質、すなわち、非特異線形変換及び変形（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎａｎｄ ｔｒａｎｓｌａｔｉｏｎ）の研究である。アフィン行列と呼ばれる数字で表われる係数によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、またはこれらの一部（例えば、フレーム内の移動客体）の間で感知された移動の側面（ｌａｔｅｒａｌ、例えば、上／下）、回転、及びスカラー（ｓｃａｌａｒ、例えば、ズームイン（ｚｏｏｍ ｉｎ）またはズームアウト（ｚｏｏｍ ｏｕｔ））の性質を表わすために発展した。したがって、カメラジッタの補償のための補償変換Ｐ（ｎ）は、画面で実際に止められたある客体（例えば、岩、テーブル、駐車された車、山、太陽）に関連した第１アフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に特性化されうる。ほとんどの場合に、手ぶれとプラットフォームの振動の結果からビデオフレームの並進、回転、及びスケーリング（ｓｃａｌｉｎｇ）が発生する。このようなものなどをモデリング（ｍｏｄｅｌｉｎｇ）するために、６つのパラメータ（ｐａｒａｍｅｔｅｒ）のアフィン変換が要求される。
【０００６】
たとえ補償変換Ｐ（ｎ）が所望しないジッタモーションに対する補償を行うために正確に生成されても、その結果の補償フレームは、キャプチャーされた入力ビデオフレームに関連した意味のあるオシレーティング（ｏｓｃｉｌｌａｔｉｎｇ）動きを有し、キャプチャーされた入力ビデオフレームで使用可能なイメージデータを超えて拡張されうる。この結果、補償ウィンドウ（ｗｉｎｄｏｗ）のオーバーエクスカーションが発生することがある。
【０００７】
ビデオに含まれたジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎ）を除去するために、補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）は、各入力ビデオフレームの境界地域（ｂｏｕｎｄａｒｙ ｒｅｇｉｏｎｓ）の一部を切り取る（ｃｒｏｐ）。除去された境界地域の量は、クロッピング比率（ｃｒｏｐｐｉｎｇ ｒａｔｉｏ）によって計量されうる。大きなクロッピング比率は、境界のさらに多い領域が除去されることを意味する。
【０００８】
出力ビデオフレームは、入力ビデオフレームに重なった補償ウィンドウとしてモデリングされうる（例えば、図１の場合）。例えば、補償ウィンドウは、入力ビデオフレームに対して回転、シフト（ｓｈｉｆｔ）、スケーリングされうる。
【０００９】
与えられたクロッピング比率に対して、補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｅｘｃｕｒｓｉｏｎ）と呼ばれる。入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）と呼ばれる。
【００１０】
もし、ジッタがなければ（例えば、所望していないカメラ軌跡がなければ）、補償変換Ｐ（ｎ）（実際に止められた客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）の特徴点に基づいた）は、少なくとも２つ以上のフレームのそれぞれで同じ位置になると予想することができる。もし、高周波数のジッタがあれば、減少したディグリー（ｄｅｇｒｅｅ）または減少した周波数の補償ウィンドウオーバーエクスカーションを有する空間的に安定した（ｓｐａｔｉａｌｌｙ ｓｔａｂｉｌｉｚｅｄ）ビデオとすることが要求される。
【００１１】
十分ではないビデオ安定化とオーバーエクスカーションとの間で、適応的に均衡を取るフィルタリング（ｆｉｌｔｅｒｉｎｇ）方法の要求が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、補償ウィンドウオーバーエクスカーションのヒストリー（ｈｉｓｔｏｒｙ）に基づいてビデオフレームの場面で止められた／背景客体を代表する主要（ｐｒｉｎｃｉｐａｌ）変換／補償変換Ｐ（ｎ）を適応的にフィルタリングする段階を含むデジタルイメージ安定化方法を提供することにある。
【００１３】
また、本発明の目的は、強補償（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ、ＳＣ）フィルターを用いて高効率と予測可能なジッタ除去方法とを提供することにある。前記ＳＣフィルターは、高周波数−選択的な高次線形時不変デジタルフィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。前記ＳＣフィルターを使ったジャーキー入力ビデオの効果的なフィルタリングは、キャプチャーされた入力ビデオフレームの間の補償ウィンドウの意味のある動きを意味する。与えられたクロッピング比率に対して、前記補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｅｘｃｕｒｓｉｏｎ）と呼ばれる。キャプチャーされた入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。入力ビデオの大きな移動のための前記ＳＣフィルターの厳格な適用は、さらに多い補償ウィンドウオーバーエクスカーションの代価で非常に安定した出力ビデオを生産する。一方、さらに低い周波数−選択的な（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ）特性を有する弱補償（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ、ＷＣ）フィルターは、さらに低い安定性の出力ビデオの代価でさらに低い補償ウィンドウオーバーエクスカーションを生産する。
【００１４】
また、本発明の目的は、優れたビデオ安定性の特性を保持する一方、入力ビデオの大きな動きとともに発生する過度なオーバーエクスカーションを防止するために構成される適応的補償（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ、ＡＣ）フィルターを提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルター（ｌｉｎｅａｒ ｔｉｍｅ−ｖａｒｉａｎｔ ｆｉｌｔｅｒ）は、予測可能な特性を提供するために、ＳＣフィルターを補完するＷＣフィルターを含む。ＷＣフィルターとＳＣフィルターとの組み合わせは、複数のＫフレームの間に補償ウィンドウエクスカーションのヒストリーに基づいて制御される。ヒストリー内の小さなエクスカーションは、現在フレームｎに対するＳＣフィルターの大きな影響を許容する一方、ヒストリー内の大きなエクスカーションは、現在フレームｎに対するＷＣフィルターの大きな影響を妥当なものに作る。ヒストリー内の中間値（ｍｅｄｉｕｍ）のエクスカーションは、ＳＣフィルターとＷＣフィルターとの比例的な影響を配分する。
【００１６】
上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルターに含まれたＤＩＳ方法を行うためのデジタルイメージ安定化回路は、ビデオカメラ内に含まれ、キャプチャーされたビデオフレームの保存に先立って（例えば、ビデオカメラがリアルタイムＭＰＥＧエンコーダ（ｅｎｃｏｄｅｒ）を含むとすれば、ＭＥＰＧエンコーディング（ｅｎｃｏｄｉｎｇ）に先立って、またはＭＰＥＧエンコーディングを行う間に）、リアルタイムでジッタを除去することに活性化されうる。選択的に連続したビデオフレームのカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングできるＤＩＳ回路は、デジタルイメージ安定化方法を行うのに最適化されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）に具現されたＭＥＰＧビデオエンコーダのように、一般的な目的のデジタルイメージ安定化方法を具現するためのソフトウェアによって制御されるマイクロコンピュータ（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）または専用ハードウェアであり得る。
【００１７】
本発明の概念による実施形態の特徴は、計算された主要変換／補償Ｐ（ｎ）変換を計算し、オーバーエクスカーションの除去に最適化されたフィルタリングされた主要／補償Ｐ’（ｎ）を出力するためのフィルタリング強度を選択するための補償ウィンドウオーバーエクスカーションヒストリーデータの連続した保存である。
【００１８】
前記方法は、垂直方向−上側、垂直方向−下側、水平方向−右側、及び水平方向−左側を同時に測定し、フィルタリング係数Ｅ（ｎ）を選択するために、それらのうちから極点（ｐｅａｋ）を検出する。
【図面の簡単な説明】
【００１９】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
【００２０】
【図１】本発明の概念の実施形態によるデジタルイメージ安定化（ＤＩＳ）方法を行うＤＩＳ回路のブロック図である。
【図２】複数のタイルベクトルグループ（ｔｉｌｅ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）のアフィン（ａｆｆｉｎｅ）変換を演算するための図１に示されたＤＩＳ回路に含まれた感知ユニットのブロック図である。
【図３】図１に示されたＤＩＳ回路に含まれたタイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリング（ｓｃｏｒｉｎｇ）に基づいて主要（固定／背景）変換Ｐ（ｎ）を選択するための軌跡ユニットの一実施形態によるブロック図である。
【図４】（Ａ）は、図１に示されたＤＩＳ回路のＤＩＳ方法の段階を行うための本発明の一実施形態によるグループ変換スコアリング（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。（Ｂ）は、本発明の一実施形態によるヒストリースコア（ｓｔｏｒｙ ｓｃｏｒｅ）計算ユニットのブロック図である。
【図５】本発明の一実施形態によるコレクティブ変換スコアリング（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。
【図６】本発明の一実施形態による移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ）のブロック図である。
【図７】本発明の概念の一実施形態による処理段階を示すフローチャートである。
【図８】キャプチャーされたビデオフレームと本発明の概念の一実施形態によるＤＩＳ方法に含まれた段階で計算される補償ウィンドウとを示す図である。
【図９】ＤＩＳを行うＤＩＳモジュールのブロック図である。
【図１０】本発明の概念の一実施形態による適応的補償フィルターモジュールのブロック図である。
【図１１】本発明の概念の一実施形態による適応的補償フィルターモジュールの概略的なブロック図である。
【発明を実施するための形態】
【００２１】
本発明の一実施形態によって、各キャプチャーされたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）を提供する特徴点をアルゴリズム的に選択する目的で、少ない数の重ならないタイル（ｔｉｌｅｓ、典型的に、標準画質のための４×４タイル、及び高画質のための６×６タイル）に分けられる。
前記イメージの他の部分は、適した特徴点の他の密度を有しうる。極端的な場合、例えば、雲一つない青空の場合に、フレームの部分は、如何なる適した特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。
【００２２】
得られた特徴点分布は、ビデオフレーム、例えば、重ならないタイルの小さな部分に基づき、各タイル内の特徴点の個数が、前記タイルの発光イメージデータの分散σ２によって線形的に増加する。さらに関心のあるイメージデータのタイルと、それによるさらに多い特徴点に対する要求は、さらに高い分散σ２を有することが予測される。同時に係留中である出願番号８７２９−３５７（“デジタルイメージ安定化装置及び方法”）を見れば、同時に、単に小さなローカル状態情報のみを要求するにもかかわらず、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを減少させる過程が描写されている。前記出願番号８７２９−３５７の公開文献は、参照文献としてこれに含まれる。
【００２３】
もし、場面が低光条件（ｌｏｗ ｌｉｇｈｔ ｃｏｎｄｉｔｉｏｎ）でキャプチャーされれば、それは、相対的にさらに多いノイズを有し、特徴点のピクセル（ｐｉｘｅｌｓ）の個数は、タイル内のピクセルの個数より遥かに少ないために、ノイズ効果は、タイルより特徴点にさらに大きく作用する。タイル内のピクセルのさらに大きな個数は、ノイズ消去効果を提供し、このような場合に、ダウンサンプリングされたタイル基盤モーションベクトル（ｄｏｗｎｓａｍｐｌｅｄ ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎｖｅｃｔｏｒ）がさらに正確である。
【００２４】
たとえ場面が低光条件でキャプチャーされないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）は、さらに正確である。もし、タイル場面が、曇った空または青い空のように非常にフラットになれば、若干の特徴点があり、フラットタイル（ｆｌａｔ ｔｉｌｅ）内のこのような特徴点は、次のフレーム内の多くの場所内のマッチング点（ｍａｔｃｈｉｎｇ ｐｏｉｎｔ）と類似したレベルを見つけることができる。しかし、タイル基盤マッチング（ｔｉｌｅ−ｂａｓｅｄ ｍａｔｃｈｉｎｇ）は、小さな特徴点探索領域にのみ依存するものではなく、タイルのあらゆるパターンが、タイルマッチングプロセスに貢献することができる。結果的に、タイル基盤モーションベクトルは、場面がフラットになる時にさらに信頼することができる。
【００２５】
特徴点モーションベクトルグループ（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）の最も高いスコアがスレショルド値（ｔｈｒｅｓｈｏｌｄ）より小さい時、我々は、特徴点基盤モーションベクトルの代わりに、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を使うように決定し、このような方策は、高いノイズまたはフラットな場面で効果的に作用する。
【００２６】
本発明の概念の実施形態によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、さらに小さな物体は、それらと関連した正確なモーションベクトルを有する必要がない。さらに小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。
【００２７】
グローバル動き（ｇｌｏｂａｌ ｍｏｖｅｍｅｎｔ）またはカメラ動き（ｃａｍｅｒａｍｏｖｅｍｅｎｔ）のために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きな静的な物体の特徴点は、一貫した経路を移動することが予測される。我々は、独立して動く十分に大きな物体は、少なくとも１つのタイルのほとんどをカバー（ｃｏｖｅｒ）することを認知し、したがって、小さな物体のモーションがタイル自体のモーションベクトルで少ない効果を有する限り、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。
【００２８】
我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル毎に１つのモーションベクトルを得る。タイル基盤モーションベクトルは、高いノイズまたはフラット場面ビデオのような特別な場合でのカメラ軌跡決定のために使われる。
【００２９】
与えられたタイルに対するモーションベクトルは、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を最小にすることである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズムの使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使って、ローカル動き上のタイル動きを使用して（ｐｒｅｆｅｒｒｉｎｇ）、計算量を減らすように変更されうる。少なくとも一つのタイルのほとんどをカバーする十分に大きな物体は、燐接したタイルに確張することができるために、各タイル内のいくつかの特徴点は、それらが発見されたタイルのモーションベクトルより燐接したタイルのモーションベクトルにさらに強く関連づけることができる。したがって、あらゆる隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル（ｍｕｌｔｉｐｌｅ）開始ベクトルとして使うことが効果的である。したがって、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、四方向の直接的な隣接タイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルと同様に特徴点が属するタイルのモーションベクトルである。使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。これの目的は、それぞれの、そして、あらゆる特徴点に対する正確なベクトルを決定するものではない（バッド（ｂａｄ）モーションベクトルは、ＤＩＳプロセッシングチェーン（ｃｈａｉｎ）内において後で分類される）。むしろ、関心のある特徴点は、単に背景または大きな客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、良いか、関心のある特徴点のモーションベクトルに近くなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。小さなローカルブロックマッチング探索（ｓｍａｌｌ ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内のあらゆる選択された特徴点に対する開始ベクトルの集合（ｓｅｔ）のそれぞれ周辺の高解像度ドメイン（これは、オリジナルビデオ解像度、または２または４のｆｓ３要素によって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る）で行われる。
【００３０】
図１は、本発明の概念の実施形態と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキービデオ（ｊｅｒｋｙ ｖｉｄｅｏ）を分析し、インターフレーム変換（ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍｓ；Ｔｉ（ｎ））を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ）２０００、インターフレーム変換Ｔｉ（ｎ）のうちから選択された主要変換／補償変換Ｐ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ）４０００、及び選択された主要変換／補償変換Ｐ（ｎ）を用いて、ジャーキービデオを修正して安定化したビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）６０００を含む。
【００３１】
感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点（ＦＰ）のインターフレームモーションベクトルと重ならないタイル（タイルベクトル）のインターフレームモーションベクトルとを推定する。感知ユニット２０００は、ＦＰモーションベクトルグループ変換（ＦＰ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とタイルベクトルグループ変換Ｔｉ（ｎ）とをさらに出力する。
【００３２】
軌跡ユニット４０００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、小さな移動客体と動いて全体フレームをカバーすることができる大きな移動客体のインターフレーム変換を除く。
【００３３】
図２は、図１のＤＩＳ回路のＤＩＳ方法の段階としてタイルベクトルグループのアフィン変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。感知ユニット２０００は、特徴点回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃｉｒｃｕｉｔ）３０００、モーションベクトル（ＭＶ）グループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐ ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｃａｌｃｕｌａｔｏｒ）２０１０を含む。
【００３４】
特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを重ならないタイルの小さな数字ｊ×ｋで割る。タイルの個数ｊ×ｋは、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４．．８）×（４．．８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな物体が少なくとも１つのタイルのほとんどをカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によってキャプチャーされうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点とタイルのモーションベクトル（ＳＦＰ ＭＶｓ ａｎｄ Ｔｉｌｅ ＭＶｓ）とを出力する。
【００３５】
特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。特徴点選択器は、ハリスコーナー特徴点候補識別器（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｉｄｅｎｔｉｆｉｅｒ）、及び特徴点候補分類器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｓｏｒｔｅｒ）をさらに含む。コンピュータパワー（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｏｗｅｒ）を節約し、要求される複数の動作（ｏｐｅｒａｔｉｏｎｓ）の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ）データにのみ動作し、１つ以上のダウンサンプラー（ｄｏｗｎｓａｍｐｌｅｒｓ）及び階層的ブロックマッチング探索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。
【００３６】
特徴点回路３０００は、あらゆるタイルに対する１つのモーションベクトルを推定する。タイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｏｒｔｉｎｇ ａｌｇｏｒｉｔｈｍ）内に使われる同じタイル）に基づいて行われる。タイルのそれぞれに対して、フルブロックマッチング探索（ｆｕｌｌ ｂｌｏｃｋｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、十分にダウンサンプリングされた（ｄｏｗｎ ｓａｍｐｌｅｄ）イメージに行われる。フル探索ブロックマッチング（ｆｕｌｌ−ｓｅａｒｃｈ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）は、あらゆるタイルに対して行われ、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、以後の使用、例えば、特徴点（３５２に保存されたＳＦＰ ＭＶ）のモーションベクトルを得るか、静的な客体感知のための階層的ブロックマッチング探索ユニット内で開始ベクトルとしての使用のために保存される（３５６）。
【００３７】
特徴点回路３０００は、望ましくは、ビデオフレームのタイルと呼ばれる小さな部分（タイル）に基づいた分布を有する特徴点のリスト３５２を提供する。タイル別特徴点の最大個数は、タイルの発光イメージデータ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ２によって線形的に増加する。ＤＩＳ方法のための優れた特徴点は、適したモーション推定アルゴリズムが適用される時、曖昧ではない（ｎｏｎ−ａｍｂｉｇｕｏｕｓ）モーションベクトルを算出する点である。イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）は、このようなピクセルが特徴点として如何ほど適するかを測定するために、ビデオフレームのピクセルに適用される。イメージの相異なる部分（タイル）は、識別された特徴点候補の相異なる密度を有しうる。
【００３８】
特徴点回路３０００は、好ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器（ｔｉｌｅ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）の関数を行うモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ；ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。タイルベクトル計算器は、現在フレーム（Ｆｔ）の十分にダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、最大解像度のまたは２つの連続したフレームのダウンサンプリングされたルーマデータを用いて選択された特徴点のそれぞれのモーションベクトルを決定し、タイルベクトルを開始ベクトルとして使用できる。
【００３９】
データに関連したあらゆる特徴点とタイルは、次のＤＩＳブロック、具体的に、モーションベクトルグループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００に伝達される。
【００４０】
モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを行う。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２によって選択されたベクトルの各対を比較することによって、グループ化決定（ｇｒｏｕｐｉｎｇ ｄｅｃｉｓｉｏｎｓ）を行うモーションベクトル比較器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃｏｍｐａｒａｔｏｒ）１３１０を含む。
【００４１】
特徴点グループ化回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００は、連続したビデオフレームの間で客体の認知された（ｐｅｒｃｅｉｖｅｄ）関連動作に基づいて、ＦＰモーションベクトルを場面内の客体とともに選択された特徴点（ＳＦＰｓ）のモーションベクトルで関連するようにグループ化する。特徴点グループ化回路１３００は、また連続したビデオフレームの間で客体の認知された関連動作に基づいて、タイルモーションベクトルを場面内の客体と関連するようにグループ化する。
【００４２】
特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト（ｔｉｌｅ ＭＶ ｌｉｓｔ）３５６部分は、重ならないタイルの位置とモーションベクトルのリストとを含む。
【００４３】
ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２は、ある特徴点とタイル（モーションベクトル）とがある他のものと以前にペアリングされたか、如何なるものがアンペア（ｕｎｐａｉｒ）として残ったか、及び如何なるものが全体的にグループ化から除外されるかについてのトラックを保持する。ペアリングアルゴリズムは、反復的にモーションベクトルの対（ベクトルＡ＆ベクトルＢ）をＭＶ比較器１３１０への入力として提供する。
【００４４】
特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセス（ａｃｃｅｓｓ）し、モーションベクトル比較器１３１０内の比較のためのベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループとである場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトルまたはその技術的なリスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ（ｉｎｖｅｎｔｏｒｉｅｓ）３５４部分とタイルＭＶグループインベントリ３５８部分とに書き込みする。
【００４５】
モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもＴｉ（ｎ）として出力する。
【００４６】
図３は、図１のＤＩＳ回路のＤＩＳ方法の段階と関連したタイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリング方法に基づいて主要（静的な／背景）変換Ｐ（ｎ）を選択するための図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。
【００４７】
軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ；図３の４０００）は、タイルグループ変換スコアリング及び選択回路（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−１（または、図４の（Ａ）の４１００）、特徴グループ変換スコアリング及び選択回路（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−２（図４の（Ａ）の４１００）、コレクティブグループ選択回路（ｃｏｌｌｅｃｔｉｖｅ ｇｒｏｕｐ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ；図５の４２００）、移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ；図６の４４００）、及び適応的補償フィルター（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｉｌｔｅｒ；図１０及び図１１の８０００）を含む。
【００４８】
軌跡ユニット４０００は、場面内の移動客体を無視する一方、アンステディ（ｕｎｓｔｅａｄｙ）カメラによって引き起こされる主要モーションＰ（ｎ）を識別し、選択された主要変換Ｐ（ｎ）をフィルタリングし、補償変換（ｃｏｍｐｅｎｓａｔｉｏｎ ｔｒａｎｓｆｏｒｍ；Ｃ（ｎ））を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択するように多数の連続したスコアリング関数を使う。
【００４９】
図４の（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器（ｔｒａｎｓｆｏｒｍ ｓｃｏｒｅ ｃａｌｃｕｌａｔｏｒ）４１５０、変換品質計算器（ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ ｃａｌｃｕｌａｔｏｒ）４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ａｎｄ ｑｕａｌｉｔｙ ｓｅｌｅｃｔｏｒ）４１７０を含む。グループ変換スコアリング及び選択回路４１００は、タイルグループインターフレーム変換（ｔｉｌｅ ｇｒｏｕｐ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；ＴＴｉｌｅ，ｉ（ｎ））からタイルグループ主要変換（ｔｉｌｅ ｇｒｏｕｐｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ；ＧＰＴｉｌｅ（ｎ））を出力し（４１００−１）、ＦＰインターフレーム変換（ＦＰ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；ＴＦＰ，ｉ（ｎ））から特徴グループ主要変換（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＧＰＦＰ（ｎ））を出力する（４１００−２）。
【００５０】
図４の（Ｂ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット（ｈｉｓｔｏｒｙ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１１０−１の一実施形態のブロック図である。
【００５１】
図４の（Ａ）及び（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０に加えて規模スコア計算ユニット４１４０、変換スコアＳｉ（ｎ）計算器４１５０、変換品質Ｑｉ（ｎ）計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。
【００５２】
図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、全体変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔｉ（ｎ）の）全体変換スコアＳｉ（ｎ）に基づいて（小さな移動客体のインターフレーム変換を排除させることで）、インターフレーム変換Ｔｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）とを出力する。
【００５３】
Ｔｉ（ｎ）は、感知ユニット２０００から受信されたあらゆる受信された変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ）のうちｉ番目の変換である。ここで、ｎは、フレームと時間的に連続した性質（ｔｉｍｅ ｓｅｑｕｅｎｃｅ ｎａｔｕｒｅ）を表わす。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換（ｓｅｌｅｃｔｅｄ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔｉ（ｎ）である。
【００５４】
各Ｔｉ（ｎ）に対して、全体変換スコアＳｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、全体変換スコアＳｉ（ｎ）を下記の式に基づいて計算する。
Ｓｉ（ｎ）＝Ｈｉ（ｎ）＊Ｍｉ（ｎ）＊Ｆｉ（ｎ）＊Ｅｉ（ｎ）
【００５５】
各Ｔｉ（ｎ）に対して、変換品質Ｑｉ（ｎ）計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑｉ（ｎ）を計算する。
Ｑｉ（ｎ）＝Ｆｉ（ｎ）＋Ｅｉ（ｎ）
【００５６】
最も大きな値Ｓｉ（ｎ）を有するＴｉ（ｎ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択されうる。したがって、実施形態によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳｉ（ｎ）を有するインターフレーム変換候補Ｔｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタカメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために適応的にフィルタリングされる。
【００５７】
ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔｉ（ｎ）に対するヒストリースコアＨｉ（ｎ）を計算し、例えば、感知ユニット２０００から各Ｔｉ（ｎ）が受信された順に計算する。ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬのそれぞれと比較される。ここで、ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的にさらに遠いフレーム：ｎ−ＨＫ）までの範囲を有するインテグラルフレームタイムインデックス（ｉｎｔｅｇｒａｌ ｆｒａｍｅ−ｔｉｍｅ ｉｎｄｅｘ）である。Ｔｉ（ｎ）の変換は、以前に選択されたグループ主要変換（ＧＰ（ｎ−１）からＧＰ（ｎ−ＨＬ））を保存するＨＬとさらに高いコリレーション（ｃｏｒｒｅｌａｔｉｏｎ）を有するほどさらに高いヒストリースコアＨｉ（ｎ）とを有する。
【００５８】
Ｔｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間のコリレーションＨｉ，ｋ（ｎ）は、範囲［０、１］内で１から正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、１のようなＨｉ，ｋ（ｎ）の値は、最も高いコリレーションを示す。
【００５９】
各コリレーションＨｉ，ｋ（ｎ）（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエート（ｈｉｓｔｏｒｙ−ｗｅｉｇｈｔ；ＨＷ（ｋ））によってウェイティングされる（ｗｅｉｇｈｔｅｄ）。
【００６０】
ヒストリースコアＨｉ（ｎ）は、全体コリレーションであり、Ｈｉ，ｋ（ｎ）の和にウェイティングされたＨＷ（ｎ−ｋ）である。ここで、１＜ｋ＜ＨＬであり、ＨＬは、ヒストリー長（以前フレームの個数）である。したがって、
Ｈｉ（ｎ）＝Σ［１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］
１＜ｋ＜ＨＬ
【００６１】
ウエート（ｗｅｉｇｈｔｓ）のＨＷ（ｎ−ＨＬ）で、ＨＷ（ｎ−１）はそれらの和が１と同じであり、ヒストリースコアＨｉ（ｎ）出力が非線形的に正規化され、連続した範囲（［０、１］）を有するように選択される。
【００６２】
図４の（Ｂ）に示されたヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、保存されたコンテンツを比較器４１１４に出力するために（ｎ−１でｎ−ＨＬに対する）、ＨＬタップ（ＨＬ ｔａｐｓ）を有するＨＬを以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存するためのＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ（ｍｅｍｏｒｙ ｂｕｆｆｅｒ）を含む。比較器４１１４は、電流Ｔｉ（ｎ）を以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存されたＨＬのそれぞれと比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体コリレーションを全体ヒストリースコアＨｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に出力する。
【００６３】
モーションスコア計算ユニット（ｍｏｔｉｏｎ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎｕｎｉｔ）４１２０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）にのみ基づいて、そのモーションスコアＭｉ（ｎ）を計算する。他の実施形態において、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。小さなモーションに対する変換は、高いモーションスコアＭｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になることがさらに好ましい。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算する。
【００６４】
Ｍｉ（ｎ）は、小さなモーションに対応して大きな値を有し、大きなモーションに対応して小さな値を有する。モーションＭｉ（ｎ）は、変換の水平、垂直、または全体線形移動に基づくことができる。モーションスコアＭｉ（ｎ）は、線形移動に反対に関連し、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６５】
特徴スコア計算ユニット４１３０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）にのみ基づいて、その特徴スコアＦｉ（ｎ）を計算する。他の実施形態によって、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちの各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。特徴スコアＦｉ（ｎ）は、Ｔｉ（ｎ）のうちから各インターフレーム変換によって表現される特徴点グループを作るためにともにグループ化された特徴点の個数と関連する。Ｔｉ（ｎ）のうちの変換は、グループ別特徴点をさらに多く有するほどさらに高い特徴スコアＦｉ（ｎ）を有する。特徴スコアＦｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６６】
規模スコア計算ユニット（ｅｘｔｅｎｔ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１４０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）に基づいて、その規模スコアＥｉ（ｎ）を計算する。他の実施形態において、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算する。広い領域をカバーする特徴点を有するＴｉ（ｎ）の変換は、カバーする領域が大きいほど、さらに高くスコアリングされる。規模スコアＥｉ（ｎ）は、さらに広い領域をカバーすることに対応してさらに大きな値を有し、反対にさらに狭い領域をカバーすることに対応してさらに小さな値を有する。規模スコアＥｉ（ｎ）は、変換のグループのあらゆる特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６７】
本発明の概念による多様な実施形態は、除外させなければ、ビデオ安定化に所望しない結果を引き起こす全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択する。我々は、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔｉ（ｎ）は、アンステディカメラに対応する主要変換Ｐ（ｎ）を含まないことが分かる。
【００６８】
図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４２００の一実施形態のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ；ＣＤ（ｎ））を計算するコレクティブ判定計算器（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ ｃａｌｃｕｌａｔｏｒ）４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換（ｃｏｌｌｅｃｔｉｖｅ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＣＰ（ｎ））を出力するコレクティブ変換選択器（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４２６０とを含む。
【００６９】
図５のコレクティブ判定計算器４２５０は、特徴グループ変換品質（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；ＱＦＰ（ｎ））、タイルグループ変換品質（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；ＱＴｉｌｅ（ｎ））、及び感知ユニット２０００から受信された特徴グループ変換候補（ｆｅａｔｕｒｅ ｇｒｏｕｐｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ；ＫＦＧ（ｎ））の個数からコレクティブ判定ＣＤ（ｎ）を算出する。
【００７０】
実施形態において、コレクティブ判定計算器４２５０は、特徴グループの個数ＫＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；ΘＦ（ｎ））を計算し、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が小さい時に０であり、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が大きい時に１である。したがって、ΘＦ（ｎ）値が１に近いことは、ビデオ場面のあらゆる特徴点が多くの特徴グループに分割されたものを表わし、反対に、ΘＦ（ｎ）値が０に近いことは、ビデオ場面のあらゆる特徴点が、少ない特徴グループに分割されたものを表わす。
【００７１】
コレクティブ判定計算器４２５０は、ＱＦ（ｎ）とΘＦ（ｎ）＊ＱＴ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、ＱＦ（ｎ）＞ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、特徴グループを選択するように設定される。そして、もし、ＱＦ（ｎ）＜＝ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴グループが分割されていないならば、ΘＦ（ｎ）値が０に近く、特徴グループは、さらに選択されやすい。一方、もし特徴グループが分割されたならば、ΘＦ（ｎ）値が１に近く、タイルグループ変換品質ＱＴｉｌｅ（ｎ）は、特徴グループ変換品質ＱＦＰ（ｎ）と対等の立場で比較される。
【００７２】
コレクティブ変換選択器４２６０は、特徴グループ主要変換ＧＰＦＰ（ｎ）とタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴グループとして設定される時、特徴グループ主要変換ＧＰＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰＴｉｌｅ（ｎ）として設定される。
【００７３】
本実施形態で、コレクティブ変換スコアリング及び選択回路４２００は、特徴グループ変換品質ＱＦＰ（ｎ）及びタイルグループ変換品質ＱＴｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４Ａの変換品質計算器４１６０によって計算される。
【００７４】
特徴スコア計算ユニット（ｆｅａｔｕｒｅ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１３０は、その特徴基盤（ｆｅａｔｕｒｅ−ｂａｓｅｄ）とタイル基盤（ｔｉｌｅ−ｂａｓｅｄ）変換Ｔｉ（ｎ）の特徴スコアＦｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する目的で感知ユニット２０００から保存された情報を受信する。
【００７５】
Ｔｉ（ｎ）間の各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。１つのグループのさらに多い特徴点または１つのグループのさらに多いタイルの変換Ｔｉ（ｎ）は、さらに高い特徴スコアＦｉ（ｎ）を有し、これは、特徴グループ変換品質ＱＦＰ（ｎ）またはタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれがさらに高くなるようにする。実施形態において、タイル別特徴点の個数は、特徴基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。他の実施形態において、タイルの個数は、タイル基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。タイル別特徴点の個数、及び／またはタイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得ることができる。
【００７６】
規模スコア計算ユニット４１４０は、特徴基盤及びタイル基盤変換Ｔｉ（ｎ）の規模スコアＥｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信する。特徴点またはタイルの変換は、さらに広い領域に亘るほどさらに高くスコアリングされうる。特徴点の個数とタイルベクトルの各グループ内のタイルの次元は、感知ユニット２０００から直接得ることができる。同様に、特徴基盤モーションベクトルの各グループの水平及び垂直方向の規模は、感知ユニット２０００から直接得ることができる。特徴グループまたはタイルグループは、さらに広い領域に亘るほどさらに高い規模スコアＥｉ（ｎ）を有し、その結果、特徴グループ変換品質ＱＦＰ（ｎ）またはタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれはさらに高くなる。本実施形態で、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された規模情報を受信する。
【００７７】
コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、大型客体除外ハードウェア（ｌａｒｇｅ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｈａｒｄｗａｒｅ）は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外（ｅｘｃｌｕｓｉｏｎ）が効果的な場合、単位変換（ｕｎｉｔｙ ｔｒａｎｓｆｏｒｍ；ＵＴ）が代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供されて、安定化されたビデオは、不正確にまたは不明に大型移動客体の変換をしない。
【００７８】
実施形態において、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静的な背景（Ｐ（ｎ）のヒストリーによって指示される）と、静的な背景と大型移動客体の共存の時間周期である。
【００７９】
移動客体除外方法は、次のシナリオを扱うのに非常に効果的である。場面は、移動客体があるかないかのほとんど静的な背景である。大型移動客体は、場面に進入し、漸次的にさらに大きな領域をカバーする。前記大型移動客体は、全体場面をカバーする。前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。前記大型移動客体は、遂に消える。
【００８０】
移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ａｎｌａｙｚｅｒ）は、除外シナリオ（ＩＦ）を感知する。
連続して静的なＭＶグループの存在は、ほとんど静的な背景になった場面を示している。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を示している。
前述のトレンドが続き、時間ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、除外シナリオが検出される。
【００８１】
除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指示しなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。したがって、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは大型移動客体に不正確に追従しない。
【００８２】
図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施形態のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。
【００８３】
移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。いつでも、指定された静的なグループＧ０が１つだけあるが、０またはそれ以上の現在（ｅｘｉｓｔｉｎｇ）モーショングループＧＫ（ｋ＞０）があり得る。また、次のフレームの間に、ｋ（例えば、ｋ（ｎ＋１）＝ｋ（ｎ）＋１）現在モーショングループＧｋのうち１つになりうる新たなモーショングループＧＮがあり得る。
【００８４】
静的なグループＧ０は、関連したグループヒストリーＧＨ０を有する。ｋ現在モーショングループＧｋは、関連したモーションベクトルＭｋだけではなく、関連したグループヒストリーＧＨｋも有する。各現在モーショングループＧｋは、基本的にフレームｎまで経時的に類似した速度のＴｉ（ｎ）のそれぞれに対して低域通過フィルターがかけられた（ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒｅｄ）｜Ｔｉ（ｎ）｜であるモーションベクトルＭｋを有する。
【００８５】
新たなモーショングループＧＮの各々は、その生成（ｃｒｅａｔｉｏｎ）の時間に初期化された関連したグループヒストリーＧＨＮ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ０（ｎ）、ＧＨ１（ｎ）、．．．ＧＨＪ（ｎ）、及びＧＨＫ（ｎ）を含む場面ヒストリーとＧＨＮ（ｎ）とを受信し、それらから除外判定（ｅｘｃｌｕｓｉｏｎｄｅｃｉｓｉｏｎ；ＥＤ（ｎ））を計算する。
【００８６】
除外変換選択器（ｅｘｃｌｕｓｉｏｎ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４４８０は、単位変換（ＵＴ）とコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換（ＵＴ）として設定され、そうではない場合には、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換（ＵＴ）は、補償ユニットが補償の間に何もしないようにしうる。したがって、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、そうではない場合、主要変換Ｐ（ｎ）として選択されうる大型移動客体の変換は、選択された主要変換Ｐ（ｎ）になるものから除外される。要するに、大型移動客体の変換は、感知された時には、図１の補償ユニット６０００によって行われる補償から除外される。
【００８７】
図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路の一実施形態で行われる段階を詳しく説明するための複合ブロックダイヤグラムフローチャートであり、図１のＤＩＳ回路のＤＩＳ方法を実施する段階で構成されている。図７は、静的なグループＧ０、現在モーショングループＧｋ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。
【００８８】
図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ０（ｎ））と現在ヒストリー（Ｅｘｉｓｔｅｎｃｅ−Ｈｉｓｔｏｒｙ、例えば、ＥＨ０（ｎ））とを含む。
【００８９】
移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｔ ａｎａｌｙｚｅｒ）４４７０は、次のように除外シナリオを感知する。静的な変換Ｇ０（ｎ）のグループヒストリーＧＨ０内で指示された連続した存在（ｅｘｉｓｔｅｎｃｅ）及び選択は、多数のフレームの間に存在したほとんどの静的な背景の場面を示している。具体的なモーショングループＧｋのグループヒストリーＧＨＫ内の連続する存在の漸次的に増加する数字は、客体が場面内に入ってくるということを表わす。もし、存在及びモーションの現趨勢が持続されれば、そして、時間（ｎ）で選択された変換Ｐ（ｎ）がＧＫに結合するものを除き、静的な変換がＧ０に属しなければ、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオ（ｌａｒｇｅｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｓｃｅｎａｒｉｏ）を指示するならば、主要変換Ｐ（ｎ）は、単位変換として設定され、そうではない場合には、主要変換Ｐ（ｎ）は、Ｔｉ（ｎ）のあるスコアリング関数によって選択される。
【００９０】
グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０のそれぞれは、受信されたインターフレーム変換Ｔｉ（ｎ）のうちの１つに関連した各グループに対するヒストリー情報の３種類の保存及び処理を行う。グループヒストリーの前記３種類は、選択ヒストリー、現在ヒストリー（ｅｘｉｓｔｅｎｃｅ−ｈｉｓｔｏｒｙ）、及びモーションヒストリーである。静的なグループＧ０は、映像安定化開始時に空いているヒストリーとともに生成される。静的なグループＧ０のモーションヒストリーは省略され、ヌル（ｎｕｌｌ）と推定されうる。モーショングループＧ１、．．．、ＧＫ、．．．、ＧＮは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。
【００９１】
図７を参照すると、静的なグループＧ０、Ｎ現在モーショングループＧｋ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ０、ＧＨＫ、及びＧＨＮ＋１を提供する。
【００９２】
モーショングループＧ０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ０と存在ヒストリーＥＨ０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ０は、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧ０に結合されたか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨ０は、モーショングループＧ０に結合されたインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す過去フレーム値当たり１ビットである。
【００９３】
グループＧ０が静的とみなされ、選択された主要変換Ｐ（ｎ）を含む如何なるＴｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）について、Ｔｉ（ｎ）を多様なヒストリーに基づいたモーションベクトルＭ０よりスレショルド値ｔｈｄ０と比較することに依存するために、静的なグループＧ０のグループヒストリー回路４４１０は、モーションヒストリーＭ０を省略する。静的なグループＧ０は、ビデオ安定化開始時に空いているヒストリーとともに作られる。
【００９４】
もし、フレームｎの間にＴｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足すれば（判定段階ｄＳ４４１８の「はい」のブランチ）、このＴｉ（ｎ）は、Ｇ０に属し、存在ヒストリーＥＨ０は、フレームｎで静的な変換の存在を指示するためにアップデートされる。
もし、Ｐｉ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨ０は、Ｔｉ（ｎ）選択を指示するためにアップデートされる。
【００９５】
Ｔｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足しない場合（判定段階ｄＳ４４１８の「いいえ」のブランチ）、フレームの間に｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足させなければ、Ｔｉ（ｎ）は、存在モーショングループＧ１〜ＧＮ内のそれぞれのグループヒストリーと比較される。
【００９６】
モーショングループＧｋのグループヒストリー回路４４３０は、選択ヒストリーＳＨＫ、及び存在ヒストリーＥＨＫ、及びモーションヒストリーＭｋの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨＫは、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧｋに属するか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨＫは、モーショングループＧｋに属したインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す以前フレーム値当たり１ビットである。
【００９７】
モーションヒストリーＭｋは、グループＧｋの全体的なモーションのベクトルＭｋを指示する情報を保存する。各Ｔｉ（ｎ）は、またモーションベクトル（Ｍ）でマッピング（ｍａｐ）する。各モーショングループＧＫは、モーションベクトルＭｋでマッピングする。｜Ｔｉ（ｎ）｜をＴｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔｉ（ｎ）−ＭＫ｜を１≦Ｋ≦Ｎ（Ｎは、現在の現在モーショングループの個数）で現在モーショングループＧｋのモーションベクトルＭｋからＴｉ（ｎ）の偏差とする。Ｎ個存在するモーショングループのうち最小の｜Ｔｉ（ｎ）−ＭＪ｜を有するモーショングループＧＪは、Ｔｉ（ｎ）に対する最もマッチングされるグループＧＪを示す。ジョイン（ｊｏｉｎ）判断は、｜Ｔｉ（ｎ）−ＭＪ｜を所定のスレショルド値ｔｈｄ１と比較して決定されうる。したがって、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及びすべてのＫで｜Ｔｉ（ｎ）−ＭＪ｜≦｜Ｔｉ（ｎ）−ＭＫ｜であり、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔｉ（ｎ）は、存在するモーショングループＧＪにジョインする。
【００９８】
もし、すべてのＫに対して、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であり、｜Ｔｉ（ｎ）−ＭＪ｜＜｜Ｔｉ（ｎ）−ＭＫ｜であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔｉ（ｎ）は、ＧＪに属する。
モーションヒストリーＭＪは、新たに属したＴｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨＪは、フレームｎでモーショングループＧＪの存在を指示するためにアップデート（ｕｐｄａｔｅ）される。
もし、Ｐ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨＪは、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。
【００９９】
一方、もし、判定段階ｄＳ４４３８がＴｉ（ｎ）及びあらゆる存在するモーショングループＧ１〜ＧＮのために反復され、ＭＫのうちいずれも｜Ｔｉ（ｎ）−ＭＫ｜＜ｔｈｄ１を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」のブランチ）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する（Ｓ４４４９段階）。もし、このＴｉ（ｎ）が、新たに形成されたモーショングループＧＮ＋１に属するならば（Ｓ４４４９段階）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する。
【０１００】
モーションヒストリーＭＮ＋１は、このＴｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨＮ＋１は、フレームｎで新たなモーショングループＧＮ＋１の存在を指示するために初期化される。
もし、Ｐ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨＮ＋１は、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。
時間の拡張された期間（フレーム）にジョイン（ｊｏｉｎ）するＴｉ（ｎ）を除くモーショングループ（Ｇ０〜ＧＪのうちの）は、削除される。
【０１０１】
図８は、時間ｎにおける、キャプチャーされたビデオフレームと主要変換Ｐ（ｎ）から計算された補償変換Ｃ（ｎ）に対応する補償ウィンドウとを示す図であり、減少した垂直オーバーエクスカーションｖ１を示している。補償ウィンドウの垂直オーバーエクスカーションは、本発明の実施形態によるＤＩＳ方法の段階で垂直オーバーエクスカーションｖ１として測定される。
【０１０２】
図８を参照すると、キャプチャーされたビデオフレームの補償変換Ｃ（ｎ）に相応する補償ウィンドウは、垂直オーバーエクスカーションｖ０またはｖ１、水平オーバーエクスカーションｕ０またはｕ１、または垂直オーバーエクスカーションｖ０またはｖ１、及び水平オーバーエクスカーションｕ０またはｕ１いずれもを有しうる。それぞれの潜在的なオーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１は、補償変換Ｃ（ｎ）の並進成分、補償変換Ｃ（ｎ）の回転成分、または補償変換Ｃ（ｎ）の並進成分及び回転成分の組み合わせによって発生することがある。
エクスカーションのヒストリーに基づいて、各キャプチャーされたビデオフレームに対するフィルタリングされた補償変換Ｃ（ｎ）を出力するために、主要変換Ｐ（ｎ）を適応的にフィルタリングすることによって、オーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１を最小化することが望ましい。
【０１０３】
図９は、本発明の概念による他の実施形態によってＤＩＳを行うＤＩＳ回路のブロック図である。ＤＩＳ回路は、受信されたジャーキービデオを分析し、インターフレーム変換Ｔｉ（ｎ）を出力する感知ユニット２０００、Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を識別する主要変換選択回路４１００、４２００、及び４４００、及び主要変換Ｐ（ｎ）を補償変換Ｃ（ｎ）にフィルタリングする適応的補償フィルター８０００を含む軌跡ユニット４０００、及びジャーキービデオフレームを補償変換Ｃ（ｎ）の使用により修正することによって、安定化されたビデオを出力する補償ユニット６０００を含む。
【０１０４】
主要変換選択回路４１００、４２００、及び４４００は、場面内の移動客体のインターフレーム変換Ｔｉ（ｎ）を無視し、アンステディカメラによって発生したグローバルモーションのインターフレーム変換Ｔｉ（ｎ）を識別することによって、インターフレーム変換Ｔｉ（ｎ）のうちから１つを主要変換Ｐ（ｎ）として選択し、その選択したものを計算された主要変換Ｐ（ｎ）として出力する。したがって、ＤＩＳ回路の主要変換選択回路４１００、４２００、及び４４００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを計算された主要変換Ｐ（ｎ）として選択して出力する。補償変換Ｃ（ｎ）は、主要変換Ｐ（ｎ）を適応的にフィルタリングすることで得られる。補償変換Ｃ（ｎ）は、相応する入力ビデオイメージとの関係で安定化されたビデオイメージ（補償ウィンドウ）の幾何学的構造の表現である。前記表現は、位置、アングル（ａｎｇｌｅ）、サイズなどを含む。補償変換に使われるいくつかは、普通類似変換（ｓｉｍｉｌａｒｉｔｙ ｔｒａｎｓｆｏｒｍ）及びアフィン変換であるが、本発明の概念は前記変換に限定されないが、ここでは、本発明の概念による一実施形態の方法の説明のためにアフィン変換を使う。
【０１０５】
主要変換選択回路４１００、４２００、及び４４００は、順にフレームの連続したシーケンスの選択された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）を適応的補償フィルター８０００に出力する。主要変換Ｐ（ｎ−∞）は、反復的な（無限インパルス応答（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ、ＩＩＲ））フィルターの使用を指示する。適応的補償フィルター８０００は、主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）の配列によって表現されるジッタモーションから意図されたカメラ軌跡を推定し、推定したカメラ軌跡によって補償変換Ｃ（ｎ）を出力する。
【０１０６】
安定化されたビデオの視覚的効果は、適応的補償フィルター８０００の品質に大きく依存する。従来の軌跡推定方法は、モーションベクトル積分とカルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）などを含む。しかし、これらと他の従来の軌跡推定方法は、ジャーキービデオ特性の広い範囲で正しく行われない。本発明の概念による実施形態では、適応的補償フィルター８０００がジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎｓ）をフィルタリングし、安定化されたビデオを生産するのに使われる。
【０１０７】
図１０は、本発明の一実施形態による図９に示されたＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００のブロック図である。適応的補償フィルター８０００は、補償ウィンドウエクスカーションのヒストリーに基づいて主要変換Ｐ（ｎ）を適応的にフィルタリングする。適応的補償フィルター８０００は、フレームの連続したシーケンスの受信された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）に基づいて主要変換Ｐ（ｎ）をフィルタリングし、適応的にフィルタリングされた補償変換Ｃ（ｎ）を出力する。
【０１０８】
適応的補償フィルター８０００は、強補償フィルター（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ（ＳＣ）ｆｉｌｔｅｒ）８７００、弱補償フィルター（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ（ＷＣ）ｆｉｌｔｅｒ）８６００、コントロール信号Ｅ（ｎ）を出力するための適応的フィルターコントロール回路８５００、及びエクスカーション調節ミキサー（ｅｘｃｕｒｓｉｏｎ ｍｏｄｕｌａｔｅｄ ｍｉｘｅｒ）８２００を含む。強補償フィルター８７００は、高周波数−選択的高次線形時不変デジタルフィルター（ｈｉｇｈｌｙｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）であり、非常にジャーキーな入力ビデオのフィルタリングに効果的である。
一方、弱補償フィルター８６００は、より少なめに安定した出力ビデオで少ない補償ウィンドウオーバーエクスカーションを生産するさらに低い周波数−選択的性質を有する。
【０１０９】
適応的補償フィルター８０００は、強補償フィルター８７００と弱補償フィルター８６００との効果的な組み合わせである。エクスカーション調節ミキサー８２００は、生成されたコントロール信号Ｅ（ｎ）に基づいて出力する強補償フィルター８７００と弱補償フィルター８６００とのミキシング（ｍｉｘｉｎｇ）を行い、補償ウィンドウエクスカーションのヒストリーに基づいて適応的フィルターコントローラ８５００によって出力する。
【０１１０】
図１１は、図９のＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００の最初の実施形態８０００−１のブロック図である。本実施形態において、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００、及び適応的フィルターコントローラ８５００−１のエクスカーション計算器８５１０へのフィードバックループ（ｆｅｅｄｂａｃｋ ｌｏｏｐ）を含む。
【０１１１】
図１１を参照すると、強補償フィルター８７００は、視覚的によく安定化されたビデオを得て高周波数−選択的な出力Ｆ（ｎ）を有するために、１．０Ｈｚでカットオフ（ｃｕｔｏｆｆ）周波数を有し、急激なロールオフ（ｒｏｌｌｏｆｆ）を有する高次線形時不変循環デジタルフィルター（ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。
【０１１２】
弱補償フィルター８６００は、高次または低次線形時不変循環デジタルフィルターである。弱補償フィルター８６００は、オーバーエクスカーションを減らすために、１Ｈｚよりさらに高いカットオフ周波数を有し、緩やかなロールオフを有するさらに低い周波数−選択的な出力Ｇ（ｎ）を有する。
【０１１３】
適応的補償フィルター８０００−１のエクスカーション調節ミキサー８２００−１は、スカラーコントロール信号Ｅ（ｎ）によって強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）とを結合するエクスカーション調節適応的フィルタリングを行う。強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）は、いずれも中間に起こる補償変換であり、エクスカーション調節ミキサー８２００−１の出力Ｃ（ｎ）も補償変換である。エクスカーション調節ミキサー８２００−１は、Ｃ（ｎ）（Ｃ（ｎ）＝（１−Ｅ（ｎ））＊Ｆ（ｎ）＋Ｅ（ｎ）＊Ｇ（ｎ））を出力する。ここで、Ｅ（ｎ）は、［０、１］の範囲での非線形的に正規化されたスカラーコントロール信号である。“＊”は、スカラーと変換との間の乗算演算であり、変換にマッピングされる。“＋”は、２つの変換の間の加算演算であり、変換にマッピングされる。したがって、本実施形態で、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００との線形結合であり、適応的補償フィルター８０００−１は、線形重畳（ｌｉｎｅａｒ ｓｕｐｅｒｐｏｓｉｔｉｏｎ）の原則によって知られた安定した性質を有する効果的な高次線形時不変循環デジタルフィルターである。
【０１１４】
線形結合された補償変換Ｃ（ｎ）は、補償ウィンドウエクスカーションのヒストリーに基づいてスカラーコントロール信号Ｅ（ｎ）によって制御される。ヒストリー内の小さなエクスカーションは、小さなＥ（ｎ）を生産するので、現在フレームｎに対する強補償フィルター８７００の影響は大きくなる一方、ヒストリー内の大きなエクスカーションは、１に近いＥ（ｎ）を生産するので、現在フレームｎに対する弱補償フィルター８６００の影響が大きくなる。ヒストリー内の中間値のエクスカーションは、強補償フィルター８７００と弱補償フィルター８６００との影響に比例するように割り当てられる。
【０１１５】
したがって、強補償フィルター８７００は、小さなエクスカーションに主たる貢献を提供し、それは、高周波数ジッタをフィルタリングするのに非常に効果的である。そして、さらに大きなエクスカーションで弱補償フィルター８６００の貢献がさらに多くなるために、オーバーエクスカーションの発生が急減する。適応的補償フィルター８０００−１は、優れたビデオ安定化の性質を保持しながら、入力ビデオの大きな動きによる過度なオーバーエクスカーションを防止することができる。
【０１１６】
図１１を参照すると、適応的フィルターコントローラ８５００−１は、エクスカーション計算器８５１０、４つのエクスカーションヒストリー積分器８５２０、及び調節因子計算器８５３０−１を含む。適応的フィルターコントローラ８５００−１は、フィードバックループの一部である。エクスカーション計算器８５１０は、以前の適応的補償フィルター出力Ｃ（ｎ−∞）、．．．Ｃ（ｎ−２）、Ｃ（ｎ−１）から得られたＥ（ｎ）を出力する。ここでｎは、時間連続した性質を表わし、Ｅ（ｎ）とＣ（ｎ）は、実現不可能な遅延のないループを形成しない。したがって、本実施形態は、リアルタイムビデオ安定化に適し、予測可能な性質の概略的な線形時不変フィルターを含む。
【０１１７】
エクスカーション計算器８５１０は、エクスカーション調節ミキサー８２００−１によって出力された補償変換Ｃ（ｎ）のフィードバックを受信する。エクスカーション計算器８５１０は、補償ウィンドウの４つのエッジの位置に基づいてフレームごとに左側、右側、下方、上側のエクスカーションを別途に計算するために、ｕ０計算器、ｕ１計算器、ｖ０計算器、及びｖ１計算器を含む（図８参照）。
【０１１８】
適応的補償フィルター８０００−１は、循環フィルターを通したエクスカーションヒストリーを含む。エクスカーション計算器８５１０の各面の出力は、本質的に低域通過循環フィルター（ｌｏｗ−ｐａｓｓ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）であるエクスカーションヒストリー積分器によってそれぞれ時間に対して積分される。各低域通過循環フィルターＨｕ０、Ｈｕ１、Ｈｖ０、及びＨｖ１の出力は、調節因子計算器８５３０−１に供給される。調節因子計算器８５３０−１は、４つの時間に対して積分されたエクスカーション量Ｈｕ０、Ｈｕｕ１、Ｈｖ０、及びＨｖ１のうちから最大値を選択し、連続区間［０、１］で非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を生成する。
【０１１９】
調節因子計算器８５３０−１は、Ｆ（ｎ）とＧ（ｎ）とのミキシングを調節するために、非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を出力する。小さな値のＥ（ｎ）は、小さなエクスカーションのヒストリーを意味し、大きな値のＥ（ｎ）は、大きなエクスカーションのヒストリーを意味する。
【０１２０】
したがって、補償変換Ｃ（ｎ）を生成させ、出力するためのスカラーコントロール信号Ｅ（ｎ）の制御下のＦ（ｎ）とＧ（ｎ）とのミキシングは、補償ウィンドウエクスカーションのヒストリーに基づく。本実施形態は、周波数オーバーエクスカーションのない優れた安定化を提供し、公知の周波数応答と予測可能な安定化性質とを有し、リアルタイムビデオ安定化に適切である。
【０１２１】
上記開示した説明事項は、実施形態として考慮されたものであるので、本発明は、これに制限されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。したがって、本発明の範囲は、法によって許容される最大の範囲まで許容されなければならず、前述した詳細な説明によって制限的に解釈されてはならない。
【技術分野】
【０００１】
本発明の概念は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に関し、特に、キャプチャーされたビデオフレーム（ｃａｐｔｕｒｅｄ ｖｉｄｅｏ ｆｒａｍｅｓ）の補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎｗｉｎｄｏｗｓ）のオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を減らすための方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ、及びこのようなカメラを含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、カメラが、操作者の手で動作される間に、イメージまたはビデオをキャプチャー（ｃａｐｔｕｒｅ）するために度々使われる。そのため、ビデオカメラは、イメージまたはビデオをキャプチャーする間に、手ぶれや、ジッタ（ｊｉｔｔｅｒ）が発生しうる。ジッタ（ｊｉｔｔｅｒ）は、水平成分、垂直成分、及び回転成分を含みうる。ジッタは、ハンドキャプチャードビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を、これを見る人にディストラクティング（ｄｉｓｔｒａｃｔｉｎｇ）またはディスオリエンティング（ｄｉｓｏｒｉｅｎｔｉｎｇ）するように作ることができ、したがって、デジタル的にカメラ軌跡を推定し（すなわち、連続したフレームの各対の間から検出されたジッタ）、同じ場面（ｓｃｅｎｅ）のビデオフレームのシーケンス（ｓｅｑｕｅｎｃｅ）からジッタをフィルタリング（ｆｉｌｔｅｒ ｏｕｔ）するためのデジタル回路を使うことが要求される。
【０００３】
静的もしくは動的に安定したビデオカメラによって製作されたビデオは、キャプチャーされたビデオに主に滑らかなモーション、例えば、並進（ｔｒａｎｓｌａｔｉｏｎ）または回転（ｒｏｔａｔｉｏｎａｌ）を含んでいる。一方、不安定なビデオカメラは、ビデオイメージの全体に亘って高周波数のジッタ（並進及び／または回転）を含むビデオとなる。
【０００４】
デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、訂正をイメージシーケンスに適用する。正確なグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）の推定（カメラ軌跡推定）は、ビデオ安定化アルゴリズムの核心である。安定化されたビデオの視覚的効果は、カメラ軌跡推定の質に大きく依存する。カメラ／場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとを区別するために分析され、補償変換Ｐ（ｎ）は、意図されていないジッタリモーションを補償するために生成される。ビデオ安定化アルゴリズムは、ユーザが所望するカメラモーションが保持される間にジッタモーションを除去する。一般的に、カメラモーションが遅く線形的であるか、単調な間に、迅速で（すなわち、高周波数の）非線形的な手ぶれまたはプラットフォームの振動によってジッタが引き起こされる。グローバルモーション（カメラ軌跡）ベクトルは、マッチングされる特徴点ペア（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｐａｉｒ）を使って隣接したフレームの間で計算された補償変換Ｐ（ｎ）のアフィン変換パラメータ（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎｐａｒａｍｅｔｅｒｓ）に含まれる。
【０００５】
前記補償変換Ｐ（ｎ）は、アフィン変換であり得る。数学で、アフィン幾何学は、アフィン変換によって変わらないように保持される幾何学的性質、すなわち、非特異線形変換及び変形（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎａｎｄ ｔｒａｎｓｌａｔｉｏｎ）の研究である。アフィン行列と呼ばれる数字で表われる係数によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、またはこれらの一部（例えば、フレーム内の移動客体）の間で感知された移動の側面（ｌａｔｅｒａｌ、例えば、上／下）、回転、及びスカラー（ｓｃａｌａｒ、例えば、ズームイン（ｚｏｏｍ ｉｎ）またはズームアウト（ｚｏｏｍ ｏｕｔ））の性質を表わすために発展した。したがって、カメラジッタの補償のための補償変換Ｐ（ｎ）は、画面で実際に止められたある客体（例えば、岩、テーブル、駐車された車、山、太陽）に関連した第１アフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に特性化されうる。ほとんどの場合に、手ぶれとプラットフォームの振動の結果からビデオフレームの並進、回転、及びスケーリング（ｓｃａｌｉｎｇ）が発生する。このようなものなどをモデリング（ｍｏｄｅｌｉｎｇ）するために、６つのパラメータ（ｐａｒａｍｅｔｅｒ）のアフィン変換が要求される。
【０００６】
たとえ補償変換Ｐ（ｎ）が所望しないジッタモーションに対する補償を行うために正確に生成されても、その結果の補償フレームは、キャプチャーされた入力ビデオフレームに関連した意味のあるオシレーティング（ｏｓｃｉｌｌａｔｉｎｇ）動きを有し、キャプチャーされた入力ビデオフレームで使用可能なイメージデータを超えて拡張されうる。この結果、補償ウィンドウ（ｗｉｎｄｏｗ）のオーバーエクスカーションが発生することがある。
【０００７】
ビデオに含まれたジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎ）を除去するために、補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）は、各入力ビデオフレームの境界地域（ｂｏｕｎｄａｒｙ ｒｅｇｉｏｎｓ）の一部を切り取る（ｃｒｏｐ）。除去された境界地域の量は、クロッピング比率（ｃｒｏｐｐｉｎｇ ｒａｔｉｏ）によって計量されうる。大きなクロッピング比率は、境界のさらに多い領域が除去されることを意味する。
【０００８】
出力ビデオフレームは、入力ビデオフレームに重なった補償ウィンドウとしてモデリングされうる（例えば、図１の場合）。例えば、補償ウィンドウは、入力ビデオフレームに対して回転、シフト（ｓｈｉｆｔ）、スケーリングされうる。
【０００９】
与えられたクロッピング比率に対して、補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｅｘｃｕｒｓｉｏｎ）と呼ばれる。入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）と呼ばれる。
【００１０】
もし、ジッタがなければ（例えば、所望していないカメラ軌跡がなければ）、補償変換Ｐ（ｎ）（実際に止められた客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）の特徴点に基づいた）は、少なくとも２つ以上のフレームのそれぞれで同じ位置になると予想することができる。もし、高周波数のジッタがあれば、減少したディグリー（ｄｅｇｒｅｅ）または減少した周波数の補償ウィンドウオーバーエクスカーションを有する空間的に安定した（ｓｐａｔｉａｌｌｙ ｓｔａｂｉｌｉｚｅｄ）ビデオとすることが要求される。
【００１１】
十分ではないビデオ安定化とオーバーエクスカーションとの間で、適応的に均衡を取るフィルタリング（ｆｉｌｔｅｒｉｎｇ）方法の要求が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、補償ウィンドウオーバーエクスカーションのヒストリー（ｈｉｓｔｏｒｙ）に基づいてビデオフレームの場面で止められた／背景客体を代表する主要（ｐｒｉｎｃｉｐａｌ）変換／補償変換Ｐ（ｎ）を適応的にフィルタリングする段階を含むデジタルイメージ安定化方法を提供することにある。
【００１３】
また、本発明の目的は、強補償（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ、ＳＣ）フィルターを用いて高効率と予測可能なジッタ除去方法とを提供することにある。前記ＳＣフィルターは、高周波数−選択的な高次線形時不変デジタルフィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。前記ＳＣフィルターを使ったジャーキー入力ビデオの効果的なフィルタリングは、キャプチャーされた入力ビデオフレームの間の補償ウィンドウの意味のある動きを意味する。与えられたクロッピング比率に対して、前記補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｅｘｃｕｒｓｉｏｎ）と呼ばれる。キャプチャーされた入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。入力ビデオの大きな移動のための前記ＳＣフィルターの厳格な適用は、さらに多い補償ウィンドウオーバーエクスカーションの代価で非常に安定した出力ビデオを生産する。一方、さらに低い周波数−選択的な（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ）特性を有する弱補償（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ、ＷＣ）フィルターは、さらに低い安定性の出力ビデオの代価でさらに低い補償ウィンドウオーバーエクスカーションを生産する。
【００１４】
また、本発明の目的は、優れたビデオ安定性の特性を保持する一方、入力ビデオの大きな動きとともに発生する過度なオーバーエクスカーションを防止するために構成される適応的補償（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ、ＡＣ）フィルターを提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルター（ｌｉｎｅａｒ ｔｉｍｅ−ｖａｒｉａｎｔ ｆｉｌｔｅｒ）は、予測可能な特性を提供するために、ＳＣフィルターを補完するＷＣフィルターを含む。ＷＣフィルターとＳＣフィルターとの組み合わせは、複数のＫフレームの間に補償ウィンドウエクスカーションのヒストリーに基づいて制御される。ヒストリー内の小さなエクスカーションは、現在フレームｎに対するＳＣフィルターの大きな影響を許容する一方、ヒストリー内の大きなエクスカーションは、現在フレームｎに対するＷＣフィルターの大きな影響を妥当なものに作る。ヒストリー内の中間値（ｍｅｄｉｕｍ）のエクスカーションは、ＳＣフィルターとＷＣフィルターとの比例的な影響を配分する。
【００１６】
上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルターに含まれたＤＩＳ方法を行うためのデジタルイメージ安定化回路は、ビデオカメラ内に含まれ、キャプチャーされたビデオフレームの保存に先立って（例えば、ビデオカメラがリアルタイムＭＰＥＧエンコーダ（ｅｎｃｏｄｅｒ）を含むとすれば、ＭＥＰＧエンコーディング（ｅｎｃｏｄｉｎｇ）に先立って、またはＭＰＥＧエンコーディングを行う間に）、リアルタイムでジッタを除去することに活性化されうる。選択的に連続したビデオフレームのカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングできるＤＩＳ回路は、デジタルイメージ安定化方法を行うのに最適化されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）に具現されたＭＥＰＧビデオエンコーダのように、一般的な目的のデジタルイメージ安定化方法を具現するためのソフトウェアによって制御されるマイクロコンピュータ（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）または専用ハードウェアであり得る。
【００１７】
本発明の概念による実施形態の特徴は、計算された主要変換／補償Ｐ（ｎ）変換を計算し、オーバーエクスカーションの除去に最適化されたフィルタリングされた主要／補償Ｐ’（ｎ）を出力するためのフィルタリング強度を選択するための補償ウィンドウオーバーエクスカーションヒストリーデータの連続した保存である。
【００１８】
前記方法は、垂直方向−上側、垂直方向−下側、水平方向−右側、及び水平方向−左側を同時に測定し、フィルタリング係数Ｅ（ｎ）を選択するために、それらのうちから極点（ｐｅａｋ）を検出する。
【図面の簡単な説明】
【００１９】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
【００２０】
【図１】本発明の概念の実施形態によるデジタルイメージ安定化（ＤＩＳ）方法を行うＤＩＳ回路のブロック図である。
【図２】複数のタイルベクトルグループ（ｔｉｌｅ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）のアフィン（ａｆｆｉｎｅ）変換を演算するための図１に示されたＤＩＳ回路に含まれた感知ユニットのブロック図である。
【図３】図１に示されたＤＩＳ回路に含まれたタイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリング（ｓｃｏｒｉｎｇ）に基づいて主要（固定／背景）変換Ｐ（ｎ）を選択するための軌跡ユニットの一実施形態によるブロック図である。
【図４】（Ａ）は、図１に示されたＤＩＳ回路のＤＩＳ方法の段階を行うための本発明の一実施形態によるグループ変換スコアリング（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。（Ｂ）は、本発明の一実施形態によるヒストリースコア（ｓｔｏｒｙ ｓｃｏｒｅ）計算ユニットのブロック図である。
【図５】本発明の一実施形態によるコレクティブ変換スコアリング（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。
【図６】本発明の一実施形態による移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ）のブロック図である。
【図７】本発明の概念の一実施形態による処理段階を示すフローチャートである。
【図８】キャプチャーされたビデオフレームと本発明の概念の一実施形態によるＤＩＳ方法に含まれた段階で計算される補償ウィンドウとを示す図である。
【図９】ＤＩＳを行うＤＩＳモジュールのブロック図である。
【図１０】本発明の概念の一実施形態による適応的補償フィルターモジュールのブロック図である。
【図１１】本発明の概念の一実施形態による適応的補償フィルターモジュールの概略的なブロック図である。
【発明を実施するための形態】
【００２１】
本発明の一実施形態によって、各キャプチャーされたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）を提供する特徴点をアルゴリズム的に選択する目的で、少ない数の重ならないタイル（ｔｉｌｅｓ、典型的に、標準画質のための４×４タイル、及び高画質のための６×６タイル）に分けられる。
前記イメージの他の部分は、適した特徴点の他の密度を有しうる。極端的な場合、例えば、雲一つない青空の場合に、フレームの部分は、如何なる適した特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。
【００２２】
得られた特徴点分布は、ビデオフレーム、例えば、重ならないタイルの小さな部分に基づき、各タイル内の特徴点の個数が、前記タイルの発光イメージデータの分散σ２によって線形的に増加する。さらに関心のあるイメージデータのタイルと、それによるさらに多い特徴点に対する要求は、さらに高い分散σ２を有することが予測される。同時に係留中である出願番号８７２９−３５７（“デジタルイメージ安定化装置及び方法”）を見れば、同時に、単に小さなローカル状態情報のみを要求するにもかかわらず、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを減少させる過程が描写されている。前記出願番号８７２９−３５７の公開文献は、参照文献としてこれに含まれる。
【００２３】
もし、場面が低光条件（ｌｏｗ ｌｉｇｈｔ ｃｏｎｄｉｔｉｏｎ）でキャプチャーされれば、それは、相対的にさらに多いノイズを有し、特徴点のピクセル（ｐｉｘｅｌｓ）の個数は、タイル内のピクセルの個数より遥かに少ないために、ノイズ効果は、タイルより特徴点にさらに大きく作用する。タイル内のピクセルのさらに大きな個数は、ノイズ消去効果を提供し、このような場合に、ダウンサンプリングされたタイル基盤モーションベクトル（ｄｏｗｎｓａｍｐｌｅｄ ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎｖｅｃｔｏｒ）がさらに正確である。
【００２４】
たとえ場面が低光条件でキャプチャーされないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）は、さらに正確である。もし、タイル場面が、曇った空または青い空のように非常にフラットになれば、若干の特徴点があり、フラットタイル（ｆｌａｔ ｔｉｌｅ）内のこのような特徴点は、次のフレーム内の多くの場所内のマッチング点（ｍａｔｃｈｉｎｇ ｐｏｉｎｔ）と類似したレベルを見つけることができる。しかし、タイル基盤マッチング（ｔｉｌｅ−ｂａｓｅｄ ｍａｔｃｈｉｎｇ）は、小さな特徴点探索領域にのみ依存するものではなく、タイルのあらゆるパターンが、タイルマッチングプロセスに貢献することができる。結果的に、タイル基盤モーションベクトルは、場面がフラットになる時にさらに信頼することができる。
【００２５】
特徴点モーションベクトルグループ（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）の最も高いスコアがスレショルド値（ｔｈｒｅｓｈｏｌｄ）より小さい時、我々は、特徴点基盤モーションベクトルの代わりに、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を使うように決定し、このような方策は、高いノイズまたはフラットな場面で効果的に作用する。
【００２６】
本発明の概念の実施形態によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、さらに小さな物体は、それらと関連した正確なモーションベクトルを有する必要がない。さらに小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。
【００２７】
グローバル動き（ｇｌｏｂａｌ ｍｏｖｅｍｅｎｔ）またはカメラ動き（ｃａｍｅｒａｍｏｖｅｍｅｎｔ）のために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きな静的な物体の特徴点は、一貫した経路を移動することが予測される。我々は、独立して動く十分に大きな物体は、少なくとも１つのタイルのほとんどをカバー（ｃｏｖｅｒ）することを認知し、したがって、小さな物体のモーションがタイル自体のモーションベクトルで少ない効果を有する限り、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。
【００２８】
我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル毎に１つのモーションベクトルを得る。タイル基盤モーションベクトルは、高いノイズまたはフラット場面ビデオのような特別な場合でのカメラ軌跡決定のために使われる。
【００２９】
与えられたタイルに対するモーションベクトルは、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を最小にすることである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズムの使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使って、ローカル動き上のタイル動きを使用して（ｐｒｅｆｅｒｒｉｎｇ）、計算量を減らすように変更されうる。少なくとも一つのタイルのほとんどをカバーする十分に大きな物体は、燐接したタイルに確張することができるために、各タイル内のいくつかの特徴点は、それらが発見されたタイルのモーションベクトルより燐接したタイルのモーションベクトルにさらに強く関連づけることができる。したがって、あらゆる隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル（ｍｕｌｔｉｐｌｅ）開始ベクトルとして使うことが効果的である。したがって、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、四方向の直接的な隣接タイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルと同様に特徴点が属するタイルのモーションベクトルである。使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。これの目的は、それぞれの、そして、あらゆる特徴点に対する正確なベクトルを決定するものではない（バッド（ｂａｄ）モーションベクトルは、ＤＩＳプロセッシングチェーン（ｃｈａｉｎ）内において後で分類される）。むしろ、関心のある特徴点は、単に背景または大きな客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、良いか、関心のある特徴点のモーションベクトルに近くなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。小さなローカルブロックマッチング探索（ｓｍａｌｌ ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内のあらゆる選択された特徴点に対する開始ベクトルの集合（ｓｅｔ）のそれぞれ周辺の高解像度ドメイン（これは、オリジナルビデオ解像度、または２または４のｆｓ３要素によって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る）で行われる。
【００３０】
図１は、本発明の概念の実施形態と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキービデオ（ｊｅｒｋｙ ｖｉｄｅｏ）を分析し、インターフレーム変換（ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍｓ；Ｔｉ（ｎ））を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ）２０００、インターフレーム変換Ｔｉ（ｎ）のうちから選択された主要変換／補償変換Ｐ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ）４０００、及び選択された主要変換／補償変換Ｐ（ｎ）を用いて、ジャーキービデオを修正して安定化したビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）６０００を含む。
【００３１】
感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点（ＦＰ）のインターフレームモーションベクトルと重ならないタイル（タイルベクトル）のインターフレームモーションベクトルとを推定する。感知ユニット２０００は、ＦＰモーションベクトルグループ変換（ＦＰ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とタイルベクトルグループ変換Ｔｉ（ｎ）とをさらに出力する。
【００３２】
軌跡ユニット４０００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、小さな移動客体と動いて全体フレームをカバーすることができる大きな移動客体のインターフレーム変換を除く。
【００３３】
図２は、図１のＤＩＳ回路のＤＩＳ方法の段階としてタイルベクトルグループのアフィン変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。感知ユニット２０００は、特徴点回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃｉｒｃｕｉｔ）３０００、モーションベクトル（ＭＶ）グループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐ ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｃａｌｃｕｌａｔｏｒ）２０１０を含む。
【００３４】
特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを重ならないタイルの小さな数字ｊ×ｋで割る。タイルの個数ｊ×ｋは、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４．．８）×（４．．８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな物体が少なくとも１つのタイルのほとんどをカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によってキャプチャーされうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点とタイルのモーションベクトル（ＳＦＰ ＭＶｓ ａｎｄ Ｔｉｌｅ ＭＶｓ）とを出力する。
【００３５】
特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。特徴点選択器は、ハリスコーナー特徴点候補識別器（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｉｄｅｎｔｉｆｉｅｒ）、及び特徴点候補分類器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｓｏｒｔｅｒ）をさらに含む。コンピュータパワー（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｏｗｅｒ）を節約し、要求される複数の動作（ｏｐｅｒａｔｉｏｎｓ）の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ）データにのみ動作し、１つ以上のダウンサンプラー（ｄｏｗｎｓａｍｐｌｅｒｓ）及び階層的ブロックマッチング探索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。
【００３６】
特徴点回路３０００は、あらゆるタイルに対する１つのモーションベクトルを推定する。タイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｏｒｔｉｎｇ ａｌｇｏｒｉｔｈｍ）内に使われる同じタイル）に基づいて行われる。タイルのそれぞれに対して、フルブロックマッチング探索（ｆｕｌｌ ｂｌｏｃｋｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、十分にダウンサンプリングされた（ｄｏｗｎ ｓａｍｐｌｅｄ）イメージに行われる。フル探索ブロックマッチング（ｆｕｌｌ−ｓｅａｒｃｈ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）は、あらゆるタイルに対して行われ、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、以後の使用、例えば、特徴点（３５２に保存されたＳＦＰ ＭＶ）のモーションベクトルを得るか、静的な客体感知のための階層的ブロックマッチング探索ユニット内で開始ベクトルとしての使用のために保存される（３５６）。
【００３７】
特徴点回路３０００は、望ましくは、ビデオフレームのタイルと呼ばれる小さな部分（タイル）に基づいた分布を有する特徴点のリスト３５２を提供する。タイル別特徴点の最大個数は、タイルの発光イメージデータ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ２によって線形的に増加する。ＤＩＳ方法のための優れた特徴点は、適したモーション推定アルゴリズムが適用される時、曖昧ではない（ｎｏｎ−ａｍｂｉｇｕｏｕｓ）モーションベクトルを算出する点である。イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）は、このようなピクセルが特徴点として如何ほど適するかを測定するために、ビデオフレームのピクセルに適用される。イメージの相異なる部分（タイル）は、識別された特徴点候補の相異なる密度を有しうる。
【００３８】
特徴点回路３０００は、好ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器（ｔｉｌｅ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）の関数を行うモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ；ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。タイルベクトル計算器は、現在フレーム（Ｆｔ）の十分にダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、最大解像度のまたは２つの連続したフレームのダウンサンプリングされたルーマデータを用いて選択された特徴点のそれぞれのモーションベクトルを決定し、タイルベクトルを開始ベクトルとして使用できる。
【００３９】
データに関連したあらゆる特徴点とタイルは、次のＤＩＳブロック、具体的に、モーションベクトルグループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００に伝達される。
【００４０】
モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを行う。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２によって選択されたベクトルの各対を比較することによって、グループ化決定（ｇｒｏｕｐｉｎｇ ｄｅｃｉｓｉｏｎｓ）を行うモーションベクトル比較器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃｏｍｐａｒａｔｏｒ）１３１０を含む。
【００４１】
特徴点グループ化回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００は、連続したビデオフレームの間で客体の認知された（ｐｅｒｃｅｉｖｅｄ）関連動作に基づいて、ＦＰモーションベクトルを場面内の客体とともに選択された特徴点（ＳＦＰｓ）のモーションベクトルで関連するようにグループ化する。特徴点グループ化回路１３００は、また連続したビデオフレームの間で客体の認知された関連動作に基づいて、タイルモーションベクトルを場面内の客体と関連するようにグループ化する。
【００４２】
特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト（ｔｉｌｅ ＭＶ ｌｉｓｔ）３５６部分は、重ならないタイルの位置とモーションベクトルのリストとを含む。
【００４３】
ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２は、ある特徴点とタイル（モーションベクトル）とがある他のものと以前にペアリングされたか、如何なるものがアンペア（ｕｎｐａｉｒ）として残ったか、及び如何なるものが全体的にグループ化から除外されるかについてのトラックを保持する。ペアリングアルゴリズムは、反復的にモーションベクトルの対（ベクトルＡ＆ベクトルＢ）をＭＶ比較器１３１０への入力として提供する。
【００４４】
特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセス（ａｃｃｅｓｓ）し、モーションベクトル比較器１３１０内の比較のためのベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループとである場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトルまたはその技術的なリスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ（ｉｎｖｅｎｔｏｒｉｅｓ）３５４部分とタイルＭＶグループインベントリ３５８部分とに書き込みする。
【００４５】
モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもＴｉ（ｎ）として出力する。
【００４６】
図３は、図１のＤＩＳ回路のＤＩＳ方法の段階と関連したタイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリング方法に基づいて主要（静的な／背景）変換Ｐ（ｎ）を選択するための図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。
【００４７】
軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ；図３の４０００）は、タイルグループ変換スコアリング及び選択回路（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−１（または、図４の（Ａ）の４１００）、特徴グループ変換スコアリング及び選択回路（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−２（図４の（Ａ）の４１００）、コレクティブグループ選択回路（ｃｏｌｌｅｃｔｉｖｅ ｇｒｏｕｐ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ；図５の４２００）、移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ；図６の４４００）、及び適応的補償フィルター（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｉｌｔｅｒ；図１０及び図１１の８０００）を含む。
【００４８】
軌跡ユニット４０００は、場面内の移動客体を無視する一方、アンステディ（ｕｎｓｔｅａｄｙ）カメラによって引き起こされる主要モーションＰ（ｎ）を識別し、選択された主要変換Ｐ（ｎ）をフィルタリングし、補償変換（ｃｏｍｐｅｎｓａｔｉｏｎ ｔｒａｎｓｆｏｒｍ；Ｃ（ｎ））を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択するように多数の連続したスコアリング関数を使う。
【００４９】
図４の（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器（ｔｒａｎｓｆｏｒｍ ｓｃｏｒｅ ｃａｌｃｕｌａｔｏｒ）４１５０、変換品質計算器（ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ ｃａｌｃｕｌａｔｏｒ）４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ａｎｄ ｑｕａｌｉｔｙ ｓｅｌｅｃｔｏｒ）４１７０を含む。グループ変換スコアリング及び選択回路４１００は、タイルグループインターフレーム変換（ｔｉｌｅ ｇｒｏｕｐ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；ＴＴｉｌｅ，ｉ（ｎ））からタイルグループ主要変換（ｔｉｌｅ ｇｒｏｕｐｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ；ＧＰＴｉｌｅ（ｎ））を出力し（４１００−１）、ＦＰインターフレーム変換（ＦＰ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；ＴＦＰ，ｉ（ｎ））から特徴グループ主要変換（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＧＰＦＰ（ｎ））を出力する（４１００−２）。
【００５０】
図４の（Ｂ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット（ｈｉｓｔｏｒｙ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１１０−１の一実施形態のブロック図である。
【００５１】
図４の（Ａ）及び（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０に加えて規模スコア計算ユニット４１４０、変換スコアＳｉ（ｎ）計算器４１５０、変換品質Ｑｉ（ｎ）計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。
【００５２】
図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、全体変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔｉ（ｎ）の）全体変換スコアＳｉ（ｎ）に基づいて（小さな移動客体のインターフレーム変換を排除させることで）、インターフレーム変換Ｔｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）とを出力する。
【００５３】
Ｔｉ（ｎ）は、感知ユニット２０００から受信されたあらゆる受信された変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ）のうちｉ番目の変換である。ここで、ｎは、フレームと時間的に連続した性質（ｔｉｍｅ ｓｅｑｕｅｎｃｅ ｎａｔｕｒｅ）を表わす。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換（ｓｅｌｅｃｔｅｄ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔｉ（ｎ）である。
【００５４】
各Ｔｉ（ｎ）に対して、全体変換スコアＳｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、全体変換スコアＳｉ（ｎ）を下記の式に基づいて計算する。
Ｓｉ（ｎ）＝Ｈｉ（ｎ）＊Ｍｉ（ｎ）＊Ｆｉ（ｎ）＊Ｅｉ（ｎ）
【００５５】
各Ｔｉ（ｎ）に対して、変換品質Ｑｉ（ｎ）計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑｉ（ｎ）を計算する。
Ｑｉ（ｎ）＝Ｆｉ（ｎ）＋Ｅｉ（ｎ）
【００５６】
最も大きな値Ｓｉ（ｎ）を有するＴｉ（ｎ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択されうる。したがって、実施形態によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳｉ（ｎ）を有するインターフレーム変換候補Ｔｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタカメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために適応的にフィルタリングされる。
【００５７】
ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔｉ（ｎ）に対するヒストリースコアＨｉ（ｎ）を計算し、例えば、感知ユニット２０００から各Ｔｉ（ｎ）が受信された順に計算する。ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬのそれぞれと比較される。ここで、ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的にさらに遠いフレーム：ｎ−ＨＫ）までの範囲を有するインテグラルフレームタイムインデックス（ｉｎｔｅｇｒａｌ ｆｒａｍｅ−ｔｉｍｅ ｉｎｄｅｘ）である。Ｔｉ（ｎ）の変換は、以前に選択されたグループ主要変換（ＧＰ（ｎ−１）からＧＰ（ｎ−ＨＬ））を保存するＨＬとさらに高いコリレーション（ｃｏｒｒｅｌａｔｉｏｎ）を有するほどさらに高いヒストリースコアＨｉ（ｎ）とを有する。
【００５８】
Ｔｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間のコリレーションＨｉ，ｋ（ｎ）は、範囲［０、１］内で１から正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、１のようなＨｉ，ｋ（ｎ）の値は、最も高いコリレーションを示す。
【００５９】
各コリレーションＨｉ，ｋ（ｎ）（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエート（ｈｉｓｔｏｒｙ−ｗｅｉｇｈｔ；ＨＷ（ｋ））によってウェイティングされる（ｗｅｉｇｈｔｅｄ）。
【００６０】
ヒストリースコアＨｉ（ｎ）は、全体コリレーションであり、Ｈｉ，ｋ（ｎ）の和にウェイティングされたＨＷ（ｎ−ｋ）である。ここで、１＜ｋ＜ＨＬであり、ＨＬは、ヒストリー長（以前フレームの個数）である。したがって、
Ｈｉ（ｎ）＝Σ［１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］
１＜ｋ＜ＨＬ
【００６１】
ウエート（ｗｅｉｇｈｔｓ）のＨＷ（ｎ−ＨＬ）で、ＨＷ（ｎ−１）はそれらの和が１と同じであり、ヒストリースコアＨｉ（ｎ）出力が非線形的に正規化され、連続した範囲（［０、１］）を有するように選択される。
【００６２】
図４の（Ｂ）に示されたヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、保存されたコンテンツを比較器４１１４に出力するために（ｎ−１でｎ−ＨＬに対する）、ＨＬタップ（ＨＬ ｔａｐｓ）を有するＨＬを以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存するためのＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ（ｍｅｍｏｒｙ ｂｕｆｆｅｒ）を含む。比較器４１１４は、電流Ｔｉ（ｎ）を以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存されたＨＬのそれぞれと比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体コリレーションを全体ヒストリースコアＨｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に出力する。
【００６３】
モーションスコア計算ユニット（ｍｏｔｉｏｎ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎｕｎｉｔ）４１２０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）にのみ基づいて、そのモーションスコアＭｉ（ｎ）を計算する。他の実施形態において、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。小さなモーションに対する変換は、高いモーションスコアＭｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になることがさらに好ましい。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算する。
【００６４】
Ｍｉ（ｎ）は、小さなモーションに対応して大きな値を有し、大きなモーションに対応して小さな値を有する。モーションＭｉ（ｎ）は、変換の水平、垂直、または全体線形移動に基づくことができる。モーションスコアＭｉ（ｎ）は、線形移動に反対に関連し、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６５】
特徴スコア計算ユニット４１３０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）にのみ基づいて、その特徴スコアＦｉ（ｎ）を計算する。他の実施形態によって、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちの各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。特徴スコアＦｉ（ｎ）は、Ｔｉ（ｎ）のうちから各インターフレーム変換によって表現される特徴点グループを作るためにともにグループ化された特徴点の個数と関連する。Ｔｉ（ｎ）のうちの変換は、グループ別特徴点をさらに多く有するほどさらに高い特徴スコアＦｉ（ｎ）を有する。特徴スコアＦｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６６】
規模スコア計算ユニット（ｅｘｔｅｎｔ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１４０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）に基づいて、その規模スコアＥｉ（ｎ）を計算する。他の実施形態において、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算する。広い領域をカバーする特徴点を有するＴｉ（ｎ）の変換は、カバーする領域が大きいほど、さらに高くスコアリングされる。規模スコアＥｉ（ｎ）は、さらに広い領域をカバーすることに対応してさらに大きな値を有し、反対にさらに狭い領域をカバーすることに対応してさらに小さな値を有する。規模スコアＥｉ（ｎ）は、変換のグループのあらゆる特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。
【００６７】
本発明の概念による多様な実施形態は、除外させなければ、ビデオ安定化に所望しない結果を引き起こす全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択する。我々は、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔｉ（ｎ）は、アンステディカメラに対応する主要変換Ｐ（ｎ）を含まないことが分かる。
【００６８】
図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４２００の一実施形態のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ；ＣＤ（ｎ））を計算するコレクティブ判定計算器（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ ｃａｌｃｕｌａｔｏｒ）４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換（ｃｏｌｌｅｃｔｉｖｅ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＣＰ（ｎ））を出力するコレクティブ変換選択器（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４２６０とを含む。
【００６９】
図５のコレクティブ判定計算器４２５０は、特徴グループ変換品質（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；ＱＦＰ（ｎ））、タイルグループ変換品質（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；ＱＴｉｌｅ（ｎ））、及び感知ユニット２０００から受信された特徴グループ変換候補（ｆｅａｔｕｒｅ ｇｒｏｕｐｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ；ＫＦＧ（ｎ））の個数からコレクティブ判定ＣＤ（ｎ）を算出する。
【００７０】
実施形態において、コレクティブ判定計算器４２５０は、特徴グループの個数ＫＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；ΘＦ（ｎ））を計算し、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が小さい時に０であり、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が大きい時に１である。したがって、ΘＦ（ｎ）値が１に近いことは、ビデオ場面のあらゆる特徴点が多くの特徴グループに分割されたものを表わし、反対に、ΘＦ（ｎ）値が０に近いことは、ビデオ場面のあらゆる特徴点が、少ない特徴グループに分割されたものを表わす。
【００７１】
コレクティブ判定計算器４２５０は、ＱＦ（ｎ）とΘＦ（ｎ）＊ＱＴ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、ＱＦ（ｎ）＞ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、特徴グループを選択するように設定される。そして、もし、ＱＦ（ｎ）＜＝ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴グループが分割されていないならば、ΘＦ（ｎ）値が０に近く、特徴グループは、さらに選択されやすい。一方、もし特徴グループが分割されたならば、ΘＦ（ｎ）値が１に近く、タイルグループ変換品質ＱＴｉｌｅ（ｎ）は、特徴グループ変換品質ＱＦＰ（ｎ）と対等の立場で比較される。
【００７２】
コレクティブ変換選択器４２６０は、特徴グループ主要変換ＧＰＦＰ（ｎ）とタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴グループとして設定される時、特徴グループ主要変換ＧＰＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰＴｉｌｅ（ｎ）として設定される。
【００７３】
本実施形態で、コレクティブ変換スコアリング及び選択回路４２００は、特徴グループ変換品質ＱＦＰ（ｎ）及びタイルグループ変換品質ＱＴｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４Ａの変換品質計算器４１６０によって計算される。
【００７４】
特徴スコア計算ユニット（ｆｅａｔｕｒｅ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１３０は、その特徴基盤（ｆｅａｔｕｒｅ−ｂａｓｅｄ）とタイル基盤（ｔｉｌｅ−ｂａｓｅｄ）変換Ｔｉ（ｎ）の特徴スコアＦｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する目的で感知ユニット２０００から保存された情報を受信する。
【００７５】
Ｔｉ（ｎ）間の各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。１つのグループのさらに多い特徴点または１つのグループのさらに多いタイルの変換Ｔｉ（ｎ）は、さらに高い特徴スコアＦｉ（ｎ）を有し、これは、特徴グループ変換品質ＱＦＰ（ｎ）またはタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれがさらに高くなるようにする。実施形態において、タイル別特徴点の個数は、特徴基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。他の実施形態において、タイルの個数は、タイル基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。タイル別特徴点の個数、及び／またはタイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得ることができる。
【００７６】
規模スコア計算ユニット４１４０は、特徴基盤及びタイル基盤変換Ｔｉ（ｎ）の規模スコアＥｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信する。特徴点またはタイルの変換は、さらに広い領域に亘るほどさらに高くスコアリングされうる。特徴点の個数とタイルベクトルの各グループ内のタイルの次元は、感知ユニット２０００から直接得ることができる。同様に、特徴基盤モーションベクトルの各グループの水平及び垂直方向の規模は、感知ユニット２０００から直接得ることができる。特徴グループまたはタイルグループは、さらに広い領域に亘るほどさらに高い規模スコアＥｉ（ｎ）を有し、その結果、特徴グループ変換品質ＱＦＰ（ｎ）またはタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれはさらに高くなる。本実施形態で、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された規模情報を受信する。
【００７７】
コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、大型客体除外ハードウェア（ｌａｒｇｅ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｈａｒｄｗａｒｅ）は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外（ｅｘｃｌｕｓｉｏｎ）が効果的な場合、単位変換（ｕｎｉｔｙ ｔｒａｎｓｆｏｒｍ；ＵＴ）が代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供されて、安定化されたビデオは、不正確にまたは不明に大型移動客体の変換をしない。
【００７８】
実施形態において、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静的な背景（Ｐ（ｎ）のヒストリーによって指示される）と、静的な背景と大型移動客体の共存の時間周期である。
【００７９】
移動客体除外方法は、次のシナリオを扱うのに非常に効果的である。場面は、移動客体があるかないかのほとんど静的な背景である。大型移動客体は、場面に進入し、漸次的にさらに大きな領域をカバーする。前記大型移動客体は、全体場面をカバーする。前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。前記大型移動客体は、遂に消える。
【００８０】
移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ａｎｌａｙｚｅｒ）は、除外シナリオ（ＩＦ）を感知する。
連続して静的なＭＶグループの存在は、ほとんど静的な背景になった場面を示している。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を示している。
前述のトレンドが続き、時間ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、除外シナリオが検出される。
【００８１】
除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指示しなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。したがって、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは大型移動客体に不正確に追従しない。
【００８２】
図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施形態のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。
【００８３】
移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。いつでも、指定された静的なグループＧ０が１つだけあるが、０またはそれ以上の現在（ｅｘｉｓｔｉｎｇ）モーショングループＧＫ（ｋ＞０）があり得る。また、次のフレームの間に、ｋ（例えば、ｋ（ｎ＋１）＝ｋ（ｎ）＋１）現在モーショングループＧｋのうち１つになりうる新たなモーショングループＧＮがあり得る。
【００８４】
静的なグループＧ０は、関連したグループヒストリーＧＨ０を有する。ｋ現在モーショングループＧｋは、関連したモーションベクトルＭｋだけではなく、関連したグループヒストリーＧＨｋも有する。各現在モーショングループＧｋは、基本的にフレームｎまで経時的に類似した速度のＴｉ（ｎ）のそれぞれに対して低域通過フィルターがかけられた（ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒｅｄ）｜Ｔｉ（ｎ）｜であるモーションベクトルＭｋを有する。
【００８５】
新たなモーショングループＧＮの各々は、その生成（ｃｒｅａｔｉｏｎ）の時間に初期化された関連したグループヒストリーＧＨＮ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ０（ｎ）、ＧＨ１（ｎ）、．．．ＧＨＪ（ｎ）、及びＧＨＫ（ｎ）を含む場面ヒストリーとＧＨＮ（ｎ）とを受信し、それらから除外判定（ｅｘｃｌｕｓｉｏｎｄｅｃｉｓｉｏｎ；ＥＤ（ｎ））を計算する。
【００８６】
除外変換選択器（ｅｘｃｌｕｓｉｏｎ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４４８０は、単位変換（ＵＴ）とコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換（ＵＴ）として設定され、そうではない場合には、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換（ＵＴ）は、補償ユニットが補償の間に何もしないようにしうる。したがって、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、そうではない場合、主要変換Ｐ（ｎ）として選択されうる大型移動客体の変換は、選択された主要変換Ｐ（ｎ）になるものから除外される。要するに、大型移動客体の変換は、感知された時には、図１の補償ユニット６０００によって行われる補償から除外される。
【００８７】
図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路の一実施形態で行われる段階を詳しく説明するための複合ブロックダイヤグラムフローチャートであり、図１のＤＩＳ回路のＤＩＳ方法を実施する段階で構成されている。図７は、静的なグループＧ０、現在モーショングループＧｋ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。
【００８８】
図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ０（ｎ））と現在ヒストリー（Ｅｘｉｓｔｅｎｃｅ−Ｈｉｓｔｏｒｙ、例えば、ＥＨ０（ｎ））とを含む。
【００８９】
移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｔ ａｎａｌｙｚｅｒ）４４７０は、次のように除外シナリオを感知する。静的な変換Ｇ０（ｎ）のグループヒストリーＧＨ０内で指示された連続した存在（ｅｘｉｓｔｅｎｃｅ）及び選択は、多数のフレームの間に存在したほとんどの静的な背景の場面を示している。具体的なモーショングループＧｋのグループヒストリーＧＨＫ内の連続する存在の漸次的に増加する数字は、客体が場面内に入ってくるということを表わす。もし、存在及びモーションの現趨勢が持続されれば、そして、時間（ｎ）で選択された変換Ｐ（ｎ）がＧＫに結合するものを除き、静的な変換がＧ０に属しなければ、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオ（ｌａｒｇｅｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｓｃｅｎａｒｉｏ）を指示するならば、主要変換Ｐ（ｎ）は、単位変換として設定され、そうではない場合には、主要変換Ｐ（ｎ）は、Ｔｉ（ｎ）のあるスコアリング関数によって選択される。
【００９０】
グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０のそれぞれは、受信されたインターフレーム変換Ｔｉ（ｎ）のうちの１つに関連した各グループに対するヒストリー情報の３種類の保存及び処理を行う。グループヒストリーの前記３種類は、選択ヒストリー、現在ヒストリー（ｅｘｉｓｔｅｎｃｅ−ｈｉｓｔｏｒｙ）、及びモーションヒストリーである。静的なグループＧ０は、映像安定化開始時に空いているヒストリーとともに生成される。静的なグループＧ０のモーションヒストリーは省略され、ヌル（ｎｕｌｌ）と推定されうる。モーショングループＧ１、．．．、ＧＫ、．．．、ＧＮは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。
【００９１】
図７を参照すると、静的なグループＧ０、Ｎ現在モーショングループＧｋ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ０、ＧＨＫ、及びＧＨＮ＋１を提供する。
【００９２】
モーショングループＧ０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ０と存在ヒストリーＥＨ０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ０は、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧ０に結合されたか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨ０は、モーショングループＧ０に結合されたインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す過去フレーム値当たり１ビットである。
【００９３】
グループＧ０が静的とみなされ、選択された主要変換Ｐ（ｎ）を含む如何なるＴｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）について、Ｔｉ（ｎ）を多様なヒストリーに基づいたモーションベクトルＭ０よりスレショルド値ｔｈｄ０と比較することに依存するために、静的なグループＧ０のグループヒストリー回路４４１０は、モーションヒストリーＭ０を省略する。静的なグループＧ０は、ビデオ安定化開始時に空いているヒストリーとともに作られる。
【００９４】
もし、フレームｎの間にＴｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足すれば（判定段階ｄＳ４４１８の「はい」のブランチ）、このＴｉ（ｎ）は、Ｇ０に属し、存在ヒストリーＥＨ０は、フレームｎで静的な変換の存在を指示するためにアップデートされる。
もし、Ｐｉ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨ０は、Ｔｉ（ｎ）選択を指示するためにアップデートされる。
【００９５】
Ｔｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足しない場合（判定段階ｄＳ４４１８の「いいえ」のブランチ）、フレームの間に｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足させなければ、Ｔｉ（ｎ）は、存在モーショングループＧ１〜ＧＮ内のそれぞれのグループヒストリーと比較される。
【００９６】
モーショングループＧｋのグループヒストリー回路４４３０は、選択ヒストリーＳＨＫ、及び存在ヒストリーＥＨＫ、及びモーションヒストリーＭｋの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨＫは、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧｋに属するか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨＫは、モーショングループＧｋに属したインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す以前フレーム値当たり１ビットである。
【００９７】
モーションヒストリーＭｋは、グループＧｋの全体的なモーションのベクトルＭｋを指示する情報を保存する。各Ｔｉ（ｎ）は、またモーションベクトル（Ｍ）でマッピング（ｍａｐ）する。各モーショングループＧＫは、モーションベクトルＭｋでマッピングする。｜Ｔｉ（ｎ）｜をＴｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔｉ（ｎ）−ＭＫ｜を１≦Ｋ≦Ｎ（Ｎは、現在の現在モーショングループの個数）で現在モーショングループＧｋのモーションベクトルＭｋからＴｉ（ｎ）の偏差とする。Ｎ個存在するモーショングループのうち最小の｜Ｔｉ（ｎ）−ＭＪ｜を有するモーショングループＧＪは、Ｔｉ（ｎ）に対する最もマッチングされるグループＧＪを示す。ジョイン（ｊｏｉｎ）判断は、｜Ｔｉ（ｎ）−ＭＪ｜を所定のスレショルド値ｔｈｄ１と比較して決定されうる。したがって、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及びすべてのＫで｜Ｔｉ（ｎ）−ＭＪ｜≦｜Ｔｉ（ｎ）−ＭＫ｜であり、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔｉ（ｎ）は、存在するモーショングループＧＪにジョインする。
【００９８】
もし、すべてのＫに対して、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であり、｜Ｔｉ（ｎ）−ＭＪ｜＜｜Ｔｉ（ｎ）−ＭＫ｜であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔｉ（ｎ）は、ＧＪに属する。
モーションヒストリーＭＪは、新たに属したＴｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨＪは、フレームｎでモーショングループＧＪの存在を指示するためにアップデート（ｕｐｄａｔｅ）される。
もし、Ｐ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨＪは、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。
【００９９】
一方、もし、判定段階ｄＳ４４３８がＴｉ（ｎ）及びあらゆる存在するモーショングループＧ１〜ＧＮのために反復され、ＭＫのうちいずれも｜Ｔｉ（ｎ）−ＭＫ｜＜ｔｈｄ１を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」のブランチ）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する（Ｓ４４４９段階）。もし、このＴｉ（ｎ）が、新たに形成されたモーショングループＧＮ＋１に属するならば（Ｓ４４４９段階）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する。
【０１００】
モーションヒストリーＭＮ＋１は、このＴｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨＮ＋１は、フレームｎで新たなモーショングループＧＮ＋１の存在を指示するために初期化される。
もし、Ｐ（ｎ）＝Ｔｉ（ｎ）であれば、選択ヒストリーＳＨＮ＋１は、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。
時間の拡張された期間（フレーム）にジョイン（ｊｏｉｎ）するＴｉ（ｎ）を除くモーショングループ（Ｇ０〜ＧＪのうちの）は、削除される。
【０１０１】
図８は、時間ｎにおける、キャプチャーされたビデオフレームと主要変換Ｐ（ｎ）から計算された補償変換Ｃ（ｎ）に対応する補償ウィンドウとを示す図であり、減少した垂直オーバーエクスカーションｖ１を示している。補償ウィンドウの垂直オーバーエクスカーションは、本発明の実施形態によるＤＩＳ方法の段階で垂直オーバーエクスカーションｖ１として測定される。
【０１０２】
図８を参照すると、キャプチャーされたビデオフレームの補償変換Ｃ（ｎ）に相応する補償ウィンドウは、垂直オーバーエクスカーションｖ０またはｖ１、水平オーバーエクスカーションｕ０またはｕ１、または垂直オーバーエクスカーションｖ０またはｖ１、及び水平オーバーエクスカーションｕ０またはｕ１いずれもを有しうる。それぞれの潜在的なオーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１は、補償変換Ｃ（ｎ）の並進成分、補償変換Ｃ（ｎ）の回転成分、または補償変換Ｃ（ｎ）の並進成分及び回転成分の組み合わせによって発生することがある。
エクスカーションのヒストリーに基づいて、各キャプチャーされたビデオフレームに対するフィルタリングされた補償変換Ｃ（ｎ）を出力するために、主要変換Ｐ（ｎ）を適応的にフィルタリングすることによって、オーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１を最小化することが望ましい。
【０１０３】
図９は、本発明の概念による他の実施形態によってＤＩＳを行うＤＩＳ回路のブロック図である。ＤＩＳ回路は、受信されたジャーキービデオを分析し、インターフレーム変換Ｔｉ（ｎ）を出力する感知ユニット２０００、Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を識別する主要変換選択回路４１００、４２００、及び４４００、及び主要変換Ｐ（ｎ）を補償変換Ｃ（ｎ）にフィルタリングする適応的補償フィルター８０００を含む軌跡ユニット４０００、及びジャーキービデオフレームを補償変換Ｃ（ｎ）の使用により修正することによって、安定化されたビデオを出力する補償ユニット６０００を含む。
【０１０４】
主要変換選択回路４１００、４２００、及び４４００は、場面内の移動客体のインターフレーム変換Ｔｉ（ｎ）を無視し、アンステディカメラによって発生したグローバルモーションのインターフレーム変換Ｔｉ（ｎ）を識別することによって、インターフレーム変換Ｔｉ（ｎ）のうちから１つを主要変換Ｐ（ｎ）として選択し、その選択したものを計算された主要変換Ｐ（ｎ）として出力する。したがって、ＤＩＳ回路の主要変換選択回路４１００、４２００、及び４４００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを計算された主要変換Ｐ（ｎ）として選択して出力する。補償変換Ｃ（ｎ）は、主要変換Ｐ（ｎ）を適応的にフィルタリングすることで得られる。補償変換Ｃ（ｎ）は、相応する入力ビデオイメージとの関係で安定化されたビデオイメージ（補償ウィンドウ）の幾何学的構造の表現である。前記表現は、位置、アングル（ａｎｇｌｅ）、サイズなどを含む。補償変換に使われるいくつかは、普通類似変換（ｓｉｍｉｌａｒｉｔｙ ｔｒａｎｓｆｏｒｍ）及びアフィン変換であるが、本発明の概念は前記変換に限定されないが、ここでは、本発明の概念による一実施形態の方法の説明のためにアフィン変換を使う。
【０１０５】
主要変換選択回路４１００、４２００、及び４４００は、順にフレームの連続したシーケンスの選択された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）を適応的補償フィルター８０００に出力する。主要変換Ｐ（ｎ−∞）は、反復的な（無限インパルス応答（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ、ＩＩＲ））フィルターの使用を指示する。適応的補償フィルター８０００は、主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）の配列によって表現されるジッタモーションから意図されたカメラ軌跡を推定し、推定したカメラ軌跡によって補償変換Ｃ（ｎ）を出力する。
【０１０６】
安定化されたビデオの視覚的効果は、適応的補償フィルター８０００の品質に大きく依存する。従来の軌跡推定方法は、モーションベクトル積分とカルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）などを含む。しかし、これらと他の従来の軌跡推定方法は、ジャーキービデオ特性の広い範囲で正しく行われない。本発明の概念による実施形態では、適応的補償フィルター８０００がジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎｓ）をフィルタリングし、安定化されたビデオを生産するのに使われる。
【０１０７】
図１０は、本発明の一実施形態による図９に示されたＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００のブロック図である。適応的補償フィルター８０００は、補償ウィンドウエクスカーションのヒストリーに基づいて主要変換Ｐ（ｎ）を適応的にフィルタリングする。適応的補償フィルター８０００は、フレームの連続したシーケンスの受信された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）に基づいて主要変換Ｐ（ｎ）をフィルタリングし、適応的にフィルタリングされた補償変換Ｃ（ｎ）を出力する。
【０１０８】
適応的補償フィルター８０００は、強補償フィルター（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ（ＳＣ）ｆｉｌｔｅｒ）８７００、弱補償フィルター（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ（ＷＣ）ｆｉｌｔｅｒ）８６００、コントロール信号Ｅ（ｎ）を出力するための適応的フィルターコントロール回路８５００、及びエクスカーション調節ミキサー（ｅｘｃｕｒｓｉｏｎ ｍｏｄｕｌａｔｅｄ ｍｉｘｅｒ）８２００を含む。強補償フィルター８７００は、高周波数−選択的高次線形時不変デジタルフィルター（ｈｉｇｈｌｙｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）であり、非常にジャーキーな入力ビデオのフィルタリングに効果的である。
一方、弱補償フィルター８６００は、より少なめに安定した出力ビデオで少ない補償ウィンドウオーバーエクスカーションを生産するさらに低い周波数−選択的性質を有する。
【０１０９】
適応的補償フィルター８０００は、強補償フィルター８７００と弱補償フィルター８６００との効果的な組み合わせである。エクスカーション調節ミキサー８２００は、生成されたコントロール信号Ｅ（ｎ）に基づいて出力する強補償フィルター８７００と弱補償フィルター８６００とのミキシング（ｍｉｘｉｎｇ）を行い、補償ウィンドウエクスカーションのヒストリーに基づいて適応的フィルターコントローラ８５００によって出力する。
【０１１０】
図１１は、図９のＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００の最初の実施形態８０００−１のブロック図である。本実施形態において、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００、及び適応的フィルターコントローラ８５００−１のエクスカーション計算器８５１０へのフィードバックループ（ｆｅｅｄｂａｃｋ ｌｏｏｐ）を含む。
【０１１１】
図１１を参照すると、強補償フィルター８７００は、視覚的によく安定化されたビデオを得て高周波数−選択的な出力Ｆ（ｎ）を有するために、１．０Ｈｚでカットオフ（ｃｕｔｏｆｆ）周波数を有し、急激なロールオフ（ｒｏｌｌｏｆｆ）を有する高次線形時不変循環デジタルフィルター（ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。
【０１１２】
弱補償フィルター８６００は、高次または低次線形時不変循環デジタルフィルターである。弱補償フィルター８６００は、オーバーエクスカーションを減らすために、１Ｈｚよりさらに高いカットオフ周波数を有し、緩やかなロールオフを有するさらに低い周波数−選択的な出力Ｇ（ｎ）を有する。
【０１１３】
適応的補償フィルター８０００−１のエクスカーション調節ミキサー８２００−１は、スカラーコントロール信号Ｅ（ｎ）によって強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）とを結合するエクスカーション調節適応的フィルタリングを行う。強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）は、いずれも中間に起こる補償変換であり、エクスカーション調節ミキサー８２００−１の出力Ｃ（ｎ）も補償変換である。エクスカーション調節ミキサー８２００−１は、Ｃ（ｎ）（Ｃ（ｎ）＝（１−Ｅ（ｎ））＊Ｆ（ｎ）＋Ｅ（ｎ）＊Ｇ（ｎ））を出力する。ここで、Ｅ（ｎ）は、［０、１］の範囲での非線形的に正規化されたスカラーコントロール信号である。“＊”は、スカラーと変換との間の乗算演算であり、変換にマッピングされる。“＋”は、２つの変換の間の加算演算であり、変換にマッピングされる。したがって、本実施形態で、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００との線形結合であり、適応的補償フィルター８０００−１は、線形重畳（ｌｉｎｅａｒ ｓｕｐｅｒｐｏｓｉｔｉｏｎ）の原則によって知られた安定した性質を有する効果的な高次線形時不変循環デジタルフィルターである。
【０１１４】
線形結合された補償変換Ｃ（ｎ）は、補償ウィンドウエクスカーションのヒストリーに基づいてスカラーコントロール信号Ｅ（ｎ）によって制御される。ヒストリー内の小さなエクスカーションは、小さなＥ（ｎ）を生産するので、現在フレームｎに対する強補償フィルター８７００の影響は大きくなる一方、ヒストリー内の大きなエクスカーションは、１に近いＥ（ｎ）を生産するので、現在フレームｎに対する弱補償フィルター８６００の影響が大きくなる。ヒストリー内の中間値のエクスカーションは、強補償フィルター８７００と弱補償フィルター８６００との影響に比例するように割り当てられる。
【０１１５】
したがって、強補償フィルター８７００は、小さなエクスカーションに主たる貢献を提供し、それは、高周波数ジッタをフィルタリングするのに非常に効果的である。そして、さらに大きなエクスカーションで弱補償フィルター８６００の貢献がさらに多くなるために、オーバーエクスカーションの発生が急減する。適応的補償フィルター８０００−１は、優れたビデオ安定化の性質を保持しながら、入力ビデオの大きな動きによる過度なオーバーエクスカーションを防止することができる。
【０１１６】
図１１を参照すると、適応的フィルターコントローラ８５００−１は、エクスカーション計算器８５１０、４つのエクスカーションヒストリー積分器８５２０、及び調節因子計算器８５３０−１を含む。適応的フィルターコントローラ８５００−１は、フィードバックループの一部である。エクスカーション計算器８５１０は、以前の適応的補償フィルター出力Ｃ（ｎ−∞）、．．．Ｃ（ｎ−２）、Ｃ（ｎ−１）から得られたＥ（ｎ）を出力する。ここでｎは、時間連続した性質を表わし、Ｅ（ｎ）とＣ（ｎ）は、実現不可能な遅延のないループを形成しない。したがって、本実施形態は、リアルタイムビデオ安定化に適し、予測可能な性質の概略的な線形時不変フィルターを含む。
【０１１７】
エクスカーション計算器８５１０は、エクスカーション調節ミキサー８２００−１によって出力された補償変換Ｃ（ｎ）のフィードバックを受信する。エクスカーション計算器８５１０は、補償ウィンドウの４つのエッジの位置に基づいてフレームごとに左側、右側、下方、上側のエクスカーションを別途に計算するために、ｕ０計算器、ｕ１計算器、ｖ０計算器、及びｖ１計算器を含む（図８参照）。
【０１１８】
適応的補償フィルター８０００−１は、循環フィルターを通したエクスカーションヒストリーを含む。エクスカーション計算器８５１０の各面の出力は、本質的に低域通過循環フィルター（ｌｏｗ−ｐａｓｓ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）であるエクスカーションヒストリー積分器によってそれぞれ時間に対して積分される。各低域通過循環フィルターＨｕ０、Ｈｕ１、Ｈｖ０、及びＨｖ１の出力は、調節因子計算器８５３０−１に供給される。調節因子計算器８５３０−１は、４つの時間に対して積分されたエクスカーション量Ｈｕ０、Ｈｕｕ１、Ｈｖ０、及びＨｖ１のうちから最大値を選択し、連続区間［０、１］で非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を生成する。
【０１１９】
調節因子計算器８５３０−１は、Ｆ（ｎ）とＧ（ｎ）とのミキシングを調節するために、非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を出力する。小さな値のＥ（ｎ）は、小さなエクスカーションのヒストリーを意味し、大きな値のＥ（ｎ）は、大きなエクスカーションのヒストリーを意味する。
【０１２０】
したがって、補償変換Ｃ（ｎ）を生成させ、出力するためのスカラーコントロール信号Ｅ（ｎ）の制御下のＦ（ｎ）とＧ（ｎ）とのミキシングは、補償ウィンドウエクスカーションのヒストリーに基づく。本実施形態は、周波数オーバーエクスカーションのない優れた安定化を提供し、公知の周波数応答と予測可能な安定化性質とを有し、リアルタイムビデオ安定化に適切である。
【０１２１】
上記開示した説明事項は、実施形態として考慮されたものであるので、本発明は、これに制限されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。したがって、本発明の範囲は、法によって許容される最大の範囲まで許容されなければならず、前述した詳細な説明によって制限的に解釈されてはならない。
【特許請求の範囲】
【請求項１】
カメラによってキャプチャーされたビデオフレーム内のモーションベクトルの変換から補償されるカメラ動きを表わす補償変換を識別する段階と、
補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ）の過度なオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を防止するために、非線形的に正規化された時積分されたエクスカーション（ｎｏｎ−ｌｉｎｅａｒｌｙ ｎｏｒｍａｌｉｚｅｄ ｔｉｍｅ−ｉｎｔｅｇｒａｔｅｄ ｅｘｃｕｒｓｉｏｎｓ）に基づいて補償変換を適応的フィルタリング（ｆｉｌｔｅｒｉｎｇ）する段階と、
を含むことを特徴とするビデオデータ処理方法。
【請求項２】
前記適応的フィルタリングする段階は、
前記補償変換の強補償（ＳＣ）フィルタリングを行う高周波数−選択的高次線形時不変循環フィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）と、前記補償変換の弱補償（ＷＣ）フィルタリングを行う低周波数−選択的高次線形時不変循環フィルター（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ）、または低周波数−選択的低次線形時不変循環フィルター（ｌｏｗｅｒ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅｆｉｌｔｅｒ）とのスカラー組み合わせ（ｓｃａｌａｒ ｃｏｍｂｉｎａｔｉｏｎ）を含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項３】
前記適応的フィルタリングする段階は、
小さなエクスカーションヒストリー（ｓｍａｌｌ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に基づいて現在フレームに対して、前記強補償（ＳＣ）フィルターの大きな影響力を配分する段階と、
大きなエクスカーションヒストリー（ｌａｒｇｅ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に対して、前記現在フレームに対して弱補償（ＷＣ）フィルターの大きな影響力を配分する段階と、
を含むことを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項４】
複数の中間エクスカーション（ｍｅｄｉｕｍ ｅｘｃｕｒｓｉｏｎｓ）のエクスカーションヒストリーに対して、前記強補償（ＳＣ）フィルターと前記弱補償（ＷＣ）フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項３に記載のビデオデータ処理方法。
【請求項５】
前記非線形的に正規化された時積分されたエクスカーションは、前記エクスカーションヒストリーの少なくとも４つの時積分されたエクスカーションサイズのうちから最大サイズＭ（ｎ）を選択することを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項６】
Ｅ（ｎ）は、小さなエクスカーションから大きなエクスカーションまでのヒストリーから区間［０、１］でＭ（ｎ）の非線形的に正規化された値であることを特徴とする請求項５に記載のビデオデータ処理方法。
【請求項７】
前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングに対して設定された遮断周波数より低い遮断周波数で設定されることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項８】
前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングでのロールオフより急激なロールオフ（ｒｏｌｌｏｆｆ）の使用を含むことを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項９】
前記強補償フィルタリングは、ほぼ１Ｈｚ程度の遮断周波数を有することを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項１０】
前記強補償（ＳＣ）フィルター及び前記弱補償（ＷＣ）フィルターの前記影響力の配分は、０から１までの連続区間内で非線形的に正規化された値に基づくことを特徴とする請求項３に記載のビデオデータ処理方法。
【請求項１１】
イメージデータのフレームを受信するための受信器と、
第１モーション特性を有するモーションベクトルの第１グループと、第２モーション特性を有するモーションベクトルの第２グループとを保存するためのメモリと、
前記モーションベクトルの前記第１グループと前記第２グループとの変換から補償されるカメラ動きを表わす補償変換を識別するための変換選択器と、
非線形的に正規化された時積分されたエクスカーションに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止するための適応フィルターと、
を含むことを特徴とするイメージ処理回路。
【請求項１２】
前記補償変換の強補償フィルタリングを行うためのさらに高い周波数−選択的な高次線形時不変フィルターと前記補償変換の弱補償フィルタリングを行うためのさらに低い周波数−選択的な低次線形時不変フィルターとを組み合わせるためのミキサー（ｍｉｘｅｒ）をさらに含むことを特徴とする請求項１１に記載のイメージ処理回路。
【請求項１３】
前記適応フィルターは、小さなエクスカーションのエクスカーションヒストリーに基づいて、現在フレームに対する前記強補償フィルターのさらに大きな影響力を配分し、大きなエクスカーションのエクスカーションヒストリーに対する前記現在フレームに対する前記弱補償フィルターのさらに大きな影響力を配分することを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１４】
複数の中間エクスカーションのエクスカーションヒストリーに対する前記強補償フィルターと前記弱補償フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１５】
非線形的に正規化された信号を出力するために、エクスカーションヒストリーの４つの時積分されたエクスカーションサイズのうちから最大サイズを計算するための調節因子計算器をさらに含むことを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１６】
前記非線形的に正規化された信号は、０から１の範囲内で前記強補償フィルターと前記弱補償フィルターとのスカラー値でミキシングすることを調節するために前記ミキサーに入力されることを特徴とする請求項１５に記載のイメージ処理回路。
【請求項１７】
前記強補償フィルターは、前記弱補償フィルターに対して設定された遮断周波数よりさらに低い遮断周波数で設定されたことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１８】
前記強補償フィルターは、前記弱補償フィルターでのロールオフより急激なロールオフの使用を含むことを特徴とする請求項１７に記載のイメージ処理回路。
【請求項１９】
前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項１１に記載のイメージ処理回路。
【請求項２０】
前記モーションベクトルの前記第１グループの変換は、選択された特徴点の動作を表現し、前記モーションベクトルの前記第２グループの変換は、ビデオフレームから分割された重ならないタイルの動作を表現することを特徴とする請求項１１に記載のイメージ処理回路。
【請求項２１】
イメージをキャプチャーするためのイメージセンサーと、
キャプチャーされたイメージをイメージデータのフレームに変換するためのイメージデータ回路と、
イメージ処理回路と、を含み、前記イメージ処理回路は、
前記イメージデータの前記フレームを受信するための受信器と、
客体の動作を感知し、モーションベクトルを生成するためのモーションベクトル感知器と、
前記モーションベクトルの変換から補償されるカメラ動きを表現する補償変換を識別するための変換選択器と、
補償ウィンドウのオーバーエクスカーションをフィルタリングするための適応フィルターと、
前記補償変換と前記適応フィルターの出力に基づいて、キャプチャーされたイメージを調節するための補償ユニットと、
を含むことを特徴とするカメラ。
【請求項２２】
前記モーションベクトルを特徴点グループとタイルグループとを含む少なくとも２つ以上のグループのうちの１つにグループ化するためのグループ化回路をさらに含み、
前記タイルグループは、ビデオフレームから分割された重ならないタイルを含むことを特徴とする請求項２１に記載のカメラ。
【請求項２３】
前記変換選択器は、ヒストリースコア、モーションスコア、特徴スコア、及び規模スコアから選択された複数のスコアリング関数に基づいて前記補償変換を識別することを特徴とする請求項２１に記載のカメラ。
【請求項２４】
前記適応フィルターは、非線形的に正規化された時積分されたエクスカーションに基づいて補償ウィンドウの過度なオーバーエクスカーションを防止することを特徴とする請求項２１に記載のカメラ。
【請求項２５】
前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項２１に記載のカメラ。
【請求項１】
カメラによってキャプチャーされたビデオフレーム内のモーションベクトルの変換から補償されるカメラ動きを表わす補償変換を識別する段階と、
補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ）の過度なオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を防止するために、非線形的に正規化された時積分されたエクスカーション（ｎｏｎ−ｌｉｎｅａｒｌｙ ｎｏｒｍａｌｉｚｅｄ ｔｉｍｅ−ｉｎｔｅｇｒａｔｅｄ ｅｘｃｕｒｓｉｏｎｓ）に基づいて補償変換を適応的フィルタリング（ｆｉｌｔｅｒｉｎｇ）する段階と、
を含むことを特徴とするビデオデータ処理方法。
【請求項２】
前記適応的フィルタリングする段階は、
前記補償変換の強補償（ＳＣ）フィルタリングを行う高周波数−選択的高次線形時不変循環フィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）と、前記補償変換の弱補償（ＷＣ）フィルタリングを行う低周波数−選択的高次線形時不変循環フィルター（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ）、または低周波数−選択的低次線形時不変循環フィルター（ｌｏｗｅｒ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅｆｉｌｔｅｒ）とのスカラー組み合わせ（ｓｃａｌａｒ ｃｏｍｂｉｎａｔｉｏｎ）を含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項３】
前記適応的フィルタリングする段階は、
小さなエクスカーションヒストリー（ｓｍａｌｌ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に基づいて現在フレームに対して、前記強補償（ＳＣ）フィルターの大きな影響力を配分する段階と、
大きなエクスカーションヒストリー（ｌａｒｇｅ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に対して、前記現在フレームに対して弱補償（ＷＣ）フィルターの大きな影響力を配分する段階と、
を含むことを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項４】
複数の中間エクスカーション（ｍｅｄｉｕｍ ｅｘｃｕｒｓｉｏｎｓ）のエクスカーションヒストリーに対して、前記強補償（ＳＣ）フィルターと前記弱補償（ＷＣ）フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項３に記載のビデオデータ処理方法。
【請求項５】
前記非線形的に正規化された時積分されたエクスカーションは、前記エクスカーションヒストリーの少なくとも４つの時積分されたエクスカーションサイズのうちから最大サイズＭ（ｎ）を選択することを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項６】
Ｅ（ｎ）は、小さなエクスカーションから大きなエクスカーションまでのヒストリーから区間［０、１］でＭ（ｎ）の非線形的に正規化された値であることを特徴とする請求項５に記載のビデオデータ処理方法。
【請求項７】
前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングに対して設定された遮断周波数より低い遮断周波数で設定されることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項８】
前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングでのロールオフより急激なロールオフ（ｒｏｌｌｏｆｆ）の使用を含むことを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項９】
前記強補償フィルタリングは、ほぼ１Ｈｚ程度の遮断周波数を有することを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項１０】
前記強補償（ＳＣ）フィルター及び前記弱補償（ＷＣ）フィルターの前記影響力の配分は、０から１までの連続区間内で非線形的に正規化された値に基づくことを特徴とする請求項３に記載のビデオデータ処理方法。
【請求項１１】
イメージデータのフレームを受信するための受信器と、
第１モーション特性を有するモーションベクトルの第１グループと、第２モーション特性を有するモーションベクトルの第２グループとを保存するためのメモリと、
前記モーションベクトルの前記第１グループと前記第２グループとの変換から補償されるカメラ動きを表わす補償変換を識別するための変換選択器と、
非線形的に正規化された時積分されたエクスカーションに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止するための適応フィルターと、
を含むことを特徴とするイメージ処理回路。
【請求項１２】
前記補償変換の強補償フィルタリングを行うためのさらに高い周波数−選択的な高次線形時不変フィルターと前記補償変換の弱補償フィルタリングを行うためのさらに低い周波数−選択的な低次線形時不変フィルターとを組み合わせるためのミキサー（ｍｉｘｅｒ）をさらに含むことを特徴とする請求項１１に記載のイメージ処理回路。
【請求項１３】
前記適応フィルターは、小さなエクスカーションのエクスカーションヒストリーに基づいて、現在フレームに対する前記強補償フィルターのさらに大きな影響力を配分し、大きなエクスカーションのエクスカーションヒストリーに対する前記現在フレームに対する前記弱補償フィルターのさらに大きな影響力を配分することを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１４】
複数の中間エクスカーションのエクスカーションヒストリーに対する前記強補償フィルターと前記弱補償フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１５】
非線形的に正規化された信号を出力するために、エクスカーションヒストリーの４つの時積分されたエクスカーションサイズのうちから最大サイズを計算するための調節因子計算器をさらに含むことを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１６】
前記非線形的に正規化された信号は、０から１の範囲内で前記強補償フィルターと前記弱補償フィルターとのスカラー値でミキシングすることを調節するために前記ミキサーに入力されることを特徴とする請求項１５に記載のイメージ処理回路。
【請求項１７】
前記強補償フィルターは、前記弱補償フィルターに対して設定された遮断周波数よりさらに低い遮断周波数で設定されたことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１８】
前記強補償フィルターは、前記弱補償フィルターでのロールオフより急激なロールオフの使用を含むことを特徴とする請求項１７に記載のイメージ処理回路。
【請求項１９】
前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項１１に記載のイメージ処理回路。
【請求項２０】
前記モーションベクトルの前記第１グループの変換は、選択された特徴点の動作を表現し、前記モーションベクトルの前記第２グループの変換は、ビデオフレームから分割された重ならないタイルの動作を表現することを特徴とする請求項１１に記載のイメージ処理回路。
【請求項２１】
イメージをキャプチャーするためのイメージセンサーと、
キャプチャーされたイメージをイメージデータのフレームに変換するためのイメージデータ回路と、
イメージ処理回路と、を含み、前記イメージ処理回路は、
前記イメージデータの前記フレームを受信するための受信器と、
客体の動作を感知し、モーションベクトルを生成するためのモーションベクトル感知器と、
前記モーションベクトルの変換から補償されるカメラ動きを表現する補償変換を識別するための変換選択器と、
補償ウィンドウのオーバーエクスカーションをフィルタリングするための適応フィルターと、
前記補償変換と前記適応フィルターの出力に基づいて、キャプチャーされたイメージを調節するための補償ユニットと、
を含むことを特徴とするカメラ。
【請求項２２】
前記モーションベクトルを特徴点グループとタイルグループとを含む少なくとも２つ以上のグループのうちの１つにグループ化するためのグループ化回路をさらに含み、
前記タイルグループは、ビデオフレームから分割された重ならないタイルを含むことを特徴とする請求項２１に記載のカメラ。
【請求項２３】
前記変換選択器は、ヒストリースコア、モーションスコア、特徴スコア、及び規模スコアから選択された複数のスコアリング関数に基づいて前記補償変換を識別することを特徴とする請求項２１に記載のカメラ。
【請求項２４】
前記適応フィルターは、非線形的に正規化された時積分されたエクスカーションに基づいて補償ウィンドウの過度なオーバーエクスカーションを防止することを特徴とする請求項２１に記載のカメラ。
【請求項２５】
前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項２１に記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１６５３６５（Ｐ２０１２−１６５３６５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２８１５３４（Ｐ２０１１−２８１５３４）
【出願日】平成２３年１２月２２日（２０１１．１２．２２）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２８１５３４（Ｐ２０１１−２８１５３４）
【出願日】平成２３年１２月２２日（２０１１．１２．２２）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]