デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
【課題】フレーム（ｆｒａｍｅ）の静的な背景を識別するデジタルイメージ安定化（ＤＩＳ）方法を提供する。
【解決手段】選択回路４１００、４２００は、複数のタイルモーションベクトル（Ｔｉｌｅ ＭＶ）と特徴点モーションベクトル（ＦＰ ＭＶ）との各スコアリングに基づいて、ビデオフレームの場面内の静止／背景客体を表わす主要変換を選択し、移動客体除外回路４４００は、静止／背景グループのヒストリーと複数のモーションベクトルグループの各々のヒストリーとに基づいて大型移動客体を除く。
【解決手段】選択回路４１００、４２００は、複数のタイルモーションベクトル（Ｔｉｌｅ ＭＶ）と特徴点モーションベクトル（ＦＰ ＭＶ）との各スコアリングに基づいて、ビデオフレームの場面内の静止／背景客体を表わす主要変換を選択し、移動客体除外回路４４００は、静止／背景グループのヒストリーと複数のモーションベクトルグループの各々のヒストリーとに基づいて大型移動客体を除く。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の概念による実施例は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に係り、特に、カメラ場面（ｓｃｅｎｅ）内の客体（ｏｂｊｅｃｔｓ）の移動を識別（ｉｄｅｎｔｉｆｙ）し、前記カメラの意図された動き（モーション、ｍｏｔｉｏｎ）と意図されていない動きとの間を区分（ｄｉｓｔｉｎｇｕｉｓｈ）する、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラに関する。
【背景技術】
【０００２】
デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａｓ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａｓ）、及びこのようなカメラ撮像ツール（ｃａｍｅｒａ ｃａｐｔｕｒｅ）を含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、そのカメラを操作者が手で操作して、イメージ又はビデオを撮影（ｃａｐｔｕｒｅ）するために度々使われる。従って、カメラは、イメージ又はビデオを撮影する際に、手ぶれや、ジッタを発生しうる。ジッタは、水平成分、垂直成分、及び回転成分を含みうる。ジッタがあると、手撮りビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を見る人の見る気を逸らせ（ｄｉｓｔｒａｃｔｉｎｇ）又は見る気を失わせる（ｄｉｓｏｒｉｅｎｔｉｎｇ）。従って、デジタル的にカメラ軌跡（ｔｒａｊｅｃｔｏｒｙ）、すなわち、連続したフレームの各対の間から検出されたジッタ、を推定し、同一場面に対するビデオフレームのシーケンスからこのジッタをフィルタリングするためにデジタル回路を使うことが必要になる。
【０００３】
静止しているか、移動しているかを問わず安定した（ｓｔｅａｄｙ）ビデオカメラによって製作されたビデオは、撮影されたビデオに主に滑らかなモーション（並進（ｔｒａｎｓｌａｔｉｏｎ）又は回転（ｒｏｔａｔｉｏｎａｌ））を含む。一方、不安定な（ｕｎｓｔｅａｄｙ）ビデオカメラは、ビデオイメージの全体に亘って高周波数の（並進性（ｔｒａｎｓｌａｔｉｏｎａｌ）及び／又は回転性の（ｒｏｔａｔｉｏｎａｌ））ジッタを含むビデオを生産する。
【０００４】
デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、それの訂正をイメージシーケンスに適用する。
このように安定化したビデオの実際の視覚的効果は、カメラ軌跡推定の品質に大きく依存する。
従来のデジタルイメージ安定化（ＤＩＳ）方法は、２つの連続したフレームの間のジッタ性モーション（ｊｉｔｔｅｒｙ ｍｏｔｉｏｎ）の推定の根拠として、識別された特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔｓ）を使う。
従って、従来のＤＩＳ技術では、ジッタ性カメラ移動は、経時的に近接した複数のフレームの間の識別可能な“特徴点”のモーションベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を計算することで感知される。
特徴点に対して計算されたモーションベクトルは、場面内の実在する客体に複数のモーションベクトルを関連付けるために、“グループ化”される。
このようなグループ化（ｇｒｏｕｐｉｎｇ）は、場面内で移動する小型の客体をカメラ又は場面のグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）から区分する。
カメラ又は場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとに、分析の上、区分される。
【０００５】
ジッタを、保存又は表示されたビデオにおいて正確に補償し、正確に除去するためには、カメラの軌跡を感知して測定することと、前記ジッタを正確に特徴づけることとが要求される。しかし、ノイズの多い、又は平坦で変化のない（ｆｌａｔ）場面のビデオのような特別な場合には、特徴点追跡（ｔｒａｃｋｉｎｇ）は信頼できない。特徴点モーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を得るためには、最もマッチングする点を、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）の計算に基づいて探さなければならない。しかし、最小のＳＡＤは、ノイズが多く且つ薄暗い（ｌｏｗ−ｌｉｇｈｔ）場面、又は青い空のようなフラットな場面の場合、ＳＡＤが最小であるからといって、その点が正確なマッチング点であることを必ずしも保証しない。
【０００６】
数学的には、アフィン幾何学（ａｆｆｉｎｅ ｇｅｏｍｅｔｒｙ）は、アフィン変換、すなわち、非特異線形変換及び並進（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ａｎｄ ｔｒａｎｓｌａｔｉｏｎ）によって変わらず保持される幾何学的性質の研究である。
アフィン行列（Ａｆｆｉｎｅ ｍａｔｒｉｘ）と呼ばれる、一群の数値係数（ｎｕｍｅｒｉｃａｌ ｃｏｅｆｆｉｃｉｅｎｔ）によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、又はこれらの一部（例えば、フレーム内で移動する客体）の間で感知された平行移動（ｌａｔｅｒａｌ、例えば、上、下移動）、回転、及び伸縮（ｓｃａｌａｒ、例えば、ズームイン、ズームアウト）を特徴づけるために開発された。
従って、アフィン変換Ｔｉ（ｎ）は、各特徴点がビデオフレームイメージ（ｖｉｄｅｏ ｆｒａｍｅ ｉｍａｇｅ）内の区別可能な点であるとして、イメージ内に見える選択された特徴点からなる識別されたグループのモーションをコンパクトに記述できる。
グループのこのような数学的な記述説明は、線形変位、回転角、伸縮（ｓｃａｌｅ）などを含みうる。
各グループの線形変位モーションＭｉ（ｎ）は、多重フレーム（ｎ−１、ｎ、ｎ＋１番目などのフレーム）に対するアフィン変換Ｔｉ（ｎ）内の情報の部分集合である。
【０００７】
従って、カメラのジッタは、場面内に静止して実在する客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）、例えば、岩、テーブル、駐車中の車、山、太陽、に関連した主要変換（ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）（Ｐ（ｎ））、又はグローバル変換（ｇｌｏｂａｌ ｔｒａｎｓｆｏｒｍ）と呼ばれる第１アフィン変換行列により特徴づけられ、一方、フレーム内の移動客体、例えば、鳥、人、球、動く車、通り過ぎる汽車は、追加的なアフィン行列によって特徴づけられる。小モーションＭｉ（ｎ）の変換は、大体、主要変換Ｐ（ｎ）である。しかし、極小モーションＭｉ（ｎ）の変換が必然的に常に前記主要変換Ｐ（ｎ）であるというわけではない。
【０００８】
カメラモーション、例えば、ユーザのハンドジッタによって発生するカメラモーションを指し示す（ｉｎｄｉｃａｔｅ）主要変換（主要インターフレーム（ｉｎｔｅｒ−ｆｒａｍｅ）変換、Ｐ（ｎ））は、１つ以上の関心点（“特徴点”）を感知することによって、計算されて選択される。連続したフレームの間の特徴点のモーションベクトルは、ビデオ圧縮の分野で採択される多様な検索方法を用いて計算されうる。特定の客体と関連づけられてグループ化された複数の特徴点モーションベクトルは、その客体のアフィン変換の計算に使われ、該アフィン変換はアフィン方程式によって、客体の感知されたモーションを定義する。
【０００９】
イメージを安定化するためには、まず、不安定なカメラによって引き起こされた主要モーションが場面内の移動する客体から弁別される。もし、ジッタ（カメラ軌跡（ｃａｍｅｒａ ｔｒａｊｅｃｔｏｒｙ））がなければ、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の同じ場所で発見されると予想される（また、その場合、感知された特徴点のモーションベクトルは全て、ヌル（ｎｕｌｌ）として測定される）。もし、ジッタ（カメラ軌跡）があれば、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の相異なる場所で発見されると予想され、その場合、感知された特徴点のモーションベクトルは全て有限な値として測定される。
しかし、場面によっては、ジッタモーションに比べて同じであるか、小さいか、又は大きい、測定可能なモーションベクトルを有する大きな移動客体、例えば、通り過ぎる汽車又は通り過ぎるトラックがフレーム内に登場し、フレームの漸増する領域をカバーし、遂には全場面をカバーする場合がある。全ビデオ場面をカバーするような大きい移動客体は、従来のＤＩＳ方法にとり特に難問として残っている。こういう場合が生起すると、従来のＤＩＳ回路は、大きな移動客体の変換を主要変換Ｐ（ｎ）として誤まって識別し、混乱しかねない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的な課題は、実際に移動する客体から静的な背景を識別するために、タイルモーションベクトルグループ変換（ｔｉｌｅ ｍｏｔｉｏｎｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）と特徴点モーションベクトルグループ変換（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とのうちから主要変換を選択することに基づいて、フレーム（ｆｒａｍｅ）の静的な背景を識別するデジタルイメージ安定化（ＤＩＳ）方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の概念の一面は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリング（ｓｃｏｒｉｎｇ）に基づいて、ビデオフレームの場面内の静止又は背景（両者を一般に区別せず合わせて、以下、「静止／背景」とする）客体を表わす主要変換Ｐ（ｎ）を選択する段階と、前記静止／背景グループのヒストリー（ｈｉｓｔｏｒｙ）と前記複数のモーションベクトルグループの各々のヒストリーとに基づいて、大きい移動客体を除く段階と、を含むデジタルイメージ安定化方法を提供する。
【００１２】
本発明が果たそうとする他の技術的な課題は、特徴点モーションベクトル（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＦＰ ＭＶ）グループの複数の変換の各々のスコアリングに基づいて、ビデオフレーム（ｖｉｄｅｏ ｆｒａｍｅ）の場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。
【００１３】
本発明が果たそうとするまた他の技術的な課題は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリングに基づいて、ビデオフレームの場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。
【００１４】
本発明の概念の他面は、静的な（背景）グループのヒストリーと複数のモーションベクトルグループの各々のヒストリーとに基づいて、ビデオフレーム全体をカバーするほど大きい移動客体を除く段階を含むデジタルイメージ安定化方法を提供する。
【００１５】
本発明の概念の一面は、本明細書に開示されたＤＩＳ方法を行うのに適したデジタルイメージ安定化回路を提供する。連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームのシーケンスからカメラの軌跡によって引き起こされるジッタをフィルタリングさせる（ｆｉｌｔｅｒ ｏｕｔ）方法又は回路は、ビデオカメラ自体に含まれ、撮影されたビデオフレームの保存に先立って、例えば、もし、ビデオカメラがリアルタイムＭＰＥＧエンコーダを含めば、ＭＰＥＧエンコーディング前又は途中で、リアルタイムで前記ジッタを除くように作動できる。
別の方法として、連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングさせるＤＩＳ回路は、デジタルイメージ安定化（ＤＩＳ）方法を具現するソフトウェアによって制御される汎用マイクロコンピュータであり、ＡＳＩＣ内に具現されたＭＥＰＧビデオエンコーダのようにデジタルイメージ安定化（ＤＩＳ）方法を行うように活用される専用ハードウェアであり得る。
【発明の効果】
【００１６】
本発明の概念の一実施例の要点は、アフィン（インターフレーム）変換Ｔｉ（ｎ）で表わされる、時系列上の第ｎ番目の時点における、第ｉ番目のモーションベクトルグループの変換を評価し、そのうちから（静的な）背景を表わすために最善の主要変換Ｐ（ｎ）を選択するために、一連のスコアリング関数（ｓｃｏｒｉｎｇ ｆｕｎｃｔｉｏｎｓ）を適用する方法である。
本方法は、主要変換Ｐ（ｎ）を選択する時、変換ヒストリー、変換モーション、変換特徴、及び（垂直の又は水平の）変換規模（ｔｒａｎｓｆｏｒｍ ｅｘｔｅｎｔ）の各特性に係る関数を含むが、これに限定されない関数を含む成分関数を同時に考慮する。
このような特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）の各々は、スコアリング成分に寄与する。このようなスコアリング成分の総体（ｅｎｓｅｍｂｌｅ）は、候補としての各変換Ｔｉ（ｎ）に対する全体スコアＱｉ（ｎ）を与える。
最上の全体スコアＱｉ（ｎ）を有する（インターフレーム）変換Ｔｉ（ｎ）が主要（インターフレーム）変換Ｐ（ｎ）として選択され、本発明によるＤＩＳ方法の後続の補償段階で使われる。
本発明の実施例によるスコアリング及び選択方法は、（インターフレーム）変換のマイナーな摂動に敏感ではない。
従って、本方法は、このようなマイナーな摂動に非常に敏感な従来の方法、例えば、マルチレベルアドホック二進決定ルーチン（ｍｕｌｔｉ−ｌｅｖｅｌ ａｄ−ｈｏｃ ｂｉｎａｒｙ ｄｅｃｉｓｉｏｎ ｒｏｕｔｉｎｅｓ）より優れる。
【００１７】
以下に添付図面を参照しながら、本発明の概念の実施形態について詳細に説明する。ただし、本発明はここで説明される実施形態から多様に変形されて実施できるものと理解すべきであり、ここで説明される実施形態に限定されるものと理解すべきでない。むしろ、これらの実施形態は、発明の開示が徹底的且つ完全であり、本発明の概念の範囲を当業者に十分に伝えるように用意されている。説明の全体を通して類似符番は類似要素を指す。
【図面の簡単な説明】
【００１８】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
【図１】本発明の実施例によるデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。
【図２】タイルベクトルグループのアフィン（ａｆｆｉｎｅ）変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。
【図３】タイルグループ変換と特徴グループ変換とからなる（インターフレーム）変換Ｔｉ（ｎ）をスコアリングに基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択する図１のＤＩＳ回路の軌跡ユニットのブロック図である。
【図４】（Ａ）は、図１のＤＩＳ回路のＤＩＳ方法内の段階を行うグループ変換スコアリング及び選択回路の一実施例のブロック図であり、（Ｂ）は、ヒストリースコア計算ユニットの一実施例のブロック図である。
【図５】コレクティブ変換スコアリング及び選択回路の一実施例のブロック図である。
【図６】移動客体除外回路の一実施例を示すブロック図である。
【図７】本発明の概念の実施例によるプロセス段階を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の一実施例によって、各撮影されたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布を提供する特徴点をアルゴリズミックに選択するために、少数の互いに重ならないタイル（典型的には、標準画質の場合４×４タイル、及び高精細画質の場合６×６タイル）に分けられる。イメージの異なる領域は、適当な特徴点の密度が異なりうる。極端な場合、例えば、雲一点ない青空の場合に、フレームの領域によっては、如何なる適当な特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。
【００２０】
得られた特徴点分布は、ビデオフレームの小さい領域、例えば、重ならないタイル、に基づき、各タイル内の特徴点の個数は、前記タイルのイメージ輝度データの分散σ２に比例して線形的に増加する。より関心のあるイメージデータのタイルと、それによるより多い特徴点に対する要求は、より高い分散σ２を有するように予測される。本願と同日に出願済の発明、“デジタルイメージ安定化装置及び方法”（ドケット（ｄｏｃｋｅｔ）番号８７２９−３５７）を見れば、同時に僅かな局所的状態情報を要するだけで、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを低減できる手順が描写されている。前記の同時出願発明の開示内容は、参照文献として本願に含まれる。
【００２１】
もし、場面が薄暗い状態で撮影されれば、それは、相対的により多いノイズを有し、特徴点のピクセルの個数は、タイル内のピクセルの個数より遥かに少ないので、ノイズ効果は、タイルより特徴点により大きく作用する。前記タイル内のピクセルの個数が大きいと、ノイズ消去（キャンセル）効果を提供し、このような場合には、ダウンサンプリングされた（ｄｏｗｎｓａｍｐｌｅｄ）タイルをベースとするモーションベクトルがより正確である。
【００２２】
たとえ場面が薄暗い状態で撮影されないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイルベースのモーションベクトルは、より正確である。もし、タイル場面（ｔｉｌｅ ｓｃｅｎｅ）が、曇り空又は青い空のように非常にフラットになれば、若干の特徴点が存在し、フラットタイル内のこのような特徴点は、次のフレーム内の多くの場所内に類似レベルのマッチング点を見出しうる。しかし、タイルベースマッチングは、小さな特徴点探索領域にのみ依存するものではなく、タイルの全てのパターンが、タイルマッチングプロセスに貢献できる。結果的に、タイルベースモーションベクトルは、場面がフラットになる時により信頼できる。
【００２３】
特徴点モーションベクトルグループの最も高いスコアでも、所定の（予め決められた）閾値より低い時、我々は、特徴点ベースモーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）の代わりに、タイルベースモーションベクトルを使うように決定し、このような戦略は、高いノイズ又はフラットな場面で効果的に作動する。
【００２４】
本発明の概念の実施例によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、より小さな客体は、それらと関連した正確なモーションベクトルを有する必要がない。より小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。
【００２５】
グローバル動き又はカメラ動きのために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きい静止客体の特徴点は、一貫した方法（ｃｏｈｅｒｅｎｔ ｗａｙ）で移動すると予測される。我々は、独立して動く十分に大きな客体は、少なくとも１つのタイルの過半（ｍａｊｏｒｉｔｙ）をカバーすることを認知し、従って、小さな客体のモーションはタイル自体のモーションベクトルに殆ど影響しないので、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。
【００２６】
我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル別に１つのモーションベクトルを得る。タイルベースモーションベクトルは、高いノイズ又はフラット場面ビデオのような特別な場合におけるカメラ軌跡決定に使われる。
【００２７】
与えられたタイルに対するモーションベクトルは、絶対差の和（ＳＡＤ）を最小にするベクトルである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズム（ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使い、ローカル動きよりもタイル動きを優先（ｐｒｅｆｅｒｒｉｎｇ）することによって、計算量を減らすように変更されうる。
少なくとも１つのタイルの過半をカバーする十分に大きな客体は、隣接したタイルに拡張できるので、各タイル内のいくつかの特徴点は、一般に、それらが発見されたタイルのモーションベクトルよりも隣接したタイルのモーションベクトルにより強く関連する。
従って、全ての隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル開始ベクトル（ｍｕｌｔｉｐｌｅ ｓｔａｒｔ ｖｅｃｔｏｒｓ）として使うことが効果的である。従って、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、その特徴点が属するタイルのモーションベクトルと、そのタイルの四方向の直接的な隣りのタイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルである。
使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。この目的は、各々の、そして、全ての特徴点に対する正確なベクトルを決定するものではない（悪いモーションベクトルは、一連のＤＩＳプロセッシング内で後で選別除去される）。
むしろ、関心のある特徴点は、単に背景又は大きい客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、丁度良いか、関心のある特徴点のモーションベクトルに近似していなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。
小さなローカルブロックマッチング探索（ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内の全ての選択された特徴点に対する開始ベクトルの集合の各々を巡って高解像度ドメインにおいて実行される。この高解像度は、元のビデオ解像度、又は２又は４のｆｓ３ファクタによって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る。
【００２８】
図１は、本発明の概念の実施例と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキー（ｊｅｒｋｙ、手振れなどでギクシャクした）ビデオを分析し、インターフレーム変換（以下、「インターフレーム」を削除して、単に「変換」ともいう）Ｔｉ（ｎ）を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ、ＤＵ）２０００、前記インターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択し、選択された主要変換Ｐ（ｎ）を用いて補償変換Ｃ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ、ＴＵ）４０００、及び前記補償変換Ｃ（ｎ）を用いて、前記ジャーキービデオを修正して安定化されたビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ、ＣＵ）６０００を含む。
【００２９】
感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点ＦＰのインターフレームモーションベクトル（特徴点モーションベクトル）と、重ならないタイルのインターフレームモーションベクトル（タイルモーションベクトル）と、を推定する。これに基づき、感知ユニット２０００は、ＦＰモーションベクトルグループ変換と、タイルベクトルグループ変換とからなるインターフレーム変換Ｔｉ（ｎ）をさらに出力する。
以下、ＦＰモーションベクトルグループ変換を、特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）と略し、タイルモーションベクトルグループ変換を、タイルグループ変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）と略し、両者を合わせたものを（インターフレーム）変換Ｔｉ（ｎ）とする。
【００３０】
軌跡ユニット４０００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、大きな移動客体が場面をカバーしている場合は単位変換（Ｕｎｉｔｙ＿Ｔｒａｎｓｆｏｒｍ、即ち、無変換）を選択する。従って、小さな移動客体のインターフレーム変換と、全体フレームに進入しこれをカバーできる大きな移動客体のインターフレーム変換と、を除く。
【００３１】
図２は、図１のＤＩＳ回路のＤＩＳ方法の段階として、タイルベクトルグループのアフィン変換を計算する、図１のＤＩＳ回路内の感知ユニット２０００のブロック図である。感知ユニット２０００は、特徴点回路３０００、モーションベクトル（ＭＶ）グループ化回路１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器２０１０を含む。
【００３２】
特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを少数（（ｊ×ｋ）個）の互いに重ならないタイルに分割する。タイルの個数（ｊ×ｋ）は、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４〜８）×（４〜８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな客体が少なくとも１つのタイルの過半をカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によって撮影されうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点のモーションベクトル（ＳＦＰ ＭＶｓ）と、タイルのモーションベクトル（Ｔｉｌｅ ＭＶｓ）とを出力する。
【００３３】
特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。前記特徴点選択器は、ハリスコーナー（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ）特徴点候補識別器、及び特徴点候補分類器をさらに含む。コンピュータパワーを節約し、要求される複数の動作の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ、輝度）データにのみ動作し、１つ以上のダウンサンプラー及び階層的ブロックマッチング探索ユニットを含む。
【００３４】
特徴点回路３０００は、各タイルに対して１つのモーションベクトルを推定する。このタイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム内に使われるのと同じタイル）に基づいて行われる。タイルの各々に対して、フルブロックマッチング探索は、深くダウンサンプリングされたイメージに対して行われる。フル探索ブロックマッチングは、全てのタイルに対して行われ、得られたタイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、メモリ３５０のタイルＭＶリスト３５６に保存されて、以後の使用、例えば、特徴点モーションベクトル（メモリ３５０のＳＦＰ＿ＭＶリスト３５２に保存される）の推定のための、及び静止客体感知のための階層的ブロックマッチング探索ユニット内での開始ベクトルとしての使用に備える。
【００３５】
特徴点回路３０００は、望ましくは、ビデオフレームの小領域（タイル）に基づいた分布を有する、特徴点のモーションリスト（ＳＦＰ＿ＭＶ）３５２を提供する。タイル別の特徴点の最大個数は、タイルのイメージ輝度データ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ２によって線形的に増加する。ＤＩＳ方法にとって優れた特徴点とは、適当なモーション推定アルゴリズムが適用されると、曖昧ではないモーションベクトルを算出する特徴点である。
イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズムが、ビデオフレームの各ピクセルに適用されて、そのピクセルが特徴点として如何ほど適するかを測定する。イメージの相異なる領域（タイル）は、識別された特徴点候補の相異なる密度を有しうる。
【００３６】
特徴点回路３０００は望ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器機能を行うモーションベクトル計算器、及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ、ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニットを含む。
タイルベクトル計算器は、現在フレーム（Ｆｔ）の深くダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、２つの連続したフレームの、最大解像度の又はダウンサンプリングされたルーマデータを用いて選択された特徴点の各々のモーションベクトルを決定し、得られたタイルモーションベクトルを後で開始ベクトルとして使用する。
【００３７】
全ての特徴点とタイルに関連したデータは、次のＤＩＳブロック、具体的には、モーションベクトルグループ化回路１３００に伝達される。
【００３８】
モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを施す。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ１３０２と、これによって選択されたベクトルの各対を比較してグループ化決定を行うモーションベクトル比較器１３１０を含む。
【００３９】
特徴点グループ化回路１３００は、ＦＰモーションベクトルを、選択された特徴点（ＳＦＰｓ）のモーションベクトルを場面内の客体と関連付けるように、グループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。
特徴点グループ化回路１３００は、タイルモーションベクトルを場面内の客体と関連付けるようにグループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。
【００４０】
特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト３５６は、重ならないタイルの位置とモーションベクトルのリストとを含む。
【００４１】
ペアリングアルゴリズムコントローラ１３０２は、どの特徴点（モーションベクトル）及びどのタイル（モーションベクトル）が他のどのものと以前にペアされたか、どれがペアリングされずに（ｕｎｐａｉｒ）で残ったか、及びどれが全体的にグループ化から除外されるか、についての履歴（トラック）を保持する。ペアリングアルゴリズムコントローラ１３０２は、反復的にモーションベクトルの対を、（ベクトルＡ＆ベクトルＢ）の形でＭＶ比較器１３１０への入力として提供する。
【００４２】
特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセスし、モーションベクトル比較器１３１０内の比較のために、ベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループ、が生成された場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトル又はその羅列リスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ３５４とタイルＭＶグループインベントリ３５８とに書込む。
【００４３】
モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもインターフレーム変換Ｔｉ（ｎ）として出力する。
【００４４】
図３は、図１のＤＩＳ回路のＤＩＳ方法の段階に関連して、タイルＭＶグループ変換と特徴点ＭＶグループ変換とからなるインターフレーム変換Ｔｉ（ｎ）をスコアリングする方法に基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択するための、図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。
【００４５】
軌跡ユニット４０００は、タイルグループ変換スコアリング及び選択回路４１００−１（ただし、図４Ａでは、４１００）、特徴点グループ変換スコアリング及び選択回路４１００−２（ただし、図４Ａでは、４１００）、コレクティブ変換スコアリング及び選択回路４２００、移動客体除外回路４４００、及び適応的補償フィルター８０００を含む。
【００４６】
軌跡ユニット４０００は、場面内の移動客体を無視することで、不安定なカメラによって引き起こされる主要モーションを識別し、選択した主要変換Ｐ（ｎ）をフィルタリングし、補償変換Ｃ（ｎ）を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択する際に、複数の一連のスコアリング関数を使う。
【００４７】
図４（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器４１５０、変換品質計算器４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器４１７０を含む。
グループ変換スコアリング及び選択回路４１００は、インターフレーム変換Ｔｉ（ｎ）入力として、タイルグループインターフレーム変換（Ｔ（ｔｉｌｅ，ｉ）（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、タイルグループ主要変換（ＧＰｔｉｌｅ（ｎ））を出力し（４１００−１）、インターフレーム変換Ｔｉ（ｎ）入力として、ＦＰ（＝特徴点）インターフレーム変換（Ｔ（ＦＰ，ｉ）（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、特徴点グループ主要変換（ＧＰＦＰ（ｎ））を出力する（４１００−２）。
【００４８】
図４（Ｂ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット４１１０−１の一実施例のブロック図である。
【００４９】
図４（Ａ）及び４（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、図４（Ｂ）に示した４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０、及び規模スコア計算ユニット４１４０に加えて、変換スコアＳｉ（ｎ）を計算する変換スコア計算器４１５０、変換品質Ｑｉ（ｎ）を計算する変換品質計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。
【００５０】
図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔｉ（ｎ）の）全体変換スコアＳｉ（ｎ）に基づいて小さい移動客体のインターフレーム変換を排除することにより、インターフレーム変換Ｔｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）を出力する。
【００５１】
Ｔｉ（ｎ）を感知ユニット２０００から受信された全ての受信された変換候補のうちｉ番目の変換とする。ここで、ｎは、時系列上の第ｎ番目の時点におけるフレームを意味する。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔｉ（ｎ）である。
【００５２】
各Ｔｉ（ｎ）に対して、変換スコアＳｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、変換スコアＳｉ（ｎ）を下記の式に基づいて計算する。
Ｓｉ（ｎ）＝Ｈｉ（ｎ）＊Ｍｉ（ｎ）＊Ｆｉ（ｎ）＊Ｅｉ（ｎ）
【００５３】
各Ｔｉ（ｎ）に対して、変換品質計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑｉ（ｎ）を計算する。
Ｑｉ（ｎ）＝Ｆｉ（ｎ）＋Ｅｉ（ｎ）
【００５４】
最も大きな値Ｓｉ（ｎ）を有するＴｉ（ｎ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択される。従って、実施例によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳｉ（ｎ）を有するインターフレーム変換候補Ｔｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタ（ｊｉｔｔｅｒｙ）カメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために、後述するように、適応的にフィルタリングされる。
【００５５】
ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔｉ（ｎ）に対するヒストリースコアＨｉ（ｎ）を計算、例えば、感知ユニット２０００から各Ｔｉ（ｎ）が受信された順次に計算する。前記ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬの各々と比較される。ここで、前記ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的により遠いフレーム：ｎ−ＨＫ）までの範囲を有する、フレーム時間指数を表わす整数である。フレーム変換候補Ｔｉ（ｎ）は、以前に選択され、保存されているＨＬ個のグループ主要変換（ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ））とより高い相関を有するほどより高いヒストリースコアＨｉ（ｎ）を与えられる。
【００５６】
Ｔｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）は、１から、範囲［０、１］内で正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、Ｈ（ｉ，ｋ）（ｎ）＝１の場合、最も高い相関を指し示す。
【００５７】
各相関係数Ｈ（ｉ，ｋ）（ｎ）＝（１−｜Ｔｉ（ｎ）−｜ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエートＨＷ（ｋ）によって重み付けされる。
【００５８】
ヒストリースコアＨｉ（ｎ）は、全体相関係数であり、ヒストリーウエートＨＷ（ｋ）によって重み付けされた相関係数Ｈ（ｉ，ｋ）（ｎ）の和である。ここで、１＜ｋ＜ＨＬであり、前記ＨＬは、ヒストリー長（以前フレームの個数）である。即ち、
Ｈｉ（ｎ）＝ S［１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］，
ｆｏｒ １＜ｋ＜ＨＬ．
【００５９】
ヒストリーウエートＨＷ（ｎ−ＨＬ）〜ＨＷ（ｎ−１）は、それらの総和が１になり、ヒストリースコアＨｉ（ｎ）出力が非線形的に正規化され、且つ連続した範囲（［０、１］）を有するように選択されるのが望ましい。
【００６０】
図４（Ｂ）に示したヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、以前に選択された、ＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）を保存し、比較器４１１４に並列出力するための、（ｎ−１）〜（ｎ−ＨＬ）のＨＬ個のタップを有するＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ４１１１を含む。比較器４１１４は、現在（フレーム時点ｎ）のインターフレーム変換Ｔｉ（ｎ）を、以前に選択され保存されているＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）の各々と比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体相関係数をヒストリースコアＨｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に供給する。
【００６１】
モーションスコア計算ユニット４１２０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、そのモーションスコアＭｉ（ｎ）を計算する。他の実施例の場合には、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。小さいモーションに対する変換Ｔｉ（ｎ）は、高いモーションスコアＭｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になる可能性が高い。各インターフレーム変換Ｔｉ（ｎ）に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算する。
【００６２】
Ｍｉ（ｎ）は、小さいモーションに対応して大きい値を有し、大きいモーションに対応して小さい値を有する。モーションスコアＭｉ（ｎ）は、変換の水平、垂直、又は全体線形変位に基づく。モーションスコアＭｉ（ｎ）は、線形変位に逆相関し、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６３】
特徴スコア計算ユニット４１３０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その特徴スコアＦｉ（ｎ）を計算する。他の実施例の場合には、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。
特徴スコアＦｉ（ｎ）は、各インターフレーム変換Ｔｉ（ｎ）によって代表される特徴点グループを作るためにともにグループ化された特徴点の個数と関連付けられる。変換Ｔｉ（ｎ）は、グループ別特徴点をより多く有するほどより高い特徴スコアＦｉ（ｎ）を有する。特徴スコアＦｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６４】
規模スコア計算ユニット４１４０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その規模スコアＥｉ（ｎ）を計算する。他の実施例の場合には、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔｉ（ｎ）に対して、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算する。広い領域をカバーする特徴点を有する変換Ｔｉ（ｎ）は、カバーする領域が大きいほど、より高くスコアリングされる。規模スコアＥｉ（ｎ）は、より広い領域をカバーすることに対応してより大きい値を有し、反対により狭い領域をカバーすることに対応してより小さい値を有する。規模スコアＥｉ（ｎ）は、その変換のグループに属する全ての特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６５】
本発明の概念による多様な実施例は、除外しないとビデオ安定化に所望しない結果を引き起こしかねない、全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択してしまい易い。場面ヒストリー分析を使うならば、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔｉ（ｎ）は、不安定カメラに対応する主要変換Ｐ（ｎ）を含まないと判断できる。
【００６６】
図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路４２００の一実施例のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定ＣＤ（ｎ）を計算するコレクティブ判定計算器４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換ＣＰ（ｎ）を出力するコレクティブ変換選択器４２６０とを含む。
【００６７】
図５のコレクティブ判定計算器４２５０は、特徴点グループ変換品質ＱＦＰ（ｎ）、タイルグループ変換品質ＱＴｉｌｅ（ｎ）、及び感知ユニット２０００から受信された特徴点グループ変換候補の個数ＫＦＧ（ｎ）からコレクティブ判定ＣＤ（ｎ）を算出する。
【００６８】
実施例によっては、コレクティブ判定計算器４２５０は、特徴点グループ変換候補の個数ＫＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；ΘＦ（ｎ））を計算し、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が小さい時に０であり、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が大きい時に１である。従って、ΘＦ（ｎ）値が１に近いことは、ビデオ場面の全ての特徴点が多くの特徴点グループに分裂されたものを表わし、反対に、ΘＦ（ｎ）値が０に近いことは、ビデオ場面の全ての特徴点が、少ない特徴点グループに分裂されたものを表わす。
【００６９】
コレクティブ判定計算器４２５０は、ＱＦ（ｎ）とΘＦ（ｎ）＊ＱＴ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、ＱＦ（ｎ）＞（ΘＦ（ｎ）＊ＱＴ（ｎ））であれば、コレクティブ判定ＣＤ（ｎ）は、特徴点グループを選択するように設定される。そして、もし、ＱＦ（ｎ）＜＝ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴点グループが分裂されていないならば、ΘＦ（ｎ）値が０に近く、前記特徴点グループは、より選択されやすい。一方、もし特徴点グループが分裂されたならば、ΘＦ（ｎ）値が１に近く、タイルグループ変換品質ＱＴｉｌｅ（ｎ）は、特徴点グループ変換品質ＱＦＰ（ｎ）と対等の立場で比較される。
【００７０】
コレクティブ変換選択器４２６０は、特徴点グループ主要変換ＧＰＦＰ（ｎ）とタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴点グループとして設定される時、特徴点グループ主要変換ＧＰＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰＴｉｌｅ（ｎ）として設定される。
【００７１】
本実施例で、コレクティブ変換スコアリング及び選択回路４２００は、特徴点グループ変換品質ＱＦＰ（ｎ）及びタイルグループ変換品質ＱＴｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４（Ａ）の変換品質計算器４１６０によって計算される。
【００７２】
特徴スコア計算ユニット４１３０は、その特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）とタイルグループ変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）の各々の場合について、変換Ｔｉ（ｎ）の特徴スコアＦｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する目的で感知ユニット２０００に保存された情報を受信する。
各インターフレーム変換Ｔｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。より多い特徴点又はより多いタイルが属するグループの変換Ｔｉ（ｎ）は、より高い特徴スコアＦｉ（ｎ）を有し、これは最終的には、特徴点グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）の各々がより高くなるように寄与する。
実施例によっては、タイル別特徴点の個数は、特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）の特徴スコアＦｉ（ｎ）を支配できる。他の実施例の場合に、タイルの個数は、タイルグループ変換Ｔ（Ｔｉｌｅ，ｉ）（ｎ）の特徴スコアＦｉ（ｎ）を支配できる。タイル別特徴点の個数、及び／又は、タイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得られうる。
【００７３】
規模スコア計算ユニット４１４０は、特徴点グループ変換及びタイルグループ変換の各々の場合について、変換Ｔｉ（ｎ）の規模スコアＥｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、規模スコアＦｉ（ｎ）を計算するために感知ユニット２０００に保存された情報を受信する。特徴点又はタイルのグループ変換は、より広い領域に亘るほどより高くスコアリングされる。
タイルモーションベクトルの各グループ内の、特徴点の個数とタイルの次元は、感知ユニット２０００から直接得られうる。同様に、特徴点モーションベクトルの各グループ内の水平及び垂直方向の規模は、感知ユニット２０００から直接得られうる。
特徴点グループ又はタイルグループは、より広い領域に亘るほどより高い規模スコアＥｉ（ｎ）を有し、その結果、最終的には、特徴点グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）の各々はより高くなるように寄与する。本実施例で、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するために感知ユニット２０００から保存された規模情報を受信する。
【００７４】
コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、移動客体除外回路４４００は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外が効果的な場合、単位変換ＵＴが代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供される結果、安定化されたビデオは、不正確に又は不必要に大型移動客体の変換をしない。
【００７５】
実施例によっては、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静止した背景（Ｐ（ｎ）のヒストリーによって指し示される）と、静止した背景と大型移動客体が共存している時間の長さである。
【００７６】
移動客体除外方法は、下記のシナリオを扱うのに非常に効果的である。
最初の場面は、移動客体があるかないかを問わず、そのほとんどが静止した背景である。次いで大型移動客体が場面に進入し、漸次的により大きな領域をカバーする。次に前記大型移動客体は、（殆ど）全体場面をカバーする。次に前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。最後に前記大型移動客体は、遂に消える。
【００７７】
前記移動客体分析器は、以下の手順で、除外シナリオを感知する。
連続して静的なＭＶグループの存在は、ほとんど静止した背景となる場面を指し示す。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を指し示す。
前記傾向が続き、時点ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、前記除外シナリオが検出される。
【００７８】
除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指し示さなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。従って、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは不正確に大型移動客体に沿わない。
【００７９】
図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施例のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。
【００８０】
移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。唯一の指定された静的なグループＧ０が常に存在するが、０又はそれ以上の現在モーショングループＧＫ（Ｎ≧Ｋ＞０）があり得る。また、次のフレームにおいて、現在モーショングループＧＫのうちの１つになりうる新たなモーショングループＧＮ＋１があり得る。（例えば、Ｋ（ｎ＋１）＝Ｋ（ｎ）＋１）
【００８１】
静的なグループＧ０は、関連したグループヒストリーＧＨ０を有する。第Ｋ番目の現在モーショングループＧＫは、関連したモーションベクトルＭＫだけではなく、関連したグループヒストリーＧＨＫも有する。各現在モーショングループＧＫは、基本的にフレームｎまで経時的に類似した速度のＴｉ（ｎ）の各々に対して低域通過フィルターされた｜Ｔｉ（ｎ）｜であるモーションベクトルＭＫを有する。
【００８２】
各新たなモーショングループＧＮは、その生成の時点で初期化された関連するグループヒストリーＧＨＮ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ０（ｎ）、ＧＨ１（ｎ）、．．．ＧＨＪ（ｎ）、及びＧＨＫ（ｎ）を含む場面ヒストリーとＧＨＮ（ｎ）とを受信し、それらから除外判定ＥＤ（ｎ）を計算する。
【００８３】
除外変換選択器４４８０は、単位変換ＵＴとコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換ＵＴとして設定され、そうではない場合、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換ＵＴは、補償ユニットが補償の間に何もしないようにする。従って、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、もしそうではない場合、主要変換Ｐ（ｎ）として選択されていたかもしれない大型移動客体の変換は、選択された主要変換Ｐ（ｎ）とならずに除外される。実際に、大型移動客体の変換は、それが感知されると、図１の補償ユニット６０００によって行われる補償から除外される。
【００８４】
図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路４４１０〜４４４０の一実施例で行われる段階を詳しく説明する混合されたブロックダイヤグラムフローチャートである。移動客体除外回路４４００は、図１のＤＩＳ回路のＤＩＳ方法の段階を行う。図７は、静的なグループＧ０、現在モーショングループＧＫ、及び新たに生成されたモーショングループＧＮ＋１に各々対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。
【００８５】
図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ０（ｎ））と現在ヒストリー（例えば、ＥＨ０（ｎ））とを含む。
【００８６】
移動客体分析器４４７０は、次のように除外シナリオを感知する。
静的な変換Ｇ０（ｎ）が、グループヒストリーＧＨ０内で、連続して存在し且つ選択されていると指し示されている場合は、複数のフレームに亘りほとんどが静止した背景の場面が存在することを表わす。特定のモーショングループＧＫが、グループヒストリーＧＨＫ内で、連続して存在し且つ漸次的に増加する場合は、ある客体が場面内に入ってくるということを表わす。もし、存在及びモーションのこの傾向が持続されれば、そして、時点（ｎ）で、静的な変換がＧ０に属しなくなり、且つ選択された変換Ｐ（ｎ）がＧＫに属する場合は、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオを指し示すならば、主要変換Ｐ（ｎ）は、単位変換として設定される。そうではない場合、主要変換Ｐ（ｎ）は、あるスコアリング関数によって選択されたいずれかのＴｉ（ｎ）になる。
【００８７】
グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０の各々は、受信されたインターフレーム変換Ｔｉ（ｎ）のうち１つに関連した各グループに対して３種類のヒストリー情報の保存及び処理を行う。グループヒストリーの前記３種類とは、選択ヒストリー、現在ヒストリー、及びモーションヒストリーである。静的なグループＧ０は、映像安定化開始時に空ヒストリーとして生成される。静的なグループＧ０のモーションヒストリーは省略され、ヌルと推定されうる。モーショングループＧ１、．．．、ＧＫ、．．．、ＧＮは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。
【００８８】
図７を参照すると、静的なグループＧ０、Ｎ個の現在モーショングループＧＫ、及び新たに生成されたモーショングループＧ（Ｎ＋１）に各々対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ０、ＧＨＫ、及びＧＨ（Ｎ＋１）を提供する。
【００８９】
モーショングループＧ０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ０と存在ヒストリーＥＨ０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ０は、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧ０に結合されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨ０は、モーショングループＧ０に結合されたインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。
【００９０】
グループＧ０はモーションヒストリーＭ０を欠く。何故なら、グループＧ０は静的と考えているので、選択された主要変換Ｐ（ｎ）を含む如何なるＴｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）が、Ｔｉ（ｎ）を、多様なヒストリーに基づいたモーションベクトルＭ０と比較するよりは、ある閾値ｔｈｄ０と比較することで決められるかえらである。静的なグループＧ０のグループヒストリー回路４４１０は、静的なグループＧ０は、ビデオ安定化開始時に空のヒストリーとして生成される。
【００９１】
もし、フレームｎの間にＴｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足すれば（判定段階ｄＳ４４１８の「はい」分岐）、
このＴｉ（ｎ）は、Ｇ０に属する。
存在ヒストリーＥＨ０は、フレームｎで静的な変換の存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）、であれば、選択ヒストリーＳＨ０は、このＴｉ（ｎ）が選択されたことを指し示すようにアップデートされる。
【００９２】
そうではない場合（判定段階ｄＳ４４１８の「いいえ」分岐）、即ち、フレームｎの間に、｜Ｔｉ（ｎ）｜＜ｔｈｄ０、を満足させなければ、Ｔｉ（ｎ）は、存在モーショングループＧ１〜ＧＮの各々内のグループヒストリーと比較される。
【００９３】
モーショングループＧＫのグループヒストリー回路４４３０は、選択ヒストリーＳＨＫ、及び存在ヒストリーＥＨＫ、及びモーションヒストリーＭＫの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨＫは、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧＫに属するか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨＫは、モーショングループＧＫに属したインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。
【００９４】
モーションヒストリーＭＫは、グループＧＫの全体的なモーションのベクトルＭＫを指し示す情報を保存する。
各Ｔｉ（ｎ）は、またモーションベクトル（Ｍ）にでマッピング（ｍａｐ）する。各モーショングループＧＫは、モーションベクトルＭＫにマッピングする。
｜Ｔｉ（ｎ）｜を、Ｔｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔｉ（ｎ）−ＭＫ｜を、現在モーショングループＧＫのモーションベクトルＭＫからのＴｉ（ｎ）の偏差とする（ここで、１≦Ｋ≦Ｎであり、Ｎは現在の現在モーショングループの個数）。
Ｎ個存在するモーショングループのうちから最小の｜Ｔｉ（ｎ）−ＭＪ｜を有するモーショングループＧＪは、Ｔｉ（ｎ）が最もマッチングしたグループＧＪを指し示す。この配属（ｊｏｉｎ）判断は、｜Ｔｉ（ｎ）−ＭＪ｜を所定の閾値ｔｈｄ１と比較して決定されうる。従って、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及び全てのＫで｜Ｔｉ（ｎ）−ＭＪ｜≦｜Ｔｉ（ｎ）−ＭＫ｜であり、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であれば（判定段階ｄＳ４４３８の「はい」分岐）、前記Ｔｉ（ｎ）は、現存するモーショングループＧＪに配属される。
【００９５】
もし、全てのＫに対して、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であり、｜Ｔｉ（ｎ）−ＭＪ｜＜｜Ｔｉ（ｎ）−ＭＫ｜であれば（判定段階ｄＳ４４３８の「はい」分岐）、
Ｔｉ（ｎ）は、ＧＪに属する。
モーションヒストリーＭＪは、新たに属したＴｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨＪは、フレームｎでモーショングループＧＪの存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）、であれば、選択ヒストリーＳＨＪは、この、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すためにアップデートされる。
【００９６】
一方、もし、判定段階ｄＳ４４３８がＴｉ（ｎ）及び全ての現存するモーショングループＧ１〜ＧＮに対して反復され、ＭＫのうち何れも｜Ｔｉ（ｎ）−ＭＫ｜＜ｔｈｄ１、を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」分岐）、前記Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する（Ｓ４４４９段階）。もし、このＴｉ（ｎ）が、新たに形成されたモーショングループＧＮ＋１に属するならば（Ｓ４４４９段階）、
Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する。
モーションヒストリーＭＮ＋１は、このＴｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨＮ＋１は、フレームｎで新たなモーショングループＧＮ＋１の存在を指し示すように初期化される。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）であれば、選択ヒストリーＳＨＮ＋１は、この、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すようにアップデートされる。
【００９７】
ある所定の時間、即ち、ある所定の数のフレームに亘って、何れのあるＴｉ（ｎ）も配属されないモーショングループ（Ｇ０〜ＧＮのうちの）は、削除される。
【００９８】
前記開示された発明内容は、あくまでも実施例の説明であると考えられるべきであって、本発明の範囲を制限するものではない。添付の請求項は、本発明の思想と範疇に属する全ての変更、追加、及び他の実施例までを含むものと理解しなければならない。従って、法によって許容される最大の範囲において、本発明の範疇は、後続する請求項及びその均等物を許される限り最広義に解釈することによって決定されなければならず、前述した詳細な説明によって制限、限定されてはならない。
【符号の説明】
【００９９】
３５０ メモリ、ＲＡＭメモリ
３５２ ＳＦＰ＿ＭＶリスト
３５４ ＦＰ ＭＶグループインベントリ
３５６ タイルＭＶリスト
３５８ タイルＭＶグループインベントリ
１３００ モーションベクトル（ＭＶ）グループ化回路
１３０２ ペアリングアルゴリズムコントローラ
１３１０ モーションベクトル比較器
２０００ 感知ユニット（ＤＵ）
２０１０ モーションベクトル（ＭＶ）グループアフィン変換計算器
３０００ 特徴点回路
４０００ 軌跡ユニット（ＴＵ）
４１００ グループ変換スコアリング及び選択回路
４１００−１ タイルグループ変換スコアリング及び選択回路
４１００−２ 特徴点グループ変換スコアリング及び選択回路
４１１０−１ ヒストリースコア計算ユニット
４１１１ ＦＩＦＯメモリバッファ
４１１４ 比較器
４１１６ 全体ヒストリースコア計算器
４１２０ モーションスコア計算ユニット
４１３０ 特徴スコア計算ユニット
４１４０ 規模スコア計算ユニット
４１５０ 変換スコア計算器
４１６０ 変換品質計算器
４１７０ グループ変換及び品質選択器
４２００ コレクティブ変換スコアリング及び選択回路
４４００ 移動客体除外回路
４４１０ グループヒストリー回路、静的なグループＧ０
４４２０ グループヒストリー回路、現在モーショングループＧ１
４４３０ グループヒストリー回路、現在モーショングループＧＫ
４４４０ グループヒストリー回路、新たなモーショングループＧＮ＋１
４４７０ 移動客体分析器
４４８０ 除外変換選択器
６０００ 補償ユニット（ＣＵ）
８０００ 適応的補償フィルター
【技術分野】
【０００１】
本発明の概念による実施例は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に係り、特に、カメラ場面（ｓｃｅｎｅ）内の客体（ｏｂｊｅｃｔｓ）の移動を識別（ｉｄｅｎｔｉｆｙ）し、前記カメラの意図された動き（モーション、ｍｏｔｉｏｎ）と意図されていない動きとの間を区分（ｄｉｓｔｉｎｇｕｉｓｈ）する、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラに関する。
【背景技術】
【０００２】
デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａｓ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａｓ）、及びこのようなカメラ撮像ツール（ｃａｍｅｒａ ｃａｐｔｕｒｅ）を含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、そのカメラを操作者が手で操作して、イメージ又はビデオを撮影（ｃａｐｔｕｒｅ）するために度々使われる。従って、カメラは、イメージ又はビデオを撮影する際に、手ぶれや、ジッタを発生しうる。ジッタは、水平成分、垂直成分、及び回転成分を含みうる。ジッタがあると、手撮りビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を見る人の見る気を逸らせ（ｄｉｓｔｒａｃｔｉｎｇ）又は見る気を失わせる（ｄｉｓｏｒｉｅｎｔｉｎｇ）。従って、デジタル的にカメラ軌跡（ｔｒａｊｅｃｔｏｒｙ）、すなわち、連続したフレームの各対の間から検出されたジッタ、を推定し、同一場面に対するビデオフレームのシーケンスからこのジッタをフィルタリングするためにデジタル回路を使うことが必要になる。
【０００３】
静止しているか、移動しているかを問わず安定した（ｓｔｅａｄｙ）ビデオカメラによって製作されたビデオは、撮影されたビデオに主に滑らかなモーション（並進（ｔｒａｎｓｌａｔｉｏｎ）又は回転（ｒｏｔａｔｉｏｎａｌ））を含む。一方、不安定な（ｕｎｓｔｅａｄｙ）ビデオカメラは、ビデオイメージの全体に亘って高周波数の（並進性（ｔｒａｎｓｌａｔｉｏｎａｌ）及び／又は回転性の（ｒｏｔａｔｉｏｎａｌ））ジッタを含むビデオを生産する。
【０００４】
デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、それの訂正をイメージシーケンスに適用する。
このように安定化したビデオの実際の視覚的効果は、カメラ軌跡推定の品質に大きく依存する。
従来のデジタルイメージ安定化（ＤＩＳ）方法は、２つの連続したフレームの間のジッタ性モーション（ｊｉｔｔｅｒｙ ｍｏｔｉｏｎ）の推定の根拠として、識別された特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔｓ）を使う。
従って、従来のＤＩＳ技術では、ジッタ性カメラ移動は、経時的に近接した複数のフレームの間の識別可能な“特徴点”のモーションベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を計算することで感知される。
特徴点に対して計算されたモーションベクトルは、場面内の実在する客体に複数のモーションベクトルを関連付けるために、“グループ化”される。
このようなグループ化（ｇｒｏｕｐｉｎｇ）は、場面内で移動する小型の客体をカメラ又は場面のグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）から区分する。
カメラ又は場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとに、分析の上、区分される。
【０００５】
ジッタを、保存又は表示されたビデオにおいて正確に補償し、正確に除去するためには、カメラの軌跡を感知して測定することと、前記ジッタを正確に特徴づけることとが要求される。しかし、ノイズの多い、又は平坦で変化のない（ｆｌａｔ）場面のビデオのような特別な場合には、特徴点追跡（ｔｒａｃｋｉｎｇ）は信頼できない。特徴点モーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を得るためには、最もマッチングする点を、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）の計算に基づいて探さなければならない。しかし、最小のＳＡＤは、ノイズが多く且つ薄暗い（ｌｏｗ−ｌｉｇｈｔ）場面、又は青い空のようなフラットな場面の場合、ＳＡＤが最小であるからといって、その点が正確なマッチング点であることを必ずしも保証しない。
【０００６】
数学的には、アフィン幾何学（ａｆｆｉｎｅ ｇｅｏｍｅｔｒｙ）は、アフィン変換、すなわち、非特異線形変換及び並進（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ａｎｄ ｔｒａｎｓｌａｔｉｏｎ）によって変わらず保持される幾何学的性質の研究である。
アフィン行列（Ａｆｆｉｎｅ ｍａｔｒｉｘ）と呼ばれる、一群の数値係数（ｎｕｍｅｒｉｃａｌ ｃｏｅｆｆｉｃｉｅｎｔ）によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、又はこれらの一部（例えば、フレーム内で移動する客体）の間で感知された平行移動（ｌａｔｅｒａｌ、例えば、上、下移動）、回転、及び伸縮（ｓｃａｌａｒ、例えば、ズームイン、ズームアウト）を特徴づけるために開発された。
従って、アフィン変換Ｔｉ（ｎ）は、各特徴点がビデオフレームイメージ（ｖｉｄｅｏ ｆｒａｍｅ ｉｍａｇｅ）内の区別可能な点であるとして、イメージ内に見える選択された特徴点からなる識別されたグループのモーションをコンパクトに記述できる。
グループのこのような数学的な記述説明は、線形変位、回転角、伸縮（ｓｃａｌｅ）などを含みうる。
各グループの線形変位モーションＭｉ（ｎ）は、多重フレーム（ｎ−１、ｎ、ｎ＋１番目などのフレーム）に対するアフィン変換Ｔｉ（ｎ）内の情報の部分集合である。
【０００７】
従って、カメラのジッタは、場面内に静止して実在する客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）、例えば、岩、テーブル、駐車中の車、山、太陽、に関連した主要変換（ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）（Ｐ（ｎ））、又はグローバル変換（ｇｌｏｂａｌ ｔｒａｎｓｆｏｒｍ）と呼ばれる第１アフィン変換行列により特徴づけられ、一方、フレーム内の移動客体、例えば、鳥、人、球、動く車、通り過ぎる汽車は、追加的なアフィン行列によって特徴づけられる。小モーションＭｉ（ｎ）の変換は、大体、主要変換Ｐ（ｎ）である。しかし、極小モーションＭｉ（ｎ）の変換が必然的に常に前記主要変換Ｐ（ｎ）であるというわけではない。
【０００８】
カメラモーション、例えば、ユーザのハンドジッタによって発生するカメラモーションを指し示す（ｉｎｄｉｃａｔｅ）主要変換（主要インターフレーム（ｉｎｔｅｒ−ｆｒａｍｅ）変換、Ｐ（ｎ））は、１つ以上の関心点（“特徴点”）を感知することによって、計算されて選択される。連続したフレームの間の特徴点のモーションベクトルは、ビデオ圧縮の分野で採択される多様な検索方法を用いて計算されうる。特定の客体と関連づけられてグループ化された複数の特徴点モーションベクトルは、その客体のアフィン変換の計算に使われ、該アフィン変換はアフィン方程式によって、客体の感知されたモーションを定義する。
【０００９】
イメージを安定化するためには、まず、不安定なカメラによって引き起こされた主要モーションが場面内の移動する客体から弁別される。もし、ジッタ（カメラ軌跡（ｃａｍｅｒａ ｔｒａｊｅｃｔｏｒｙ））がなければ、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の同じ場所で発見されると予想される（また、その場合、感知された特徴点のモーションベクトルは全て、ヌル（ｎｕｌｌ）として測定される）。もし、ジッタ（カメラ軌跡）があれば、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の相異なる場所で発見されると予想され、その場合、感知された特徴点のモーションベクトルは全て有限な値として測定される。
しかし、場面によっては、ジッタモーションに比べて同じであるか、小さいか、又は大きい、測定可能なモーションベクトルを有する大きな移動客体、例えば、通り過ぎる汽車又は通り過ぎるトラックがフレーム内に登場し、フレームの漸増する領域をカバーし、遂には全場面をカバーする場合がある。全ビデオ場面をカバーするような大きい移動客体は、従来のＤＩＳ方法にとり特に難問として残っている。こういう場合が生起すると、従来のＤＩＳ回路は、大きな移動客体の変換を主要変換Ｐ（ｎ）として誤まって識別し、混乱しかねない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的な課題は、実際に移動する客体から静的な背景を識別するために、タイルモーションベクトルグループ変換（ｔｉｌｅ ｍｏｔｉｏｎｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）と特徴点モーションベクトルグループ変換（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とのうちから主要変換を選択することに基づいて、フレーム（ｆｒａｍｅ）の静的な背景を識別するデジタルイメージ安定化（ＤＩＳ）方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の概念の一面は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリング（ｓｃｏｒｉｎｇ）に基づいて、ビデオフレームの場面内の静止又は背景（両者を一般に区別せず合わせて、以下、「静止／背景」とする）客体を表わす主要変換Ｐ（ｎ）を選択する段階と、前記静止／背景グループのヒストリー（ｈｉｓｔｏｒｙ）と前記複数のモーションベクトルグループの各々のヒストリーとに基づいて、大きい移動客体を除く段階と、を含むデジタルイメージ安定化方法を提供する。
【００１２】
本発明が果たそうとする他の技術的な課題は、特徴点モーションベクトル（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＦＰ ＭＶ）グループの複数の変換の各々のスコアリングに基づいて、ビデオフレーム（ｖｉｄｅｏ ｆｒａｍｅ）の場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。
【００１３】
本発明が果たそうとするまた他の技術的な課題は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリングに基づいて、ビデオフレームの場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。
【００１４】
本発明の概念の他面は、静的な（背景）グループのヒストリーと複数のモーションベクトルグループの各々のヒストリーとに基づいて、ビデオフレーム全体をカバーするほど大きい移動客体を除く段階を含むデジタルイメージ安定化方法を提供する。
【００１５】
本発明の概念の一面は、本明細書に開示されたＤＩＳ方法を行うのに適したデジタルイメージ安定化回路を提供する。連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームのシーケンスからカメラの軌跡によって引き起こされるジッタをフィルタリングさせる（ｆｉｌｔｅｒ ｏｕｔ）方法又は回路は、ビデオカメラ自体に含まれ、撮影されたビデオフレームの保存に先立って、例えば、もし、ビデオカメラがリアルタイムＭＰＥＧエンコーダを含めば、ＭＰＥＧエンコーディング前又は途中で、リアルタイムで前記ジッタを除くように作動できる。
別の方法として、連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングさせるＤＩＳ回路は、デジタルイメージ安定化（ＤＩＳ）方法を具現するソフトウェアによって制御される汎用マイクロコンピュータであり、ＡＳＩＣ内に具現されたＭＥＰＧビデオエンコーダのようにデジタルイメージ安定化（ＤＩＳ）方法を行うように活用される専用ハードウェアであり得る。
【発明の効果】
【００１６】
本発明の概念の一実施例の要点は、アフィン（インターフレーム）変換Ｔｉ（ｎ）で表わされる、時系列上の第ｎ番目の時点における、第ｉ番目のモーションベクトルグループの変換を評価し、そのうちから（静的な）背景を表わすために最善の主要変換Ｐ（ｎ）を選択するために、一連のスコアリング関数（ｓｃｏｒｉｎｇ ｆｕｎｃｔｉｏｎｓ）を適用する方法である。
本方法は、主要変換Ｐ（ｎ）を選択する時、変換ヒストリー、変換モーション、変換特徴、及び（垂直の又は水平の）変換規模（ｔｒａｎｓｆｏｒｍ ｅｘｔｅｎｔ）の各特性に係る関数を含むが、これに限定されない関数を含む成分関数を同時に考慮する。
このような特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）の各々は、スコアリング成分に寄与する。このようなスコアリング成分の総体（ｅｎｓｅｍｂｌｅ）は、候補としての各変換Ｔｉ（ｎ）に対する全体スコアＱｉ（ｎ）を与える。
最上の全体スコアＱｉ（ｎ）を有する（インターフレーム）変換Ｔｉ（ｎ）が主要（インターフレーム）変換Ｐ（ｎ）として選択され、本発明によるＤＩＳ方法の後続の補償段階で使われる。
本発明の実施例によるスコアリング及び選択方法は、（インターフレーム）変換のマイナーな摂動に敏感ではない。
従って、本方法は、このようなマイナーな摂動に非常に敏感な従来の方法、例えば、マルチレベルアドホック二進決定ルーチン（ｍｕｌｔｉ−ｌｅｖｅｌ ａｄ−ｈｏｃ ｂｉｎａｒｙ ｄｅｃｉｓｉｏｎ ｒｏｕｔｉｎｅｓ）より優れる。
【００１７】
以下に添付図面を参照しながら、本発明の概念の実施形態について詳細に説明する。ただし、本発明はここで説明される実施形態から多様に変形されて実施できるものと理解すべきであり、ここで説明される実施形態に限定されるものと理解すべきでない。むしろ、これらの実施形態は、発明の開示が徹底的且つ完全であり、本発明の概念の範囲を当業者に十分に伝えるように用意されている。説明の全体を通して類似符番は類似要素を指す。
【図面の簡単な説明】
【００１８】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
【図１】本発明の実施例によるデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。
【図２】タイルベクトルグループのアフィン（ａｆｆｉｎｅ）変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。
【図３】タイルグループ変換と特徴グループ変換とからなる（インターフレーム）変換Ｔｉ（ｎ）をスコアリングに基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択する図１のＤＩＳ回路の軌跡ユニットのブロック図である。
【図４】（Ａ）は、図１のＤＩＳ回路のＤＩＳ方法内の段階を行うグループ変換スコアリング及び選択回路の一実施例のブロック図であり、（Ｂ）は、ヒストリースコア計算ユニットの一実施例のブロック図である。
【図５】コレクティブ変換スコアリング及び選択回路の一実施例のブロック図である。
【図６】移動客体除外回路の一実施例を示すブロック図である。
【図７】本発明の概念の実施例によるプロセス段階を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の一実施例によって、各撮影されたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布を提供する特徴点をアルゴリズミックに選択するために、少数の互いに重ならないタイル（典型的には、標準画質の場合４×４タイル、及び高精細画質の場合６×６タイル）に分けられる。イメージの異なる領域は、適当な特徴点の密度が異なりうる。極端な場合、例えば、雲一点ない青空の場合に、フレームの領域によっては、如何なる適当な特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。
【００２０】
得られた特徴点分布は、ビデオフレームの小さい領域、例えば、重ならないタイル、に基づき、各タイル内の特徴点の個数は、前記タイルのイメージ輝度データの分散σ２に比例して線形的に増加する。より関心のあるイメージデータのタイルと、それによるより多い特徴点に対する要求は、より高い分散σ２を有するように予測される。本願と同日に出願済の発明、“デジタルイメージ安定化装置及び方法”（ドケット（ｄｏｃｋｅｔ）番号８７２９−３５７）を見れば、同時に僅かな局所的状態情報を要するだけで、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを低減できる手順が描写されている。前記の同時出願発明の開示内容は、参照文献として本願に含まれる。
【００２１】
もし、場面が薄暗い状態で撮影されれば、それは、相対的により多いノイズを有し、特徴点のピクセルの個数は、タイル内のピクセルの個数より遥かに少ないので、ノイズ効果は、タイルより特徴点により大きく作用する。前記タイル内のピクセルの個数が大きいと、ノイズ消去（キャンセル）効果を提供し、このような場合には、ダウンサンプリングされた（ｄｏｗｎｓａｍｐｌｅｄ）タイルをベースとするモーションベクトルがより正確である。
【００２２】
たとえ場面が薄暗い状態で撮影されないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイルベースのモーションベクトルは、より正確である。もし、タイル場面（ｔｉｌｅ ｓｃｅｎｅ）が、曇り空又は青い空のように非常にフラットになれば、若干の特徴点が存在し、フラットタイル内のこのような特徴点は、次のフレーム内の多くの場所内に類似レベルのマッチング点を見出しうる。しかし、タイルベースマッチングは、小さな特徴点探索領域にのみ依存するものではなく、タイルの全てのパターンが、タイルマッチングプロセスに貢献できる。結果的に、タイルベースモーションベクトルは、場面がフラットになる時により信頼できる。
【００２３】
特徴点モーションベクトルグループの最も高いスコアでも、所定の（予め決められた）閾値より低い時、我々は、特徴点ベースモーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）の代わりに、タイルベースモーションベクトルを使うように決定し、このような戦略は、高いノイズ又はフラットな場面で効果的に作動する。
【００２４】
本発明の概念の実施例によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、より小さな客体は、それらと関連した正確なモーションベクトルを有する必要がない。より小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。
【００２５】
グローバル動き又はカメラ動きのために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きい静止客体の特徴点は、一貫した方法（ｃｏｈｅｒｅｎｔ ｗａｙ）で移動すると予測される。我々は、独立して動く十分に大きな客体は、少なくとも１つのタイルの過半（ｍａｊｏｒｉｔｙ）をカバーすることを認知し、従って、小さな客体のモーションはタイル自体のモーションベクトルに殆ど影響しないので、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。
【００２６】
我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル別に１つのモーションベクトルを得る。タイルベースモーションベクトルは、高いノイズ又はフラット場面ビデオのような特別な場合におけるカメラ軌跡決定に使われる。
【００２７】
与えられたタイルに対するモーションベクトルは、絶対差の和（ＳＡＤ）を最小にするベクトルである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズム（ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使い、ローカル動きよりもタイル動きを優先（ｐｒｅｆｅｒｒｉｎｇ）することによって、計算量を減らすように変更されうる。
少なくとも１つのタイルの過半をカバーする十分に大きな客体は、隣接したタイルに拡張できるので、各タイル内のいくつかの特徴点は、一般に、それらが発見されたタイルのモーションベクトルよりも隣接したタイルのモーションベクトルにより強く関連する。
従って、全ての隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル開始ベクトル（ｍｕｌｔｉｐｌｅ ｓｔａｒｔ ｖｅｃｔｏｒｓ）として使うことが効果的である。従って、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、その特徴点が属するタイルのモーションベクトルと、そのタイルの四方向の直接的な隣りのタイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルである。
使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。この目的は、各々の、そして、全ての特徴点に対する正確なベクトルを決定するものではない（悪いモーションベクトルは、一連のＤＩＳプロセッシング内で後で選別除去される）。
むしろ、関心のある特徴点は、単に背景又は大きい客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、丁度良いか、関心のある特徴点のモーションベクトルに近似していなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。
小さなローカルブロックマッチング探索（ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内の全ての選択された特徴点に対する開始ベクトルの集合の各々を巡って高解像度ドメインにおいて実行される。この高解像度は、元のビデオ解像度、又は２又は４のｆｓ３ファクタによって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る。
【００２８】
図１は、本発明の概念の実施例と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキー（ｊｅｒｋｙ、手振れなどでギクシャクした）ビデオを分析し、インターフレーム変換（以下、「インターフレーム」を削除して、単に「変換」ともいう）Ｔｉ（ｎ）を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ、ＤＵ）２０００、前記インターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択し、選択された主要変換Ｐ（ｎ）を用いて補償変換Ｃ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ、ＴＵ）４０００、及び前記補償変換Ｃ（ｎ）を用いて、前記ジャーキービデオを修正して安定化されたビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ、ＣＵ）６０００を含む。
【００２９】
感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点ＦＰのインターフレームモーションベクトル（特徴点モーションベクトル）と、重ならないタイルのインターフレームモーションベクトル（タイルモーションベクトル）と、を推定する。これに基づき、感知ユニット２０００は、ＦＰモーションベクトルグループ変換と、タイルベクトルグループ変換とからなるインターフレーム変換Ｔｉ（ｎ）をさらに出力する。
以下、ＦＰモーションベクトルグループ変換を、特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）と略し、タイルモーションベクトルグループ変換を、タイルグループ変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）と略し、両者を合わせたものを（インターフレーム）変換Ｔｉ（ｎ）とする。
【００３０】
軌跡ユニット４０００は、インターフレーム変換Ｔｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、大きな移動客体が場面をカバーしている場合は単位変換（Ｕｎｉｔｙ＿Ｔｒａｎｓｆｏｒｍ、即ち、無変換）を選択する。従って、小さな移動客体のインターフレーム変換と、全体フレームに進入しこれをカバーできる大きな移動客体のインターフレーム変換と、を除く。
【００３１】
図２は、図１のＤＩＳ回路のＤＩＳ方法の段階として、タイルベクトルグループのアフィン変換を計算する、図１のＤＩＳ回路内の感知ユニット２０００のブロック図である。感知ユニット２０００は、特徴点回路３０００、モーションベクトル（ＭＶ）グループ化回路１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器２０１０を含む。
【００３２】
特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを少数（（ｊ×ｋ）個）の互いに重ならないタイルに分割する。タイルの個数（ｊ×ｋ）は、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４〜８）×（４〜８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな客体が少なくとも１つのタイルの過半をカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によって撮影されうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点のモーションベクトル（ＳＦＰ ＭＶｓ）と、タイルのモーションベクトル（Ｔｉｌｅ ＭＶｓ）とを出力する。
【００３３】
特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。前記特徴点選択器は、ハリスコーナー（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ）特徴点候補識別器、及び特徴点候補分類器をさらに含む。コンピュータパワーを節約し、要求される複数の動作の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ、輝度）データにのみ動作し、１つ以上のダウンサンプラー及び階層的ブロックマッチング探索ユニットを含む。
【００３４】
特徴点回路３０００は、各タイルに対して１つのモーションベクトルを推定する。このタイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム内に使われるのと同じタイル）に基づいて行われる。タイルの各々に対して、フルブロックマッチング探索は、深くダウンサンプリングされたイメージに対して行われる。フル探索ブロックマッチングは、全てのタイルに対して行われ、得られたタイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、メモリ３５０のタイルＭＶリスト３５６に保存されて、以後の使用、例えば、特徴点モーションベクトル（メモリ３５０のＳＦＰ＿ＭＶリスト３５２に保存される）の推定のための、及び静止客体感知のための階層的ブロックマッチング探索ユニット内での開始ベクトルとしての使用に備える。
【００３５】
特徴点回路３０００は、望ましくは、ビデオフレームの小領域（タイル）に基づいた分布を有する、特徴点のモーションリスト（ＳＦＰ＿ＭＶ）３５２を提供する。タイル別の特徴点の最大個数は、タイルのイメージ輝度データ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ２によって線形的に増加する。ＤＩＳ方法にとって優れた特徴点とは、適当なモーション推定アルゴリズムが適用されると、曖昧ではないモーションベクトルを算出する特徴点である。
イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズムが、ビデオフレームの各ピクセルに適用されて、そのピクセルが特徴点として如何ほど適するかを測定する。イメージの相異なる領域（タイル）は、識別された特徴点候補の相異なる密度を有しうる。
【００３６】
特徴点回路３０００は望ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器機能を行うモーションベクトル計算器、及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ、ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニットを含む。
タイルベクトル計算器は、現在フレーム（Ｆｔ）の深くダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、２つの連続したフレームの、最大解像度の又はダウンサンプリングされたルーマデータを用いて選択された特徴点の各々のモーションベクトルを決定し、得られたタイルモーションベクトルを後で開始ベクトルとして使用する。
【００３７】
全ての特徴点とタイルに関連したデータは、次のＤＩＳブロック、具体的には、モーションベクトルグループ化回路１３００に伝達される。
【００３８】
モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを施す。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ１３０２と、これによって選択されたベクトルの各対を比較してグループ化決定を行うモーションベクトル比較器１３１０を含む。
【００３９】
特徴点グループ化回路１３００は、ＦＰモーションベクトルを、選択された特徴点（ＳＦＰｓ）のモーションベクトルを場面内の客体と関連付けるように、グループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。
特徴点グループ化回路１３００は、タイルモーションベクトルを場面内の客体と関連付けるようにグループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。
【００４０】
特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト３５６は、重ならないタイルの位置とモーションベクトルのリストとを含む。
【００４１】
ペアリングアルゴリズムコントローラ１３０２は、どの特徴点（モーションベクトル）及びどのタイル（モーションベクトル）が他のどのものと以前にペアされたか、どれがペアリングされずに（ｕｎｐａｉｒ）で残ったか、及びどれが全体的にグループ化から除外されるか、についての履歴（トラック）を保持する。ペアリングアルゴリズムコントローラ１３０２は、反復的にモーションベクトルの対を、（ベクトルＡ＆ベクトルＢ）の形でＭＶ比較器１３１０への入力として提供する。
【００４２】
特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセスし、モーションベクトル比較器１３１０内の比較のために、ベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループ、が生成された場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトル又はその羅列リスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ３５４とタイルＭＶグループインベントリ３５８とに書込む。
【００４３】
モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもインターフレーム変換Ｔｉ（ｎ）として出力する。
【００４４】
図３は、図１のＤＩＳ回路のＤＩＳ方法の段階に関連して、タイルＭＶグループ変換と特徴点ＭＶグループ変換とからなるインターフレーム変換Ｔｉ（ｎ）をスコアリングする方法に基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択するための、図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。
【００４５】
軌跡ユニット４０００は、タイルグループ変換スコアリング及び選択回路４１００−１（ただし、図４Ａでは、４１００）、特徴点グループ変換スコアリング及び選択回路４１００−２（ただし、図４Ａでは、４１００）、コレクティブ変換スコアリング及び選択回路４２００、移動客体除外回路４４００、及び適応的補償フィルター８０００を含む。
【００４６】
軌跡ユニット４０００は、場面内の移動客体を無視することで、不安定なカメラによって引き起こされる主要モーションを識別し、選択した主要変換Ｐ（ｎ）をフィルタリングし、補償変換Ｃ（ｎ）を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択する際に、複数の一連のスコアリング関数を使う。
【００４７】
図４（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器４１５０、変換品質計算器４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器４１７０を含む。
グループ変換スコアリング及び選択回路４１００は、インターフレーム変換Ｔｉ（ｎ）入力として、タイルグループインターフレーム変換（Ｔ（ｔｉｌｅ，ｉ）（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、タイルグループ主要変換（ＧＰｔｉｌｅ（ｎ））を出力し（４１００−１）、インターフレーム変換Ｔｉ（ｎ）入力として、ＦＰ（＝特徴点）インターフレーム変換（Ｔ（ＦＰ，ｉ）（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、特徴点グループ主要変換（ＧＰＦＰ（ｎ））を出力する（４１００−２）。
【００４８】
図４（Ｂ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット４１１０−１の一実施例のブロック図である。
【００４９】
図４（Ａ）及び４（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、図４（Ｂ）に示した４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０、及び規模スコア計算ユニット４１４０に加えて、変換スコアＳｉ（ｎ）を計算する変換スコア計算器４１５０、変換品質Ｑｉ（ｎ）を計算する変換品質計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。
【００５０】
図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔｉ（ｎ）の）全体変換スコアＳｉ（ｎ）に基づいて小さい移動客体のインターフレーム変換を排除することにより、インターフレーム変換Ｔｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）を出力する。
【００５１】
Ｔｉ（ｎ）を感知ユニット２０００から受信された全ての受信された変換候補のうちｉ番目の変換とする。ここで、ｎは、時系列上の第ｎ番目の時点におけるフレームを意味する。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔｉ（ｎ）である。
【００５２】
各Ｔｉ（ｎ）に対して、変換スコアＳｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、変換スコアＳｉ（ｎ）を下記の式に基づいて計算する。
Ｓｉ（ｎ）＝Ｈｉ（ｎ）＊Ｍｉ（ｎ）＊Ｆｉ（ｎ）＊Ｅｉ（ｎ）
【００５３】
各Ｔｉ（ｎ）に対して、変換品質計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑｉ（ｎ）を計算する。
Ｑｉ（ｎ）＝Ｆｉ（ｎ）＋Ｅｉ（ｎ）
【００５４】
最も大きな値Ｓｉ（ｎ）を有するＴｉ（ｎ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択される。従って、実施例によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳｉ（ｎ）を有するインターフレーム変換候補Ｔｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタ（ｊｉｔｔｅｒｙ）カメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために、後述するように、適応的にフィルタリングされる。
【００５５】
ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔｉ（ｎ）に対するヒストリースコアＨｉ（ｎ）を計算、例えば、感知ユニット２０００から各Ｔｉ（ｎ）が受信された順次に計算する。前記ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬの各々と比較される。ここで、前記ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的により遠いフレーム：ｎ−ＨＫ）までの範囲を有する、フレーム時間指数を表わす整数である。フレーム変換候補Ｔｉ（ｎ）は、以前に選択され、保存されているＨＬ個のグループ主要変換（ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ））とより高い相関を有するほどより高いヒストリースコアＨｉ（ｎ）を与えられる。
【００５６】
Ｔｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）は、１から、範囲［０、１］内で正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、Ｈ（ｉ，ｋ）（ｎ）＝１の場合、最も高い相関を指し示す。
【００５７】
各相関係数Ｈ（ｉ，ｋ）（ｎ）＝（１−｜Ｔｉ（ｎ）−｜ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエートＨＷ（ｋ）によって重み付けされる。
【００５８】
ヒストリースコアＨｉ（ｎ）は、全体相関係数であり、ヒストリーウエートＨＷ（ｋ）によって重み付けされた相関係数Ｈ（ｉ，ｋ）（ｎ）の和である。ここで、１＜ｋ＜ＨＬであり、前記ＨＬは、ヒストリー長（以前フレームの個数）である。即ち、
Ｈｉ（ｎ）＝ S［１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］，
ｆｏｒ １＜ｋ＜ＨＬ．
【００５９】
ヒストリーウエートＨＷ（ｎ−ＨＬ）〜ＨＷ（ｎ−１）は、それらの総和が１になり、ヒストリースコアＨｉ（ｎ）出力が非線形的に正規化され、且つ連続した範囲（［０、１］）を有するように選択されるのが望ましい。
【００６０】
図４（Ｂ）に示したヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、以前に選択された、ＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）を保存し、比較器４１１４に並列出力するための、（ｎ−１）〜（ｎ−ＨＬ）のＨＬ個のタップを有するＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ４１１１を含む。比較器４１１４は、現在（フレーム時点ｎ）のインターフレーム変換Ｔｉ（ｎ）を、以前に選択され保存されているＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）の各々と比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体相関係数をヒストリースコアＨｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に供給する。
【００６１】
モーションスコア計算ユニット４１２０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、そのモーションスコアＭｉ（ｎ）を計算する。他の実施例の場合には、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。小さいモーションに対する変換Ｔｉ（ｎ）は、高いモーションスコアＭｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になる可能性が高い。各インターフレーム変換Ｔｉ（ｎ）に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算する。
【００６２】
Ｍｉ（ｎ）は、小さいモーションに対応して大きい値を有し、大きいモーションに対応して小さい値を有する。モーションスコアＭｉ（ｎ）は、変換の水平、垂直、又は全体線形変位に基づく。モーションスコアＭｉ（ｎ）は、線形変位に逆相関し、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６３】
特徴スコア計算ユニット４１３０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その特徴スコアＦｉ（ｎ）を計算する。他の実施例の場合には、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。
特徴スコアＦｉ（ｎ）は、各インターフレーム変換Ｔｉ（ｎ）によって代表される特徴点グループを作るためにともにグループ化された特徴点の個数と関連付けられる。変換Ｔｉ（ｎ）は、グループ別特徴点をより多く有するほどより高い特徴スコアＦｉ（ｎ）を有する。特徴スコアＦｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６４】
規模スコア計算ユニット４１４０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その規模スコアＥｉ（ｎ）を計算する。他の実施例の場合には、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔｉ（ｎ）に対して、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算する。広い領域をカバーする特徴点を有する変換Ｔｉ（ｎ）は、カバーする領域が大きいほど、より高くスコアリングされる。規模スコアＥｉ（ｎ）は、より広い領域をカバーすることに対応してより大きい値を有し、反対により狭い領域をカバーすることに対応してより小さい値を有する。規模スコアＥｉ（ｎ）は、その変換のグループに属する全ての特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。
【００６５】
本発明の概念による多様な実施例は、除外しないとビデオ安定化に所望しない結果を引き起こしかねない、全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択してしまい易い。場面ヒストリー分析を使うならば、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔｉ（ｎ）は、不安定カメラに対応する主要変換Ｐ（ｎ）を含まないと判断できる。
【００６６】
図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路４２００の一実施例のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定ＣＤ（ｎ）を計算するコレクティブ判定計算器４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換ＣＰ（ｎ）を出力するコレクティブ変換選択器４２６０とを含む。
【００６７】
図５のコレクティブ判定計算器４２５０は、特徴点グループ変換品質ＱＦＰ（ｎ）、タイルグループ変換品質ＱＴｉｌｅ（ｎ）、及び感知ユニット２０００から受信された特徴点グループ変換候補の個数ＫＦＧ（ｎ）からコレクティブ判定ＣＤ（ｎ）を算出する。
【００６８】
実施例によっては、コレクティブ判定計算器４２５０は、特徴点グループ変換候補の個数ＫＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；ΘＦ（ｎ））を計算し、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が小さい時に０であり、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が大きい時に１である。従って、ΘＦ（ｎ）値が１に近いことは、ビデオ場面の全ての特徴点が多くの特徴点グループに分裂されたものを表わし、反対に、ΘＦ（ｎ）値が０に近いことは、ビデオ場面の全ての特徴点が、少ない特徴点グループに分裂されたものを表わす。
【００６９】
コレクティブ判定計算器４２５０は、ＱＦ（ｎ）とΘＦ（ｎ）＊ＱＴ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、ＱＦ（ｎ）＞（ΘＦ（ｎ）＊ＱＴ（ｎ））であれば、コレクティブ判定ＣＤ（ｎ）は、特徴点グループを選択するように設定される。そして、もし、ＱＦ（ｎ）＜＝ΘＦ（ｎ）＊ＱＴ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴点グループが分裂されていないならば、ΘＦ（ｎ）値が０に近く、前記特徴点グループは、より選択されやすい。一方、もし特徴点グループが分裂されたならば、ΘＦ（ｎ）値が１に近く、タイルグループ変換品質ＱＴｉｌｅ（ｎ）は、特徴点グループ変換品質ＱＦＰ（ｎ）と対等の立場で比較される。
【００７０】
コレクティブ変換選択器４２６０は、特徴点グループ主要変換ＧＰＦＰ（ｎ）とタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴点グループとして設定される時、特徴点グループ主要変換ＧＰＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰＴｉｌｅ（ｎ）として設定される。
【００７１】
本実施例で、コレクティブ変換スコアリング及び選択回路４２００は、特徴点グループ変換品質ＱＦＰ（ｎ）及びタイルグループ変換品質ＱＴｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４（Ａ）の変換品質計算器４１６０によって計算される。
【００７２】
特徴スコア計算ユニット４１３０は、その特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）とタイルグループ変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）の各々の場合について、変換Ｔｉ（ｎ）の特徴スコアＦｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する目的で感知ユニット２０００に保存された情報を受信する。
各インターフレーム変換Ｔｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。より多い特徴点又はより多いタイルが属するグループの変換Ｔｉ（ｎ）は、より高い特徴スコアＦｉ（ｎ）を有し、これは最終的には、特徴点グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）の各々がより高くなるように寄与する。
実施例によっては、タイル別特徴点の個数は、特徴点グループ変換Ｔ（ＦＰ，ｉ）（ｎ）の特徴スコアＦｉ（ｎ）を支配できる。他の実施例の場合に、タイルの個数は、タイルグループ変換Ｔ（Ｔｉｌｅ，ｉ）（ｎ）の特徴スコアＦｉ（ｎ）を支配できる。タイル別特徴点の個数、及び／又は、タイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得られうる。
【００７３】
規模スコア計算ユニット４１４０は、特徴点グループ変換及びタイルグループ変換の各々の場合について、変換Ｔｉ（ｎ）の規模スコアＥｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、規模スコアＦｉ（ｎ）を計算するために感知ユニット２０００に保存された情報を受信する。特徴点又はタイルのグループ変換は、より広い領域に亘るほどより高くスコアリングされる。
タイルモーションベクトルの各グループ内の、特徴点の個数とタイルの次元は、感知ユニット２０００から直接得られうる。同様に、特徴点モーションベクトルの各グループ内の水平及び垂直方向の規模は、感知ユニット２０００から直接得られうる。
特徴点グループ又はタイルグループは、より広い領域に亘るほどより高い規模スコアＥｉ（ｎ）を有し、その結果、最終的には、特徴点グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）の各々はより高くなるように寄与する。本実施例で、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するために感知ユニット２０００から保存された規模情報を受信する。
【００７４】
コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、移動客体除外回路４４００は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外が効果的な場合、単位変換ＵＴが代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供される結果、安定化されたビデオは、不正確に又は不必要に大型移動客体の変換をしない。
【００７５】
実施例によっては、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静止した背景（Ｐ（ｎ）のヒストリーによって指し示される）と、静止した背景と大型移動客体が共存している時間の長さである。
【００７６】
移動客体除外方法は、下記のシナリオを扱うのに非常に効果的である。
最初の場面は、移動客体があるかないかを問わず、そのほとんどが静止した背景である。次いで大型移動客体が場面に進入し、漸次的により大きな領域をカバーする。次に前記大型移動客体は、（殆ど）全体場面をカバーする。次に前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。最後に前記大型移動客体は、遂に消える。
【００７７】
前記移動客体分析器は、以下の手順で、除外シナリオを感知する。
連続して静的なＭＶグループの存在は、ほとんど静止した背景となる場面を指し示す。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を指し示す。
前記傾向が続き、時点ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、前記除外シナリオが検出される。
【００７８】
除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指し示さなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。従って、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは不正確に大型移動客体に沿わない。
【００７９】
図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施例のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。
【００８０】
移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。唯一の指定された静的なグループＧ０が常に存在するが、０又はそれ以上の現在モーショングループＧＫ（Ｎ≧Ｋ＞０）があり得る。また、次のフレームにおいて、現在モーショングループＧＫのうちの１つになりうる新たなモーショングループＧＮ＋１があり得る。（例えば、Ｋ（ｎ＋１）＝Ｋ（ｎ）＋１）
【００８１】
静的なグループＧ０は、関連したグループヒストリーＧＨ０を有する。第Ｋ番目の現在モーショングループＧＫは、関連したモーションベクトルＭＫだけではなく、関連したグループヒストリーＧＨＫも有する。各現在モーショングループＧＫは、基本的にフレームｎまで経時的に類似した速度のＴｉ（ｎ）の各々に対して低域通過フィルターされた｜Ｔｉ（ｎ）｜であるモーションベクトルＭＫを有する。
【００８２】
各新たなモーショングループＧＮは、その生成の時点で初期化された関連するグループヒストリーＧＨＮ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ０（ｎ）、ＧＨ１（ｎ）、．．．ＧＨＪ（ｎ）、及びＧＨＫ（ｎ）を含む場面ヒストリーとＧＨＮ（ｎ）とを受信し、それらから除外判定ＥＤ（ｎ）を計算する。
【００８３】
除外変換選択器４４８０は、単位変換ＵＴとコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換ＵＴとして設定され、そうではない場合、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換ＵＴは、補償ユニットが補償の間に何もしないようにする。従って、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、もしそうではない場合、主要変換Ｐ（ｎ）として選択されていたかもしれない大型移動客体の変換は、選択された主要変換Ｐ（ｎ）とならずに除外される。実際に、大型移動客体の変換は、それが感知されると、図１の補償ユニット６０００によって行われる補償から除外される。
【００８４】
図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路４４１０〜４４４０の一実施例で行われる段階を詳しく説明する混合されたブロックダイヤグラムフローチャートである。移動客体除外回路４４００は、図１のＤＩＳ回路のＤＩＳ方法の段階を行う。図７は、静的なグループＧ０、現在モーショングループＧＫ、及び新たに生成されたモーショングループＧＮ＋１に各々対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。
【００８５】
図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ０（ｎ））と現在ヒストリー（例えば、ＥＨ０（ｎ））とを含む。
【００８６】
移動客体分析器４４７０は、次のように除外シナリオを感知する。
静的な変換Ｇ０（ｎ）が、グループヒストリーＧＨ０内で、連続して存在し且つ選択されていると指し示されている場合は、複数のフレームに亘りほとんどが静止した背景の場面が存在することを表わす。特定のモーショングループＧＫが、グループヒストリーＧＨＫ内で、連続して存在し且つ漸次的に増加する場合は、ある客体が場面内に入ってくるということを表わす。もし、存在及びモーションのこの傾向が持続されれば、そして、時点（ｎ）で、静的な変換がＧ０に属しなくなり、且つ選択された変換Ｐ（ｎ）がＧＫに属する場合は、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオを指し示すならば、主要変換Ｐ（ｎ）は、単位変換として設定される。そうではない場合、主要変換Ｐ（ｎ）は、あるスコアリング関数によって選択されたいずれかのＴｉ（ｎ）になる。
【００８７】
グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０の各々は、受信されたインターフレーム変換Ｔｉ（ｎ）のうち１つに関連した各グループに対して３種類のヒストリー情報の保存及び処理を行う。グループヒストリーの前記３種類とは、選択ヒストリー、現在ヒストリー、及びモーションヒストリーである。静的なグループＧ０は、映像安定化開始時に空ヒストリーとして生成される。静的なグループＧ０のモーションヒストリーは省略され、ヌルと推定されうる。モーショングループＧ１、．．．、ＧＫ、．．．、ＧＮは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。
【００８８】
図７を参照すると、静的なグループＧ０、Ｎ個の現在モーショングループＧＫ、及び新たに生成されたモーショングループＧ（Ｎ＋１）に各々対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ０、ＧＨＫ、及びＧＨ（Ｎ＋１）を提供する。
【００８９】
モーショングループＧ０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ０と存在ヒストリーＥＨ０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ０は、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧ０に結合されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨ０は、モーショングループＧ０に結合されたインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。
【００９０】
グループＧ０はモーションヒストリーＭ０を欠く。何故なら、グループＧ０は静的と考えているので、選択された主要変換Ｐ（ｎ）を含む如何なるＴｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）が、Ｔｉ（ｎ）を、多様なヒストリーに基づいたモーションベクトルＭ０と比較するよりは、ある閾値ｔｈｄ０と比較することで決められるかえらである。静的なグループＧ０のグループヒストリー回路４４１０は、静的なグループＧ０は、ビデオ安定化開始時に空のヒストリーとして生成される。
【００９１】
もし、フレームｎの間にＴｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足すれば（判定段階ｄＳ４４１８の「はい」分岐）、
このＴｉ（ｎ）は、Ｇ０に属する。
存在ヒストリーＥＨ０は、フレームｎで静的な変換の存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）、であれば、選択ヒストリーＳＨ０は、このＴｉ（ｎ）が選択されたことを指し示すようにアップデートされる。
【００９２】
そうではない場合（判定段階ｄＳ４４１８の「いいえ」分岐）、即ち、フレームｎの間に、｜Ｔｉ（ｎ）｜＜ｔｈｄ０、を満足させなければ、Ｔｉ（ｎ）は、存在モーショングループＧ１〜ＧＮの各々内のグループヒストリーと比較される。
【００９３】
モーショングループＧＫのグループヒストリー回路４４３０は、選択ヒストリーＳＨＫ、及び存在ヒストリーＥＨＫ、及びモーションヒストリーＭＫの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨＫは、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧＫに属するか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨＫは、モーショングループＧＫに属したインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。
【００９４】
モーションヒストリーＭＫは、グループＧＫの全体的なモーションのベクトルＭＫを指し示す情報を保存する。
各Ｔｉ（ｎ）は、またモーションベクトル（Ｍ）にでマッピング（ｍａｐ）する。各モーショングループＧＫは、モーションベクトルＭＫにマッピングする。
｜Ｔｉ（ｎ）｜を、Ｔｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔｉ（ｎ）−ＭＫ｜を、現在モーショングループＧＫのモーションベクトルＭＫからのＴｉ（ｎ）の偏差とする（ここで、１≦Ｋ≦Ｎであり、Ｎは現在の現在モーショングループの個数）。
Ｎ個存在するモーショングループのうちから最小の｜Ｔｉ（ｎ）−ＭＪ｜を有するモーショングループＧＪは、Ｔｉ（ｎ）が最もマッチングしたグループＧＪを指し示す。この配属（ｊｏｉｎ）判断は、｜Ｔｉ（ｎ）−ＭＪ｜を所定の閾値ｔｈｄ１と比較して決定されうる。従って、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及び全てのＫで｜Ｔｉ（ｎ）−ＭＪ｜≦｜Ｔｉ（ｎ）−ＭＫ｜であり、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であれば（判定段階ｄＳ４４３８の「はい」分岐）、前記Ｔｉ（ｎ）は、現存するモーショングループＧＪに配属される。
【００９５】
もし、全てのＫに対して、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であり、｜Ｔｉ（ｎ）−ＭＪ｜＜｜Ｔｉ（ｎ）−ＭＫ｜であれば（判定段階ｄＳ４４３８の「はい」分岐）、
Ｔｉ（ｎ）は、ＧＪに属する。
モーションヒストリーＭＪは、新たに属したＴｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨＪは、フレームｎでモーショングループＧＪの存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）、であれば、選択ヒストリーＳＨＪは、この、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すためにアップデートされる。
【００９６】
一方、もし、判定段階ｄＳ４４３８がＴｉ（ｎ）及び全ての現存するモーショングループＧ１〜ＧＮに対して反復され、ＭＫのうち何れも｜Ｔｉ（ｎ）−ＭＫ｜＜ｔｈｄ１、を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」分岐）、前記Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する（Ｓ４４４９段階）。もし、このＴｉ（ｎ）が、新たに形成されたモーショングループＧＮ＋１に属するならば（Ｓ４４４９段階）、
Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する。
モーションヒストリーＭＮ＋１は、このＴｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨＮ＋１は、フレームｎで新たなモーショングループＧＮ＋１の存在を指し示すように初期化される。
もし、Ｐ（ｎ）＝このＴｉ（ｎ）であれば、選択ヒストリーＳＨＮ＋１は、この、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すようにアップデートされる。
【００９７】
ある所定の時間、即ち、ある所定の数のフレームに亘って、何れのあるＴｉ（ｎ）も配属されないモーショングループ（Ｇ０〜ＧＮのうちの）は、削除される。
【００９８】
前記開示された発明内容は、あくまでも実施例の説明であると考えられるべきであって、本発明の範囲を制限するものではない。添付の請求項は、本発明の思想と範疇に属する全ての変更、追加、及び他の実施例までを含むものと理解しなければならない。従って、法によって許容される最大の範囲において、本発明の範疇は、後続する請求項及びその均等物を許される限り最広義に解釈することによって決定されなければならず、前述した詳細な説明によって制限、限定されてはならない。
【符号の説明】
【００９９】
３５０ メモリ、ＲＡＭメモリ
３５２ ＳＦＰ＿ＭＶリスト
３５４ ＦＰ ＭＶグループインベントリ
３５６ タイルＭＶリスト
３５８ タイルＭＶグループインベントリ
１３００ モーションベクトル（ＭＶ）グループ化回路
１３０２ ペアリングアルゴリズムコントローラ
１３１０ モーションベクトル比較器
２０００ 感知ユニット（ＤＵ）
２０１０ モーションベクトル（ＭＶ）グループアフィン変換計算器
３０００ 特徴点回路
４０００ 軌跡ユニット（ＴＵ）
４１００ グループ変換スコアリング及び選択回路
４１００−１ タイルグループ変換スコアリング及び選択回路
４１００−２ 特徴点グループ変換スコアリング及び選択回路
４１１０−１ ヒストリースコア計算ユニット
４１１１ ＦＩＦＯメモリバッファ
４１１４ 比較器
４１１６ 全体ヒストリースコア計算器
４１２０ モーションスコア計算ユニット
４１３０ 特徴スコア計算ユニット
４１４０ 規模スコア計算ユニット
４１５０ 変換スコア計算器
４１６０ 変換品質計算器
４１７０ グループ変換及び品質選択器
４２００ コレクティブ変換スコアリング及び選択回路
４４００ 移動客体除外回路
４４１０ グループヒストリー回路、静的なグループＧ０
４４２０ グループヒストリー回路、現在モーショングループＧ１
４４３０ グループヒストリー回路、現在モーショングループＧＫ
４４４０ グループヒストリー回路、新たなモーショングループＧＮ＋１
４４７０ 移動客体分析器
４４８０ 除外変換選択器
６０００ 補償ユニット（ＣＵ）
８０００ 適応的補償フィルター
【特許請求の範囲】
【請求項１】
スコアリング関数を用いて、第１サイズを有するピクセルブロックのモーションベクトルの第１グループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、場面（ｓｃｅｎｅ）の第１主要変換を識別する段階を含み、
前記スコアリング関数は、変換特徴点個数スコアと変換規模スコアとのうちの少なくとも１つを含むことを特徴とするビデオデータ処理方法。
【請求項２】
前記ビデオデータ処理方法は、
前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第２グループの変換のうちから選択することによって、前記場面の第２主要変換を識別する段階をさらに含み、
前記第２サイズを有する前記ピクセルブロックは、タイルであり、
モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であることを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項３】
前記スコアリング関数は、変換ヒストリースコア、及び変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換ヒストリースコアリング関数は、｜Ｔｉ（ｎ）−Ｐ（ｎ−ｋ）｜に基づいてＴｉ（ｎ）とＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）を計算する段階を含み、
ここでＰ（ｎ−ｋ）は、時系列上の第（ｎ−ｋ）番目の時点における前記第１又は第２主要変換であり、
Ｔｉ（ｎ）の変換ヒストリースコアＨｉ（ｎ）は、１と前記変換ヒストリーの所定長（ＨＬ）との間の全てのｋに対するＨ（ｉ，ｋ）（ｎ）の加重和である全体相関係数であることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項４】
前記スコアリング関数は、変換モーションスコア、及び変換ヒストリースコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換モーションスコアリング関数は、前記変換の水平の線形移動であるＴｉ（ｎ）の変換モーションスコアＭｉ（ｎ）を計算する段階を含み、
変換モーションスコアＭｉ（ｎ）は、連続した範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項５】
前記スコアリング関数は、変換特徴点個数スコア、及び変換ヒストリースコア、変換モーションスコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換特徴スコアリング関数は、前記変換と関連した特徴点の個数であるＴｉ（ｎ）の変換特徴スコアＦｉ（ｎ）を計算する段階を含み、
変換特徴スコアＦｉ（ｎ）は、［０、１］の範囲内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項６】
前記スコアリング関数は、変換規模スコア、及び変換ヒストリースコア、変換モーションスコア、及び変換特徴点個数スコアのうちの少なくとも何れか１つを含み、
変換規模の前記関数は、Ｔｉ（ｎ）の変換規模スコアＥｉ（ｎ）は、前記変換内の前記特徴によってカバーされる領域であり、
変換規模スコアＥｉ（ｎ）は、［０、１］の範囲内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項７】
前記スコアリング関数は、変換ヒストリースコアＨｉ（ｎ）、変換モーションスコアＭｉ（ｎ）、変換特徴点個数スコアＦｉ（ｎ）、及び変換規模スコアＥｉ（ｎ）を含み、
前記スコアリング関数Ｈｉ（ｎ）、Ｍｉ（ｎ）、Ｆｉ（ｎ）、及びＥｉ（ｎ）のうちの少なくとも２つの最も高い組合わせを有する前記変換Ｔｉ（ｎ）は、前記主要変換Ｐ（ｎ）として選択されることを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項８】
前記ビデオデータ処理方法は、前記主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項９】
前記ビデオデータ処理方法は、
前記場面内の大型移動客体（ｏｂｊｅｃｔｓ）を識別する段階と、
前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く（ｅｘｃｌｕｄｅ）段階と、
をさらに含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項１０】
前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項９に記載のビデオデータ処理方法。
【請求項１１】
前記ビデオデータ処理方法は、Ｔｉ（ｎ）の計算された変換品質Ｑｉ（ｎ）が所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから前記主要変換Ｐ（ｎ）を選択する段階をさらに含み、
前記変換品質Ｑｉ（ｎ）は、前記変換点グループ内の変換点の個数と変換Ｔ（ＦＰ，ｉ）（ｎ）の前記変換点グループの前記規模とに基づくことを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項１２】
第１サイズを有するピクセルブロックに基づいて、場面のモーションベクトルの第１グループを保存し、第２サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
前記ビデオデータ処理方法は、
変換ヒストリースコア、変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループの前記変換のうちから選択することによって、第１主要変換を識別する段階と、
前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第１グループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、
を含むことを特徴とするイメージ処理回路。
【請求項１３】
前記第２サイズを有する前記ピクセルブロックは、タイルであり、モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちから変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、
モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちから変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であることを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１４】
変換ヒストリーの前記関数は、｜Ｔｉ（ｎ）−Ｐ（ｎ−ｋ）｜に基づいて、Ｔｉ（ｎ）とＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）を計算する段階を含み、
Ｔｉ（ｎ）の変換ヒストリースコアＨｉ（ｎ）は、１と前記変換ヒストリーの所定長（ＨＬ）との間の全てのｋに対するＨ（ｉ，ｋ）（ｎ）の加重和である全体相関係数であることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１５】
前記変換モーションスコアリング関数は、
前記変換の前記水平的な線形移動であるＴｉ（ｎ）の変換モーションスコアＭｉ（ｎ）と、
前記範囲［０、１］内でモーションスコアＭｉ（ｎ）は、非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１６】
前記変換特徴スコアリング関数は、前記変換と関連した変換点の個数であるＴｉ（ｎ）の変換特徴スコアＦｉ（ｎ）を計算する段階を含み、変換特徴スコアＦｉ（ｎ）は、前記範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１７】
前記変換規模スコアリング関数は、前記変換内の前記特徴によってカバーされる前記領域であるＴｉ（ｎ）の変換規模スコアＥｉ（ｎ）を計算する段階を含み、変換規模スコアＥｉ（ｎ）は、前記範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１８】
前記スコアリング関数Ｈｉ（ｎ）、Ｍｉ（ｎ）ｉ（ｎ）、Ｆｉ（ｎ）、及びＥｉ（ｎ）のうちの少なくとも２つの最も高い組合わせを有する前記変換Ｔｉ（ｎ）は、前記主要変換Ｐ（ｎ）として選択される請求項１２に記載のイメージ処理回路。
【請求項１９】
前記イメージ処理回路は、前記主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項１８に記載のイメージ処理回路。
【請求項２０】
前記イメージ処理回路は、
前記場面内の大型移動客体を識別する段階と、
前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く段階と、
をさらに含むことを特徴とする請求項１２に記載のイメージ処理回路。
【請求項２１】
前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項２０に記載のイメージ処理回路。
【請求項２２】
前記イメージ処理回路は、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する特徴点グループ内の特徴点の個数に基づき、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する前記特徴点グループの前記規模に基づいた信頼（ｃｏｎｆｉｄｅｎｃｅ）スコアが所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから前記主要変換Ｐ（ｎ）を選択する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項２３】
もしも、
連続した静的なモーションベクトルグループの存在が殆ど静止した背景を含む現存場面（ｅｘｉｓｔｅｄ ｓｃｅｎｅ）を指し示し、
或る一つの客体が、前記場面内に進入すると感知され、
時間ｎで連続した類似した速度のモーションベクトルグループが、前記場面の全体をカバーし、
前記静的なモーションベクトルグループが存在しなくなる、
場合には、前記主要変換が除外される、ことを特徴とする請求項２０に記載のイメージ処理回路。
【請求項２４】
第１時点ムと第２時点とで場面のイメージを撮影し、前記撮影されたイメージをイメージデータの第１及び第２フレームに変換するイメージセンサー回路と、
イメージ処理回路と、を含み、前記イメージ処理回路は、
第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第１グループを保存し、第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
前記ビデオデータ処理方法は、
変換ヒストリースコア、変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループの前記変換のうちから選択することによって、第１主要変換を識別する段階と、
前記スコアリング関数を用いて、前記第２モーションベクトルグループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、
を含むことを特徴とするカメラ。
【請求項２５】
前記スコアリング関数は、連続した関数であることを特徴とする請求項２４に記載のカメラ。
【請求項１】
スコアリング関数を用いて、第１サイズを有するピクセルブロックのモーションベクトルの第１グループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、場面（ｓｃｅｎｅ）の第１主要変換を識別する段階を含み、
前記スコアリング関数は、変換特徴点個数スコアと変換規模スコアとのうちの少なくとも１つを含むことを特徴とするビデオデータ処理方法。
【請求項２】
前記ビデオデータ処理方法は、
前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第２グループの変換のうちから選択することによって、前記場面の第２主要変換を識別する段階をさらに含み、
前記第２サイズを有する前記ピクセルブロックは、タイルであり、
モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であることを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項３】
前記スコアリング関数は、変換ヒストリースコア、及び変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換ヒストリースコアリング関数は、｜Ｔｉ（ｎ）−Ｐ（ｎ−ｋ）｜に基づいてＴｉ（ｎ）とＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）を計算する段階を含み、
ここでＰ（ｎ−ｋ）は、時系列上の第（ｎ−ｋ）番目の時点における前記第１又は第２主要変換であり、
Ｔｉ（ｎ）の変換ヒストリースコアＨｉ（ｎ）は、１と前記変換ヒストリーの所定長（ＨＬ）との間の全てのｋに対するＨ（ｉ，ｋ）（ｎ）の加重和である全体相関係数であることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項４】
前記スコアリング関数は、変換モーションスコア、及び変換ヒストリースコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換モーションスコアリング関数は、前記変換の水平の線形移動であるＴｉ（ｎ）の変換モーションスコアＭｉ（ｎ）を計算する段階を含み、
変換モーションスコアＭｉ（ｎ）は、連続した範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項５】
前記スコアリング関数は、変換特徴点個数スコア、及び変換ヒストリースコア、変換モーションスコア、及び変換規模スコアのうちの少なくとも１つを含み、
前記変換特徴スコアリング関数は、前記変換と関連した特徴点の個数であるＴｉ（ｎ）の変換特徴スコアＦｉ（ｎ）を計算する段階を含み、
変換特徴スコアＦｉ（ｎ）は、［０、１］の範囲内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項６】
前記スコアリング関数は、変換規模スコア、及び変換ヒストリースコア、変換モーションスコア、及び変換特徴点個数スコアのうちの少なくとも何れか１つを含み、
変換規模の前記関数は、Ｔｉ（ｎ）の変換規模スコアＥｉ（ｎ）は、前記変換内の前記特徴によってカバーされる領域であり、
変換規模スコアＥｉ（ｎ）は、［０、１］の範囲内で非線形的に正規化されていることを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項７】
前記スコアリング関数は、変換ヒストリースコアＨｉ（ｎ）、変換モーションスコアＭｉ（ｎ）、変換特徴点個数スコアＦｉ（ｎ）、及び変換規模スコアＥｉ（ｎ）を含み、
前記スコアリング関数Ｈｉ（ｎ）、Ｍｉ（ｎ）、Ｆｉ（ｎ）、及びＥｉ（ｎ）のうちの少なくとも２つの最も高い組合わせを有する前記変換Ｔｉ（ｎ）は、前記主要変換Ｐ（ｎ）として選択されることを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項８】
前記ビデオデータ処理方法は、前記主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項７に記載のビデオデータ処理方法。
【請求項９】
前記ビデオデータ処理方法は、
前記場面内の大型移動客体（ｏｂｊｅｃｔｓ）を識別する段階と、
前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く（ｅｘｃｌｕｄｅ）段階と、
をさらに含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項１０】
前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項９に記載のビデオデータ処理方法。
【請求項１１】
前記ビデオデータ処理方法は、Ｔｉ（ｎ）の計算された変換品質Ｑｉ（ｎ）が所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから前記主要変換Ｐ（ｎ）を選択する段階をさらに含み、
前記変換品質Ｑｉ（ｎ）は、前記変換点グループ内の変換点の個数と変換Ｔ（ＦＰ，ｉ）（ｎ）の前記変換点グループの前記規模とに基づくことを特徴とする請求項２に記載のビデオデータ処理方法。
【請求項１２】
第１サイズを有するピクセルブロックに基づいて、場面のモーションベクトルの第１グループを保存し、第２サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
前記ビデオデータ処理方法は、
変換ヒストリースコア、変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループの前記変換のうちから選択することによって、第１主要変換を識別する段階と、
前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第１グループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、
を含むことを特徴とするイメージ処理回路。
【請求項１３】
前記第２サイズを有する前記ピクセルブロックは、タイルであり、モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちから変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、
モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちから変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であることを特徴とする請求項１２に記載のイメージ処理回路。
【請求項１４】
変換ヒストリーの前記関数は、｜Ｔｉ（ｎ）−Ｐ（ｎ−ｋ）｜に基づいて、Ｔｉ（ｎ）とＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）を計算する段階を含み、
Ｔｉ（ｎ）の変換ヒストリースコアＨｉ（ｎ）は、１と前記変換ヒストリーの所定長（ＨＬ）との間の全てのｋに対するＨ（ｉ，ｋ）（ｎ）の加重和である全体相関係数であることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１５】
前記変換モーションスコアリング関数は、
前記変換の前記水平的な線形移動であるＴｉ（ｎ）の変換モーションスコアＭｉ（ｎ）と、
前記範囲［０、１］内でモーションスコアＭｉ（ｎ）は、非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１６】
前記変換特徴スコアリング関数は、前記変換と関連した変換点の個数であるＴｉ（ｎ）の変換特徴スコアＦｉ（ｎ）を計算する段階を含み、変換特徴スコアＦｉ（ｎ）は、前記範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１７】
前記変換規模スコアリング関数は、前記変換内の前記特徴によってカバーされる前記領域であるＴｉ（ｎ）の変換規模スコアＥｉ（ｎ）を計算する段階を含み、変換規模スコアＥｉ（ｎ）は、前記範囲［０、１］内で非線形的に正規化されていることを特徴とする請求項１３に記載のイメージ処理回路。
【請求項１８】
前記スコアリング関数Ｈｉ（ｎ）、Ｍｉ（ｎ）ｉ（ｎ）、Ｆｉ（ｎ）、及びＥｉ（ｎ）のうちの少なくとも２つの最も高い組合わせを有する前記変換Ｔｉ（ｎ）は、前記主要変換Ｐ（ｎ）として選択される請求項１２に記載のイメージ処理回路。
【請求項１９】
前記イメージ処理回路は、前記主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項１８に記載のイメージ処理回路。
【請求項２０】
前記イメージ処理回路は、
前記場面内の大型移動客体を識別する段階と、
前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く段階と、
をさらに含むことを特徴とする請求項１２に記載のイメージ処理回路。
【請求項２１】
前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項２０に記載のイメージ処理回路。
【請求項２２】
前記イメージ処理回路は、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する特徴点グループ内の特徴点の個数に基づき、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する前記特徴点グループの前記規模に基づいた信頼（ｃｏｎｆｉｄｅｎｃｅ）スコアが所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから前記主要変換Ｐ（ｎ）を選択する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理回路。
【請求項２３】
もしも、
連続した静的なモーションベクトルグループの存在が殆ど静止した背景を含む現存場面（ｅｘｉｓｔｅｄ ｓｃｅｎｅ）を指し示し、
或る一つの客体が、前記場面内に進入すると感知され、
時間ｎで連続した類似した速度のモーションベクトルグループが、前記場面の全体をカバーし、
前記静的なモーションベクトルグループが存在しなくなる、
場合には、前記主要変換が除外される、ことを特徴とする請求項２０に記載のイメージ処理回路。
【請求項２４】
第１時点ムと第２時点とで場面のイメージを撮影し、前記撮影されたイメージをイメージデータの第１及び第２フレームに変換するイメージセンサー回路と、
イメージ処理回路と、を含み、前記イメージ処理回路は、
第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第１グループを保存し、第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
前記ビデオデータ処理方法は、
変換ヒストリースコア、変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループの前記変換のうちから選択することによって、第１主要変換を識別する段階と、
前記スコアリング関数を用いて、前記第２モーションベクトルグループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、
を含むことを特徴とするカメラ。
【請求項２５】
前記スコアリング関数は、連続した関数であることを特徴とする請求項２４に記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６５３６４（Ｐ２０１２−１６５３６４Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２８００８８（Ｐ２０１１−２８００８８）
【出願日】平成２３年１２月２１日（２０１１．１２．２１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２８００８８（Ｐ２０１１−２８００８８）
【出願日】平成２３年１２月２１日（２０１１．１２．２１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]