強固なビデオ時間的レジストレーションのシステム及び方法
初期段階で各信号パラメータの事前知識がなくても、試験及び基準のビデオ・シーケンスの間のレジストレーション用の強固なビデオ空間的方法が、試験及び基準のビデオ・シーケンスからフレーム及びサブイメージの抜き出し測定値を発生する。ローカル・ピアソン相互相関係数（ＬＰＣＣＣ）イメージを用いてフレーム抜き出し測定値を線形に整列させて、最良のアライメント・ラインを得る。その各ピクセルは、試験及び基準のビデオ・シーケンスのフレームの間のＬＰＣＣＣ相互相関係数を表す。しきい値未満の最良のアライメント・ラインの各ピクセルに対して、最良の相互相関係数として高い相互相関係数用のＬＰＣＣＣイメージ内で垂直検索を実行して、試験及び基準のビデオ・シーケンスのフレーム間の時間的マッピングを達成する。
【発明の詳細な説明】
【関連出願との相互参照】
【０００１】
本出願は、本願に組み込まれ、２００７年４月１６日に出願し、名称が強固なビデオ時間的レジストレーションのシステム及び方法である米国仮出願第６０／９１２，１６７号の利益を主張する。
【発明の背景】
【０００２】
本発明の実施例は、ビデオ試験及び測定装置に関し、特に、ビデオのピクチャ品質測定に関する。
【０００３】
オレゴン州ビーバートンのテクトロニクス・インクが提供するピクチャ品質分析器（ＰＱＡ２００型及びＰＱＡ３００型）の如き製品が実行する完全基準ビデオ品質測定及び分析は、時間的レジストレーションを用いている。時間的レジストレーションにより、基準ビデオ・シーケンスの対応フレームを再生するのと当時に、試験ビデオ・シーケンスの各フレームを再生する。ビデオ・フォーマット及び装置の急増と、フレーム・レート及び時間歪又は欠陥の関連急増により、ピクチャ品質測定及び分析の準備ステップにおける必要条件は、手動で実行するには一層困難になり、従来技術の自動化方法が常に良好に動作するものではない。
【０００４】
空間歪測定の自動方法に関連した従来技術において、これら方法には、以下に示す１つ以上の欠点がある。
１）１．０以外のフレーム・レート比率にわたって強固でない。
２）失われたフレーム及びフレーム・フリーズ（共に、チャネル遅延における突然で局部的な静的変化による）の如き時間歪で、試験及び基準が１対１ではない。
３）基準及び試験、即ち、例えば、ＨＤ対ＳＤの間のフレーム分解能の差、及び他の空間的レジストレーション問題に対して動作しない。
【０００５】
本願に組み込まれ、名称が「高速ビデオ時間ミスアライメント評価」であるジゥフアイ・ルーによる米国特許第６７５１３６０号に示されるような従来技術例は、たとえ、ビデオが同一であるが、一方が他方のフレーム繰り返しのバージョンであれば、良好に機能しない。フレーム抜き出しの主要な又は単なる手段としてフレーム差の相関を用いる方法は、「チョッパ」効果を被る。この効果では、フレーム差は、繰り返しに対して０であるが、非繰り返しに対してはそうではなく、その結果が図３に対応する相関となる。図３において、全ての他のフレームで、フレーム繰り返しがゼロ差になる。これは、暗い水平ラインに対応し、最良の合致でさえ相関が弱い。
【０００６】
試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のフリーズ・フレーム及びブランク・フレームの如き対応時間の欠陥と共に、線形及びフレーム毎の両方の時間的マッピングを自動方法で測定することが望ましい。特に、ある測定方法では、デジタル圧縮アーティファクト、ランダム・ノイズ、量子化エラー、他の非線形及び線形歪及び緩衝の存在において強固であることが望ましい。ＰＱＡ３００型用の現在のビデオ信号に追加されるテクトロニクス専用のストライプ、選択されたアスペクト比、ＤＵＴピクセル・クロック、フレーム・レート、又は一般的なビデオ・パラメータの他の指示の如く、ビデオ内容の事前知識がなくても機能するために、この方法が適応することが望ましい。なお、これらビデオ・パラメータには、相対空間マッピング、水平及び垂直スケーリング、オフセット（シフト）又はクロッピングを含む。
【０００７】
最後に、この方法は、精度及び計算効率の両方が良好であることが望ましい。計算効率は、所定精度に対して比較的低レベルの処理である。
【発明の概要】
【０００８】
よって、本発明の実施例は、各信号パラメータの事前知識がなくても、試験ビデオ信号及び基準ビデオ信号の間の強固なビデオ時間レジストレーション用のシステム及び方法を提供する。これら試験及び基準のビデオ信号は、共に各フレームの抜き出し測定及びサブイメージに抜き出される。フレーム抜き出し測定は、ローカル・ピアソン相互係数（ＬＰＣＣＣ）イメージを用いて線形に整列（アライン）して、最良のアライメント・ラインを得る。なお、アライメント・ラインの各ピクセルは、試験及び基準のビデオ信号のフレームの間のＬＰＣＣＣ相互係数を表す。しきい値未満の最良アライメント・ラインの各ピクセルに対して、最良の相互相関係数としての最高相互相関係数用のＬＰＣＣＣイメージにおいて垂直検索を実行して、基準ビデオ信号のフレームに対する試験ビデオ信号のフレームの時間マッピングを達成する。任意のフレーム対の最良の相互相関係数がしきい値未満の場合、サブイメージを空間的に整列させて、更なる検索を行い、新たな最良の相互相関係数を得る。最後に、新たな最良の相互相関係数がしきい値未満のために更なる検索が望ましい場合、ＬＰＣＣＣイメージからのサマリー・ライン及びコラムの１次元イメージを空間的に整列させて、最高の相関係数を見つける。次に、この最高の相関係数を用いて、試験及び基準のビデオ信号を時間的にマッピングして、試験及び基準のビデオ・フレーム対の配列を発生する。
【０００９】
本発明の目的、利点及び新規な特徴は、添付の請求項及び添付図と共に後述の説明を読むことにより、明らかになろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明による強固なビデオ時間レジストレーションの方法を示す流れ図である。
【図２】図２は、試験及び基準平均フレーム・サマリー抜き出しのローカル・ピアソン相互相関係数（ＬＰＣＣＣ）イメージの写真図である。
【図３】図３は、試験及び基準のＲＭＳフレーム差サマリー抜き出しのＬＰＣＣＣイメージの写真図である。
【図４】図４は、試験及び基準のフレーム標準偏差サマリー抜き出しのＬＰＣＣＣイメージの写真図である。
【図５】図５は、図２に示すシーケンスの試験及び基準の平均フレーム・サマリーのＬＰＣＣＣイメージの写真図である。
【詳細な説明】
【００１１】
本発明の実施例は、本願発明者のケビン・ファーガソンが開発したビデオ信号における最新の改良の上に作り上げた。この最新の改良は、本願に組み込まれ、２００７年１１月２１日に出願され、名称が「ビデオ空間スケール、オフセット及びクロッピングの測定装置及び測定方法」である米国特許出願第１１／９４４，０５０号（’０５０出願）に記載されている。この’０５０出願は、本願に組み込まれ、２００６年１１月２２日に出願された米国仮特許出願第６０／８６７，０８７号（’０８７出願）の利益を主張する。
【００１２】
次のステップであるフレーム抜き出し１２Ｔ、１２Ｒ、線形アライメント１４及び拡張した時間的マッピング１６を用いて、入力信号を処理する。追加のステップには、拡張された時間的マッピング１６からのフレーム相関をチェック（１８）して、サブイメージの空間アライメント（２０）をゲートすることが含まれる。更なるステップでは、サブイメージの空間アライメント２０からのフレーム相関をチェック（２２）することが含まれる。
【００１３】
ステップ１：フレーム抜き出し
次のように、試験及び基準のビデオの両方の各フレームをフレーム抜き出し測定のために抜きだす。
Ａ）平均、標準偏差及びＲＭＳフレーム差のサブイメージ及びフレーム・サマリー。
Ｂ）’０５０出願のようなサマリー・ライン及びサマリー・コラム
各フレームをイメージ・ブロックに分解し、イメージ・ブロックごとに対応測定値（平均、標準偏差、及びＲＭＳフレーム差）を計算して、平均、標準偏差及びＲＭＳフレーム差サブイメージを夫々発生する。これらブロック測定の各々は、フレーム毎の「フレーム測定抜き出しイメージ」内のピクセルを表す。例えば、フレーム・イメージ・ブロック毎にＲＭＳフレーム差の抜き出しイメージを次のように計算する。
ブロックＲＭＳフレーム差［ｎ番目のフレーム］＝
（平均（（フレームピクセル［x, y, ｎ番目のフレーム］−フレームピクセル［x, y(n-1)番目のフレーム］）＾２））の平方根
フレーム・サマリー測定は、丁度ブロック・サブイメージにわたる代わりに全体のフレームにわたって行ったのと同じ測定である。
【００１４】
ステップ２：線形アライメント測定
いくつかの実施例において、’０５０出願に記載した方法による線形アライメント測定を実行する。例えば、全体の相関係数が、前の測定の各々に対して、即ち、’０５０出願に記載された方法によるローカル・ピアソン相互相関係数(ＬＰＣＣＣ)イメージの最大ハフ変換による連続線形アライメント測定に対して低すぎると、この動作を実行できる。
【００１５】
まず、平均フレーム・サマリー配列対を２つのイメージ入力（１の高さ×フレーム・カウント幅）として用いる。ここで、一方のイメージが全体の試験ビデオ・シーケンス用であり、他のイメージが全体の基準ビデオ・シーケンス用であり、’０５０出願に示される方法に入力する。
【００１６】
CxyWorthUing=0.8F*crossCorThreshold(croppedRefDiffLineParams.width)
に応じた所定しきい値よりも、選択された最も明るいラインに沿った結果のＬＰＣＣＣ値の平均が小さい場合、次の抜き出しフレーム・サマリー配列／イメージ対であるＲＭＳフレーム差の抜き出しイメージ（再び、一方が全体の試験シーケンス用であり、他方が全体の基準シーケンス用である）を、’０５０出願にて提供されたアライメント測定方法への入力として用いる。なお、
crossCorThreshold（分解能）＝（240.0/(240.0+分解能）の平方根
である。再び、ＬＰＣＣＣ最大ラインに沿う平均を計算して、CxyWorthUingしきい値に対してチェックをする。しきい値未満ならば、次の抜き出しイメージ対を用いる、即ち、標準偏差フレーム・サマリー抜き出しである。これらがしきい値よりも高くなければ、最大の係数による測定に用いる速度、又は次のステップに進む精度に対して、ユーザ制御を選択できる。より正確には、最良の線形フィットの代わりに、次のステップで、拡張された時間マッピングを実行できる。
【００１７】
同じビデオのバージョンで１秒当たりＣＩＦ６０フレーム（フレーム繰り返しを用いる）と１秒当たりＳＤ３０フレーム（標準分解能）とに対する図２〜図４に、３つのフレーム・サマリー抜き出しのＬＰＣＣＣイメージの例を示す。これら３つの図を比較することにより、フレーム差を用いる従来技術の強固さの欠如を示される。また、図２の明るいラインに留意されたい。これは、’０５０出願に記載された方法を用いて、ビデオ・シーケンスの間の最良の線形合致に対応するラインである。ステップ３、４及び５は、この情報を再利用する。
【００１８】
図３において、試験フレームの垂直方向のオフセットと垂直方向の理想的な基準フレーム番号との間の相関係数の表示は、図２に示す如く、ビデオ・シーケンスの間の最良の線形マッピングに対応する良好に定義された明るいラインを有する。しかし、図３において、フレームの繰り返しが全ての他のフレームでのゼロ差となり、暗い水平ラインに対応し、それ程明るくはないが、最も明るいラインの如き最良の合致に対しても相関が弱い。
【００１９】
ステップ３：拡張された時間的マッピング
図示の如く、ＬＰＣＣＣの各水平位置に対して、最良の線形アライメント・ライン（最も明るいライン）のピクセル値（これは、ピアソン相互相関係数）がしきい値未満であると、フレームの良好なローカル合致に対応する高い相関係数に対して検索を垂直方向に実施する。フレーム・カウントの単調性が仮定される場合（一般的な強制）のみにおいて、この垂直検索を進めることが強いられる。
【００２０】
ステップ４：フレーム相関をチェックして、サブイメージの空間的アライメントをゲートする
精度、速度制御、又はこれらの組合せに基づいて更なる検索が認められると、ステップ３のフレーム合致検索の各々に対して、所定フレームに対する以前のステップの最高の相互相関係数がしきい値未満であると、抜き出しイメージが空間的に整列し、対応する最高の相関係数をフレーム毎に用いるか、又は、’０５０出願で記載された方法を用いて、抜き出しイメージを空間的に整列する。
【００２１】
ステップ５：フレーム相関をチェックして、サマリー・ライン及びサマリー・コラムの空間的配列をゲートする
精度、速度制御、又はこれらの組合せに基づいて更なる検索が認められると、ステップ４の各フレーム合致検索の各々に対して、所定フレームに対する以前のステップの最高の相互相関係数がしきい値未満であると、サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列し、最高の相関係数に対応するマッピングをフレーム毎に用いるか、又は、’０５０出願で記載した方法を用いて、サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列する。決定したことは、サマリー・ライン結果及びサマリー・コラム結果の二乗の和の平方根として、最高の相関係数である。
【００２２】
従来の方法に関連した問題を解決する他に、上述の処理は、速度及び精度を所望レベルに柔軟に制御する能力も提供する一方、処理での各連続したステージにて、相関係数の如き性能指数も提供する。
【００２３】
よって、本発明によれば、試験及び基準ビデオ・シーケンスの事前知識がなくても、最良のアライメント・ラインを得るためにＬＰＣＣＣイメージを用い、最良の相関係数に対するＬＰＣＣＣイメージでの垂直方向の検索による最良アライメント・ラインのピクセルが表す各フレームを垂直方向にマッピングすることにより、強固のビデオの時間的レジストレーションを提供する。
【関連出願との相互参照】
【０００１】
本出願は、本願に組み込まれ、２００７年４月１６日に出願し、名称が強固なビデオ時間的レジストレーションのシステム及び方法である米国仮出願第６０／９１２，１６７号の利益を主張する。
【発明の背景】
【０００２】
本発明の実施例は、ビデオ試験及び測定装置に関し、特に、ビデオのピクチャ品質測定に関する。
【０００３】
オレゴン州ビーバートンのテクトロニクス・インクが提供するピクチャ品質分析器（ＰＱＡ２００型及びＰＱＡ３００型）の如き製品が実行する完全基準ビデオ品質測定及び分析は、時間的レジストレーションを用いている。時間的レジストレーションにより、基準ビデオ・シーケンスの対応フレームを再生するのと当時に、試験ビデオ・シーケンスの各フレームを再生する。ビデオ・フォーマット及び装置の急増と、フレーム・レート及び時間歪又は欠陥の関連急増により、ピクチャ品質測定及び分析の準備ステップにおける必要条件は、手動で実行するには一層困難になり、従来技術の自動化方法が常に良好に動作するものではない。
【０００４】
空間歪測定の自動方法に関連した従来技術において、これら方法には、以下に示す１つ以上の欠点がある。
１）１．０以外のフレーム・レート比率にわたって強固でない。
２）失われたフレーム及びフレーム・フリーズ（共に、チャネル遅延における突然で局部的な静的変化による）の如き時間歪で、試験及び基準が１対１ではない。
３）基準及び試験、即ち、例えば、ＨＤ対ＳＤの間のフレーム分解能の差、及び他の空間的レジストレーション問題に対して動作しない。
【０００５】
本願に組み込まれ、名称が「高速ビデオ時間ミスアライメント評価」であるジゥフアイ・ルーによる米国特許第６７５１３６０号に示されるような従来技術例は、たとえ、ビデオが同一であるが、一方が他方のフレーム繰り返しのバージョンであれば、良好に機能しない。フレーム抜き出しの主要な又は単なる手段としてフレーム差の相関を用いる方法は、「チョッパ」効果を被る。この効果では、フレーム差は、繰り返しに対して０であるが、非繰り返しに対してはそうではなく、その結果が図３に対応する相関となる。図３において、全ての他のフレームで、フレーム繰り返しがゼロ差になる。これは、暗い水平ラインに対応し、最良の合致でさえ相関が弱い。
【０００６】
試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のフリーズ・フレーム及びブランク・フレームの如き対応時間の欠陥と共に、線形及びフレーム毎の両方の時間的マッピングを自動方法で測定することが望ましい。特に、ある測定方法では、デジタル圧縮アーティファクト、ランダム・ノイズ、量子化エラー、他の非線形及び線形歪及び緩衝の存在において強固であることが望ましい。ＰＱＡ３００型用の現在のビデオ信号に追加されるテクトロニクス専用のストライプ、選択されたアスペクト比、ＤＵＴピクセル・クロック、フレーム・レート、又は一般的なビデオ・パラメータの他の指示の如く、ビデオ内容の事前知識がなくても機能するために、この方法が適応することが望ましい。なお、これらビデオ・パラメータには、相対空間マッピング、水平及び垂直スケーリング、オフセット（シフト）又はクロッピングを含む。
【０００７】
最後に、この方法は、精度及び計算効率の両方が良好であることが望ましい。計算効率は、所定精度に対して比較的低レベルの処理である。
【発明の概要】
【０００８】
よって、本発明の実施例は、各信号パラメータの事前知識がなくても、試験ビデオ信号及び基準ビデオ信号の間の強固なビデオ時間レジストレーション用のシステム及び方法を提供する。これら試験及び基準のビデオ信号は、共に各フレームの抜き出し測定及びサブイメージに抜き出される。フレーム抜き出し測定は、ローカル・ピアソン相互係数（ＬＰＣＣＣ）イメージを用いて線形に整列（アライン）して、最良のアライメント・ラインを得る。なお、アライメント・ラインの各ピクセルは、試験及び基準のビデオ信号のフレームの間のＬＰＣＣＣ相互係数を表す。しきい値未満の最良アライメント・ラインの各ピクセルに対して、最良の相互相関係数としての最高相互相関係数用のＬＰＣＣＣイメージにおいて垂直検索を実行して、基準ビデオ信号のフレームに対する試験ビデオ信号のフレームの時間マッピングを達成する。任意のフレーム対の最良の相互相関係数がしきい値未満の場合、サブイメージを空間的に整列させて、更なる検索を行い、新たな最良の相互相関係数を得る。最後に、新たな最良の相互相関係数がしきい値未満のために更なる検索が望ましい場合、ＬＰＣＣＣイメージからのサマリー・ライン及びコラムの１次元イメージを空間的に整列させて、最高の相関係数を見つける。次に、この最高の相関係数を用いて、試験及び基準のビデオ信号を時間的にマッピングして、試験及び基準のビデオ・フレーム対の配列を発生する。
【０００９】
本発明の目的、利点及び新規な特徴は、添付の請求項及び添付図と共に後述の説明を読むことにより、明らかになろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明による強固なビデオ時間レジストレーションの方法を示す流れ図である。
【図２】図２は、試験及び基準平均フレーム・サマリー抜き出しのローカル・ピアソン相互相関係数（ＬＰＣＣＣ）イメージの写真図である。
【図３】図３は、試験及び基準のＲＭＳフレーム差サマリー抜き出しのＬＰＣＣＣイメージの写真図である。
【図４】図４は、試験及び基準のフレーム標準偏差サマリー抜き出しのＬＰＣＣＣイメージの写真図である。
【図５】図５は、図２に示すシーケンスの試験及び基準の平均フレーム・サマリーのＬＰＣＣＣイメージの写真図である。
【詳細な説明】
【００１１】
本発明の実施例は、本願発明者のケビン・ファーガソンが開発したビデオ信号における最新の改良の上に作り上げた。この最新の改良は、本願に組み込まれ、２００７年１１月２１日に出願され、名称が「ビデオ空間スケール、オフセット及びクロッピングの測定装置及び測定方法」である米国特許出願第１１／９４４，０５０号（’０５０出願）に記載されている。この’０５０出願は、本願に組み込まれ、２００６年１１月２２日に出願された米国仮特許出願第６０／８６７，０８７号（’０８７出願）の利益を主張する。
【００１２】
次のステップであるフレーム抜き出し１２Ｔ、１２Ｒ、線形アライメント１４及び拡張した時間的マッピング１６を用いて、入力信号を処理する。追加のステップには、拡張された時間的マッピング１６からのフレーム相関をチェック（１８）して、サブイメージの空間アライメント（２０）をゲートすることが含まれる。更なるステップでは、サブイメージの空間アライメント２０からのフレーム相関をチェック（２２）することが含まれる。
【００１３】
ステップ１：フレーム抜き出し
次のように、試験及び基準のビデオの両方の各フレームをフレーム抜き出し測定のために抜きだす。
Ａ）平均、標準偏差及びＲＭＳフレーム差のサブイメージ及びフレーム・サマリー。
Ｂ）’０５０出願のようなサマリー・ライン及びサマリー・コラム
各フレームをイメージ・ブロックに分解し、イメージ・ブロックごとに対応測定値（平均、標準偏差、及びＲＭＳフレーム差）を計算して、平均、標準偏差及びＲＭＳフレーム差サブイメージを夫々発生する。これらブロック測定の各々は、フレーム毎の「フレーム測定抜き出しイメージ」内のピクセルを表す。例えば、フレーム・イメージ・ブロック毎にＲＭＳフレーム差の抜き出しイメージを次のように計算する。
ブロックＲＭＳフレーム差［ｎ番目のフレーム］＝
（平均（（フレームピクセル［x, y, ｎ番目のフレーム］−フレームピクセル［x, y(n-1)番目のフレーム］）＾２））の平方根
フレーム・サマリー測定は、丁度ブロック・サブイメージにわたる代わりに全体のフレームにわたって行ったのと同じ測定である。
【００１４】
ステップ２：線形アライメント測定
いくつかの実施例において、’０５０出願に記載した方法による線形アライメント測定を実行する。例えば、全体の相関係数が、前の測定の各々に対して、即ち、’０５０出願に記載された方法によるローカル・ピアソン相互相関係数(ＬＰＣＣＣ)イメージの最大ハフ変換による連続線形アライメント測定に対して低すぎると、この動作を実行できる。
【００１５】
まず、平均フレーム・サマリー配列対を２つのイメージ入力（１の高さ×フレーム・カウント幅）として用いる。ここで、一方のイメージが全体の試験ビデオ・シーケンス用であり、他のイメージが全体の基準ビデオ・シーケンス用であり、’０５０出願に示される方法に入力する。
【００１６】
CxyWorthUing=0.8F*crossCorThreshold(croppedRefDiffLineParams.width)
に応じた所定しきい値よりも、選択された最も明るいラインに沿った結果のＬＰＣＣＣ値の平均が小さい場合、次の抜き出しフレーム・サマリー配列／イメージ対であるＲＭＳフレーム差の抜き出しイメージ（再び、一方が全体の試験シーケンス用であり、他方が全体の基準シーケンス用である）を、’０５０出願にて提供されたアライメント測定方法への入力として用いる。なお、
crossCorThreshold（分解能）＝（240.0/(240.0+分解能）の平方根
である。再び、ＬＰＣＣＣ最大ラインに沿う平均を計算して、CxyWorthUingしきい値に対してチェックをする。しきい値未満ならば、次の抜き出しイメージ対を用いる、即ち、標準偏差フレーム・サマリー抜き出しである。これらがしきい値よりも高くなければ、最大の係数による測定に用いる速度、又は次のステップに進む精度に対して、ユーザ制御を選択できる。より正確には、最良の線形フィットの代わりに、次のステップで、拡張された時間マッピングを実行できる。
【００１７】
同じビデオのバージョンで１秒当たりＣＩＦ６０フレーム（フレーム繰り返しを用いる）と１秒当たりＳＤ３０フレーム（標準分解能）とに対する図２〜図４に、３つのフレーム・サマリー抜き出しのＬＰＣＣＣイメージの例を示す。これら３つの図を比較することにより、フレーム差を用いる従来技術の強固さの欠如を示される。また、図２の明るいラインに留意されたい。これは、’０５０出願に記載された方法を用いて、ビデオ・シーケンスの間の最良の線形合致に対応するラインである。ステップ３、４及び５は、この情報を再利用する。
【００１８】
図３において、試験フレームの垂直方向のオフセットと垂直方向の理想的な基準フレーム番号との間の相関係数の表示は、図２に示す如く、ビデオ・シーケンスの間の最良の線形マッピングに対応する良好に定義された明るいラインを有する。しかし、図３において、フレームの繰り返しが全ての他のフレームでのゼロ差となり、暗い水平ラインに対応し、それ程明るくはないが、最も明るいラインの如き最良の合致に対しても相関が弱い。
【００１９】
ステップ３：拡張された時間的マッピング
図示の如く、ＬＰＣＣＣの各水平位置に対して、最良の線形アライメント・ライン（最も明るいライン）のピクセル値（これは、ピアソン相互相関係数）がしきい値未満であると、フレームの良好なローカル合致に対応する高い相関係数に対して検索を垂直方向に実施する。フレーム・カウントの単調性が仮定される場合（一般的な強制）のみにおいて、この垂直検索を進めることが強いられる。
【００２０】
ステップ４：フレーム相関をチェックして、サブイメージの空間的アライメントをゲートする
精度、速度制御、又はこれらの組合せに基づいて更なる検索が認められると、ステップ３のフレーム合致検索の各々に対して、所定フレームに対する以前のステップの最高の相互相関係数がしきい値未満であると、抜き出しイメージが空間的に整列し、対応する最高の相関係数をフレーム毎に用いるか、又は、’０５０出願で記載された方法を用いて、抜き出しイメージを空間的に整列する。
【００２１】
ステップ５：フレーム相関をチェックして、サマリー・ライン及びサマリー・コラムの空間的配列をゲートする
精度、速度制御、又はこれらの組合せに基づいて更なる検索が認められると、ステップ４の各フレーム合致検索の各々に対して、所定フレームに対する以前のステップの最高の相互相関係数がしきい値未満であると、サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列し、最高の相関係数に対応するマッピングをフレーム毎に用いるか、又は、’０５０出願で記載した方法を用いて、サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列する。決定したことは、サマリー・ライン結果及びサマリー・コラム結果の二乗の和の平方根として、最高の相関係数である。
【００２２】
従来の方法に関連した問題を解決する他に、上述の処理は、速度及び精度を所望レベルに柔軟に制御する能力も提供する一方、処理での各連続したステージにて、相関係数の如き性能指数も提供する。
【００２３】
よって、本発明によれば、試験及び基準ビデオ・シーケンスの事前知識がなくても、最良のアライメント・ラインを得るためにＬＰＣＣＣイメージを用い、最良の相関係数に対するＬＰＣＣＣイメージでの垂直方向の検索による最良アライメント・ラインのピクセルが表す各フレームを垂直方向にマッピングすることにより、強固のビデオの時間的レジストレーションを提供する。
【特許請求の範囲】
【請求項１】
試験及び基準のビデオ・シーケンスの間のフレームを整列させる方法であって、
上記試験及び基準のビデオ・シーケンスの各フレームをフレーム抜き出し測定値に抜き出し、
上記フレーム抜き出し測定値から、上記試験及び基準のビデオ・シーケンスの間の上記フレームの空間的アライメント用にローカル・ピアソン相互相関係数（ＬＰＣＣＣ）イメージの線形ハウ変換を用いて、線形アライメント測定を実行して、上記ＬＰＣＣＣイメージを通じて最良のフィット・ラインを見つけ、
上記最良のフィット・ラインに沿ったＬＰＣＣＣの各ピクセルに対して、上記試験及び基準のビデオ・シーケンスの間の上記フレームの時間的アライメントに対して良好なフレーム合致を見つけるために、上記ピクセルの値がしきい値未満のときに、垂直に高い相関係数を検索する方法。
【請求項２】
上記フレーム抜き出し測定値は、上記試験及び基準のビデオ・シーケンスの対応フレームの間の平均、標準偏差及びＲＭＳのサマリーを具える請求項１の方法。
【請求項３】
上記フレーム抜き出し測定値は、上記試験及び基準のビデオ・シーケンスの間の対応フレーム対の各々のサブイメージの間の平均、標準偏差及びＲＭＳ差のサマリーを具える請求項１の方法。
【請求項４】
上記フレーム抜き出し測定値は、上記ＬＰＣＣＣイメージのサマリー・ライン及びサマリー・コラムの１次元イメージを具える請求項１の方法。
【請求項５】
上記実行ステップは、
上記試験及び基準のビデオ・シーケンス用の２つの１掛けるフレームカウントの幅のイメージ入力としての平均フレーム・サマリー配列対を用いて、上記フレーム・サマリー平均差から最高ライン・フィット平均値を求め、
上記最良ライン・フィット平均値を上記しきい値と比較する請求項２の方法。
【請求項６】
上記実行ステップは、更に
上記最良ライン・フィット平均値が上記しきい値未満ならば、上記試験及び基準のビデオ・シーケンス用の２つの１掛けるフレームカウントの幅のイメージ入力としてのＲＭＳフレーム・サマリー配列対を用いて、上記フレーム・サマリーＲＭＳ差から最良のライン・フィットＲＭＳ値を求め、
上記最良のライン・フィットＲＭＳ値を上記しきい値と比較する
請求項５の方法。
【請求項７】
上記実行ステップは、更に、
上記最良のライン・フィットＲＭＳ値がしきい値未満ならば、上記試験及び基準のビデオ・シーケンスの２つの１掛けるフレームカウント幅のイメージ入力として標準偏差サマリー配列対を用いて、上記フレーム・サマリー標準偏差の差から最良のライン・フィット標準偏差値を求め、
上記最良のライン・フィット標準偏差値を上記しきい値と比較する
請求項６の方法。
【請求項８】
上記処理ステップは、更に、上記最良ライン・フィット標準偏差値が上記しきい値未満ならば、上記最良のライン・フィット平均と、ＲＭＳと、上記最高の相関係数を有する標準偏差値との間から上記最良のライン・フィット測定値をユーザ選択する請求項７の方法。
【請求項９】
上記抜き出しステップは、更に、
各フレームをイメージ・ブロックに分割し、
対応する平均と、標準偏差と、イメージ・ブロック毎のＲＭＳ差とを計算する
請求項３の方法。
【請求項１０】
更に、上記最良の相関係数が上記しきい値未満ならば、上記実行ステップにあるように上記サブイメージを空間的に整列させて、新たなフレーム合致としてフレーム毎の最高の相関係数を見つける請求項９の方法。
【請求項１１】
更に、上記最良の相関係数が上記しきい値未満ならば、上記サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列させて、新たなフレーム合致としてフレーム毎の最高の相関係数を見つける請求項４の方法。
【請求項１】
試験及び基準のビデオ・シーケンスの間のフレームを整列させる方法であって、
上記試験及び基準のビデオ・シーケンスの各フレームをフレーム抜き出し測定値に抜き出し、
上記フレーム抜き出し測定値から、上記試験及び基準のビデオ・シーケンスの間の上記フレームの空間的アライメント用にローカル・ピアソン相互相関係数（ＬＰＣＣＣ）イメージの線形ハウ変換を用いて、線形アライメント測定を実行して、上記ＬＰＣＣＣイメージを通じて最良のフィット・ラインを見つけ、
上記最良のフィット・ラインに沿ったＬＰＣＣＣの各ピクセルに対して、上記試験及び基準のビデオ・シーケンスの間の上記フレームの時間的アライメントに対して良好なフレーム合致を見つけるために、上記ピクセルの値がしきい値未満のときに、垂直に高い相関係数を検索する方法。
【請求項２】
上記フレーム抜き出し測定値は、上記試験及び基準のビデオ・シーケンスの対応フレームの間の平均、標準偏差及びＲＭＳのサマリーを具える請求項１の方法。
【請求項３】
上記フレーム抜き出し測定値は、上記試験及び基準のビデオ・シーケンスの間の対応フレーム対の各々のサブイメージの間の平均、標準偏差及びＲＭＳ差のサマリーを具える請求項１の方法。
【請求項４】
上記フレーム抜き出し測定値は、上記ＬＰＣＣＣイメージのサマリー・ライン及びサマリー・コラムの１次元イメージを具える請求項１の方法。
【請求項５】
上記実行ステップは、
上記試験及び基準のビデオ・シーケンス用の２つの１掛けるフレームカウントの幅のイメージ入力としての平均フレーム・サマリー配列対を用いて、上記フレーム・サマリー平均差から最高ライン・フィット平均値を求め、
上記最良ライン・フィット平均値を上記しきい値と比較する請求項２の方法。
【請求項６】
上記実行ステップは、更に
上記最良ライン・フィット平均値が上記しきい値未満ならば、上記試験及び基準のビデオ・シーケンス用の２つの１掛けるフレームカウントの幅のイメージ入力としてのＲＭＳフレーム・サマリー配列対を用いて、上記フレーム・サマリーＲＭＳ差から最良のライン・フィットＲＭＳ値を求め、
上記最良のライン・フィットＲＭＳ値を上記しきい値と比較する
請求項５の方法。
【請求項７】
上記実行ステップは、更に、
上記最良のライン・フィットＲＭＳ値がしきい値未満ならば、上記試験及び基準のビデオ・シーケンスの２つの１掛けるフレームカウント幅のイメージ入力として標準偏差サマリー配列対を用いて、上記フレーム・サマリー標準偏差の差から最良のライン・フィット標準偏差値を求め、
上記最良のライン・フィット標準偏差値を上記しきい値と比較する
請求項６の方法。
【請求項８】
上記処理ステップは、更に、上記最良ライン・フィット標準偏差値が上記しきい値未満ならば、上記最良のライン・フィット平均と、ＲＭＳと、上記最高の相関係数を有する標準偏差値との間から上記最良のライン・フィット測定値をユーザ選択する請求項７の方法。
【請求項９】
上記抜き出しステップは、更に、
各フレームをイメージ・ブロックに分割し、
対応する平均と、標準偏差と、イメージ・ブロック毎のＲＭＳ差とを計算する
請求項３の方法。
【請求項１０】
更に、上記最良の相関係数が上記しきい値未満ならば、上記実行ステップにあるように上記サブイメージを空間的に整列させて、新たなフレーム合致としてフレーム毎の最高の相関係数を見つける請求項９の方法。
【請求項１１】
更に、上記最良の相関係数が上記しきい値未満ならば、上記サマリー・ライン及びサマリー・コラムの１次元イメージを空間的に整列させて、新たなフレーム合致としてフレーム毎の最高の相関係数を見つける請求項４の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１０−５２５６７４（Ｐ２０１０−５２５６７４Ａ）
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２０１０−５０４２３１（Ｐ２０１０−５０４２３１）
【出願日】平成２０年４月１６日（２００８．４．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０６０５３１
【国際公開番号】ＷＯ２００８／１２８２４９
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２０年４月１６日（２００８．４．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０６０５３１
【国際公開番号】ＷＯ２００８／１２８２４９
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]