動き補償画像レートコンバータに係るシステムおよび方法
【課題】時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、フレーム間に補間、および動き補償されたフレームを生成するシステムおよび方法を提供する。
【解決手段】グローバルアフィン動き推定エンジン、グローバル並進動き推定エンジン、セグメンテーションマスクジェネレータ、オブジェクトエッジ強さマップジェネレータ、およびローカル動き推定エンジンを含む動き補償フレームレートコンバータについての設計を有する。これらフィーチャの組み合わせを、動き補償画像レートコンバータに実装して、フレームシーケンスの動き推定および補償を正確且つ効率的に行う。
【解決手段】グローバルアフィン動き推定エンジン、グローバル並進動き推定エンジン、セグメンテーションマスクジェネレータ、オブジェクトエッジ強さマップジェネレータ、およびローカル動き推定エンジンを含む動き補償フレームレートコンバータについての設計を有する。これらフィーチャの組み合わせを、動き補償画像レートコンバータに実装して、フレームシーケンスの動き推定および補償を正確且つ効率的に行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、米国連邦法典３５セクション１１９（ｅ）に基づき２００６年６月２７日出願の米国仮出願番号第６０／８１７，０６１の恩恵を享受しており、この出願の開示の全体をここに参照として組み込む。
【背景技術】
【０００２】
典型的な映画は、２４Ｈｚ、２５Ｈｚ、または３０Ｈｚで記録される。通常のビデオカメラの画像レートは、５０Ｈｚおよび６０Ｈｚである。これらに対して、市販のテレビディスプレイは、１２０Ｈｚまでの画像レートを有し、順次走査またはインターレース走査いずれかを利用する。故に、ハイエンドのＴＶディスプレイを用いて放送ビデオをインタフェースしようとすると、例えば画像レートコンバータなどを用いて放送ビデオの本来のシーケンスをアップコンバートする必要がある。画像レートコンバータの動作は典型的に、低周波数のソースであるデバイスからのフレームシーケンスが高周波のあて先ディスプレイに登録される前の時間インスタンスで画像フレームを補間する、というものである。
【０００３】
単純な画像レートコンバータにおいては、画像はしばしば、次の画像がソースであるデバイスから届くまでの間、あて先のディスプレイにおいて繰り返されるので、動きが生じると、ぼけ（blur）および激しい振動（judder）を生じる場合がしばしばある。動き推定回路および動き補償回路を画像レートコンバータで利用すると、これら望ましくない効果を低減し、動画シーケンスを高性能に変換することができる。動き補償は、補間された画像のエレメントがどこにあるかを、該エレメントの動きの方向および速度に基づいて推定することで行われる。その後、方向および速度の値は、動きベクトルとして表され、エレメントを新たに補間したフレームの正しい位置に「動かす」のに利用される。この手法を適切に適用することで、動きを伴う任意の画像シーケンスへの影響は一目瞭然であり、生成画像はアップコンバージョン前の本来のシーケンスと見分けがつかないまでになる。
【０００４】
故に、動き補償された画像レート変換に伴う計算コストを最小限に抑え、その推定精度を最大化する方法およびシステムを決定することが望ましい。例えば、様々な動き補償法を、動き補償効率性と、結果生じる補間されたフレームの精度との間の平衡を保つべく、ソースであるフレームのシーケンス内の異なる領域に対して設計および適用してよい。さらに、この効率性と精度との間の平衡を達成すべく動き補償法自身を個々に最適化してよい。加えて、動き補償画像レートコンバータのシステムアーキテクチャ全体を、該アーキテクチャを様々なディスプレイデバイスに準拠させることで、汎用性を高めるよう設計することができる。
【発明の開示】
【０００５】
本発明は、入力信号の時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、これら隣接するフレーム間に補間、および動き補償されたフレームを少なくとも１枚生成するシステムおよび方法に関する。
【０００６】
本発明の一側面によると、動き補償画像レートコンバータ（ＭＣＰＲＣ）を提供して、入力信号の連続フレーム間のオブジェクト動きを推定する。先ず、信号をＭＣＰＲＣの処理モジュールで処理して、フレームの重要な領域を隔離する。そして、ＭＣＰＲＣの動き補償フレームレートコンバータ（ＭＣＦＲＣ）を利用して、アフィン動きパラメータ一式を利用して任意の二つの連続フレーム間のグローバル動きを推定する。さらに、ＭＣＦＲＣは、動きベクトル一式を利用してフレーム間のローカル動きを推定し、ここで、各動きベクトルはローカル動きベクトルまたは補正グローバル動きベクトルのいずれかである。
【０００７】
一実施形態においては、ＭＣＦＲＣは、２段処理によりアフィン動きパラメータ一式を生成するグローバルアフィン動き推定エンジンを含む。特に、グローバル並進推定・アフィン予測モジュールを提供して、パラメータをアフィンパラメータリファインモジュールでリファインする前に、粗いレベルのパラメータ推定を生成してよい。
【０００８】
一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、参照フレームの対象領域に隣接する隣接領域を特定することで、現在のフレームの対象領域について動きベクトルを生成する。対象領域の動きベクトルは、その後、参照フレームについて計算した隣接領域の動きベクトルに基づいて計算されうる。結果生じる動きベクトルは、ローカル動きベクトルである。
【０００９】
一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、対象領域に隣接する隣接領域について計算したアフィン動きパラメータに基づいて、現在のフレームの対象領域について動きベクトルを生成する。結果生じる動きベクトルは、補正グローバル動きベクトルである。
【００１０】
一実施形態においては、エッジマスクとセグメンテーションマスクとの組み合わせを利用して、現在のフレームの前景領域を決定して、ローカル動きベクトルまたは補正グローバル動きベクトルのいずれかを利用して動き補償を行う。これら２つのベクトル間の選択は、二つのベクトルの各々を対象領域に適用した結果生成される推定エラーに基づいて行われてよい。
【００１１】
本発明の別の側面においては、グローバルアフィン動き推定エンジンのグローバル並進・推定モジュールを提供して、現在のフレームと参照フレームとの間のグローバル並進動きを推定する。このモジュールは、フレーム間のグローバル並進動きを粗く推定するアフィンパラメータ一式を生成する位相相関技術の利用により、動作する。位相相関技術では、先ず、特定のデシメーションファクタにより、現在のフレームおよび参照フレームそれぞれをディメーションする。結果生じるデシメーションされた現在のフレームおよび参照フレームは、その後フーリエ変換される。変換された現在のフレームに対応する位相は、その後、変換された参照フレームに対応する位相から減算されて、位相差アレイが生成される。この位相差アレイの指数をその後、逆フーリエ変換して、相関面を生成する。相関面の最大値および相関面における最大値の位置を利用して、グローバル並進動きに関するアフィンパラメータを計算してよい。
【００１２】
この粗いレベルの推定から生成されるアフィンパラメータは、さらに、グローバルアフィン動き推定エンジンのアフィンパラメータリファインモジュールでリファインされる。このモジュールは、先ず粗いレベルの推定から得られたアフィンパラメータを利用して参照フレームを更新することに基づくリファイン技術を利用する。その後、更新された参照フレームと現在のフレームとの間の差を求めて、これをアフィンパラメータリファインに利用して、更新された参照フレームと現在のフレームとの間の差を最小限に抑える。
【００１３】
本発明の別の側面によると、ＭＣＦＲＣのローカル動き補正モジュールが提供され、現在のフレームの対象領域の動きベクトルを計算する。このモジュールにおいて行われる計算は、グローバルアフィン動き推定モジュールから求めたグローバルアフィン動きパラメータ一式に基づく。特に、アフィンパラメータを利用してセグメンテーションマスクを生成することで、現在のフレームの前景領域および背景領域を特定する。そして、オブジェクトエッジ強さマップを生成して、現在のフレーム上の大きなエッジ強さを有する領域を特定する。続いて、対象領域に関する前景領域、背景領域、および大きなエッジ強さを有する領域に基づいて現在のフレームの対象領域について適切な動き推定法を選択する。
【００１４】
一実施形態においては、動き推定法は、補正グローバル動き推定法およびローカル動き推定法のいずれかである。
【００１５】
一実施形態においては、セグメンテーションマスクは、先ず、アフィンパラメータを利用して参照フレームを更新することで生成される。そして、更新された参照フレームと現在のフレームとの間の差異フレームを求める。差異フレームの各領域を、その後、閾値と比較して、この領域を前景領域および背景領域のいずれかに分類する。
【００１６】
一実施形態においては、このセグメンテーションマスクは、さらに第２処理でリファインされて、最終セグメンテーションマスクが生成される。この処理は、先ず、少なくとも２つの接続された領域を有する最初のセグメンテーションマスク上のオブジェクトを決定することを含む。その後、各特定されたオブジェクトが占める面積を数量化する。続いて、各数量化された面積を閾値と比較して、オブジェクトの接続された領域各々を、前景領域および背景領域のいずれかに再分類する。
【００１７】
一実施形態においては、先ず、現在のフレームの各領域の垂直方向および水平方向に相関する１以上の固有値を生成することで、オブジェクトエッジ強さマップを生成する。固有値の最大値を次に決定する。最大値が画定する範囲に実質的に在る固有値を有する各領域を、重要なエッジ強さを有するものとして分類する。
【００１８】
一実施形態においては、メジアンフィルタ、エッジフィルタ、およびガウスフィルタのうち少なくとも１つを、対象領域について生成された動きベクトルに適用する。
【００１９】
一実施形態においては、各々グローバルアフィン動きベクトル、ローカル動きベクトル、または補正グローバル動きベクトルである、ＭＣＦＲＣで生成された動きベクトルを利用して、現在のフレームと参照フレームとの間に動き補償されたフレームを補間する。
【００２０】
本発明の別の側面によると、ＭＣＰＲＣは、ＭＣＦＲＣの出力信号を処理する後処理モジュールを含み、ここで出力信号は、入力信号の本来のフレームレートより高いフレームレートを有する。
【００２１】
一実施形態においては、後処理モジュールは、処理モジュールとＭＣＦＲＣとの間に配置され、処理モジュールからの信号をさらに処理する。加えて、後処理モジュールの出力信号を、入力信号の本来のフレームレートと略等しいフレームレートを有するよう適合させる。
【００２２】
一実施形態においては、処理モジュールは、ノイズ低減およびデインターレースの少なくともいずれかを行う回路を有する。後処理モジュールは、フレーム画像スケーリング、強調および色管理の少なくともいずれかを行う回路を有する。
【図面の簡単な説明】
【００２３】
【図１】本発明による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路の一例示的実施形態を示す。
【００２４】
【図２】本発明によるＭＣＰＲＣの別の例示的実施形態を示す。
【００２５】
【図３】図１および２の動き補償フレームレートコンバータ（ＭＣＦＲＣ）モジュールの例示的ブロック図を示す。
【００２６】
【図４】図３のグローバルアフィン動き推定機能の例示的ブロック図を示す。
【００２７】
【図５】図４のグローバル並進推定機能の例示的実装例を示す。
【００２８】
【図６】図４の高速フーリエ変換（ＦＦＴ）機能の例示的実装例を示す。
【００２９】
【図７】図５の位相計算機能の例示的ブロック図を示す。
【００３０】
【図８】最初のセグメンテーションマスクを計算する例示的ブロック図を示す。
【００３１】
【図９】最終のセグメンテーションマスクを計算する例示的ブロック図を示す。
【００３２】
【図１０】オブジェクトエッジマップを計算する例示的ブロック図を示す。
【００３３】
【図１１】図１０の固有値計算機能の例示的ブロック図を示す。
【００３４】
【図１２】ローカル動き補償法および補正グローバル動き法を実装する例示的な方法を示す。
【００３５】
【図１３】フレーム対の間に動きベクトルを生成するのに適切な動き補償法を選択する例示的なフロー図を示す。
【００３６】
【図１４】図１３の手順から計算されるローカル動きベクトルを後処理する例示的ブロック図を示す。
【００３７】
【図１５】図３の動き補償補間機能の例示的ブロック図を示す。
【００３８】
【図１６Ａ】開示された技術を利用することのできる例示的高精細テレビのブロック図を示す。
【００３９】
【図１６Ｂ】開示された技術を利用することのできる例示的車両のブロック図を示す。
【００４０】
【図１６Ｃ】開示された技術を利用することのできる例示的携帯電話機のブロック図を示す。
【００４１】
【図１６Ｄ】開示された技術を利用することのできる例示的セットトップボックスのブロック図を示す。
【００４２】
【図１６Ｅ】開示された技術を利用することのできる例示的メディアプレーヤのブロック図を示す。
【発明を実施するための最良の形態】
【００４３】
図１は、本発明の一側面による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路１００の高レベル図である。入力信号１０２は、ビデオフレームの離散シーケンスを有しており、ＭＣＰＲＣ回路１００に入力され、ＭＣＰＲＣ回路は、アップコンバートされ動き補償された出力信号１２８を、ＭＣＰＲＣ回路１００のモジュール１０４、１０８、１１２、および１１６を介して生成する。ＭＣＰＲＣ回路１００の各モジュールを以下で説明する。アップコンバートの後、ＭＣＰＲＣ回路１００からの出力信号１２８は入力信号１０２のフレームレートより典型的に非常に高いフレームレートを有する。例えば、入力ビデオ信号１０２は、６０Ｈｚの画像レートを有するビデオカメラから生成されてよい。ビデオ信号は、例えば１２０Ｈｚのリフレッシュレートを有するＬＣＤパネルディスプレイ上の出力に適した形にすべく、ＭＣＰＲＣ回路１００を利用してアップコンバートされる必要がありうる。一般的には、フレームレートのアップコンバートは、所定の数の固有フレームを時間的に隣接した入力フレームの各対間に注入することで達成される。これらの介在フレームは、フレーム間のオブジェクトの動作軌跡を実質的に捉えるように作成されてよく、これによりアップコンバートの後でディスプレイされる際のビデオ画像シーケンス全体の滑らかさを高める。
【００４４】
図１を参照すると、入力信号１０２は先ずフロントエンドモジュール１０４でダウンコンバートおよび復調処理を受ける。このフロントエンドモジュール１０４は、チューナ、デモジュレータ、コンバータ、コーデック、アナログビデオデコーダ等の部材を含みうる。フロントエンドモジュール１０４からの出力１０６は、その後、下流のノイズ低減およびデインターレースモジュール１０８へ渡され、そこでは、信号１０６を、本来のインタレース走査に基づく形式から、高品質な順次走査出力１１０へ変換し、且つ、ブロックノイズおよびモスキートノイズなどのアナログノイズおよび補償アーチファクトを大幅に低減させる。結果生じる順次走査出力１１０は動き補償されたフレームレート変換（ＭＣＦＲＣ）モジュール１１２へ供給され、そこでは動き補償され補間されたフレームを生成してビデオ出力シーケンス１１４が生成される。ビデオ出力シーケンス１１４は、元々の入力信号１０２の本来のフレームレートより高いフレームレートを有してよい。ＭＣＦＲＣモジュール１１２の動作の詳細を以下で詳述する。アップコンバートされたビデオ出力１１４は、その後、後処理モジュール１１６により処理され、典型的にデジタルビデオパイプラインに存在するスケーリング、エッジ強さ、色管理、画像制御などの追加的な強化機能がビデオ信号１１４に授受される。
【００４５】
幾らかの実施形態においては、図１に示す全ＭＣＰＲＣアーキテクチャが単一のチップ上に実装されてもよい。一つの例示的構造においては、このＭＣＰＲＣチップはテレビ回路に組み込まれてもよく、テレビ回路から、ＭＣＰＲＣチップのアップコンバートおよび後処理された出力１２８が外部のビデオディスプレイパネルへ送信される。しかし、後処理モジュール１１６が処理パイプラインから切り離され、その代わりにディスプレイパネルに組み込まれている場合、ＭＣＰＲＣシステム１００の利用性が厳しく制限されることになる。これは、チップからＬＣＤディスプレイに送信される際、信号１１４が入力信号１０２の本来のフレームレートより非常に高い帯域幅を占めるからである。多くの場合、テレビ回路がＬＣＤディスプレイと通信できるような、整合高帯域幅インタフェースを見つけることはできない。しかし、ＭＣＰＲＣアーキテクチャ１００を単一チップにカプセル化すると、システム１００の様々な部材間で情報交換が促進されるという利点がある。
【００４６】
図２は、別のＭＣＰＲＣ構成２００の高レベル図であり、図１のＭＣＦＲＣブロック１１２および後処理モジュール１１６の順序を入れ替えて、ビデオを図２のＭＣＦＲＣモジュール２１２で高い帯域幅にアップコンバートする処理よりも、後処理モジュール２１６の処理のほうを前に行う。アップコンバート機能を処理パイプラインの最後の段階に配置することで、アップコンバート機能が残りの回路と隔離されうる。故に、この配置により、モジュール２０４、２０８、および２１６をＭＣＦＲＣモジュール２１２から切り離すことができる。幾らかの実施形態においては、モジュール２０４、２０８、２１６、および２１２は、図１のそれぞれ対応するモジュール１０４、１０８、１１６、および１１２と構造的に類似している。一例示的アーキテクチャにおいては、モジュール２０４、２０８、および２１６を組み込むチップが、テレビ受信回路に集積されて、入力信号２０２の本来のフレームレートで動作してよく、一方でＭＣＦＲＣモジュール２１２が、他の処理部から切り離されたＬＣＤディスプレイパネル内に集積されてもよい。この配置においては、テレビ回路からＬＣＤディスプレイパネルへの送信信号２１４は、ＬＣＤパネルディプレイが要するアップコンバート帯域幅より比較的低い本来の帯域幅を占める。テレビ受信回路はＬＣＤディスプレイと、低電圧差動信号（ＬＶＤＳ）チャネルなどの標準的なビデオ／ディスプレイインタフェースを介して通信する機能を有してよい。この低帯域幅のインタフェースにより、システム２００の用途は広がり、任意の数の異なるディスプレイパネルをテレビ受信回路に接続することが可能となる。
【００４７】
図１、２に示すビデオ情報信号経路１１８および２１８はそれぞれ、対応するＭＣＰＲＣシステム１００および２００のモジュール間の情報伝達を促進すべく提供されている。特に、ＭＣＦＲＣモジュール１１２および２１２に伝達される情報は、例えば、クローズドキャプションディプレイの位置、画面上の表示の存在、各入力信号１０２および２０２の本来のフレームレート、および各入力信号１０２および２０２の起点およびアクティブビデオ境界を含む。
【００４８】
図示されているＭＣＰＲＣシステム１００および２００では、入力ビデオ信号１０２および２０２は、標準精細（ＮＴＳＣ／ＰＡＬ／ＳＥＣＡＭ）から高精細に亘っており、インタレース型でも順次型でもよい。幾らかの例においては、ビデオ信号解像度は、低フレームレートを有する標準解像度よりもさらに低い。例えば、入力ビデオ信号は、ｉＰＯＤなどの携帯型メディアプレーヤ内のコネクタデバイスから、毎秒１５または３０フレーム入力されるＱＶＧＡ（３２０×２４０）であってよい。幾らかの例においては、低解像度ビデオ信号がパーソナルメディアプレーヤまたはマルチメディア携帯電話機のビデオドックにコネクタデバイスを介して供給されてよく、ここでドックには、例えば５ｆｐｓで３２０×１６０から６０ｆｐｓで７２０×４８０の空間・時間変換（spatial and temporal conversion）を行う機能を有する集積回路が含まれうる。インタフェース入力は、ビデオに起因する（video‐originated）、またはフィルムに起因する（film‐originated）材料から形成されてよい。ビデオに起因する材料は、先ずデインタレースされて、フィールドレートからフレームレートへ変換されてからＭＣＦＲＣモジュール１１２および２１２に入力される。フィルムに起因する材料は、ＭＣＦＲＣモジュール１１２および２１２への入力用に、本来の順次型形式に変換される。
【００４９】
図３は、オブジェクト動き推定を入力ビデオ信号３０２の連続フレーム対の間に行うことを目的とする、図１および２のＭＣＦＲＣモジュール１１２および２１２それぞれの例示的実装例３００を示す。連続フレームの各対は補間されてよく、２つのフレームのうち前のほうは、「参照フレーム」と称され、後のほうは「現在のフレーム」と称される。図３のＭＣＦＲＣモジュール３００の例示的実施形態によると、動き推定エンジン３０６による動き補償および動き補償補間モジュール３１０による動き補間の前処理として、入力信号３０２はＭＣＲＦＣ制御部３０４で処理される。特に、動き推定エンジン３０６は、ＭＣＦＲＣ制御部３０４からリンク３２２および３２４を介して送信された処理済フレーム情報を利用して、グローバルおよびローカル動き補償情報を入力シーケンス３０２の連続フレーム対各々に生成する。結果生じるグローバルおよびローカル動き補償情報は、今度は動き補償補間モジュール３１０へリンク３０８を介して転送され、また、ＭＣＦＲＣ制御部３０４へもリンク３２２および３２４を介して転送される。幾らかの例においては、動き補償補間を行うという判断も、ビデオ入力信号３０２と、ビデオ情報信号３１６を介して得た入力の任意の追加的ビデオ情報とともに、制御部３０４から動き補償補間モジュール３１０に送られてよい。ＭＣＦＲＣ制御部３０４および動き推定エンジン３０６から取得したデータに基づいて、動き補償補間を動き補償補間モジュール３１０で行うことで、望ましいフレームレートのビデオ画像シーケンスを生成するが、ここでシーケンスには、元々のビデオフレームシーケンスの間に時間的に散在した補間されたフレームが含まれている。幾らかの例においては、ＭＣＦＲＣ制御部３０４は制御信号を、リンク３２６を介して動き補償補間モジュール３１０へ送ることで、ビデオ信号の一部の補間を不要としてよい。さらに、動き推定エンジン３０６からのビデオフレーム情報、ビデオ情報信号３１６、およびビデオ入力３０２も、出力３１４を介して他の処理ブロックへ転送されてさらなる処理を受けてよい。動き推定エンジン３０６、動き補償補間モジュール３１０、およびＭＣＦＲＣ制御部３０４の動作を、以下で詳述する。
【００５０】
図３のＭＣＦＲＣ制御部３０４は、動き予測および後続のビデオ補間の品質に影響しうるある種のフレームフィーチャを削除しようと試みることで、入力ビデオ信号３０２の各フレームを処理する。この信号処理は、「真の」画像のみがグローバル動き推定の基として利用されるべきグローバルアフィン動き推定機能モジュール３１８において特に重要である。例えば、入力ビデオ信号３０２が、郵便ポスト（pillar box）およびサブタイトルなどのフィーチャを含むＤＶＤである場合、ＭＣＦＲＣ制御部３０４は、フレームを動き推定エンジン３０６に送る前に、各ＤＶＤフレームからピラーボックスを削除し、且つ、サブタイトルがフレームと融合している領域を特定することが望ましい。入力信号３０２が放送ビデオ信号である場合、ＭＣＦＲＣ制御部３０４は、各ビデオフレームに関連付けられた静的チャネルロゴおよびティッカシンボルを特定することが望ましいが、このティッカシンボルとは、フレームの残りのシーンとはしばしば完全に反対方向に一定の速度で回転するものである。処理されたフレームシーケンスは、その後、リンク３２２および３２４を介して動き推定エンジン３０６へ転送されて、ローカルおよびグローバル動き推定がなされる。
【００５１】
別の実施形態においては、入力ビデオ信号３０２および入力ビデオ信号３０２に関する追加的情報が、入力３１６および３３０をそれぞれ介してＭＣＦＲＣ制御部３０４へ送信される。特に、ビデオ情報信号３１６は、例えばビデオに追加されるべき合成情報または動きベクトルの推定精度に影響するようなビデオの起点情報などの、入力ビデオ信号３０２に関する追加的情報を提供する。例えば、入力信号がコンピュータグラフィック信号であることが既知である場合、該信号は、ビデオに起因する信号と比して、水平方向、垂直方向両方に非常に鋭い遷移を持つ可能性が高い。グラフィックに起因するビデオ入力に関する動きベクトルは典型的に、ひとたびこの情報が動き推定エンジン３０６に提供されると、より正確に推定できる。しかし、ビデオ起点が動き推定エンジン３０６に提供されない場合、結果生じる動きベクトルの予測は不正確となってしまう。
【００５２】
また別の実施形態によると、「シーンカット」検知回路を提供して、ビデオ信号内の特定のフレームについては動き補償補間モジュール３１０をディセーブルにすべきか否かを判断してよい。動き補償補間システムを利用することで、シーンが変更される間正確な動き推定を行うことが可能となる。故に、結果生じるアップコンバートされたビデオシーケンス内でこれら悪影響で大きい場合にはいつでも、入力信号３０２の動き補償補間を停止することができる。この一時的に補間を停止する判断は、動き推定エンジン３０６からリンク３２２および３２４を介して受信されたグローバルおよびローカル動き情報の分析に基づいてＭＣＦＲＣ制御部３０４で行われうる。ＭＣＦＲＣ制御部３０４は、通信リンク３２６を介して動き補償補間モジュール３１０をイネーブルにもディセーブルにもできる。補間するという判断がなされると、ＭＣＦＲＣ制御部３０４は、チャネル３３０から入力ビデオ信号３０２を、チャネル３１６からオプションのビデオ情報信号を、リンク３２２からグローバル動き信号を、およびリンク３２４からローカル動き信号を、動き補償補間モジュール３１０へ転送して、動き補償補間に備える。さもなくば、情報は出力３１４を介して後続の段に選択的に転送される。ＭＣＦＲＣ制御部３０４では任意の他の基準を利用して動き補償補間をイネーブルおよびディセーブルにしてもよいことに留意されたい。
【００５３】
図４は、図３の動き推定エンジン３０６のグローバルアフィン動き推定モジュール３１８の例示的実装例４００である。グローバルアフィン動きとは、一般的には、一般にカメラのズーミング、パニング、あるいは回転などの動きが引き起こす、ビデオシーケンスの背景のピクセルの動きのことを言う。幾らかの実装例においては、ビデオフレームシーケンスの背景のピクセルは、全て単一の共通グローバル動きを受けると仮定される。グローバルアフィン動き推定は、通常、背景の動きを幾らかの基本パラメータを利用してモデル化する。特に、アフィンモデルは、６つのアフィンパラメータのみを利用して、任意のフレーム対間のグローバル動き軌跡を表す。アフィンパラメータのうち２つは、カメラのズーミング動きを捉えるのに利用されるスケーリングパラメータであり、２つは回転パラメータであり、２つはパニング動きを捉えるのに利用される並進パラメータである。これら６つのアフィンパラメータは、グローバル動き予測の上で非常な柔軟性を提供する。
【００５４】
図４に示すように、グローバルアフィン動き推定モジュール４００は２段の処理であり、第１段４０２が、任意のフレーム対間のグローバル動きを粗い解像度で捉えるのに利用されるアフィンパラメータ一式の粗い推定を行う。より具体的には、第１段は、位相相関法を利用してグローバル並進動きに関する２つのアフィン並進パラメータを推定するが、これは図５‐７との関連で詳述する。第１段はさらに、グローバルな回転およびスケーリング動きに関する、残りの４つのアフィンパラメータを予測する。これら予測は、前のフレーム対など、過去に行った推定から算出した対応アフィン値に基づいている。結果生じるアフィンパラメータを今度は第２段４０６に渡し、より高精細な解像度レベルにまでリファインする。
【００５５】
特に、図４の実施形態によると、フレームシーケンスを有するアクティブビデオ入力信号４０４を、グローバルアフィン動き推定モジュール４００の段４０２に供給する。幾らかの実施形態においては、サブタイトル、ＯＳＤメニューなど全ての重要でないビデオ情報を、グローバルアフィン動き推定モジュール４００へ供給する前のアクティブビデオ入力信号４０４から除去する。段４０２においては、グローバル並進またはパニング動きに関する、２つのアフィン並進パラメータのみを推定する。グローバル並進動きを隔離する理由は、カメラの動きはその性質上圧倒的に並進的な動きであり、典型的に大きな並進範囲を捉えるのが難しいからである。殆どの市販の動き推定ツールは、非常に制限的な計測範囲を有しており、動きが許容範囲外である場合にはしばしば不正確な動き計測値を生成するきらいがある。これと比較すると、本発明のグローバル並進推定技術によれば、入力フレームの１画像サイズの半分の並進動き範囲まで正確に計測することができる。このグローバル並進推定は、粗い表示フレームの各対に対して適用した位相相関法を利用して達成される。位相相関法は図５との関連で詳述する。２つの粗い予測アフィン並進パラメータを含む粗い並進推測値数１がモジュール４０２により提供される。さらに、２つのアフィン回転パラメータと２つのアフィンスケーリングパラメータとを含む４つの残りのアフィンパラメータの粗い推定値である数２が、前のフレームのこれらパラメータの過去の推定値に基づいて計算される。
【数１】
【数２】
【００５６】
これら粗いレベルのアフィンパラメー推定値数１および数２はその後、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくアフィンパラメータリファインモジュール４０６へ送信され、さらにリファインされる。このリファインは、先ず、段４０２からの粗く予測されたアフィンパラメータを利用して参照フレームの画像を動き補償することで達成される。故に、補償された参照フレームと現在のフレームとの間の差は、補償された参照フレーム画像を現在のフレーム画像に実質的に位置合わせするのに必要な、粗く予測されたアフィンパラメータの調節量である。一実施形態においては、ＲＡＮＳＡＣに基づく技術を利用してこのようなリファインを達成する。このＲＡＮＳＡＣに基づく方法４０６は先ず、その最も精細な解像度で表される現在のフレームから、所定の数のランダムに配置されたピクセルブロックを選択することで動作する。これらブロックも、補償された参照フレーム内に対応するブロックを有する。次にセグメンテーションマスクを動き補償された現在のフレームに適用して、フレーム画像の前景領域および背景領域を区別する。フレームの背景領域に属するブロックのみを利用して、グローバル動き予測に関するアフィンパラメータをリファインする。こうする理由は、背景のピクセルの動きだけが、アフィンパラメータにより概算されるグローバル動きに曝されると仮定されるからである。リファインされた並進推定値Ａ<SUB>ｉ</SUB>および予測推定値であるＢ<SUB>ｉ</SUB>はその結果アフィンパラメータリファイン段４０６で生成される。セグメンテーションマスク算出を以下に詳述する。
【００５７】
図５は、位相相関法の例示的ブロック図実装５００を示す。位相相関法は、図４のグローバル並進推定および予測段４０２に実装されて、２つの連続フレーム間のグローバル並進動きに関するアフィンパラメータの粗いレベルの予測を行う。位相相関は、どちらもフーリエ領域で表される並進画像とその参照画像との間に位相差のみが存在するようなフーリエシフト特性を利用することで、この並進動きを計測する。さらには、この位相差の指数の逆フーリエ変換により、相関面が形成され、ここから２つの画像フレーム間の並進動きの計測値が得られる。この動作を表す例を以下で説明する。
【００５８】
標準解像度のテレビ画像のフーリエ変換は、殆どの用途において法外に高価になってしまうことが公知である。この動作の複雑性を低減すべく、参照フレームと現在のフレームとを、これら画像がフーリエ変換前に所定のファクタによりダウンサンプリングされた、粗い解像度レベルで表す。このダウンサンプリングは、図５に示す、水平方向および垂直方向両方で各画像をデシメーションするデシメーションモジュール５０２を介して達成される。一実施形態においては、画像のデシメーションは多相を分離可能なフィルタ法を利用して達成される。結果生じるデシメーションされた画像フレームが、垂直方向および水平方向両方で各々高速フーリエ変換（ＦＦＴ）される。２ＤのＦＦＴは、２つの連続する１ＤのＦＦＴを行うことで達成され、デシメーションされた画像は典型的に、列方向のＦＦＴをモジュール５０６により受ける前に行方向のＦＦＴをモジュール５０４により受ける。参照フレームおよび現在のフレームに対応するＦＦＴ結果は各々２Ｄの複素数データアレイで表され、一時的なデータ記憶用にメモリ５０８に配置される。続いて、２Ｄ位相差アレイが、２つの複素数データアレイから生成される。次に、位相差アレイのエレメントについての指数（element-wise exponential）をとって、１Ｄの列ＩＦＦＴ５１４の後に１Ｄ行ＩＦＦＴ５１２により２Ｄ逆高速フーリエ変換（ＩＦＦＴ）された行列を生成する。これら列５１４および行５１２のＩＦＦＴ中に、メモリブロック５１６を一時的なデータ記憶用に利用してもよい。このような２ＤのＩＦＦＴから、２Ｄデータアレイでも表される正規化相関面を次に出力５１８に生成して、最大計算モジュール５２０に供給する。最大計算モジュール５２０は、相関面アレイの最大の値および位置、且つ最大値に隣接する値の幾らかを決定することで動作する。最後に、サブピクセル補間モジュール５２２を利用して、最大値およびそれに隣接する値を補間して、グローバル並進推定値を生成する。２ＤのＦＦＴの詳細および位相差計算を以下で説明する。
【００５９】
図５の各フーリエ変換の出力は複素数の２Ｄアレイである。結果生じる動き推定の精度には有限精度計算による数量化効果が直接関与するので、各複素数の浮動小数点を記憶するのに必要となりうるビット数は注意深く考慮されねばならない。一実施形態においては、１９２ビットの浮動小数点ＦＦＴをモジュール５０４で利用して、行ＦＦＴを実装し、１２８ビットの浮動小数点ＦＦＴをモジュール５０６で利用して、列ＦＦＴを実装する。図６は、例示的な２５６×２５６ビットの２ＤのＦＦＴ設計６００を示す。設計６００の各工程で利用される例示的なビット精度も提供される。行ＦＦＴ実装は実質的に列ＦＦＴと同一でありえるが、１ＤのＦＦＴにより１方向に変換された後の入力フレームは転置され（９０度回転される）、同様に、同じ１ＤのＦＦＴを利用して第２の方向に変換される。２ＤのＦＦＴも、２つの実質的に同一な１ＤのＩＦＦＴを利用して同様に実装されうる。
【００６０】
図７は、図５の位相差計算モジュール５１０の例示的ブロック図７００である。２つの複素数データアレイ内の対応するエレメントから得られた複素数の値の対を、例示的な位相差計算モジュール７００へ入力７０２および７１０として供給する。図７に示す一実施形態においては、入力７０２および７１０がそれぞれ、フーリエ領域のデシメーションされた参照画像フレームおよび現在の画像フレームを表す二つの複素数データアレイから取られる。入力７０２および７１０の実数部分および虚数部分を分離して分ける。複素数入力７０２および７１０と関連する位相を、入力信号の虚数部分および複素数部分の商から、アークタンルックアップテーブル７０６および７１４それぞれを用いて、処理７０４および７１２で得られた商の大きさにそれぞれ基づいて、決定する。直交補正モジュール７０８および７１６でリファインされた後、二相は加算器７１８で互いから減算され、位相差７１８が生成される。同様に、この処理を、現在のＦＦＴデータアレイおよび参照ＦＦＴデータアレイの対応するエレメントの全ての対に対して行って、位相差の２Ｄアレイを生成してよい。
【００６１】
図５‐７の例示的実装例によるグローバル動き推定を行った後で、アフィン動き値をグローバル動き補償の適切なピクセルに対して割り当ててよい。フレームの前景に属するピクセルは、例えばセグメンテーションマスクなどの利用により、背景に属するものと区別される必要がある。背景に属するピクセルは、前述の６つのアフィンパラメータで概算される単一のグローバル動きを受けることが仮定されてよい。これに対して前景のピクセルは、同じグローバル動きでは動かない。このようなピクセルに対しては、適切なローカル動きベクトルまたは補正グローバル動きベクトルを決定してよい。
【００６２】
図８は、セグメンテーションマスクの最初の版を計算する例示的方法を示す。例示により、グローバル補償フレーム８０２および本来のフレーム８０４がシステム８００への入力として供給される。そして、ピクセル毎の、２つの入力フレーム間の絶対値の差を、加算器処理８０５および絶対値処理８０６で計算する。結果生じるピクセル毎の絶対値の差のアレイを、合算・比較モジュール８０８に供給して、絶対値の差をピクセルブロック毎に加算して、閾値８０７と比較する。絶対値のブロック合算値が閾値より大きい場合にピクセルブロック全体がフレームの前景に属すものとして分類されうる。さもなくば、ブロックはフレームの背景に属すものとして分類されうる。モジュール８０８はフレーム内に各ピクセルブロックの単一のビットバイナリ出力を生成して、この情報を提供し、これら出力の集合体が、潜在的にフレーム内の前景ブロックと背景ブロックとを区別するセグメンテーションマップ８０９を形成する。ノイズおよび隔離動き領域の存在により、セグメンテーションマップ８０９は誤って分類されたブロック領域を含みうる。故に、セグメンテーションマップ８０９は、拡張（dilation）８１２の後の閉路（closing）８１０などのバイナリ形態素処理を受け、より同質な最初のセグメンテーションマスク８１４を生成する。
【００６３】
図９は、図８の処理から得た最初のセグメンテーションマスク９０２に基づき最終のセグメンテーションマスクを計算する例示的方法９００を示す。セグメンテーションマスク９０２は、適切な補償法を画像フレームの個々のピクセルに適用しうるマップを提供する。システム９００は、最初のセグメンテーションマスク９０２から様々な接続されたオブジェクトを検出することで動作し、ここからピクセルが再分類されて特定の補正処置を受けてよい。一実施形態においては、接続された部材分析９０４をモジュール９０４で利用して、接続されたオブジェクトを特定する。特に、二つのオブジェクトを幾らかのピクセルのみで分離した場合、小さなオブジェクトを大きなオブジェクトの一部としてみることができる。図９の実施形態においては、２×２の解像度ブロックサイズが接続された部材分析で利用されて、オブジェクト接続特定のコスト全体を低減する。しかし、他の解像度サイズも可能である（例えば３×３、４×４）。接続部材分析の最後には、モジュール９０４は最初のセグメンテーションマスク９０２から全ての接続オブジェクトを特定するラベルリストを出力するが、ラベルリストにおいて各オブジェクトはフレーム内の該オブジェクトの位置を特定するインデックスに対応している。インデックスおよびラベルのリストは、オブジェクトごとのエッジブロックの数を計算するモジュール９０６に供給される。オブジェクト内のブロック数を所定の閾値９１２と比較することで、オブジェクトが小さいと判断される場合、オブジェクトのブロックを、画像フレームの背景に属すものとして分類する。これら背景ブロックは、上述のグローバルアフィン動き推定パラメータを利用して補償されてよい。しかし、１つのオブジェクトに関するブロック数が多い場合、これらブロックは画像フレームの前景に属すものとして分類されることがあり、グローバル動き補償法よりも正確でありうるローカル動き補正法を施される。
【００６４】
本発明の別の側面によると、入力フレームについてオブジェクトエッジマップのロバストな生成手順を提供して、該フレーム内で大きなエッジ強さ（significant edge strength）を有するオブジェクトを特定することができる。オブジェクトに関するエッジ強さの欠如は、該オブジェクトとその直ぐ周辺との間にコントラストが弱いことを示す。故に、該オブジェクトがたとえセグメンテーションマスクが示すよう入力フレームの前景に存在したとしても、該オブジェクトのピクセルに対してはグローバル動き補償を適用してよい。これは、より正確な補償法を、エッジ強さが小さいオブジェクトに適用することで生じる結果が、グローバル動き補償法を適用することで生じるものと同一である可能性が高く、且つ、グローバル動き補償法が二つの方法のよりコスト効率のよい可能性が高いからである。故に、計算効率のためには、ロバストなオブジェクトエッジマップ生成法を提供して、エッジが強いオブジェクトを検知してよい。この方法によると、任意の画像フレーム内のピクセルブロック全てについて、２つの固有値が生成され、該固有値はそれぞれブロックの水平方向の計測値および垂直方向の計測値に対応する。例えば、ＳＤＴＶ解像度標準を２×２のブロックサイズについて利用すると仮定すると、各ＳＤＴＶ画像フレームについて、全部で３６０個のブロックが水平方向に、且つ２８８個のブロックが垂直方向に生成されることになる。全ての固有値の最大値（ｅｖ＿ｍａｘ）をその後決定する。固有値が、最大値により計測される所定の範囲にあるこれらブロックは、例えば、範囲「０．８＊ｅｖ＿ｍａｘ，ｅｖ＊ｍａｘ」内にあり、大きなエッジ強さを有するものとして特定されてよく、故に、グローバル動き補正法よりもより厳密な動き補償を要する可能性が高い。これらブロックは値１を割り当てられ、値０を割り当てられうる残りのブロックから区別されてよい。この結果、１のブロックが１画像フレーム内の大きなエッジ強さを有するオブジェクトを明示するようなオブジェクトエッジマップが生成される。さらには、１および０のブロックの利用により、このオブジェクトエッジマップ自身がかなりノイズに対して強くなる。本実施形態では２×２のブロックサイズを利用したが、任意の他のブロックサイズを利用することもできる（例えば４×４）。
【００６５】
図１０は、入力フレーム１００２内の各ピクセルブロックに関する固有値の対を計算する処理１０００を示す。各固有値は、そのブロックの垂直方向および水平方向の計測値に対応しており、ルマ（luma）または強度領域で表されるそのブロックのピクセル値から計算される。５×５のブロックサイズの利用を仮定すると、フレーム１００２のピクセル強度は、先ず５×５のウィンドウサイズを有する２次元ガウスフィルタ１００４でフィルタにかけられる。ガウスフィルタ１００４にかける主な目的は、ノイズを平滑化して、各ブロック内の小さなオブジェクトを隔離して、それらを固有値算出の候補から除くことにある。これは、大きなエッジ強さを有する大きなオブジェクトのみに対してこのより厳密な補償処置を行うほうがコスト効率がよいからである。ブロックサイズが５×５であるガウスフィルタについては、各々がサイズ７２０×８ビットである４つのラインバッファを利用してこのようなフィルタサイズをサポートしてよい。これらラインバッファはＳＲＡＭ内に実装できる。別の実施形態においては、ガウスフィルタ１００４は、シリコン領域の利用を最小限にとどめるべく、より小さなブロックサイズ（例えば３×３）を利用してもよい。この結果、ラインバッファハードウェアのサイズが、５×５のブロックサイズに比較して、５０％低減できる。
【００６６】
ガウスフィルタ１００４でフィルタされた２Ｄの強度値アレイ１００５は、アレイ１００５の強度値の勾配を推定すべく、勾配処理モジュール１００６に供給される。一実施形態において、勾配は、アレイ１００５の隣接する強度値間の一次差（first order difference）を求めることに基づいて、水平方向および垂直方向両方において、計算される。この一次差計算は、ブロック毎に行われてよい。例えば、２×２のブロックのデータアレイ１００５を例にとって考えるが、みて分かるように、この例では、ブロックがＡ、Ｂ、Ｄ、およびＥという強度値からなり、強度ＣおよびＦが右側で隣接しており、ＧおよびＨが底側で隣接している。
【数３】
ブロックの水平方向および垂直方向の一次差の勾配は以下のように計算される。
【数４】
同じ勾配計算を、入力フレーム１００２の２Ｄデータアレイ１００５の２×２ブロック全てに適用してよいので、水平方向の勾配値アレイ１００８および垂直方向の勾配値アレイ１０１０の生成は、両方ともスクエアリング回路１０１２に供給される。これら入力勾配アレイに基づいて、スクエアリング回路１０１２は、以下のアレイ出力１０１４、１０１５、１０１６、および１０１８を生成する。
【数５】
ここで、＊はドット積演算を示す。式２の３つの出力各々も、同じサイズを勾配値アレイ１００８および１０１０として有する２Ｄデータアレイである。これら３つの出力アレイ１０１４、１０１６、および１０１８はその後２Ｄ平均値計算モジュール１０２０に送られさらなる処理を受ける。
【００６７】
２次元平均値計算モジュール１０２０は、ブロック毎に、各入力アレイ１０１４、１０１６、および１０１８の２乗勾配値を平均化して、アレイのブロック毎にスカラー平均値を生成することで動作する。例えば、２×２ブロックサイズを利用する場合、各ブロックの４つの勾配値が平均化されて、単一のスカラー値を生じる。この結果、数６で表される平均２乗勾配値の３つの２Ｄアレイ１０２２、１０２４、および１０２６がモジュール１０２０から生成される。
【数６】
各２Ｄアレイは、画像全体の全てのスカラー値を含むよう適合される。これら３つの平均２乗勾配アレイは、その後固有値計算モジュール１０３０へ供給されて、そこで２つｎ固有値を、入力フレーム１００２の各ピクセルブロックに、数６のアレイに基づいて生成する。
【００６８】
図１１は、図１０の固有値計算モジュール１０３０の例示的実装１１００を示す。示されているように、数７のアレイは数８のアレイから加算器１１０２で減算され、差行列Ｒを生成する。この差行列は、その後、処理１１０４でエレメントごとに２乗されて、数９のアレイがエレメントごとの２乗処理１１０８および４つの乗算のファクタを受けた後で、数９のアレイに加算器１１０６で加算される。
【数７】
【数８】
【数９】
結果生じる合計行列１１０６は、またも処理１１１０でエレメントごとに２乗され、行列Ｓが生成される。そして固有値アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>は、以下のように計算されうる。
【数１０】
ここで、アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>の各エレメントは、図１０に示す入力画像フレーム１００２のピクセルブロックそれぞれに相関する固有値である。これら固有値を利用して、大きなエッジ強さを有するこれらピクセルを特定するオブジェクトエッジマップの決定に利用されてよく、故に、ローカル動き推定の候補である。
【００６９】
図１０および１１に示す実施形態においては、２×２のブロックサイズを固有値の計算に利用した。しかし、これより大きなブロックサイズを利用してハードウェア利用を低減することもできる。さらには、より小さなブロックサイズを利用することで推定の精度を上げることもできる。さらには、各固有値が正、小数点、および０から１の間で変化することから、８ビット精度を利用して固有値を表すことで、数値の観点からは十分な精度が得られることがある。しかし、他の精度値を利用することもできる。
【００７０】
まとめると、セグメンテーションマスク計算処理を、図８および９に関して記載した。結果生じるセグメンテーションマスクを利用して、画像フレームの前景および背景に属すオブジェクトを特定することができる。加えて、図１０および１１に関して、オブジェクトエッジマップ生成処理を上述した。これにより得られるオブジェクトエッジマップを利用すると、大きなエッジ強さを有するフレームのオブジェクトを隔離することができる。セグメンテーションマスクおよびオブジェクトエッジマップの組み合わせにより、動き推定精度および効率性両方を最大化するような、画像フレームのサブ領域への適用に適した補正技術を決定することができる。概して、１フレーム内の各ピクセルブロックは、該ブロックの前景／背景分類およびそれらが示すエッジ強さに基づいて、３つの種類の動き補償のいずれかを経る。これら３つの種類とは、グローバル動き補償、補正グローバル動き補償、およびローカル動き補償である。前景の各ブロックは、図９で生成されたもののようなセグメンテーションマスクにより特定され、画像フレームのオブジェクトエッジマップが決定するローカル動き補償または補正グローバル動き補償を施される。フレームの背景のブロックも、セグメンテーションマスクによる特定が可能であり、図４‐７の処理で得られたグローバルアフィンパラメータを利用してグローバル動き補償を施される。この補償法種別選択処理およびローカルおよび補正グローバル動き補償法を以下で詳述する。
【００７１】
図１２は、２つのピクセルブロック間の動きを捉えるローカル動きベクトルの導出に利用される技術の例示的実施形態を示しており、ここで１つのブロックは参照フレーム内にあり、他のブロックは現在のフレーム内にある。ブロック対は、それらの隣接するブロックの動きに対する、自身の動きに基づいて検出されうる。例えば、動き検出は、相関するブロック対間の動きが、隣接するブロック間の均一なグローバル動きの方向とは異なる、という観察に基づいて行われてよい。図１２に示された実施形態によると、３×３のブロック配置１２００の中心のブロック１２０５を、ローカル動きベクトルを推定する現在のフレームの対象ブロックとして選択する。現在のフレーム処理の時間ｔにおいては、ブロック１２０５は４つの隣接するブロック１２０１‐１２０９を、それぞれブロック１２０５からみた北、東、南、および西に有する。さらに、現在のフレームは、現在のフレームの前の時間ｔ‐１において処理される、時間的に隣接する参照フレームを有する。この参照フレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレームのブロック１２０５の動きベクトルは、その後、前のフレームのブロック１２０１‐１２０４について時間ｔ‐１に計算されたグローバル動きベクトルから概算することができる、というのも、中心のブロックの動きは、隣接するブロックのものと僅かにしかずれていないと仮定できるからである。時間ｔ＋１における後続のフレームでは、各ブロック１２０６‐１２０９の動きベクトルを、時間ｔに計算されたその北、南、西、および東に隣接するブロックの動きから推定する。故に、フレームシーケンスの動きの値は、隣接する値に基づいて、画像シーケンスのフレームがそれぞれ時間的に進むにつれて、連続的にリファイン（refine）されていくことになる。
【００７２】
図１２も、本発明の別の側面による補正グローバル動き補償法を示すのに利用される。この補正グローバル動き補償法は、グローバル動き補償が、ブロックの動きを推定するには十分な精度を持たない場合に利用される可能性が高い。故に、グローバルアフィンパラメータに小さな補正を行って、生じる精度を向上させねばならない。また図１２の実施形態を参照すると、３×３のブロック配置１２００の中心のブロック１２０５を、ブロック１２０５からそれぞれ北、東、南、および西に位置する４つの隣接するブロック１２０１‐１２０９を有する現在のフレーム上の対象ブロックとして選択する。補正グローバル動き補償を決定した現在のフレームのグローバル動き補償版を決定しうる。このグローバル動き補償された現在のフレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレーム内のブロック１２０５の動きベクトルは、その後、対応するグローバル動き補償されたフレームのブロック１２０１‐１２０４のグローバル動きベクトルから推定されてよい。特に、ブロック１２０５は、グローバル動き補償フレーム上の隣り合うブロック１２０１‐１２０４各々について計算された単一の均一な動きベクトルから全ての方向の増加量により並進または動きシフトされる。その結果生じる最も整合するベクトルが、ブロック１２０５の最終動きベクトルになる。この増加分は、ＸｃおよびＹｃという補正パラメータ対で表されてよく、ここではＸｃが水平グローバル方向のスカラーシフトを表し、Ｙｃが垂直グローバル方向のスカラーシフトを表す。
【００７３】
ある実施形態においては、ローカル動き推定法は、補正グローバル動き補償法と類似しているが、前者では、ブロック補償量が現在のフレームと参照フレームとの比較に基づき決定されるのに比して、後者ではこの量を現在のフレームと、現在のフレームのグローバル動き補償された版との比較に基づいて決定されることが異なる。幾らかの実装例においては、補償量は、対象ブロックから所定の範囲内（例えば、対象ブロックを囲む３ピクセルブロックの範囲内）にあるピクセルの動きベクトルに基づいて決定される。
【００７４】
ローカル動きベクトルおよび補正グローバル動きベクトルの計算に対して隣接検索アルゴリズムを利用することの決定的な利点は、対象ブロックについて限られた数の隣接ブロックのみを検索すればいい、ということにある。加えて、これら隣接ブロックを利用して導出およびリファインされる動き推定値は、既に前のフレームで計算済みである。故に、これら技法は、動き推定の効率を大幅に高める。
【００７５】
図１３は、現在のフレームの各ブロックについてどの動き補償法を利用すべきかを選択する工程を示す。例えば、マルチプレクサ１３１０は先ず、グローバル動き補償法１３１２と、よりリファインされた補償法１３１４との間で選択を行う。この決定は、フレームの前景ブロックを背景ブロックから区別するセグメンテーションマスク１３１８の利用に基づいて行われる。グローバル動き補償１３１２は背景ブロックのみに適用される。任意のブロックがより精度の高い補正法を必要とする場合、マルチプレクサ１３０２は、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６、いずれをそのブロックに適用するかの決定を行う。この決定は、そのブロックを補償するのに、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６のいずれを利用するとエラーがより小さくなるか、を考えて行われる。故に、最終的なセグメンテーションマスク１３１８は、対象ブロック各々について適切な動き補償法を選択することができるので、グローバル、ローカル、または補正グローバル動きベクトル一式を各ブロックについて計算することができる。
【００７６】
図１４に示す本発明の別の側面によると、後処理手順１４００を、図１３の回路から取得したローカル動きベクトル１４１８をリファインするのに用いる。一般的なローカル動きベクトルは、ノイズおよびアパーチャー効果を受けやすい。故に、メジアンフィルタ１４０２および１４０４一式が、ローカルベクトル１４１８のｘ−ベクトル方向およびｙ−ベクトル方向両方に適用されて、ローカル補正に関する悪影響をいずれも最小限に抑える。メジアンフィルタの動作の前提は、隔離されたローカルブロックに隣接する全てのブロックが、隔離されたブロックの動きとは大幅に異なる均一な方向に動くとすると、隔離されたブロックの動きベクトルは、大部分の動きと実質的に適合するよう補正されねばならない、というものである。入力セグメンテーションマスク１４０６をメジアンフィルタ１４０２および１４０４とともに利用して、これら隔離されたブロックを特定する。メジアンフィルタの後に、ｘ‐方向およびｙ‐方向両方のリファインされたローカル動きベクトル１４０８‐１４１０は、ｘ‐方向およびｙ‐方向両方に、エッジ適合またはガウスフィルタ１４１２および１４１４一式によりさらなる処理を受ける。ガウスフィルタ１４１２および１４１４は、それぞれｘ−方向およびｙ−方向にローカル動きベクトル１４０８および１４１０を平滑化することで動作するが、ここで各ベクトル成分に適用される平滑化量は、図１０および１１で上述した手順を利用した入力オブジェクトエッジマップ１４１６により決定される。
【００７７】
本発明のまた別の側面においては、動き補償補間法を利用して、一対の入力参照フレームおよび現在のフレーム間の１以上の中間フレームを推定する。先ず、一対のフレーム間のオブジェクトの動きを、一式の動きベクトルによりブロック毎に特徴づける。動きベクトルはその後、１以上の中間フレームを補間するのに利用され、それらが順次フレーム間の動き軌跡を捉えるようにする。より具体的には、図１５に示すように、モジュール１５０２を利用して、グローバル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定のグローバルアフィンパラメータ１５０４および参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて計算される。モジュール１５１０を利用して、ローカル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定の入力ローカル動きベクトルおよび参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて達成される。セグメンテーションマスク１５１４を利用して、１フレームの各領域が、補間中に、グローバルまたはローカルに動き補償されるべきかを決定してよい。
【００７８】
以上示した実施形態は、例示的であり、本発明の範囲を制限するものではない。開示した通信システムの様々なブロックで実装できるとして記載した式は、ハードウェア回路および／またはプロセッサ上で動作するソフトウェア命令により計算することができる。式の計算は、式内の項や演算そのものではなくてもよい。例えば、式計算は、式計算の結果が略等しくなるような、他の項および演算を利用して行われてもよい。故に、通信システムの様々なブロックは、直接これら式を計算することなしに、式に基づいた計算を行うことで行われてもよい。
【００７９】
図１６Ａ−１６Ｅを参照すると、本発明の様々な例示的実装例が示されている。
【００８０】
図１６Ａを参照すると、本発明は、高精細テレビ（ＨＤＴＶ）１６２０に実装しうる。本発明は、ＨＤＴＶ１６２０の、一般的に図１６Ａでは１６２２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６２９、および／または大容量データ記憶装置１６２７を実装してよい。ＨＤＴＶ１６２０はＨＤＴＶ入力信号を有線形式あるいは無線形式で受信して、ディスプレイ１６２６用にＨＤＴＶ出力信号を生成する。幾らかの実施例においては、ＨＤＴＶ１６２０の信号処理回路および／または制御回路１６２２および／または他の回路（不図示）はデータ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはＨＤＴＶが必要としうるその他の種類の処理を行いうる。
【００８１】
ＨＤＴＶ１６２０は、データを不揮発な形で記憶しうる大容量データ記憶装置１６２７と通信しうるが、ここで大容量データ記憶装置１６２７は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。ＨＤＴＶ１６２０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６２８に接続されうる。ＨＤＴＶ１６２０はＷＬＡＮインタフェース１６２９を介したＷＬＡＮへの接続を支援しうる。
【００８２】
図１６Ｂを参照すると、本発明は、車両１６００のデジタル娯楽システム１６０４に実装することができ、これは、ＷＬＡＮインタフェース１６１６および／または大容量データ記憶装置１６１０を含みうる。
【００８３】
デジタル娯楽システム１６０４は、データを不揮発な形で記憶しうる大容量データ記憶装置１６１０と通信しうる。大容量データ記憶装置１６１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。デジタル娯楽システム１６０４は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６１４に接続されうる。デジタル娯楽システム１６０４はＷＬＡＮインタフェース１６16を介したＷＬＡＮへの接続を支援しうる。
【００８４】
図１６Ｃを参照すると、本発明は、携帯式アンテナ１６５１を含みうる携帯電話機１６５０に実装しうる。本発明は、携帯電話機１６５０の、一般的に図１６Ｃでは１６５２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６６８、および／または大容量データ記憶装置１６６４を実装してよい。幾らかの実施例においては、携帯電話機１６５０は、マイクロフォン１６５６、スピーカおよび／または音声出力ジャックなどの音声出力１６５８、ディスプレイ１６６０、および／またはキーパッド、ポインティングデバイス、および／またはボイス駆動および／または他の入力デバイスなどの入力デバイス１６６２を含みうる。携帯電話機１６５０内の信号処理および／または制御回路１６５２および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他の携帯電話機能を行いうる。
【００８５】
携帯電話機１６５０は、データを不揮発な形で記憶する大容量データ記憶装置１６６４と通信しうるが、大容量データ記憶装置１６６４は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。携帯電話機１６５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６６６に接続されうる。携帯電話機１６５０はＷＬＡＮインタフェース１６６８を介したＷＬＡＮへの接続を支援しうる。
【００８６】
図１６Ｄを参照すると、本発明はセットトップボックス１６８０に実装しうる。本発明は、セットトップボックス１６８０の、一般的に図１６Ｄでは１６８４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６９６、および／または大容量データ記憶装置１６９０を実装してよい。セットトップボックス１６８０はブロードバンドソースなどのソースから信号を受け取り、テレビおよび／またはモニタおよび／または他のビデオおよび／または音声出力デバイスなどのディスプレイ１６８８に適した、標準音声／映像信号および／または高精細音声／映像信号を出力してよい。セットトップボックス１６８０内の信号処理および／または制御回路１６８４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のセットトップボックス機能を行いうる。
【００８７】
セットトップボックス１６８０は、データを不揮発な形で記憶する大容量データ記憶装置１６９０と通信しうる。大容量データ記憶装置１６９０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。セットトップボックス１６８０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６９４に接続されうる。セットトップボックス１６８０はＷＬＡＮインタフェース１６９６を介したＷＬＡＮへの接続を支援しうる。
【００８８】
図１６Ｅを参照すると、本発明は、メディアプレーヤ１７００に実装しうる。本発明は、メディアプレーヤ１７００の、一般的に図１６Ｅでは１７０４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１７１６、および／または大容量データ記憶装置１７１０を実装してよい。幾らかの実施例においては、メディアプレーヤ１７００は、ディスプレイ１７０７、および／またはキーパッド、タッチパッドなどのユーザ入力１７０８を含む。幾らかの実施例においては、メディアプレーヤ１７００は、典型的にメニュー、ドロップダウンメニュー、アイコンおよび／またはポイントアンドクリックインタフェースをディスプレイ１７０７および／またはユーザ入力１７０８を介して利用するグラフィカルユーザインタフェース（ＧＵＩ）を利用しうる。メディアプレーヤ１７００はさらに、スピーカおよび／または音声出力ジャックなどの音声出力１７０９を含む。メディアプレーヤ１７００の信号処理および／または制御回路１７０４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のメディアプレーヤ機能を行いうる。
【００８９】
メディアプレーヤ１７００は、圧縮された音声および／または映像コンテンツなどのデータを不揮発な形で記憶する大容量データ記憶装置１７１０と連通しうる。幾らかの実施形態においては、圧縮された音声ファイルは、ＭＰ３形式あるいは他の適切な圧縮された音声および／または映像形式に準拠したファイルを含む。大容量データ記憶装置１７１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。メディアプレーヤ１７００は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１７１４に接続されうる。メディアプレーヤ１７００はＷＬＡＮインタフェース１７１６を介したＷＬＡＮへの接続を支援しうる。これら記載されたものに加えて他の実施例も考えられる。
【００９０】
入力フレームシーケンスから動き補償されたフレームを効率よく且つ正確に補間する様々な技法を含む、動き補償画像レートコンバータに係るシステムおよび方法を記載してきた。当業者であれば、本発明が記載された実施形態以外の方法によっても実施できることを理解するであろうし、記載された実施形態は例示を目的としたものであって、それに限定することは意図していない。本発明は以下に記載する請求項によってのみ限定される。
【技術分野】
【０００１】
本願は、米国連邦法典３５セクション１１９（ｅ）に基づき２００６年６月２７日出願の米国仮出願番号第６０／８１７，０６１の恩恵を享受しており、この出願の開示の全体をここに参照として組み込む。
【背景技術】
【０００２】
典型的な映画は、２４Ｈｚ、２５Ｈｚ、または３０Ｈｚで記録される。通常のビデオカメラの画像レートは、５０Ｈｚおよび６０Ｈｚである。これらに対して、市販のテレビディスプレイは、１２０Ｈｚまでの画像レートを有し、順次走査またはインターレース走査いずれかを利用する。故に、ハイエンドのＴＶディスプレイを用いて放送ビデオをインタフェースしようとすると、例えば画像レートコンバータなどを用いて放送ビデオの本来のシーケンスをアップコンバートする必要がある。画像レートコンバータの動作は典型的に、低周波数のソースであるデバイスからのフレームシーケンスが高周波のあて先ディスプレイに登録される前の時間インスタンスで画像フレームを補間する、というものである。
【０００３】
単純な画像レートコンバータにおいては、画像はしばしば、次の画像がソースであるデバイスから届くまでの間、あて先のディスプレイにおいて繰り返されるので、動きが生じると、ぼけ（blur）および激しい振動（judder）を生じる場合がしばしばある。動き推定回路および動き補償回路を画像レートコンバータで利用すると、これら望ましくない効果を低減し、動画シーケンスを高性能に変換することができる。動き補償は、補間された画像のエレメントがどこにあるかを、該エレメントの動きの方向および速度に基づいて推定することで行われる。その後、方向および速度の値は、動きベクトルとして表され、エレメントを新たに補間したフレームの正しい位置に「動かす」のに利用される。この手法を適切に適用することで、動きを伴う任意の画像シーケンスへの影響は一目瞭然であり、生成画像はアップコンバージョン前の本来のシーケンスと見分けがつかないまでになる。
【０００４】
故に、動き補償された画像レート変換に伴う計算コストを最小限に抑え、その推定精度を最大化する方法およびシステムを決定することが望ましい。例えば、様々な動き補償法を、動き補償効率性と、結果生じる補間されたフレームの精度との間の平衡を保つべく、ソースであるフレームのシーケンス内の異なる領域に対して設計および適用してよい。さらに、この効率性と精度との間の平衡を達成すべく動き補償法自身を個々に最適化してよい。加えて、動き補償画像レートコンバータのシステムアーキテクチャ全体を、該アーキテクチャを様々なディスプレイデバイスに準拠させることで、汎用性を高めるよう設計することができる。
【発明の開示】
【０００５】
本発明は、入力信号の時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、これら隣接するフレーム間に補間、および動き補償されたフレームを少なくとも１枚生成するシステムおよび方法に関する。
【０００６】
本発明の一側面によると、動き補償画像レートコンバータ（ＭＣＰＲＣ）を提供して、入力信号の連続フレーム間のオブジェクト動きを推定する。先ず、信号をＭＣＰＲＣの処理モジュールで処理して、フレームの重要な領域を隔離する。そして、ＭＣＰＲＣの動き補償フレームレートコンバータ（ＭＣＦＲＣ）を利用して、アフィン動きパラメータ一式を利用して任意の二つの連続フレーム間のグローバル動きを推定する。さらに、ＭＣＦＲＣは、動きベクトル一式を利用してフレーム間のローカル動きを推定し、ここで、各動きベクトルはローカル動きベクトルまたは補正グローバル動きベクトルのいずれかである。
【０００７】
一実施形態においては、ＭＣＦＲＣは、２段処理によりアフィン動きパラメータ一式を生成するグローバルアフィン動き推定エンジンを含む。特に、グローバル並進推定・アフィン予測モジュールを提供して、パラメータをアフィンパラメータリファインモジュールでリファインする前に、粗いレベルのパラメータ推定を生成してよい。
【０００８】
一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、参照フレームの対象領域に隣接する隣接領域を特定することで、現在のフレームの対象領域について動きベクトルを生成する。対象領域の動きベクトルは、その後、参照フレームについて計算した隣接領域の動きベクトルに基づいて計算されうる。結果生じる動きベクトルは、ローカル動きベクトルである。
【０００９】
一実施形態においては、ＭＣＦＲＣのローカル動き補正モジュールを利用して、対象領域に隣接する隣接領域について計算したアフィン動きパラメータに基づいて、現在のフレームの対象領域について動きベクトルを生成する。結果生じる動きベクトルは、補正グローバル動きベクトルである。
【００１０】
一実施形態においては、エッジマスクとセグメンテーションマスクとの組み合わせを利用して、現在のフレームの前景領域を決定して、ローカル動きベクトルまたは補正グローバル動きベクトルのいずれかを利用して動き補償を行う。これら２つのベクトル間の選択は、二つのベクトルの各々を対象領域に適用した結果生成される推定エラーに基づいて行われてよい。
【００１１】
本発明の別の側面においては、グローバルアフィン動き推定エンジンのグローバル並進・推定モジュールを提供して、現在のフレームと参照フレームとの間のグローバル並進動きを推定する。このモジュールは、フレーム間のグローバル並進動きを粗く推定するアフィンパラメータ一式を生成する位相相関技術の利用により、動作する。位相相関技術では、先ず、特定のデシメーションファクタにより、現在のフレームおよび参照フレームそれぞれをディメーションする。結果生じるデシメーションされた現在のフレームおよび参照フレームは、その後フーリエ変換される。変換された現在のフレームに対応する位相は、その後、変換された参照フレームに対応する位相から減算されて、位相差アレイが生成される。この位相差アレイの指数をその後、逆フーリエ変換して、相関面を生成する。相関面の最大値および相関面における最大値の位置を利用して、グローバル並進動きに関するアフィンパラメータを計算してよい。
【００１２】
この粗いレベルの推定から生成されるアフィンパラメータは、さらに、グローバルアフィン動き推定エンジンのアフィンパラメータリファインモジュールでリファインされる。このモジュールは、先ず粗いレベルの推定から得られたアフィンパラメータを利用して参照フレームを更新することに基づくリファイン技術を利用する。その後、更新された参照フレームと現在のフレームとの間の差を求めて、これをアフィンパラメータリファインに利用して、更新された参照フレームと現在のフレームとの間の差を最小限に抑える。
【００１３】
本発明の別の側面によると、ＭＣＦＲＣのローカル動き補正モジュールが提供され、現在のフレームの対象領域の動きベクトルを計算する。このモジュールにおいて行われる計算は、グローバルアフィン動き推定モジュールから求めたグローバルアフィン動きパラメータ一式に基づく。特に、アフィンパラメータを利用してセグメンテーションマスクを生成することで、現在のフレームの前景領域および背景領域を特定する。そして、オブジェクトエッジ強さマップを生成して、現在のフレーム上の大きなエッジ強さを有する領域を特定する。続いて、対象領域に関する前景領域、背景領域、および大きなエッジ強さを有する領域に基づいて現在のフレームの対象領域について適切な動き推定法を選択する。
【００１４】
一実施形態においては、動き推定法は、補正グローバル動き推定法およびローカル動き推定法のいずれかである。
【００１５】
一実施形態においては、セグメンテーションマスクは、先ず、アフィンパラメータを利用して参照フレームを更新することで生成される。そして、更新された参照フレームと現在のフレームとの間の差異フレームを求める。差異フレームの各領域を、その後、閾値と比較して、この領域を前景領域および背景領域のいずれかに分類する。
【００１６】
一実施形態においては、このセグメンテーションマスクは、さらに第２処理でリファインされて、最終セグメンテーションマスクが生成される。この処理は、先ず、少なくとも２つの接続された領域を有する最初のセグメンテーションマスク上のオブジェクトを決定することを含む。その後、各特定されたオブジェクトが占める面積を数量化する。続いて、各数量化された面積を閾値と比較して、オブジェクトの接続された領域各々を、前景領域および背景領域のいずれかに再分類する。
【００１７】
一実施形態においては、先ず、現在のフレームの各領域の垂直方向および水平方向に相関する１以上の固有値を生成することで、オブジェクトエッジ強さマップを生成する。固有値の最大値を次に決定する。最大値が画定する範囲に実質的に在る固有値を有する各領域を、重要なエッジ強さを有するものとして分類する。
【００１８】
一実施形態においては、メジアンフィルタ、エッジフィルタ、およびガウスフィルタのうち少なくとも１つを、対象領域について生成された動きベクトルに適用する。
【００１９】
一実施形態においては、各々グローバルアフィン動きベクトル、ローカル動きベクトル、または補正グローバル動きベクトルである、ＭＣＦＲＣで生成された動きベクトルを利用して、現在のフレームと参照フレームとの間に動き補償されたフレームを補間する。
【００２０】
本発明の別の側面によると、ＭＣＰＲＣは、ＭＣＦＲＣの出力信号を処理する後処理モジュールを含み、ここで出力信号は、入力信号の本来のフレームレートより高いフレームレートを有する。
【００２１】
一実施形態においては、後処理モジュールは、処理モジュールとＭＣＦＲＣとの間に配置され、処理モジュールからの信号をさらに処理する。加えて、後処理モジュールの出力信号を、入力信号の本来のフレームレートと略等しいフレームレートを有するよう適合させる。
【００２２】
一実施形態においては、処理モジュールは、ノイズ低減およびデインターレースの少なくともいずれかを行う回路を有する。後処理モジュールは、フレーム画像スケーリング、強調および色管理の少なくともいずれかを行う回路を有する。
【図面の簡単な説明】
【００２３】
【図１】本発明による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路の一例示的実施形態を示す。
【００２４】
【図２】本発明によるＭＣＰＲＣの別の例示的実施形態を示す。
【００２５】
【図３】図１および２の動き補償フレームレートコンバータ（ＭＣＦＲＣ）モジュールの例示的ブロック図を示す。
【００２６】
【図４】図３のグローバルアフィン動き推定機能の例示的ブロック図を示す。
【００２７】
【図５】図４のグローバル並進推定機能の例示的実装例を示す。
【００２８】
【図６】図４の高速フーリエ変換（ＦＦＴ）機能の例示的実装例を示す。
【００２９】
【図７】図５の位相計算機能の例示的ブロック図を示す。
【００３０】
【図８】最初のセグメンテーションマスクを計算する例示的ブロック図を示す。
【００３１】
【図９】最終のセグメンテーションマスクを計算する例示的ブロック図を示す。
【００３２】
【図１０】オブジェクトエッジマップを計算する例示的ブロック図を示す。
【００３３】
【図１１】図１０の固有値計算機能の例示的ブロック図を示す。
【００３４】
【図１２】ローカル動き補償法および補正グローバル動き法を実装する例示的な方法を示す。
【００３５】
【図１３】フレーム対の間に動きベクトルを生成するのに適切な動き補償法を選択する例示的なフロー図を示す。
【００３６】
【図１４】図１３の手順から計算されるローカル動きベクトルを後処理する例示的ブロック図を示す。
【００３７】
【図１５】図３の動き補償補間機能の例示的ブロック図を示す。
【００３８】
【図１６Ａ】開示された技術を利用することのできる例示的高精細テレビのブロック図を示す。
【００３９】
【図１６Ｂ】開示された技術を利用することのできる例示的車両のブロック図を示す。
【００４０】
【図１６Ｃ】開示された技術を利用することのできる例示的携帯電話機のブロック図を示す。
【００４１】
【図１６Ｄ】開示された技術を利用することのできる例示的セットトップボックスのブロック図を示す。
【００４２】
【図１６Ｅ】開示された技術を利用することのできる例示的メディアプレーヤのブロック図を示す。
【発明を実施するための最良の形態】
【００４３】
図１は、本発明の一側面による、動き補償画像レートコンバータ（ＭＣＰＲＣ）回路１００の高レベル図である。入力信号１０２は、ビデオフレームの離散シーケンスを有しており、ＭＣＰＲＣ回路１００に入力され、ＭＣＰＲＣ回路は、アップコンバートされ動き補償された出力信号１２８を、ＭＣＰＲＣ回路１００のモジュール１０４、１０８、１１２、および１１６を介して生成する。ＭＣＰＲＣ回路１００の各モジュールを以下で説明する。アップコンバートの後、ＭＣＰＲＣ回路１００からの出力信号１２８は入力信号１０２のフレームレートより典型的に非常に高いフレームレートを有する。例えば、入力ビデオ信号１０２は、６０Ｈｚの画像レートを有するビデオカメラから生成されてよい。ビデオ信号は、例えば１２０Ｈｚのリフレッシュレートを有するＬＣＤパネルディスプレイ上の出力に適した形にすべく、ＭＣＰＲＣ回路１００を利用してアップコンバートされる必要がありうる。一般的には、フレームレートのアップコンバートは、所定の数の固有フレームを時間的に隣接した入力フレームの各対間に注入することで達成される。これらの介在フレームは、フレーム間のオブジェクトの動作軌跡を実質的に捉えるように作成されてよく、これによりアップコンバートの後でディスプレイされる際のビデオ画像シーケンス全体の滑らかさを高める。
【００４４】
図１を参照すると、入力信号１０２は先ずフロントエンドモジュール１０４でダウンコンバートおよび復調処理を受ける。このフロントエンドモジュール１０４は、チューナ、デモジュレータ、コンバータ、コーデック、アナログビデオデコーダ等の部材を含みうる。フロントエンドモジュール１０４からの出力１０６は、その後、下流のノイズ低減およびデインターレースモジュール１０８へ渡され、そこでは、信号１０６を、本来のインタレース走査に基づく形式から、高品質な順次走査出力１１０へ変換し、且つ、ブロックノイズおよびモスキートノイズなどのアナログノイズおよび補償アーチファクトを大幅に低減させる。結果生じる順次走査出力１１０は動き補償されたフレームレート変換（ＭＣＦＲＣ）モジュール１１２へ供給され、そこでは動き補償され補間されたフレームを生成してビデオ出力シーケンス１１４が生成される。ビデオ出力シーケンス１１４は、元々の入力信号１０２の本来のフレームレートより高いフレームレートを有してよい。ＭＣＦＲＣモジュール１１２の動作の詳細を以下で詳述する。アップコンバートされたビデオ出力１１４は、その後、後処理モジュール１１６により処理され、典型的にデジタルビデオパイプラインに存在するスケーリング、エッジ強さ、色管理、画像制御などの追加的な強化機能がビデオ信号１１４に授受される。
【００４５】
幾らかの実施形態においては、図１に示す全ＭＣＰＲＣアーキテクチャが単一のチップ上に実装されてもよい。一つの例示的構造においては、このＭＣＰＲＣチップはテレビ回路に組み込まれてもよく、テレビ回路から、ＭＣＰＲＣチップのアップコンバートおよび後処理された出力１２８が外部のビデオディスプレイパネルへ送信される。しかし、後処理モジュール１１６が処理パイプラインから切り離され、その代わりにディスプレイパネルに組み込まれている場合、ＭＣＰＲＣシステム１００の利用性が厳しく制限されることになる。これは、チップからＬＣＤディスプレイに送信される際、信号１１４が入力信号１０２の本来のフレームレートより非常に高い帯域幅を占めるからである。多くの場合、テレビ回路がＬＣＤディスプレイと通信できるような、整合高帯域幅インタフェースを見つけることはできない。しかし、ＭＣＰＲＣアーキテクチャ１００を単一チップにカプセル化すると、システム１００の様々な部材間で情報交換が促進されるという利点がある。
【００４６】
図２は、別のＭＣＰＲＣ構成２００の高レベル図であり、図１のＭＣＦＲＣブロック１１２および後処理モジュール１１６の順序を入れ替えて、ビデオを図２のＭＣＦＲＣモジュール２１２で高い帯域幅にアップコンバートする処理よりも、後処理モジュール２１６の処理のほうを前に行う。アップコンバート機能を処理パイプラインの最後の段階に配置することで、アップコンバート機能が残りの回路と隔離されうる。故に、この配置により、モジュール２０４、２０８、および２１６をＭＣＦＲＣモジュール２１２から切り離すことができる。幾らかの実施形態においては、モジュール２０４、２０８、２１６、および２１２は、図１のそれぞれ対応するモジュール１０４、１０８、１１６、および１１２と構造的に類似している。一例示的アーキテクチャにおいては、モジュール２０４、２０８、および２１６を組み込むチップが、テレビ受信回路に集積されて、入力信号２０２の本来のフレームレートで動作してよく、一方でＭＣＦＲＣモジュール２１２が、他の処理部から切り離されたＬＣＤディスプレイパネル内に集積されてもよい。この配置においては、テレビ回路からＬＣＤディスプレイパネルへの送信信号２１４は、ＬＣＤパネルディプレイが要するアップコンバート帯域幅より比較的低い本来の帯域幅を占める。テレビ受信回路はＬＣＤディスプレイと、低電圧差動信号（ＬＶＤＳ）チャネルなどの標準的なビデオ／ディスプレイインタフェースを介して通信する機能を有してよい。この低帯域幅のインタフェースにより、システム２００の用途は広がり、任意の数の異なるディスプレイパネルをテレビ受信回路に接続することが可能となる。
【００４７】
図１、２に示すビデオ情報信号経路１１８および２１８はそれぞれ、対応するＭＣＰＲＣシステム１００および２００のモジュール間の情報伝達を促進すべく提供されている。特に、ＭＣＦＲＣモジュール１１２および２１２に伝達される情報は、例えば、クローズドキャプションディプレイの位置、画面上の表示の存在、各入力信号１０２および２０２の本来のフレームレート、および各入力信号１０２および２０２の起点およびアクティブビデオ境界を含む。
【００４８】
図示されているＭＣＰＲＣシステム１００および２００では、入力ビデオ信号１０２および２０２は、標準精細（ＮＴＳＣ／ＰＡＬ／ＳＥＣＡＭ）から高精細に亘っており、インタレース型でも順次型でもよい。幾らかの例においては、ビデオ信号解像度は、低フレームレートを有する標準解像度よりもさらに低い。例えば、入力ビデオ信号は、ｉＰＯＤなどの携帯型メディアプレーヤ内のコネクタデバイスから、毎秒１５または３０フレーム入力されるＱＶＧＡ（３２０×２４０）であってよい。幾らかの例においては、低解像度ビデオ信号がパーソナルメディアプレーヤまたはマルチメディア携帯電話機のビデオドックにコネクタデバイスを介して供給されてよく、ここでドックには、例えば５ｆｐｓで３２０×１６０から６０ｆｐｓで７２０×４８０の空間・時間変換（spatial and temporal conversion）を行う機能を有する集積回路が含まれうる。インタフェース入力は、ビデオに起因する（video‐originated）、またはフィルムに起因する（film‐originated）材料から形成されてよい。ビデオに起因する材料は、先ずデインタレースされて、フィールドレートからフレームレートへ変換されてからＭＣＦＲＣモジュール１１２および２１２に入力される。フィルムに起因する材料は、ＭＣＦＲＣモジュール１１２および２１２への入力用に、本来の順次型形式に変換される。
【００４９】
図３は、オブジェクト動き推定を入力ビデオ信号３０２の連続フレーム対の間に行うことを目的とする、図１および２のＭＣＦＲＣモジュール１１２および２１２それぞれの例示的実装例３００を示す。連続フレームの各対は補間されてよく、２つのフレームのうち前のほうは、「参照フレーム」と称され、後のほうは「現在のフレーム」と称される。図３のＭＣＦＲＣモジュール３００の例示的実施形態によると、動き推定エンジン３０６による動き補償および動き補償補間モジュール３１０による動き補間の前処理として、入力信号３０２はＭＣＲＦＣ制御部３０４で処理される。特に、動き推定エンジン３０６は、ＭＣＦＲＣ制御部３０４からリンク３２２および３２４を介して送信された処理済フレーム情報を利用して、グローバルおよびローカル動き補償情報を入力シーケンス３０２の連続フレーム対各々に生成する。結果生じるグローバルおよびローカル動き補償情報は、今度は動き補償補間モジュール３１０へリンク３０８を介して転送され、また、ＭＣＦＲＣ制御部３０４へもリンク３２２および３２４を介して転送される。幾らかの例においては、動き補償補間を行うという判断も、ビデオ入力信号３０２と、ビデオ情報信号３１６を介して得た入力の任意の追加的ビデオ情報とともに、制御部３０４から動き補償補間モジュール３１０に送られてよい。ＭＣＦＲＣ制御部３０４および動き推定エンジン３０６から取得したデータに基づいて、動き補償補間を動き補償補間モジュール３１０で行うことで、望ましいフレームレートのビデオ画像シーケンスを生成するが、ここでシーケンスには、元々のビデオフレームシーケンスの間に時間的に散在した補間されたフレームが含まれている。幾らかの例においては、ＭＣＦＲＣ制御部３０４は制御信号を、リンク３２６を介して動き補償補間モジュール３１０へ送ることで、ビデオ信号の一部の補間を不要としてよい。さらに、動き推定エンジン３０６からのビデオフレーム情報、ビデオ情報信号３１６、およびビデオ入力３０２も、出力３１４を介して他の処理ブロックへ転送されてさらなる処理を受けてよい。動き推定エンジン３０６、動き補償補間モジュール３１０、およびＭＣＦＲＣ制御部３０４の動作を、以下で詳述する。
【００５０】
図３のＭＣＦＲＣ制御部３０４は、動き予測および後続のビデオ補間の品質に影響しうるある種のフレームフィーチャを削除しようと試みることで、入力ビデオ信号３０２の各フレームを処理する。この信号処理は、「真の」画像のみがグローバル動き推定の基として利用されるべきグローバルアフィン動き推定機能モジュール３１８において特に重要である。例えば、入力ビデオ信号３０２が、郵便ポスト（pillar box）およびサブタイトルなどのフィーチャを含むＤＶＤである場合、ＭＣＦＲＣ制御部３０４は、フレームを動き推定エンジン３０６に送る前に、各ＤＶＤフレームからピラーボックスを削除し、且つ、サブタイトルがフレームと融合している領域を特定することが望ましい。入力信号３０２が放送ビデオ信号である場合、ＭＣＦＲＣ制御部３０４は、各ビデオフレームに関連付けられた静的チャネルロゴおよびティッカシンボルを特定することが望ましいが、このティッカシンボルとは、フレームの残りのシーンとはしばしば完全に反対方向に一定の速度で回転するものである。処理されたフレームシーケンスは、その後、リンク３２２および３２４を介して動き推定エンジン３０６へ転送されて、ローカルおよびグローバル動き推定がなされる。
【００５１】
別の実施形態においては、入力ビデオ信号３０２および入力ビデオ信号３０２に関する追加的情報が、入力３１６および３３０をそれぞれ介してＭＣＦＲＣ制御部３０４へ送信される。特に、ビデオ情報信号３１６は、例えばビデオに追加されるべき合成情報または動きベクトルの推定精度に影響するようなビデオの起点情報などの、入力ビデオ信号３０２に関する追加的情報を提供する。例えば、入力信号がコンピュータグラフィック信号であることが既知である場合、該信号は、ビデオに起因する信号と比して、水平方向、垂直方向両方に非常に鋭い遷移を持つ可能性が高い。グラフィックに起因するビデオ入力に関する動きベクトルは典型的に、ひとたびこの情報が動き推定エンジン３０６に提供されると、より正確に推定できる。しかし、ビデオ起点が動き推定エンジン３０６に提供されない場合、結果生じる動きベクトルの予測は不正確となってしまう。
【００５２】
また別の実施形態によると、「シーンカット」検知回路を提供して、ビデオ信号内の特定のフレームについては動き補償補間モジュール３１０をディセーブルにすべきか否かを判断してよい。動き補償補間システムを利用することで、シーンが変更される間正確な動き推定を行うことが可能となる。故に、結果生じるアップコンバートされたビデオシーケンス内でこれら悪影響で大きい場合にはいつでも、入力信号３０２の動き補償補間を停止することができる。この一時的に補間を停止する判断は、動き推定エンジン３０６からリンク３２２および３２４を介して受信されたグローバルおよびローカル動き情報の分析に基づいてＭＣＦＲＣ制御部３０４で行われうる。ＭＣＦＲＣ制御部３０４は、通信リンク３２６を介して動き補償補間モジュール３１０をイネーブルにもディセーブルにもできる。補間するという判断がなされると、ＭＣＦＲＣ制御部３０４は、チャネル３３０から入力ビデオ信号３０２を、チャネル３１６からオプションのビデオ情報信号を、リンク３２２からグローバル動き信号を、およびリンク３２４からローカル動き信号を、動き補償補間モジュール３１０へ転送して、動き補償補間に備える。さもなくば、情報は出力３１４を介して後続の段に選択的に転送される。ＭＣＦＲＣ制御部３０４では任意の他の基準を利用して動き補償補間をイネーブルおよびディセーブルにしてもよいことに留意されたい。
【００５３】
図４は、図３の動き推定エンジン３０６のグローバルアフィン動き推定モジュール３１８の例示的実装例４００である。グローバルアフィン動きとは、一般的には、一般にカメラのズーミング、パニング、あるいは回転などの動きが引き起こす、ビデオシーケンスの背景のピクセルの動きのことを言う。幾らかの実装例においては、ビデオフレームシーケンスの背景のピクセルは、全て単一の共通グローバル動きを受けると仮定される。グローバルアフィン動き推定は、通常、背景の動きを幾らかの基本パラメータを利用してモデル化する。特に、アフィンモデルは、６つのアフィンパラメータのみを利用して、任意のフレーム対間のグローバル動き軌跡を表す。アフィンパラメータのうち２つは、カメラのズーミング動きを捉えるのに利用されるスケーリングパラメータであり、２つは回転パラメータであり、２つはパニング動きを捉えるのに利用される並進パラメータである。これら６つのアフィンパラメータは、グローバル動き予測の上で非常な柔軟性を提供する。
【００５４】
図４に示すように、グローバルアフィン動き推定モジュール４００は２段の処理であり、第１段４０２が、任意のフレーム対間のグローバル動きを粗い解像度で捉えるのに利用されるアフィンパラメータ一式の粗い推定を行う。より具体的には、第１段は、位相相関法を利用してグローバル並進動きに関する２つのアフィン並進パラメータを推定するが、これは図５‐７との関連で詳述する。第１段はさらに、グローバルな回転およびスケーリング動きに関する、残りの４つのアフィンパラメータを予測する。これら予測は、前のフレーム対など、過去に行った推定から算出した対応アフィン値に基づいている。結果生じるアフィンパラメータを今度は第２段４０６に渡し、より高精細な解像度レベルにまでリファインする。
【００５５】
特に、図４の実施形態によると、フレームシーケンスを有するアクティブビデオ入力信号４０４を、グローバルアフィン動き推定モジュール４００の段４０２に供給する。幾らかの実施形態においては、サブタイトル、ＯＳＤメニューなど全ての重要でないビデオ情報を、グローバルアフィン動き推定モジュール４００へ供給する前のアクティブビデオ入力信号４０４から除去する。段４０２においては、グローバル並進またはパニング動きに関する、２つのアフィン並進パラメータのみを推定する。グローバル並進動きを隔離する理由は、カメラの動きはその性質上圧倒的に並進的な動きであり、典型的に大きな並進範囲を捉えるのが難しいからである。殆どの市販の動き推定ツールは、非常に制限的な計測範囲を有しており、動きが許容範囲外である場合にはしばしば不正確な動き計測値を生成するきらいがある。これと比較すると、本発明のグローバル並進推定技術によれば、入力フレームの１画像サイズの半分の並進動き範囲まで正確に計測することができる。このグローバル並進推定は、粗い表示フレームの各対に対して適用した位相相関法を利用して達成される。位相相関法は図５との関連で詳述する。２つの粗い予測アフィン並進パラメータを含む粗い並進推測値数１がモジュール４０２により提供される。さらに、２つのアフィン回転パラメータと２つのアフィンスケーリングパラメータとを含む４つの残りのアフィンパラメータの粗い推定値である数２が、前のフレームのこれらパラメータの過去の推定値に基づいて計算される。
【数１】
【数２】
【００５６】
これら粗いレベルのアフィンパラメー推定値数１および数２はその後、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくアフィンパラメータリファインモジュール４０６へ送信され、さらにリファインされる。このリファインは、先ず、段４０２からの粗く予測されたアフィンパラメータを利用して参照フレームの画像を動き補償することで達成される。故に、補償された参照フレームと現在のフレームとの間の差は、補償された参照フレーム画像を現在のフレーム画像に実質的に位置合わせするのに必要な、粗く予測されたアフィンパラメータの調節量である。一実施形態においては、ＲＡＮＳＡＣに基づく技術を利用してこのようなリファインを達成する。このＲＡＮＳＡＣに基づく方法４０６は先ず、その最も精細な解像度で表される現在のフレームから、所定の数のランダムに配置されたピクセルブロックを選択することで動作する。これらブロックも、補償された参照フレーム内に対応するブロックを有する。次にセグメンテーションマスクを動き補償された現在のフレームに適用して、フレーム画像の前景領域および背景領域を区別する。フレームの背景領域に属するブロックのみを利用して、グローバル動き予測に関するアフィンパラメータをリファインする。こうする理由は、背景のピクセルの動きだけが、アフィンパラメータにより概算されるグローバル動きに曝されると仮定されるからである。リファインされた並進推定値Ａ<SUB>ｉ</SUB>および予測推定値であるＢ<SUB>ｉ</SUB>はその結果アフィンパラメータリファイン段４０６で生成される。セグメンテーションマスク算出を以下に詳述する。
【００５７】
図５は、位相相関法の例示的ブロック図実装５００を示す。位相相関法は、図４のグローバル並進推定および予測段４０２に実装されて、２つの連続フレーム間のグローバル並進動きに関するアフィンパラメータの粗いレベルの予測を行う。位相相関は、どちらもフーリエ領域で表される並進画像とその参照画像との間に位相差のみが存在するようなフーリエシフト特性を利用することで、この並進動きを計測する。さらには、この位相差の指数の逆フーリエ変換により、相関面が形成され、ここから２つの画像フレーム間の並進動きの計測値が得られる。この動作を表す例を以下で説明する。
【００５８】
標準解像度のテレビ画像のフーリエ変換は、殆どの用途において法外に高価になってしまうことが公知である。この動作の複雑性を低減すべく、参照フレームと現在のフレームとを、これら画像がフーリエ変換前に所定のファクタによりダウンサンプリングされた、粗い解像度レベルで表す。このダウンサンプリングは、図５に示す、水平方向および垂直方向両方で各画像をデシメーションするデシメーションモジュール５０２を介して達成される。一実施形態においては、画像のデシメーションは多相を分離可能なフィルタ法を利用して達成される。結果生じるデシメーションされた画像フレームが、垂直方向および水平方向両方で各々高速フーリエ変換（ＦＦＴ）される。２ＤのＦＦＴは、２つの連続する１ＤのＦＦＴを行うことで達成され、デシメーションされた画像は典型的に、列方向のＦＦＴをモジュール５０６により受ける前に行方向のＦＦＴをモジュール５０４により受ける。参照フレームおよび現在のフレームに対応するＦＦＴ結果は各々２Ｄの複素数データアレイで表され、一時的なデータ記憶用にメモリ５０８に配置される。続いて、２Ｄ位相差アレイが、２つの複素数データアレイから生成される。次に、位相差アレイのエレメントについての指数（element-wise exponential）をとって、１Ｄの列ＩＦＦＴ５１４の後に１Ｄ行ＩＦＦＴ５１２により２Ｄ逆高速フーリエ変換（ＩＦＦＴ）された行列を生成する。これら列５１４および行５１２のＩＦＦＴ中に、メモリブロック５１６を一時的なデータ記憶用に利用してもよい。このような２ＤのＩＦＦＴから、２Ｄデータアレイでも表される正規化相関面を次に出力５１８に生成して、最大計算モジュール５２０に供給する。最大計算モジュール５２０は、相関面アレイの最大の値および位置、且つ最大値に隣接する値の幾らかを決定することで動作する。最後に、サブピクセル補間モジュール５２２を利用して、最大値およびそれに隣接する値を補間して、グローバル並進推定値を生成する。２ＤのＦＦＴの詳細および位相差計算を以下で説明する。
【００５９】
図５の各フーリエ変換の出力は複素数の２Ｄアレイである。結果生じる動き推定の精度には有限精度計算による数量化効果が直接関与するので、各複素数の浮動小数点を記憶するのに必要となりうるビット数は注意深く考慮されねばならない。一実施形態においては、１９２ビットの浮動小数点ＦＦＴをモジュール５０４で利用して、行ＦＦＴを実装し、１２８ビットの浮動小数点ＦＦＴをモジュール５０６で利用して、列ＦＦＴを実装する。図６は、例示的な２５６×２５６ビットの２ＤのＦＦＴ設計６００を示す。設計６００の各工程で利用される例示的なビット精度も提供される。行ＦＦＴ実装は実質的に列ＦＦＴと同一でありえるが、１ＤのＦＦＴにより１方向に変換された後の入力フレームは転置され（９０度回転される）、同様に、同じ１ＤのＦＦＴを利用して第２の方向に変換される。２ＤのＦＦＴも、２つの実質的に同一な１ＤのＩＦＦＴを利用して同様に実装されうる。
【００６０】
図７は、図５の位相差計算モジュール５１０の例示的ブロック図７００である。２つの複素数データアレイ内の対応するエレメントから得られた複素数の値の対を、例示的な位相差計算モジュール７００へ入力７０２および７１０として供給する。図７に示す一実施形態においては、入力７０２および７１０がそれぞれ、フーリエ領域のデシメーションされた参照画像フレームおよび現在の画像フレームを表す二つの複素数データアレイから取られる。入力７０２および７１０の実数部分および虚数部分を分離して分ける。複素数入力７０２および７１０と関連する位相を、入力信号の虚数部分および複素数部分の商から、アークタンルックアップテーブル７０６および７１４それぞれを用いて、処理７０４および７１２で得られた商の大きさにそれぞれ基づいて、決定する。直交補正モジュール７０８および７１６でリファインされた後、二相は加算器７１８で互いから減算され、位相差７１８が生成される。同様に、この処理を、現在のＦＦＴデータアレイおよび参照ＦＦＴデータアレイの対応するエレメントの全ての対に対して行って、位相差の２Ｄアレイを生成してよい。
【００６１】
図５‐７の例示的実装例によるグローバル動き推定を行った後で、アフィン動き値をグローバル動き補償の適切なピクセルに対して割り当ててよい。フレームの前景に属するピクセルは、例えばセグメンテーションマスクなどの利用により、背景に属するものと区別される必要がある。背景に属するピクセルは、前述の６つのアフィンパラメータで概算される単一のグローバル動きを受けることが仮定されてよい。これに対して前景のピクセルは、同じグローバル動きでは動かない。このようなピクセルに対しては、適切なローカル動きベクトルまたは補正グローバル動きベクトルを決定してよい。
【００６２】
図８は、セグメンテーションマスクの最初の版を計算する例示的方法を示す。例示により、グローバル補償フレーム８０２および本来のフレーム８０４がシステム８００への入力として供給される。そして、ピクセル毎の、２つの入力フレーム間の絶対値の差を、加算器処理８０５および絶対値処理８０６で計算する。結果生じるピクセル毎の絶対値の差のアレイを、合算・比較モジュール８０８に供給して、絶対値の差をピクセルブロック毎に加算して、閾値８０７と比較する。絶対値のブロック合算値が閾値より大きい場合にピクセルブロック全体がフレームの前景に属すものとして分類されうる。さもなくば、ブロックはフレームの背景に属すものとして分類されうる。モジュール８０８はフレーム内に各ピクセルブロックの単一のビットバイナリ出力を生成して、この情報を提供し、これら出力の集合体が、潜在的にフレーム内の前景ブロックと背景ブロックとを区別するセグメンテーションマップ８０９を形成する。ノイズおよび隔離動き領域の存在により、セグメンテーションマップ８０９は誤って分類されたブロック領域を含みうる。故に、セグメンテーションマップ８０９は、拡張（dilation）８１２の後の閉路（closing）８１０などのバイナリ形態素処理を受け、より同質な最初のセグメンテーションマスク８１４を生成する。
【００６３】
図９は、図８の処理から得た最初のセグメンテーションマスク９０２に基づき最終のセグメンテーションマスクを計算する例示的方法９００を示す。セグメンテーションマスク９０２は、適切な補償法を画像フレームの個々のピクセルに適用しうるマップを提供する。システム９００は、最初のセグメンテーションマスク９０２から様々な接続されたオブジェクトを検出することで動作し、ここからピクセルが再分類されて特定の補正処置を受けてよい。一実施形態においては、接続された部材分析９０４をモジュール９０４で利用して、接続されたオブジェクトを特定する。特に、二つのオブジェクトを幾らかのピクセルのみで分離した場合、小さなオブジェクトを大きなオブジェクトの一部としてみることができる。図９の実施形態においては、２×２の解像度ブロックサイズが接続された部材分析で利用されて、オブジェクト接続特定のコスト全体を低減する。しかし、他の解像度サイズも可能である（例えば３×３、４×４）。接続部材分析の最後には、モジュール９０４は最初のセグメンテーションマスク９０２から全ての接続オブジェクトを特定するラベルリストを出力するが、ラベルリストにおいて各オブジェクトはフレーム内の該オブジェクトの位置を特定するインデックスに対応している。インデックスおよびラベルのリストは、オブジェクトごとのエッジブロックの数を計算するモジュール９０６に供給される。オブジェクト内のブロック数を所定の閾値９１２と比較することで、オブジェクトが小さいと判断される場合、オブジェクトのブロックを、画像フレームの背景に属すものとして分類する。これら背景ブロックは、上述のグローバルアフィン動き推定パラメータを利用して補償されてよい。しかし、１つのオブジェクトに関するブロック数が多い場合、これらブロックは画像フレームの前景に属すものとして分類されることがあり、グローバル動き補償法よりも正確でありうるローカル動き補正法を施される。
【００６４】
本発明の別の側面によると、入力フレームについてオブジェクトエッジマップのロバストな生成手順を提供して、該フレーム内で大きなエッジ強さ（significant edge strength）を有するオブジェクトを特定することができる。オブジェクトに関するエッジ強さの欠如は、該オブジェクトとその直ぐ周辺との間にコントラストが弱いことを示す。故に、該オブジェクトがたとえセグメンテーションマスクが示すよう入力フレームの前景に存在したとしても、該オブジェクトのピクセルに対してはグローバル動き補償を適用してよい。これは、より正確な補償法を、エッジ強さが小さいオブジェクトに適用することで生じる結果が、グローバル動き補償法を適用することで生じるものと同一である可能性が高く、且つ、グローバル動き補償法が二つの方法のよりコスト効率のよい可能性が高いからである。故に、計算効率のためには、ロバストなオブジェクトエッジマップ生成法を提供して、エッジが強いオブジェクトを検知してよい。この方法によると、任意の画像フレーム内のピクセルブロック全てについて、２つの固有値が生成され、該固有値はそれぞれブロックの水平方向の計測値および垂直方向の計測値に対応する。例えば、ＳＤＴＶ解像度標準を２×２のブロックサイズについて利用すると仮定すると、各ＳＤＴＶ画像フレームについて、全部で３６０個のブロックが水平方向に、且つ２８８個のブロックが垂直方向に生成されることになる。全ての固有値の最大値（ｅｖ＿ｍａｘ）をその後決定する。固有値が、最大値により計測される所定の範囲にあるこれらブロックは、例えば、範囲「０．８＊ｅｖ＿ｍａｘ，ｅｖ＊ｍａｘ」内にあり、大きなエッジ強さを有するものとして特定されてよく、故に、グローバル動き補正法よりもより厳密な動き補償を要する可能性が高い。これらブロックは値１を割り当てられ、値０を割り当てられうる残りのブロックから区別されてよい。この結果、１のブロックが１画像フレーム内の大きなエッジ強さを有するオブジェクトを明示するようなオブジェクトエッジマップが生成される。さらには、１および０のブロックの利用により、このオブジェクトエッジマップ自身がかなりノイズに対して強くなる。本実施形態では２×２のブロックサイズを利用したが、任意の他のブロックサイズを利用することもできる（例えば４×４）。
【００６５】
図１０は、入力フレーム１００２内の各ピクセルブロックに関する固有値の対を計算する処理１０００を示す。各固有値は、そのブロックの垂直方向および水平方向の計測値に対応しており、ルマ（luma）または強度領域で表されるそのブロックのピクセル値から計算される。５×５のブロックサイズの利用を仮定すると、フレーム１００２のピクセル強度は、先ず５×５のウィンドウサイズを有する２次元ガウスフィルタ１００４でフィルタにかけられる。ガウスフィルタ１００４にかける主な目的は、ノイズを平滑化して、各ブロック内の小さなオブジェクトを隔離して、それらを固有値算出の候補から除くことにある。これは、大きなエッジ強さを有する大きなオブジェクトのみに対してこのより厳密な補償処置を行うほうがコスト効率がよいからである。ブロックサイズが５×５であるガウスフィルタについては、各々がサイズ７２０×８ビットである４つのラインバッファを利用してこのようなフィルタサイズをサポートしてよい。これらラインバッファはＳＲＡＭ内に実装できる。別の実施形態においては、ガウスフィルタ１００４は、シリコン領域の利用を最小限にとどめるべく、より小さなブロックサイズ（例えば３×３）を利用してもよい。この結果、ラインバッファハードウェアのサイズが、５×５のブロックサイズに比較して、５０％低減できる。
【００６６】
ガウスフィルタ１００４でフィルタされた２Ｄの強度値アレイ１００５は、アレイ１００５の強度値の勾配を推定すべく、勾配処理モジュール１００６に供給される。一実施形態において、勾配は、アレイ１００５の隣接する強度値間の一次差（first order difference）を求めることに基づいて、水平方向および垂直方向両方において、計算される。この一次差計算は、ブロック毎に行われてよい。例えば、２×２のブロックのデータアレイ１００５を例にとって考えるが、みて分かるように、この例では、ブロックがＡ、Ｂ、Ｄ、およびＥという強度値からなり、強度ＣおよびＦが右側で隣接しており、ＧおよびＨが底側で隣接している。
【数３】
ブロックの水平方向および垂直方向の一次差の勾配は以下のように計算される。
【数４】
同じ勾配計算を、入力フレーム１００２の２Ｄデータアレイ１００５の２×２ブロック全てに適用してよいので、水平方向の勾配値アレイ１００８および垂直方向の勾配値アレイ１０１０の生成は、両方ともスクエアリング回路１０１２に供給される。これら入力勾配アレイに基づいて、スクエアリング回路１０１２は、以下のアレイ出力１０１４、１０１５、１０１６、および１０１８を生成する。
【数５】
ここで、＊はドット積演算を示す。式２の３つの出力各々も、同じサイズを勾配値アレイ１００８および１０１０として有する２Ｄデータアレイである。これら３つの出力アレイ１０１４、１０１６、および１０１８はその後２Ｄ平均値計算モジュール１０２０に送られさらなる処理を受ける。
【００６７】
２次元平均値計算モジュール１０２０は、ブロック毎に、各入力アレイ１０１４、１０１６、および１０１８の２乗勾配値を平均化して、アレイのブロック毎にスカラー平均値を生成することで動作する。例えば、２×２ブロックサイズを利用する場合、各ブロックの４つの勾配値が平均化されて、単一のスカラー値を生じる。この結果、数６で表される平均２乗勾配値の３つの２Ｄアレイ１０２２、１０２４、および１０２６がモジュール１０２０から生成される。
【数６】
各２Ｄアレイは、画像全体の全てのスカラー値を含むよう適合される。これら３つの平均２乗勾配アレイは、その後固有値計算モジュール１０３０へ供給されて、そこで２つｎ固有値を、入力フレーム１００２の各ピクセルブロックに、数６のアレイに基づいて生成する。
【００６８】
図１１は、図１０の固有値計算モジュール１０３０の例示的実装１１００を示す。示されているように、数７のアレイは数８のアレイから加算器１１０２で減算され、差行列Ｒを生成する。この差行列は、その後、処理１１０４でエレメントごとに２乗されて、数９のアレイがエレメントごとの２乗処理１１０８および４つの乗算のファクタを受けた後で、数９のアレイに加算器１１０６で加算される。
【数７】
【数８】
【数９】
結果生じる合計行列１１０６は、またも処理１１１０でエレメントごとに２乗され、行列Ｓが生成される。そして固有値アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>は、以下のように計算されうる。
【数１０】
ここで、アレイＥ<SUB>ｖ１</SUB>およびＥ<SUB>ｖ２</SUB>の各エレメントは、図１０に示す入力画像フレーム１００２のピクセルブロックそれぞれに相関する固有値である。これら固有値を利用して、大きなエッジ強さを有するこれらピクセルを特定するオブジェクトエッジマップの決定に利用されてよく、故に、ローカル動き推定の候補である。
【００６９】
図１０および１１に示す実施形態においては、２×２のブロックサイズを固有値の計算に利用した。しかし、これより大きなブロックサイズを利用してハードウェア利用を低減することもできる。さらには、より小さなブロックサイズを利用することで推定の精度を上げることもできる。さらには、各固有値が正、小数点、および０から１の間で変化することから、８ビット精度を利用して固有値を表すことで、数値の観点からは十分な精度が得られることがある。しかし、他の精度値を利用することもできる。
【００７０】
まとめると、セグメンテーションマスク計算処理を、図８および９に関して記載した。結果生じるセグメンテーションマスクを利用して、画像フレームの前景および背景に属すオブジェクトを特定することができる。加えて、図１０および１１に関して、オブジェクトエッジマップ生成処理を上述した。これにより得られるオブジェクトエッジマップを利用すると、大きなエッジ強さを有するフレームのオブジェクトを隔離することができる。セグメンテーションマスクおよびオブジェクトエッジマップの組み合わせにより、動き推定精度および効率性両方を最大化するような、画像フレームのサブ領域への適用に適した補正技術を決定することができる。概して、１フレーム内の各ピクセルブロックは、該ブロックの前景／背景分類およびそれらが示すエッジ強さに基づいて、３つの種類の動き補償のいずれかを経る。これら３つの種類とは、グローバル動き補償、補正グローバル動き補償、およびローカル動き補償である。前景の各ブロックは、図９で生成されたもののようなセグメンテーションマスクにより特定され、画像フレームのオブジェクトエッジマップが決定するローカル動き補償または補正グローバル動き補償を施される。フレームの背景のブロックも、セグメンテーションマスクによる特定が可能であり、図４‐７の処理で得られたグローバルアフィンパラメータを利用してグローバル動き補償を施される。この補償法種別選択処理およびローカルおよび補正グローバル動き補償法を以下で詳述する。
【００７１】
図１２は、２つのピクセルブロック間の動きを捉えるローカル動きベクトルの導出に利用される技術の例示的実施形態を示しており、ここで１つのブロックは参照フレーム内にあり、他のブロックは現在のフレーム内にある。ブロック対は、それらの隣接するブロックの動きに対する、自身の動きに基づいて検出されうる。例えば、動き検出は、相関するブロック対間の動きが、隣接するブロック間の均一なグローバル動きの方向とは異なる、という観察に基づいて行われてよい。図１２に示された実施形態によると、３×３のブロック配置１２００の中心のブロック１２０５を、ローカル動きベクトルを推定する現在のフレームの対象ブロックとして選択する。現在のフレーム処理の時間ｔにおいては、ブロック１２０５は４つの隣接するブロック１２０１‐１２０９を、それぞれブロック１２０５からみた北、東、南、および西に有する。さらに、現在のフレームは、現在のフレームの前の時間ｔ‐１において処理される、時間的に隣接する参照フレームを有する。この参照フレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレームのブロック１２０５の動きベクトルは、その後、前のフレームのブロック１２０１‐１２０４について時間ｔ‐１に計算されたグローバル動きベクトルから概算することができる、というのも、中心のブロックの動きは、隣接するブロックのものと僅かにしかずれていないと仮定できるからである。時間ｔ＋１における後続のフレームでは、各ブロック１２０６‐１２０９の動きベクトルを、時間ｔに計算されたその北、南、西、および東に隣接するブロックの動きから推定する。故に、フレームシーケンスの動きの値は、隣接する値に基づいて、画像シーケンスのフレームがそれぞれ時間的に進むにつれて、連続的にリファイン（refine）されていくことになる。
【００７２】
図１２も、本発明の別の側面による補正グローバル動き補償法を示すのに利用される。この補正グローバル動き補償法は、グローバル動き補償が、ブロックの動きを推定するには十分な精度を持たない場合に利用される可能性が高い。故に、グローバルアフィンパラメータに小さな補正を行って、生じる精度を向上させねばならない。また図１２の実施形態を参照すると、３×３のブロック配置１２００の中心のブロック１２０５を、ブロック１２０５からそれぞれ北、東、南、および西に位置する４つの隣接するブロック１２０１‐１２０９を有する現在のフレーム上の対象ブロックとして選択する。補正グローバル動き補償を決定した現在のフレームのグローバル動き補償版を決定しうる。このグローバル動き補償された現在のフレームは、現在のフレームのブロック１２０１‐１２０９と１対１の関係にある一式のブロックを含む。現在のフレーム内のブロック１２０５の動きベクトルは、その後、対応するグローバル動き補償されたフレームのブロック１２０１‐１２０４のグローバル動きベクトルから推定されてよい。特に、ブロック１２０５は、グローバル動き補償フレーム上の隣り合うブロック１２０１‐１２０４各々について計算された単一の均一な動きベクトルから全ての方向の増加量により並進または動きシフトされる。その結果生じる最も整合するベクトルが、ブロック１２０５の最終動きベクトルになる。この増加分は、ＸｃおよびＹｃという補正パラメータ対で表されてよく、ここではＸｃが水平グローバル方向のスカラーシフトを表し、Ｙｃが垂直グローバル方向のスカラーシフトを表す。
【００７３】
ある実施形態においては、ローカル動き推定法は、補正グローバル動き補償法と類似しているが、前者では、ブロック補償量が現在のフレームと参照フレームとの比較に基づき決定されるのに比して、後者ではこの量を現在のフレームと、現在のフレームのグローバル動き補償された版との比較に基づいて決定されることが異なる。幾らかの実装例においては、補償量は、対象ブロックから所定の範囲内（例えば、対象ブロックを囲む３ピクセルブロックの範囲内）にあるピクセルの動きベクトルに基づいて決定される。
【００７４】
ローカル動きベクトルおよび補正グローバル動きベクトルの計算に対して隣接検索アルゴリズムを利用することの決定的な利点は、対象ブロックについて限られた数の隣接ブロックのみを検索すればいい、ということにある。加えて、これら隣接ブロックを利用して導出およびリファインされる動き推定値は、既に前のフレームで計算済みである。故に、これら技法は、動き推定の効率を大幅に高める。
【００７５】
図１３は、現在のフレームの各ブロックについてどの動き補償法を利用すべきかを選択する工程を示す。例えば、マルチプレクサ１３１０は先ず、グローバル動き補償法１３１２と、よりリファインされた補償法１３１４との間で選択を行う。この決定は、フレームの前景ブロックを背景ブロックから区別するセグメンテーションマスク１３１８の利用に基づいて行われる。グローバル動き補償１３１２は背景ブロックのみに適用される。任意のブロックがより精度の高い補正法を必要とする場合、マルチプレクサ１３０２は、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６、いずれをそのブロックに適用するかの決定を行う。この決定は、そのブロックを補償するのに、ローカル動き補償法１３０４と補正グローバル動き補償法１３０６のいずれを利用するとエラーがより小さくなるか、を考えて行われる。故に、最終的なセグメンテーションマスク１３１８は、対象ブロック各々について適切な動き補償法を選択することができるので、グローバル、ローカル、または補正グローバル動きベクトル一式を各ブロックについて計算することができる。
【００７６】
図１４に示す本発明の別の側面によると、後処理手順１４００を、図１３の回路から取得したローカル動きベクトル１４１８をリファインするのに用いる。一般的なローカル動きベクトルは、ノイズおよびアパーチャー効果を受けやすい。故に、メジアンフィルタ１４０２および１４０４一式が、ローカルベクトル１４１８のｘ−ベクトル方向およびｙ−ベクトル方向両方に適用されて、ローカル補正に関する悪影響をいずれも最小限に抑える。メジアンフィルタの動作の前提は、隔離されたローカルブロックに隣接する全てのブロックが、隔離されたブロックの動きとは大幅に異なる均一な方向に動くとすると、隔離されたブロックの動きベクトルは、大部分の動きと実質的に適合するよう補正されねばならない、というものである。入力セグメンテーションマスク１４０６をメジアンフィルタ１４０２および１４０４とともに利用して、これら隔離されたブロックを特定する。メジアンフィルタの後に、ｘ‐方向およびｙ‐方向両方のリファインされたローカル動きベクトル１４０８‐１４１０は、ｘ‐方向およびｙ‐方向両方に、エッジ適合またはガウスフィルタ１４１２および１４１４一式によりさらなる処理を受ける。ガウスフィルタ１４１２および１４１４は、それぞれｘ−方向およびｙ−方向にローカル動きベクトル１４０８および１４１０を平滑化することで動作するが、ここで各ベクトル成分に適用される平滑化量は、図１０および１１で上述した手順を利用した入力オブジェクトエッジマップ１４１６により決定される。
【００７７】
本発明のまた別の側面においては、動き補償補間法を利用して、一対の入力参照フレームおよび現在のフレーム間の１以上の中間フレームを推定する。先ず、一対のフレーム間のオブジェクトの動きを、一式の動きベクトルによりブロック毎に特徴づける。動きベクトルはその後、１以上の中間フレームを補間するのに利用され、それらが順次フレーム間の動き軌跡を捉えるようにする。より具体的には、図１５に示すように、モジュール１５０２を利用して、グローバル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定のグローバルアフィンパラメータ１５０４および参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて計算される。モジュール１５１０を利用して、ローカル動き補償が必要な中間フレームの領域を補間する。この種類の動き補償補間は、一式の所定の入力ローカル動きベクトルおよび参照フレーム１５０６と現在の入力フレーム１５０８の対とに基づいて達成される。セグメンテーションマスク１５１４を利用して、１フレームの各領域が、補間中に、グローバルまたはローカルに動き補償されるべきかを決定してよい。
【００７８】
以上示した実施形態は、例示的であり、本発明の範囲を制限するものではない。開示した通信システムの様々なブロックで実装できるとして記載した式は、ハードウェア回路および／またはプロセッサ上で動作するソフトウェア命令により計算することができる。式の計算は、式内の項や演算そのものではなくてもよい。例えば、式計算は、式計算の結果が略等しくなるような、他の項および演算を利用して行われてもよい。故に、通信システムの様々なブロックは、直接これら式を計算することなしに、式に基づいた計算を行うことで行われてもよい。
【００７９】
図１６Ａ−１６Ｅを参照すると、本発明の様々な例示的実装例が示されている。
【００８０】
図１６Ａを参照すると、本発明は、高精細テレビ（ＨＤＴＶ）１６２０に実装しうる。本発明は、ＨＤＴＶ１６２０の、一般的に図１６Ａでは１６２２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６２９、および／または大容量データ記憶装置１６２７を実装してよい。ＨＤＴＶ１６２０はＨＤＴＶ入力信号を有線形式あるいは無線形式で受信して、ディスプレイ１６２６用にＨＤＴＶ出力信号を生成する。幾らかの実施例においては、ＨＤＴＶ１６２０の信号処理回路および／または制御回路１６２２および／または他の回路（不図示）はデータ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはＨＤＴＶが必要としうるその他の種類の処理を行いうる。
【００８１】
ＨＤＴＶ１６２０は、データを不揮発な形で記憶しうる大容量データ記憶装置１６２７と通信しうるが、ここで大容量データ記憶装置１６２７は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。ＨＤＴＶ１６２０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６２８に接続されうる。ＨＤＴＶ１６２０はＷＬＡＮインタフェース１６２９を介したＷＬＡＮへの接続を支援しうる。
【００８２】
図１６Ｂを参照すると、本発明は、車両１６００のデジタル娯楽システム１６０４に実装することができ、これは、ＷＬＡＮインタフェース１６１６および／または大容量データ記憶装置１６１０を含みうる。
【００８３】
デジタル娯楽システム１６０４は、データを不揮発な形で記憶しうる大容量データ記憶装置１６１０と通信しうる。大容量データ記憶装置１６１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。デジタル娯楽システム１６０４は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６１４に接続されうる。デジタル娯楽システム１６０４はＷＬＡＮインタフェース１６16を介したＷＬＡＮへの接続を支援しうる。
【００８４】
図１６Ｃを参照すると、本発明は、携帯式アンテナ１６５１を含みうる携帯電話機１６５０に実装しうる。本発明は、携帯電話機１６５０の、一般的に図１６Ｃでは１６５２として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６６８、および／または大容量データ記憶装置１６６４を実装してよい。幾らかの実施例においては、携帯電話機１６５０は、マイクロフォン１６５６、スピーカおよび／または音声出力ジャックなどの音声出力１６５８、ディスプレイ１６６０、および／またはキーパッド、ポインティングデバイス、および／またはボイス駆動および／または他の入力デバイスなどの入力デバイス１６６２を含みうる。携帯電話機１６５０内の信号処理および／または制御回路１６５２および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他の携帯電話機能を行いうる。
【００８５】
携帯電話機１６５０は、データを不揮発な形で記憶する大容量データ記憶装置１６６４と通信しうるが、大容量データ記憶装置１６６４は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。携帯電話機１６５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６６６に接続されうる。携帯電話機１６５０はＷＬＡＮインタフェース１６６８を介したＷＬＡＮへの接続を支援しうる。
【００８６】
図１６Ｄを参照すると、本発明はセットトップボックス１６８０に実装しうる。本発明は、セットトップボックス１６８０の、一般的に図１６Ｄでは１６８４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１６９６、および／または大容量データ記憶装置１６９０を実装してよい。セットトップボックス１６８０はブロードバンドソースなどのソースから信号を受け取り、テレビおよび／またはモニタおよび／または他のビデオおよび／または音声出力デバイスなどのディスプレイ１６８８に適した、標準音声／映像信号および／または高精細音声／映像信号を出力してよい。セットトップボックス１６８０内の信号処理および／または制御回路１６８４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のセットトップボックス機能を行いうる。
【００８７】
セットトップボックス１６８０は、データを不揮発な形で記憶する大容量データ記憶装置１６９０と通信しうる。大容量データ記憶装置１６９０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。セットトップボックス１６８０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１６９４に接続されうる。セットトップボックス１６８０はＷＬＡＮインタフェース１６９６を介したＷＬＡＮへの接続を支援しうる。
【００８８】
図１６Ｅを参照すると、本発明は、メディアプレーヤ１７００に実装しうる。本発明は、メディアプレーヤ１７００の、一般的に図１６Ｅでは１７０４として特定される処理および／または制御回路、ＷＬＡＮインタフェース１７１６、および／または大容量データ記憶装置１７１０を実装してよい。幾らかの実施例においては、メディアプレーヤ１７００は、ディスプレイ１７０７、および／またはキーパッド、タッチパッドなどのユーザ入力１７０８を含む。幾らかの実施例においては、メディアプレーヤ１７００は、典型的にメニュー、ドロップダウンメニュー、アイコンおよび／またはポイントアンドクリックインタフェースをディスプレイ１７０７および／またはユーザ入力１７０８を介して利用するグラフィカルユーザインタフェース（ＧＵＩ）を利用しうる。メディアプレーヤ１７００はさらに、スピーカおよび／または音声出力ジャックなどの音声出力１７０９を含む。メディアプレーヤ１７００の信号処理および／または制御回路１７０４および／または他の回路（不図示）は、データ処理、符号化および／または暗号化、計算、データフォーマッティングおよび／またはその他のメディアプレーヤ機能を行いうる。
【００８９】
メディアプレーヤ１７００は、圧縮された音声および／または映像コンテンツなどのデータを不揮発な形で記憶する大容量データ記憶装置１７１０と連通しうる。幾らかの実施形態においては、圧縮された音声ファイルは、ＭＰ３形式あるいは他の適切な圧縮された音声および／または映像形式に準拠したファイルを含む。大容量データ記憶装置１７１０は、ハードディスクドライブ（ＨＤＤ）および／またはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの、光学記憶デバイスおよび／または磁気記憶デバイスを含みうる。ＨＤＤは、直径が約１．８"より小さい一以上のプラッタを含むミニＨＤＤであってもよい。メディアプレーヤ１７００は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの低レイテンシー不揮発性メモリ、および／または他の適切な電子データ記憶装置などのメモリ１７１４に接続されうる。メディアプレーヤ１７００はＷＬＡＮインタフェース１７１６を介したＷＬＡＮへの接続を支援しうる。これら記載されたものに加えて他の実施例も考えられる。
【００９０】
入力フレームシーケンスから動き補償されたフレームを効率よく且つ正確に補間する様々な技法を含む、動き補償画像レートコンバータに係るシステムおよび方法を記載してきた。当業者であれば、本発明が記載された実施形態以外の方法によっても実施できることを理解するであろうし、記載された実施形態は例示を目的としたものであって、それに限定することは意図していない。本発明は以下に記載する請求項によってのみ限定される。
【特許請求の範囲】
【請求項１】
動き推定を適用する方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する工程と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する工程と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、方法。
【請求項２】
少なくとも１つの粗いアフィンパラメータを生成する工程と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する工程と、をさらに備える、請求項１に記載の方法。
【請求項３】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項１に記載の方法。
【請求項４】
前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項１に記載の方法。
【請求項５】
前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記隣接領域に対応するアフィン動きパラメータを計算する工程と、
前記計算されたアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項１に記載の方法。
【請求項６】
前記第２領域は、前記現在のフレームに適用されたセグメンテーションマスクおよびオブジェクトエッジ強さマップのうち少なくとも１つにより決定される、請求項１に記載の方法。
【請求項７】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項１に記載の方法。
【請求項８】
グローバル動き推定を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを位相相関させる工程と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する工程と、を備える、方法。
【請求項９】
前記現在のフレームと前記参照フレームとを位相相関させる工程は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする工程と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する工程と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する工程と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する工程と、を含む、請求項８に記載の方法。
【請求項１０】
前記相関面の最大値と前記相関面の前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項９に記載の方法。
【請求項１１】
前記デシメーションファクタは１、４、および９のいずれかである、請求項９に記載の方法。
【請求項１２】
前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める工程と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする工程と、をさらに備える、請求項８に記載の方法。
【請求項１３】
参照フレームとの関連で現在のフレームの対象領域について少なくとも１つの動きベクトルを生成する方法であって、
前記現在のフレームと前記参照フレームとの間のグローバル動きを推定する少なくとも１つのアフィンパラメータを提供する工程と、
前記少なくとも１つのアフィンパラメータに基づいて、前記現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する工程と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する工程と、
前記対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について前記少なくとも１つの動きベクトルを計算する工程と、を備える、方法。
【請求項１４】
前記少なくとも１つの動きベクトルを計算する工程は、
グローバル動きベクトル、補正グローバル動きベクトル、およびローカル動きベクトルのうち少なくとも１つを計算する工程を含む、請求項１３に記載の方法。
【請求項１５】
前記セグメンテーションマスクを生成する工程は、
前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める工程と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する工程と、を含む、請求項１３に記載の方法。
【請求項１６】
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する工程と、
前記オブジェクトが占める面積を数量化する工程と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する工程と、をさらに備える、請求項１５に記載の方法。
【請求項１７】
前記オブジェクトエッジ強さマップを生成する工程は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する工程と、
前記複数の固有値の最大値を決定する工程と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項１３に記載の方法。
【請求項１８】
前記対象領域に対応する前記動きベクトルに対して、メジアンフィルタリング、エッジ適合フィルタリング、およびガウスフィルタリングのうち少なくとも１つを適用する工程をさらに備え、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項１３に記載の方法。
【請求項１９】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する工程をさらに備える、請求項１３に記載の方法。
【請求項２０】
動き補償されたフレームレート変換を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを処理する工程と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する工程と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う工程と、を備える、方法。
【請求項２１】
前記動き補償補間された出力信号を後処理する工程をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより早いフレームレートを有する、請求項２０に記載の方法。
【請求項２２】
前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行うべき信号を生成する工程をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有する、請求項２０に記載の方法。
【請求項２３】
前記現在のフレームと前記参照フレームとを処理する工程は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う工程を含む、請求項２０に記載の方法。
【請求項２４】
動き補償フレームレートコンバータであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成するグローバルアフィン動き推定モジュールと、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成するローカル動き補正モジュールと、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。
【請求項２５】
前記グローバルアフィン動き推定モジュールは、
少なくとも１つの粗いアフィンパラメータを生成するグローバル並進推定・アフィン予測モジュールと、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成するアフィンパラメータリファインモジュールと、を含む、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２６】
前記アフィンパラメータリファインモジュールは、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくリファイン法を利用する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２７】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２８】
前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成するローカル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２９】
前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記隣接領域について計算したアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する補正グローバル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３０】
前記第２領域は、セグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを前記現在のフレームに適用することにより決定される、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３１】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３２】
前記動き補償フレームレートコンバータは、動き補償画像レートコンバータの内部に提供され、フレームシーケンスを有する入力信号を処理する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３３】
グローバル並進推定モジュールであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記現在のフレームと前記参照フレームとを位相相関させる位相相関モジュールと、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する回路と、を備える、グローバル並進推定モジュール。
【請求項３４】
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする回路と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する回路と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する回路と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する回路と、を備える請求項３３に記載のグローバル並進推定モジュール。
【請求項３５】
前記相関面の最大値と前記相関面の前記最大値の位置とを決定する回路をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項３４に記載のグローバル並進推定モジュール。
【請求項３６】
前記デシメーションファクタは１、４、および９のいずれかである、請求項３４に記載のグローバル並進推定モジュール。
【請求項３７】
前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める回路と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする回路と、を含む、請求項３３に記載のグローバル並進推定モジュール。
【請求項３８】
ローカル動き補正モジュールであって、
現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクと、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップと、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する回路と、を備える、ローカル動き補正モジュール。
【請求項３９】
前記少なくとも１つの動きベクトルを計算する回路は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する回路を含む、請求項３８に記載のローカル動き補正モジュール。
【請求項４０】
前記セグメンテーションマスクは、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める回路と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する回路と、を含む回路により生成される、請求項３８に記載のローカル動き補正モジュール。
【請求項４１】
前記セグメンテーションマスクは、さらに、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する回路と、
前記オブジェクトが占める面積を数量化する回路と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する回路と、を含む回路により生成される、請求項４０に記載のローカル動き補正モジュール。
【請求項４２】
前記オブジェクトエッジ強さマップは、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する回路と、
前記複数の固有値の最大値を決定する回路と、を含む回路により生成され、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域として適合される、請求項３８に記載のローカル動き補正モジュール。
【請求項４３】
メジアンフィルタ、エッジ適合フィルタ、およびガウスフィルタのうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項３８に記載のローカル動き補正モジュール。
【請求項４４】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項３８に記載のローカル動き補正モジュール。
【請求項４５】
動き補償画像レートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとを処理する処理モジュールと、
動き補償フレームレートコンバータと、を備え、
前記動き補償フレームレートコンバータは、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する回路と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う回路と、を含む、動き補償画像レートコンバータ。
【請求項４６】
前記動き補償フレームレートコンバータの出力信号を処理する後処理モジュールをさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより高いフレームレートを有する、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４７】
前記処理された現在のフレームと前記処理された参照フレームとを処理して、前記動き補償フレームレートコンバータへ供給すべき信号を生成する後処理モジュールをさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４８】
前記処理モジュールは、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う回路を含む、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４９】
動き補償フレームレートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する手段と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する手段と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する手段と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。
【請求項５０】
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定する手段は、
少なくとも１つの粗いアフィンパラメータを生成する手段と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する手段と、をさらに含む、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５１】
前記少なくとも１つの粗いアフィンパラメータをリファインする手段は、ＲＡＮＳＡＣに基づくリファイン法を利用する、請求項５０に記載の動き補償フレームレートコンバータ。
【請求項５２】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５３】
前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５４】
前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記隣接領域のアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５５】
前記現在のフレームに対してセグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを適用する手段に基づいて、前記第２領域を決定する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５６】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５７】
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを位相相関させる手段と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する手段と、を備える、グローバル並進推定モジュール。
【請求項５８】
前記現在のフレームと前記参照フレームとを位相相関させる手段は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする手段と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する手段と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する手段と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する手段と、をさらに含む請求項５７に記載のグローバル並進推定モジュール。
【請求項５９】
前記相関面の最大値と前記相関面の前記最大値の位置とを決定する手段をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項５８に記載のグローバル並進推定モジュール。
【請求項６０】
前記デシメーションファクタは１、４、および９のいずれかである、請求項５９に記載のグローバル並進推定モジュール。
【請求項６１】
前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める手段と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする手段と、を含む、請求項５９に記載のグローバル並進推定モジュール。
【請求項６２】
現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する手段と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する手段と、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する手段と、を備える、ローカル動き補正モジュール。
【請求項６３】
前記少なくとも１つの動きベクトルを計算する手段は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する手段を含む、請求項６２に記載のローカル動き補正モジュール。
【請求項６４】
前記セグメンテーションマスクを生成する手段は、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める手段と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する手段と、を含む、請求項６２に記載のローカル動き補正モジュール。
【請求項６５】
前記セグメンテーションマスクを生成する手段は、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する手段と、
前記オブジェクトが占める面積を数量化する手段と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する手段と、をさらに含む、請求項６４に記載のローカル動き補正モジュール。
【請求項６６】
前記オブジェクトエッジ強さマップを生成する手段は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する手段と、
前記複数の固有値の最大値を決定する手段と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項６２に記載のローカル動き補正モジュール。
【請求項６７】
メジアンフィルタ手段、エッジ適合フィルタ手段、およびガウスフィルタ手段のうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項６２に記載のローカル動き補正モジュール。
【請求項６８】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項６２に記載のローカル動き補正モジュール。
【請求項６９】
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを処理する手段と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する手段と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う手段と、を備える、動き補償画像レートコンバータ。
【請求項７０】
前記動き補償補間を行う手段からの出力信号を後処理する手段をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより速いフレームレートを有する、請求項６９に記載の動き補償画像レートコンバータ。
【請求項７１】
前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行う手段へ供給すべき信号を生成する手段をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項６９に記載の動き補償画像レートコンバータ。
【請求項７２】
前記現在のフレームと前記参照フレームとを処理する手段は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う手段を含む、請求項６９に記載の動き補償画像レートコンバータ。
【請求項１】
動き推定を適用する方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する工程と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する工程と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、方法。
【請求項２】
少なくとも１つの粗いアフィンパラメータを生成する工程と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する工程と、をさらに備える、請求項１に記載の方法。
【請求項３】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項１に記載の方法。
【請求項４】
前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項１に記載の方法。
【請求項５】
前記参照フレームの前記第２領域に隣接する隣接領域を特定する工程と、
前記隣接領域に対応するアフィン動きパラメータを計算する工程と、
前記計算されたアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する工程と、をさらに備え、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項１に記載の方法。
【請求項６】
前記第２領域は、前記現在のフレームに適用されたセグメンテーションマスクおよびオブジェクトエッジ強さマップのうち少なくとも１つにより決定される、請求項１に記載の方法。
【請求項７】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項１に記載の方法。
【請求項８】
グローバル動き推定を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを位相相関させる工程と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する工程と、を備える、方法。
【請求項９】
前記現在のフレームと前記参照フレームとを位相相関させる工程は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする工程と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する工程と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する工程と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する工程と、を含む、請求項８に記載の方法。
【請求項１０】
前記相関面の最大値と前記相関面の前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項９に記載の方法。
【請求項１１】
前記デシメーションファクタは１、４、および９のいずれかである、請求項９に記載の方法。
【請求項１２】
前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める工程と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする工程と、をさらに備える、請求項８に記載の方法。
【請求項１３】
参照フレームとの関連で現在のフレームの対象領域について少なくとも１つの動きベクトルを生成する方法であって、
前記現在のフレームと前記参照フレームとの間のグローバル動きを推定する少なくとも１つのアフィンパラメータを提供する工程と、
前記少なくとも１つのアフィンパラメータに基づいて、前記現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する工程と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する工程と、
前記対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について前記少なくとも１つの動きベクトルを計算する工程と、を備える、方法。
【請求項１４】
前記少なくとも１つの動きベクトルを計算する工程は、
グローバル動きベクトル、補正グローバル動きベクトル、およびローカル動きベクトルのうち少なくとも１つを計算する工程を含む、請求項１３に記載の方法。
【請求項１５】
前記セグメンテーションマスクを生成する工程は、
前記少なくとも１つのアフィンパラメータを利用して前記参照フレームを更新する工程と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める工程と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する工程と、を含む、請求項１３に記載の方法。
【請求項１６】
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する工程と、
前記オブジェクトが占める面積を数量化する工程と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する工程と、をさらに備える、請求項１５に記載の方法。
【請求項１７】
前記オブジェクトエッジ強さマップを生成する工程は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する工程と、
前記複数の固有値の最大値を決定する工程と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項１３に記載の方法。
【請求項１８】
前記対象領域に対応する前記動きベクトルに対して、メジアンフィルタリング、エッジ適合フィルタリング、およびガウスフィルタリングのうち少なくとも１つを適用する工程をさらに備え、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項１３に記載の方法。
【請求項１９】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する工程をさらに備える、請求項１３に記載の方法。
【請求項２０】
動き補償されたフレームレート変換を行う方法であって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する工程と、
前記現在のフレームと前記参照フレームとを処理する工程と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する工程と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う工程と、を備える、方法。
【請求項２１】
前記動き補償補間された出力信号を後処理する工程をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより早いフレームレートを有する、請求項２０に記載の方法。
【請求項２２】
前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行うべき信号を生成する工程をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有する、請求項２０に記載の方法。
【請求項２３】
前記現在のフレームと前記参照フレームとを処理する工程は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う工程を含む、請求項２０に記載の方法。
【請求項２４】
動き補償フレームレートコンバータであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成するグローバルアフィン動き推定モジュールと、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成するローカル動き補正モジュールと、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。
【請求項２５】
前記グローバルアフィン動き推定モジュールは、
少なくとも１つの粗いアフィンパラメータを生成するグローバル並進推定・アフィン予測モジュールと、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成するアフィンパラメータリファインモジュールと、を含む、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２６】
前記アフィンパラメータリファインモジュールは、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づくリファイン法を利用する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２７】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２８】
前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成するローカル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項２９】
前記ローカル動き補正モジュールは、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する回路と、
前記隣接領域について計算したアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する補正グローバル動き推定モジュールと、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３０】
前記第２領域は、セグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを前記現在のフレームに適用することにより決定される、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３１】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３２】
前記動き補償フレームレートコンバータは、動き補償画像レートコンバータの内部に提供され、フレームシーケンスを有する入力信号を処理する、請求項２４に記載の動き補償フレームレートコンバータ。
【請求項３３】
グローバル並進推定モジュールであって、
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する回路と、
前記現在のフレームと前記参照フレームとを位相相関させる位相相関モジュールと、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する回路と、を備える、グローバル並進推定モジュール。
【請求項３４】
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする回路と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する回路と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する回路と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する回路と、を備える請求項３３に記載のグローバル並進推定モジュール。
【請求項３５】
前記相関面の最大値と前記相関面の前記最大値の位置とを決定する回路をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項３４に記載のグローバル並進推定モジュール。
【請求項３６】
前記デシメーションファクタは１、４、および９のいずれかである、請求項３４に記載のグローバル並進推定モジュール。
【請求項３７】
前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める回路と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする回路と、を含む、請求項３３に記載のグローバル並進推定モジュール。
【請求項３８】
ローカル動き補正モジュールであって、
現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクと、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップと、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する回路と、を備える、ローカル動き補正モジュール。
【請求項３９】
前記少なくとも１つの動きベクトルを計算する回路は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する回路を含む、請求項３８に記載のローカル動き補正モジュール。
【請求項４０】
前記セグメンテーションマスクは、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する回路と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める回路と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する回路と、を含む回路により生成される、請求項３８に記載のローカル動き補正モジュール。
【請求項４１】
前記セグメンテーションマスクは、さらに、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する回路と、
前記オブジェクトが占める面積を数量化する回路と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する回路と、を含む回路により生成される、請求項４０に記載のローカル動き補正モジュール。
【請求項４２】
前記オブジェクトエッジ強さマップは、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する回路と、
前記複数の固有値の最大値を決定する回路と、を含む回路により生成され、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域として適合される、請求項３８に記載のローカル動き補正モジュール。
【請求項４３】
メジアンフィルタ、エッジ適合フィルタ、およびガウスフィルタのうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項３８に記載のローカル動き補正モジュール。
【請求項４４】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項３８に記載のローカル動き補正モジュール。
【請求項４５】
動き補償画像レートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する回路と、
前記参照フレームと前記現在のフレームとを処理する処理モジュールと、
動き補償フレームレートコンバータと、を備え、
前記動き補償フレームレートコンバータは、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する回路と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う回路と、を含む、動き補償画像レートコンバータ。
【請求項４６】
前記動き補償フレームレートコンバータの出力信号を処理する後処理モジュールをさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより高いフレームレートを有する、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４７】
前記処理された現在のフレームと前記処理された参照フレームとを処理して、前記動き補償フレームレートコンバータへ供給すべき信号を生成する後処理モジュールをさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４８】
前記処理モジュールは、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う回路を含む、請求項４５に記載の動き補償画像レートコンバータ。
【請求項４９】
動き補償フレームレートコンバータであって、
参照フレームと現在のフレームとを少なくとも有する入力信号を受信する手段と、
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定して、少なくとも１つのアフィン動きパラメータを生成する手段と、
前記参照フレームと前記現在のフレームとの間のローカル動きを推定して、少なくとも１つの動きベクトルを生成する手段と、を備え、
前記少なくとも１つのアフィン動きパラメータは、前記参照フレームと前記現在のフレームとの間の第１領域の前記グローバル動きを推定し、
前記少なくとも１つの動きベクトルは、前記参照フレームと前記現在のフレームとの間の第２領域のローカル動きを推定する、動き補償フレームレートコンバータ。
【請求項５０】
前記参照フレームと前記現在のフレームとの間のグローバル動きを推定する手段は、
少なくとも１つの粗いアフィンパラメータを生成する手段と、
前記少なくとも１つの粗いアフィンパラメータをリファインして、前記少なくとも１つのアフィン動きパラメータを生成する手段と、をさらに含む、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５１】
前記少なくとも１つの粗いアフィンパラメータをリファインする手段は、ＲＡＮＳＡＣに基づくリファイン法を利用する、請求項５０に記載の動き補償フレームレートコンバータ。
【請求項５２】
前記第１領域は、前記現在のフレームの背景領域であり、
前記少なくとも１つのアフィン動きパラメータは、前記第１領域の動き補償に利用される、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５３】
前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記参照フレームについて計算した前記隣接領域の動きベクトルを利用して、前記現在のフレームの前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、ローカル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５４】
前記参照フレームと前記現在のフレームとの間のローカル動きを推定する手段は、
前記参照フレームの前記第２領域に隣接する隣接領域を特定する手段と、
前記隣接領域のアフィン動きパラメータを利用して、前記第２領域の前記少なくとも１つの動きベクトルを生成する手段と、を含み、
前記少なくとも１つの動きベクトルは、補正グローバル動きベクトルである、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５５】
前記現在のフレームに対してセグメンテーションマスクおよびオブジェクトエッジ強さマップの少なくとも１つを適用する手段に基づいて、前記第２領域を決定する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５６】
補正グローバル動きベクトルおよびローカル動きベクトルの適用により生成されたエラーのうち小さいほうに基づき、前記補正グローバル動きベクトルおよび前記ローカル動きベクトルのいずれかを利用して、前記第２領域の動きを補償する手段をさらに備える、請求項４９に記載の動き補償フレームレートコンバータ。
【請求項５７】
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを位相相関させる手段と、
前記位相相関に基づいて前記現在のフレームと前記参照フレームとの間のグローバル並進動きを推定する少なくとも１つのアフィンパラメータを計算する手段と、を備える、グローバル並進推定モジュール。
【請求項５８】
前記現在のフレームと前記参照フレームとを位相相関させる手段は、
デシメーションファクタにより前記現在のフレームおよび前記参照フレームをそれぞれデシメーションする手段と、
前記デシメーションされた現在のフレームおよび参照フレームをフーリエ変換する手段と、
前記変換された現在のフレームに相関する位相を、前記変換された参照フレームに相関する位相から減算して、位相差アレイを生成する手段と、
前記位相差アレイの指数を逆フーリエ変換して、相関面を生成する手段と、をさらに含む請求項５７に記載のグローバル並進推定モジュール。
【請求項５９】
前記相関面の最大値と前記相関面の前記最大値の位置とを決定する手段をさらに備え、
前記最大値と前記最大値の位置とを利用して、前記少なくとも１つのアフィンパラメータを計算する、請求項５８に記載のグローバル並進推定モジュール。
【請求項６０】
前記デシメーションファクタは１、４、および９のいずれかである、請求項５９に記載のグローバル並進推定モジュール。
【請求項６１】
前記少なくとも１つのアフィンパラメータは、前記グローバル並進推定モジュールに連結されたアフィンパラメータリファインモジュールに提供され、
前記アフィンパラメータリファインモジュールは、
前記少なくとも１つのアフィンパラメータに基づいて前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差を求める手段と、
前記少なくとも１つのアフィンパラメータをリファインして前記差を最小にする手段と、を含む、請求項５９に記載のグローバル並進推定モジュール。
【請求項６２】
現在のフレームの前景領域および背景領域を特定するセグメンテーションマスクを生成する手段と、
前記現在のフレームの大きなエッジ強さを有する領域を特定するオブジェクトエッジ強さマップを生成する手段と、
対象領域との関連で、前記前景領域、前記背景領域、および前記大きなエッジ強さを有する領域に基づいて、前記対象領域について少なくとも１つの動きベクトルを計算する手段と、を備える、ローカル動き補正モジュール。
【請求項６３】
前記少なくとも１つの動きベクトルを計算する手段は、
前記対象領域について、補正グローバル動きベクトルおよびローカル動きベクトルのうち少なくとも１つを計算する手段を含む、請求項６２に記載のローカル動き補正モジュール。
【請求項６４】
前記セグメンテーションマスクを生成する手段は、
前記現在のフレームと前記参照フレームとの間のグローバル動きを特徴付ける少なくとも１つのアフィンパラメータを利用して、前記参照フレームを更新する手段と、
前記更新された参照フレームと前記現在のフレームとの間の差異フレームを求める手段と、
前記差異フレームの各領域を第１閾値と比較して、前記領域を前記前景領域および前記背景領域のいずれかに分類する手段と、を含む、請求項６２に記載のローカル動き補正モジュール。
【請求項６５】
前記セグメンテーションマスクを生成する手段は、
前記セグメンテーションマスク内に少なくとも２つの接続された領域を有するオブジェクトを決定する手段と、
前記オブジェクトが占める面積を数量化する手段と、
前記数量化された面積を第２閾値と比較して、前記少なくとも２つの接続された領域の各々を、前記前景領域および前記背景領域のいずれかに再分類する手段と、をさらに含む、請求項６４に記載のローカル動き補正モジュール。
【請求項６６】
前記オブジェクトエッジ強さマップを生成する手段は、
前記現在のフレームのサブ領域の垂直方向および水平方向に相関する複数の固有値を生成する手段と、
前記複数の固有値の最大値を決定する手段と、を含み、
前記最大値が画定する範囲に実質的に在る固有値を有する前記サブ領域の各々は、大きなエッジ強さを有する領域である、請求項６２に記載のローカル動き補正モジュール。
【請求項６７】
メジアンフィルタ手段、エッジ適合フィルタ手段、およびガウスフィルタ手段のうち少なくとも１つを利用して、前記対象領域に対応する前記動きベクトルをフィルタにかけ、
前記対象領域は、前記現在のフレームに適用された前記セグメンテーションマスクと前記オブジェクトエッジ強さマップとの組み合わせから選択される、請求項６２に記載のローカル動き補正モジュール。
【請求項６８】
前記少なくとも１つの動きベクトルを利用して、前記現在のフレームと前記参照フレームとの間に動き補償されたフレームを補間する、請求項６２に記載のローカル動き補正モジュール。
【請求項６９】
現在のフレームと参照フレームとを少なくとも有する入力信号を受信する手段と、
前記現在のフレームと前記参照フレームとを処理する手段と、
前記処理された現在のフレームと前記処理された参照フレームとの間のグローバル動きおよびローカル動きそれぞれを特徴付けるアフィングローバル動きパラメータおよび動きベクトルのうち少なくとも１つを提供する手段と、
前記アフィングローバル動きパラメータと前記動きベクトルのうち少なくとも１つを利用して、前記処理された現在のフレームと前記処理された参照フレームとの間に少なくとも１つのフレームを補間する、動き補償補間を行う手段と、を備える、動き補償画像レートコンバータ。
【請求項７０】
前記動き補償補間を行う手段からの出力信号を後処理する手段をさらに備え、
前記出力信号は、前記入力信号の本来のフレームレートより速いフレームレートを有する、請求項６９に記載の動き補償画像レートコンバータ。
【請求項７１】
前記処理された現在のフレームと前記処理された参照フレームとを後処理して、前記動き補償補間を行う手段へ供給すべき信号を生成する手段をさらに備え、
前記信号は、前記入力信号の本来のフレームレートに略等しいフレームレートを有するよう適合される、請求項６９に記載の動き補償画像レートコンバータ。
【請求項７２】
前記現在のフレームと前記参照フレームとを処理する手段は、
前記現在のフレームと前記参照フレームとに対してノイズ低減およびデインターレースのうち少なくとも１つを行う手段を含む、請求項６９に記載の動き補償画像レートコンバータ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１６Ｅ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１６Ｅ】
【公開番号】特開２０１３−４８４６５（Ｐ２０１３−４８４６５Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２３１５７３（Ｐ２０１２−２３１５７３）
【出願日】平成２４年１０月１９日（２０１２．１０．１９）
【分割の表示】特願２００９−５１８１７７（Ｐ２００９−５１８１７７）の分割
【原出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（５０２１８８６４２）マーベル ワールド トレード リミテッド (302)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２３１５７３（Ｐ２０１２−２３１５７３）
【出願日】平成２４年１０月１９日（２０１２．１０．１９）
【分割の表示】特願２００９−５１８１７７（Ｐ２００９−５１８１７７）の分割
【原出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（５０２１８８６４２）マーベル ワールド トレード リミテッド (302)
【Ｆターム（参考）】
[ Back to top ]