状態機械に基づく逆テレシネアルゴリズム
本明細書には、ビデオにおいて、どのセグメントがテレシネを起源とし、どのセグメントがＮＴＳＣ規格に準拠するかを判定するビデオ処理技術が開示される。テレシネ起源のビデオセグメント内の、３：２プルダウンのカレントプルダウンフェーズが推定され、テレシネ処理を反転するために用いられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本システムは、テレシネによって生成されたビデオと、従来技法により生成されたブロードキャストビデオとを区別する手順を組み込む。この判定に従い、この判定処理から導かれたデータは、テレシネされたフィルム画像の再構築を容易にする。
【０００２】
（３５Ｕ．Ｓ．Ｃ．１１９条の下の優先権主張）
本特許出願は、本願の譲受人に譲渡され、参照することによって本願に明確に組み込まれた、２００５年１０月２４日出願の「状態機械に基づく逆テレシネアルゴリズム」と題された米国特許仮出願６０／７３０,１４５に対する優先権を主張する。
【背景技術】
【０００３】
１９９０年代、テレビジョン技術は、ビデオを表示し送信するためにアナログ方法を用いることからディジタル方法を用いることへと変わった。かつて、現存するソリッドステート技術が、ビデオを処理する新たな方法をサポートするであろうことが認められると、ディジタルビデオの有益性が急速に認識された。ディジタルビデオは、異なる数のライン、及びインタレース方式又はプログレッシブ方式の何れかのラインパターンを有する様々なタイプの受信機に適合するように処理することができる。ケーブルテレビ業界は、帯域幅と分解能幅とのトレードオフを実質的に即座に変え、以前は１つのアナログビデオチャネルしか搬送できなかった帯域幅で、１２のビデオチャネル、又は７つから８つの優れた画質のディジタルビデオチャネルを送信することができるようになる機会を歓迎した。ディジタル画像は、もはや送信の際にマルチパスによる二重映像に影響されないだろう。
【０００４】
この新たな技術は、映画のような画像とワイドスクリーン形式を有するハイビジョンテレビ（ＨＤＴＶ）の可能性を提供した。現在の縦横比４：３と違って、ＨＤＴＶの縦横比は映画スクリーンと同様に１６：９である。ＨＤＴＶは、ＤＶＤ及び多くの映画館で使用されているディジルサウンドシステムと同じ、ドルビーディジタルサラウンドサウンドを含むことができる。ブロードキャスト局は、高解像度のＨＤＴＶ番組を送信するか、多数の低解像度の番組を送るか、同じ帯域幅でどちらも選択することができるだろう。ディジタルテレビジョンは、双方向のビデオ及びデータサービスも提供できるだろう。
【０００５】
ディジタルテレビジョンを牽引する基礎をなす技術は２つある。第１の技術は、一般に、ビデオをサポートするチャネルで利用できる高い信号対雑音比を利用する送信フォーマットを用いる。第２の技術は、１つの画像、又は画像のシーケンスに存在する、不必要な時間的及び空間的重複を除去するよう処理する信号を用いる。空間的重複は、変動性のあまりない、比較的大きなエリアとして画像内に現れる。時間的重複は、後や先の画像に再び現れる、画像中の構造のことを言う。信号処理動作は、全て同時に形成されたフレームやフィールドにおいて最も良く実行され、異なる時間にスキャンされた画素の合成画像はそうでない。テレシネによってシネマ画像から形成されたＮＴＳＣ準拠フィールドは、理想的な圧縮が達成されるために集められた不規則な時間基準を有する。しかし、テレシネで形成されたビデオは、基礎をなす異なる時間基準を有する真のＮＴＳＣビデオと混ざりうる。効果的なビデオ圧縮は、重複を排除するというビデオの特性を使用した結果である。従って、インタレースされた真のＮＴＳＣビデオから、テレシネされたビデオを自動的に区別し、テレシネされたビデオが検出されたら、テレシネ処理を反転処理し、テレシネされたビデオのソースであるシネマ画像を復元する技術が必要とされる。
【発明の開示】
【発明の概要】
【０００６】
この局面の一局面は、ビデオフレームから複数の評価指標を判定することと、判定した評価指標を用いてこのビデオフレームを逆テレシネすることとを備えるビデオフレーム処理方法を備える。
もう１つの局面は、上述したビデオフレームから複数の評価指標を判定するように構成されたコンピュータ計算モジュールと、判定した評価指標を用いてこのビデオフレームの逆テレシネを提供するように構成されたフェーズ検出器とを備えるビデオフレーム処理装置を備える。
【０００７】
さらにもう１つの局面は、上述したビデオフレームから複数の評価指標を判定する手段と、判定した評価指標を用いてこのビデオフレームを逆テレシネする手段とを備えるビデオフレーム処理装置を備える。
【０００８】
さらにもう１つの局面は、実行されると、機械に、上述したビデオフレームから複数の評価指標を判定させ、判定した評価指標を用いてこのビデオフレームを逆テレシネさせる命令を備えるディジタル化ビデオフレームを処理する機械読取可能媒体を備える。
【０００９】
さらにもう１つの局面は、複数のビデオフレームから複数の評価指標を判定し、判定した評価指標を用いてこのビデオフレームを逆テレシネするように構成されたビデオ圧縮プロセッサを備える。
【詳細な説明】
【００１０】
以下の詳細な説明は、本発明のある具体的な局面を示す。しかし本発明は、請求項によって定義され包含されるように、多数の異なる方法で具現化されることが可能である。本説明では、同一部位が、全体を通じて同一符号を用いて示される図面が参照される。
【００１１】
図１は、複数の端末への圧縮されたビデオのディジタル送信をサポートする送信システム５の機能ブロック図である。送信システム５は、ディジタルケーブルフィード又はディジタル化されたアナログ高信号／比率ソースでありうるディジタルビデオソース１を含む。ビデオ１は送信設備２で圧縮され、ネットワーク９を通して端末３へ送信するためのキャリアに変調されうる。
【００１２】
ビデオ圧縮は、このソースの特性が知られており、理想的に適合する処理の形式を選択するために使用されるとき、最良の結果を出す。たとえば、ブロードキャストされていないビデオはいくつかの方法で始まることができる。従来どおりビデオカメラやブロードキャストスタジオ等で生成されたブロードキャストビデオは、米国ではＮＴＳＣ規格に従う。この規格によれば、各フレームは２つのフィールドで作られている。一方のフィールドは奇数ラインから成り、他方は偶数ラインから成る。これは、「インタレース方式」フォーマットと称されうる。フレームは毎秒約３０フレーム生成されるが、フィールドは１／６０秒毎のテレビカメラ画像の記録である。一方、フィルムは毎秒２４フレームのショットで、各フレームは完全な画像から成る。これは、「プログレッシブ方式」フォーマットと称されうる。ＮＴＳＣの装置で送信するためには、「プログレッシブ方式」ビデオはテレシネ処理を経由して「インタレース方式」ビデオフォーマットに変換される。一局面において、以下で詳しく説明するように、このシステムはビデオがテレシネされている場合に有利に判定し、元のプログレッシブフレームを再生するための適当な変換を実行する。
【００１３】
図４は、インタレースされたビデオに変換されたプログレッシブフレームをテレシネした結果を示す。Ｆ１、Ｆ２、Ｆ３及びＦ４は、テレシナへの入力であるプログレッシブ画像である。各フレームの下の番号「１」及び「２」は、奇数又は偶数フィールドを示している。フレームレート内での差分を考慮して、いくつかのフィールドが繰り返されていることが注目される。図４はプルダウンフェーズＰ０、Ｐ１、Ｐ２、Ｐ３及びＰ４も示す。フェーズＰ０は、同一の第１のフィールドを有するＮＴＳＣ互換フレームの最初の２つに付される。続く４つのフレームは、フェーズＰ１、Ｐ２、Ｐ３及びＰ４に対応する。Ｐ２、Ｐ３と付されたフレームは同一の第２のフィールドを有することに注目されたい。フィルムフレームＦ１は３回スキャンされるので、２つの同一の連続して出力されたＮＴＳＣ互換の第１のフィールドが形成される。フィルムフレームＦ１から導かれた全てのＮＴＳＣフィールドは、同じフィルム画像から取り出され、従って同じ瞬間に取り出される。フィルムから導かれた他のＮＴＳＣフレームは、１／２４秒離れた隣接するフィールドを有しうる。
【００１４】
図２は、信号前処理ユニット１５を示すブロック図である。一局面において、信号前処理ユニット１５は、図１に示したディジタル送信設備内に存在することができる。図２では、信号前処理ユニット１５は、ネットワーク９経由で送信するデータの前処理のために用いられる。ソースビデオユニット１９で復元されたビデオフレームは、フェーズ検出器２１に渡される。フェーズ検出器２１は、テレシネを起源とするビデオと、標準的なブロードキャスト形式を起源とするビデオとを区別する。もしビデオがテレシネされていると判定されれば（ＹＥＳ判定パスがフェーズ検出器２１を出て）、テレシネされたビデオは逆テレシナ２３によって元のフォーマットに戻される。重複フレームが識別されて排除され、同じビデオフレームから導かれたフィールドは完成した画像に再び織り込まれる。再構築されたフィルム画像のシーケンスは、１／２４秒の規則的な間隔で鮮明に記録されているので、圧縮ユニット２７で実行される動作推定処理は、不規則な時間基準を有するテレシネされたデータよりもむしろ逆テレシネされた画像を用いてより正確となる。逆テレシネ動作を実行するために必要な付加的データは図２に示されていない。
【００１５】
従来のＮＴＳＣビデオが認識された場合（フェーズ検出器２１からのＮＯパス）、それは圧縮のためにデインタレーサ１７に送られ、１／６０秒の間隔で記録されるビデオフィールドとなる。異なるタイプのビデオがあらゆる時間に受信されうるので、フェーズ検出器２１はソース１９からストリームするビデオフレームを連続的に分析する。典型例として、ＮＴＳＣ規格に準拠するビデオはコマーシャルとしてテレシネのビデオ出力に挿入される。フェーズ検出器２１でなされる判定は正確でなくてはならない。テレシネされたかのように、従来通り得られたＮＴＳＣを処理することは、ビデオ信号内の情報の重大な損失を招きかねない。
【００１６】
信号前処理ユニット１５は、一緒にコード化された画像グループの構成を適応して変化させるために画像グループ（ＧＯＰ）パーティショナ２６をも組み込んでいる。これは、入力において、４つのタイプのコード化フレーム（Ｉ、Ｐ、Ｂ又は「スキップフレーム」）を、複数のビデオフレームに割り当てるように設計され、その結果、受信端末３での画像品質を保持しながら、時間的冗長の大半を除去する。画像グループパーティショナ２６及び圧縮モジュール２７による処理は、ノイズ除去のための２次元フィルターを提供するプリプロセッサ２５によって補助される。
【００１７】
一局面において、フェーズ検出器２１はビデオフレームの受信後、ある判定をする。この判定は、（ｉ）テレシネ出力からの現在のビデオ及び３：２プルダウンフェーズが、図４の定義１２に示した５つのフェーズＰ０、Ｐ１、Ｐ２、Ｐ３及びＰ４のうちの１つであるかどうか、及び（ｉｉ）このビデオは従来のＮＴＳＣとして生成されたかどうか、を含む。この判定はフェーズＰ５として示される。
【００１８】
これらの判定は、図２に示したフェーズ検出器２１の出力として現れる。フェーズ検出器２１からの「ＹＥＳ」と付されたパスは逆テレシナ２３を作動させる。これは、同じ画像から形成されたフィールドを区別し合成できるように、正しいプルダウンフェーズを提供していることを示す。フェーズ検出器２１からの「ＮＯ」と付されたパスは同様に、明確なＮＴＳＣフレームを最適処理のためにフィールドに分けるためのデインタレーサブロックを作動させる。
【００１９】
図３Ａは、ビデオストリームを逆テレシネする処理５０を説明するフローチャートである。一局面において、処理５０は、図２に示した信号前処理ユニット１５によって実行される。ステップ５１で始まり、信号前処理ユニット１５は、受信したビデオに基づき複数の評価指標を判定する。この局面において、評価指標判定ユニット５１の中で、同一のフレーム又は隣接したフレームから得られたフィールド間の差分の合計である４つの評価指標が形成される。５０に示される処理機能は、信号前処理ユニット１５に含まれうる図３Ｂに示したデバイス７０内で再現される。システム構造７０は、評価指標判定モジュール７１及び逆テレシナ７２を備える。４つの評価指標は５１内で、６つの仮定されたフェーズのそれぞれについて、受信したデータから得られる４つの評価指標と、これら評価指標のもっともらしい値との間のユークリッド距離の大きさにアセンブルされる。このユークリッド合計はブランチ情報と呼ばれる。受信した各フレームには、このような６つの数がある。各仮定されたフェーズは、可能なプルダウンフェーズの場合に、各受信したフレームとともに変化する後続フェーズを有する。遷移可能なパスは図７に示され、６７と付されている。このようなパスは６つある。判定処理は仮定されたフェーズの各パスについて、ユークリッド距離の合計と同等な６つの大きさを持つ。変化した状態に応じてこの手順を踏むために、この合計におけるユークリッド距離は古くなると減少する。ユークリッド距離の合計が最小であるフェーズトラックは、作動していると見なされる。このトラックのカレントフェーズは、「適用可能フェーズ」と呼ばれる。選択されたフェーズに基づいて逆テレシネすることは、このフェーズがＰ５でない限り、ブロック５２に示すように作用する。もしＰ５が選択された場合は、カレントフレームがデインタレースされる。
【００２０】
つまり、適応可能フェーズは、カレントプルダウンフェーズとして利用されるか、又は有効なＮＴＳＣフォーマットを有すると推定されているフレームのデインタレースを命令するインディケータとして利用されるかの何れかである。
【００２１】
図２に示したビデオインプット１９から受け取った全てのフレームには、４つの各評価指標について新しい数値データが計算される。これらは以下のように定義される。
【数１】
【００２２】
ＳＡＤという用語は、「絶対差分総和」（summed absolute differences）の略語である。評価指標を生成するために特徴付けられるフィールドが図５に図示されている。下付きの数字はフィールド番号を表し、文字は先行（＝Ｐ）又はカレント（＝Ｃ）の何れかを示す。図５内の括弧は、フィールド間の差を計算するペアのフィールドを表す。ＳＡＤＦＳは、図５の記載の中でＦＳと付された括弧で括られた、Ｃ１と付されたカレントフレームのフィールド１と、Ｐ１と付された先行フレームのフィールド１との間の差分を表す。ＳＡＤＳＳは、ＳＳと付された括弧で括られた、Ｃ２と付されたカレントフレームのフィールド２と、Ｐ２と付された先行フレームのフィールド２との間の差分を表す。ＳＡＤＣＯは、ＣＯと付された括弧で括られた、Ｃ２と付されたカレントフレームのフィールド２と、Ｃ１と付されたカレントフレームのフィールド１との間の差分を表す。ＳＡＤＰＯは、ＰＯと付された括弧で括られた、カレントフレームのフィールド１と、先行フレームのフィールド２との間の差分を表す。
【００２３】
各ＳＡＤの値を求める計算負荷を以下に説明する。従来のＮＴＳＣには、約４８０のアクティブな横線がある。４：３の縦横比を用いて、横方向と同じ解像度を得るためには、４８０×４／３＝６４０に等しい縦線、又は自由度が必要である。６４０×４８０ピクセルのビデオフォーマットは、高品位テレビ企画委員会（the Advanced Television Standards Committee）によって受け入れられているフォーマットのうちの１つである。従って、フレームの継続時間である１／３０秒毎に、６４０×４８０＝３０７，２００の新たなピクセルが生成される。新たなデータは、毎秒９．２×１０６ピクセルの割合で生成され、これは、このシステムを実行しているハードウェア又はソフトウェアが約１０Ｍバイト又はそれ以上のレートでデータを処理することを示唆している。これは、このシステムにおける高速部分の一つである。これは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はこれらの組み合わせによって実現することができる。ＳＡＤ計算機は、ハードウェア、ファームウェア、ミドルウェアのように別のデバイスの構成要素に組み込まれる独立型の構成要素となったり、又はプロセッサ上で実行されるマイクロコードやソフトウェアで実現されたり、又はこれらの組み合わせとなることができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実現される場合、計算を実行するプログラムコード又はコードセグメントは、たとえば記憶媒体のような機械読取可能媒体に記憶されうる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は、命令、データ構成又はプログラム文のあらゆる組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ又はメモリコンテンツを渡すこと及び／又は受け取ることによって、別のコードセグメントやハードウェア回路と結合することができる。
【００２４】
図６のフローチャート３０は、図５に示した関係を明示し、式１乃至４を図示するものである。これは、各々ＳＡＤＦＳ、ＳＡＤＣＯ、ＳＡＤＳＳ及びＳＡＤＰＯの最も新しい数値を保持するストレージロケーション４１、４２、４３及び４４を示す。これらは、先行する第１のフィールドデータの輝度値３１、カレントの第１のフィールドデータの輝度値３２、カレントの第２のフィールドデータの輝度値３３、及び先行の第２のフィールドデータの輝度値３４を処理する４つの絶対差分総和計算機によってそれぞれ生成される。評価指標を定義する総和において、「value（ｉ，ｊ）」という用語は、位置ｉ，ｊにおける輝度値であるとされる。また、この総和は、全てのアクティブピクセルに亘って行われ、アクティブピクセルのうち意味のあるサブセットに亘る総和も除外されない。
【００２５】
図８のフローチャート８０は、テレシネされたビデオを検出し、それを元のスキャンされたフィルム画像に復元するために反転するための処理を図解する、詳細なフローチャートである。ステップ８３に従って、４つの評価指標の低エンベロープ値が見出される。ＳＡＤ評価指標の低エンベロープは、ＳＡＤが入らない最も高い下限であり、動的に判定される数である。ステップ８５に従って、以下の式５乃至１０で定義されるブランチ情報量が、先行して判定された評価指標、低エンベロープ値、及び実験的に判定された定数Ａを考慮して判定される。連続するフェーズ値は整合が取れていないかもしれないので、この明白な不安定性を低減するために、量△がステップ８７において判定される。フェーズシーケンスの判定が、図７に示された課題のモデルと整合する場合に、フェーズは整合すると見なされる。このステップの後、我々は、カレントの数値△を用いて判定変数を計算するステップ８９へと移行する。判定変数計算機８９は、それにつながる８０各ブロックで生成された全ての情報を用いて、判定変数を求める。ステップ３０、８３、８５、８７及び８９は、図３に示した評価指標判定５１を詳述したものである。これらの変数から、適応可能フェーズが、フェーズセレクタ９０によって発見される。判定ステップ９１は図示したように、テレシネされたビデオを反転することか、示されるようにデインタレースすることかの何れかに、この適応可能フェーズを用いる。これは、図２に示したフェーズ検出器２１の動作の、より明確な記述である。一局面において、図８の処理は、図２に示したフェーズ検出器２１によって実行される。ステップ３０から始めて、検出器２１は、図５と関連して上述した処理によって複数の評価指標を判定し、ステップ８３、８５、８７、８９，９０及び９１を経て続く。
【００２６】
フローチャート８０は、カレントフェーズを推定する処理を図解している。このフローチャートはステップ８３において、ブランチ情報を計算するため、判定された評価指標と低エンベロープ値とを用いることを説明している。このブランチ情報は、上述したユークリッド距離であると認識されうる。このブランチ情報を生成するために用いられる典型的な式は、以下の式５乃至１０である。このブランチ情報数は、図９のブロック１０９で計算される。
【００２７】
処理されたビデオデータは、たとえばプロセッサ２５に接続された、ディスクタイプ記憶媒体（例えば、磁気又は光学）、又はチップ構成記憶媒体（例えば、ＲＯＭ、ＲＡＭ）を含むことができる記憶媒体に記憶されることができる。いくつかの局面において、逆テレシナ２３及びデインタレーサ１７はそれぞれ、この記憶媒体の一部又は全部を含むことができる。ブランチ情報量は以下の式によって求められる。
【数２】
【００２８】
このブランチ情報の詳細は、図１０のブランチ情報計算機１０９に示される。計算機１０９に図示されるように、ブランチ情報の生成には、ＳＡＤＦＳ及びＳＡＤＳＳの低エンベロープ値ＬＳ、ＳＡＤＰＯの低エンベロープ値ＬＰ、ＳＡＤＣＯの低エンベロープ値ＬＣを用いる。これらの低エンベロープ値は、ＨＰ及びＨＣを生成するために、単独又は予め定められた定数Ａとともに、ブランチ情報計算機において、距離オフセットとして用いられる。これらの値は、以下に記述する低エンベロープトラッカーで、最新で保持される。Ｈオフセットは以下のように定められる。
【数３】
【００２９】
ＬＳ、ＬＰ及びＬＣの値のトラッキング処理は、図１１Ａ、１１Ｂ及び１１Ｃで表されている。たとえば、図１１Ａの上部に示したＬＰ１００のトラッキングアルゴリズムを考慮されたい。評価指標ＳＡＤＰＯは、ＬＰのカレント値と閾値ＴＰとの和と、比較器１０５で比較される。もしＳＡＤＰＯがそれを上回れば、ブロック１１５に示すように、ＬＰのカレント値は変化しない。上回らなければ、ブロック１１３に示すように、ＬＰの新たな値はＳＡＤＰＯとＬＰとの一次結合となる。ブロック１１５の別の局面では、ＬＰの新たな数値はＬＰ＋ＴＰである。
【００３０】
図１１Ｂ及び１１Ｃに示された量ＬＳ及びＬＣも同様に計算される。同じ機能を有する図１１Ａ、１１Ｂ及び１１Ｃの処理ブロックは、同じ番号を付されているが、異なる変数のセットに関する演算を示すためにプライム記号（‘又は“）が付されている。たとえば、ＳＡＤＰＯとＬＣの一次結合が形成される場合、その演算はブロック１１３’に示される。ＬＰの場合と同様に、１１５’の別の局面はＬＣをＬＣ＋ＴＣによって置き換えることができる。
【００３１】
しかしＬＳの場合、図１１Ｃに示したアルゴリズムは、低エンベロープ値ＬＳが数値ＳＡＤＦＳとＳＡＤＳＳのどちらにも適応するため、これらの数値にＸをそれぞれラベルし、ＳＡＤＦＳとＳＡＤＳＳとを交互に処理する。ブロック１０８に示したＳＡＤＦＳのカレント値がブロック１０３でＸの位置に読み込まれ、続いてブロック１０７に示したＳＡＤＳＳのカレント値がブロック１０２でＸの位置に読み込まれると、ＳＡＤＦＳとＳＡＤＳＳの値が入れ替わる。ＬＰの場合と同様に、１１５”の別の局面はＬＳをＬＳ＋ＴＳに置き換えるだろう。カレントの低エンベロープ値をテストすることに用いられる量Ａ及び閾値は、実験によって予め定められている。
【００３２】
図９は、図８のステップ８９を実行する典型的な処理を図示するフローチャートである。図９は一般に判定変数を更新する処理を示す。ここで、６つの判定変数（６つの起こりうる判定に対応する）が、評価指標から導かれる新たな情報を用いて更新される。判定変数は以下のように求められる。
【数４】
【００３３】
量αは１（unity）より小さく、判定変数の以前の数値への依存性を限定する。αを用いることは、各ユークリッド距離の効果を、それらのデータエージとして減少することに等しい。フローチャート６２において、更新された判定変数は、ライン１０１、１０２、１０３、１０４、１０５及び１０６で利用できるように左に挙げられている。１つのフェーズ遷移パスの各判定変数は、ブロック１００のうちの１つにおいて、１より小さい数αが掛けられる。その後、減少された元の判定変数の値は、この減少された判定変数があるフェーズ遷移パスで、次のフェーズによってインデクスされたブランチ情報変数のカレント値に加えられる。これはブロック１１０で起こる。変数Ｄ５はブロック１９３で量△によってオフセットされる。△はブロック１１２で計算される。以下で説明するように、この量は、このシステムによって判定されるフェーズシーケンス内の不整合を減少するように選択される。判定変数の最小値はブロック２０で求められる。
【００３４】
つまり、各判定に特有の新たな情報は、カレントの判定変数の値を得るために、αが掛けられている、適切な判定変数の以前の値に加えられる。新たな判定は、新たな評価指標が得られると、なされることができる。従って、この技術は、あらゆるフレームのフィールド１及び２を受け取ると、新たな判定をすることができる。これらの判定変数は、先に述べたユークリッド距離の総和である。
【００３５】
適用可能フェーズは、最小の判定変数の下付き文字を有するものになるように選択される。この判定変数に基づく判定は、図８のブロック９０で明確になされる。ある判定は判定空間の中で可能となる。ブロック９１で説明しているように、これらの判定は以下である。（ｉ）適用可能フェーズがＰ５にない。ビデオを逆テレシネする。（逆テレシネ処理を導く適用可能フェーズの利用は図示されず。）（ｉｉ）適用可能フェーズがＰ５である。ビデオをデインタレースする。
【００３６】
各フェーズは、判定変数のカレント値に依存する状態と、６つのブランチ情報量との間の遷移を有する、有限状態機械の可能な状態と見なされうる。この遷移が以下のパターンに従う場合、
【数５】
【００３７】
機械は正確に動作する。コヒーレントな判定ストリングでは、本質的に変数である評価指標がビデオから得られるために、たまにエラーがありうる。この技術は、図７と矛盾するフェーズシーケンスを検出する。この動作は、図１２で概説される。アルゴリズム４００は、ブロック４０５で現在のフェーズ判定の下付き文字（＝ｘ）を記憶し、ブロック４０６で先行のフェーズ判定の下付き文字（＝ｙ）を記憶する。ブロック４１０で、ｘ＝ｙ＝５がテストされる。ブロック４１１で、以下の式がテストされる。
【数６】
【００３８】
もし何れかのテストが肯定的結果であれば、ブロック４２０で、この判定は矛盾していないと宣言される。もし何れのテストも肯定的結果を示さなければ、図９のブロック１９３で示したように、オフセットは図１３において計算され、Ｐ５と関連する判定変数であるＤ５へ加えられる。
【００３９】
Ｄ５の修正も、フェーズシーケンスの不整合に対する訂正動作を提供する、処理２００の一部として図１３に現れる。フローチャート２００のブロック２１０における整合性テストが失敗したと仮定する。ブロック２１０から導かれる「Ｎｏ」ブランチに沿って進行すると、次のブロック２１４でのテストは、ｉ＜５である全てのｉに対してＤ５＞Ｄｉであるか、あるいはｉ＜５であるとき少なくとも１つの変数ＤｉがＤ５より大きいか、というテストである。もし第１の場合が有効であれば、初期値がδ０であるパラメータδは、ブロック２１６で３δ０に変えられる。もし第２の場合が有効であれば、ブロック２１７でδは４δ０に変えられる。ブロック１１２Ｂにおいて、△の値は、以下の式を満たす△Ｂに更新される。
【数７】
【００４０】
再度ブロック２１０に戻り、判定ストリングが矛盾しないと判断されたと仮定する。パラメータδは、ブロック２１５において、以下の式によって定義されるδ＋に変えられる。
【数８】
【００４１】
ブロック１１２Ａで、δの新たな値が△Ａに挿入され、△との関係を以下のように更新する。
【数９】
【００４２】
その後、更新された値△は、ブロック１９３で、判定変数Ｄ５に加えられる。
【００４３】
図１４は、かつてプルダウンフェーズが判定されると、逆テレシネ処理が、システム３０１においてどのように進むかを示す。この情報を用いて、フィールド３０５及び３０５’は同じビデオフィールドを表すものとして特定される。２つのフィールドは平均化され、フレーム３２０を再構築するために、フィールド３０６と結合される。再構築されたフレームが３２０’である。同様の処理がフレーム３２２を再構築するであろう。フレーム３２１及び３２３から得られたフィールドは重複しない。これらのフレームは、第１及び第２のフィールドを一緒に組み上げることで再構築される。
【００４４】
上述した局面において、新たなフレームが受信される度、４つの新たな評価指標数値が求められ、新たに計算された判定変数を用いて、６つのセットの仮定がテストされる。他の処理構造は、判定変数を計算するように適応することができる。ビタビデコーダは、パス評価指標を形成するために、パスを作り上げるブランチの評価指標を加える。ここで定められる判定変数は、各々が新たな情報変数の"leaky"な総和であることと同様のルールによって形成される。（leakyな総和では、判定変数の先行値は、新たな情報データが加えられる前に、１(unity)より小さい数を掛けられる。）ビタビデコーダ構造は、この手順の動作をサポートするように修正されることができる。
【００４５】
現在の局面は、新たなフレームが１／３０秒毎に現れる従来のビデオ処理の用語を用いて記載されているが、この処理は、時間を遡って記録され処理されるフレームを適用されうることが注目される。判定空間は同じままであるが、インプットフレームのシーケンスの時間反転を反映する軽微な変更がある。たとえば、時間反転モードのコヒーレントなテレシネ判定ストリング（以下に示す）
Ｐ４ Ｐ３ Ｐ２ Ｐ１ Ｐ０
もまた、時間反転されるであろう。
【００４６】
第１の局面においてこの変形例を用いることによって、正しい判定を行う際に、２つの試み（一方は時間どおりに進行すること、他方は時間に逆進行すること）からなる判定処理を行うことが可能となろう。この２つの試みは独立していないが、各試みが異なる順序で評価指標を処理するという点で異なっている。
【００４７】
このアイディアは、処理のために未来のビデオフレームを記憶するために保持されるバッファと組み合わせて適用されるだろう。もしビデオセグメントが、順方向の処理において許容できない矛盾する結果を与えるとわかった場合、この手順は、バッファから未来のフレームを引き出し、逆方向にフレームを処理することによって、難しいビデオの引き伸ばしを克服しようと試みるであろう。
【００４８】
本願に記載されているビデオ処理は、ＰＡＬ方式のビデオにも適用することができる。
【００４９】
この局面は、フローチャート、フロー図、構造図又はブロック図として説明される処理として説明されうることが注目される。フローチャートは、連続した処理としてこの動作を説明するが、動作の大半は、並行して、又は同時に実行することができる。更に、動作の順序は、並べ替えられうる。処理は、動作が完全に遂行されると終了する。処理は、方法、関数、手順、サブルーチン、サブプログラム等に相当しうる。処理が関数に相当する場合、処理の終了は、関数が、呼び出し関数又はメイン関数に戻ることに相当する。
【００５０】
本明細書に開示されたデバイスの、１つ又は複数の要素が、このデバイスの動作に影響を与えることなく再構成されうることが、当業者には明白であるはずである。同様に、本明細書に開示されたデバイスの、１つ又は複数の要素が、このデバイスの動作に影響を与えることなく組み合わせられうる。当業者は、情報及び信号が、あらゆる種類の異なる技術を用いて示されうることを理解するであろう。当業者は更に、本明細書に開示された実施例に関連して記載された、実例となる様々な論理ブロック、モジュール、及びアルゴリズムステップが、電子工学的ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、又はこれらの組み合わせとして実現されうることをよく理解するであろう。ハードウェアとソフトウェアの相互置換性を明確に説明するために、様々な実例となる構成要素、ブロック、モジュール、回路、及びステップが、それらの機能観点から一般的に説明された。このような機能が、ハードウェアとして実現されるかソフトウェアとして実現されるかは、システム全体に課された設計制約及び特定のアプリケーションによる。当業者は、各特定のアプリケーションのために上述した機能を様々な方法で実装することができるが、このような実現の判定は、開示された方法の範囲から逸脱させるものとして解釈されてはならない。
【００５１】
本明細書で開示された例に関連して記述された方法やアルゴリズムのステップは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、または、これらの組み合わせによって具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。 典型的な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に存在することができる。ＡＳＩＣは、無線モデム内に存在することもできる。あるいはこのプロセッサと記憶媒体は、無線モデム内のディスクリート部品として存在することができる。
【００５２】
更に、本明細書で開示された例に関連して記述された様々な例示的論理ブロック、コンポーネント、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
【００５３】
開示された例における上記記載は、当業者をして、開示した方法および装置の活用または利用を可能とするために提供される。これらの例への様々な変形例もまた、当業者に対しては明らかであって、本明細書で定義された原理は、開示した発明および装置の主旨または範囲から逸脱することなくその他の例および追加例にも適用されうる。
【００５４】
本局面の記述は、例示することが意図されており、特許請求の範囲を限定することは意図されない。
【図面の簡単な説明】
【００５５】
【図１】図１は、ビデオ送信システムを示すブロック図である。
【図２】図２は、図１の構成要素のより詳細な局面を示すブロック図である。
【図３Ａ】図３Ａは、テレシネされたビデオを反転する処理を示すフローチャートである。
【図３Ｂ】図３Ｂは、逆テレシネのためのシステムの構成を示すブロックである。
【図４】図４は、フェーズ図である。
【図５】図５は、複数の評価指標を生成するために用いられるフレームの各々を識別する。
【図６】図６は、図５の評価指標がどのようにして生成されるかを示すフローチャートである。
【図７】図７は、適用可能フェーズの遷移を示すトレリスである。
【図８】図８は、推定されたフェーズに達するための評価指標の処理を示すフローチャートである。
【図９】図９は、決定変数を生成するためのシステムを示すデータフロー図である。
【図１０】図１０は、ブランチ情報の数値を求めるために用いられる変数を示すブロック図である。
【図１１Ａ】図１１Ａは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１１Ｂ】図１１Ｂは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１１Ｃ】図１１Ｃは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１２】図１２は、整合性検出器の動作を示すフローチャートである。
【図１３】図１３は、フェーズ判定における不整合を補正するために用いられる決定変数に対するオフセットを計算する処理を示すフローチャートである。
【図１４】図１４は、プルダウンフェーズが推定された後の、逆テレシネの動作を示す。
【技術分野】
【０００１】
本システムは、テレシネによって生成されたビデオと、従来技法により生成されたブロードキャストビデオとを区別する手順を組み込む。この判定に従い、この判定処理から導かれたデータは、テレシネされたフィルム画像の再構築を容易にする。
【０００２】
（３５Ｕ．Ｓ．Ｃ．１１９条の下の優先権主張）
本特許出願は、本願の譲受人に譲渡され、参照することによって本願に明確に組み込まれた、２００５年１０月２４日出願の「状態機械に基づく逆テレシネアルゴリズム」と題された米国特許仮出願６０／７３０,１４５に対する優先権を主張する。
【背景技術】
【０００３】
１９９０年代、テレビジョン技術は、ビデオを表示し送信するためにアナログ方法を用いることからディジタル方法を用いることへと変わった。かつて、現存するソリッドステート技術が、ビデオを処理する新たな方法をサポートするであろうことが認められると、ディジタルビデオの有益性が急速に認識された。ディジタルビデオは、異なる数のライン、及びインタレース方式又はプログレッシブ方式の何れかのラインパターンを有する様々なタイプの受信機に適合するように処理することができる。ケーブルテレビ業界は、帯域幅と分解能幅とのトレードオフを実質的に即座に変え、以前は１つのアナログビデオチャネルしか搬送できなかった帯域幅で、１２のビデオチャネル、又は７つから８つの優れた画質のディジタルビデオチャネルを送信することができるようになる機会を歓迎した。ディジタル画像は、もはや送信の際にマルチパスによる二重映像に影響されないだろう。
【０００４】
この新たな技術は、映画のような画像とワイドスクリーン形式を有するハイビジョンテレビ（ＨＤＴＶ）の可能性を提供した。現在の縦横比４：３と違って、ＨＤＴＶの縦横比は映画スクリーンと同様に１６：９である。ＨＤＴＶは、ＤＶＤ及び多くの映画館で使用されているディジルサウンドシステムと同じ、ドルビーディジタルサラウンドサウンドを含むことができる。ブロードキャスト局は、高解像度のＨＤＴＶ番組を送信するか、多数の低解像度の番組を送るか、同じ帯域幅でどちらも選択することができるだろう。ディジタルテレビジョンは、双方向のビデオ及びデータサービスも提供できるだろう。
【０００５】
ディジタルテレビジョンを牽引する基礎をなす技術は２つある。第１の技術は、一般に、ビデオをサポートするチャネルで利用できる高い信号対雑音比を利用する送信フォーマットを用いる。第２の技術は、１つの画像、又は画像のシーケンスに存在する、不必要な時間的及び空間的重複を除去するよう処理する信号を用いる。空間的重複は、変動性のあまりない、比較的大きなエリアとして画像内に現れる。時間的重複は、後や先の画像に再び現れる、画像中の構造のことを言う。信号処理動作は、全て同時に形成されたフレームやフィールドにおいて最も良く実行され、異なる時間にスキャンされた画素の合成画像はそうでない。テレシネによってシネマ画像から形成されたＮＴＳＣ準拠フィールドは、理想的な圧縮が達成されるために集められた不規則な時間基準を有する。しかし、テレシネで形成されたビデオは、基礎をなす異なる時間基準を有する真のＮＴＳＣビデオと混ざりうる。効果的なビデオ圧縮は、重複を排除するというビデオの特性を使用した結果である。従って、インタレースされた真のＮＴＳＣビデオから、テレシネされたビデオを自動的に区別し、テレシネされたビデオが検出されたら、テレシネ処理を反転処理し、テレシネされたビデオのソースであるシネマ画像を復元する技術が必要とされる。
【発明の開示】
【発明の概要】
【０００６】
この局面の一局面は、ビデオフレームから複数の評価指標を判定することと、判定した評価指標を用いてこのビデオフレームを逆テレシネすることとを備えるビデオフレーム処理方法を備える。
もう１つの局面は、上述したビデオフレームから複数の評価指標を判定するように構成されたコンピュータ計算モジュールと、判定した評価指標を用いてこのビデオフレームの逆テレシネを提供するように構成されたフェーズ検出器とを備えるビデオフレーム処理装置を備える。
【０００７】
さらにもう１つの局面は、上述したビデオフレームから複数の評価指標を判定する手段と、判定した評価指標を用いてこのビデオフレームを逆テレシネする手段とを備えるビデオフレーム処理装置を備える。
【０００８】
さらにもう１つの局面は、実行されると、機械に、上述したビデオフレームから複数の評価指標を判定させ、判定した評価指標を用いてこのビデオフレームを逆テレシネさせる命令を備えるディジタル化ビデオフレームを処理する機械読取可能媒体を備える。
【０００９】
さらにもう１つの局面は、複数のビデオフレームから複数の評価指標を判定し、判定した評価指標を用いてこのビデオフレームを逆テレシネするように構成されたビデオ圧縮プロセッサを備える。
【詳細な説明】
【００１０】
以下の詳細な説明は、本発明のある具体的な局面を示す。しかし本発明は、請求項によって定義され包含されるように、多数の異なる方法で具現化されることが可能である。本説明では、同一部位が、全体を通じて同一符号を用いて示される図面が参照される。
【００１１】
図１は、複数の端末への圧縮されたビデオのディジタル送信をサポートする送信システム５の機能ブロック図である。送信システム５は、ディジタルケーブルフィード又はディジタル化されたアナログ高信号／比率ソースでありうるディジタルビデオソース１を含む。ビデオ１は送信設備２で圧縮され、ネットワーク９を通して端末３へ送信するためのキャリアに変調されうる。
【００１２】
ビデオ圧縮は、このソースの特性が知られており、理想的に適合する処理の形式を選択するために使用されるとき、最良の結果を出す。たとえば、ブロードキャストされていないビデオはいくつかの方法で始まることができる。従来どおりビデオカメラやブロードキャストスタジオ等で生成されたブロードキャストビデオは、米国ではＮＴＳＣ規格に従う。この規格によれば、各フレームは２つのフィールドで作られている。一方のフィールドは奇数ラインから成り、他方は偶数ラインから成る。これは、「インタレース方式」フォーマットと称されうる。フレームは毎秒約３０フレーム生成されるが、フィールドは１／６０秒毎のテレビカメラ画像の記録である。一方、フィルムは毎秒２４フレームのショットで、各フレームは完全な画像から成る。これは、「プログレッシブ方式」フォーマットと称されうる。ＮＴＳＣの装置で送信するためには、「プログレッシブ方式」ビデオはテレシネ処理を経由して「インタレース方式」ビデオフォーマットに変換される。一局面において、以下で詳しく説明するように、このシステムはビデオがテレシネされている場合に有利に判定し、元のプログレッシブフレームを再生するための適当な変換を実行する。
【００１３】
図４は、インタレースされたビデオに変換されたプログレッシブフレームをテレシネした結果を示す。Ｆ１、Ｆ２、Ｆ３及びＦ４は、テレシナへの入力であるプログレッシブ画像である。各フレームの下の番号「１」及び「２」は、奇数又は偶数フィールドを示している。フレームレート内での差分を考慮して、いくつかのフィールドが繰り返されていることが注目される。図４はプルダウンフェーズＰ０、Ｐ１、Ｐ２、Ｐ３及びＰ４も示す。フェーズＰ０は、同一の第１のフィールドを有するＮＴＳＣ互換フレームの最初の２つに付される。続く４つのフレームは、フェーズＰ１、Ｐ２、Ｐ３及びＰ４に対応する。Ｐ２、Ｐ３と付されたフレームは同一の第２のフィールドを有することに注目されたい。フィルムフレームＦ１は３回スキャンされるので、２つの同一の連続して出力されたＮＴＳＣ互換の第１のフィールドが形成される。フィルムフレームＦ１から導かれた全てのＮＴＳＣフィールドは、同じフィルム画像から取り出され、従って同じ瞬間に取り出される。フィルムから導かれた他のＮＴＳＣフレームは、１／２４秒離れた隣接するフィールドを有しうる。
【００１４】
図２は、信号前処理ユニット１５を示すブロック図である。一局面において、信号前処理ユニット１５は、図１に示したディジタル送信設備内に存在することができる。図２では、信号前処理ユニット１５は、ネットワーク９経由で送信するデータの前処理のために用いられる。ソースビデオユニット１９で復元されたビデオフレームは、フェーズ検出器２１に渡される。フェーズ検出器２１は、テレシネを起源とするビデオと、標準的なブロードキャスト形式を起源とするビデオとを区別する。もしビデオがテレシネされていると判定されれば（ＹＥＳ判定パスがフェーズ検出器２１を出て）、テレシネされたビデオは逆テレシナ２３によって元のフォーマットに戻される。重複フレームが識別されて排除され、同じビデオフレームから導かれたフィールドは完成した画像に再び織り込まれる。再構築されたフィルム画像のシーケンスは、１／２４秒の規則的な間隔で鮮明に記録されているので、圧縮ユニット２７で実行される動作推定処理は、不規則な時間基準を有するテレシネされたデータよりもむしろ逆テレシネされた画像を用いてより正確となる。逆テレシネ動作を実行するために必要な付加的データは図２に示されていない。
【００１５】
従来のＮＴＳＣビデオが認識された場合（フェーズ検出器２１からのＮＯパス）、それは圧縮のためにデインタレーサ１７に送られ、１／６０秒の間隔で記録されるビデオフィールドとなる。異なるタイプのビデオがあらゆる時間に受信されうるので、フェーズ検出器２１はソース１９からストリームするビデオフレームを連続的に分析する。典型例として、ＮＴＳＣ規格に準拠するビデオはコマーシャルとしてテレシネのビデオ出力に挿入される。フェーズ検出器２１でなされる判定は正確でなくてはならない。テレシネされたかのように、従来通り得られたＮＴＳＣを処理することは、ビデオ信号内の情報の重大な損失を招きかねない。
【００１６】
信号前処理ユニット１５は、一緒にコード化された画像グループの構成を適応して変化させるために画像グループ（ＧＯＰ）パーティショナ２６をも組み込んでいる。これは、入力において、４つのタイプのコード化フレーム（Ｉ、Ｐ、Ｂ又は「スキップフレーム」）を、複数のビデオフレームに割り当てるように設計され、その結果、受信端末３での画像品質を保持しながら、時間的冗長の大半を除去する。画像グループパーティショナ２６及び圧縮モジュール２７による処理は、ノイズ除去のための２次元フィルターを提供するプリプロセッサ２５によって補助される。
【００１７】
一局面において、フェーズ検出器２１はビデオフレームの受信後、ある判定をする。この判定は、（ｉ）テレシネ出力からの現在のビデオ及び３：２プルダウンフェーズが、図４の定義１２に示した５つのフェーズＰ０、Ｐ１、Ｐ２、Ｐ３及びＰ４のうちの１つであるかどうか、及び（ｉｉ）このビデオは従来のＮＴＳＣとして生成されたかどうか、を含む。この判定はフェーズＰ５として示される。
【００１８】
これらの判定は、図２に示したフェーズ検出器２１の出力として現れる。フェーズ検出器２１からの「ＹＥＳ」と付されたパスは逆テレシナ２３を作動させる。これは、同じ画像から形成されたフィールドを区別し合成できるように、正しいプルダウンフェーズを提供していることを示す。フェーズ検出器２１からの「ＮＯ」と付されたパスは同様に、明確なＮＴＳＣフレームを最適処理のためにフィールドに分けるためのデインタレーサブロックを作動させる。
【００１９】
図３Ａは、ビデオストリームを逆テレシネする処理５０を説明するフローチャートである。一局面において、処理５０は、図２に示した信号前処理ユニット１５によって実行される。ステップ５１で始まり、信号前処理ユニット１５は、受信したビデオに基づき複数の評価指標を判定する。この局面において、評価指標判定ユニット５１の中で、同一のフレーム又は隣接したフレームから得られたフィールド間の差分の合計である４つの評価指標が形成される。５０に示される処理機能は、信号前処理ユニット１５に含まれうる図３Ｂに示したデバイス７０内で再現される。システム構造７０は、評価指標判定モジュール７１及び逆テレシナ７２を備える。４つの評価指標は５１内で、６つの仮定されたフェーズのそれぞれについて、受信したデータから得られる４つの評価指標と、これら評価指標のもっともらしい値との間のユークリッド距離の大きさにアセンブルされる。このユークリッド合計はブランチ情報と呼ばれる。受信した各フレームには、このような６つの数がある。各仮定されたフェーズは、可能なプルダウンフェーズの場合に、各受信したフレームとともに変化する後続フェーズを有する。遷移可能なパスは図７に示され、６７と付されている。このようなパスは６つある。判定処理は仮定されたフェーズの各パスについて、ユークリッド距離の合計と同等な６つの大きさを持つ。変化した状態に応じてこの手順を踏むために、この合計におけるユークリッド距離は古くなると減少する。ユークリッド距離の合計が最小であるフェーズトラックは、作動していると見なされる。このトラックのカレントフェーズは、「適用可能フェーズ」と呼ばれる。選択されたフェーズに基づいて逆テレシネすることは、このフェーズがＰ５でない限り、ブロック５２に示すように作用する。もしＰ５が選択された場合は、カレントフレームがデインタレースされる。
【００２０】
つまり、適応可能フェーズは、カレントプルダウンフェーズとして利用されるか、又は有効なＮＴＳＣフォーマットを有すると推定されているフレームのデインタレースを命令するインディケータとして利用されるかの何れかである。
【００２１】
図２に示したビデオインプット１９から受け取った全てのフレームには、４つの各評価指標について新しい数値データが計算される。これらは以下のように定義される。
【数１】
【００２２】
ＳＡＤという用語は、「絶対差分総和」（summed absolute differences）の略語である。評価指標を生成するために特徴付けられるフィールドが図５に図示されている。下付きの数字はフィールド番号を表し、文字は先行（＝Ｐ）又はカレント（＝Ｃ）の何れかを示す。図５内の括弧は、フィールド間の差を計算するペアのフィールドを表す。ＳＡＤＦＳは、図５の記載の中でＦＳと付された括弧で括られた、Ｃ１と付されたカレントフレームのフィールド１と、Ｐ１と付された先行フレームのフィールド１との間の差分を表す。ＳＡＤＳＳは、ＳＳと付された括弧で括られた、Ｃ２と付されたカレントフレームのフィールド２と、Ｐ２と付された先行フレームのフィールド２との間の差分を表す。ＳＡＤＣＯは、ＣＯと付された括弧で括られた、Ｃ２と付されたカレントフレームのフィールド２と、Ｃ１と付されたカレントフレームのフィールド１との間の差分を表す。ＳＡＤＰＯは、ＰＯと付された括弧で括られた、カレントフレームのフィールド１と、先行フレームのフィールド２との間の差分を表す。
【００２３】
各ＳＡＤの値を求める計算負荷を以下に説明する。従来のＮＴＳＣには、約４８０のアクティブな横線がある。４：３の縦横比を用いて、横方向と同じ解像度を得るためには、４８０×４／３＝６４０に等しい縦線、又は自由度が必要である。６４０×４８０ピクセルのビデオフォーマットは、高品位テレビ企画委員会（the Advanced Television Standards Committee）によって受け入れられているフォーマットのうちの１つである。従って、フレームの継続時間である１／３０秒毎に、６４０×４８０＝３０７，２００の新たなピクセルが生成される。新たなデータは、毎秒９．２×１０６ピクセルの割合で生成され、これは、このシステムを実行しているハードウェア又はソフトウェアが約１０Ｍバイト又はそれ以上のレートでデータを処理することを示唆している。これは、このシステムにおける高速部分の一つである。これは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はこれらの組み合わせによって実現することができる。ＳＡＤ計算機は、ハードウェア、ファームウェア、ミドルウェアのように別のデバイスの構成要素に組み込まれる独立型の構成要素となったり、又はプロセッサ上で実行されるマイクロコードやソフトウェアで実現されたり、又はこれらの組み合わせとなることができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実現される場合、計算を実行するプログラムコード又はコードセグメントは、たとえば記憶媒体のような機械読取可能媒体に記憶されうる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は、命令、データ構成又はプログラム文のあらゆる組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ又はメモリコンテンツを渡すこと及び／又は受け取ることによって、別のコードセグメントやハードウェア回路と結合することができる。
【００２４】
図６のフローチャート３０は、図５に示した関係を明示し、式１乃至４を図示するものである。これは、各々ＳＡＤＦＳ、ＳＡＤＣＯ、ＳＡＤＳＳ及びＳＡＤＰＯの最も新しい数値を保持するストレージロケーション４１、４２、４３及び４４を示す。これらは、先行する第１のフィールドデータの輝度値３１、カレントの第１のフィールドデータの輝度値３２、カレントの第２のフィールドデータの輝度値３３、及び先行の第２のフィールドデータの輝度値３４を処理する４つの絶対差分総和計算機によってそれぞれ生成される。評価指標を定義する総和において、「value（ｉ，ｊ）」という用語は、位置ｉ，ｊにおける輝度値であるとされる。また、この総和は、全てのアクティブピクセルに亘って行われ、アクティブピクセルのうち意味のあるサブセットに亘る総和も除外されない。
【００２５】
図８のフローチャート８０は、テレシネされたビデオを検出し、それを元のスキャンされたフィルム画像に復元するために反転するための処理を図解する、詳細なフローチャートである。ステップ８３に従って、４つの評価指標の低エンベロープ値が見出される。ＳＡＤ評価指標の低エンベロープは、ＳＡＤが入らない最も高い下限であり、動的に判定される数である。ステップ８５に従って、以下の式５乃至１０で定義されるブランチ情報量が、先行して判定された評価指標、低エンベロープ値、及び実験的に判定された定数Ａを考慮して判定される。連続するフェーズ値は整合が取れていないかもしれないので、この明白な不安定性を低減するために、量△がステップ８７において判定される。フェーズシーケンスの判定が、図７に示された課題のモデルと整合する場合に、フェーズは整合すると見なされる。このステップの後、我々は、カレントの数値△を用いて判定変数を計算するステップ８９へと移行する。判定変数計算機８９は、それにつながる８０各ブロックで生成された全ての情報を用いて、判定変数を求める。ステップ３０、８３、８５、８７及び８９は、図３に示した評価指標判定５１を詳述したものである。これらの変数から、適応可能フェーズが、フェーズセレクタ９０によって発見される。判定ステップ９１は図示したように、テレシネされたビデオを反転することか、示されるようにデインタレースすることかの何れかに、この適応可能フェーズを用いる。これは、図２に示したフェーズ検出器２１の動作の、より明確な記述である。一局面において、図８の処理は、図２に示したフェーズ検出器２１によって実行される。ステップ３０から始めて、検出器２１は、図５と関連して上述した処理によって複数の評価指標を判定し、ステップ８３、８５、８７、８９，９０及び９１を経て続く。
【００２６】
フローチャート８０は、カレントフェーズを推定する処理を図解している。このフローチャートはステップ８３において、ブランチ情報を計算するため、判定された評価指標と低エンベロープ値とを用いることを説明している。このブランチ情報は、上述したユークリッド距離であると認識されうる。このブランチ情報を生成するために用いられる典型的な式は、以下の式５乃至１０である。このブランチ情報数は、図９のブロック１０９で計算される。
【００２７】
処理されたビデオデータは、たとえばプロセッサ２５に接続された、ディスクタイプ記憶媒体（例えば、磁気又は光学）、又はチップ構成記憶媒体（例えば、ＲＯＭ、ＲＡＭ）を含むことができる記憶媒体に記憶されることができる。いくつかの局面において、逆テレシナ２３及びデインタレーサ１７はそれぞれ、この記憶媒体の一部又は全部を含むことができる。ブランチ情報量は以下の式によって求められる。
【数２】
【００２８】
このブランチ情報の詳細は、図１０のブランチ情報計算機１０９に示される。計算機１０９に図示されるように、ブランチ情報の生成には、ＳＡＤＦＳ及びＳＡＤＳＳの低エンベロープ値ＬＳ、ＳＡＤＰＯの低エンベロープ値ＬＰ、ＳＡＤＣＯの低エンベロープ値ＬＣを用いる。これらの低エンベロープ値は、ＨＰ及びＨＣを生成するために、単独又は予め定められた定数Ａとともに、ブランチ情報計算機において、距離オフセットとして用いられる。これらの値は、以下に記述する低エンベロープトラッカーで、最新で保持される。Ｈオフセットは以下のように定められる。
【数３】
【００２９】
ＬＳ、ＬＰ及びＬＣの値のトラッキング処理は、図１１Ａ、１１Ｂ及び１１Ｃで表されている。たとえば、図１１Ａの上部に示したＬＰ１００のトラッキングアルゴリズムを考慮されたい。評価指標ＳＡＤＰＯは、ＬＰのカレント値と閾値ＴＰとの和と、比較器１０５で比較される。もしＳＡＤＰＯがそれを上回れば、ブロック１１５に示すように、ＬＰのカレント値は変化しない。上回らなければ、ブロック１１３に示すように、ＬＰの新たな値はＳＡＤＰＯとＬＰとの一次結合となる。ブロック１１５の別の局面では、ＬＰの新たな数値はＬＰ＋ＴＰである。
【００３０】
図１１Ｂ及び１１Ｃに示された量ＬＳ及びＬＣも同様に計算される。同じ機能を有する図１１Ａ、１１Ｂ及び１１Ｃの処理ブロックは、同じ番号を付されているが、異なる変数のセットに関する演算を示すためにプライム記号（‘又は“）が付されている。たとえば、ＳＡＤＰＯとＬＣの一次結合が形成される場合、その演算はブロック１１３’に示される。ＬＰの場合と同様に、１１５’の別の局面はＬＣをＬＣ＋ＴＣによって置き換えることができる。
【００３１】
しかしＬＳの場合、図１１Ｃに示したアルゴリズムは、低エンベロープ値ＬＳが数値ＳＡＤＦＳとＳＡＤＳＳのどちらにも適応するため、これらの数値にＸをそれぞれラベルし、ＳＡＤＦＳとＳＡＤＳＳとを交互に処理する。ブロック１０８に示したＳＡＤＦＳのカレント値がブロック１０３でＸの位置に読み込まれ、続いてブロック１０７に示したＳＡＤＳＳのカレント値がブロック１０２でＸの位置に読み込まれると、ＳＡＤＦＳとＳＡＤＳＳの値が入れ替わる。ＬＰの場合と同様に、１１５”の別の局面はＬＳをＬＳ＋ＴＳに置き換えるだろう。カレントの低エンベロープ値をテストすることに用いられる量Ａ及び閾値は、実験によって予め定められている。
【００３２】
図９は、図８のステップ８９を実行する典型的な処理を図示するフローチャートである。図９は一般に判定変数を更新する処理を示す。ここで、６つの判定変数（６つの起こりうる判定に対応する）が、評価指標から導かれる新たな情報を用いて更新される。判定変数は以下のように求められる。
【数４】
【００３３】
量αは１（unity）より小さく、判定変数の以前の数値への依存性を限定する。αを用いることは、各ユークリッド距離の効果を、それらのデータエージとして減少することに等しい。フローチャート６２において、更新された判定変数は、ライン１０１、１０２、１０３、１０４、１０５及び１０６で利用できるように左に挙げられている。１つのフェーズ遷移パスの各判定変数は、ブロック１００のうちの１つにおいて、１より小さい数αが掛けられる。その後、減少された元の判定変数の値は、この減少された判定変数があるフェーズ遷移パスで、次のフェーズによってインデクスされたブランチ情報変数のカレント値に加えられる。これはブロック１１０で起こる。変数Ｄ５はブロック１９３で量△によってオフセットされる。△はブロック１１２で計算される。以下で説明するように、この量は、このシステムによって判定されるフェーズシーケンス内の不整合を減少するように選択される。判定変数の最小値はブロック２０で求められる。
【００３４】
つまり、各判定に特有の新たな情報は、カレントの判定変数の値を得るために、αが掛けられている、適切な判定変数の以前の値に加えられる。新たな判定は、新たな評価指標が得られると、なされることができる。従って、この技術は、あらゆるフレームのフィールド１及び２を受け取ると、新たな判定をすることができる。これらの判定変数は、先に述べたユークリッド距離の総和である。
【００３５】
適用可能フェーズは、最小の判定変数の下付き文字を有するものになるように選択される。この判定変数に基づく判定は、図８のブロック９０で明確になされる。ある判定は判定空間の中で可能となる。ブロック９１で説明しているように、これらの判定は以下である。（ｉ）適用可能フェーズがＰ５にない。ビデオを逆テレシネする。（逆テレシネ処理を導く適用可能フェーズの利用は図示されず。）（ｉｉ）適用可能フェーズがＰ５である。ビデオをデインタレースする。
【００３６】
各フェーズは、判定変数のカレント値に依存する状態と、６つのブランチ情報量との間の遷移を有する、有限状態機械の可能な状態と見なされうる。この遷移が以下のパターンに従う場合、
【数５】
【００３７】
機械は正確に動作する。コヒーレントな判定ストリングでは、本質的に変数である評価指標がビデオから得られるために、たまにエラーがありうる。この技術は、図７と矛盾するフェーズシーケンスを検出する。この動作は、図１２で概説される。アルゴリズム４００は、ブロック４０５で現在のフェーズ判定の下付き文字（＝ｘ）を記憶し、ブロック４０６で先行のフェーズ判定の下付き文字（＝ｙ）を記憶する。ブロック４１０で、ｘ＝ｙ＝５がテストされる。ブロック４１１で、以下の式がテストされる。
【数６】
【００３８】
もし何れかのテストが肯定的結果であれば、ブロック４２０で、この判定は矛盾していないと宣言される。もし何れのテストも肯定的結果を示さなければ、図９のブロック１９３で示したように、オフセットは図１３において計算され、Ｐ５と関連する判定変数であるＤ５へ加えられる。
【００３９】
Ｄ５の修正も、フェーズシーケンスの不整合に対する訂正動作を提供する、処理２００の一部として図１３に現れる。フローチャート２００のブロック２１０における整合性テストが失敗したと仮定する。ブロック２１０から導かれる「Ｎｏ」ブランチに沿って進行すると、次のブロック２１４でのテストは、ｉ＜５である全てのｉに対してＤ５＞Ｄｉであるか、あるいはｉ＜５であるとき少なくとも１つの変数ＤｉがＤ５より大きいか、というテストである。もし第１の場合が有効であれば、初期値がδ０であるパラメータδは、ブロック２１６で３δ０に変えられる。もし第２の場合が有効であれば、ブロック２１７でδは４δ０に変えられる。ブロック１１２Ｂにおいて、△の値は、以下の式を満たす△Ｂに更新される。
【数７】
【００４０】
再度ブロック２１０に戻り、判定ストリングが矛盾しないと判断されたと仮定する。パラメータδは、ブロック２１５において、以下の式によって定義されるδ＋に変えられる。
【数８】
【００４１】
ブロック１１２Ａで、δの新たな値が△Ａに挿入され、△との関係を以下のように更新する。
【数９】
【００４２】
その後、更新された値△は、ブロック１９３で、判定変数Ｄ５に加えられる。
【００４３】
図１４は、かつてプルダウンフェーズが判定されると、逆テレシネ処理が、システム３０１においてどのように進むかを示す。この情報を用いて、フィールド３０５及び３０５’は同じビデオフィールドを表すものとして特定される。２つのフィールドは平均化され、フレーム３２０を再構築するために、フィールド３０６と結合される。再構築されたフレームが３２０’である。同様の処理がフレーム３２２を再構築するであろう。フレーム３２１及び３２３から得られたフィールドは重複しない。これらのフレームは、第１及び第２のフィールドを一緒に組み上げることで再構築される。
【００４４】
上述した局面において、新たなフレームが受信される度、４つの新たな評価指標数値が求められ、新たに計算された判定変数を用いて、６つのセットの仮定がテストされる。他の処理構造は、判定変数を計算するように適応することができる。ビタビデコーダは、パス評価指標を形成するために、パスを作り上げるブランチの評価指標を加える。ここで定められる判定変数は、各々が新たな情報変数の"leaky"な総和であることと同様のルールによって形成される。（leakyな総和では、判定変数の先行値は、新たな情報データが加えられる前に、１(unity)より小さい数を掛けられる。）ビタビデコーダ構造は、この手順の動作をサポートするように修正されることができる。
【００４５】
現在の局面は、新たなフレームが１／３０秒毎に現れる従来のビデオ処理の用語を用いて記載されているが、この処理は、時間を遡って記録され処理されるフレームを適用されうることが注目される。判定空間は同じままであるが、インプットフレームのシーケンスの時間反転を反映する軽微な変更がある。たとえば、時間反転モードのコヒーレントなテレシネ判定ストリング（以下に示す）
Ｐ４ Ｐ３ Ｐ２ Ｐ１ Ｐ０
もまた、時間反転されるであろう。
【００４６】
第１の局面においてこの変形例を用いることによって、正しい判定を行う際に、２つの試み（一方は時間どおりに進行すること、他方は時間に逆進行すること）からなる判定処理を行うことが可能となろう。この２つの試みは独立していないが、各試みが異なる順序で評価指標を処理するという点で異なっている。
【００４７】
このアイディアは、処理のために未来のビデオフレームを記憶するために保持されるバッファと組み合わせて適用されるだろう。もしビデオセグメントが、順方向の処理において許容できない矛盾する結果を与えるとわかった場合、この手順は、バッファから未来のフレームを引き出し、逆方向にフレームを処理することによって、難しいビデオの引き伸ばしを克服しようと試みるであろう。
【００４８】
本願に記載されているビデオ処理は、ＰＡＬ方式のビデオにも適用することができる。
【００４９】
この局面は、フローチャート、フロー図、構造図又はブロック図として説明される処理として説明されうることが注目される。フローチャートは、連続した処理としてこの動作を説明するが、動作の大半は、並行して、又は同時に実行することができる。更に、動作の順序は、並べ替えられうる。処理は、動作が完全に遂行されると終了する。処理は、方法、関数、手順、サブルーチン、サブプログラム等に相当しうる。処理が関数に相当する場合、処理の終了は、関数が、呼び出し関数又はメイン関数に戻ることに相当する。
【００５０】
本明細書に開示されたデバイスの、１つ又は複数の要素が、このデバイスの動作に影響を与えることなく再構成されうることが、当業者には明白であるはずである。同様に、本明細書に開示されたデバイスの、１つ又は複数の要素が、このデバイスの動作に影響を与えることなく組み合わせられうる。当業者は、情報及び信号が、あらゆる種類の異なる技術を用いて示されうることを理解するであろう。当業者は更に、本明細書に開示された実施例に関連して記載された、実例となる様々な論理ブロック、モジュール、及びアルゴリズムステップが、電子工学的ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、又はこれらの組み合わせとして実現されうることをよく理解するであろう。ハードウェアとソフトウェアの相互置換性を明確に説明するために、様々な実例となる構成要素、ブロック、モジュール、回路、及びステップが、それらの機能観点から一般的に説明された。このような機能が、ハードウェアとして実現されるかソフトウェアとして実現されるかは、システム全体に課された設計制約及び特定のアプリケーションによる。当業者は、各特定のアプリケーションのために上述した機能を様々な方法で実装することができるが、このような実現の判定は、開示された方法の範囲から逸脱させるものとして解釈されてはならない。
【００５１】
本明細書で開示された例に関連して記述された方法やアルゴリズムのステップは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、または、これらの組み合わせによって具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。 典型的な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に存在することができる。ＡＳＩＣは、無線モデム内に存在することもできる。あるいはこのプロセッサと記憶媒体は、無線モデム内のディスクリート部品として存在することができる。
【００５２】
更に、本明細書で開示された例に関連して記述された様々な例示的論理ブロック、コンポーネント、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
【００５３】
開示された例における上記記載は、当業者をして、開示した方法および装置の活用または利用を可能とするために提供される。これらの例への様々な変形例もまた、当業者に対しては明らかであって、本明細書で定義された原理は、開示した発明および装置の主旨または範囲から逸脱することなくその他の例および追加例にも適用されうる。
【００５４】
本局面の記述は、例示することが意図されており、特許請求の範囲を限定することは意図されない。
【図面の簡単な説明】
【００５５】
【図１】図１は、ビデオ送信システムを示すブロック図である。
【図２】図２は、図１の構成要素のより詳細な局面を示すブロック図である。
【図３Ａ】図３Ａは、テレシネされたビデオを反転する処理を示すフローチャートである。
【図３Ｂ】図３Ｂは、逆テレシネのためのシステムの構成を示すブロックである。
【図４】図４は、フェーズ図である。
【図５】図５は、複数の評価指標を生成するために用いられるフレームの各々を識別する。
【図６】図６は、図５の評価指標がどのようにして生成されるかを示すフローチャートである。
【図７】図７は、適用可能フェーズの遷移を示すトレリスである。
【図８】図８は、推定されたフェーズに達するための評価指標の処理を示すフローチャートである。
【図９】図９は、決定変数を生成するためのシステムを示すデータフロー図である。
【図１０】図１０は、ブランチ情報の数値を求めるために用いられる変数を示すブロック図である。
【図１１Ａ】図１１Ａは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１１Ｂ】図１１Ｂは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１１Ｃ】図１１Ｃは、低エンベロープ値がどのようにして計算されるかを示すフローチャートである。
【図１２】図１２は、整合性検出器の動作を示すフローチャートである。
【図１３】図１３は、フェーズ判定における不整合を補正するために用いられる決定変数に対するオフセットを計算する処理を示すフローチャートである。
【図１４】図１４は、プルダウンフェーズが推定された後の、逆テレシネの動作を示す。
【特許請求の範囲】
【請求項１】
複数のビデオフレームを処理する方法であって、
前記ビデオフレームから複数の評価指標を判定することと、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネすることと
を備える方法。
【請求項２】
逆テレシネすることは、プルダウンフェーズを推定することを備える請求項１に記載の方法。
【請求項３】
判定することは、
前記複数のビデオフレームの中で、時間において第２のフレームに後続する第１のフレームの第１のフィールドと、前記複数のビデオフレームの中で第２のフレームの第１のフィールドとの間の何れかの差分を示す第１の評価指標を判定することと、
第１のフレームの第２のフィールドと、第２のフレームの第２のフィールドとの間の何れかの差分を示す第２の評価指標を判定することと、
前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の何れかの差分を示す第３の評価指標を判定することと、
前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の何れかの差分を示す第４の評価指標を判定することとを備え、
前記第１、第２、第３、及び第４の評価指標のうち少なくとも１つがプルダウンフェーズを示す請求項１に記載の方法。
【請求項４】
前記４つの評価指標のうち少なくとも１つは、前記ビデオフレームのうちの少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示す請求項３に記載の方法。
【請求項５】
前記第１の評価指標は、前記第１のフレームの第１のフィールドと前記第２のフレームの第１のフィールドとの間の絶対差分総和（ＳＡＤＦＳ）を備え、前記第２の評価指標は、前記第１のフレームの第２のフィールドと前記第２のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＳＳ）を備え、前記第３の評価指標は、前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＰＯ）を備え、前記第４の評価指標は、前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＣＯ）を備えている請求項３に記載の方法。
【請求項６】
ＳＡＤＦＳとＳＡＤＳＳとの低エンベロープレベルと、ＳＡＤＰＯとＳＡＤＣＯとの低エンベロープレベルとを計算することを更に備える請求項５に記載の方法。
【請求項７】
判定することは、前記４つの評価指標からブランチ情報を計算することを更に備える請求項３に記載の方法。
【請求項８】
判定することは、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定することと、
前記評価指標からブランチ情報を判定することと、
前記ブランチ情報から判定変数を決定することとを備え、前記ビデオフレームを逆テレシネすることは、各ビデオフレームの適用可能フェーズを識別することを更に備える請求項１に記載の方法。
【請求項９】
前記適用可能フェーズは、前記複数のビデオフレームのうち少なくとも１つのビデオフレームがテレシネされているか、またはブロードキャスト規格に準拠するかを示す請求項８に記載の方法。
【請求項１０】
逆テレシネすることは、逆テレシネするために、前記適用可能フェーズをプルダウンフェーズとして用いることを備える請求項９に記載の方法。
【請求項１１】
前記適用可能フェーズの不整合を検出することを更に備える請求項１０に記載の方法。
【請求項１２】
前記検出された不整合を、前記オフセットを少なくとも１つの判定変数に調節することによって減少することを更に備える請求項１１に記載の方法。
【請求項１３】
ビタビ相等のデコーダで前記判定変数を決定することを更に備える請求項８に記載の方法。
【請求項１４】
前記ビデオフレーム内の少なくとも重複したフィールドを平均することを更に備える請求項１に記載の方法。
【請求項１５】
状態機械を経由してプルダウンフェーズを判定することを更に備える請求項８に記載の方法。
【請求項１６】
複数のビデオフレームを処理する装置であって、
前記ビデオフレームから複数の評価指標を判定するように構成された計算モジュールと、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネするように構成されたフェーズ検出器とを備える装置。
【請求項１７】
前記フェーズ検出器は、プルダウンフェーズを推定するように更に構成された請求項１６に記載の装置。
【請求項１８】
前記計算モジュールは、
前記複数のビデオフレームの中で、時間において第２のフレームに後続する第１のフレームの第１のフィールドと、前記複数のビデオフレームの中で第２のフレームの第１のフィールドとの間の何れかの差分を示す第１の評価指標を判定し、
第１のフレームの第２のフィールドと、第２のフレームの第２のフィールドとの間の何れかの差分を示す第２の評価指標を判定し、
前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の何れかの差分を示す第３の評価指標を判定し、
前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の何れかの差分を示す第４の評価指標を判定するように構成され、
前記フェーズ検出器は、プルダウンフェーズを示すために前記第１、第２、第３、及び第４の評価指標のうち少なくとも１つを用いる請求項１６に記載の装置。
【請求項１９】
前記フェーズ検出器は、前記ビデオフレームのうち少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示すために、前記計算モジュールによって判定された４つの評価指標のうち少なくとも１つを用いる請求項１８に記載の装置。
【請求項２０】
前記計算モジュールは、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定し、
前記評価指標からブランチ情報を判定し、
前記ブランチ情報から判定変数を決定するように構成された請求項１６に記載の装置。
【請求項２１】
フェーズ検出器は、前記判定変数に基づいて、各ビデオフレームの適用可能フェーズを識別するように構成された請求項２０に記載の装置。
【請求項２２】
前記フェーズ検出器は、前記適用可能フェーズに基づき、ビデオフレームがテレシネされているか、ブロードキャスト規格に準拠するかを示すように構成された請求項２１に記載の装置。
【請求項２３】
前記フェーズ検出器は、前記適用可能フェーズをプルダウンフェーズとして識別することによって、前記ビデオフレームを逆テレシネするように構成された請求項２２に記載の装置。
【請求項２４】
前記計算モジュールは、プルダウンフェーズを判定する状態機械を更に備える請求項２０に記載の装置。
【請求項２５】
複数のビデオフレームを処理する装置であって、
前記ビデオフレームから複数の評価指標を判定する手段と、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネする手段とを備える装置。
【請求項２６】
前記逆テレシネする手段は、プルダウンフェーズに基づいて前記ビデオフレームを逆テレシネする請求項２５に記載の装置。
【請求項２７】
前記逆テレシネする手段は、前記ビデオフレームのうち少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示すために、４つの評価指標のうち少なくとも１つを用いる請求項２５に記載の装置。
【請求項２８】
前記評価指標を判定する手段は、
前記複数のビデオフレームにおいて、各ビデオフレームの前記複数の評価指標を判定する手段と、
前記評価指標からブランチ情報を判定する手段と、
前記ブランチ情報から判定変数を決定する手段とを備え、
前記ビデオフレームを逆テレシネする手段は、前記判定変数に基づいて各ビデオフレームの適用可能フェーズを識別する手段を備える請求項２５に記載の装置。
【請求項２９】
前記適用可能フェーズを識別する手段は、前記ビデオフレームがテレシネされているか、ブロードキャスト規格に準拠するかを示す手段を含む請求項２８に記載の方法。
【請求項３０】
前記逆テレシネする手段は、逆テレシネするために、前記適用可能フェーズをプルダウンフェーズとして識別する請求項２９に記載の方法。
【請求項３１】
前記適用可能フェーズを識別することは、前記適用可能フェーズの値における不整合を検出する手段を含む請求項３０に記載の装置。
【請求項３２】
プルダウンフェーズを判定する手段は、状態機械を備える請求項２８に記載の装置。
【請求項３３】
複数のビデオフレームを処理する命令を備える機械読取可能媒体であって、前記命令は、実行されると機械に、
前記複数のビデオフレームから複数の評価指標を判定させ、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネさせる機械読取可能媒体。
【請求項３４】
前記命令は、前記機械に更に、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定させ、
前記評価指標からブランチ情報を判定させ、
前記ブランチ情報から判定変数を決定させ、
前記機械にビデオフレームを逆テレシネさせる命令は、前記機械に更に、前記判定変数に基づいて、ビデオフレームに適用可能フェーズを識別させる請求項３３に記載の機械読取可能媒体。
【請求項３５】
前記機械に適用可能フェーズを識別させる命令は、前記機械に更に、前記ビデオフレームが逆テレシネされているか、ブロードキャスト規格に準拠するかを示させる請求項３４に記載の機械読取可能媒体。
【請求項３６】
前記命令は、前記機械に更に、前記複数のビデオフレームの１つを逆テレシネするためのプルダウンフェーズを判定させる請求項３５に記載の機械読取可能媒体。
【請求項３７】
前記命令は、前記機械に更に、状態機械として動作することによってプルダウンフェーズを判定させる請求項３４に記載の機械読取可能媒体。
【請求項３８】
複数のビデオフレームから複数の評価指標を判定し、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネするように構成されたビデオコード化プロセッサ。
【請求項３９】
前記プロセッサは、プルダウンフェーズを判定することによって逆テレシネする請求項３８に記載のビデオコード化プロセッサ。
【請求項４０】
前記ビデオフレーム内の少なくとも重複したフィールドは、逆テレシネ出力を形成するために、前記プロセッサによって平均される請求項３８に記載のビデオコード化プロセッサ。
【請求項１】
複数のビデオフレームを処理する方法であって、
前記ビデオフレームから複数の評価指標を判定することと、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネすることと
を備える方法。
【請求項２】
逆テレシネすることは、プルダウンフェーズを推定することを備える請求項１に記載の方法。
【請求項３】
判定することは、
前記複数のビデオフレームの中で、時間において第２のフレームに後続する第１のフレームの第１のフィールドと、前記複数のビデオフレームの中で第２のフレームの第１のフィールドとの間の何れかの差分を示す第１の評価指標を判定することと、
第１のフレームの第２のフィールドと、第２のフレームの第２のフィールドとの間の何れかの差分を示す第２の評価指標を判定することと、
前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の何れかの差分を示す第３の評価指標を判定することと、
前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の何れかの差分を示す第４の評価指標を判定することとを備え、
前記第１、第２、第３、及び第４の評価指標のうち少なくとも１つがプルダウンフェーズを示す請求項１に記載の方法。
【請求項４】
前記４つの評価指標のうち少なくとも１つは、前記ビデオフレームのうちの少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示す請求項３に記載の方法。
【請求項５】
前記第１の評価指標は、前記第１のフレームの第１のフィールドと前記第２のフレームの第１のフィールドとの間の絶対差分総和（ＳＡＤＦＳ）を備え、前記第２の評価指標は、前記第１のフレームの第２のフィールドと前記第２のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＳＳ）を備え、前記第３の評価指標は、前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＰＯ）を備え、前記第４の評価指標は、前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の絶対差分総和（ＳＡＤＣＯ）を備えている請求項３に記載の方法。
【請求項６】
ＳＡＤＦＳとＳＡＤＳＳとの低エンベロープレベルと、ＳＡＤＰＯとＳＡＤＣＯとの低エンベロープレベルとを計算することを更に備える請求項５に記載の方法。
【請求項７】
判定することは、前記４つの評価指標からブランチ情報を計算することを更に備える請求項３に記載の方法。
【請求項８】
判定することは、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定することと、
前記評価指標からブランチ情報を判定することと、
前記ブランチ情報から判定変数を決定することとを備え、前記ビデオフレームを逆テレシネすることは、各ビデオフレームの適用可能フェーズを識別することを更に備える請求項１に記載の方法。
【請求項９】
前記適用可能フェーズは、前記複数のビデオフレームのうち少なくとも１つのビデオフレームがテレシネされているか、またはブロードキャスト規格に準拠するかを示す請求項８に記載の方法。
【請求項１０】
逆テレシネすることは、逆テレシネするために、前記適用可能フェーズをプルダウンフェーズとして用いることを備える請求項９に記載の方法。
【請求項１１】
前記適用可能フェーズの不整合を検出することを更に備える請求項１０に記載の方法。
【請求項１２】
前記検出された不整合を、前記オフセットを少なくとも１つの判定変数に調節することによって減少することを更に備える請求項１１に記載の方法。
【請求項１３】
ビタビ相等のデコーダで前記判定変数を決定することを更に備える請求項８に記載の方法。
【請求項１４】
前記ビデオフレーム内の少なくとも重複したフィールドを平均することを更に備える請求項１に記載の方法。
【請求項１５】
状態機械を経由してプルダウンフェーズを判定することを更に備える請求項８に記載の方法。
【請求項１６】
複数のビデオフレームを処理する装置であって、
前記ビデオフレームから複数の評価指標を判定するように構成された計算モジュールと、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネするように構成されたフェーズ検出器とを備える装置。
【請求項１７】
前記フェーズ検出器は、プルダウンフェーズを推定するように更に構成された請求項１６に記載の装置。
【請求項１８】
前記計算モジュールは、
前記複数のビデオフレームの中で、時間において第２のフレームに後続する第１のフレームの第１のフィールドと、前記複数のビデオフレームの中で第２のフレームの第１のフィールドとの間の何れかの差分を示す第１の評価指標を判定し、
第１のフレームの第２のフィールドと、第２のフレームの第２のフィールドとの間の何れかの差分を示す第２の評価指標を判定し、
前記第１のフレームの第１のフィールドと、前記第２のフレームの第２のフィールドとの間の何れかの差分を示す第３の評価指標を判定し、
前記第１のフレームの第１のフィールドと、前記第１のフレームの第２のフィールドとの間の何れかの差分を示す第４の評価指標を判定するように構成され、
前記フェーズ検出器は、プルダウンフェーズを示すために前記第１、第２、第３、及び第４の評価指標のうち少なくとも１つを用いる請求項１６に記載の装置。
【請求項１９】
前記フェーズ検出器は、前記ビデオフレームのうち少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示すために、前記計算モジュールによって判定された４つの評価指標のうち少なくとも１つを用いる請求項１８に記載の装置。
【請求項２０】
前記計算モジュールは、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定し、
前記評価指標からブランチ情報を判定し、
前記ブランチ情報から判定変数を決定するように構成された請求項１６に記載の装置。
【請求項２１】
フェーズ検出器は、前記判定変数に基づいて、各ビデオフレームの適用可能フェーズを識別するように構成された請求項２０に記載の装置。
【請求項２２】
前記フェーズ検出器は、前記適用可能フェーズに基づき、ビデオフレームがテレシネされているか、ブロードキャスト規格に準拠するかを示すように構成された請求項２１に記載の装置。
【請求項２３】
前記フェーズ検出器は、前記適用可能フェーズをプルダウンフェーズとして識別することによって、前記ビデオフレームを逆テレシネするように構成された請求項２２に記載の装置。
【請求項２４】
前記計算モジュールは、プルダウンフェーズを判定する状態機械を更に備える請求項２０に記載の装置。
【請求項２５】
複数のビデオフレームを処理する装置であって、
前記ビデオフレームから複数の評価指標を判定する手段と、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネする手段とを備える装置。
【請求項２６】
前記逆テレシネする手段は、プルダウンフェーズに基づいて前記ビデオフレームを逆テレシネする請求項２５に記載の装置。
【請求項２７】
前記逆テレシネする手段は、前記ビデオフレームのうち少なくとも１つがテレシネされておらず、ブロードキャスト規格に準拠することを示すために、４つの評価指標のうち少なくとも１つを用いる請求項２５に記載の装置。
【請求項２８】
前記評価指標を判定する手段は、
前記複数のビデオフレームにおいて、各ビデオフレームの前記複数の評価指標を判定する手段と、
前記評価指標からブランチ情報を判定する手段と、
前記ブランチ情報から判定変数を決定する手段とを備え、
前記ビデオフレームを逆テレシネする手段は、前記判定変数に基づいて各ビデオフレームの適用可能フェーズを識別する手段を備える請求項２５に記載の装置。
【請求項２９】
前記適用可能フェーズを識別する手段は、前記ビデオフレームがテレシネされているか、ブロードキャスト規格に準拠するかを示す手段を含む請求項２８に記載の方法。
【請求項３０】
前記逆テレシネする手段は、逆テレシネするために、前記適用可能フェーズをプルダウンフェーズとして識別する請求項２９に記載の方法。
【請求項３１】
前記適用可能フェーズを識別することは、前記適用可能フェーズの値における不整合を検出する手段を含む請求項３０に記載の装置。
【請求項３２】
プルダウンフェーズを判定する手段は、状態機械を備える請求項２８に記載の装置。
【請求項３３】
複数のビデオフレームを処理する命令を備える機械読取可能媒体であって、前記命令は、実行されると機械に、
前記複数のビデオフレームから複数の評価指標を判定させ、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネさせる機械読取可能媒体。
【請求項３４】
前記命令は、前記機械に更に、
前記複数のビデオフレームにおいて、各ビデオフレームの複数の評価指標を判定させ、
前記評価指標からブランチ情報を判定させ、
前記ブランチ情報から判定変数を決定させ、
前記機械にビデオフレームを逆テレシネさせる命令は、前記機械に更に、前記判定変数に基づいて、ビデオフレームに適用可能フェーズを識別させる請求項３３に記載の機械読取可能媒体。
【請求項３５】
前記機械に適用可能フェーズを識別させる命令は、前記機械に更に、前記ビデオフレームが逆テレシネされているか、ブロードキャスト規格に準拠するかを示させる請求項３４に記載の機械読取可能媒体。
【請求項３６】
前記命令は、前記機械に更に、前記複数のビデオフレームの１つを逆テレシネするためのプルダウンフェーズを判定させる請求項３５に記載の機械読取可能媒体。
【請求項３７】
前記命令は、前記機械に更に、状態機械として動作することによってプルダウンフェーズを判定させる請求項３４に記載の機械読取可能媒体。
【請求項３８】
複数のビデオフレームから複数の評価指標を判定し、
前記判定した評価指標を用いて前記ビデオフレームを逆テレシネするように構成されたビデオコード化プロセッサ。
【請求項３９】
前記プロセッサは、プルダウンフェーズを判定することによって逆テレシネする請求項３８に記載のビデオコード化プロセッサ。
【請求項４０】
前記ビデオフレーム内の少なくとも重複したフィールドは、逆テレシネ出力を形成するために、前記プロセッサによって平均される請求項３８に記載のビデオコード化プロセッサ。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３】
【図１４】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３】
【図１４】
【公表番号】特表２００９−５１３０９０（Ｐ２００９−５１３０９０Ａ）
【公表日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００８−５３８１４９（Ｐ２００８−５３８１４９）
【出願日】平成１８年１０月２４日（２００６．１０．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０６０１９６
【国際公開番号】ＷＯ２００７／０６５０４１
【国際公開日】平成１９年６月７日（２００７．６．７）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１８年１０月２４日（２００６．１０．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０６０１９６
【国際公開番号】ＷＯ２００７／０６５０４１
【国際公開日】平成１９年６月７日（２００７．６．７）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]