説明

ビデオ信号の分析

ビデオ信号におけるインターレースのエラーを検出するために、連続するディジタル符号化されたフレームを受信する。各フレームは、第1のタイプのフィールドに対するデータと、第2のタイプのフィールドに対するデータとを具備する(トップフィールド及びボトムフィールド、またはその逆である)。次に、第1のタイプのフィールドの各々について、前記第1のタイプのフィールドと、前のフレームの第2のタイプのフィールドとの差を表わす第1の差信号(DIF1)と、前記第1のタイプのフィールドと、同じフレームの第2のタイプのフィールドとの差を表わす第2の差信号(DIF2)と、前記第1のタイプのフィールドと、後のフレームの第2のタイプのフィールドとの間の差を表わす第3の差信号(DIF3)とを生成する。次に、前記差信号の値に基づいて、前記第1のタイプのフィールドと、前記同じフレームの前記第2のタイプのフィールドとの推定時間関係を示す決定信号(wOFlag)を生成する。これを、時間関係を示す信号(IDFO)と比較して、整合しない場合に、警報信号(wEFlag)を生成することができる。

【発明の詳細な説明】
【技術分野】
【0001】
1. 序論
本発明は、インターレースシステム、例えばBT.601[1]に従うインターレースシステムにおいて表示するビデオシーケンスの分析に関する。このようなシステムにおいて、正しくないフィールド順序付け(トップフィールド優先(top-field-first, TFF)又はボトムフィールド優先(bottom-field-first, BFF))を使用すると、インターレースタイプのシーケンスとプログレッシブタイプのシーケンスとの両者の表示に、著しい不快な影響をもたらし得る。
【発明の概要】
【0002】
本発明によると、ビデオ信号のフィールド順序を検出する方法であって、
各フレームが第1のタイプのフィールドに対するデータと第2のタイプのフィールドに対するデータとを具備する、連続するディジタル符号化されたフレームを受信するステップと、
第1のタイプのフィールドの各々について、
前記第1のタイプのフィールドと、前のフレームの第2のタイプのフィールドとの間の差を表わす第1の差信号(first difference signal, DIF1)と、
前記第1のタイプのフィールドと、同じフレームの第2のタイプのフィールドとの間の差を表わす第2の差信号(second difference signal, DIF2)と、
前記第1のタイプのフィールドと、後のフレームの第2のタイプのフィールドとの間の差を表わす第3の差信号(third difference signal, DIF3)と、
前記差信号の値に基づいて、前記第1のタイプのフィールドと、前記同じフレームの前記第2のタイプのフィールドとの推定時間関係を示す決定信号(wOFlag)と
を生成するステップと、
を備える、方法、が提供される。
【0003】
本発明の他の態様は、請求項に示されている。
【0004】
ここで、添付の図面を参照して、例示的に、本発明の幾つかの実施形態を記載する。
【図面の簡単な説明】
【0005】
【図1】本発明の実施形態の説明に使用するタイミング図。
【図2】本発明の実施形態の説明に使用するタイミング図。
【図3】本発明の実施形態の説明に使用するタイミング図。
【図4】本発明の実施形態の説明に使用するタイミング図。
【図5】本発明の実施形態の説明に使用するタイミング図。
【図6】本発明の実施形態の説明に使用するタイミング図。
【図7】本発明の実施形態の説明に使用するタイミング図。
【図8】本発明の実施形態の説明に使用するタイミング図。
【図9】本発明の実施形態の説明に使用するタイミング図。
【図10】本発明の実施形態の説明に使用するタイミング図。
【図11】本発明の1つの実施形態の動作を示す機能ブロック図。
【図12】本発明の実施形態の説明に使用するタイミング図。
【図13】得られた結果を示すグラフ。
【図14】得られた結果を示すグラフ。
【図15】得られた結果を示すグラフ。
【図16】得られた結果を示すグラフ。
【図17】得られた結果を示すグラフ。
【図18】得られた結果を示すグラフ。
【図19】得られた結果を示すグラフ。
【図20】得られた結果を示すグラフ。
【図21】得られた結果を示すグラフ。
【図22】得られた結果を示すグラフ。
【図23】得られた結果を示すグラフ。
【図24】得られた結果を示すグラフ。
【図25】得られた結果を示すグラフ。
【図26】得られた結果を示すグラフ。
【図27】得られた結果を示すグラフ。
【発明を実施するための形態】
【0006】
ここでは、ターゲットフィールド(トップ又はボトム)と、3つの隣接する反対位相フィールドとを、スライディングウィンドウによる比較(sliding-window comparison)をすることによって、ビデオコンテンツにおけるフィールド順序の問題を検出する方法を提示する。分析するフィールドごとに、幾つかの測定値を生成し、それらを使用して、ターゲットフィールドを含んでいるフレームの「即時(instant)」の分類を行う。これらのフレームの結果を緩衝して、対応する「ウィンドウ(windowed)」の決定を行う。「即時」の結果と「ウィンドウ」の結果とを、「組み合わせ」分析技術において使用して、ビデオのフィールド順序付けの特性と、潜在的なフィールド順序付け問題の性質及び位置とを識別する。更に、フレームを反復するプログレッシブコンテンツの問題領域を識別するために、「即時」専用の方法によって、この技術を強化している。
【0007】
2. 画像構造
セクション3において分析技術を記載する前に、このセクションにおいて、インターレースビデオの特性と、プログレッシブビデオの特性とについて簡単に記載する。
【0008】
2.1 インターレースビデオ
図1に示されているように、トップフィールド優先のインターレースビデオのシーケンスは、トップフィールドとボトムフィールドとを互い違いにしているシーケンスとして表わすことができる。
【0009】
時間的には、Bフィールドは、隣接するTフィールドの中間にあるべきである。空間的には、図2に示されているように、出力ディスプレイデバイスにおいて、Bフィールドは、対応するTフィールドから垂直方向に1行下にオフセットして、インターレースしている。
【0010】
PAL−625システムの「I」の標準解像度ディスプレイ(1フレーム当たりに720×756のアクティブサンプル)の場合に、可視画像は、TFFインターレースの288ラインのT及びBフィールドで構成され、50Hzのフィールド更新レート(25Hzのフレームレート)を有する。NTSC−525システムの「M」の標準解像度ディスプレイ(1フレーム当たりに720×480のアクティブサンプル)の場合に、可視画像は、BFFインターレースの240ラインのT及びBフィールドで構成され、59.94Hzのフィールド更新レート(29.97Hzのフレームレート)を有する。
【0011】
2.2 プログレッシブビデオ
プログレッシブビデオのシーケンスは、1つのみの時間間隔からのラインで構成されたフレームを有し、例えば、映画撮影用カメラと、更に最近ではディジタルビデオ(digital video, DV)カメラとによって生成される。インターレース表示として提示されるフィールドについて検討すると、プログレッシブシーケンスは、図3に表わされている時間特性を有する。なお、対応するトップフィールドとボトムフィールドは、同一の時間間隔をカバーしている。しかしながら、これらのフィールドは、依然として図2に従って空間的にインターレースされ、表示のときは、図1に従って時間的にインターレースされる。
【0012】
図4に示されているような、フレームを反復するプログレッシブビデオは、カートゥーン(cartoon)のコンテンツにおいて見付けることできる。反復フレームのパターンは、通常は規則的であるが、不規則な反復も可能である。
【0013】
2.3 フィールドの順序付けの問題
次に、インターレース表示に対して、インターレースコンテンツとプログレッシブコンテンツとの両者のフィールド順序付けの特性が、どのように問題を生じ得るかについて、簡単に検討する。
【0014】
2.3.1 インターレースコンテンツ
フィールドの順序付けが正しくないコンテンツのインターレース表示は、著しい劣化を生じ得る。BFFのインターレースコンテンツがTFFで表示されると、動き領域内で、「ジャダリング(juddering)」の影響が、目に見えるほど明らかになり得る。この問題は、図5及び6に示されている。図5は、「X」のパターンがディスプレイを一定速度で動いているので、BFFのフィールドのタイミングを示している。
【0015】
図6は、正しいBFF表示に対するフィールドの順序付けと、正しくないTFF表示に対するフィールドの順序付けとを示している。TFF表示の場合に、「X」の動きにおける不連続性は明らかである。
【0016】
2.3.2 プログレッシブコンテンツ
インターレースで再生するために1つのプログレッシブフレームから引き出された1対のフィールドは、同じ時間間隔からであるので、プログレッシブコンテンツの場合には、フィールドの順序付けに関する問題はないと予想され得る。何れかのフィールド順序付けに対して、再生時に、動きの「ジャダリング」は発生しないはずである。しかしながら、幾つかのビデオ編集及び処理操作のために、プログレッシブコンテンツのインターレース再生は、フィールドの順序付けの影響を受け易くなり得る。映画用フィルム(24フレーム/秒)、PAL(25フレーム/秒)、及びNTSC(29.97フレーム/秒)間におけるフレームレートの変換は、元のシーケンスからのフィールドの追加及び排除を伴うことがある。フレーム内のフィールドを挿入又は削除すると、後続フレームは、異なる時間間隔からのフィールドで構成されることになり、インターレース表示のフィールド順序の影響を受け易くなる。カット及びフェージングのようなフィールドレベルの編集も、プログレッシブコンテンツに適用された場合に、このようなフィールド順序の影響の受け易さをもたらし得る。
【0017】
図7は、フィールド不整列であるプログレッシブコンテンツのフレーム構造を示している。ここでは、プログレッシブコンテンツはフィールドに分けられており、整合するプログレッシブフィールドが別々のフレームに置かれている。このように分かれていると、TFFインターレース再生が必要であり、正しくないBFF再生は、動きのジャダリングを目に見えるほど明らかにし得る。問題を回避するために、TFFインターレース再生が必要であるので、この問題は、TFFフィールド不整列(TFF field-misalignment)と称される。
【0018】
図8は、BFFフィールド不整列(BFF field-misalignment)であるプログレッシブのフレーム反復コンテンツを示している。この場合に、TFFインターレース再生は、動きのジャダリングのもとになり得る。
【0019】
実際のカートゥーンのコンテンツに見られるような、フィールド不整列のプログレッシブコンテンツの別の例を、図9に示した。カートゥーンのコンテンツは、フレームを反復するものが大部分であり、本質的にプログレッシブである。ここでは、カートゥーンのコンテンツ内で、整合するトップフィールドとボトムフィールドの数が等しくない結果として、カートゥーンのコンテンツは、フレーム4においてBFFフィールド不整列を有している。このようなコンテンツをTFFでインターレース表示をすると、この遷移において、動きを不連続にし、これが頻繁に生じる場合には、感知可能なほどになり得る。
【0020】
より持続的な動きのジャダリングとは別に、このようなフィールドレベルの遷移も、シーンカット時に、目に見えるほど明らかな問題を生じ得る。図9に示されている例について、フィールドT1/B1とT2/B2とがシーン1(グレー)に属し、T3/B3以降がシーン2(白)に属する場合に、シーケンスをTFF及びBFFで表示すると、図10に示されているフィールドシーケンスをもたらす。TFFインターレース再生は、シーン1からの2つのフィールドの間に、シーン2からのフィールドを再生し、シーンの変化に不連続性を与える。
【0021】
3. フィールド順序分析アルゴリズム
次に、インターレースで表示されるビデオコンテンツ内の、目に見えるほど明らかになる可能性のある、フィールド順序の問題を検出する技術を記載する。この技術は、画素強度で表したフィールドシーケンス又はフレームシーケンスの何れに対しても働き、3つの連続フレームからのフィールド間におけるスライディング比較に依存する。図11は、提案のプロセスを示している。これは、ビデオコンテンツのフレームを受け取って、フィールド順序付けエラーフラグwEFlagと、コンテンツ決定フラグwOFlagと、即時決定フラグiOFlagとを出力する。
【0022】
この技術は、2つの主要な処理経路から構成され、「即時」パラメータ集合(グレーで強調されている)と、「ウィンドウ」パラメータ集合とを取り扱っている。この装置は、2つの緩衝器Dif buf、IDFlag bufと、10個の機能ユニットFunc1、Func2などと、を備えている。必要であれば、これらを別々のプログラム制御プロセッサとして構成してもよく、又は希望であれば、2つ以上のユニットの機能を1つのプロセッサによって実行してもよい。次に、各ユニットの機能を記載する。
【0023】
3.1 Func1−フィールド差測定
各入力ビデオフレームvideo(n)は、トップフィールドT(n)とボトムフィールドB(n)との、インターレースにされたペアで構成されていると見なすことができる。フレームごとに、現在のフレームのトップフィールド又はボトムフィールドの何れかである一方のタイプのターゲットフィールドと、前、現在、又は次のフレームの3つの第2のタイプ、すなわち反対位相のフィールドとの整合を示すために、差の計算を3回行う。図12において、ボトムフィールドをターゲットとして、このプロセスを示した。
【0024】
画素強度値間の絶対差の平均を使用すると、差の計算は、次のように定義することができる。
【数1】

【0025】
(3.1)乃至(3.3)において、B(n,x,y)は、n番目のフレームのボトムフィールドにおける、水平方向x及び垂直方向yの画素位置の画素強度値を表わし、XとYは、それぞれ、水平方向の画素の総数と垂直方向の画素の総数である。T(n,x,y)は、対応するトップフィールドにおける同じ画素位置を表わす。
【0026】
なお、式3.1と、3.2と、3.3とによって表わされている差信号は、2つのフィールド間の差であり、この2つのフィールドは、互いに垂直方向に空間的なオフセットを必ず有しているので、動きがない場合であっても、差の値はゼロにならない。実際にはこれが重大な問題になるのか分からないが、この問題を軽減するために、既知の技術の1つを適用することによって、信頼度を向上することができる。「コーニング(corning)」及び「ダイヤモンドモーション分析(diamond motion analysis)」[2・・9]のような方法によって、インターレースの空間アーティファクトを退ける技術は、フィールドの整合に格別の効果を有する。別のアプローチでは、閾値未満の個々の(すなわち、加算前の)差の値を無視する、及び/又はある画素と、他方のフィールドにおける、それよりも高いラインとそれよりも低いラインとの両者における対応する画素との差を評価して、2つのうちの小さい方をとることができる。
【0027】
以下に記載した結果は、これらの措置の両者を使用したものである。式3.1は、次の式によって置換される。
【数2】

【0028】
式3.2及び3.3についても同様である。
【数3】

【0029】
以下で報告する試験では、これらの補整された式を使用した。
【0030】
トップフィールドをターゲットとして選択した場合には、「T」と「B」とを入れ換えることを除いて、式は同じである。
【0031】
特定の符号化方式が送信順を変えることがあっても、本明細書において、フレームに関連する「前」、「次」、「後」などの記載は、取り込んで表示する順序(capture-and-display order)であると見なされる。
【0032】
3.2 Func2−ウィンドウのフィールド差測定
次に、3つの差の値DIF1・・3(n)から成る組を、差の緩衝器(difference buffer)に入れる。この差の緩衝器には、前のK−1組の差の値も記憶されている。次に、Func2は、式(3.4)乃至(3.6)に従って、差のパラメータの時間平均をとる。
【数4】

【0033】
3.3 Func3−ウィンドウ決定パラメータ
フレームごとに、平均した差の値wDIF1・・3を、大きさwRank1・・wRank3の順にランク付けして、wRank1が最大値に等しく、wRank3が最小値に等しくなるようにする。変数wIndex1・・wIndex3を、対応するインデックスの番号に設定して、wDIF2が最大値で、wDIF1が最小値である場合に、wIndex1が2に等しく、wIndex2が3に等しく、wIndex3が1に等しくなるようにする。次に、式(3.7)乃至(3.9)に従って、ウィンドウ決定パラメータを計算する。
【0034】
wMotionFlag(n)=((wRank1(n)−wRank3(n)>MThresh1)AND(wRank1(n)>MThresh2)) (3.7)
wParam1(n)=100.0(wRank2(n)−wRank3(n))/(wRank1(n)−wRank3(n)) (3.8)
wParam2(n)=100.0wRank3(n)/wRank2(n)
(3.9)
MThresh1とMThresh2とに対する可能な設定は、テーブル3.15に与えられている。
【0035】
動きパラメータwMotionFlagは、意味のあるフィールド順序付けの決定をするために十分な動きがあることを示す。このパラメータは、式(3.7)に従って、絶対DIF値及び相対DIF値と、適切な閾値とを比較することによって決まる。パラメータwParam1は、第2位にランク付けされたDIF値と第3位にランク付けされたDIF値との差を、DIF値の範囲のパーセンテージとして表わし、2つのDIF値がほぼ同じであって、かつ残りのDIF値よりも相当に小さい、という特徴を反映することを意図している。このパラメータは、差のみに基づき、3つの差の値の全てに等しく加えられているオフセットによる影響を受けない。パラメータwParam2は、真ん中のDIF値に対する最小のDIF値の比率を、パーセンテージで表わし、2つの最も小さいDIF値間の差の全体的な重要度(overall significance)を反映することを意図している。
【0036】
3.4 Func4−ウィンドウ決定中間フラグ
n番目のフレームに対する、インターレースのフィールド順序の特性は、式(3.10)及び(3.11)に従って、閾値に対してWParam1及びWParam2を試験することによって決定することができる。
【0037】
wIFlag1(n)=((wParam1(n)<iThresh1)AND(wParam2(n)>iThresh2)AND(wMotionFlag(n)))
(3.10)
wIFlag2(n)=wIndex1 (3.11)
適切な閾値は、テーブル3.15に与えられている。テーブル3.1に従って、結果のフラグを解釈することができる。
【表1】

【0038】
n番目のフレームに対する、プログレッシブのフィールド順序の特性は、式(3.12)及び(3.13)に従って、閾値に対してwParam1及びwParam2を試験することによって決定することができる。
【0039】
wPFlag1(n)=((wParam1(n)>pThresh1)AND(wParam2(n)<pThresh2)AND(wMotionFlag(n)))
(3.12)
wPFlag2(n)=wIndex3 (3.13)
決定閾値pThresh1は、テーブル3.2に従って設定されており、wParam1のパラメータに対する許容帯域を定義している。適切な閾値は、テーブル3.15に与えられている。
【表2】

【0040】
テーブル3.3に従って、結果のフラグを解釈することができる。
【表3】

【0041】
インターレース及びプログレッシブの決定のために設定された閾値は、I及びPの「真」の決定が相互に排他的であることを保証する。
【0042】
3.5 Func5−ウィンドウ決定フラグ
次に、テーブル3.4に従って、中間決定フラグを組み合わせて、1つの「ウィンドウ」決定フラグwDFlagを与える。なおここでは、アルゴリズムを定義するのに役立つ他のテーブルにおいて、演算結果は右側の列に示されている。テーブルは、単に説明のためにあり、「・・の説明」と記載した。
【表4】

【0043】
3.6 Func3a−即時パラメータ(iParam1,iParam2)
Func3aは、セクション3.3に記載されているランク付けプロセスを使用して、差の値、DIF1(n)・・DIF3(n)から、「即時」のランク付けされたパラメータ、iRank1・・3及びiIndex1・・3を生成する。式(3.14)及び(3.16)に従って、結果の「即時」パラメータ値、iParam1及びiParam2を計算する。
【0044】
iMotionFlag(n)=((iRank1(n)−iRank3(n)>MThresh1)AND(iRank1(n)>MThresh2)) (3.14)
iParam1(n)=100.0(iRank2(n)−iRank3(n))/(iRank1(n)−iRank3(n)) (3.15)
iParam2(n)=100.0iRank3(n)/iRank2(n)
(3.16)
3.7 Func4a−「即時」決定中間フラグ
フレームnに対する、インターレースのフィールド順序の特性は、式(3.17)及び(3.18)に従って、閾値に対してiParam1及びiParam2を試験することによって決定することができる。
【0045】
iIFlag1(n)=((iParam1(n)<iThresh1)AND(iParam2(n)>iThresh2)AND(iMotionFlag(n)))
(3.17)
iIFlag2(n)=iIndex1 (3.18)
結果のフラグは、テーブル3.5に従って解釈することができる。
【表5】

【0046】
フレームnに対する、プログレッシブのフィールド順序の特性は、式(3.19)及び(3.20)に従って、閾値に対してiParam1及びiParam2を試験することによって決定することができる。
【0047】
iPFlag1(n)=((iParam1(n)>pThresh1)AND(iParam2(n)<pThresh2)AND(iMotionFlag(n)) (3.19)
iPFlag2(n)=iIndex3 (3.20)
決定閾値pThresh1は、テーブル3.2に従って設定されており、iParam1のパラメータに対する許容帯域を定義している。結果のフラグは、テーブル3.6に従って解釈することができる。
【表6】

【0048】
インターレース及びプログレッシブの決定のために設定された閾値は、I及びPの「真」の決定が相互に排他的であることを保証し、例示的な値は、後述のテーブル3.15に与えられている。
【0049】
3.8 即時決定フラグ(iDFlag)
テーブル3.7に従って、「即時」中間決定フラグを組み合わせて、1つの「即時」決定フラグ、iDFlagを与える。
【表7】

【0050】
n番目のフレームに対する即時決定フラグiDFlag(n)を、「即時フラグ緩衝器」iDFlag bufに入力する。iDFlag bufにおいて、iDFlag(n)は、式(3.21)及び(3.22)に従って前のK−1個の即時フラグ値と共に記憶される。
【0051】
iDFlag buf(k)=iDFlag buf(k−1) k=K・・2
(3.21)
iDFlag buf(1)=iDFlag(n) (3.22)
3.9 Func5b−集計(Tally)決定フラグ(tDFlag)及び即時出力フラグ(iOFlag)
Func5bにおいて、「即時フラグ緩衝器」iDFlag bufに記憶されているK個の最新の即時フラグ値を処理して、集計フラグtDFlagを生成する。先ず、フラグ緩衝器を分析して、各候補iDFlag値(0・・6)が即時緩衝器中に何回現れるかを見付ける。これは、式(3.23)に従って行われる。
【数5】

【0052】
演算子f1は、式(3.24)において定義されている。
【0053】
(k=1)である場合に、 f1(k,1)=1
その他の場合に、 f1(k,1)=0 (3.24)
テーブル3.8に示されているように、7個の集計数(tally count)から成る組が生成される。
【表8】

【0054】
次に、「既知」の状態に対応する6個の即時集計数を分析して、フラグ値tallyMaxを見付ける。tallyMaxの集計値は、この6個のうちの最大値であり、かつ決定閾値TyThresh1よりも大きい。このプロセスは、テーブル3.9に記載されている。
【表9】

【0055】
次に、テーブル3.10に従って、即時集計フラグtDFlagを設定する。対応する集計値が、決定閾値TyThresh1よりも大きく、緩衝器の中に他の「既知」又は「エラー」の条件が存在しない場合に、このフラグは、「既知」のフィールド順序付け条件(0≦iDFlag≦5)にインデックスを返すだけである。
【表10】

【0056】
Func5bは、「即時の間欠的な(intermittent)」分析、すなわち、プログレッシブコンテンツにおける間欠的なフィールド不整列を検出する手続きも組み込んでいる。先ず、テーブル3.11に従って、目に見えるほど明らかなエラーを与える可能性のあるプログレッシブの状態TestFlagを決定する。なお、インターレース表示のフィールド順序付け(Interlaced Display Field Ordering, IDFO)フラグは、インターレース表示がTFFか又はBFFかを指示する。IDFOフラグは、フィールドの推測された(supposed)又は主張された(alleged)時間関係を示し、入ってくる信号から導き出すか又はユーザによって手入力することができる。
【表11】

【0057】
IDFOがTFFを知らせる場合に、BFF不整列のプログレッシブコンテンツは、目に見えるほど明らかな動きの歪みを生成するかもしれず、TestFlagは0に設定される(BFF)。IDFOがBFFを知らせる場合に、TestFlagは2(TFF)に設定される。次に、即時フラグ緩衝器の中に、目に見えるほど明らかになる可能性のあるフィールド不整列が多数検出されるかどうかの試験に、TestFlagを使用する。テーブル3.12に従って、結果の即時出力フラグiOFlagが設定される。閾値については、テーブル3.15を参照すべきである。
【表12】

【0058】
3.10 Func5c−ウィンドウ出力フラグ(wOFlag,wEFlag)
フレームの所定の緩衝器に対して、「即時集計フラグ」tDFlagは、大多数の「即時」決定値が同じ「既知」条件を有し、他の全ての決定値が「未知」条件を有する、という条件を反映する。テーブル3.13に従って、フラグtDFlagを、ウィンドウ決定フラグwDFlagと組み合わせて、全体的な決定フラグwOFlagを生成する。従って、即時集計フラグが同じである場合には、事実上、wDFlagの値をwOFlagにコピーする。そうでなければ、「未知」条件が設定される。
【表13】

【0059】
出力決定wOFlagは、フレーム特性(インターレース又はプログレッシブ)と、コンテンツの緩衝されたセグメントに対するフィールド順序の特性とを示す。検出された特性が、インターレース表示に対して、目に見えるほど明らかなエラーを生じ得るかどうかを、エラーフラグwEFlagによって示すために、更なる処理を適用する。この機能は、追加入力、すなわちIDFO(インターレース表示のフィールド順序)を必要とし、テーブル3.14に定義されている。TFFインターレース表示におけるTFF不整列のプログレッシブコンテンツの出力も、BFF表示におけるBFF不整列のプログレッシブも、エラーとしてフラグを立てられないことに注意すべきである。
【表14】

【0060】
3.11 出力フラグパラメータ(wOFlag,wEFlag,iOFlag)
出力フラグwEFlag及びwOFlagは、フィールド順序特性のウィンドウ分析の結果を反映している。パラメータは、幾つかのフレームに対して平均され、同じ期間に対するフレームごとの「即時」の結果によって改善される。従って、この分析は、反復フィールドの順序付け条件に対する感度が高く(sensitive)、全体的なコンテンツの特性の信頼できる検出器であると見なすことができる。
【0061】
出力フラグiOFlagは、フレームごとの「即時」の特性のみの分析に基づいており、プログレッシブの間欠的なフィールド不整列に対する感度が高い。このフラグが取り扱っているイベントは、ウィンドウ分析によって検出される可能性が低いものであり、従って、この分析は、目に見えるほど明らかになる可能性のあるエラーに対して、付加的な警告を提供する。しかしながら、「即時」試験は、検出をより誤り易くする性質があり、より信頼できるウィンドウ結果に対する、補足的な警告フラグであると見なすべきである。
【0062】
様々な適用の要件を満たすために、これらのフラグについての更なる統計的分析が必要であり得る。
【0063】
3.12 設定及び閾値
決定閾値の選択は、このフィールド順序分析アルゴリズムの用途によって決まる。テーブル3.15は、標準解像度のテレビジョンシステムに対する、潜在的なフィールド順序付け問題の検出に適した1組の閾値を示している。
【表15】

【0064】
4 アルゴリズムの機能及び性能
セクション3に記載されているフィールド検出アルゴリズムの重要な態様についての、機能と性能とを次に検討する。先ず、セクション4.1及び4.2において、インターレースビデオと、フレームを反復しないプログレッシブビデオとに対する、「即時」及び「ウィンドウ」の決定パラメータの特性を検討する。次に、セクション4.3において、「即時」パラメータと「ウィンドウ」パラメータとを組み合わせる効果を提示する。
【0065】
4.1 インターレースビデオに対する決定パラメータの特性
インターレースコンテンツについて図12を検討すると、B(n)の予測時間位置は、BFFの場合にはT(n−1)とT(n)との間にあり、TFFの場合にはT(n)とT(n+1)との間にある。フィールド間に相当な動きがある場合に、Func1によって生成されたDIF値をフレームごとに比較することによって、フィールドの順序付けを決めることができる。テーブル4.1は、TFF及びBFFのインターレースビデオに対する予測DIF値を示している。
【表16】

【0066】
7秒のTFFインターレースシーケンスの連続フレームに対するDIF値を、Func1に従って計算して、図13に示した。これらの「即時」のフレーム値は、TFFの試験の条件を大体満たしていることが分かる。
【0067】
時間平均をとることによって、パラメータの雑音の多い性質に対処することができ、図14は、Func2に従って、20フレームのスライディングウィンドウの平均をとった、図13からのコンテンツを示している。
【0068】
それぞれ図15及び図16において、Func3及びFunc3aに従って計算された対応する「即時」及び「ウィンドウ」の決定パラメータが、対応するインターレースの決定閾値iThresh1及びiThresh2と共に示されている。
【0069】
パラメータ1は、2つのDIF値がほぼ同じであって、かつ残りの値よりも相当に小さい、という特徴を反映することを意図している。パラメータ2は、最大DIF値と最小DIF値との差の全体的な重要度を反映することを意図している。n番目のフレームに対するインターレースタイプの「即時」の決定と「ウィンドウ」の決定とは、閾値に対してParam1とParam2とを試験すること、すなわち(func4)と(func4a)とによって行われる。インターレースタイプを検出するのに成功するには、パラメータ1がiThresh1よりも小さく、パラメータ2がiThresh2よりも大きいことが必要である。とくにパラメータ1に対する「ウィンドウ化(windowing)」の効果は、これらのグラフから明らかである。
【0070】
4.2 (フレームを反復しない)プログレッシブコンテンツに対する決定パラメータの特性
フレームを反復しないプログレッシブコンテンツについて図12を検討すると、フィールドB(n)はT(n)と時間的に整列するはずである。しかしながら、編集/処理をすると、フィールドB(n)を、T(n−1)(BFFで不整列)又はT(n+1)(TFFで不整列)と整列させることができる。連続フレーム間に相当な動きがある場合に、インターレースコンテンツに対して提案されているのと同じDIF値比較を使用することによって、フィールドの整列を決めることができる。このようなプログレッシブコンテンツについて、テーブル4.2は、プログレッシブの整列に対する予測DIF条件を示している。
【表17】

【0071】
図17は、正しく整列したプログレッシブコンテンツの8秒間の「ウィンドウ」DIF値は、
【数6】

【0072】
の予測条件を表わすことを示している。図18は、TFF不整列であるプログレッシブコンテンツに対する「ウィンドウ」DIF値を示しており、
【数7】

【0073】
である。
【0074】
図17及び図18に対する、対応するウィンドウパラメータ値wParam1及びwParam2は、図19及び図20にそれぞれ示されている。
【0075】
フレーム間に相当な動きのあるプログレッシブコンテンツについて、
【数8】

【0076】
の値は、インターレースコンテンツから、正しく整列したコンテンツと、正しく整列していないコンテンツとの両者を明確に区別する。正しく整列したプログレッシブコンテンツの場合には、第1位にランク付けされた差の値と、第2位にランク付けされた差の値とはあまり離れていないために、WParam1の値は、ほぼ100%であると予測される。しかしながら、不整列のプログレッシブコンテンツの場合には、この特徴は存在せず、WParam1>25%の予測範囲を使用して、差別に対する信頼度を増すことができる。
【0077】
4.3 「即時」パラメータと「ウィンドウ」パラメータとの組み合わせ
インターレースビデオと、フレームを反復しないプログレッシブビデオとの両者に対する、「ウィンドウ」決定パラメータは、概して安定しており、フィールド順序付け特性の信頼できる識別を提供する。しかしながら、「ウィンドウ」パラメータを一時的に信頼できないものにする、シーンカットと、高速フェードと、高速パンとを含むイベントに対して、即時DIF値を生成してもよい。
【0078】
図21は、フレーム35のあたりにシーンカットを有する、TFFインターレースシーケンスに対するDIFパラメータを示している。図22は、等価な「即時」パラメータ値を示しており、図23は、「ウィンドウ」パラメータを示している。
【0079】
このコンテンツの重要な特徴は、フレーム35におけるシーンカットである。これは、DIF1及びDIF3の測定値に明確なピークを生成している。シーンカットに先行して、フレーム21から、小さな減少する動きの期間がある。これは、図21において、3つのDIF値の全てがゼロに近付いていることによって、反映されている。
【0080】
フレーム27乃至31の小さな動きは、式3.14における「即時」動きフラグの設定を不可能にしており、図22において両者の「即時」決定パラメータがゼロであることによって示されている。興味深いこととして、これは、フレーム34、67、88、89、及び97以降においても生じている。シーンカットは、カットの一部であるフレームに対する「即時」分析が「既知」の誤った分類ではなく、「未知」の分類を返すといった特性を有する。この短期間の影響は、図22において認めることができる。しかしながら、シーンカットフレーム及び小さな動きのフレームの他に、図22は、TFFインターレースコンテンツのかなり良い「即時」分類を示している。「ウィンドウ化」の長所は、図23に明確に示されており、フレーム32までとフレーム53より後とを、信頼できる安定したTFFに分類している。しかしながら、フレーム33乃至52において、欠点は明確であり、シーンカット時の比較的に大きなDIF値が、ウィンドウの20フレームの期間に対する「ウィンドウ」パラメータを歪ませている。テーブル4.3は、「即時」DIF値と「ウィンドウ」DIF値とを並べて示すことにより、これを詳しく示している。
【表18】

【0081】
シーンカットが、後の「ウィンドウ」DIF値を歪ませるだけでなく、「ウィンドウ」決定wDFlagに、フレーム35以降について「1=正しく整列したプログレッシブ」との誤った分類を返させていることも、テーブル4.3に示されている。
【0082】
セクション3に記載されているフィールド順序分類方法は、「即時」技術と「ウィンドウ」技術とを組み合わせることによって、シーンカットの問題と、より一般的には、大きな動きのフェード及びパンの問題とを克服している。「即時」パラメータは、「ウィンドウ」パラメータよりも、本来、より変動しやすいが、このような条件に対して、よりロバストである。テーブル4.3は、組み合わせた決定wOFlagが、「ウィンドウ」分析wDFlagからの誤った分類を退けることを示している。
【0083】
TFFインターレースの標準解像度テレビジョンの20分間を分析して、「ウィンドウ」の分類結果と「組み合わせ」の分類結果とを、図24に提示した。「ウィンドウ」分析によるプログレッシブに対する誤った分類が、「組み合わせ」分析によって、少し取り除かれていることが分かる。
【0084】
4.4 フレームを反復するプログレッシブコンテンツ
反復フレームを有するプログレッシブのコンテンツ(図4)は、試験される各ボトムフィールドが少なくとも2つのトップフィールドと同じ時間整列を有することができる、という特別な問題を提示している。図25は、正しく整列し、2xフレームを反復するプログレッシブコンテンツに対する、「即時」DIF値を示している。試験される各ボトムフィールドは、対応するトップフィールドと時間的に整列し、更に、交互に前及び次のトップフィールドと時間的に整列するので、DIF2は常にほぼゼロであり、DIF1及びDIF3は、本質的にのこぎり歯状である。
【0085】
図26は、BFF不整列の、2xフレームを反復するコンテンツに対する、即時DIF値を示している(図8)。ここでは、全フレームについて、
【数9】

【0086】
であり、交互のフレームについて、
【数10】

【0087】
である。
【0088】
式3.4乃至3.6に従って、図25及び26に示されているDIF値の時間平均をとると、目立たなくなるので、このような規則的なフレーム反復には、セクション3に記載されている「ウィンドウ」分析を変更したものが必要である。フレーム反復が規則的で一貫性のある性質を有すると保証された場合に、「ウィンドウ」分析に先立って、中央値の平滑化(median smoothing)のような技術を取り入れてもよい。しかしながら、カートゥーンのコンテンツは、ランダムなフィールド不整列を有する、時間と共に変化するフレーム反復特性を有すること多いことが分かっている。
【0089】
セクション3に記載されている技術は、このようなコンテンツの全領域を分類することを目指しているのではなく、目に見えるほど明らかになる可能性のある不整列のみを識別することを目的としている。これは、Func5bの中で、問題を含んでいる可能性のあるパターンについて、「即時」フラグ緩衝器をサーチすることによって達成される。この技術は、プログレッシブコンテンツに対する「即時」決定の高信頼性から恩恵を受ける。
【0090】
不定のフレーム反復をし、かつBFF不整列である、標準解像度のプログレッシブのカートゥーンコンテンツを、目的のTFF表示について10分間、分析した。図27は、組み合わせ分析wOFlagと、「即時の間欠的な」分析iOFlagとに対する分類結果を示している。「即時の間欠的な」試験が、不規則な、問題のフィールド不整列に対するアルゴリズムの弱さを、相当に補足することが分かる。様々な度合い(varying degree)のフレーム反復は、「ウィンドウ」分析が十分に対処していない条件であり、「即時の間欠的な」試験は、この様々な度合いのフレーム反復に対処することができるので、とくに有益である。
【0091】
5. 結論
ここに記載されている技術は、プログレッシブコンテンツ及びインターレースコンテンツの、インターレース表示に対する、潜在的なフィールド順序付け問題を識別するために設計されている。スライドする3フレームの分析ウィンドウを使用して、フィールドの差の測定値の、「即時」の組と「ウィンドウ」の組とを生成し、これらの「即時」の組と「ウィンドウ」の組とから、対応する「即時」決定パラメータと「ウィンドウ」決定パラメータとを導き出す。これらのパラメータは、プログレッシブビデオシーケンス及びインターレースビデオシーケンスの、フィールド順序付けの特徴を識別する鍵を反映するように設計されている。インターレースシーケンスとプログレッシブシーケンスとの両者に対処することができる、信頼できる分類技術を提供するために、「ウィンドウ」分析と「即時」分析との組み合わせを示した。「組み合わせ」分析は、シーンカット、大きい動きのパン、及びフェード時の誤った分類に対して、又はフレームを反復するプログレッシブコンテンツに関して、この技術をとくにロバストにする。更に、不規則又は間欠的な問題に対して、「即時」専用の試験を含むことによって、フレームを反復するプログレッシブコンテンツにおける潜在的な問題の識別を強化している。
【0092】
6. 参考文献
[1]ITU−R Rec.BT.601、「Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratios(標準の4:3のアスペクト比とワイドスクリーンの16:9のアスペクト比とに対するディジタルテレビジョンのパラメータを符号化するスタジオ)」、http://www.itu.int/rec/R−REC−BT.601/en。
【0093】
[2]Kahn及びSanders、「Detection of progressive frames in a video field sequence(ビデオフィールドシーケンスにおけるプログレッシブフレームの検出)」、米国特許6563550号、2003年5月13日。
【0094】
[3]Casavant、Hurst、Perlman、Isnardi、及びAschwanden、「Video/film−mode detector using patterns of 2−field differences(2つのフィールドの差のパターンを使用したビデオ/フィルム−モード検出器)」、米国特許5317398号、1994年5月。
【0095】
[4]Westerman及びModem、「System for identifying video fields generated from film sources(フィルムソースから生成されたビデオフィールドを識別するシステム)」、米国特許6157412号、2000年12月。
【0096】
[5]Honda及びNagakubo、「Method for identifying input video signal and processing the video signal(入力ビデオ信号を識別して前記ビデオ信号を処理する方法)」、米国特許6154257号、2000年11月。
【0097】
[6]Swartz、「Film source video detection(フィルムソースビデオ検出)」、米国6014182号、2000年1月。
【0098】
[7]Selby、「Method and apparatus for detecting motion between odd and even fields(奇数フィールドと偶数フィールドとの間の動きを検出する方法及び装置)」、米国特許6633612号、2003年10月。
【0099】
[8]Faroudja、Xu、及びSwaltz、「Motion detection between even and odd fields within 2:1 interlaced television standard(2:1インターレーステレビジョン標準内における偶数フィールドと奇数フィールドとの間の動き検出)」、米国特許5291280号、1994年3月。
【0100】
[9]Christpher及びCorrea、「Method and Aparatus for Identifying..,(・・を識別する方法及び装置)」、米国特許5689301号、1997年11月。

【特許請求の範囲】
【請求項1】
ビデオ信号のフィールド順序を検出する方法であって、
各フレームが第1のタイプのフィールドに対するデータと第2のタイプのフィールドに対するデータとを具備する、連続するディジタル符号化されたフレームを受信するステップと、
第1のタイプのフィールドの各々について、
前記第1のタイプのフィールドと、前のフレームの第2のタイプのフィールドとの間の差を表わす第1の差信号(first difference signal, DIF1)と、
前記第1のタイプのフィールドと、同じフレームの第2のタイプのフィールドとの間の差を表わす第2の差信号(second difference signal, DIF2)と、
前記第1のタイプのフィールドと、後のフレームの第2のタイプのフィールドとの間の差を表わす第3の差信号(third difference signal, DIF3)と、
前記差信号の値に基づいて、前記第1のタイプのフィールドと、前記同じフレームの前記第2のタイプのフィールドとの推定時間関係を示す決定信号(wOFlag)と
を生成するステップと、
を備える、方法。
【請求項2】
時間関係を示す信号(IDFO)を受信して、前記IDFO信号を前記決定信号と比較して、整合しない場合に、警報信号(wEFlag)を生成するステップを含む、請求項1に記載の方法。
【請求項3】
前記決定信号は更に、他の第1のタイプのフィールドに対して取得した差信号によって決まる、請求項1又は2に記載の方法。
【請求項4】
複数のフレームに対して各差信号を平均して、それぞれの平均差信号(wDIF1、wDIF2、wDIF3)を生成し、前記平均差信号を分析することによって、決定信号(wOFlag)を取得する、請求項3に記載の方法。
【請求項5】
前記第1のタイプのフィールドの各々について、前記差信号によって決まる即時決定信号を生成し、次に、複数のフレームに対する前記即時決定信号によって決まる組み合わせ決定信号(tDFlag)を生成するステップを備える、請求項3に記載の方法。
【請求項6】
複数のフレームに対して各差信号を平均して、それぞれの平均差信号(wDIF1、wDIF2、wDIF3)を生成し、前記平均差信号を分析することによって、第1の決定信号(wDFlag)を取得し、前記第1のタイプのフィールドの各々について、前記差信号によって決まる即時決定信号を生成し、次に、複数のフレームに対する前記即時決定信号によって決まる第2の決定信号(tDFlag)を生成し、前記第1の決定信号と前記第2の決定信号とを組み合わせるステップを備える、請求項3に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate


【公表番号】特表2010−526502(P2010−526502A)
【公表日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2010−506988(P2010−506988)
【出願日】平成20年4月11日(2008.4.11)
【国際出願番号】PCT/GB2008/001276
【国際公開番号】WO2008/139135
【国際公開日】平成20年11月20日(2008.11.20)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】