説明

フィルム流れ検出

ビデオ信号(VA)におけるフィルム流れ(film cadence)が次のようにして検出される。ビデオ信号内の一連の画像について一連の分類指標(BcN,BcN-1,BcN-2,…)が生成される。分類指標はある特定の画像に属し、その特定の画像がもとの画像であるか反復画像であるかを示す。Xを所与の範囲内の自然数を表すものとして、少なくともX個の一連の分類指標についてある条件が検査される。その条件は、前記少なくともX個の一連の分類指標のそれぞれがX個前の分類指標に等しいというものである。この条件が真であれば、Xが表す自然数に一致するパターン指標が提供される。この条件が偽であれば、Xが前記所与の範囲内の別の自然数を表すものとして、その条件が改めて検査される。


【発明の詳細な説明】
【技術分野】
【0001】
本発明のある側面は、ビデオ信号中に存在しうる特定のプルダウン・パターンを検出するためのフィルム流れ検出(film cadence detection)の方法に関する。本発明の他の側面は、フィルム流れ検出器、ビデオ・システムおよびプログラム可能プロセッサのためのコンピュータ・プログラム・プロダクトに関する。
【背景技術】
【0002】
ビデオ信号は典型的には毎秒50または60画像を与えるフォーマットをもつ。画像は、そのフォーマットがインターレース走査と順次走査のどちらを提供するかに依存してそれぞれフィールドまたはフレームでありうる。これに対し、モーション・ピクチャーとも呼ばれる映画は典型的には毎秒24または25画像を与えるフォーマットをもつ。さらに、画像は典型的には写真プロセスによってフィルム上に記録される。
【0003】
テレシネ(telecine)として知られる処理は、一般に映画をビデオ信号に変換するために使われる。テレシネ処理は画像レート変換を伴う。多くの場合、より高い画像レートを達成するために、もとの映画の画像が一回または複数回繰り返される。テレシネ処理を映画に適用することによって得られたビデオ信号は、もとの画像と反復画像とを含む。そのようなビデオ信号は以下ではテレシネ・ビデオ信号と称する。
【0004】
テレシネ・ビデオ信号における画像反復は、要求される画像レート変換に準じた所与のパターンに従う。たとえば、映画が毎秒24画像のレートをもつとする。さらに、ビデオ信号が毎秒60画像のレートをもつとする。その場合、24から60への画像レート変換が要求される。これは、映画の奇数番目の画像を二回繰り返し、偶数番目の画像を一回繰り返すことによって達成できる。あるいはその逆でもよい。3:2のパターンがあり、これが2.5倍の画像レート上昇を与える。そのような反復パターンはしばしばプルダウン・パターン(pull-down pattern)またはフィルム流れ(film cadence)と称される。
【0005】
スローモーション・シーケンスをなすビデオ信号もプルダウン・パターンを示しうる。たとえば、スポーツ・イベントの放送は典型的には一つまたは複数のスローモーション・シーケンスを含む。いわゆるスローモーション・コントローラは典型的には、もともと撮影された画像を一回または複数回繰り返すことによってスローモーション・シーケンスを生成する。スローモーション・シーケンスにおけるプルダウン・パターンは比較的特異でもよい。たとえば、あるスポーツ・チャンネルからのあるビデオ信号には2:3:2:2:2:3:2:1:3というプルダウン・パターンが見出された。スローモーション以外のビデオ効果も特定のプルダウン・パターンを導入してよいことをさらに注意しておくべきであろう。
【0006】
もとの画像と反復画像との間の区別をすることが有利であるさまざまな型のビデオ信号処理がある。そのような型のビデオ信号処理が、各画像が一意的であるという、テレシネ・ビデオ信号には当てはまらない想定に基づく仕方でテレシネ・ビデオ信号を処理することであったとしたら、最適ではない結果が得られるであろう。好ましくはもとの画像と反復画像との間の区別をすべきであるビデオ信号処理の型の例としては:しばしばフレーム・レート変換と呼ばれる画像レート変換、インターレース解除およびプルダウン最適化が含まれる。
【0007】
フィルム流れ検出器は、ビデオ・プロセッサがもとの画像と反復画像との間の区別をすることを許容するパターン指標を提供できる。フィルム流れ検出器は、所与のビデオ入力信号またはその一部分がテレシネ処理から帰結していることを検出する。すなわち、フィルム流れ検出器は、ビデオ入力信号がテレシネ・ビデオ信号であることを検出する。さらに、フィルム流れ検出器は典型的には、テレシネ・ビデオ信号中で、フィルム流れとも呼ばれる特定のプルダウン・パターンを検出する。プルダウン・パターンは、テレシネ・ビデオ信号中の特定の画像がもとの画像であるか反復画像であるかを示す。
【0008】
フィルム流れ検出器は典型的には、いくつかの固定されたプルダウン・パターンに関連付けられた状態をもつ状態機械を含む。状態間の遷移は、相続く画像間での検出された差によって決定される。状態機械が扱える異なるプルダウン・パターンの数が大きいほど、状態機械は複雑になる。さらに、そのようなフィルム流れ検出器は、限られたレパートリーのプルダウン・パターンしか検出できないという意味で、あまり柔軟ではない。フィルム流れ検出器は、入力ビデオ信号がこの限られたレパートリーに含まれていないプルダウン・パターンを含む場合には適正な指標を与え損なう。
【0009】
番号WO01/013647のもとに公開された国際特許出願は、ビデオ・フィールドのシーケンスにおけるテレシネ・モードを検出する装置を開示している。第一のビデオ・フィールドおよび第二のビデオ・フィールドが比較されて、第一および第二のフィールドの一方が反復フィールドであるかどうかが判定される。反復フィールドのシーケンスがあるテレシネ・パターンに対応するときに、テレシネ・モードが宣告される。この装置はさまざまな状態機械を有し、そのそれぞれの状態図は前記国際特許出願の図面の10〜13に示されている。
【発明の概要】
【発明が解決しようとする課題】
【0010】
ほどほどのコストで比較的多大な多様性のプルダウン・パターンを扱うことのできるフィルム流れ検出器を提供することが本発明の一つの目的である。独立請求項は本発明のさまざまな側面を定義する。従属請求項は本発明を有利に実装するための追加的な特徴を定義する。
【課題を解決するための手段】
【0011】
本発明によれば、ビデオ信号におけるフィルム流れは次のようにして検出される。ビデオ信号内の一連の画像について一連の分類指標が生成される。分類指標はある特定の画像に属し、その特定の画像がもとの画像として分類されているか反復画像として分類されているかを示す。Xを所与の範囲内の自然数を表すものとして、少なくともX個の一連の分類指標についてある条件が検査される。その条件は、前記少なくともX個の一連の分類指標のそれぞれがX個前の分類指標に等しいというものである。この条件が真であれば、Xが表す自然数に一致するパターン指標が提供される。この条件が偽であれば、Xが前記所与の範囲内の別の自然数を表すものとして、その条件が改めて検査される。
【0012】
本発明に基づくフィルム流れ検出は、比較的単純なハードウェアもしくはソフトウェアまたは両者の組み合わせで実装できる。複雑な状態機械の必要はない。さらに、フィルム流れ検出は、比較的多大な多様性のプルダウン・パターンが検出できるという意味で普遍的である。
【0013】
本発明のある実装は、有利には、個々の従属請求項に対応する別個の段落に記載される以下の追加的特徴の一つまたは複数を含む。
【0014】
前述の条件は、好ましくは、Xを前記範囲内の最大の自然数を表すとしてまず検査され、その条件が偽であれば、その条件はXを次に大きい自然数を表すとして改めて検査される。
【0015】
本発明に基づくフィルム流れ検出は、好ましくは、それぞれのカウンタ値を有するカウンタ・レジスタに関わる。カウンタ値は、Xが表しうる特定の自然数に関連付けられる。新しい分類指標が生成されるとき、以下のステップが実行される。Xが表しうる各自然数について、新しい分類指標がX個前の分類指標に等しいかどうかが検査される。もしそうであれば、Xが表す自然数に関連付けられたカウンタ値がインクリメントされる。もしそうでなければ、カウンタ値はリセットされる。さらに、カウンタ値が、該カウンタ値が関連付けられている自然数と少なくとも等しいかどうかが検査される。もしそうであれば、この自然数に対応するパターン指標が提供される。
【0016】
画像の相違計量(difference metric)が好ましくは以下のようにして計算される。画像中のさまざまなピクセルについて局所相違が決定される。これらのピクセルのそれぞれは特定の値およびその画像内での特定の位置をもつ。あるピクセルについての局所相違は次のようにして決定される。近隣画像(neighboring image)における近隣ピクセル(neighboring pixels)の集合が定義される。前記近隣ピクセルは、前記近隣画像内でそれぞれの位置をもち、それらの位置は着目する画像における前記ピクセルの位置と同様である。前記近隣ピクセルの集合内での最小ピクセル値および最大ピクセル値が決定される。局所相違は、前記ピクセルの値が前記最小ピクセル値および前記最大ピクセル値に依存するある範囲内であるかこの範囲外であるかに依存して、それぞれ第一の所与の値または第二の所与の値をもつ。それぞれのピクセルについてのそれぞれの局所相違総計が計算される。この総計が、その画像についての相違計量を表す。この相違計量に基づいて、現在の画像がもとの画像として分類されるか反復画像として分類されるかが決定される。
【0017】
現在の画像は、好ましくは、少なくとも前記現在の画像についての相違計量および前述したパターン指標に基づいて、もとの画像または反復画像として分類される。
【0018】
そのような分類は好ましくは、次のようにして行われる。現在画像について、パターン指標に基づいて期待される分類指標が決定される。いくつかの相違計量に基づいて、分類指標の最も確からしいシーケンスが決定される。分類指標の最も確からしいシーケンスが前記期待される分類指標に一致しているかどうかが検証される。検証ステップが肯定的であれば、現在画像についての分類指標が、期待される分類指標に等しくされる。逆に、検証ステップが否定的であれば、前記分類指標は前記期待される分類指標と不等にされる。
【0019】
以上の段落において特定された追加的特徴は、信頼性およびコスト効率に貢献する。
【0020】
図面を参照しての詳細な説明は、ここに概要を示した本発明および追加的特徴を例解する。
【図面の簡単な説明】
【0021】
【図1】ビデオ・システムを例解するブロック図である。
【図2】3:2のプルダウン・パターンをもつビデオのフレーム・レート変換を示す概念図である。
【図3】前記ビデオ・システムの一部をなすフィルム流れ検出器を示す機能図である。
【図4】分類ビット・ストリームに基づいて流れパターンを検出する一連のステップを示すフローチャート図である。
【図5】5A〜5Kは、流れパターンの検出を示すテーブルである。
【図6】6Aおよび6Bは、現在画像および前の画像に基づいて相違計量を計算するための一連のステップを示すフローチャート図である。
【図7】少なくとも一つの相違計量に基づいて分類ビットを生成する一連のステップを示すフローチャート図である。
【図8】フィルム流れ検出器のソフトウェア・ベースの実装を構成するプロセッサを示すブロック図である。
【発明を実施するための形態】
【0022】
図1は、ビデオ・システムVSYを示す。ビデオ・システムVSYは、ビデオ・ソースVSC、ビデオ・ディスプレイ・ドライバVDD、ディスプレイ・デバイスDPLおよびリモート・コントロール・デバイスRCDを有する。より詳細には、ビデオ・ディスプレイ・ドライバVDDは入力回路INP、フィルム流れ検出器FCD、フレーム・レート変換器FRC、出力回路OUTおよびコントローラCTRLを有する。ビデオ・ソースVSCはたとえば、ビデオ・レコーダ、ビデオ放送受信器またはサーバーからビデオをダウンロードする通信ネットワーク・インターフェースでありうる。ディスプレイ・デバイスDPLはたとえば、液晶型のフラット・パネル・ディスプレイでありうる。
【0023】
ビデオ・ディスプレイ・ドライバVDDは基本的には次のように動作する。ビデオ・ディスプレイ・ドライバVDDはビデオ・ソースVSCからビデオ入力信号VAを受信する。ビデオ・ディスプレイ・ドライバVDDは、他のビデオ・ソースから他のビデオ入力信号VB、VCを受信してもよい。ユーザーはビデオ入力信号VA、VB、VCの一つを、自分のリモート・コントロール・デバイスRCDによって選択しうる。ユーザーはビデオ・ソースVSCからのビデオ入力信号VAを選択したとする。その結果、フレーム・レート変換器FRCはこのビデオ入力信号VAを受信する。以下では、例として、ビデオ入力信号VAは毎秒60フレームのフレーム・レートを有すると想定する。
【0024】
ビデオ入力信号VAはフィルム素材、つまりモーション・ピクチャーとも呼ばれる映画に由来するフレームのシーケンスを有していてもよい。映画は一般に毎秒24フレームのフォーマットで提供される。ビデオ入力信号VAは毎秒60フレームの異なるフォーマットをもつ。映画を毎秒24フレームのフォーマットから毎秒60フレームのフォーマットに変換するために「テレシネ」として知られる処理が使われている。この24から60へのフレーム・レート変換は典型的にはいわゆる3:2プルダウン・パターンに関わる。つまり、奇数番目のフレームは二回繰り返され、偶数番目のフレームは一回繰り返される、あるいはその逆である。テレシネは、関心のあるフレーム・レート変換に依存して他のプルダウン・パターンに関わってもよい。他のテレシネ・プルダウン・パターンのいくつかの例は:2:2、2:3:3:2および2:2:2:4である。
【0025】
ビデオ信号VAは、特定のプルダウン・パターンを示すスローモーション・シーケンスを含んでいても同様によい。たとえば、スポーツ・イベントの放送は典型的には一つまたは複数のスローモーション・シーケンスを含むが、これはもともと撮影された画像を一回または複数回繰り返すことによって生成されたものでありうる。スローモーション・プルダウン・パターンは、たとえば2:3:2:2:2:3:2:1:3といった比較的特異なものでもよい。スローモーション以外のビデオ効果も特定のプルダウン・パターンを導入してよい。他のプルダウン・パターンのいくつかの例は、3:2:3:2:2、5:5、6:4および8:7である。
【0026】
ビデオ入力信号VAがフィルム素材を含むとしよう。これは、ビデオ入力信号VAがテレシネ動作から帰結する特定のプルダウン・パターンをもつということを意味する。フィルム流れ検出器FCDはプルダウン・パターンを検出する。フィルム流れ検出器FCDは、検出されたプルダウン・パターンの記述であるパターン指標(pattern indication)PIを与える。フィルム流れ検出器FCDについてはのちにより詳細に述べる。
【0027】
フレーム・レート変換器FCDはビデオ入力信号VAをフレーム・レート変換にかける。たとえば、フレーム・レート変換器FRCは、知覚される画質を高めるためにフレーム・レートを倍にしてもよい。ビデオ入力信号VAのフレーム・レートは毎秒60フレームと想定したので、フレーム・レート変換器FRCは毎秒120フレームのフレーム・レートをもつビデオ・ディスプレイ信号VDを与えることになる。ビデオ・ディスプレイ信号VDは、内容の面ではビデオ入力信号VAに対応するが、異なるフレーム・レートをもつ。
【0028】
図1に示される出力回路OUTは、フレーム・レート変換器FRCが与えるビデオ・ディスプレイ信号VDに応答して、ディスプレイ・ドライバ信号DDを与える。その目的のため、出力回路OUTは、たとえば増幅、レベル・シフト、バイアス電圧生成および同期といったさまざまな信号処理動作を実行しうる。ディスプレイ・ドライバ信号DDを受信するディスプレイ・デバイスDPLは、こうしてビデオ入力信号VAの向上されたバージョンを表示する。
【0029】
フレーム・レート変換器FRCは、フレーム・レート変換を、フィルム流れ検出器FCDが与えるパターン指標PIに基づいて実行する。パターン指標PIは、フレーム・レート変換器FRCに、言ってみれば、ビデオ入力信号VAにおけるどのフレームが反復フレームであり、どのフレームがもとのフレームであるかを、比較的高い信頼度をもって伝える。フレーム・レート変換器FRCは、知覚される画質の点でフレーム・レート変換を最適にするために、この情報を有利に使用できる。たとえば、フレーム・レート変換が相続く画像の間に補間をすることに関わるとしよう。もとのフレームとそのもとのフレームの反復との間の補間は好ましくは避けるべきである。パターン指標PIはそのような補間を避け、それぞれの補間が二枚のもとのフレームまたはそのそれぞれのコピーに係るものとすることができる。
【0030】
図2は、フレーム・レート変換の例を示している。図2は、4つの層をもつ概念図である。上層はビデオ入力信号VAを表し、中上層はパターン指標PIを表し、中下層はもとの映画VOを表し、下層はビデオ・ディスプレイ信号VDを表す。図2では、平行四辺形がフレームを表す。これはビデオ入力信号VA、もとの映画VOおよびビデオ・ディスプレイ信号VDに当てはまる。図2は時間を表す水平軸をもつ。
【0031】
ビデオ入力信号VAは3:2のプルダウン・パターンをもつ。上層では、網掛けのない平行四辺形がもとのフレームを表す。グレーの網掛けのある平行四辺形が反復フレームを表す。パターン指標PIは、丸で表されるビットのシーケンスをなす。ビデオ入力信号VAの各フレームについて特定のビットがある。フレームがもとのフレームとして分類される場合、ビットは1に等しい。逆に、フレームが反復フレームとして分類される場合、ビットは0に等しい。
【0032】
パターン指標PIは、フレーム・レート変換器FRCがもとの映画VOを再構築することを許容する。その目的に向け、フレーム・レート変換器FRCは反復フレームを無視して、もとのフレームのみを保持する。図2では、ビデオ入力信号中の5枚のフレームからなるシーケンス毎に2枚のもとのフレームがある。フレーム・レート変換器FRCは、有効的にこれら2枚のもとのフレームの少なくとも一つを水平軸上で位置付けし直す。これは時間シフトを導入することに当たる。この位置付けし直しは、ビデオ入力信号VAからのもとのフレームを水平軸上で等間隔に位置付けするために行われる。こうして、もとの映画VOが得られる。
【0033】
フレーム・レート変換器FRCは、二つの相続くもとのフレームの間に一組の中間フレームを生成する。下層では、斜交線を付けた平行四辺形が中間フレームを表す。ビデオ・ディスプレイ信号VDに含まれる中間フレームは、比較的高いフレーム・レートを与える。フレーム・レート変換器FRCは、二つの相続くもとのフレームの間の補間によって中間フレームを生成してもよい。組の中の異なる中間フレームには異なる補間が使用されてもよい。たとえば、二つの相続くもとのフレームの間である特定の時間的位置をもつ特定の中間フレームを生成するために使われる補間は、この特定の時間的位置に依存してもよい。補間は、たとえば、動き補償に関わっていてもよい。あるいはまた、補間は、二つの相続くもとのフレームの間の、もとのフレームのそれぞれが関心のある中間フレームの特定の時間的位置に依存するそれぞれの重みをもつ、線形ブレンディングであってもよい。
【0034】
図3は、フレーム・レート変換において重要な役割を演じるパターン指標PIを与えるフィルム流れ検出器FCDを示している。フィルム流れ検出器FCDは以下の機能的実体を有する:相違計量計算器(difference metric calculator)DMC、分類ビット生成器(classification bit generator)CBG、入力値レジスタRGI、流れパターン検出器(cadence pattern detector)CPD、カウンタ値レジスタRGCおよび検出周期レジスタ(detected period register)RGP。入力値レジスタRGIは、それぞれ入力値I0、I1、I2、…、ILのアレイを記憶するためのセルCi0、Ci1、Ci2、…、CiLのアレイを有する。入力値レジスタRGIは全部でL+1個のセルを有する。Lは自然数である。カウンタ値レジスタRGCは、それぞれカウンタ値C0、C1、C2、…、CMのアレイを記憶するためのセルCc0、Cc1、Cc2、…、CcMのアレイを有する。カウンタ値レジスタRGCは全部でM+1個のセルを有する。Mは自然数であり、好ましくはLより小さいかLに等しい。検出周期レジスタRGPは、それぞれ検出された周期P0、P1、P2、…、PKのアレイを記憶するためのセルCp0、Cp1、Cp2、…、CpKのアレイを有する。検出周期レジスタRGPは全部でK+1個のセルを有する。Kは自然数である。
【0035】
フィルム流れ検出器FCDは基本的には以下のように動作する。相違計量計算器DMCがビデオ入力信号VA中の各フレームについて相違計量DMを計算する。相違計量DMは、着目するフレームと前のフレームとの間の差の大きさを示す値である。したがって、相違計量DMは、着目するフレームがもとのフレームである確からしさの度合い、あるいは逆に着目するフレームが反復フレームである確からしさの度合いを表現する。
【0036】
分類ビット生成器CBGは、ビデオ入力信号VA中の一連のフレームに属する一連の異なる計量を受信する。分類ビット生成器CBGは、ビデオ入力信号VA中の各フレームを、そのフレームについての相違計量DMおよび必要ならさらなる相違計量に基づいて、もとのフレームまたは反復フレームとして分類する。さらに、分類ビット生成器CBGは、この分類を実行する際にパターン指標PIを利用する。パターン指標PIは、分類ビット生成器CBGに、現在フレームがもとのフレームとして分類されるべきか反復フレームとして分類されるべきかを予測することを許容する基礎を提供する。このパターン指標PIの利用は有効的に、前の分類が新しい分類を行う際に役割を演じるという、分類プロセスにおけるフィードバックを構成する。なお、分類ビット生成器CBGが相違計量計算器DMCにさらなる相違計量を計算するよう要求RQを発してもよい。
【0037】
分類ビット生成器CBGは、ビデオ入力信号VA内の各フレームについて対応する順序で分類ビットBcを与える。分類ビットBcは、着目フレームがもとのフレームとして分類される場合に1に等しい値をもつ。逆に、着目フレームが反復フレームとして分類される場合には分類ビットBcの値は0に等しい。したがって、分類ビット生成器CBGは、ビデオ信号VA中の一連のフレームに属する一連の分類ビットBcN、BcN-1、BcN-2、…、BcN-L、…を与える。図3に示される一連の分類ビットBcN、BcN-1、BcN-2、…、BcN-L、…は、添え字をなす参照符号をもつ。添え字はビデオ入力信号VA中の個々のフレームを互いから区別するフレーム番号を表す。したがって、各個々の分類ビットBcは異なるフレーム番号をもつ。Nは自然数で、分類ビット生成器CBGが生成した最も最近の分類ビットBcNのフレーム番号を表す。
【0038】
入力値レジスタRGIは、分類ビット生成器CBGが与えた一連の分類ビットBcN、BcN-1、BcN-2、…、BcN-L、…を受領する。入力値レジスタRGIは先入れ先出し方式で動作する。したがって、入力値レジスタRGIは、分類ビット生成器CBGが与えた最も最近のL個の分類ビットを記憶する。最も最近の分類ビットBcNはセルCi0に存在しており、したがって、入力値I0をなす。最も最近から二番目の分類ビットBcN-1はセルCi1に存在しており、したがって、入力値I1をなす、などとなる。
【0039】
入力値レジスタRGIに記憶されているそれぞれの分類ビットは、分類ビット生成器CBGが新しい分類ビットBcを生成すると、セル位置一つぶんシフトする。最初、入力値レジスタRGIは空である。第1の分類ビットはセルCi0に記憶され、入力値I0をなす。第2の分類ビットが到着すると、この第1の分類ビットはセルCi1に移動し、入力値I1をなす。このプロセスが続けられ、ひとたび分類ビット生成器CBGが生成した分類ビットがL個を超えてからは各セルが分類ビットを含むようになる。定常状態が達成されるのである。
【0040】
流れパターン検出器CPDは、入力値レジスタRGI内に新しい分類ビットBcが記憶されるたびに、カウンタ値レジスタRGC内のそれぞれのカウンタ値C0、C1、C2、…、CMを更新する。すなわち、カウンタ値レジスタRGCは1フレームごとに更新される。各カウンタ値は、入力値レジスタRGI内にすでに記憶されている分類ビット内に存在しうる可能な周期性に関連付けられる。カウンタ値C1は1フレームの周期に関連付けられる。カウンタ値C2は2フレームの周期に関連付けられる、などである。カウンタ値CMは、Mフレームの周期に関連付けられ、これが検出できる最大周期である。初期には、各カウンタ値は0にセットされる。
【0041】
流れパターン検出器CPDは、入力値レジスタRGIに記憶されている入力値に基づいてカウンタ値レジスタRGCを更新する。そうするに当たり、流れパターン検出器CPDは、入力値レジスタRGIに記憶されている入力値内の周期性を検出しうる。流れパターン検出器CPDは、そのような周期があるときには、検出された周期Pdを与える。検出された周期Pdは0より大きく、検出できる最大周期であるMより小さい自然数である。
【0042】
流れパターン検出器CPDは検出された周期Pdを、先入れ先出し方式で動作する検出された周期レジスタRGPのセルCp0に書き込む。したがって、このレジスタ内に存在している以前に検出された各周期Pdは、もしあれば、セル位置一つぶん動く。こうして、検出周期レジスタRGPは、検出された周期の履歴を含む。流れパターン検出器CPDは、検出周期レジスタRGPに記憶されている検出された周期および入力値レジスタRGIに記憶された入力値に基づいてパターン指標PIを確立する。
【0043】
図4は、入力値レジスタRGIに記憶されている入力値にある周期性を検出するために流れパターン検出器CPDが実行する一連のステップSCDP1〜SCPD12を示している。流れパターン検出器CPDはこれらのステップを、分類ビット生成器CBGが与える新しい分類ビットBc毎に実行する。図3に示される分類ビットBcNがそのような新しい分類ビットであると想定される。他の分類ビットは以前に生成されたものである。
【0044】
ステップSCDP1では、新しい分類ビットBcNが入力値レジスタRGIに書き込まれる(BcN→RGI)。したがって、新しい分類ビットBcNは入力値I0を構成し、これが入力値レジスタRGIのセルCi0に記憶される(I0=BcN)。先に説明したように、分類ビットが以前にセルに記憶されたとすると、この分類ビットはセルCi1に移る。同様に、入力値レジスタRGIにすでに存在していたさらなる分類ビットがあればそれは、それぞれセル位置一つぶん移動する。ステップSCDP1の終わりには、入力値レジスタRGIには所与の数の入力値が存在することになる。定常状態の状況では、L+1個の入力値が入力値レジスタRGI内に存在する。初期段階の間はより少数の入力値があってもよい。
【0045】
ステップSCDP2では、流れパターン検出器CPDは、入力値レジスタRGIに存在している入力値の数がM以下であるという条件が真であるか否かを検査する(#I≦M?)。上記の条件が真である場合、不十分な数の入力値しかないので、最大周期Mはまだ検出されることができない。これは初期段階の間は典型的に当てはまる。上記の条件が真でない場合、最大周期Mを検出する十分な入力値がある。これは典型的には定常状態条件において当てはまるであろう。流れパターン検出器CPDは、上記の条件が真であるか否かに依存してそれぞれステップSCDP3またはステップSCDP4を実行する。
【0046】
ステップSCDP3またはステップSCDP4において、流れパターン検出器CPDは、セル・インデックス・パラメータxに初期値を割り当てる。セル・インデックス・パラメータxは、入力値レジスタRGI中の特定のセルCixおよびその特定のセルに記憶されている入力値Ixを指定する自然数である。さらに、セル・インデックス・パラメータxは、カウンタ値レジスタRGC中の特定のセルCcxおよびその特定のセルに記憶されているカウンタ値Cxを指定する。たとえば、セル・インデックス・パラメータxが2に等しい値をもつとしよう。その場合、セル・インデックス・パラメータxは、それぞれセルCi2およびセルCc2に存在する入力値I2およびカウンタ値C2を指定する。セル・インデックス・パラメータxはまた、特定のセルおよびそのセルに含まれる値をポイントするポインタと見なすこともできる。
【0047】
ステップSCDP3では、流れパターン検出器CPDはセル・インデックス・パラメータxの初期値を設定して、この値が入力値レジスタRGIに存在する入力値の数#Iから1を引いたものに等しくなるようにする(x=#I−1)。したがって、セル・インデックス・パラメータxは初期には、入力値レジスタRGIに存在する最も古い入力値をポイントする。初期段階では、この最も古い入力値は、スタートアップに続いて分類ビット生成器CBGが与えた最初の分類ビットである。
【0048】
ステップSCDP4では、流れパターン検出器CPDはセル・インデックス・パラメータxの初期値を設定して、この値が検出できる最大周期Mに等しくなるようにする(x=M)。したがって、セル・インデックス・パラメータxは初期には、入力値IMをポイントする。
【0049】
ステップSCDP5では、流れパターン検出器CPDは、検出された周期Pdを0に設定する(Pd=0)。検出された周期Pdが0に等しいということは、まだ周期が検出されていないことを意味する。他の何らかの値は周期が検出されたことを意味する。
【0050】
ステップSCDP6では、流れパターン検出器CPDは、セル・インデックス・パラメータxが0より大きいという条件が真であるか否かを検証する(x>0?)。上記の条件が真である場合、流れパターン検出器CPDはステップSCDP7および後続ステップを実行する。これについてはのちにより詳細に論じる。上記の条件が真でない場合、流れパターン検出器CPDは図4に示される諸ステップを実行するのをやめる。これらのステップは、その後の分類ビットが入力値レジスタRGIに書き込まれたときに改めて実行されることになる。
【0051】
ステップSCDP7では、流れパターン検出器CPDは、セル・インデックス・パラメータxがポイントする入力値Ixが、最も最近の分類ビットBcNである入力値I0に等しいという条件が真であるか否かを検証する(Ix=I0?)。上記の条件が真である場合、入力値レジスタRGIに存在している入力値は、潜在的に、自然数であるセル・インデックス・パラメータxに等しい周期性をもつことがありうる。その場合、流れパターン検出器CPDはステップSCDP9およびステップSCDP10を実行する。これについてはのちにより詳細に論じる。上記の条件が真でない場合、入力値レジスタRGIに存在する入力値は潜在的に、セル・インデックス・パラメータxに等しい周期性をもたない。その場合、流れパターン検出器CPDはステップSCDP8を実行する。
【0052】
ステップSCDP8では、流れパターン検出器CPDはセル・インデックス・パラメータxがポイントするカウンタ値Cxをリセットする(Cx=0)。すなわち、このカウンタ値Cxは0に等しくされる。先に説明したように、セル・インデックス・パラメータxがポイントするカウンタ値Cxは、フレーム数でのセル・インデックス・パラメータxに対応する可能な周期性に関連付けられる。このカウンタ値Cxをリセットすることは、分類ビット生成器CBGからの一連の分類ビットがおそらくはそのセル・インデックス・パラメータxに等しい周期性をもたないという評価と見なすことができる。言ってみれば、関連する周期性についての陰性試験(negative test)があったのである。流れパターン検出器CPDはその後、ステップSCDP9を実行する。これについては以下に論じる。
【0053】
逆に、ステップSCDP9では、流れパターン検出器CPDは、セル・インデックス・パラメータxがポイントしているカウンタ値Cxを1単位インクリメントする(Cx:+1)。すなわち、このカウンタ値Cxに1単位加算され、それがセル・インデックス・パラメータxがポイントするセルCcxについての新しいカウンタ値となる。このカウンタ値Cxをインクリメントすることは、一連の分類ビットがそのセル・インデックス・パラメータxに等しい周期性をもつ可能性が高いという評価と見なすことができる。
【0054】
ステップSCDP9に続くステップSCDP10において、流れパターン検出器CPDは、以下の二つの条件が真であるか否かを検証する。第一に、検出される周期が0に等しいか(Pd=0)?第二に、セル・インデックス・パラメータxがポイントするカウンタ値Cxがセル・インデックス・パラメータx以上であるか(Cx≧x)?第一の条件が真である場合、まだ周期は検出されていない。第二の条件が真である場合、着目するカウンタ値Cxが関連している周期「x」より大きな数の一連の陽性試験があったことになる。両方の条件が真である場合、流れパターン検出器CPDはステップSCDP10のあとにステップSCDP11を実行する。第一の条件が真でない場合、比較的大きな長さの周期がすでに検出されている。第二の条件が真でない場合、これまでに不十分な数の陽性試験があったことになる。上記の二つの条件のいずれかが真でない場合、流れパターン検出器CPDはステップSCDP10のあとにステップSCDP12を実行する。
【0055】
上記の条件が真である場合にSCDP10に続くステップSCDP11において、流れパターン検出器CPDは、検出された周期Pdがセル・パラメータ・インデックスx(Pd=x)に等しいと判定する。これは、関連する周期性について十分な数の陽性試験があったからである。検出された周期Pdは、流れパターン検出器CPDが図4に示されるステップの実行を続けるときは変更されない。検出される周期Pdが、入力値レジスタRGIに存在する入力値の最大の可能な周期性を表していることを注意しておくべきであろう。これは、セル・インデックス・パラメータxが、ステップSCDP3またはステップSCDP4のどちらか適用されるほうで、最大可能な値に設定されるからである。
【0056】
ステップSCDP8またはSCDP10に続きうるステップSCDP12では、流れパターン検出器CPDはセル・インデックス・パラメータxを1単位デクリメントする(x:−1)。図3を参照すると、これは、ポインタとセル位置一つぶん左にシフトさせることと見なすことができる。その後、流れパターン検出器CPDは、改めてステップSCDP6および後続ステップを実行する。それらについては先に論じた。図4に示される一連のステップは、ステップSCDP12においてセル・インデックス・パラメータxが1から0にデクリメントされると終わりになる。
【0057】
図5A〜5Kは、流れパターン検出器CPDが実行する図4に示される一連のステップの結果として、レジスタ内容および検出される周期の発展を示している。入力値レジスタRGIが分類ビットのシーケンス:101011010110101…を逐次的に受け取るものとする。周期性5の基本パターン10101がある。換言すれば、長さ5の周期10101がある。
【0058】
図5A〜5Kのそれぞれは、3行11列のテーブルで、列は0から10の番号が振られている。上の行は入力値レジスタRGI内のそれぞれの入力値を表す。真ん中の行はカウンタ値レジスタRGC内のそれぞれのカウンタ値を表す。下の行は検出周期レジスタRGP内のそれぞれの検出された周期を表す。列番号は特定のセルを、よって上述のレジスタのそれぞれにおける特定の値を指定する。指定される特定のセルおよび値の参照符号の添え字は列番号と一致する。たとえば、列0は入力値I0、カウンタ値C0および検出された周期P0を指定する。列1は入力値I1、カウンタ値C1および検出された周期P1を指定する。
【0059】
図5Aでは、入力値レジスタRGIは、上記のシーケンスの第1の分類ビット、1を受信している。図5Bでは、入力値レジスタRGIは、第2の分類ビット、0を受信している。同様に、さらなる図5C〜5Kのそれぞれにおいて、入力値レジスタRGIは、上記のシーケンスのその後の分類ビットを受信している。入力値レジスタRGIがその後の分類ビットを受信するとき、流れパターン検出器CPDは図4に示される一連のステップを実行する。図5A〜5Kは、レジスタ内容の点でこのことがもつ効果を、テーブルによって時間順に示している。その後の分類ビットの受信に際して、一つのテーブルから次のテーブルへのジャンプがある。
【0060】
各テーブルにおいて、図4に示した諸ステップに現れるセル・インデックス・パラメータxは、有効的に特定の列をポイントする。セル・インデックス・パラメータxは、該セル・インデックス・パラメータxに一致する列番号の列をポイントする。図5A〜5Kのそれぞれにおいて、セル・インデックス・パラメータxは、初期には、上の行で列0から右に進んでいくときに入力値を含む最後の列をポイントする。セル・インデックス・パラメータxは、ステップSCPD9が実行されるたびに有効的に列位置一つぶん右にシフトする。
【0061】
図5A〜5Kにおいて、灰色の網によって強調したカウンタ値がある。そのような強調したカウンタ値は、直前のテーブルの対応するカウンタ値に対してインクリメントされたものである。図4を参照すると、これは、ステップSCPD7で検証される条件が真であり、その結果、関連するカウンタ値がインクリメントされるということを意味する。
【0062】
図5A〜5Kにおいて、ボールド体で示され、灰色の網で強調されている列番号がある。そのような強調された番号をもつ列は、関連する列番号以上のカウンタ値を含む。図4を参照すると、これは、ステップSCPD10で検証される条件が真であり、その結果、列番号が検出された周期を構成するということを意味する。これに関し、列番号がセル・インデックス・パラメータxの現在値と一致することを注意しておく。
【0063】
より詳細には、図5Aは、入力値レジスタRGIが第1の分類ビット、1を受信したことを示している。第1の分類ビットはセルCi0に存在する。カウンタ値レジスタRGCはリセットされている。すべての個別のカウンタ値C0、C1、C2、…、CMが0に等しい。第1の分類ビットは、入力値レジスタRGIに存在している唯一の入力値であるから、セル・インデックス・パラメータxの初期値は0である。流れパターン検出器CPDはステップSCPD6で検出し、したがって図4に示されるさらなるステップのどれも実行しない。単一の入力値に基づいて周期が検出されるはずはないので、これは理にかなっている。
【0064】
図5Bは、入力値レジスタRGIが第2の分類ビット、0を受信したことを示している。第2の分類ビットはセルCi0に存在し、よって入力値I0を構成する。第1の分類ビットはセルCi1に移っており、よって入力値I1を構成する。セル・インデックス・パラメータxの初期値が1なので、流れパターン検出器CPDはステップSCPD7を一度だけ実行する。ステップSCPD7で、流れパターン検出器CPDは入力値I1が入力値I0に等しくないことを判定する。結果として、列1のカウンタ値は0のままである。周期は検出されない。検出された周期Pdはしたがって0に等しい。
【0065】
図5Cは、入力値レジスタRGIが第3の分類ビット、1を受信したことを示している。第3の分類ビットはセルC0に存在し、よって入力値I0を構成する。第1および第2の分類ビットはセルC1およびC2に移っており、よってそれぞれ入力値I1およびI2を構成する。セル・インデックス・パラメータxの初期値は2である。ステップSCPD7で、流れパターン検出器CPDは入力値I2が入力値I0に等しいことを判定する。すなわち、ステップSCPD7で検証される条件が真である。結果として、それまで0であった列2のカウンタ値は1単位インクリメントされ、したがって1である。
【0066】
図5Dは、入力値レジスタRGIが第4の分類ビット、0を受信したことを示している。第4の分類ビットは入力値I0を構成する。第1、第2および第3の分類ビットは今やそれぞれ入力値I3、I2およびI1を構成する。セル・インデックス・パラメータxの初期値は3であり、これはデクリメントされて2になる。次いでステップSCPD7で、流れパターン検出器CPDは入力値I2が入力値I0に等しいことを判定する。すなわち、ステップSCPD7で検証される条件が真である。結果として、それまで1であった列2のカウンタ値は1単位インクリメントされ、したがって2である。列2のカウンタ値は今やこの列の番号に等しい。ステップSCPD10で、流れパターン検出器CPDは、このステップで検証される二つの条件が真であることを判定する。結果として、検出された周期Pdは2である。
【0067】
図5E〜Kは、流れパターン検出器CPDが図4に示される一連のステップを実行することから帰結するレジスタ内容のさらなる発展を示している。図5Eでは、列2および列4の入力値が第5の検出ビットである列0の入力値に等しい。結果として、列2および列4のカウンタ値は、図5Dに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。列2のカウンタ値3は、この列の番号よりも大きい。結果として、検出された周期Pdは2である。
【0068】
図5Fでは、列1、列3および列5の入力値が第6の検出ビットである列0の入力値に等しい。結果として、列1、列3および列5のカウンタ値は、図5Eに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。しかしながら、列2の入力値が列0の入力値に等しくないので、直前のテーブルで3であった列2のカウンタ値はリセットされる。流れパターン検出器CPDは、周期が2に等しいという以前の発見は第6の検出ビットによって支持されないと評価したのである。列1のカウンタ値1はこの列の番号に等しい。結果として、検出された周期Pdは1である。
【0069】
図5Gでは、列3および列5の入力値が第7の検出ビットである列1の入力値に等しい。結果として、列3および列5のカウンタ値は、図5Gに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。しかしながら、列1の入力値が列0の入力値に等しくないので、直前のテーブルで1であった列1のカウンタ値はリセットされる。流れパターン検出器CPDは、周期が1に等しいという以前の発見は第7の検出ビットによって支持されないと評価したのである。周期性は検出されない。したがって、検出された周期Pdは0である。
【0070】
図5Hでは、列2、列3、列5および列7の入力値が第8の検出ビットである列0の入力値に等しい。結果として、列2、列3、列5および列7のカウンタ値は、図5Gに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。列3のカウンタ値3はこの列の番号に等しい。結果として、検出された周期Pdは3である。
【0071】
図5Iでは、列2、列5および列7の入力値が第9の検出ビットである列1の入力値に等しい。結果として、列2、列5および列7のカウンタ値は、図5Hに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。しかしながら、列3の入力値が列0の入力値に等しくないので、直前のテーブルで3であった列3のカウンタ値はリセットされる。流れパターン検出器CPDは、周期が3に等しいという以前の発見は第9の検出ビットによって支持されないと評価したのである。周期性は検出されない。したがって、検出された周期Pdは0である。
【0072】
図5Jでは、列2、列4、列5、列7および列9の入力値が第10の検出ビットである列0の入力値に等しい。結果として、列2、列4、列5、列7および列9のカウンタ値は、図5Iに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。列5のカウンタ値5はこの列の番号に等しい。結果として、検出された周期Pdは5であり、これは検出ビットのシーケンスの実際の周期性に一致する。
【0073】
図5Kでは、列1、列3、列5、列6,列8および列10の入力値が第11の検出ビットである列0の入力値に等しい。結果として、列1、列3、列5、列6,列8および列10のカウンタ値は、図5Jに示される直前のテーブルのカウンタ値に対して1単位インクリメントされる。列5のカウンタ値6はこの列の番号に等しい。結果として、検出された周期Pdは5であり、これは検出ビットのシーケンスの実際の周期性に一致する。
【0074】
検出ビットのこのシーケンスからその後受け取られるどの検出ビットについても、周期性が5のままであれば、検出された周期Pdは5のままに留まる。
【0075】
図6Aおよび6Bは、ビデオ入力信号VAにおける現在画像IMcについての相違計量DMを計算するために相違計量計算器DMCが実行する一連のステップを示している。ビデオ入力信号VA中の各画像は逐次、現在画像IMcをなす。現在画像IMcをなす画像には近隣画像(neighbor)があり、それが相違計量DMを計算するために使用される。この近隣画像は好ましくは、もとの画像として分類された最も最近の画像である。この画像IMpは、以下では前の画像(previous image)と称される。
【0076】
ステップSDMC1において、相違計量計算器DMCは、所与のパターンに従って現在画像IMcの走査を開始する(ST_SCN)。相違計量計算器DMCは、現在画像IMcを走査する間、逐次ピクセルを指定していく。指定された各ピクセルは、現在画像IMc内で特定の空間的位置をもつ。相違計量計算器DMCは、走査が完了されるまで指定された各ピクセルについてステップSDMC2〜SDMC7を反復的に実行する。そうすることにおいて、相違計量計算器DMCは局所相違総計SMDFを逐次更新していく。これについては以下でより詳細に述べる。局所相違総計SMDFは、相違計量計算器DMCが、逐次ステップSDMC2〜SDMC7を実行することに係る走査を開始する前に値0を与えられる。
【0077】
ステップSDMC2では、相違計量計算器DMCは、前の画像Impにおいて近隣ピクセルの集合SPnを定義する(DEF_SPn)。この集合のピクセルは、前の画像IMpにおいて、現在画像IMcにおける指定されたピクセルの位置と比較的似たそれぞれの位置をもつ。たとえば、相違計量計算器DMCは、指定されたピクセルの位置を含む特定の領域を定義してもよい。この領域は、前の画像IMpに投影されることができる。前の画像IMpにおけるピクセルでこの投影された領域にはいるものが、前記近隣ピクセルの集合SPnをなす。
【0078】
ステップSDMC3では、相違計量計算器DMCは、前の画像IMpにおける近隣ピクセルの集合SPn内で最大値MAXおよび最小値MINを判別する(DEF_MAX&MIN)。近隣ピクセルの集合SPnにおいて、ピクセル値の点で二つの極端がある:最高値をもつピクセルと最低値をもつピクセルである。最大値MAXは近隣ピクセルの集合SPn内で最高ピクセル値に一致する。最小値MINは最低ピクセル値に一致する。
【0079】
ステップSDMC4では、相違計量計算器DMCは、指定されたピクセルが最小値MINからある閾値THを引いたものと最大値MAXに前記閾値THを加えたものとの間に含まれる値をもつという条件が真であるか否かを判定する(MIN-TH<Pi<MAX+TH?)。上記の条件が真の場合、着目する位置において、現在画像IMcと前の画像IMpとの間に比較的差が少ないと言うことができる。その場合、相違計量計算器DMCはステップSDMC5を実行する。上記の条件が負の場合、着目する位置において、現在画像IMcと前の画像IMpとの間の有意な差があるということができる。その場合、相違計量計算器DMCはステップSDMC6を実行する。
【0080】
ステップSDMC5で適用される閾値THは固定または可変でありうることを注意しておくべきである。可変の場合、閾値THは、たとえば、関連する位置の近傍における局所的な空間的活発さに依存してもよい。閾値THは、現在画像IMcおよび前の画像IMpが関連する位置の近傍において比較的なめらかであれば比較的低くてもよい。逆に、関連する位置の近傍で比較的多くの詳細がある場合には閾値THは比較的高くてもよい。閾値THは、最小値MINと最大値MAXに異なる閾値が関連付けられるという意味で非対称であってもよいことも注意しておくべきである。
【0081】
ステップSDMC5において、相違計量計算器DMCは指定されたピクセルについての局所相違が0に等しいと判別する(DF@Pi=0)。局所相違総計SMDFは所与の値をもち、その値はステップSDMC5において維持される(SMDF:=)。すなわち、局所相違総計SMDFは、ステップSDMC5の前と後で同じ値をもつ。
【0082】
ステップSDMC6では、相違計量計算器DMCは、指定されたピクセルについての局所相違が1に等しいと判別する(DF@Pi=1)。局所相違総計SMDFは1単位インクリメントされる(SMDF:+1)。すなわち、局所相違総計SMDFは、ステップSDMC6の後では1単位高くなる。
【0083】
ステップSDMC7では、相違計量計算器DMCは、走査が完了か否かを検証する(SCN=CMPL?)。走査が完了でない場合、相違計量計算器DMCは、走査のパターンにおいて1位置動くことによって、その後のピクセルを指定する。これはステップSDMC8でなされ、それ続いてステップSDMC2〜SDMC7が前記その後の指定されたピクセルについて実行される。走査が完了である場合、相違計量計算器DMCは現在画像IMcについての相違計量DMが局所相違総計SMDFに等しいと決定し、走査の終了となる。これはSDMC9においてなされる(DM=SMDF)。相違計量計算器DMCは、図6Aおよび6Bに示される一連のステップを実行することによって確立された相違計量DMを、図3に示される分類ビット生成器CBGに適用する。
【0084】
図7は、番号がN+1である着目するフレームについて分類ビットBcN+1を決定するために、分類ビット生成器CBGが実行する一連のステップSCBG1〜SCBG10を示している。相違計量計算器DMCが着目するフレームについての相違計量DMN+1および以前のフレームについてのさらなる相違計量DMN、DMN-1、…をすでに生成している。図3を参照して先に説明したように、分類ビット生成器CBGは、流れパターン検出器CPDが提供するパターン指標PIを利用する。
【0085】
ステップSCBG1において、分類ビット生成器CBGは、着目するフレームについて、パターン指標PIに基づいて期待される分類ビットPr[BCN+1]を決定する(PI⇒Pr[BcN+1])。すなわち、分類ビット生成器CBGは有効的に、パターン指標PIに基づいて、着目するフレームがもとのフレームとして分類されるか反復フレームとして分類されるかを予測する。
【0086】
ステップSCBG2では、分類ビット生成器CBGは、着目するフレームについての相違計量DMN+1が期待される分類ビットPr[BCN+1]に整合するか否かを判定する(DMN+1〜Pr[BcN+1])。たとえば、相違計量DMN+1は、期待される分類ビットPr[BCN+1]が着目するフレームを反復フレームとして分類するなら、比較的低い値をもつべきである。逆に、相違計量DMN+1は、期待される分類ビットPr[BCN+1]が着目するフレームをもとのフレームとして分類するなら、比較的高い値をもつべきである。相違計量DMN+1が期待される分類ビットPr[BCN+1]に整合する場合、分類ビットBCN+1は期待される分類ビットPr[BCN+1]に等しい。ステップSCBG10はこの結論を記号化している(BcN+1=Pr[BcN+1])。逆に、相違計量DMN+1が期待される分類ビットPr[BCN+1]に整合しない場合、分類ビット生成器CBGは継続し、ステップSCBG3およびSCBG4を実行する。
【0087】
ステップSCBG3では、分類ビット生成器CBGは、相違計量計算器DMCが生成した相違計量のシーケンスに一致する分類ビットのシーケンスについて確率の尺度M1を計算する(M1[DMN+1,DMN,DMN-1,..])。確率の尺度M1は、関連する分類ビットのシーケンスと相違計量のシーケンスとの間の一致の度合いと見ることができる。分類ビット生成器CBGは、分類ビットのさまざまなシーケンスについて、そのような尺度M1のいくつかを計算する。分類ビットのある特定のシーケンスが最高の確率の尺度M1Hをもつであろう。この特定のシーケンスが、着目するフレームについての分類ビットBcN+1の予測を与える。
【0088】
ステップSCBG4では、分類ビット生成器CBGは、最高の確率の尺度M1Hをもつ分類ビットのシーケンスが、期待される分類ビットPr[BCN+1]と整合するかどうかを判定する(M1H〜Pr[BcN+1])。すなわち、分類ビット生成器CBGは、相違計量のシーケンスに基づく予測が、パターン指標PIに基づく期待される分類ビットPr[BCN+1]と一致するかどうかを判定する。最高の確率尺度M1Hをもつ分類ビットのシーケンスが予測される分類ビットPr[BCN+1]に整合する場合、分類ビットはその予測される分類ビットPr[BCN+1]に等しい。ステップSCBG10はこの結論を記号化している(BcN+1=Pr[BcN+1])。逆の場合、つまり整合性がない場合には、分類ビット生成器CBGは継続し、ステップSCBG5〜SCBG8を実行する。
【0089】
ステップSCBG5では、分類ビット生成器CBGは相違計量計算器DMCに追加的な相違計量を計算するよう要求する(RQ→DMC)。追加的な相違計量DMN+1は、先に述べた図6Aおよび6Bに示されるように計算されてもよい。しかしながら、異なる画像が前の画像をなすであろう。たとえば、前の画像は、もとの画像として分類された画像のうち二番目に最も最近の画像であってもよい。
【0090】
ステップSCBG6では、分類ビット生成器CBGがした要求に応答して、相違計量計算器DMCは追加的な相違計量の集合S_DMaを提供する(DMC:S_DMa→CBG)。
【0091】
ステップSCBG7では、分類ビット生成器CBGは、利用可能となったこの追加的な相違計量に基づいて分類ビットのシーケンスについての新しい確率の尺度M2を計算する(M2[S_Dma])。分類ビット生成器CBGは、分類ビットのさまざまなシーケンスについてそのような新しい尺度M2のいくつかを計算する。分類ビットのある特定のシーケンスは、最高の新しい確率の尺度M2Hをもつことになる。この特定のシーケンスが着目するフレームについての分類ビットの新しい予測を提供する。
【0092】
ステップSCBG8では、分類ビット生成器CBGは、最高の新しい確率の尺度M2Hをもつ分類ビットのシーケンスが、期待される分類ビットPr[BCN+1]と整合するかどうかを判定する(M2H〜Pr[BcN+1])。すなわち、分類ビット生成器CBGは、追加的な相違計量を考慮に入れた新しい予測が、パターン指標PIに基づく期待される分類ビットPr[BCN+1]と一致するかどうかを判定する。最高の新しい確率尺度M2Hをもつ分類ビットのシーケンスが予測される分類ビットPr[BCN+1]に整合する場合、分類ビットはその予測される分類ビットPr[BCN+1]に等しい。ステップSCBG10はこの結論を記号化している(BcN+1=Pr[BcN+1])。逆の場合、つまり整合性がない場合には、分類ビット生成器CBGは最終的に、分類ビットが期待される分類ビットPr[BCN+1]と等しくないと結論する。ステップSCBG9はこの結論を記号化している(BcN+1≠Pr[BcN+1])。これは、パターン指標PIがもはや当てはまらないであろうことを含意している。パターンは破れた。これはたとえば場面変化のためでありうる。
【0093】
図3に示される機能的実体のいずれも、ソフトウェアもしくはハードウェアまたはソフトウェアとハードウェアの組み合わせによって実装されうることを注意しておくべきである。たとえば、これらの機能的実体のそれぞれは、プロセッサを好適にプログラムすることによって実装されうる。そのようなソフトウェア・ベースの実装では、ソフトウェア・モジュールがプロセッサに、特定の機能的実体に属する個別的な動作を実行させる。もう一つの例として、上記の機能的実体のそれぞれは、専用回路の形で実装されてもよい。これはハードウェア・ベースの実装である。ハイブリッド実装がソフトウェア・モジュールおよび一つまたは複数の専用回路を伴ってもよい。
【0094】
図8は、図3に示されるフィルム流れ検出器FCDのソフトウェア・ベースの実装であるプロセッサPRCを示している。プロセッサPRCはインターフェースIF、命令実行回路CPU、揮発性メモリRAMおよび不揮発性メモリROMを有する。バスBSは上記の諸要素を互いに結合させる。プロセッサPRCはビデオ入力信号VAをインターフェースIFを介して受領し、パターン指標PIをインターフェースIFを介して提供する。その目的に向け、インターフェースIFは一つまたは複数のデータ・バッファを有してもよい。
【0095】
不揮発性メモリRAMは、図3に示される入力値レジスタRGI、カウンタ値レジスタRGCおよび検出周期Pdレジスタを含む。不揮発性メモリROMはフィルム流れ検出プログラムPFCDを含む。フィルム流れ検出プログラムPFCDは一組の命令を有しており、該命令が命令実行回路CPUに、図3に示されるフィルム流れ検出器FCDを参照して記載してきたさまざまな動作を実行させる。フィルム流れ検出器プログラムPFCDは、それぞれが図3に示される特定の機能的実体を実装するさまざまなモジュールMDCM、MCBG、MCPDを有していてもよい。
【0096】
図8に示されるプロセッサPRCはたとえば、パーソナル・コンピュータ、パーソナル通信装置またはデータ処理機能をもつ他のいかなる型の装置であってもよい。不揮発性メモリROMは、たとえば、ハードディスク、電気的に消去可能なプログラム可能な読み出し専用メモリまたはデータを記憶することのできる他のいかなる型の媒体の形であってもよい。フィルム流れ検出プログラムPFCDは、このプログラムをサーバーからインターネットを含む通信ネットワークを介してダウンロードすることによって不揮発性メモリROMに書き込まれてもよい。そのようなダウンロードは課金を条件としてもよい。代替では、ビデオ向上機能が特定の時点で要求されるときに、フィルム流れ検出プログラムPFCDおよびトレーニング・ソフトウェア・プログラムも不揮発性メモリRAMにダウンロードされてもよい。フィルム流れ検出プログラムPFCDは、装置のスイッチが切られた場合には改めてダウンロードされる必要がある。
【0097】
〈結語〉
図面を参照しての以上の詳細な説明は、単に、請求項において定義される本発明および追加的特徴の例示である。本発明は数多くの異なる仕方で実装できる。このことを示すため、いくつかの代替について簡単に示しておく。
【0098】
本発明は、プルダウン・パターンをもつビデオ信号を処理するよう構成されることのできるいかなる型の製品または方法においても有利に適用されうる。図1に示されるビデオ・システムVSYは単に例である。本発明は、たとえば、インターネットなどのようなネットワークを介して画像を受信することのできる通信装置において同様に有利に適用されてもよい。通信装置は、たとえばパーソナル・コンピュータ、セットトップボックス、携帯電話または携帯情報端末(personal digital assistant)であってもよい。
【0099】
本発明に基づくフィルム流れ検出は、数多くの異なる応用のために使用されうる。たとえば、フィルム流れ検出は、いわゆるプルダウン最適化のために使用されてもよい。図2は、パターン指標PIがもとの映画のピクチャーVOの再構成を許容することを示している。もとのフレームを、テレシネ処理において使用されるのと同様の仕方で反復することによって、もとの映画のピクチャーVOに基づいて、比較的高いフレーム・レートの出力ビデオ信号が生成できる。この出力ビデオ信号は、以下の仕方で最適なプルダウン・パターンを与えられることができる。出力ビデオ信号における各フレームは時間軸上で所与の位置をもつ。それぞれのもとのフレームも、時間軸上で所与の位置をもつ。出力ビデオ信号における各フレームは、出力ビデオ信号におけるそのフレームに最も近いもとのフレームのコピーである。したがって、出力ビデオ信号は最小限のジャダーをもつ。
【0100】
本発明に基づくフィルム流れ検出器は、図3には示されていないさらなる機能的実体を有していてもよい。たとえば、フィルム流れ検出器は場面変化検出器を有していてもよい。場面変化検出器は、所与のフレームがもとのフレームとして分類され、かつ該所与のフレームが前のもとのフレームと比較的大幅に異なる場合、該所与のフレームについて場面変化を検出しうる。フィルム流れ検出器はさらに、ビデオ入力信号において何らかのオーバーレイがあるかどうかを検出する、いわゆるハイブリッド検出器を有していてもよい。たとえば、字幕やロゴが、ビデオ入力信号に存在しうるそのようなオーバーレイをなす。このハイブリッド検出は、フィルム流れ検出器が特定のプルダウン・パターンを検出する場合、周期的に行うことができる。
【0101】
本発明に基づくフィルム流れ検出器を実装するには数多くの異なる仕方がある。図3〜図7は個別的な実装を示しているが、これには数多くの変形がある。たとえば、本発明に基づくフィルム流れ検出器は、必ずしもカウンタ値レジスタを有する必要はない。流れパターン検出器は、周期性を検出するための関連する条件が真であるか偽であるかの検証を、分類ビットのシーケンスを通じてスキャンすることによって行ってもよい。図3に示される実装に関しては、流れパターン検出器CPDは、図4に示されるのとは異なる一連のステップを実行することによってカウンタ値レジスタRGCを便利に更新し、検出された周期Pdを提供しうることを注意しておくべきである。たとえば、流れパターン検出器CPDは、第一に、特定のフェーズにおいてそれぞれのカウンタ値を更新してもよい。すべてのカウンタ値が更新され終わったときに後続フェーズがスタートする。この後続フェーズにおいて、流れパターン検出器CPDはカウンタ値を検査して、あるカウンタ値が、そのカウンタ値が関連付けられているある周期の長さを表す自然数以上であるかどうかを見る。
【0102】
ある画像と別の画像との間の類似性の度合いを表す、画像についての相違計量を計算するための数多くの異なる仕方がある。図6Aおよび6Bは、特定のピクセルについての局所相違が計算される個別的な例を示している。さらに、これらの局所相違は二値の形で表される。異なる実施形態では、局所相違は有効的に比較される両方の画像の領域に関係してもよい。局所相違はデジタル値の形で表現されうる。
【0103】
用語「画像(image)」および「フレーム(frame)」は広義に理解すべきである。これらの用語は、フレーム、フィールドおよび画像またはピクチャーを完全にまたは部分的に構成しうる他の任意の実体を含む。
【0104】
ハードウェアもしくはソフトウェアまたはその両方の項目により機能を実装する数多くの方法がある。これに関し、図面は非常に概略的であり、それぞれ本発明の一つの可能な実施形態を表すのみである。よって、図面が異なる機能を異なるブロックとして示していても、そのことは決して、単一のハードウェアまたはソフトウェア項目がいくつかの機能を実行することを排除するものではないし、ハードウェアもしくはソフトウェアまたはその両方の集合体がある機能を実行することを排除するものでもない。
【0105】
以上でなされた注記は、図面を参照しての詳細な説明が本発明を限定するというよりは例解するものであることを立証している。付属の請求項の範囲にはいる数多くの代替がある。請求項に参照符号があったとしてもその請求項を限定するものと解釈すべきではない。「有する」の語は、請求項に挙げられている以外の要素やステップの存在を排除しない。要素やステップの単数形の表現はそのような要素やステップの複数の存在を排除しない。

【特許請求の範囲】
【請求項1】
ビデオ信号におけるフィルム流れを検出する方法であって:
・前記ビデオ信号内の一連の画像について一連の分類指標が生成される分類指標生成段階であって、分類指標はある特定の画像に属し、その特定の画像をもとの画像または反復画像として分類するものである、段階と;
・Xを所与の範囲内の自然数を表すものとして、少なくともX個の一連の分類指標についてある条件が検査される流れパターン検出段階であって、前記条件は、前記少なくともX個の一連の分類指標のそれぞれがX個前の分類指標に等しいというものであり、前記条件が真であれば、Xが表す自然数に一致するパターン指標を提供し、前記条件が偽であれば、Xが前記所与の範囲内の別の自然数を表すものとして前記条件を改めて検査する、段階とを有する、
方法。
【請求項2】
請求項1記載のフィルム流れを検出する方法であって、前記流れパターン検出段階において、前記条件は、前記範囲内の最大の自然数を表すXをもってまず検査され、前記条件が偽であれば、前記条件はXを次に大きい自然数を表すとして改めて検査される、方法。
【請求項3】
請求項1記載のフィルム流れを検出する方法であって、複数の個別カウンタ値をもつカウンタ・レジスタに関わり、カウンタ値はXが表しうる特定の自然数に関連付けられ、当該方法は、新しい分類指標が生成されるときに実行される以下のステップ、すなわち:
・Xが表しうる各自然数について、前記新しい分類指標がX個前の分類指標に等しいかどうかが検査され、もしそうであればXが表す自然数に関連付けられたカウンタ値をインクリメントし、もしそうでなければXが表す自然数に関連付けられたカウンタ値をリセットするカウンタ・レジスタ更新段階と;
・カウンタ値が、該カウンタ値が関連付けられている自然数と少なくとも等しいかどうかが検査され、もしそうであればこの自然数に一致するパターン指標を提供するカウンタ・レジスタ・モニタリング段階とを有する、
方法。
【請求項4】
請求項1記載のフィルム流れを検出する方法であって:
・現在画像中の、それぞれ特定の値および現在画像内での特定の位置をもつさまざまなピクセルについて一連のサブ段階が実行される局所相違決定段階であって、前記一連のサブ段階は:
・近隣画像における近隣ピクセルの集合が定義され、前記近隣ピクセルは、前記近隣画像内でそれぞれの位置をもち、それらの位置は現在画像における前記ピクセルの位置と同様である、近隣ピクセル集合定義サブ段階と;
・前記近隣ピクセルの集合内での最小ピクセル値および最大ピクセル値が決定される最小および最大決定サブ段階と;
・前記ピクセルについての局所相違が決定される段階であって、前記局所相違は、前記ピクセルの値が前記最小ピクセル値および前記最大ピクセル値に依存するある範囲内であるかこの範囲外であるかに依存して、それぞれ第一の所与の値または第二の所与の値をもつ、比較サブ段階とを有する、
局所相違決定段階と;
・それぞれのピクセルについてのそれぞれの局所相違の総計が計算され、前記総計が、現在画像についての相違計量を表す、総和段階と;
・少なくとも現在画像の前記相違計量に基づいて、現在画像がもとの画像または反復画像として分類される分類段階とを有する、
方法。
【請求項5】
請求項1記載のフィルム流れを検出する方法であって:
・前記ビデオ信号中の一連の画像について一連の相違計量が計算される相違計量計算段階であって、相違計量はある特定の画像に関係し、その画像とある近隣画像との間の相違の程度を示すものである、段階と;
・現在画像が、少なくとも現在画像についての前記相違計量および前記流れパターン検出段階が提供する前記パターン指標に基づいて、もとの画像または反復画像として分類される、分類段階とを有する、
方法。
【請求項6】
請求項5記載のフィルム流れを検出する方法であって:
・現在画像について、前記パターン指標に基づいて期待される分類指標Pr(BcN+1)が決定される予測段階と;
・いくつかの相違計量に基づいて、分類指標の最も確からしいシーケンスが決定される統計解析段階と;
・分類指標の前記最も確からしいシーケンスが前記期待される分類指標に整合するかどうかが検証される検証段階と;
・前記検証段階が肯定的であれば現在画像についての分類指標が前記期待される分類指標に等しいとされ、前記検証段階が否定的であれば現在画像についての分類指標は前記期待される分類指標に等しくないとされる、出力段階とを有する、
方法。
【請求項7】
フィルム流れ検出器であって:
・ビデオ信号内の一連の画像について一連の分類指標を生成するよう構成された分類指標生成器であって、分類指標はある特定の画像に属し、その特定の画像がもとの画像であるか反復画像であるかを示すものである、分類指標生成器と;
・Xを所与の範囲内の自然数を表すものとして、少なくともX個の一連の分類指標についてある条件を検査するよう構成された流れパターン検出器であって、前記条件は前記少なくともX個の一連の分類指標のそれぞれがX個前の分類指標に等しいというものであり、前記流れパターン検出器はさらに、前記条件が真であれば、Xが表す自然数に一致するパターン指標を提供し、前記条件が偽であれば、Xが前記所与の範囲内の別の自然数を表すものとして前記条件を改めて検査するよう構成されている、流れパターン検出器とを有する、
フィルム流れ検出器。
【請求項8】
請求項7記載のフィルム流れ検出器と、前記フィルム流れ検出器が提供するパターン指標に依存して前記ビデオ信号を処理するよう構成されたビデオ処理器とを有する、ビデオ・システム。
【請求項9】
プログラム可能なプロセッサ用のコンピュータ・プログラムであって、前記プログラム可能なプロセッサにロードされたときに前記プログラム可能なプロセッサに請求項1記載の方法を実行させる一組の命令を有する、コンピュータ・プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図5D】
image rotate

【図5E】
image rotate

【図5F】
image rotate

【図5G】
image rotate

【図5H】
image rotate

【図5I】
image rotate

【図5J】
image rotate

【図5K】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2010−515394(P2010−515394A)
【公表日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2009−544467(P2009−544467)
【出願日】平成19年12月21日(2007.12.21)
【国際出願番号】PCT/IB2007/055278
【国際公開番号】WO2008/081386
【国際公開日】平成20年7月10日(2008.7.10)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】