画像処理方法、データ処理方法、コンピューター読み取り可能な媒体、およびデータ処理装置
【課題】ビデオフレームにおける大域フレーム間動作を検出し補正する方法および装置を
提供すること。
【解決手段】画像におけるピクセルの一部の輝度データをサンプルし画像が特定の画像タ
イプであることを特定すること、特定された画像タイプに基づき画像のビットプレーンを
選択すること、および選択されたビットプレーンを用いて画像を白黒画像に変換すること
を含む。ビデオフレームを白黒に変換後、第1フレームに対応する白黒画像におけるピク
セルサブセットが第2の、続くフレームの白黒画像における検索区域内の候補適合ピクセ
ルサブセットと比較される。検出されたフレーム間動作に基づきフレームは処理され知覚
された動作ぶれを補正する。
提供すること。
【解決手段】画像におけるピクセルの一部の輝度データをサンプルし画像が特定の画像タ
イプであることを特定すること、特定された画像タイプに基づき画像のビットプレーンを
選択すること、および選択されたビットプレーンを用いて画像を白黒画像に変換すること
を含む。ビデオフレームを白黒に変換後、第1フレームに対応する白黒画像におけるピク
セルサブセットが第2の、続くフレームの白黒画像における検索区域内の候補適合ピクセ
ルサブセットと比較される。検出されたフレーム間動作に基づきフレームは処理され知覚
された動作ぶれを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は一般的にデジタルビデオフレームのシーケンスに描かれる大域フレ
ーム間動作の検出および補正に関わる。より具体的に、開示される実施形態はビデオフレ
ームにおける大域フレーム間動作を検出し補正する方法、装置、およびコンピューター読
み取り可能な媒体に関する。
【背景技術】
【０００２】
デジタルビデオにおける動作の検出はさまざまな画像処理用途の中で用いることができ
る。例えば、フレーム間動作の検出は液晶ディスプレイなどホールド型ディスプレイ上で
フレームを見る場合人間の目により知覚されるぶれに対応する関係において用いることが
できる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７４２０６２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、フレーム間動作の検出は迅速かつ正確に実施するのは難しい。例えば、大域フ
レーム間動作の検出は演算コストが高く、処理遅延の原因となり、大量のメモリーを必要
とする可能性がある。これらの問題に対応するために、ビデオフレームはフレーム間動作
を検出する前に時々圧縮される。カラーのビデオフレームまたは画像は画像のビットプレ
ーンが白黒画像であるので、ビットプレーンを用いて圧縮することができる。しかしフレ
ーム間動作の検出に用いるのに選択されるビットプレーンは画像の輝度レベルおよび画像
に描かれる場面の種類により異なり得る。
【課題を解決するための手段】
【０００５】
本発明の画像処理方法は、画像を白黒画像に変換する画像処理方法であって、
前記画像が特定の画像タイプであることを特定するために前記画像におけるピクセルの
一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記画像のビットプレーンを選択するステップと、
前記選択されたビットプレーンを用いて前記画像を変換するステップとを有することを
特徴とする。
【０００６】
また、本発明の画像処理方法において、前記画像における各ピクセルに対する輝度デー
タは８ビットの列として表現され、前記輝度データをサンプルするステップは、前記８ビ
ット中最上位ビットから3番目のものに対応するビットプレーンをサンプルするステップ
を含むことを特徴とする。
【０００７】
また、本発明の画像処理方法において、前記輝度データをサンプルするステップは、前
記画像のサンプルビットプレーンにおける第1ビットを前記サンプルビットプレーンにお
ける第2ビットと比較するステップを含み、前記第1および第2ビットは前記画像において
隣接するピクセルに対応し、前記第1および第2ビットを比較するステップは前記第1およ
び第2ビットに対しXOR演算を行なうステップを含むことを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記輝度データをサンプルするステップは、前
記画像のサンプルビットプレーンにおいて隣接するビットが異なる平均回数を計算するス
テップを含み、前記隣接するビットは前記画像の隣接するピクセルに対応することを特徴
とする。
【０００９】
また、本発明の画像処理方法において、前記サンプルされたピクセルの一部は前記画像
において選ばれたピクセルの行および／または列を含むことを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記画像タイプは自然画像タイプおよび非自然
画像タイプのうちの1つであり、前記選択するステップは、前記画像が前記自然画像タイ
プであると特定された場合に第1ビットプレーンを前記選択されたビットプレーンとして
選択し、前記画像が前記非自然画像タイプであると特定された場合に第2ビットプレーン
を前記選択されたビットプレーンとして選択するステップを含むことを特徴とする。
【００１１】
また、本発明の画像処理方法において、テキストおよび／またはグラフィックスを含む
コンピューター生成画像は前記非自然画像タイプと分類されることを特徴とする。
【００１２】
また、本発明の画像処理方法において、前記画像における各ピクセルに対する輝度デー
タは８ビットの列として表現され、前記選択されたビットプレーンは、前記8ビット中最
上位ビットから6番目のものに対応するビットプレーンおよび前記8ビット中最上位ビット
から7番目のものに対応するビットプレーンのグループから選択されることを特徴とする
。
【００１３】
ここで、本発明のデータ処理方法は、ビデオフレームのシーケンスに描かれるフレーム
間動作を推定するデータ処理方法であって、
上記画像処理方法における画像を変換するステップに従い前記シーケンスにおける第1
ビデオフレームを第1白黒画像に変換するステップと、
前記第1ビデオフレームの画像変換に使用された前記選択されたビットプレーンに対応
する第2ビデオフレームのビットプレーンを用いて前記シーケンスにおける前記第2ビデオ
フレームを第2白黒画像に変換するステップと、
フレーム間動作を回収するために前記第1および第2白黒画像を用いてブロック照合を実
施するステップとを有することを特徴とする。
【００１４】
また、本発明のデータ処理方法において、前記回収されたフレーム間動作を特性化する
動作ベクトルを判定するステップと、
前記動作ベクトルに信頼度を結び付けるステップとをさらに有することを特徴とする。
【００１５】
また、本発明のデータ処理方法において、前記信頼度が信頼性閾値を満足する場合には
、前記第1および第2ビデオフレームに続く後続の複数のフレームにおけるフレーム間動作
を、前記選択されたビットプレーンに対応するビットプレーンを前記後続の各フレームに
おいて用いて推定し、
前記信頼度が信頼性閾値を満足しない場合には、前記後続の各フレームにおけるフレー
ム間動作を、前記選択されたビットプレーンに対応するビットプレーンとは異なるビット
プレーンを用いて推定することを特徴とする。
【００１６】
一方、本発明の画像処理方法は、画像を白黒画像に変換する画像処理方法であって、
前記画像の少なくとも1つのビットプレーンの少なくとも一部におけるビット変化頻度
を判定するステップと、
前記判定されたビット変化頻度を閾値と比較して前記画像の1つのビットプレーンを選
択するステップと、
前記選択されたビットプレーンを用いて前記画像を白黒画像に変換するステップとを有
し、
前記ビット変化頻度が判定される前記少なくとも1つのビットプレーンは前記選択され
たビットプレーンを含まない画像処理方法。
【００１７】
ここで、本発明のコンピューター読み取り可能な媒体は、実行されるとフレームのシー
ケンスに描かれるフレーム間動作を検出する方法を実施するコンピューター読み取り可能
な命令を有する1つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップと、
前記第１ビデオフレームを前記第１白黒画像に変換するステップに使用された前記選択
されたビットプレーンに対応する第2ビデオフレームのビットプレーンを用いて、前記シ
ーケンスにおける前記第2ビデオフレームを第2白黒画像に変換するステップと、
前記第1および第2白黒画像を用いてブロック照合を実施しフレーム間動作を回収するス
テップとを有することを特徴とする。
【００１８】
一方、本発明のデータ処理装置は、フレームで検出されたフレーム間動作に基づき前記
フレームのシーケンスを処理するデータ処理装置であって、
複数のフレームを受信するバッファーと、処理回路とを有し、
前記処理回路は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップとを実行するよう構成されることを特徴とする。
【００１９】
また、本発明のデータ処理装置において、前記処理回路は、前記フレーム間動作に基づ
き前記フレームのシーケンスを修正して知覚されたぶれを最小限にするよう構成されるこ
とを特徴とする。
ここで、本発明のデータ処理方法は、デジタルビデオシーケンスにおける第１のビデオ
フレームと第２のビデオフレームとの間の大域フレーム間動作を推定するデータ処理方法
であって、
前記第１ビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２ビデ
オフレームの検索区域内における候補ピクセルサブセットの輝度データと比較し、前記候
補ピクセルサブセットから仮適合ピクセルサブセットを判定するステップと、
前記検索区域に対する仮適合ピクセルサブセットの位置に基づき他方のビデオフレーム
から実適合ピクセルサブセットを判定するステップと、
前記実適合ピクセルサブセットの位置に基づき、前記大域フレーム間動作を特性化する
大域フレーム間動作ベクトルを計算するステップとを有することを特徴とする。
【００２０】
また、本発明のデータ処理方法において、前記判定するステップは、前記検索区域の境
界に対する前記仮適合ピクセルサブセットの位置に基づくことを特徴とする。
【００２１】
また、本発明のデータ処理方法において、前記判定するステップは、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接しているか判定するステッ
プを含み、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合には、前記
仮適合ピクセルサブセットを前記実適合ピクセルサブセットとして指定するステップと、
前記検索区域を変更して、前記ピクセルサブセットを前記変更された検索区域内の候補ピ
クセルサブセットと比較して前記実適合ピクセルサブセットを判定するステップとのいず
れかを行なうことを特徴とする。
【００２２】
また、本発明のデータ処理方法において、前記検索区域を変更することは、前記検索区
域を前記仮適合ピクセルサブセットが隣接している境界の方向に移動させるステップを含
むことを特徴とする。
【００２３】
また、本発明のデータ処理方法において、前記仮適合ピクセルサブセットが前記検索区
域の境界に隣接していない場合、前記仮適合ピクセルサブセットは前記実適合ピクセルサ
ブセットとして指定されることを特徴とする。
【００２４】
また、本発明のデータ処理方法において、前記検索区域は、位置が前記第1ビデオフレ
ームにおける前記基準ピクセルサブセットのピクセル対応するピクセルと併せてピクセル
の周辺の帯を有することを特徴とする。
【００２５】
また、本発明のデータ処理方法において、前記帯の幅は前記検索区域が移動される距離
に等しいことを特徴とする。
【００２６】
また、本発明のデータ処理方法において、前記基準ピクセルサブセットはピクセルブロ
ックのセットを有し、前記ピクセルブロックは前記第1ビデオフレームにわたり実質的に
均一に分布されることを特徴とする。
【００２７】
また、本発明のデータ処理方法において、前記比較することは、前記第１ビデオフレー
ムのピクセルブロックを前記第2ビデオフレームの検索区域内において対応するピクセル
ブロックと比較してピクセルブロックの仮適合セットを判定するステップを有することを
特徴とする。
【００２８】
また、本発明のデータ処理方法において、前記ピクセルブロックを比較する際に、前記
第1ビデオフレームのピクセルブロックにおけるピクセルの輝度値と前記第2ビデオフレー
ムの検索区域内の対応するピクセルブロックにおけるピクセルの輝度値との絶対差が計算
されて蓄積され、前記ピクセルブロックの仮適合セットが判定されることを特徴とする。
【００２９】
また、本発明のデータ処理方法において、前記比較する前に、前記ビデオフレームを白
黒画像に変換するステップをさらに有することを特徴とする。
【００３０】
また、本発明のデータ処理方法において、前記白黒画像に変換するステップは、
前記第１および第２ビデオフレームの選択されたビットプレーンを用いて、前記第１お
よび第２ビデオフレームにおける各ピクセルを黒または白に変換するステップを有し、
前記選択されたビットプレーンは、前記第１及び第２ビデオフレーム内において1つの
サンプルビットプレーンにおけるビット変化頻度がビット変化頻度の閾値を満足するか否
かに基づき選択されることを特徴とする。
【００３１】
また、本発明のデータ処理方法において、前記実適合ピクセルサブセットの信頼性を確
認するステップと、
前記実適合ピクセルサブセットが信頼できるとみなされた場合にのみ、前記大域動作ベ
クトルを計算するステップとをさらに有することを特徴とする。
【００３２】
また、本発明のデータ処理方法において、前記実適合ピクセルサブセットの信頼性は、
前記実適合ピクセルサブセットについて計算された絶対差エラーの合計と絶対差エラー合
計の最小および平均の比率との少なくとも1つに基づくことを特徴とする。
【００３３】
また、本発明のデータ処理方法において、前記大域フレーム間動作ベクトルを用いて前
記ビデオフレームを処理して前記計算された大域フレーム間動作を補正するステップをさ
らに有することを特徴とする。
【００３４】
ここで、本発明のデータ処理装置は、デジタルビデオシーケンスにおける第１のビデオ
フレームと第２のビデオフレームとの間の大域フレーム間動作を推定するデータ処理装置
であって、
前記第１のビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２の
ビデオフレームの検索区域内における候補ピクセルサブセットの輝度データと比較して、
候補ピクセルサブセットから仮適合ピクセルサブセットを判定するよう構成されるフレー
ム比較器と、
前記検索区域に対する前記仮適合ピクセルサブセットの位置を判定するよう構成される
適合位置推定器であって、前記フレーム比較器はさらに前記適合位置推定器により判定さ
れた位置に基づき前記第2ビデオフレームから実適合ピクセルサブセットを判定するよう
構成される適合位置推定器と、
前記実適合ピクセルサブセットの位置に基づき大域フレーム間動作ベクトルを計算する
よう構成される大域フレーム間動作推定器とを有することを特徴とする。
【００３５】
また、本発明のデータ処理方法において、前記大域フレーム間動作ベクトルに基づき前
記ビデオフレームを処理し前記大域フレーム間動作を補正するよう構成される大域フレー
ム間動作補正器をさらに有することを特徴とする。
【図面の簡単な説明】
【００３６】
【図１】フレーム間動作を検出し補正する方法例を開示する図である。
【図２】ビデオ装置例の概略図である。
【図３】ビットプレーンを選択することによりビデオフレームを白黒に変換する方法例を開示する図である。
【図４】ソース画像例と対応ビットプレーンの表を開示する図である。
【図５】白黒ビデオフレームおよび適応可能な検索区域を用いてフレーム照合を行ない、大域フレーム間動作を推定する工程を示すフローチャートである。
【図６】複数のピクセルブロックに分割された第1ビデオフレームの図である。
【図７】図5のピクセルブロックの3つが対応検索区域の上に重ねられているのを示す続くビデオフレームの図である。
【図８】図7の続くビデオフレームの一部で第1ビデオフレームからの第1ピクセルブロックがフレーム照合の際その対応検索区域内に徐々に位置付けされる図である。
【図９】図7の続くビデオフレームの一部で第2ビデオフレームからの第1ピクセルブロックがフレーム照合の際その対応検索区域内に徐々に位置付けされる図である。
【図１０】図7の続くビデオフレームの一部で第1ビデオフレームから対応検索区域にあるピクセルブロックの位置で、ピクセルブロックが少なくとも１辺を各々の対応検索区域の境界と一致しているものを示す図である。
【図１１】図7の続くビデオフレームの一部で選択された量だけ検索区域の移動を示す図である。
【図１２】大域フレーム間動作を得るためのフレーム照合を実施する代替の工程を示すフローチャートである。
【図１３】図６の第１ビデオフレームを複数のピクセルブロックに分割したものの図で、複数のピクセルブロックは図12における代替工程に従った初期比較のために2等分されている。
【図１４】複数のピクセルブロックに分割され、ウィンドウが複数のピクセルブロックを囲む第１ビデオフレームの図である。
【図１５】図14における複数のピクセルブロックを囲むウィンドウが続くビデオフレームにおける1つの検索区域に重なっているところを示す図である。
【図１６】図14におけるウィンドウ内のすべてのピクセルブロックがフレーム照合の際1つの検索区域内に徐々に位置付けられるところの図である。
【図１７】デジタルビデオシーケンスにおけるビデオフレーム間のジッタを推定し補正する装置のブロック図である。
【発明を実施するための形態】
【００３７】
以下の詳細な説明において、発明の実施形態例を例示的に示す添付図面が参照される。
図面において、各々の図を通して実質的に類似した構成要素は類似した数字が表している
。これらの実施形態は当業者が発明を実施できるよう充分に詳細に説明される。本発明の
範囲から逸脱することなく他の実施形態も利用でき、構造的、論理的、および電気的な変
更を加えることができる。さらに、発明のさまざまな実施形態は異なってはいるが、必ず
しも互いに排他的ではないことが理解されよう。例えば、一実施形態において説明される
特定の特長、構造、または特徴は他の実施形態内に含まれ得る。従って以下の詳細な説明
は限定的な意味で捉えるべきでなく、本発明の範囲は添付クレームとともに、このような
クレームが権利を有する均等物の全範囲によってのみ規定される。
【００３８】
一般的に、実施形態例はデジタルビデオフレームのシーケンスにおけるフレーム間動作
を検出および補正する方法、装置、およびコンピューター読み取り可能な媒体に関する。
実施形態例は知覚されたぶれを最小限にしたデジタルビデオフレームを作り出すための、
知覚されたぶれの補正を含む各種の画像処理用途と併せて用いることができる。フレーム
間動作の検出の際、ビデオフレームの一方におけるピクセルサブセットを他方のビデオフ
レームの検索区域内にある候補ピクセルサブセットと比較し、候補ピクセルサブセットか
ら仮適合ピクセルサブセットを判定する。他方のビデオフレームからの実適合ピクセルサ
ブセットは検索区域に対する仮適合ピクセルサブセットの位置に基づき判定される。それ
によりピクセルサブセットおよび実適合ピクセルサブセットに基づく動作ベクトルが計算
され、フレーム間動作を推定する。ビデオフレームは次に推定フレーム間動作に基づきフ
レーム間動作を補正するために処理される。
【００３９】
次に図1を参照すると、大域フレーム間動作を検出し補正する方法例100が開示される。
大域フレーム間動作を検出し補正するためにビットプレーンが選択され（段階102）、ビ
デオフレームシーケンスにおける連続ビデオフレームの各ペアにつきビデオフレームは選
択されたビットプレーンを用いて1ピクセル毎1ビット（すなわち白黒または複調）画像に
変換される（段階104）。次に白黒画像を用いて連続ビデオフレームの各ペアについて大
域フレーム間動作が推定され（段階106）、ビデオフレームはフレーム間動作を補正する
ために処理され表示される（段階108）。ビデオフレームの処理はビデオフレーム率の補
間および／またはビデオ動作の質向上を含むことができる。
【００４０】
本明細書で開示される方法例100およびその変形はコンピューター実行可能な命令また
はデータ構造を搭載または有するコンピューター読み取り可能な媒体を用いて実施するこ
とができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコン
ピューターのプロセッサーによりアクセスできる任意の入手可能な媒体であって良い。限
定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM
、CD-ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶装置、ま
たはコンピューター実行可能な命令またはデータ構造の形でプログラムコードを搭載また
は有し、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の
任意の媒体を有してなる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲
に含めるべきである。
【００４１】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピュ
ーターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータ
を有してなる。本明細書において主題は方法行為固有の言葉で説明されているが、添付ク
レームで定義される主題は必ずしも本明細書に説明される具体的な行為に限定されないこ
とが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形
態例として開示される。
【００４２】
特殊用途のコンピューターの例はデジタルカムコーダー、デジタルビデオディスプレイ
、または携帯映画プレーヤーなどの画像処理装置、またはこれらの組み合わせ、またはデ
ジタルカメラ／カムコーダーの組み合わせを含むことができる。画像処理装置はビデオフ
レームのシーケンスにおけるフレーム間動作を検出するために、例えばフレーム間動作検
出機能を含むことができる。例えば、このフレーム間動作検出機能を有する液晶ディスプ
レイなどのビデオディスプレイおよび／または取り込み装置（すなわちビデオ装置）は方
法例100を実施する1つ以上のコンピューター読み取り可能な媒体を含むことができる。あ
るいは、ビデオ装置に接続されたコンピューターが方法例100を実施する1つ以上のコンピ
ューター読み取り可能な媒体を含んでも良い。
【００４３】
ビデオ装置例200の概略図が図2に開示される。ビデオ装置例200は介在するインターフ
ェイス202によりホストコンピューター250とデータを交換する。アプリケーションプログ
ラムおよびビデオ装置ドライバーもアクセス用にホストコンピューター250に記憶するこ
とができる。例えばビデオ検索命令がアプリケーションプログラムから受信されると、ビ
デオ装置ドライバーは命令データのビデオ装置200に適したフォーマットへの転換を制御
し、転換された命令データをビデオ装置に送信する。またドライバーはビデオ装置200か
らさまざまな信号およびデータを受信し、ホストコンピューター250経由でユーザーに必
要な情報を送信する。
【００４４】
デジタルビデオデータなどのデータがホストコンピューター250により送信されると、
インターフェイス202がデータを受信し、RAM204の一部をなす受信バッファーに記憶する
。RAM204を例えばアドレス指定によりいくつかの区分に分け、受信バッファーまたは送信
バッファーなど異なるバッファーとして割り当てることができる。デジタルビデオデータ
などのデータはビデオ装置200によりオプションとして存在し得る取り込み機構212、フラ
ッシュEEPROM210、またはROM208から得られることもできる。例えば、存在する場合、取
り込み機構212はデジタルビデオフレームのシーケンスを生成することができる。このフ
レームのシーケンスを次にRAM204の受信バッファーまたは送信バッファーに記憶すること
ができる。
【００４５】
プロセッサー206はROM208またはフラッシュEEPROM210に記憶されたコンピューター実行
可能な命令を用い、例えば方法100などある機能または機能のグループを実施する。RAM20
4の受信バッファーにあるデータが例えばデジタルビデオフレームのシーケンスである場
合、プロセッサー206はフレームのシーケンスに対し方法100の方法行為を実施しフレーム
のさまざまな動作区分における動作を検出することができる。あるいはホストコンピュー
ター250上のプロセッサーが方法100の方法行為を実施することができる。次に、ビデオ装
置200により例えばLCDパネルなどのディスプレイ214上で表示され、または例えばホスト
コンピューター250に転送される前にフレームのシーケンスに対しビデオ処理パイプライ
ンにおけるさらなる処理を実施することができる。
【００４６】
図3は段階102においてビットプレーンを選択するために実施される工程を示すフローチ
ャートであう。最初にビデオフレームの各々におけるについて輝度（Ｙ）チャンネルが得
られる（段階302）。1つのフレームにおける輝度データを用い、サンプルビットプレーン
の行における輝度ビット変化の頻度が判定される（段階304）。ビット変化頻度に基づき
、フレームを白黒画像に変換するのに用いるビデオフレームのビットプレーンを選択する
ことができる（段階306）。例えば、ビット変化頻度が閾値レベルを満足する場合ビット
プレーンとして第1ビットプレーンを選択することができ、そうでない場合は第2ビットプ
レーンをビットプレーンとして選択することができる。
【００４７】
ピクセルの輝度は0から255の間の、8ビットの列で表される値であり得る。従ってビデ
オフレームの輝度データはゼロ（最下位ビット）から7（最上位ビット）まで番号付けさ
れピクセルの輝度値を表す8つのビットの各々に対応した8つのビットプレーンの組み合わ
せとして表現することが出きる。白黒変換に用いるビットプレーンを選択する上で3番目
の最下位ビット、すなわちビットプレーン2、に対応する第3ビットプレーンをサンプルビ
ットプレーンとして選択することができる。
【００４８】
例えば1つ以上のサンプル行を含み、サンプルビットプレーンにおけるサンプル領域を
分析して画像が特定の画像タイプであると分類することができる。例えば、サンプルビッ
トプレーンの1つ以上のサンプル線における輝度変化の分析に基づき、対応ビデオフレー
ムは自然画像または非自然画像のいずれかに分類することができる。第2ビットプレーン
は通常自然画像については雑音または雑音のような輝度データ、および非自然画像につい
てはテイストおよび／またはグラフィックスを含むコンピューター生成画像など構造的輝
度データを含む。
サンプルビットプレーンにおけるビット変化頻度Fは次のように推定することができる
。
【００４９】
【００５０】
上記のビット変化頻度式はソース画像における隣接ピクセルに対応するビットを比較す
ることによりサンプルビットプレーンのＫ本のサンプル線におけるビット変化の平均数を
もたらす。Ｋ本のサンプル線はサンプルビットプレーンの1つ以上の行および／または列
であることができる。一実施形態において、ビット変化頻度の精度を過度に低下させるこ
となく演算遅延を減らすためにサンプル領域は3つの行または列に限定される。
【００５１】
ビット変化頻度の推定は頻度閾値と比較されソース画像が自然場面または非自然（例、
コンピューター生成）場面を描くかが判定される。場面が自然タイプであると判定された
場合、ソース画像を白黒に変換するために6番目の最下位ビットに対応するビットプレー
ン6が選択される。そうでない場合、ソース画像は非自然場面を描くものと分類され、白
黒変換に用いられるビットプレーンは7番目の最下位ビットに対応するビットプレーン7で
ある。一実施形態における頻度閾値は0.15に設定される。
【００５２】
このようにフレーム間動作を検出する上で、カラーフレームを表すのに単一ビットプレ
ーンを用いることができ、それにより行なわれる計算の数が削減される。ビットプレーン
は8ピクセル毎に1バイト単位にパックされるバイト画像として記憶できる白黒画像である
。
【００５３】
図4はソース画像のサンプルとそれらに対応する第6および第7ビットプレーンの表400を
開示する。表の1行目402および3行目404は各々自然画像に対応する。2行目406および4行
目408は各々非自然画像に対応する。表400は自然画像においては一般的に第6ビットプレ
ーンにおいてより高いレベルの情報が見出される一方、非自然画像については一般的に第
7ビットプレーンがより多くの情報を含むことを示す。より多くの画像情報を含む可能性
の高いビットプレーンを選択することにより、フレームのシーケンスを白黒に変換する際
より高度の画像情報が保存される可能性が高くなる。
【００５４】
ビットプレーン選択に用いるソース画像はフレームのセグメントまたはシーケンスにお
ける第1フレームであることができる。一定間隔で新しいフレームを分析し異なるビット
プレーンを選択すべきか判定することができる。あるいはビットプレーンの選択は連続フ
レーム間で実質的な差が検出された場合、および／またはフレーム間動作の推定があまり
にも信頼できなくなった場合いつでも新たに実施することができる。
【００５５】
再度図1を参照すると、段階104においてビデオフレームが白黒に変換された後、段階10
6において連続ビデオフレームのペアについてそのフレームのペアに対応する白黒画像を
用いて大域フレーム間動作を推定することができる。図5は段階106の大域フレーム間動作
の推定の際実施される段階を示すフローチャートである。最初に第1ビデオフレームにわ
たり一般的に均一に分布される基準ピクセルブロックのセットを有してなる基準ピクセル
サブセットが選択される（段階502）。基準セットにおける各基準ピクセルブロックはn×
n(例、8×8または16×16)ピクセルを有してなる。
【００５６】
図6は間隔を開けた複数の離散的な基準ピクセルブロックを有する第1ビデオフレームを
示す。基準ピクセルブロックは1から81と名づけられている。
第1ビデオフレームにおける基準ピクセルブロックの各々に対する検索区域が次に連続ビ
デオフレームのペアの2つ目において定義される。各検索区域は結びついて基準ピクセル
ブロックにおけるピクセルに対応するピクセルとともにN個のピクセルの周辺帯を含み、N
は小さい数である。一実施形態において、Nは8に等しく帯は8ピクセルの厚みを持つ。具
体的に、各検索区域はその結び付いたピクセルブロックより16ピクセル広く16ピクセル高
い（水平および垂直方向双方に-8から+8の範囲に対応）。
【００５７】
図7は第1ビデオフレームからの基準ピクセルブロック1、および10が各々の検索区域706
の上に重なっている続くビデオフレームを示す。図示していないが、基準ピクセルブロッ
ク3から9および11から81の検索区域706も同様に定義される。個々の検索区域706は以下に
説明するように総体でフレームおよび領域照合の上で全体的な検索区域を形成する。
【００５８】
次に17×17の差蓄積アレーが定義される。差蓄積アレーの寸法は各基準ピクセルブロッ
クの、その基準ブロックを検索区域全体にわたりパンする際結び付いた検索区域706にお
いて利用可能な異なる位置の数に対応する。
【００５９】
第1ビデオフレームにおける基準ピクセルブロックは次にピクセルブロックの仮適合ブ
ロックを判定するために、続くビデオフレームにおいて結び付いた検索区域706内の対応
ピクセルブロックと比較される（段階504）。プロセスの際、第1ビデオフレームについて
定義された基準ピクセルブロック1は図8（A）に示すように続くビデオフレームにおいて
結び付いた検索区域706の左上の角（結び付いた検索区域706の(-8，-8)の位置に対応）に
置かれる。基準ピクセルブロック1のピクセルは次に結び付いた検索区域706の対応ピクセ
ルと比較され、絶対ピクセル差が計算される。基準ピクセルブロック1について計算され
たピクセル差は次に蓄積され差蓄積アレーの位置(1，1)に記憶される。
【００６０】
(-8，-8)位置にあるピクセルブロックA1に対する絶対ピクセル差が蓄積され記憶される
と、基準ピクセルブロック1は図8（B）に示すように、検索区域706内で1ピクセル分移動
され（結び付いた検索区域706のピクセルブロック位置(-8，-7)に対応）、上述の工程が
再度実施される。基準ピクセルブロック1について位置(-8，-7)で計算されたピクセル差
は次に蓄積され差蓄積アレーの位置(1，2)に記憶される。検索区域706内で基準ピクセル
ブロックを移動することは漸次図8（C）、8（D）、および8（E）に示し以下同様に、検索
区域706内のすべてのピクセルの組み合わせが上述のように処理されるまで繰り返し実施
される。基準ピクセルブロック1が検索区域706内で最終位置(+8，+8)までずっと移動され
たところが図8（F）に示される。このピクセルブロック位置において、計算された絶対ピ
クセル差は蓄積され差蓄積アレーの位置(17，17)に記憶されることが理解されよう。本実
施形態において、水平および垂直に17の検索可能な位置があるので、17×17=289の処理す
べきピクセルブロック位置がある。
【００６１】
一旦基準ピクセルブロック1のピクセル比較が完了すると、基準ピクセルブロック2に対
し同様のプロセスが実施される。このプロセスの際、基準ピクセルブロック2は図9（A）
に示すように、最初にその結び付いた検索区域706の左上の角（結び付いた検索区域706の
(-8，-8)の位置に対応）に置かれる。基準ピクセルブロック2のピクセルは次に結び付い
た検索区域706の対応ピクセルと比較され、絶対ピクセル差が計算される。基準ピクセル
ブロック2について計算されたピクセル差は次に蓄積され差蓄積アレーの位置(1，1)に記
憶された絶対ピクセル差に加えられる。
【００６２】
(-8，-8)位置にあるピクセルブロックA1に対する絶対ピクセル差が蓄積され差蓄積アレ
ーに加えられると、基準ピクセルブロック2は図9（B）に示すように、検索区域706内で1
ピクセル分移動され（結び付いた検索区域706のピクセルブロック位置(-8，-7)に対応）
、上述の工程が再度実施される。基準ピクセルブロック2について位置(-8，-7)で計算さ
れたピクセル差は次に蓄積され差蓄積アレーの位置(1，2)に記憶された絶対ピクセル差に
加えられる。検索区域706内で基準ピクセルブロック2を移動することは漸次図9（C）、9
（D）、および9（E）に示し以下同様、検索区域706内のすべてのピクセルの組み合わせが
上述のように処理されるまで繰り返し実施される。基準ピクセルブロック1が検索区域706
内で最終位置(+8，+8)までずっと移動されたところが図9（F）に示される。このピクセル
ブロック位置において、計算された絶対ピクセル差は蓄積され差蓄積アレーの位置(17，1
7)に記憶された絶対ピクセル差に加えられる。
【００６３】
一旦基準ピクセルブロック2のピクセル比較が完了すると、基準ピクセルブロック3に対
し同様のプロセスが実施される。上述のプロセスが残りの基準ピクセルブロック4から81
についてピクセル比較が完了するまで続けられる。上記手順の結果、差蓄積アレーが埋め
られる。このように、差蓄積アレーに記憶された大域絶対ピクセル差各々は検索区域にお
ける各位置に結び付いたエラーを現す。検索区域における各位置は大域フレーム間動作ベ
クトルの候補に対応する。従って、一旦差蓄積アレーが埋められると、仮な大域フレーム
間動作ベクトルは差蓄積アレーにおいて最小の絶対ピクセル差を有する位置により判定さ
れる。
【００６４】
フレーム照合の際すべてのピクセルを照合することが最も正確な結果を提供するものの
、性能および演算コストなどの現実的な配慮によりフレーム照合の際なし得るピクセル比
較の可能な数は限定される。検索区域のサイズがフレーム照合の速度および質に影響する
ことは理解されよう。
例えばN個のピクセル帯に囲まれる場合、最良の合致を見出すためには(2N+1)2の絶対ピ
クセル差を計算する必要がある。周囲のピクセル帯が2Nと2倍になると、計算する必要の
ある絶対ピクセル差の合計数は4倍になる。従って演算速度は非常に影響される。フレー
ム照合計算の数をさらに削減するために、フレームの一部のみでピクセルブロックを照合
することにより基準ピクセルブロックの数を削減することができる。
ゼロと1との間にある因数qを用いて寸法が元の幅および高さのq倍であるサンプルフレ
ーム区域を選択することができる。サンプルフレーム区域はフレームの中央部分であって
も良く、または最も高いレベルの詳細が検出されたフレームの領域を中心とし、それによ
り前景ピクセルを用いてブロック照合が実施される可能性を高めることができる。
【００６５】
段階504に続き、検索区域706に対するピクセルブロックの仮適合セットの位置は大域蓄
積アレーにおいて最も低い大域絶対ピクセル差を有する位置から判定される。例えば、最
も低い大域絶対ピクセル差が大域蓄積アレーの位置(1，1)にある場合、仮適合セットにあ
るピクセルブロックは各々の検索区域706において位置(-8，-8)にあるものに対応する。
次に仮適合セットにおけるピクセルブロックが少なくとも一辺を各々の検索区域の境界と
一致するか判定される（段階508）。図10（A）から10（H）は図7の続くビデオフレームの
一部で各々の検索区域706においてピクセルブロックの少なくとも一辺が各々の検索区域7
06の境界と一致するピクセルブロック1、2、および10のさまざまな位置を示す。
【００６６】
仮適合セットにおけるピクセルブロックの位置が各々の検索区域706の(-7，-7)から(+7
，+7)の範囲内にある場合、仮適合セットにおけるピクセルブロックは各々の検索区域706
の境界と一致する辺を有しないことが理解されよう。仮適合セットにおけるピクセルブロ
ックが各々の検索区域の境界と一致する辺を有しない場合、ピクセルブロックの仮適合セ
ットはピクセルの実適合セットとみなされる（段階510）。そうでなく、仮適合セットに
おけるピクセルブロックが各々の検索区域の境界と一致する辺を有している場合、検索区
域は一致する境界の方向にNピクセル分移動される（段階512）。図11は検索区域の移動を
示す。この場合、検索区域706はNピクセル分右方向に移動され、移動検索区域706Aをもた
らす。
【００６７】
一旦検索区域が移動されると、段階504に関連して上記に説明したものと同様のピクセ
ルブロックの比較が行なわれる（段階512）。この場合、ピクセルブロックの実適合セッ
トを判定するために第1ビデオフレームにおける基準ピクセルブロックは結び付いた移動
検索区域706A内の対応ピクセルブロックと比較される。
【００６８】
一旦段階508または段階512においてピクセルブロックの実適合セットが指定されると、
指定されたピクセルブロックの実適合セットが信頼できる適合であるか判定するために確
認が行なわれる（段階514）。指定されたピクセルブロックの実適合セットが信頼できる
適合であるか判定するために、差蓄積アレーにおいてピクセルブロックの実適合セットの
位置に記憶される大域絶対ピクセル差が一実施形態では15に等しい最大許容エラー閾値に
比較される。ピクセル差または適合エラーがエラー閾値未満である場合、ピクセルブロッ
クの実適合セットは信頼できるとみなされる。そうでない場合、差蓄積アレーにおける絶
対ピクセル差の平均を用いて信頼性の追加確認を行なうことができる。
【００６９】
差蓄積アレーにおける最小値（すなわち実適合セットに対応する位置における値）は次
の式に従い、平均絶対ピクセル差で割られる。
R＝最小絶対ピクセル差／絶対ピクセル差の平均
【００７０】
エラー比Rが一実施形態では0.08に等しいエラー比閾値以上である場合、指定されたピ
クセルブロックの実適合セットであるとみなされる。そうでない場合、指定されたピクセ
ルブロックの実適合セットは信頼できないとみなされ、大域フレーム間動作はゼロである
とみなされる（段階516）。
【００７１】
段階514において指定されたピクセルブロックの実適合セットが信頼できるとみなされ
た場合、差蓄積アレーにおいて最小絶対ピクセル差を有する位置に基づき二次元の大域フ
レーム間動作ベクトルが判定される（段階518）。例えば、最小絶対ピクセル差が差蓄積
アレーにおいて位置(1，1)に記憶される場合、実適合セットにおけるピクセルブロックは
各々の検索区域706において位置(-8，-8)にあるものに対応する。従って二次元の大域フ
レーム間動作ベクトルは(-8，-8)である。
検索区域706が段階510において移動された場合、Nが大域フレーム間動作にNを移動方向
に加える。
【００７２】
上述のピクセル比較の一般的な原則は1つのビデオフレームにおけるピクセルサブセッ
トと続くビデオフレームにおける複数のピクセルブロックの候補適合セットとの間で輝度
差を比較することが関わる。続くビデオフレームにおいて第1ビデオフレームにおけるピ
クセルサブセットとの差が最小であるピクセルブロックの候補セットが適合するものとみ
なされ、これを基に大域フレーム間動作が推定される。白黒フレーム照合の信頼性はビデ
オフレーム間の全体的な絶対ピクセル差を比較することによって向上する。全体的な絶対
ピクセル差が用いられるため、集合のために複数のブロック動作ベクトルを必要としない
。逆に人間によるビデオフレーム間の動作の知覚と一致して、大域フレーム間動作は連続
ビデオフレーム間における大半のピクセルの動作に基づき計算される。さらに、特定条件
の下でのみ移動される検索区域を用いることにより、フレーム照合計算はせいぜい2倍と
なる。
【００７３】
図12はピクセルブロックの比較を行ない、大域フレーム間動作を推定する別の工程106A
を示すフローチャートである。この実施形態によると、段階502に続き図13（A）に示すよ
うに第1ビデオフレームにおける基準ピクセルブロックの第1の半分に対する検索区域が続
くビデオフレームにおいて定義される（すなわち奇数の基準ピクセルブロック1、3、5、7
、9、等々）。第1ビデオフレームにおける基準ピクセルブロックの第１の半分は次に続く
ビデオフレームにおいて各々の検索区域706にある対応ピクセルブロックと比較され、差
蓄積アレーが埋められ、ピクセルブロックの仮適合セットが判定される（段階550）。
【００７４】
段階550に続き、仮適合セットにおけるピクセルセットが各々の検索区域の境界と少な
くとも一辺が一致するか判定される（段階506）。
【００７５】
ピクセルブロックの仮適合セットにおけるピクセルブロックが各々の検索区域の境界と
一致する少なくとも一辺を有しない場合、ピクセルブロックの実適合セットは既存の各々
の検索区域706内にあると予想され、基準ピクセルブロックの他半分（すなわち偶数の基
準ピクセルブロック2、4、6、8、等々）は各々の検索区域706における対応ピクセルブロ
ックと比較される（段階554）。ピクセルブロックの他半分は図13（B）に示される。
【００７６】
基準ピクセルブロックの他半分について各々の検索区域706内における各位置の絶対ピ
クセル差は蓄積され、値は差蓄積アレーの対応する位置に記憶される。ピクセルブロック
の仮適合セットは次にピクセルブロックの実適合セットとして指定される。
【００７７】
仮適合セットのピクセルブロックがそうでなく、各々の検索区域の境界と一致する少な
くとも一辺を有している場合、検索区域は一致する境界の方向にNピクセル分移動されピ
クセルブロックの仮適合セットに対する蓄積は他の計算された絶対ピクセル差すべてとと
もに捨てられる（段階552）。つまり、差蓄積アレーにおけるすべての位置がゼロに設定
される。図13（B）に示される偶数の基準ピクセルブロックは次に絶対ピクセル差を計算
してピクセルブロックの実適合セットを判定するために移動された各々の検索区域内の対
応ピクセルブロックと比較される（段階554）。
【００７８】
上述のように検索区域を移動した場合、ピクセルブロックの実適合セットをもたらすた
めに比較されるピクセルブロックの合計数および計算される絶対ピクセル差の合計数は先
に説明した実施形態の場合の約半分であることに留意されたい。これは一旦移動検索区域
が判定されると、蓄積は基準ピクセルブロックの他半分についてのみ処理されるからであ
る。
【００７９】
検索区域が段階552でNピクセル分移動された場合、大域フレーム間動作ベクトルと領域
別フレーム間動作ベクトル各々にNが移動方向に加えられる。
【００８０】
ピクセルブロックの比較は異なる順序で実施し得ることが理解されよう。例えば、上述
の実施形態において、基準ピクセルブロック1についてその対応検索区域内の各位置にお
ける比較がまず計算され、蓄積は基準ピクセルブロック2についてその対応検索区域内の
各位置における比較を計算する前に差蓄積アレーの対応位置に記憶され、以下同様である
。
【００８１】
しかし、望まれる場合基準ピクセルブロック1についてその対応検索区域内の特定位置
における1つの比較を行ない、次に基準ピクセルブロック2についてその特定位置における
1つの比較、次に基準ピクセルブロック3についてその特定位置における1つの比較、基準
ピクセルブロック3についてその特定位置において1つの比較が行なわれるまで以下同様に
行なことができる。一旦その特定位置において基準ピクセルブロック1から81まですべて
の比較が処理されると、基準ピクセルブロックの位置が各々の検索区域において変更され
、基準ピクセルブロック1から81までの比較が変更された位置において実施される。これ
は基準ピクセルブロックが検索区域全体にわたりパンされるまで続けられる。
【００８２】
図14は図6に示されたものと類似した第1ビデオフレームを示し、基準ピクセルブロック
のセットをウィンドウ708が囲んでいる。図15に示すように、重ねウィンドウ708における
ものと対応するピクセルとともにN個のピクセルの周辺帯を含む検索区域710が続くビデオ
フレームにおいて定義され、ここでNは小さな数である（例、8）。差蓄積アレーは上述の
ように定義される。
【００８３】
第1ビデオフレームについて定義されたウィンドウ708は次に図16（A）に示すように、
検索区域710の左上の角に置かれる（検索区域の位置(-8，-8)に対応）。各ピクセルブロ
ックのピクセルは次に検索区域710における対応ピクセルと比較され、各々の絶対ピクセ
ル差が計算される。絶対ピクセル差は蓄積され差蓄積アレーにおける対応位置に記憶され
る。
【００８４】
ウィンドウ位置(-8，-8)における基準ピクセルブロックのセットに対する絶対ピクセル
差の各々が判定されると、ウィンドウ708は図16（B）に示すように検索区域710内で1ピク
セル分移動され（検索区域におけるウィンドウ位置(-8，-7)に対応）、上述の工程が再度
実施される。得られた絶対ピクセル差は蓄積され差蓄積アレーにおける対応位置に記憶さ
れる。図16（C）に示すように検索区域710内においてウィンドウが再度移動され、検索区
域710内においてウィンドウ708のサイズに対応するピクセルのすべての組み合わせが処理
され、差蓄積アレーにおける各入力が埋められるまで以下同様である。上記に続き、先に
説明した方法で大域フレーム間動作が判定される。
【００８５】
上述の閾値、パラメーター値、ピクセルブロックのサイズ、パンニングウィンドウ値、
等々、は例として提供されることが理解されよう。さらにこれらの値およびサイズはフレ
ーム間動作の推定および補正が用いられる特定の環境に合うよう変更できることを当業者
は理解しよう。
【００８６】
例えば、ブロック照合の前にビデオフレームを白黒へ変換することは処理時間および必
要な記憶容量を削減することができるが、前記に説明したフレーム照合の方法は白黒に変
換されていないビデオフレームに実施し得ることが理解されよう。
【００８７】
図17は方法100に従いデジタルビデオシーケンスにおける大域フレーム間動作を推定し
補正する装置1700を示すブロック図である。装置1700はビデオ装置200のプロセッサー206
など、方法100を実施するコンピューター読み取り可能な命令でプログラムされているプ
ロセッサーとして具現できる。本実施形態例において、装置1700は色変換器1702、フレー
ム比較器1704、適合位置推定器1706、検索区域調整器1708、動作推定器1710、動作補正器
1712、およびディスプレイ生成器1714を有してなる。
【００８８】
色変換器1702はビット変化頻度計算器1702aおよびビットプレーン選択器1702bを有して
なる。フレーム比較器1704はピクセルサブセット定義器1704aおよび差蓄積モジュール170
4bを有してなる。
【００８９】
装置1700の働きが次に説明される。動作中フレーム間動作を推定し補正するために連続
ビデオフレームのペアを調べる場合、色変換器1702のビットプレーン選択器1702bはビッ
ト変化頻度計算器1702aにより計算されたビット変化頻度尺度に応答して白黒変換用のビ
ットプレーンを選択する。次に色変換器1702が第1および続くビデオフレームにおける各
ピクセルを選択されたビットプレーンに基づき黒および白の1つに設定する。このプロセ
スにより選択されたビットプレーンはフレーム間動作が動作推定器1710により信頼性がな
いと判定されるまで1つ以上の後続フレームにも適用できる。加えて、または代わりに、
白黒変換用のビットプレーンの選択し直しはフレームのシーケンスにおいて検出された、
画像タイプの変化（例、自然画像から非自然画像への変化）の可能性を示す実質的な変化
をきっかけとすることができる。
【００９０】
フレーム比較器1704は次に第1フレームにおけるピクセルブロックのセットを連続する
フレームにおける各々の検索区域内のピクセルブロックの適合候補セットと比較し、ピク
セルセットの仮適合セットを判定する。ピクセルサブセット定義器1704aは差蓄積アレー
および続くビデオフレームの検索区域におけるピクセルブロックの候補セットと比較され
る第1ビデオブロックにおけるピクセルブロックのセットを定義する。差蓄積モジュール1
704bはピクセルブロックのセットが検索区域における各位置に対するピクセルブロックの
候補セット各々に比較されるにつれ絶対ピクセル差を差蓄積アレーに蓄積する。
【００９１】
適合位置推定器1706はピクセルブロックの仮適合セットの検索区域に対する位置を判定
しそのピクセルブロックの仮適合セットをピクセルブロックの実適合セットとして指定す
るか、ピクセルブロックの仮適合セットの検索区域に対する位置に基づき別のピクセルブ
ロックの適合セットをピクセルブロックの実適合セットとして選択するかを判定する。必
要な場合、検索区域調整器1708は検索区域を移動し、ピクセルブロックの実適合セットを
判定するために差蓄積モジュール1704bに移動検索区域における絶対ピクセル差を計算す
るよう調整する。フレーム比較器1704は適合位置推定器1706に応答してピクセルブロック
の実適合セットを判定する。
【００９２】
動作推定器1710は次に大域フレーム間動作ベクトルを計算して大域フレーム間動作を推
定する。動作推定器1710はピクセルブロックの実適合セットの信頼性を前述の方法で判定
する。動作推定器1710は動作信頼性モジュール1710a、計算器1710b、および閾値コンパレ
ータ1710cなど各種構成要素を有してなる。
【００９３】
動作補正器1712は推定動作に従いビデオフレーム率を補正しおよび／またはビデオ動作
の質を向上させ、フレームを高速のシーケンスで見た場合人間の目で知覚されるようなぶ
れを補正または消すことによりビデオフレームを変換する。ディスプレイ生成器1714はフ
レームをディスプレイに出力する準備としてさらにビデオフレームを処理することができ
る。
【００９４】
前記の実施形態例はビデオシーケンスのフレームにおける1つ以上の任意の別々な部分
における大域動作を推定するのに用いることができる。方法や手法はLCDパネル上の動作
ビデオ画質を向上させるために用いることができる。上述のさまざまな代替的実施形態に
加え、さまざまな行為が変更、省略され、または新たな行為が追加され、または描かれた
行為の順序が異なるなどを含み方法100の他のさまざまな形を実施することができる。
【００９５】
さらに、実施形態例は大域動作の検出および補正の関係で説明されているが、これらは
局部動作の検出および補正に適用することもできる。例えば、局部フレーム間動作のある
領域がまずフレーム内で特定された場合、領域内のフレーム間動作は本明細書に説明され
る検出および補正方法の目的上大域フレーム間動作として扱うことができる。
【００９６】
本明細書で開示される実施形態例は他の具体的な形で具現されることができる。本明細
書で開示される実施形態例はすべての面において限定的ではなく、単に例示的であるとみ
なされる。
【符号の説明】
【００９７】
２００ ビデオ装置、２０２ インターフェイス、２０６ プロセッサー、２１２ 取
り込み機構、２１４ ディスプレイ、７０６ 検索区域。
【技術分野】
【０００１】
本発明の実施形態は一般的にデジタルビデオフレームのシーケンスに描かれる大域フレ
ーム間動作の検出および補正に関わる。より具体的に、開示される実施形態はビデオフレ
ームにおける大域フレーム間動作を検出し補正する方法、装置、およびコンピューター読
み取り可能な媒体に関する。
【背景技術】
【０００２】
デジタルビデオにおける動作の検出はさまざまな画像処理用途の中で用いることができ
る。例えば、フレーム間動作の検出は液晶ディスプレイなどホールド型ディスプレイ上で
フレームを見る場合人間の目により知覚されるぶれに対応する関係において用いることが
できる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７４２０６２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、フレーム間動作の検出は迅速かつ正確に実施するのは難しい。例えば、大域フ
レーム間動作の検出は演算コストが高く、処理遅延の原因となり、大量のメモリーを必要
とする可能性がある。これらの問題に対応するために、ビデオフレームはフレーム間動作
を検出する前に時々圧縮される。カラーのビデオフレームまたは画像は画像のビットプレ
ーンが白黒画像であるので、ビットプレーンを用いて圧縮することができる。しかしフレ
ーム間動作の検出に用いるのに選択されるビットプレーンは画像の輝度レベルおよび画像
に描かれる場面の種類により異なり得る。
【課題を解決するための手段】
【０００５】
本発明の画像処理方法は、画像を白黒画像に変換する画像処理方法であって、
前記画像が特定の画像タイプであることを特定するために前記画像におけるピクセルの
一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記画像のビットプレーンを選択するステップと、
前記選択されたビットプレーンを用いて前記画像を変換するステップとを有することを
特徴とする。
【０００６】
また、本発明の画像処理方法において、前記画像における各ピクセルに対する輝度デー
タは８ビットの列として表現され、前記輝度データをサンプルするステップは、前記８ビ
ット中最上位ビットから3番目のものに対応するビットプレーンをサンプルするステップ
を含むことを特徴とする。
【０００７】
また、本発明の画像処理方法において、前記輝度データをサンプルするステップは、前
記画像のサンプルビットプレーンにおける第1ビットを前記サンプルビットプレーンにお
ける第2ビットと比較するステップを含み、前記第1および第2ビットは前記画像において
隣接するピクセルに対応し、前記第1および第2ビットを比較するステップは前記第1およ
び第2ビットに対しXOR演算を行なうステップを含むことを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記輝度データをサンプルするステップは、前
記画像のサンプルビットプレーンにおいて隣接するビットが異なる平均回数を計算するス
テップを含み、前記隣接するビットは前記画像の隣接するピクセルに対応することを特徴
とする。
【０００９】
また、本発明の画像処理方法において、前記サンプルされたピクセルの一部は前記画像
において選ばれたピクセルの行および／または列を含むことを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記画像タイプは自然画像タイプおよび非自然
画像タイプのうちの1つであり、前記選択するステップは、前記画像が前記自然画像タイ
プであると特定された場合に第1ビットプレーンを前記選択されたビットプレーンとして
選択し、前記画像が前記非自然画像タイプであると特定された場合に第2ビットプレーン
を前記選択されたビットプレーンとして選択するステップを含むことを特徴とする。
【００１１】
また、本発明の画像処理方法において、テキストおよび／またはグラフィックスを含む
コンピューター生成画像は前記非自然画像タイプと分類されることを特徴とする。
【００１２】
また、本発明の画像処理方法において、前記画像における各ピクセルに対する輝度デー
タは８ビットの列として表現され、前記選択されたビットプレーンは、前記8ビット中最
上位ビットから6番目のものに対応するビットプレーンおよび前記8ビット中最上位ビット
から7番目のものに対応するビットプレーンのグループから選択されることを特徴とする
。
【００１３】
ここで、本発明のデータ処理方法は、ビデオフレームのシーケンスに描かれるフレーム
間動作を推定するデータ処理方法であって、
上記画像処理方法における画像を変換するステップに従い前記シーケンスにおける第1
ビデオフレームを第1白黒画像に変換するステップと、
前記第1ビデオフレームの画像変換に使用された前記選択されたビットプレーンに対応
する第2ビデオフレームのビットプレーンを用いて前記シーケンスにおける前記第2ビデオ
フレームを第2白黒画像に変換するステップと、
フレーム間動作を回収するために前記第1および第2白黒画像を用いてブロック照合を実
施するステップとを有することを特徴とする。
【００１４】
また、本発明のデータ処理方法において、前記回収されたフレーム間動作を特性化する
動作ベクトルを判定するステップと、
前記動作ベクトルに信頼度を結び付けるステップとをさらに有することを特徴とする。
【００１５】
また、本発明のデータ処理方法において、前記信頼度が信頼性閾値を満足する場合には
、前記第1および第2ビデオフレームに続く後続の複数のフレームにおけるフレーム間動作
を、前記選択されたビットプレーンに対応するビットプレーンを前記後続の各フレームに
おいて用いて推定し、
前記信頼度が信頼性閾値を満足しない場合には、前記後続の各フレームにおけるフレー
ム間動作を、前記選択されたビットプレーンに対応するビットプレーンとは異なるビット
プレーンを用いて推定することを特徴とする。
【００１６】
一方、本発明の画像処理方法は、画像を白黒画像に変換する画像処理方法であって、
前記画像の少なくとも1つのビットプレーンの少なくとも一部におけるビット変化頻度
を判定するステップと、
前記判定されたビット変化頻度を閾値と比較して前記画像の1つのビットプレーンを選
択するステップと、
前記選択されたビットプレーンを用いて前記画像を白黒画像に変換するステップとを有
し、
前記ビット変化頻度が判定される前記少なくとも1つのビットプレーンは前記選択され
たビットプレーンを含まない画像処理方法。
【００１７】
ここで、本発明のコンピューター読み取り可能な媒体は、実行されるとフレームのシー
ケンスに描かれるフレーム間動作を検出する方法を実施するコンピューター読み取り可能
な命令を有する1つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップと、
前記第１ビデオフレームを前記第１白黒画像に変換するステップに使用された前記選択
されたビットプレーンに対応する第2ビデオフレームのビットプレーンを用いて、前記シ
ーケンスにおける前記第2ビデオフレームを第2白黒画像に変換するステップと、
前記第1および第2白黒画像を用いてブロック照合を実施しフレーム間動作を回収するス
テップとを有することを特徴とする。
【００１８】
一方、本発明のデータ処理装置は、フレームで検出されたフレーム間動作に基づき前記
フレームのシーケンスを処理するデータ処理装置であって、
複数のフレームを受信するバッファーと、処理回路とを有し、
前記処理回路は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップとを実行するよう構成されることを特徴とする。
【００１９】
また、本発明のデータ処理装置において、前記処理回路は、前記フレーム間動作に基づ
き前記フレームのシーケンスを修正して知覚されたぶれを最小限にするよう構成されるこ
とを特徴とする。
ここで、本発明のデータ処理方法は、デジタルビデオシーケンスにおける第１のビデオ
フレームと第２のビデオフレームとの間の大域フレーム間動作を推定するデータ処理方法
であって、
前記第１ビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２ビデ
オフレームの検索区域内における候補ピクセルサブセットの輝度データと比較し、前記候
補ピクセルサブセットから仮適合ピクセルサブセットを判定するステップと、
前記検索区域に対する仮適合ピクセルサブセットの位置に基づき他方のビデオフレーム
から実適合ピクセルサブセットを判定するステップと、
前記実適合ピクセルサブセットの位置に基づき、前記大域フレーム間動作を特性化する
大域フレーム間動作ベクトルを計算するステップとを有することを特徴とする。
【００２０】
また、本発明のデータ処理方法において、前記判定するステップは、前記検索区域の境
界に対する前記仮適合ピクセルサブセットの位置に基づくことを特徴とする。
【００２１】
また、本発明のデータ処理方法において、前記判定するステップは、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接しているか判定するステッ
プを含み、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合には、前記
仮適合ピクセルサブセットを前記実適合ピクセルサブセットとして指定するステップと、
前記検索区域を変更して、前記ピクセルサブセットを前記変更された検索区域内の候補ピ
クセルサブセットと比較して前記実適合ピクセルサブセットを判定するステップとのいず
れかを行なうことを特徴とする。
【００２２】
また、本発明のデータ処理方法において、前記検索区域を変更することは、前記検索区
域を前記仮適合ピクセルサブセットが隣接している境界の方向に移動させるステップを含
むことを特徴とする。
【００２３】
また、本発明のデータ処理方法において、前記仮適合ピクセルサブセットが前記検索区
域の境界に隣接していない場合、前記仮適合ピクセルサブセットは前記実適合ピクセルサ
ブセットとして指定されることを特徴とする。
【００２４】
また、本発明のデータ処理方法において、前記検索区域は、位置が前記第1ビデオフレ
ームにおける前記基準ピクセルサブセットのピクセル対応するピクセルと併せてピクセル
の周辺の帯を有することを特徴とする。
【００２５】
また、本発明のデータ処理方法において、前記帯の幅は前記検索区域が移動される距離
に等しいことを特徴とする。
【００２６】
また、本発明のデータ処理方法において、前記基準ピクセルサブセットはピクセルブロ
ックのセットを有し、前記ピクセルブロックは前記第1ビデオフレームにわたり実質的に
均一に分布されることを特徴とする。
【００２７】
また、本発明のデータ処理方法において、前記比較することは、前記第１ビデオフレー
ムのピクセルブロックを前記第2ビデオフレームの検索区域内において対応するピクセル
ブロックと比較してピクセルブロックの仮適合セットを判定するステップを有することを
特徴とする。
【００２８】
また、本発明のデータ処理方法において、前記ピクセルブロックを比較する際に、前記
第1ビデオフレームのピクセルブロックにおけるピクセルの輝度値と前記第2ビデオフレー
ムの検索区域内の対応するピクセルブロックにおけるピクセルの輝度値との絶対差が計算
されて蓄積され、前記ピクセルブロックの仮適合セットが判定されることを特徴とする。
【００２９】
また、本発明のデータ処理方法において、前記比較する前に、前記ビデオフレームを白
黒画像に変換するステップをさらに有することを特徴とする。
【００３０】
また、本発明のデータ処理方法において、前記白黒画像に変換するステップは、
前記第１および第２ビデオフレームの選択されたビットプレーンを用いて、前記第１お
よび第２ビデオフレームにおける各ピクセルを黒または白に変換するステップを有し、
前記選択されたビットプレーンは、前記第１及び第２ビデオフレーム内において1つの
サンプルビットプレーンにおけるビット変化頻度がビット変化頻度の閾値を満足するか否
かに基づき選択されることを特徴とする。
【００３１】
また、本発明のデータ処理方法において、前記実適合ピクセルサブセットの信頼性を確
認するステップと、
前記実適合ピクセルサブセットが信頼できるとみなされた場合にのみ、前記大域動作ベ
クトルを計算するステップとをさらに有することを特徴とする。
【００３２】
また、本発明のデータ処理方法において、前記実適合ピクセルサブセットの信頼性は、
前記実適合ピクセルサブセットについて計算された絶対差エラーの合計と絶対差エラー合
計の最小および平均の比率との少なくとも1つに基づくことを特徴とする。
【００３３】
また、本発明のデータ処理方法において、前記大域フレーム間動作ベクトルを用いて前
記ビデオフレームを処理して前記計算された大域フレーム間動作を補正するステップをさ
らに有することを特徴とする。
【００３４】
ここで、本発明のデータ処理装置は、デジタルビデオシーケンスにおける第１のビデオ
フレームと第２のビデオフレームとの間の大域フレーム間動作を推定するデータ処理装置
であって、
前記第１のビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２の
ビデオフレームの検索区域内における候補ピクセルサブセットの輝度データと比較して、
候補ピクセルサブセットから仮適合ピクセルサブセットを判定するよう構成されるフレー
ム比較器と、
前記検索区域に対する前記仮適合ピクセルサブセットの位置を判定するよう構成される
適合位置推定器であって、前記フレーム比較器はさらに前記適合位置推定器により判定さ
れた位置に基づき前記第2ビデオフレームから実適合ピクセルサブセットを判定するよう
構成される適合位置推定器と、
前記実適合ピクセルサブセットの位置に基づき大域フレーム間動作ベクトルを計算する
よう構成される大域フレーム間動作推定器とを有することを特徴とする。
【００３５】
また、本発明のデータ処理方法において、前記大域フレーム間動作ベクトルに基づき前
記ビデオフレームを処理し前記大域フレーム間動作を補正するよう構成される大域フレー
ム間動作補正器をさらに有することを特徴とする。
【図面の簡単な説明】
【００３６】
【図１】フレーム間動作を検出し補正する方法例を開示する図である。
【図２】ビデオ装置例の概略図である。
【図３】ビットプレーンを選択することによりビデオフレームを白黒に変換する方法例を開示する図である。
【図４】ソース画像例と対応ビットプレーンの表を開示する図である。
【図５】白黒ビデオフレームおよび適応可能な検索区域を用いてフレーム照合を行ない、大域フレーム間動作を推定する工程を示すフローチャートである。
【図６】複数のピクセルブロックに分割された第1ビデオフレームの図である。
【図７】図5のピクセルブロックの3つが対応検索区域の上に重ねられているのを示す続くビデオフレームの図である。
【図８】図7の続くビデオフレームの一部で第1ビデオフレームからの第1ピクセルブロックがフレーム照合の際その対応検索区域内に徐々に位置付けされる図である。
【図９】図7の続くビデオフレームの一部で第2ビデオフレームからの第1ピクセルブロックがフレーム照合の際その対応検索区域内に徐々に位置付けされる図である。
【図１０】図7の続くビデオフレームの一部で第1ビデオフレームから対応検索区域にあるピクセルブロックの位置で、ピクセルブロックが少なくとも１辺を各々の対応検索区域の境界と一致しているものを示す図である。
【図１１】図7の続くビデオフレームの一部で選択された量だけ検索区域の移動を示す図である。
【図１２】大域フレーム間動作を得るためのフレーム照合を実施する代替の工程を示すフローチャートである。
【図１３】図６の第１ビデオフレームを複数のピクセルブロックに分割したものの図で、複数のピクセルブロックは図12における代替工程に従った初期比較のために2等分されている。
【図１４】複数のピクセルブロックに分割され、ウィンドウが複数のピクセルブロックを囲む第１ビデオフレームの図である。
【図１５】図14における複数のピクセルブロックを囲むウィンドウが続くビデオフレームにおける1つの検索区域に重なっているところを示す図である。
【図１６】図14におけるウィンドウ内のすべてのピクセルブロックがフレーム照合の際1つの検索区域内に徐々に位置付けられるところの図である。
【図１７】デジタルビデオシーケンスにおけるビデオフレーム間のジッタを推定し補正する装置のブロック図である。
【発明を実施するための形態】
【００３７】
以下の詳細な説明において、発明の実施形態例を例示的に示す添付図面が参照される。
図面において、各々の図を通して実質的に類似した構成要素は類似した数字が表している
。これらの実施形態は当業者が発明を実施できるよう充分に詳細に説明される。本発明の
範囲から逸脱することなく他の実施形態も利用でき、構造的、論理的、および電気的な変
更を加えることができる。さらに、発明のさまざまな実施形態は異なってはいるが、必ず
しも互いに排他的ではないことが理解されよう。例えば、一実施形態において説明される
特定の特長、構造、または特徴は他の実施形態内に含まれ得る。従って以下の詳細な説明
は限定的な意味で捉えるべきでなく、本発明の範囲は添付クレームとともに、このような
クレームが権利を有する均等物の全範囲によってのみ規定される。
【００３８】
一般的に、実施形態例はデジタルビデオフレームのシーケンスにおけるフレーム間動作
を検出および補正する方法、装置、およびコンピューター読み取り可能な媒体に関する。
実施形態例は知覚されたぶれを最小限にしたデジタルビデオフレームを作り出すための、
知覚されたぶれの補正を含む各種の画像処理用途と併せて用いることができる。フレーム
間動作の検出の際、ビデオフレームの一方におけるピクセルサブセットを他方のビデオフ
レームの検索区域内にある候補ピクセルサブセットと比較し、候補ピクセルサブセットか
ら仮適合ピクセルサブセットを判定する。他方のビデオフレームからの実適合ピクセルサ
ブセットは検索区域に対する仮適合ピクセルサブセットの位置に基づき判定される。それ
によりピクセルサブセットおよび実適合ピクセルサブセットに基づく動作ベクトルが計算
され、フレーム間動作を推定する。ビデオフレームは次に推定フレーム間動作に基づきフ
レーム間動作を補正するために処理される。
【００３９】
次に図1を参照すると、大域フレーム間動作を検出し補正する方法例100が開示される。
大域フレーム間動作を検出し補正するためにビットプレーンが選択され（段階102）、ビ
デオフレームシーケンスにおける連続ビデオフレームの各ペアにつきビデオフレームは選
択されたビットプレーンを用いて1ピクセル毎1ビット（すなわち白黒または複調）画像に
変換される（段階104）。次に白黒画像を用いて連続ビデオフレームの各ペアについて大
域フレーム間動作が推定され（段階106）、ビデオフレームはフレーム間動作を補正する
ために処理され表示される（段階108）。ビデオフレームの処理はビデオフレーム率の補
間および／またはビデオ動作の質向上を含むことができる。
【００４０】
本明細書で開示される方法例100およびその変形はコンピューター実行可能な命令また
はデータ構造を搭載または有するコンピューター読み取り可能な媒体を用いて実施するこ
とができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコン
ピューターのプロセッサーによりアクセスできる任意の入手可能な媒体であって良い。限
定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM
、CD-ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶装置、ま
たはコンピューター実行可能な命令またはデータ構造の形でプログラムコードを搭載また
は有し、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の
任意の媒体を有してなる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲
に含めるべきである。
【００４１】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピュ
ーターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータ
を有してなる。本明細書において主題は方法行為固有の言葉で説明されているが、添付ク
レームで定義される主題は必ずしも本明細書に説明される具体的な行為に限定されないこ
とが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形
態例として開示される。
【００４２】
特殊用途のコンピューターの例はデジタルカムコーダー、デジタルビデオディスプレイ
、または携帯映画プレーヤーなどの画像処理装置、またはこれらの組み合わせ、またはデ
ジタルカメラ／カムコーダーの組み合わせを含むことができる。画像処理装置はビデオフ
レームのシーケンスにおけるフレーム間動作を検出するために、例えばフレーム間動作検
出機能を含むことができる。例えば、このフレーム間動作検出機能を有する液晶ディスプ
レイなどのビデオディスプレイおよび／または取り込み装置（すなわちビデオ装置）は方
法例100を実施する1つ以上のコンピューター読み取り可能な媒体を含むことができる。あ
るいは、ビデオ装置に接続されたコンピューターが方法例100を実施する1つ以上のコンピ
ューター読み取り可能な媒体を含んでも良い。
【００４３】
ビデオ装置例200の概略図が図2に開示される。ビデオ装置例200は介在するインターフ
ェイス202によりホストコンピューター250とデータを交換する。アプリケーションプログ
ラムおよびビデオ装置ドライバーもアクセス用にホストコンピューター250に記憶するこ
とができる。例えばビデオ検索命令がアプリケーションプログラムから受信されると、ビ
デオ装置ドライバーは命令データのビデオ装置200に適したフォーマットへの転換を制御
し、転換された命令データをビデオ装置に送信する。またドライバーはビデオ装置200か
らさまざまな信号およびデータを受信し、ホストコンピューター250経由でユーザーに必
要な情報を送信する。
【００４４】
デジタルビデオデータなどのデータがホストコンピューター250により送信されると、
インターフェイス202がデータを受信し、RAM204の一部をなす受信バッファーに記憶する
。RAM204を例えばアドレス指定によりいくつかの区分に分け、受信バッファーまたは送信
バッファーなど異なるバッファーとして割り当てることができる。デジタルビデオデータ
などのデータはビデオ装置200によりオプションとして存在し得る取り込み機構212、フラ
ッシュEEPROM210、またはROM208から得られることもできる。例えば、存在する場合、取
り込み機構212はデジタルビデオフレームのシーケンスを生成することができる。このフ
レームのシーケンスを次にRAM204の受信バッファーまたは送信バッファーに記憶すること
ができる。
【００４５】
プロセッサー206はROM208またはフラッシュEEPROM210に記憶されたコンピューター実行
可能な命令を用い、例えば方法100などある機能または機能のグループを実施する。RAM20
4の受信バッファーにあるデータが例えばデジタルビデオフレームのシーケンスである場
合、プロセッサー206はフレームのシーケンスに対し方法100の方法行為を実施しフレーム
のさまざまな動作区分における動作を検出することができる。あるいはホストコンピュー
ター250上のプロセッサーが方法100の方法行為を実施することができる。次に、ビデオ装
置200により例えばLCDパネルなどのディスプレイ214上で表示され、または例えばホスト
コンピューター250に転送される前にフレームのシーケンスに対しビデオ処理パイプライ
ンにおけるさらなる処理を実施することができる。
【００４６】
図3は段階102においてビットプレーンを選択するために実施される工程を示すフローチ
ャートであう。最初にビデオフレームの各々におけるについて輝度（Ｙ）チャンネルが得
られる（段階302）。1つのフレームにおける輝度データを用い、サンプルビットプレーン
の行における輝度ビット変化の頻度が判定される（段階304）。ビット変化頻度に基づき
、フレームを白黒画像に変換するのに用いるビデオフレームのビットプレーンを選択する
ことができる（段階306）。例えば、ビット変化頻度が閾値レベルを満足する場合ビット
プレーンとして第1ビットプレーンを選択することができ、そうでない場合は第2ビットプ
レーンをビットプレーンとして選択することができる。
【００４７】
ピクセルの輝度は0から255の間の、8ビットの列で表される値であり得る。従ってビデ
オフレームの輝度データはゼロ（最下位ビット）から7（最上位ビット）まで番号付けさ
れピクセルの輝度値を表す8つのビットの各々に対応した8つのビットプレーンの組み合わ
せとして表現することが出きる。白黒変換に用いるビットプレーンを選択する上で3番目
の最下位ビット、すなわちビットプレーン2、に対応する第3ビットプレーンをサンプルビ
ットプレーンとして選択することができる。
【００４８】
例えば1つ以上のサンプル行を含み、サンプルビットプレーンにおけるサンプル領域を
分析して画像が特定の画像タイプであると分類することができる。例えば、サンプルビッ
トプレーンの1つ以上のサンプル線における輝度変化の分析に基づき、対応ビデオフレー
ムは自然画像または非自然画像のいずれかに分類することができる。第2ビットプレーン
は通常自然画像については雑音または雑音のような輝度データ、および非自然画像につい
てはテイストおよび／またはグラフィックスを含むコンピューター生成画像など構造的輝
度データを含む。
サンプルビットプレーンにおけるビット変化頻度Fは次のように推定することができる
。
【００４９】
【００５０】
上記のビット変化頻度式はソース画像における隣接ピクセルに対応するビットを比較す
ることによりサンプルビットプレーンのＫ本のサンプル線におけるビット変化の平均数を
もたらす。Ｋ本のサンプル線はサンプルビットプレーンの1つ以上の行および／または列
であることができる。一実施形態において、ビット変化頻度の精度を過度に低下させるこ
となく演算遅延を減らすためにサンプル領域は3つの行または列に限定される。
【００５１】
ビット変化頻度の推定は頻度閾値と比較されソース画像が自然場面または非自然（例、
コンピューター生成）場面を描くかが判定される。場面が自然タイプであると判定された
場合、ソース画像を白黒に変換するために6番目の最下位ビットに対応するビットプレー
ン6が選択される。そうでない場合、ソース画像は非自然場面を描くものと分類され、白
黒変換に用いられるビットプレーンは7番目の最下位ビットに対応するビットプレーン7で
ある。一実施形態における頻度閾値は0.15に設定される。
【００５２】
このようにフレーム間動作を検出する上で、カラーフレームを表すのに単一ビットプレ
ーンを用いることができ、それにより行なわれる計算の数が削減される。ビットプレーン
は8ピクセル毎に1バイト単位にパックされるバイト画像として記憶できる白黒画像である
。
【００５３】
図4はソース画像のサンプルとそれらに対応する第6および第7ビットプレーンの表400を
開示する。表の1行目402および3行目404は各々自然画像に対応する。2行目406および4行
目408は各々非自然画像に対応する。表400は自然画像においては一般的に第6ビットプレ
ーンにおいてより高いレベルの情報が見出される一方、非自然画像については一般的に第
7ビットプレーンがより多くの情報を含むことを示す。より多くの画像情報を含む可能性
の高いビットプレーンを選択することにより、フレームのシーケンスを白黒に変換する際
より高度の画像情報が保存される可能性が高くなる。
【００５４】
ビットプレーン選択に用いるソース画像はフレームのセグメントまたはシーケンスにお
ける第1フレームであることができる。一定間隔で新しいフレームを分析し異なるビット
プレーンを選択すべきか判定することができる。あるいはビットプレーンの選択は連続フ
レーム間で実質的な差が検出された場合、および／またはフレーム間動作の推定があまり
にも信頼できなくなった場合いつでも新たに実施することができる。
【００５５】
再度図1を参照すると、段階104においてビデオフレームが白黒に変換された後、段階10
6において連続ビデオフレームのペアについてそのフレームのペアに対応する白黒画像を
用いて大域フレーム間動作を推定することができる。図5は段階106の大域フレーム間動作
の推定の際実施される段階を示すフローチャートである。最初に第1ビデオフレームにわ
たり一般的に均一に分布される基準ピクセルブロックのセットを有してなる基準ピクセル
サブセットが選択される（段階502）。基準セットにおける各基準ピクセルブロックはn×
n(例、8×8または16×16)ピクセルを有してなる。
【００５６】
図6は間隔を開けた複数の離散的な基準ピクセルブロックを有する第1ビデオフレームを
示す。基準ピクセルブロックは1から81と名づけられている。
第1ビデオフレームにおける基準ピクセルブロックの各々に対する検索区域が次に連続ビ
デオフレームのペアの2つ目において定義される。各検索区域は結びついて基準ピクセル
ブロックにおけるピクセルに対応するピクセルとともにN個のピクセルの周辺帯を含み、N
は小さい数である。一実施形態において、Nは8に等しく帯は8ピクセルの厚みを持つ。具
体的に、各検索区域はその結び付いたピクセルブロックより16ピクセル広く16ピクセル高
い（水平および垂直方向双方に-8から+8の範囲に対応）。
【００５７】
図7は第1ビデオフレームからの基準ピクセルブロック1、および10が各々の検索区域706
の上に重なっている続くビデオフレームを示す。図示していないが、基準ピクセルブロッ
ク3から9および11から81の検索区域706も同様に定義される。個々の検索区域706は以下に
説明するように総体でフレームおよび領域照合の上で全体的な検索区域を形成する。
【００５８】
次に17×17の差蓄積アレーが定義される。差蓄積アレーの寸法は各基準ピクセルブロッ
クの、その基準ブロックを検索区域全体にわたりパンする際結び付いた検索区域706にお
いて利用可能な異なる位置の数に対応する。
【００５９】
第1ビデオフレームにおける基準ピクセルブロックは次にピクセルブロックの仮適合ブ
ロックを判定するために、続くビデオフレームにおいて結び付いた検索区域706内の対応
ピクセルブロックと比較される（段階504）。プロセスの際、第1ビデオフレームについて
定義された基準ピクセルブロック1は図8（A）に示すように続くビデオフレームにおいて
結び付いた検索区域706の左上の角（結び付いた検索区域706の(-8，-8)の位置に対応）に
置かれる。基準ピクセルブロック1のピクセルは次に結び付いた検索区域706の対応ピクセ
ルと比較され、絶対ピクセル差が計算される。基準ピクセルブロック1について計算され
たピクセル差は次に蓄積され差蓄積アレーの位置(1，1)に記憶される。
【００６０】
(-8，-8)位置にあるピクセルブロックA1に対する絶対ピクセル差が蓄積され記憶される
と、基準ピクセルブロック1は図8（B）に示すように、検索区域706内で1ピクセル分移動
され（結び付いた検索区域706のピクセルブロック位置(-8，-7)に対応）、上述の工程が
再度実施される。基準ピクセルブロック1について位置(-8，-7)で計算されたピクセル差
は次に蓄積され差蓄積アレーの位置(1，2)に記憶される。検索区域706内で基準ピクセル
ブロックを移動することは漸次図8（C）、8（D）、および8（E）に示し以下同様に、検索
区域706内のすべてのピクセルの組み合わせが上述のように処理されるまで繰り返し実施
される。基準ピクセルブロック1が検索区域706内で最終位置(+8，+8)までずっと移動され
たところが図8（F）に示される。このピクセルブロック位置において、計算された絶対ピ
クセル差は蓄積され差蓄積アレーの位置(17，17)に記憶されることが理解されよう。本実
施形態において、水平および垂直に17の検索可能な位置があるので、17×17=289の処理す
べきピクセルブロック位置がある。
【００６１】
一旦基準ピクセルブロック1のピクセル比較が完了すると、基準ピクセルブロック2に対
し同様のプロセスが実施される。このプロセスの際、基準ピクセルブロック2は図9（A）
に示すように、最初にその結び付いた検索区域706の左上の角（結び付いた検索区域706の
(-8，-8)の位置に対応）に置かれる。基準ピクセルブロック2のピクセルは次に結び付い
た検索区域706の対応ピクセルと比較され、絶対ピクセル差が計算される。基準ピクセル
ブロック2について計算されたピクセル差は次に蓄積され差蓄積アレーの位置(1，1)に記
憶された絶対ピクセル差に加えられる。
【００６２】
(-8，-8)位置にあるピクセルブロックA1に対する絶対ピクセル差が蓄積され差蓄積アレ
ーに加えられると、基準ピクセルブロック2は図9（B）に示すように、検索区域706内で1
ピクセル分移動され（結び付いた検索区域706のピクセルブロック位置(-8，-7)に対応）
、上述の工程が再度実施される。基準ピクセルブロック2について位置(-8，-7)で計算さ
れたピクセル差は次に蓄積され差蓄積アレーの位置(1，2)に記憶された絶対ピクセル差に
加えられる。検索区域706内で基準ピクセルブロック2を移動することは漸次図9（C）、9
（D）、および9（E）に示し以下同様、検索区域706内のすべてのピクセルの組み合わせが
上述のように処理されるまで繰り返し実施される。基準ピクセルブロック1が検索区域706
内で最終位置(+8，+8)までずっと移動されたところが図9（F）に示される。このピクセル
ブロック位置において、計算された絶対ピクセル差は蓄積され差蓄積アレーの位置(17，1
7)に記憶された絶対ピクセル差に加えられる。
【００６３】
一旦基準ピクセルブロック2のピクセル比較が完了すると、基準ピクセルブロック3に対
し同様のプロセスが実施される。上述のプロセスが残りの基準ピクセルブロック4から81
についてピクセル比較が完了するまで続けられる。上記手順の結果、差蓄積アレーが埋め
られる。このように、差蓄積アレーに記憶された大域絶対ピクセル差各々は検索区域にお
ける各位置に結び付いたエラーを現す。検索区域における各位置は大域フレーム間動作ベ
クトルの候補に対応する。従って、一旦差蓄積アレーが埋められると、仮な大域フレーム
間動作ベクトルは差蓄積アレーにおいて最小の絶対ピクセル差を有する位置により判定さ
れる。
【００６４】
フレーム照合の際すべてのピクセルを照合することが最も正確な結果を提供するものの
、性能および演算コストなどの現実的な配慮によりフレーム照合の際なし得るピクセル比
較の可能な数は限定される。検索区域のサイズがフレーム照合の速度および質に影響する
ことは理解されよう。
例えばN個のピクセル帯に囲まれる場合、最良の合致を見出すためには(2N+1)2の絶対ピ
クセル差を計算する必要がある。周囲のピクセル帯が2Nと2倍になると、計算する必要の
ある絶対ピクセル差の合計数は4倍になる。従って演算速度は非常に影響される。フレー
ム照合計算の数をさらに削減するために、フレームの一部のみでピクセルブロックを照合
することにより基準ピクセルブロックの数を削減することができる。
ゼロと1との間にある因数qを用いて寸法が元の幅および高さのq倍であるサンプルフレ
ーム区域を選択することができる。サンプルフレーム区域はフレームの中央部分であって
も良く、または最も高いレベルの詳細が検出されたフレームの領域を中心とし、それによ
り前景ピクセルを用いてブロック照合が実施される可能性を高めることができる。
【００６５】
段階504に続き、検索区域706に対するピクセルブロックの仮適合セットの位置は大域蓄
積アレーにおいて最も低い大域絶対ピクセル差を有する位置から判定される。例えば、最
も低い大域絶対ピクセル差が大域蓄積アレーの位置(1，1)にある場合、仮適合セットにあ
るピクセルブロックは各々の検索区域706において位置(-8，-8)にあるものに対応する。
次に仮適合セットにおけるピクセルブロックが少なくとも一辺を各々の検索区域の境界と
一致するか判定される（段階508）。図10（A）から10（H）は図7の続くビデオフレームの
一部で各々の検索区域706においてピクセルブロックの少なくとも一辺が各々の検索区域7
06の境界と一致するピクセルブロック1、2、および10のさまざまな位置を示す。
【００６６】
仮適合セットにおけるピクセルブロックの位置が各々の検索区域706の(-7，-7)から(+7
，+7)の範囲内にある場合、仮適合セットにおけるピクセルブロックは各々の検索区域706
の境界と一致する辺を有しないことが理解されよう。仮適合セットにおけるピクセルブロ
ックが各々の検索区域の境界と一致する辺を有しない場合、ピクセルブロックの仮適合セ
ットはピクセルの実適合セットとみなされる（段階510）。そうでなく、仮適合セットに
おけるピクセルブロックが各々の検索区域の境界と一致する辺を有している場合、検索区
域は一致する境界の方向にNピクセル分移動される（段階512）。図11は検索区域の移動を
示す。この場合、検索区域706はNピクセル分右方向に移動され、移動検索区域706Aをもた
らす。
【００６７】
一旦検索区域が移動されると、段階504に関連して上記に説明したものと同様のピクセ
ルブロックの比較が行なわれる（段階512）。この場合、ピクセルブロックの実適合セッ
トを判定するために第1ビデオフレームにおける基準ピクセルブロックは結び付いた移動
検索区域706A内の対応ピクセルブロックと比較される。
【００６８】
一旦段階508または段階512においてピクセルブロックの実適合セットが指定されると、
指定されたピクセルブロックの実適合セットが信頼できる適合であるか判定するために確
認が行なわれる（段階514）。指定されたピクセルブロックの実適合セットが信頼できる
適合であるか判定するために、差蓄積アレーにおいてピクセルブロックの実適合セットの
位置に記憶される大域絶対ピクセル差が一実施形態では15に等しい最大許容エラー閾値に
比較される。ピクセル差または適合エラーがエラー閾値未満である場合、ピクセルブロッ
クの実適合セットは信頼できるとみなされる。そうでない場合、差蓄積アレーにおける絶
対ピクセル差の平均を用いて信頼性の追加確認を行なうことができる。
【００６９】
差蓄積アレーにおける最小値（すなわち実適合セットに対応する位置における値）は次
の式に従い、平均絶対ピクセル差で割られる。
R＝最小絶対ピクセル差／絶対ピクセル差の平均
【００７０】
エラー比Rが一実施形態では0.08に等しいエラー比閾値以上である場合、指定されたピ
クセルブロックの実適合セットであるとみなされる。そうでない場合、指定されたピクセ
ルブロックの実適合セットは信頼できないとみなされ、大域フレーム間動作はゼロである
とみなされる（段階516）。
【００７１】
段階514において指定されたピクセルブロックの実適合セットが信頼できるとみなされ
た場合、差蓄積アレーにおいて最小絶対ピクセル差を有する位置に基づき二次元の大域フ
レーム間動作ベクトルが判定される（段階518）。例えば、最小絶対ピクセル差が差蓄積
アレーにおいて位置(1，1)に記憶される場合、実適合セットにおけるピクセルブロックは
各々の検索区域706において位置(-8，-8)にあるものに対応する。従って二次元の大域フ
レーム間動作ベクトルは(-8，-8)である。
検索区域706が段階510において移動された場合、Nが大域フレーム間動作にNを移動方向
に加える。
【００７２】
上述のピクセル比較の一般的な原則は1つのビデオフレームにおけるピクセルサブセッ
トと続くビデオフレームにおける複数のピクセルブロックの候補適合セットとの間で輝度
差を比較することが関わる。続くビデオフレームにおいて第1ビデオフレームにおけるピ
クセルサブセットとの差が最小であるピクセルブロックの候補セットが適合するものとみ
なされ、これを基に大域フレーム間動作が推定される。白黒フレーム照合の信頼性はビデ
オフレーム間の全体的な絶対ピクセル差を比較することによって向上する。全体的な絶対
ピクセル差が用いられるため、集合のために複数のブロック動作ベクトルを必要としない
。逆に人間によるビデオフレーム間の動作の知覚と一致して、大域フレーム間動作は連続
ビデオフレーム間における大半のピクセルの動作に基づき計算される。さらに、特定条件
の下でのみ移動される検索区域を用いることにより、フレーム照合計算はせいぜい2倍と
なる。
【００７３】
図12はピクセルブロックの比較を行ない、大域フレーム間動作を推定する別の工程106A
を示すフローチャートである。この実施形態によると、段階502に続き図13（A）に示すよ
うに第1ビデオフレームにおける基準ピクセルブロックの第1の半分に対する検索区域が続
くビデオフレームにおいて定義される（すなわち奇数の基準ピクセルブロック1、3、5、7
、9、等々）。第1ビデオフレームにおける基準ピクセルブロックの第１の半分は次に続く
ビデオフレームにおいて各々の検索区域706にある対応ピクセルブロックと比較され、差
蓄積アレーが埋められ、ピクセルブロックの仮適合セットが判定される（段階550）。
【００７４】
段階550に続き、仮適合セットにおけるピクセルセットが各々の検索区域の境界と少な
くとも一辺が一致するか判定される（段階506）。
【００７５】
ピクセルブロックの仮適合セットにおけるピクセルブロックが各々の検索区域の境界と
一致する少なくとも一辺を有しない場合、ピクセルブロックの実適合セットは既存の各々
の検索区域706内にあると予想され、基準ピクセルブロックの他半分（すなわち偶数の基
準ピクセルブロック2、4、6、8、等々）は各々の検索区域706における対応ピクセルブロ
ックと比較される（段階554）。ピクセルブロックの他半分は図13（B）に示される。
【００７６】
基準ピクセルブロックの他半分について各々の検索区域706内における各位置の絶対ピ
クセル差は蓄積され、値は差蓄積アレーの対応する位置に記憶される。ピクセルブロック
の仮適合セットは次にピクセルブロックの実適合セットとして指定される。
【００７７】
仮適合セットのピクセルブロックがそうでなく、各々の検索区域の境界と一致する少な
くとも一辺を有している場合、検索区域は一致する境界の方向にNピクセル分移動されピ
クセルブロックの仮適合セットに対する蓄積は他の計算された絶対ピクセル差すべてとと
もに捨てられる（段階552）。つまり、差蓄積アレーにおけるすべての位置がゼロに設定
される。図13（B）に示される偶数の基準ピクセルブロックは次に絶対ピクセル差を計算
してピクセルブロックの実適合セットを判定するために移動された各々の検索区域内の対
応ピクセルブロックと比較される（段階554）。
【００７８】
上述のように検索区域を移動した場合、ピクセルブロックの実適合セットをもたらすた
めに比較されるピクセルブロックの合計数および計算される絶対ピクセル差の合計数は先
に説明した実施形態の場合の約半分であることに留意されたい。これは一旦移動検索区域
が判定されると、蓄積は基準ピクセルブロックの他半分についてのみ処理されるからであ
る。
【００７９】
検索区域が段階552でNピクセル分移動された場合、大域フレーム間動作ベクトルと領域
別フレーム間動作ベクトル各々にNが移動方向に加えられる。
【００８０】
ピクセルブロックの比較は異なる順序で実施し得ることが理解されよう。例えば、上述
の実施形態において、基準ピクセルブロック1についてその対応検索区域内の各位置にお
ける比較がまず計算され、蓄積は基準ピクセルブロック2についてその対応検索区域内の
各位置における比較を計算する前に差蓄積アレーの対応位置に記憶され、以下同様である
。
【００８１】
しかし、望まれる場合基準ピクセルブロック1についてその対応検索区域内の特定位置
における1つの比較を行ない、次に基準ピクセルブロック2についてその特定位置における
1つの比較、次に基準ピクセルブロック3についてその特定位置における1つの比較、基準
ピクセルブロック3についてその特定位置において1つの比較が行なわれるまで以下同様に
行なことができる。一旦その特定位置において基準ピクセルブロック1から81まですべて
の比較が処理されると、基準ピクセルブロックの位置が各々の検索区域において変更され
、基準ピクセルブロック1から81までの比較が変更された位置において実施される。これ
は基準ピクセルブロックが検索区域全体にわたりパンされるまで続けられる。
【００８２】
図14は図6に示されたものと類似した第1ビデオフレームを示し、基準ピクセルブロック
のセットをウィンドウ708が囲んでいる。図15に示すように、重ねウィンドウ708における
ものと対応するピクセルとともにN個のピクセルの周辺帯を含む検索区域710が続くビデオ
フレームにおいて定義され、ここでNは小さな数である（例、8）。差蓄積アレーは上述の
ように定義される。
【００８３】
第1ビデオフレームについて定義されたウィンドウ708は次に図16（A）に示すように、
検索区域710の左上の角に置かれる（検索区域の位置(-8，-8)に対応）。各ピクセルブロ
ックのピクセルは次に検索区域710における対応ピクセルと比較され、各々の絶対ピクセ
ル差が計算される。絶対ピクセル差は蓄積され差蓄積アレーにおける対応位置に記憶され
る。
【００８４】
ウィンドウ位置(-8，-8)における基準ピクセルブロックのセットに対する絶対ピクセル
差の各々が判定されると、ウィンドウ708は図16（B）に示すように検索区域710内で1ピク
セル分移動され（検索区域におけるウィンドウ位置(-8，-7)に対応）、上述の工程が再度
実施される。得られた絶対ピクセル差は蓄積され差蓄積アレーにおける対応位置に記憶さ
れる。図16（C）に示すように検索区域710内においてウィンドウが再度移動され、検索区
域710内においてウィンドウ708のサイズに対応するピクセルのすべての組み合わせが処理
され、差蓄積アレーにおける各入力が埋められるまで以下同様である。上記に続き、先に
説明した方法で大域フレーム間動作が判定される。
【００８５】
上述の閾値、パラメーター値、ピクセルブロックのサイズ、パンニングウィンドウ値、
等々、は例として提供されることが理解されよう。さらにこれらの値およびサイズはフレ
ーム間動作の推定および補正が用いられる特定の環境に合うよう変更できることを当業者
は理解しよう。
【００８６】
例えば、ブロック照合の前にビデオフレームを白黒へ変換することは処理時間および必
要な記憶容量を削減することができるが、前記に説明したフレーム照合の方法は白黒に変
換されていないビデオフレームに実施し得ることが理解されよう。
【００８７】
図17は方法100に従いデジタルビデオシーケンスにおける大域フレーム間動作を推定し
補正する装置1700を示すブロック図である。装置1700はビデオ装置200のプロセッサー206
など、方法100を実施するコンピューター読み取り可能な命令でプログラムされているプ
ロセッサーとして具現できる。本実施形態例において、装置1700は色変換器1702、フレー
ム比較器1704、適合位置推定器1706、検索区域調整器1708、動作推定器1710、動作補正器
1712、およびディスプレイ生成器1714を有してなる。
【００８８】
色変換器1702はビット変化頻度計算器1702aおよびビットプレーン選択器1702bを有して
なる。フレーム比較器1704はピクセルサブセット定義器1704aおよび差蓄積モジュール170
4bを有してなる。
【００８９】
装置1700の働きが次に説明される。動作中フレーム間動作を推定し補正するために連続
ビデオフレームのペアを調べる場合、色変換器1702のビットプレーン選択器1702bはビッ
ト変化頻度計算器1702aにより計算されたビット変化頻度尺度に応答して白黒変換用のビ
ットプレーンを選択する。次に色変換器1702が第1および続くビデオフレームにおける各
ピクセルを選択されたビットプレーンに基づき黒および白の1つに設定する。このプロセ
スにより選択されたビットプレーンはフレーム間動作が動作推定器1710により信頼性がな
いと判定されるまで1つ以上の後続フレームにも適用できる。加えて、または代わりに、
白黒変換用のビットプレーンの選択し直しはフレームのシーケンスにおいて検出された、
画像タイプの変化（例、自然画像から非自然画像への変化）の可能性を示す実質的な変化
をきっかけとすることができる。
【００９０】
フレーム比較器1704は次に第1フレームにおけるピクセルブロックのセットを連続する
フレームにおける各々の検索区域内のピクセルブロックの適合候補セットと比較し、ピク
セルセットの仮適合セットを判定する。ピクセルサブセット定義器1704aは差蓄積アレー
および続くビデオフレームの検索区域におけるピクセルブロックの候補セットと比較され
る第1ビデオブロックにおけるピクセルブロックのセットを定義する。差蓄積モジュール1
704bはピクセルブロックのセットが検索区域における各位置に対するピクセルブロックの
候補セット各々に比較されるにつれ絶対ピクセル差を差蓄積アレーに蓄積する。
【００９１】
適合位置推定器1706はピクセルブロックの仮適合セットの検索区域に対する位置を判定
しそのピクセルブロックの仮適合セットをピクセルブロックの実適合セットとして指定す
るか、ピクセルブロックの仮適合セットの検索区域に対する位置に基づき別のピクセルブ
ロックの適合セットをピクセルブロックの実適合セットとして選択するかを判定する。必
要な場合、検索区域調整器1708は検索区域を移動し、ピクセルブロックの実適合セットを
判定するために差蓄積モジュール1704bに移動検索区域における絶対ピクセル差を計算す
るよう調整する。フレーム比較器1704は適合位置推定器1706に応答してピクセルブロック
の実適合セットを判定する。
【００９２】
動作推定器1710は次に大域フレーム間動作ベクトルを計算して大域フレーム間動作を推
定する。動作推定器1710はピクセルブロックの実適合セットの信頼性を前述の方法で判定
する。動作推定器1710は動作信頼性モジュール1710a、計算器1710b、および閾値コンパレ
ータ1710cなど各種構成要素を有してなる。
【００９３】
動作補正器1712は推定動作に従いビデオフレーム率を補正しおよび／またはビデオ動作
の質を向上させ、フレームを高速のシーケンスで見た場合人間の目で知覚されるようなぶ
れを補正または消すことによりビデオフレームを変換する。ディスプレイ生成器1714はフ
レームをディスプレイに出力する準備としてさらにビデオフレームを処理することができ
る。
【００９４】
前記の実施形態例はビデオシーケンスのフレームにおける1つ以上の任意の別々な部分
における大域動作を推定するのに用いることができる。方法や手法はLCDパネル上の動作
ビデオ画質を向上させるために用いることができる。上述のさまざまな代替的実施形態に
加え、さまざまな行為が変更、省略され、または新たな行為が追加され、または描かれた
行為の順序が異なるなどを含み方法100の他のさまざまな形を実施することができる。
【００９５】
さらに、実施形態例は大域動作の検出および補正の関係で説明されているが、これらは
局部動作の検出および補正に適用することもできる。例えば、局部フレーム間動作のある
領域がまずフレーム内で特定された場合、領域内のフレーム間動作は本明細書に説明され
る検出および補正方法の目的上大域フレーム間動作として扱うことができる。
【００９６】
本明細書で開示される実施形態例は他の具体的な形で具現されることができる。本明細
書で開示される実施形態例はすべての面において限定的ではなく、単に例示的であるとみ
なされる。
【符号の説明】
【００９７】
２００ ビデオ装置、２０２ インターフェイス、２０６ プロセッサー、２１２ 取
り込み機構、２１４ ディスプレイ、７０６ 検索区域。
【特許請求の範囲】
【請求項１】
画像を白黒画像に変換する画像処理方法であって、
前記画像が特定の画像タイプであることを特定するために前記画像におけるピクセルの
一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記画像のビットプレーンを選択するステップと、
前記選択されたビットプレーンを用いて前記画像を変換するステップとを有する画像処
理方法。
【請求項２】
前記画像における各ピクセルに対する輝度データは８ビットの列として表現され、前記
輝度データをサンプルするステップは、前記８ビット中最上位ビットから3番目のものに
対応するビットプレーンをサンプルするステップを含む請求項１に記載の画像処理方法。
【請求項３】
前記輝度データをサンプルするステップは、前記画像のサンプルビットプレーンにおけ
る第1ビットを前記サンプルビットプレーンにおける第2ビットと比較するステップを含み
、前記第1および第2ビットは前記画像において隣接するピクセルに対応し、前記第1およ
び第2ビットを比較するステップは前記第1および第2ビットに対しXOR演算を行なうステッ
プを含む請求項１に記載の画像処理方法。
【請求項４】
前記輝度データをサンプルするステップは、前記画像のサンプルビットプレーンにおい
て隣接するビットが異なる平均回数を計算するステップを含み、前記隣接するビットは前
記画像の隣接するピクセルに対応する請求項１に記載の画像処理方法。
【請求項５】
前記サンプルされたピクセルの一部は前記画像において選ばれたピクセルの行および／
または列を含む請求項１に記載の画像処理方法。
【請求項６】
前記画像タイプは自然画像タイプおよび非自然画像タイプのうちの1つであり、前記選
択するステップは、前記画像が前記自然画像タイプであると特定された場合に第1ビット
プレーンを前記選択されたビットプレーンとして選択し、前記画像が前記非自然画像タイ
プであると特定された場合に第2ビットプレーンを前記選択されたビットプレーンとして
選択するステップを含む請求項１に記載の画像処理方法。
【請求項７】
テキストおよび／またはグラフィックスを含むコンピューター生成画像は前記非自然画
像タイプと分類される請求項６に記載の画像処理方法。
【請求項８】
前記画像における各ピクセルに対する輝度データは８ビットの列として表現され、前記
選択されたビットプレーンは、前記8ビット中最上位ビットから6番目のものに対応するビ
ットプレーンおよび前記8ビット中最上位ビットから7番目のものに対応するビットプレー
ンのグループから選択される請求項１に記載の画像処理方法。
【請求項９】
ビデオフレームのシーケンスに描かれるフレーム間動作を推定するデータ処理方法であ
って、
請求項１に記載の画像を変換するステップに従い前記シーケンスにおける第1ビデオフ
レームを第1白黒画像に変換するステップと、
前記第1ビデオフレームの画像変換に使用された前記選択されたビットプレーンに対応
する第2ビデオフレームのビットプレーンを用いて前記シーケンスにおける前記第2ビデオ
フレームを第2白黒画像に変換するステップと、
フレーム間動作を回収するために前記第1および第2白黒画像を用いてブロック照合を実
施するステップとを有する請求項１に記載のデータ処理方法。
【請求項１０】
前記回収されたフレーム間動作を特性化する動作ベクトルを判定するステップと、
前記動作ベクトルに信頼度を結び付けるステップとをさらに有する請求項９に記載のデ
ータ処理方法。
【請求項１１】
前記信頼度が信頼性閾値を満足する場合には、前記第1および第2ビデオフレームに続く
後続の複数のフレームにおけるフレーム間動作を、前記選択されたビットプレーンに対応
するビットプレーンを前記後続の各フレームにおいて用いて推定し、
前記信頼度が信頼性閾値を満足しない場合には、前記後続の各フレームにおけるフレー
ム間動作を、前記選択されたビットプレーンに対応するビットプレーンとは異なるビット
プレーンを用いて推定する請求項１０に記載のデータ処理方法。
【請求項１２】
画像を白黒画像に変換する画像処理方法であって、
前記画像の少なくとも1つのビットプレーンの少なくとも一部におけるビット変化頻度
を判定するステップと、
前記判定されたビット変化頻度を閾値と比較して前記画像の1つのビットプレーンを選
択するステップと、
前記選択されたビットプレーンを用いて前記画像を白黒画像に変換するステップとを有
し、
前記ビット変化頻度が判定される前記少なくとも1つのビットプレーンは前記選択され
たビットプレーンを含まない画像処理方法。
【請求項１３】
実行されるとフレームのシーケンスに描かれるフレーム間動作を検出する方法を実施す
るコンピューター読み取り可能な命令を有する1つ以上のコンピューター読み取り可能な
媒体であって、
前記方法は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップと、
前記第１ビデオフレームを前記第１白黒画像に変換するステップに使用された前記選択
されたビットプレーンに対応する第2ビデオフレームのビットプレーンを用いて、前記シ
ーケンスにおける前記第2ビデオフレームを第2白黒画像に変換するステップと、
前記第1および第2白黒画像を用いてブロック照合を実施しフレーム間動作を回収するス
テップとを有するコンピューター読み取り可能な媒体。
【請求項１４】
フレームで検出されたフレーム間動作に基づき前記フレームのシーケンスを処理するデ
ータ処理装置であって、
複数のフレームを受信するバッファーと、処理回路とを有し、
前記処理回路は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップとを実行するよう構成されるデータ処理装置。
【請求項１５】
前記処理回路は、前記フレーム間動作に基づき前記フレームのシーケンスを修正して知
覚されたぶれを最小限にするよう構成される請求項１４に記載されるデータ処理装置。
【請求項１６】
デジタルビデオシーケンスにおける第１のビデオフレームと第２のビデオフレームとの
間の大域フレーム間動作を推定するデータ処理方法であって、
前記第１ビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２ビデ
オフレームの検索区域内における候補ピクセルサブセットの輝度データと比較し、前記候
補ピクセルサブセットから仮適合ピクセルサブセットを判定するステップと、
前記検索区域に対する仮適合ピクセルサブセットの位置に基づき他方のビデオフレーム
から実適合ピクセルサブセットを判定するステップと、
前記実適合ピクセルサブセットの位置に基づき、前記大域フレーム間動作を特性化する
大域フレーム間動作ベクトルを計算するステップとを有するデータ処理方法。
【請求項１７】
前記判定するステップは、前記検索区域の境界に対する前記仮適合ピクセルサブセット
の位置に基づく請求項１６に記載のデータ処理方法。
【請求項１８】
前記判定するステップは、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接しているか判定するステッ
プを含み、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合には、前記
仮適合ピクセルサブセットを前記実適合ピクセルサブセットとして指定するステップと、
前記検索区域を変更して、前記ピクセルサブセットを前記変更された検索区域内の候補ピ
クセルサブセットと比較して前記実適合ピクセルサブセットを判定するステップとのいず
れかを行なう請求項１６に記載のデータ処理方法。
【請求項１９】
前記検索区域を変更することは、前記検索区域を前記仮適合ピクセルサブセットが隣接
している境界の方向に移動させるステップを含む請求項１８に記載のデータ処理方法。
【請求項２０】
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合、前記仮適
合ピクセルサブセットは前記実適合ピクセルサブセットとして指定される請求項１９に記
載のデータ処理方法。
【請求項２１】
前記検索区域は、位置が前記第1ビデオフレームにおける前記基準ピクセルサブセット
のピクセル対応するピクセルと併せてピクセルの周辺の帯を有する請求項２０に記載のデ
ータ処理方法。
【請求項２２】
前記帯の幅は前記検索区域が移動される距離に等しい請求項２１に記載のデータ処理方
法。
【請求項２３】
前記基準ピクセルサブセットはピクセルブロックのセットを有し、前記ピクセルブロッ
クは前記第1ビデオフレームにわたり実質的に均一に分布される請求項２１に記載のデー
タ処理方法。
【請求項２４】
前記比較することは、前記第１ビデオフレームのピクセルブロックを前記第2ビデオフ
レームの検索区域内において対応するピクセルブロックと比較してピクセルブロックの仮
適合セットを判定するステップを有する請求項２３に記載のデータ処理方法。
【請求項２５】
前記ピクセルブロックを比較する際に、前記第1ビデオフレームのピクセルブロックに
おけるピクセルの輝度値と前記第2ビデオフレームの検索区域内の対応するピクセルブロ
ックにおけるピクセルの輝度値との絶対差が計算されて蓄積され、前記ピクセルブロック
の仮適合セットが判定される請求項２４に記載のデータ処理方法。
【請求項２６】
前記比較する前に、前記ビデオフレームを白黒画像に変換するステップをさらに有する
請求項１６に記載のデータ処理方法。
【請求項２７】
前記白黒画像に変換するステップは、
前記第１および第２ビデオフレームの選択されたビットプレーンを用いて、前記第１お
よび第２ビデオフレームにおける各ピクセルを黒または白に変換するステップを有し、
前記選択されたビットプレーンは、前記第１及び第２ビデオフレーム内において1つの
サンプルビットプレーンにおけるビット変化頻度がビット変化頻度の閾値を満足するか否
かに基づき選択される請求項２６に記載のデータ処理方法。
【請求項２８】
前記実適合ピクセルサブセットの信頼性を確認するステップと、
前記実適合ピクセルサブセットが信頼できるとみなされた場合にのみ、前記大域動作ベ
クトルを計算するステップとをさらに有する請求項１６に記載のデータ処理方法。
【請求項２９】
前記実適合ピクセルサブセットの信頼性は、前記実適合ピクセルサブセットについて計
算された絶対差エラーの合計と絶対差エラー合計の最小および平均の比率との少なくとも
1つに基づく請求項２８に記載のデータ処理方法。
【請求項３０】
前記大域フレーム間動作ベクトルを用いて前記ビデオフレームを処理して前記計算され
た大域フレーム間動作を補正するステップをさらに有する請求項１６に記載のデータ処理
方法。
【請求項３１】
デジタルビデオシーケンスにおける第１のビデオフレームと第２のビデオフレームとの
間の大域フレーム間動作を推定するデータ処理装置であって、
前記第１のビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２の
ビデオフレームの検索区域内における候補ピクセルサブセットの輝度データと比較して、
候補ピクセルサブセットから仮適合ピクセルサブセットを判定するよう構成されるフレー
ム比較器と、
前記検索区域に対する前記仮適合ピクセルサブセットの位置を判定するよう構成される
適合位置推定器であって、前記フレーム比較器はさらに前記適合位置推定器により判定さ
れた位置に基づき前記第2ビデオフレームから実適合ピクセルサブセットを判定するよう
構成される適合位置推定器と、
前記実適合ピクセルサブセットの位置に基づき大域フレーム間動作ベクトルを計算する
よう構成される大域フレーム間動作推定器とを有するデータ処理装置。
【請求項３２】
前記大域フレーム間動作ベクトルに基づき前記ビデオフレームを処理し前記大域フレー
ム間動作を補正するよう構成される大域フレーム間動作補正器をさらに有する請求項３１
に記載のデータ処理装置。
【請求項１】
画像を白黒画像に変換する画像処理方法であって、
前記画像が特定の画像タイプであることを特定するために前記画像におけるピクセルの
一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記画像のビットプレーンを選択するステップと、
前記選択されたビットプレーンを用いて前記画像を変換するステップとを有する画像処
理方法。
【請求項２】
前記画像における各ピクセルに対する輝度データは８ビットの列として表現され、前記
輝度データをサンプルするステップは、前記８ビット中最上位ビットから3番目のものに
対応するビットプレーンをサンプルするステップを含む請求項１に記載の画像処理方法。
【請求項３】
前記輝度データをサンプルするステップは、前記画像のサンプルビットプレーンにおけ
る第1ビットを前記サンプルビットプレーンにおける第2ビットと比較するステップを含み
、前記第1および第2ビットは前記画像において隣接するピクセルに対応し、前記第1およ
び第2ビットを比較するステップは前記第1および第2ビットに対しXOR演算を行なうステッ
プを含む請求項１に記載の画像処理方法。
【請求項４】
前記輝度データをサンプルするステップは、前記画像のサンプルビットプレーンにおい
て隣接するビットが異なる平均回数を計算するステップを含み、前記隣接するビットは前
記画像の隣接するピクセルに対応する請求項１に記載の画像処理方法。
【請求項５】
前記サンプルされたピクセルの一部は前記画像において選ばれたピクセルの行および／
または列を含む請求項１に記載の画像処理方法。
【請求項６】
前記画像タイプは自然画像タイプおよび非自然画像タイプのうちの1つであり、前記選
択するステップは、前記画像が前記自然画像タイプであると特定された場合に第1ビット
プレーンを前記選択されたビットプレーンとして選択し、前記画像が前記非自然画像タイ
プであると特定された場合に第2ビットプレーンを前記選択されたビットプレーンとして
選択するステップを含む請求項１に記載の画像処理方法。
【請求項７】
テキストおよび／またはグラフィックスを含むコンピューター生成画像は前記非自然画
像タイプと分類される請求項６に記載の画像処理方法。
【請求項８】
前記画像における各ピクセルに対する輝度データは８ビットの列として表現され、前記
選択されたビットプレーンは、前記8ビット中最上位ビットから6番目のものに対応するビ
ットプレーンおよび前記8ビット中最上位ビットから7番目のものに対応するビットプレー
ンのグループから選択される請求項１に記載の画像処理方法。
【請求項９】
ビデオフレームのシーケンスに描かれるフレーム間動作を推定するデータ処理方法であ
って、
請求項１に記載の画像を変換するステップに従い前記シーケンスにおける第1ビデオフ
レームを第1白黒画像に変換するステップと、
前記第1ビデオフレームの画像変換に使用された前記選択されたビットプレーンに対応
する第2ビデオフレームのビットプレーンを用いて前記シーケンスにおける前記第2ビデオ
フレームを第2白黒画像に変換するステップと、
フレーム間動作を回収するために前記第1および第2白黒画像を用いてブロック照合を実
施するステップとを有する請求項１に記載のデータ処理方法。
【請求項１０】
前記回収されたフレーム間動作を特性化する動作ベクトルを判定するステップと、
前記動作ベクトルに信頼度を結び付けるステップとをさらに有する請求項９に記載のデ
ータ処理方法。
【請求項１１】
前記信頼度が信頼性閾値を満足する場合には、前記第1および第2ビデオフレームに続く
後続の複数のフレームにおけるフレーム間動作を、前記選択されたビットプレーンに対応
するビットプレーンを前記後続の各フレームにおいて用いて推定し、
前記信頼度が信頼性閾値を満足しない場合には、前記後続の各フレームにおけるフレー
ム間動作を、前記選択されたビットプレーンに対応するビットプレーンとは異なるビット
プレーンを用いて推定する請求項１０に記載のデータ処理方法。
【請求項１２】
画像を白黒画像に変換する画像処理方法であって、
前記画像の少なくとも1つのビットプレーンの少なくとも一部におけるビット変化頻度
を判定するステップと、
前記判定されたビット変化頻度を閾値と比較して前記画像の1つのビットプレーンを選
択するステップと、
前記選択されたビットプレーンを用いて前記画像を白黒画像に変換するステップとを有
し、
前記ビット変化頻度が判定される前記少なくとも1つのビットプレーンは前記選択され
たビットプレーンを含まない画像処理方法。
【請求項１３】
実行されるとフレームのシーケンスに描かれるフレーム間動作を検出する方法を実施す
るコンピューター読み取り可能な命令を有する1つ以上のコンピューター読み取り可能な
媒体であって、
前記方法は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップと、
前記第１ビデオフレームを前記第１白黒画像に変換するステップに使用された前記選択
されたビットプレーンに対応する第2ビデオフレームのビットプレーンを用いて、前記シ
ーケンスにおける前記第2ビデオフレームを第2白黒画像に変換するステップと、
前記第1および第2白黒画像を用いてブロック照合を実施しフレーム間動作を回収するス
テップとを有するコンピューター読み取り可能な媒体。
【請求項１４】
フレームで検出されたフレーム間動作に基づき前記フレームのシーケンスを処理するデ
ータ処理装置であって、
複数のフレームを受信するバッファーと、処理回路とを有し、
前記処理回路は、
前記画像が特定の画像タイプであることを特定するために第１ビデオフレームにおける
ピクセルの一部の輝度データをサンプルするステップと、
前記特定された画像タイプに基づき前記第１ビデオフレームのビットプレーンを選択す
るステップと、
前記選択されたビットプレーンを用いて前記第１ビデオフレームを第１白黒画像に変換
するステップとを実行するよう構成されるデータ処理装置。
【請求項１５】
前記処理回路は、前記フレーム間動作に基づき前記フレームのシーケンスを修正して知
覚されたぶれを最小限にするよう構成される請求項１４に記載されるデータ処理装置。
【請求項１６】
デジタルビデオシーケンスにおける第１のビデオフレームと第２のビデオフレームとの
間の大域フレーム間動作を推定するデータ処理方法であって、
前記第１ビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２ビデ
オフレームの検索区域内における候補ピクセルサブセットの輝度データと比較し、前記候
補ピクセルサブセットから仮適合ピクセルサブセットを判定するステップと、
前記検索区域に対する仮適合ピクセルサブセットの位置に基づき他方のビデオフレーム
から実適合ピクセルサブセットを判定するステップと、
前記実適合ピクセルサブセットの位置に基づき、前記大域フレーム間動作を特性化する
大域フレーム間動作ベクトルを計算するステップとを有するデータ処理方法。
【請求項１７】
前記判定するステップは、前記検索区域の境界に対する前記仮適合ピクセルサブセット
の位置に基づく請求項１６に記載のデータ処理方法。
【請求項１８】
前記判定するステップは、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接しているか判定するステッ
プを含み、
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合には、前記
仮適合ピクセルサブセットを前記実適合ピクセルサブセットとして指定するステップと、
前記検索区域を変更して、前記ピクセルサブセットを前記変更された検索区域内の候補ピ
クセルサブセットと比較して前記実適合ピクセルサブセットを判定するステップとのいず
れかを行なう請求項１６に記載のデータ処理方法。
【請求項１９】
前記検索区域を変更することは、前記検索区域を前記仮適合ピクセルサブセットが隣接
している境界の方向に移動させるステップを含む請求項１８に記載のデータ処理方法。
【請求項２０】
前記仮適合ピクセルサブセットが前記検索区域の境界に隣接していない場合、前記仮適
合ピクセルサブセットは前記実適合ピクセルサブセットとして指定される請求項１９に記
載のデータ処理方法。
【請求項２１】
前記検索区域は、位置が前記第1ビデオフレームにおける前記基準ピクセルサブセット
のピクセル対応するピクセルと併せてピクセルの周辺の帯を有する請求項２０に記載のデ
ータ処理方法。
【請求項２２】
前記帯の幅は前記検索区域が移動される距離に等しい請求項２１に記載のデータ処理方
法。
【請求項２３】
前記基準ピクセルサブセットはピクセルブロックのセットを有し、前記ピクセルブロッ
クは前記第1ビデオフレームにわたり実質的に均一に分布される請求項２１に記載のデー
タ処理方法。
【請求項２４】
前記比較することは、前記第１ビデオフレームのピクセルブロックを前記第2ビデオフ
レームの検索区域内において対応するピクセルブロックと比較してピクセルブロックの仮
適合セットを判定するステップを有する請求項２３に記載のデータ処理方法。
【請求項２５】
前記ピクセルブロックを比較する際に、前記第1ビデオフレームのピクセルブロックに
おけるピクセルの輝度値と前記第2ビデオフレームの検索区域内の対応するピクセルブロ
ックにおけるピクセルの輝度値との絶対差が計算されて蓄積され、前記ピクセルブロック
の仮適合セットが判定される請求項２４に記載のデータ処理方法。
【請求項２６】
前記比較する前に、前記ビデオフレームを白黒画像に変換するステップをさらに有する
請求項１６に記載のデータ処理方法。
【請求項２７】
前記白黒画像に変換するステップは、
前記第１および第２ビデオフレームの選択されたビットプレーンを用いて、前記第１お
よび第２ビデオフレームにおける各ピクセルを黒または白に変換するステップを有し、
前記選択されたビットプレーンは、前記第１及び第２ビデオフレーム内において1つの
サンプルビットプレーンにおけるビット変化頻度がビット変化頻度の閾値を満足するか否
かに基づき選択される請求項２６に記載のデータ処理方法。
【請求項２８】
前記実適合ピクセルサブセットの信頼性を確認するステップと、
前記実適合ピクセルサブセットが信頼できるとみなされた場合にのみ、前記大域動作ベ
クトルを計算するステップとをさらに有する請求項１６に記載のデータ処理方法。
【請求項２９】
前記実適合ピクセルサブセットの信頼性は、前記実適合ピクセルサブセットについて計
算された絶対差エラーの合計と絶対差エラー合計の最小および平均の比率との少なくとも
1つに基づく請求項２８に記載のデータ処理方法。
【請求項３０】
前記大域フレーム間動作ベクトルを用いて前記ビデオフレームを処理して前記計算され
た大域フレーム間動作を補正するステップをさらに有する請求項１６に記載のデータ処理
方法。
【請求項３１】
デジタルビデオシーケンスにおける第１のビデオフレームと第２のビデオフレームとの
間の大域フレーム間動作を推定するデータ処理装置であって、
前記第１のビデオフレームにおける基準ピクセルサブセットの輝度データを前記第２の
ビデオフレームの検索区域内における候補ピクセルサブセットの輝度データと比較して、
候補ピクセルサブセットから仮適合ピクセルサブセットを判定するよう構成されるフレー
ム比較器と、
前記検索区域に対する前記仮適合ピクセルサブセットの位置を判定するよう構成される
適合位置推定器であって、前記フレーム比較器はさらに前記適合位置推定器により判定さ
れた位置に基づき前記第2ビデオフレームから実適合ピクセルサブセットを判定するよう
構成される適合位置推定器と、
前記実適合ピクセルサブセットの位置に基づき大域フレーム間動作ベクトルを計算する
よう構成される大域フレーム間動作推定器とを有するデータ処理装置。
【請求項３２】
前記大域フレーム間動作ベクトルに基づき前記ビデオフレームを処理し前記大域フレー
ム間動作を補正するよう構成される大域フレーム間動作補正器をさらに有する請求項３１
に記載のデータ処理装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図４】
【公開番号】特開２０１１−４１２７５（Ｐ２０１１−４１２７５Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−１７８３７８（Ｐ２０１０−１７８３７８）
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]