領域ベース複数パス動き推定及び時間的動きベクトル候補の更新を用いたビデオ処理
本発明は、画像シーケンスの処理対象画像の処理中画像領域を形成する第１画素ブロックの動きベクトルを突き止めるビデオ処理方法及び装置に関する。ビデオ処理装置の処理ユニットはそれぞれの画像領域を、次の画像領域に進む前に２度以上処理して第１画素ブロックの動きベクトルを突き止める。これは、画像シーケンスの先行画像内の第２画素ブロックに関して突き止められた少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組の評価により行われる。当該装置は、処理対象画像の画像領域の２度目の処理を行う前に、先行画像内で処理中画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で突き止めた第３画素ブロックの動きベクトルで置き換えて更新する。第１の動き予測パスにて割り当てられた時間的動きベクトル候補を更新することにより、２度目以降の動き予測パス後の動き予測品質が向上される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ処理分野に関し、特に、動き推定の分野に関する。具体的には、本発明は、画像シーケンスに含まれる処理対象画像を形成する複数の第１画素ブロックに関して動きベクトルを突き止めるビデオ処理方法及び装置に関する。
【背景技術】
【０００２】
動き推定（motion estimation；ＭＥ）はビデオ処理において幅広く使用されているタスクである。ＭＥ方法及び装置の１つの種類はブロックマッチングＭＥアルゴリズムを採用している。ブロックマッチングＭＥアルゴリズムは、画像シーケンスの一部を形成する画像の各画素ブロックに関して動きベクトルを突き止めるものである。画素ブロックは画像のｘ及びｙ方向に所定数の画素を有している。動きベクトルは画像シーケンスの内の２つの連続する画像間での画素ブロックの動きを表す。ブロックマッチングＭＥアルゴリズムは、処理対象画像の各画素ブロックに対して画像シーケンスの先行画像内で似通ったブロックを発見することによって、動きベクトルを突き止める。
【０００３】
ＭＥを採用するビデオ処理装置は、例えば飛び越し走査を解除する（De-interlacing）用途や画像レートを高く変換するアップコンバージョン用途のために、テレビ装置にて使用される。ＭＥはまたビデオデータの符号化にも使用される。
【０００４】
現在、家庭用映像装置のディスプレーサイズが増大する傾向にある。高精細テレビ（ＨＤＴＶ）規格はフレーム当たり約２００万画素を必要とする。このようなフレームサイズでＭＥを実行することは困難なタスクとなっているが、フレーム当たり８００万画素という更に大きいサイズへと向かう傾向にある。この画像サイズがプロセッサ、メモリ及び通信技術によって対応されなければならない。
【０００５】
なお、“画像”という用語は、ここでは、画素データによる如何なる画像表示をも含む一般的な意味で使用される。また、“フレーム”及び“フィールド”という用語は、画像それぞれのデジタル表示のために技術的に特定の意味で使用されているが、ここでは“画像”という用語に含まれる。また、これらの用語を僅かに変形した、例えば“フレーム”に代わる“ビデオフレーム”等は、ここでは同一の意味で使用される。
【０００６】
非特許文献１に、ビデオ処理装置の部分システムであるメモリサブシステムの帯域幅を増大させる技術が記載されている。画像フレームは領域群に断片化される。画像の画素データの２レベルバッファリングが提案されている。Ｌ１作業用メモリとも呼ばれる上層（high-level）の作業用メモリ（scratchpad）が、処理対象画像の１つの画像領域と先行画像の対応する画像領域とを保持する。処理対象画像の各画像領域が独立に処理される。Ｌ０作業用メモリとも呼ばれる下層（low-level）の作業用メモリが、動き推定器によって使用されている最新の探索エリアを保持する。この探索エリアは、処理対象画像内の処理中の画像領域及びそれに対応する先行画像の同一位置にある画像領域の画素ブロックを含む画像の部分配列を形成する。動き推定器は多数の動きベクトル候補を検査する。ビデオデータは動きベクトル候補ごとに探索エリアから得られる。
【０００７】
因果関係の問題により、動きベクトル候補は、処理対象画像の画素ブロックからだけではなく、２つの連続する画像から選択される。すなわち、処理対象画像の一部の動きベクトルは、画像領域の特定の第１画素ブロックを処理するときには動きベクトル候補として作用するように利用することができない。このような欠如した動きベクトル候補には、先行画像の対応する第２画素ブロックにより提供される動きベクトルが選択される。先行画像内の第２画素ブロックに関して突き止められた動きベクトル候補は、時間的動きベクトル候補として技術的に知られている。これは、ここでは、時間的候補又は時間的候補ベクトルとも呼ばれる。“対応する”とは、ここでは、時間的動きベクトル候補を提供する画素ブロックの位置が処理対象画像内の画素ブロックの位置と同一であることを意味する。周知の通り、画像内での画素ブロックの位置はマトリックス状の座標によって定義され得る。
【０００８】
領域に基づく領域ベース手法は、ビデオフレームを保持するフレームメモリへの帯域幅要求を緩和させる。これにより、複数のＭＥスキャン（ＭＥパス（pass）とも呼ばれる）を、一般的に動き推定器の外部にある主メモリにアクセスする必要なく、上記領域内で行うことができるようになる。
【０００９】
しかしながら、領域ベースの手法は、領域間の境界でＭＥを実行するときに問題を生じさせる。処理中の領域の外側にあるデータは該領域のＭＥには考慮されないが、このことは品質の低下をもたらす。
【非特許文献１】A.Beric、R.Sethuraman、J.van Meerbergen、G.de Haan、「画像レートアップコンバージョンモジュールのアルゴリズム／アーキテクチャ協調設計（Algorithm／Architecture co-design of a picture-rate up-conversion module）」、Processing of ProRISC conference、2002年11月、p.203-208
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、領域ベースの動き推定の品質を向上させるビデオ処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様に従って提供されるビデオ処理装置は処理ユニットを有し、該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内の第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている。
【００１２】
本発明に従って、各画像領域に対して複数のＭＥパスが実行され、故に、動き推定品質が単一パスのＭＥアルゴリズムに対して向上される。さらに、この実施形態においては、処理中の画像領域の外側に位置するが、先行画像内で対応する位置にあるそれぞれの先行物が時間的動きベクトル候補を提供するために使用される処理対象画像の第２画素ブロックに関して、処理ユニットが動きベクトルを突き止めることを可能にすることにより、領域に基づくＭＥの概念が拡張且つ強化される。先行画像内のこのような画素ブロックは、ここでは、“第３画素ブロック”と呼ばれる。しかしながら、本明細書の用語を単純にするため、“第３画素ブロック”という用語はまた、処理対象画像内の対応する画素ブロックを参照するためにも使用される。当業者に明らかであるように、第３画素ブロックの時間的候補を更新することは、時間的動きベクトル候補を提供する先行画像内の第３画素ブロックと同一位置にある処理対象画像内の画素ブロックの動きベクトルを突き止めることを意味する。
【００１３】
また、厳密に言えば、“処理中の画像領域”は第１画素ブロックだけでなく第３画素ブロックをも含むように解され得る。何故なら、それらもそれぞれの画像領域のＭＥ処理に含められるからである。しかしながら、用語の明瞭性を保つため、“処理中の画像領域”という用語は、ここでは一貫して、第１画素ブロックにより形成される（中核）画像領域のみを含み、付加的に処理される第３画素ブロックにより形成される領域拡張部を含まないものとして使用される。
【００１４】
さらに、本発明は時間的動きベクトル候補を更新することにおいて、時間的動きベクトル候補を更新するために使用され且つ処理中の画像領域の外側に位置する時間的動きベクトル候補群が更新されるという意味での再帰を含まない。
【００１５】
第１のＭＥパスにおける時間的候補をも更新することにより、第２のＭＥパスにおいて領域の境界の影響が抑制され、その結果として、領域に基づくＭＥの品質が向上される。
【００１６】
以下、本発明に係るビデオ処理装置の好適実施形態について説明する。
【００１７】
第１実施形態に従って、処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと動きベクトルを突き止め、且つ同一のスキャン順序を用いて少なくとも２度、処理中の画像領域を処理するように適応されている。スキャン順序の一例は、画像領域の各画素ブロック行内で左から右へ画素ブロックを辿り、そして該画像領域内で上から下へ画素列を辿るものである。数多くの異なるスキャン順序が技術的に知られており、それらの一部は蛇行パターンを有する。
【００１８】
代替的な一実施形態においては、処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと動きベクトルを突き止め、且つ少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、処理中の画像領域を処理するように適応されている。異なるスキャン順序は、好ましくは、画像領域を少なくとも３度にわたって処理するときに使用される。一実施形態において、最初及び最後の動き推定パスは同一であり、動き推定器とその下流に配置される動き補償器との間のバッファメモリを不要にするように、上から下へのスキャン順序に従う。
【００１９】
本発明に係るビデオ処理装置の更なる一実施形態においては、処理ユニットは、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている。
【００２０】
本発明に係るビデオ処理装置は、実行される領域ベースＭＥアルゴリズムの集合化（convergence）処理において画像の異なる部分を含めることを可能にする。従ってこれにより、動き推定のための隣接し合う画像領域間の境界が固定されたものではなくなる。
【００２１】
この実施形態は、処理中の画像から後続の画像へと動き推定を進めるときに、画像の区画を形成する画像領域のアスペクト比を変更するという概念に基づくものである。画像領域の画素ブロックを共有する第１の数の画素ブロック行と第２の数の画素ブロック列との比が、画像領域のアスペクト比を定める。
【００２２】
画像当たりの画像領域数を変化させることなく画像領域のアスペクト比を変更することにより、画像内の各画像領域の面積は一定のままとなる。変更されるのは、画素ブロック行についての第１の数と画素ブロック列についての第２の数だけである。
【００２３】
この実施形態により、ビデオ処理装置の出力において、隣接し合う画像領域間にはもはや目立った境界の形跡が現れないという効果が得られる。この実施形態に係るビデオ処理装置は、故に、領域に基づく動き推定アルゴリズムを実行する装置と、所謂“全探索”アルゴリズムを実行する装置との間の動き推定品質の差を減少させることを可能にする。全探索アルゴリズムは、個々の第１画素ブロックの動きベクトルを決定するために画像の全ての画素ブロックをスキャンする。全探索ＭＥアルゴリズムにおいては領域間の境界の問題は発生しないが、このアルゴリズムは低速且つ非効率であるため、ビデオ処理装置への実装には好ましくない。
【００２４】
更なる一実施形態において、処理ユニットは断片化ユニットを有し、該断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている。
【００２５】
メモリの帯域幅要求を最小化することは、使用されるアスペクト比の選択に大きく影響を及ぼす設計上の制約である。使用されるアスペクト比の選択は更に、このビデオ処理装置が使用されるビデオ用途を視野に入れて為されるべきである。一部のビデオ処理用途においては、画像領域が１つの探索エリアの高さ若しくは幅、又は更にはそれ未満、のみをカバーすることになるようなアスペクト比を選択することは実用的でない。好ましくは、ＭＥ用途での画像領域のアスペクト比は、処理中の画像領域に含まれる第１及び第３画素ブロック群に関して動きベクトルを決定するために必要な探索エリアを含むことができるよう、ｘ方向及びｙ方向の双方に十分大きく選択されるべきである。これについては、図面を参照しながら、他の一実施形態との関連の下で一層詳細に後述する。
【００２６】
なお、アスペクト比の決定は、一実施形態において、Ｌ１作業用メモリに取り込まれた部分配列を共有する画素ブロック行及び列の数に基づく。これは、当然ながら、ｘ及びｙ方向への探索エリアの拡張、及び処理中の画素ブロックのそれぞれの時間的動きベクトル候補の相対位置が与えられると、画像領域のアスペクト比を暗に定めることになる。
【００２７】
他の用途においては、しかしながら、１つの探索エリアの高さ又は幅のみをカバーするアスペクトが実用的なこともある。このような大きさ及びアスペクト比を形成する画像領域は、例えば、画像レートのアップコンバージョン用途にて使用され得る。
【００２８】
更なる一実施形態において、断片化ユニットは、アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている。
【００２９】
更なる一実施形態においては、断片化ユニットは、画像シーケンスのビデオフォーマットに応じて、画像当たりの画像領域数を設定するように適応されている。
【００３０】
本発明に係るビデオ処理装置の更なる一実施形態は、
処理ユニットに接続された上層作業用メモリ、及び
前記処理ユニット及び前記上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を前記外部画像メモリから前記上層作業用メモリに取り込むように適応され、且つ前記部分配列の各々は少なくとも、処理中の画像領域全体に及んでいる、メモリ制御ユニット、
を有する。
【００３１】
背景技術として上述されたように、作業用メモリ型のメモリに画像領域をバッファリングすることにより、本発明に従ってビデオ処理装置と、処理対象画像の完全な画素データセットを格納する主メモリとの間のデータバスの帯域幅要求が緩和される。これにより、主メモリへの更なるアクセスを必要とすることなく、画像領域当たり複数のＭＥスキャンを実行することが可能になる。
【００３２】
本発明の更なる一実施形態において、処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１画素ブロックの動きベクトルを、該第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められるそれぞれの第４画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている。この実施形態は特有のブロックマッチングＭＥ法を実行する。選択される動きベクトル候補を有する画素ブロックは、典型的に、処理中の第１画素ブロックに対して定められた位置に位置付けられる。一実施形態において、処理ユニットは異なる動きベクトル候補の組を使用するために、これらの画素ブロックの位置を変更するように適応されている。
【００３３】
好適な一実施形態において、動きベクトル候補は上述の時間的候補と、空間的動きベクトル候補としての空間的候補とを有する。空間的候補ベクトルは、典型的に処理中の第１画素ブロックに空間的に直接隣接するものを形成する画素ブロックに関して既に突き止められている動きベクトルである。
【００３４】
更なる一実施形態において、処理ユニットは、それぞれの第１画素ブロックの動きベクトルを、処理対象画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている。
【００３５】
更なる一実施形態において、メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００３６】
本発明に係るビデオ処理装置の更なる一実施形態においては、メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。
【００３７】
この実施形態において使用される領域サイズの拡大は、好ましくは、時間的動きベクトルを提供し且つ処理中の画像領域の外側に位置する第３画素ブロックから、該画像領域の端部にあるそれぞれの処理中の第１画素ブロックまでの距離によって決定される。説明のための例については図２ａ及び２ｂを参照して後述する。
【００３８】
更なる一実施形態において、ビデオ処理装置は、処理ユニットと上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された下層作業用メモリを有する。
【００３９】
好ましくは、メモリ制御ユニットは上層キャッシュメモリから下層キャッシュメモリへと最新の探索エリアを取り込むように適応されている。
【００４０】
ビデオ処理装置の更なる一実施形態においては、処理ユニットは、動き推定器に接続され且つ空間的候補ベクトル及び時間的候補ベクトルを含む予測メモリを有する。処理ユニットは、好ましくは、それぞれの第１画素ブロックに関して突き止められたそれぞれの動きベクトルを予測メモリに格納し、場合により、以前に格納された該それぞれの第１画素ブロック又は第３画素ブロックの動きベクトルを更新するように適応されている。
【００４１】
本発明の第２の態様に従って提供されるビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する。
【００４２】
本発明の第２の態様に係るビデオ処理方法の特徴及び効果は、本発明の第１の態様に係るビデオ処理装置を参照して上述されたものと一致する。
【００４３】
以下、本発明に係るビデオ処理方法の好適実施形態について説明する。本発明に係る方法の実施形態は本発明に係る処理装置の実施形態に対応するものであるので、ここでは詳細には説明しないこととする。本発明の第１の態様に係るビデオ処理装置の実施形態についての上述の記載が参照される。
【００４４】
なお、特に断らない限り、本発明に係るビデオ処理方法の実施形態群は相互に組み合わされることができる。
【００４５】
本発明に係るビデオ処理方法の一実施形態において、複数の第１画素ブロックの動きベクトルを突き止める段階は、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと実行される。処理中の画像領域の少なくとも２つのパスが同一のスキャン順序を用いて実行される。代替的な一実施形態においては、少なくとも３つのパスが少なくとも２つの相異なるスキャン順序を用いて実行される。
【００４６】
他の一実施形態において、本発明に係るビデオ処理方法は、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する。
【００４７】
更なる一実施形態において、本発明に係るビデオ処理方法は、
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する。
【００４８】
アスペクト比を突き止める段階は、一実施形態において、画像当たりの所与の画像領域数を複数の因数に因数分解し、この複数の因数を２つにグループ分けし、且つ各グループの因数の部分積を計算して１つの画像領域を共有する画素ブロック行及び画素ブロック列の数を取得し、それによりアスペクト比を定めることを有する。一実施形態において、異なるアスペクト比を得るためにグループは変更される。
【００４９】
更なる一実施形態において、画像当たりの画像領域数は、アスペクト比の組が少なくとも所定数の項目を含むように選定される。
【００５０】
更なる一実施形態において、本発明に係るビデオ処理方法は、２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、部分配列の各々は少なくとも、処理中の画像領域を含んでいる、取り込む段階を有する。
【００５１】
本発明に係るビデオ処理方法の他の一実施形態において、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる画素ブロックとの間の画素ブロック類似性を評価することを有する。
【００５２】
好ましくは、それぞれの第１画素ブロックの動きベクトルを突き止める段階において、空間的候補ベクトルをも含むそれぞれの候補動きベクトルが用いられる。
【００５３】
本発明に係るビデオ処理方法の更なる一実施形態においては、それぞれの動きベクトルは処理中の画像領域の第１画素ブロックを所定のスキャン順序でスキャンすることによって突き止められる。
【００５４】
本発明に係るビデオ処理方法の更なる一実施形態においては、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する。
【００５５】
本発明に係るビデオ処理方法の更なる一実施形態においては、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の分だけ処理中の画像領域を超えて延在する画像の部分配列が上層作業用メモリに取り込まれる。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００５６】
本発明に係るビデオ処理方法の更なる一実施形態においては、２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを、下層作業用メモリに取り込む段階が実行される。下層作業用メモリは処理ユニットと上層作業用メモリとの間に配置される。本発明に係るビデオ処理方法の更なる一実施形態においては、メモリ制御ユニットは外部画像メモリにアクセスする必要なく、最新の探索エリアを上層キャッシュメモリから下層キャッシュメモリに取り込むように適応されている。
【００５７】
本発明に係るビデオ処理方法の一実施形態においては、それぞれの第１画素ブロックに関して突き止められた動きベクトルを予測メモリに格納する段階が実行され、それにより、予測メモリが該画素ブロックに以前に割り当てられた動きベクトルを含んでいる場合、該それぞれの第１画素ブロックに関する以前に格納された動きベクトルが更新される。
【００５８】
本発明に係るビデオ処理方法の他の一実施形態においては、処理中の画像領域の外側に位置するそれぞれの第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、上層作業用メモリに取り込まれる。
【００５９】
本発明の第３の態様は、ビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するコードを格納したデータ媒体により構成され、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する。
【００６０】
本発明の第３の態様に係るデータ媒体の様々な実施形態においては、コンピュータコードは、本発明の第２の態様に係るビデオ処理方法のそれぞれの実施形態を実行するプログラム可能プロセッサの動作を制御するように適応されている。
【発明を実施するための最良の形態】
【００６１】
以下、添付図面を参照しながら本発明に係るビデオ処理方法及び装置の更なる実施形態について説明する。
【００６２】
図１は、外部フレームメモリ102に接続されたビデオ処理装置100のブロック図を示している。ビデオ処理装置100は、好ましくは、特定用途向け命令セットプロセッサ（ＡＳＩＰ）の形態で実装される。ＡＳＩＰにより、ビデオ処理アルゴリズムの柔軟で低コスト且つ低消費電力の実装が提供される。
【００６３】
ビデオ処理装置100のその他の実施形態は、特定用途向け集積回路（ＡＳＩＣ）、又はビデオ処理アプリケーションがソフトウェアにより実行される汎用プログラム可能プロセッサの形態をとる。しかしながら、ＡＳＩＣの柔軟性の欠如、及び汎用プログラム可能プロセッサの低速性により、テレビセット等の家庭用電子機器における商業的用途の目的では、ＡＳＩＰ実装が最も有利であると思われる。ビデオ処理装置100の処理ユニット104は動き推定器106を有している。異なる実施形態においては、更なる処理部108が処理ユニット104に含まれていてもよい。処理部108は動き補償器としてもよい。処理ユニット104は更に断片化ユニット110を含んでいる。
【００６４】
ビデオ処理装置100は更に、上層（high-level）の作業用メモリ（scratchpad）114、下層（low-level）の作業用メモリ116及びメモリ制御器118を有するメモリサブシステム112を含んでいる。メモリサブシステム112は処理ユニット104と接続されており、また、外部フレームメモリ102との接続用のインターフェースを有している。
【００６５】
Ｌ１作業用メモリとも呼ばれる上層作業用メモリ114は２つの部分114.1及び114.2に分割されており、各々の部分は主メモリ102の対応するメモリ部分102.1及び102.2に格納された画像の１つの部分配列を格納するメモリ容量を有している。
【００６６】
下層作業用メモリ116もまた２つの部分116.1及び116.2に分割されている。各作業用メモリ部分の記憶容量は、図２ａ及び２ｂを参照して一層詳細に説明されるように、処理中の画素ブロックの動きベクトルを取得するために動き推定器106によって使用される探索エリアに適合するように選定される。下層作業用メモリ116はまたＬ０作業用メモリとも呼ばれる。メモリ制御器118はＬ１及びＬ０作業用メモリ114及び116に接続されており、外部メモリ102から動き推定器106への画像データの流れを制御する。一実施形態において、メモリ制御器118の制御動作は、後述されるように、動き推定器106及び断片化ユニット110から受け取られる制御データに依存する。
【００６７】
図１に示された実施形態においては、メモリサブシステム112は更に、動き推定器106によって突き止められた動きベクトルを一時的に格納する予測メモリ120を有している。
【００６８】
動作中、主メモリ102のメモリ部分102.1及び102.2に格納された２つの連続する画像が、処理対象画像の各画素ブロックの動きベクトルを決定するために使用される。説明のため、メモリ部分102.2は処理対象画像を格納し、メモリ部分102.1は画像シーケンスにおいて部分102.2に格納された画像の直前の画像を格納していると仮定する。
【００６９】
メモリ制御器118は、主メモリ102に格納された画像対の同一位置にある部分配列をＬ１作業用メモリ114に取り込む。部分配列の大きさは図２ａ及び２ｂを参照して詳細に説明される。さらに、メモリ制御器118はＬ１作業用メモリ部分114.1及び114.2に格納された双方の部分配列の最新の探索エリアをＬ０作業用メモリ部分116.1及び116.2に取り込む。
【００７０】
動き推定器106はＬ０作業用メモリ部分116.1及び116.2に格納された探索エリアを用いて、主メモリ102.2に格納されたビデオ画像の処理中の画素ブロックに関する動きベクトルを突き止める。動き推定器106の動作は図２ａ及び２ｂを参照して一層詳細に説明される。
【００７１】
処理ユニット104に含まれる断片化ユニット110は、メモリ制御器118及び動き推定器106への制御データを提供する。この制御データは、動き推定器106によって実行される動き推定アルゴリズムにより順々に処理される画像領域群のアスペクト比について、メモリ制御器118及び動き推定器106に知らせる。メモリ制御器118は断片化ユニット110から受け取った制御データを用いて、Ｌ１作業用メモリ114に取り込まれるべき主メモリ102に格納された画像の部分配列の大きさを決定する。動き推定器106は断片化ユニット110から受け取った制御データを用いて、処理中の画像領域の一部として処理されるべき画素ブロックの座標を決定する。断片化ユニット110から受け取られた制御データは、画像領域の動き推定パスが完了する時点について動き推定器106に知らせる。
【００７２】
ビデオ処理装置100は動き推定装置である。しかしながら、動き推定は、例えばノイズ低減のための動き補償フィルタリング、符号化のための動き補償推定、及びビデオフォーマット変換のための動き補償補間などの様々なビデオ処理タスクにて使用されるものである。応用目的に依存して、ビデオ処理装置100は更に複雑なビデオ処理装置の一部を形成するものであってもよい。動き補償器108を有する一実施形態においては、動き推定器106によって突き止められた動きベクトルは、更なる処理のために動き補償器108への入力として提供される。動き補償器108は、これが必要に応じて付加されるものであることを指し示すために破線で図示されている。動きベクトルを入力として使用するその他のタスクを実行する処理部が、動き補償器108を置き換えてもよい。
【００７３】
次に、ビデオ処理装置100の動作の更なる詳細について、図２ａ及び２ｂを参照して説明する。なお、図２ａ及び２ｂは本発明に係るビデオ処理方法の相異なる実施形態を説明するための図でもある。
【００７４】
図２ａは、画素ブロック群にグループ化された画素の配列により形成されるビデオフレーム200を示している。図２ａには画素ブロック群のみが示されている。それらの境界は図２ａにおいて格子で表されている。画素ブロックの１つの例に参照符号202が付されている。画素ブロックはビデオフレーム200の例えば８×８の部分配列を含んでいてもよい。
【００７５】
動き推定器106は、ビデオフレーム200の各画素ブロックに関する動きベクトルを突き止めるように適応されている。動き推定器106は領域ベース動き推定アルゴリズムを実行する。すなわち、動きベクトルは、画像200の部分配列を形成する処理中の画像領域の画素ブロック群に対して順々に突き止められる。図２ａにおいて、隣接し合う画像領域間の境界は太線で表示されている。画像200は２４個の画像領域200.1乃至200.24に断片化されている。説明のためのこの実施例においては、各画像領域はｘ方向に６画素ブロック、ｙ方向に４画素ブロックを含んでいる。現実の応用においては、画像領域当たりの画素ブロック数は遙かに大きくなり得る。
【００７６】
画像領域を処理する際、動き推定器106は所定のスキャン順序に従って処理中の画像領域の画素ブロック毎に処理を進める。１つの画像領域に含まれる画素ブロック群は、ここでは、第１画素ブロック群とも呼ばれる。処理中の画素ブロックＣの動きベクトルを突き止める際、画素ブロックＣをほぼ中心とするそれぞれの探索エリアが使用される。探索エリアの２つの例が、参照符号204及び206が付された破線の境界線により図示されている。探索エリア204及び206は、ｘ及びｙ方向に所定の広がりを有する画像200の部分配列を形成する。この例においては、探索エリアは３×３の画素ブロックを有している。商用装置にて使用される探索エリアの他の一例は、９画素ブロック行×５画素ブロック列から成る。
【００７７】
図２ａに示されているように、処理中の画素ブロックＣの各々は、該画素ブロックＣの動きベクトルを決定するために使用される個々の探索エリアを有している。
【００７８】
探索エリア206の例は、或る画像領域の端部にある画素ブロックの探索エリアは、それぞれの画像領域を超えて延在することを示している。探索エリア206の場合、探索エリア206の中心の画素ブロックのように端部にある画素ブロック群に関して、それらの動きベクトル群を突き止めるのに必要な全ての探索エリアをカバーするためには、画像領域200.2の右の１つの画素ブロック列及び画像領域200.2の下の１つの画素ブロック行から取られた多数の画素ブロック群が必要とされる。本発明の一実施形態においては、画像領域200.2の画素ブロック群に加えて画素ブロック行208及び画素ブロック列210の対応する部分が主メモリ102から取り込まれる。この実施形態においてＬ１作業用メモリ114に取り込まれる画像200の完全な部分配列は、画像領域200.2及び画像領域200.14を例として、点線212によって図示されている。画像領域200.14は画像200の中央部に位置しており、画像領域200.2は端部に位置している。
【００７９】
動きベクトルを突き止めるため、好ましくは３次元再帰探索式動き推定アルゴリズムが用いられる。このアルゴリズムは技術的に周知であり、ここでは３ＤＲＳ式ＭＥアルゴリズムと呼ぶ。これ及び類似のアルゴリズムに従って、一組の候補動きベクトルを用いて処理中の画素ブロックの動きベクトルが突き止められる。この一組の候補動きベクトルは、図２ａにおいてＳ１及びＳ２が付された処理対象画像の最近処理された画素ブロックの空間的動きベクトル候補を含んでいる。さらに、時間的な動きベクトル候補が用いられる。どの画素ブロックの時間的動きベクトル候補が用いられるかは、図２ａ及び２ｂに示された探索エリア204、206、及び304、306内の参照符号Ｔで示されている。
【００８０】
どのような位置の画素ブロックの空間的及び時間的動きベクトル候補が使用されるかは、処理中の画素ブロックＣそれぞれに関連して事前設定される。図２ａの例に図示されているように、２つの空間的動きベクトル候補は、処理中の画素ブロックの１ブロック上に位置する画素ブロックＳ１及び１ブロック左に位置する画素ブロックＳ２から選択される。時間的動きベクトル候補は、処理中の画素ブロックＣの１ブロック下且つ１ブロック右に位置する先行画像の画素ブロックＴから用いられる。先の記述において、画素ブロックＴは概して第２画素ブロックと呼ばれている。一実施形態において、第２画素ブロックＴの相対位置は、例えば相異なるビデオ処理アプリケーションのために、動き推定器106が相異なる相対位置を使用できるように調整可能である。
【００８１】
ここで一層詳細に説明する好適な一実施形態においては、時間的動きベクトル候補は、処理中の領域の外側に位置する画素ブロックＴから選択され、これはまた更新される。これらの画素ブロックは、ここでは、第３画素ブロックと呼ばれる。この実施形態で典型的な状況は、画像領域200.2の右下のコーナー部に位置する処理中の画素ブロック214に関する探索エリア206により表されている。処理中の画素ブロック10の画素ブロック214に関する動きベクトルを突き止めるために使用される時間的候補Ｔは、先行画像の画素ブロック216から取られる。故に、画素ブロック216は第３画素ブロックを形成する。この実施形態によれば、画素ブロック216の動きベクトルは、画像領域200.2に含まれる全ての第１画素ブロックに対してと同様にして突き止められる。斯くして、画像領域200.2の第２の動きベクトルパスにおいて画素ブロック214を処理するために、更新された動きベクトル候補が使用されることが可能である。これにより、領域に基づく動き推定の品質が更に向上される。
【００８２】
先行画像の第３画素ブロックから取られ、且つ処理中の画像領域の外側に位置する時間的候補ベクトルを更新するため、画像200の拡大された部分配列がＬ１作業用メモリ114に取り込まれる（拡大された部分配列は図２ａにおいて一点鎖線218により標されている）。この拡大された部分配列の第２の例は、画像領域200.14に関して参照符号218’で示されている。拡大された部分配列218、218’は、それぞれの画像領域の外側に位置する画素ブロック群の時間的動きベクトルを更新するために必要とされる、すなわち、言い換えれば、時間的候補をそれぞれの空間的動きベクトル候補で置き換えるために必要とされる、全ての探索エリアを含んでいる。故に、部分配列218、218’の大きさは、処理中の画素ブロックＣに関する時間的動きベクトル候補を提供する第３画素ブロック（例えば、画素ブロック216）の位置に依存する。処理中の画素ブロックＣから更に離れた第３画素ブロックから時間的動きベクトル候補が取られる場合、より多くの数の画素ブロック行及び／又は画素ブロック列の部分がＬ１作業用メモリ114に取り込まれる。
【００８３】
画像フレーム200は、故に、上述の実施形態の何れかに従って、画像200の画像領域200.1乃至200.24に含まれる全ての画素ブロックに対して動きベクトルが突き止められるまで画像領域ごとに処理される。
【００８４】
各画像領域200.1乃至200.24の画素ブロックの行数と列数との間の比は、画像領域のアスペクト比を規定する。この実施例においては、アスペクト比は４／６、すなわち、0.66である。
【００８５】
画像当たりの画像領域が２４個という典型的な数を考えると、一実施形態における断片化ユニット110は、様々なアスペクト比の値を突き止めるために、この数を素数に因数分解する。周知の通り、２４＝１×２×２×２×３である。これにより、素数を２つの因数にグループ化することが可能であり、ｘ方向に１画像領域×ｙ方向に２４画像領域、２４×１、２×１２、１２×２、３×８、８×３、４×６及び６×４という、ｘ及びｙ方向における画像領域の取り得る組み合わせが定められる。断片化ユニット110を可能な限り柔軟なものとするため、画像当たりの画像領域数は可能な限り因数分解できるように選定されるべきである。
【００８６】
本発明のこの好適実施形態に従って、処理対象の画像シーケンスにおける次の画像（図２ｂ）の動きベクトルを突き止めることに切り替える前に、断片化ユニット110は動き推定器106及びメモリ制御器118に、画像300を処理するために異なるアスペクト比の画像領域を使用するように指示する。図２ｂに示されるように、この実施例にて使用されるアスペクト比は、画像200に使用されたアスペクト比の逆数である６／４、すなわち、1.5である。このアスペクト比は、画像300の画像領域の数が画像200の画像領域の数と比較して不変であるように選定される。連続する画像の双方は２４個の画像領域を含んでいる。
【００８７】
メモリ制御器118は、故に、異なる部分配列をＬ１作業用メモリ114に取り込む。説明のため、探索エリア304及び306が示されている。探索エリア304は探索エリア204に正確に一致している。探索エリア306は探索エリア206と類似の状況を示しているが、対応する処理中の画素ブロック314の位置は、処理画像300に使用されるアスペクト比の変化に起因して、画素ブロック214の位置とは異なっている。その結果、部分配列312、312’及び318、318’は、対応する画像領域300.3及び300.15の位置及びアスペクト比に従って異なっている。
【００８８】
以上の部分は、主に説明目的で用いられる画像サイズに基づいていた。以下の好適な実施形態は、標準精細度テレビ（ＳＤＴＶ）及び高精細度テレビ（ＨＤＴＶ）規格に準拠したビデオシーケンスを処理するために上述の実施形態を基礎として使用されるものである。
【００８９】
ＳＤＴＶにおいては、画像サイズは720×576画素であり、これは今日の欧州における大抵のテレビセットで使用されている解像度である。全体で、画像は３５個の画像領域に断片化される。２つの相異なるアスペクト比が使用される。この場合の好適な画素ブロックサイズは８×８画素である。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズの１つは、２５×１４画素ブロックである。２つの好適な部分配列のアスペクト比は２５／１４及び１４／２５である。隣接し合う部分配列の重なりのため、これは水平方向に５個、垂直方向の７個の画像領域が存在することを意味する。探索エリアの大きさは９×５ブロックである。
【００９０】
ＨＤＴＶにおいては、画像サイズは1920×1080画素である。好適な画素ブロックサイズは８×８画素である。一実施形態において、画像当たり全体で２０個の画像領域が使用される。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズは６６×３１画素ブロックであり、これは水平方向に４個、垂直方向の５個の画像領域が存在することを意味する。２つの好適な部分配列のアスペクト比は６６／３１及び３１／６６である。この場合も、これらは隣接し合う部分配列間の重なりを考慮に入れたアスペクト比に相当している。探索エリアの大きさは９×５ブロックである。
【００９１】
領域の大きさを決定するに際しては、過大な数の画像領域とならないように注意すべきある。何故なら、多数だとＭＥ品質を低下させるからである。他方、過小な数の画像領域は、画像領域の大きさを問題となる程度に大きくさせてしまう。何故なら、Ｌ１作業用メモリと外部画像メモリとの間の接続に対する帯域幅要求が増大するからである。画像領域の大きさは更に、全ての画像領域の大きさが少なくともほぼ等しくされ得るように選定されるべきである。このとき、Ｌ１作業用メモリに取り込まれる部分配列が隣接し合う部分配列間で重なりを有するため、探索エリアの大きさを考慮する必要がある。
【００９２】
相異なるアスペクト比を使用することにより、動き推定の品質が大きく向上される。何故なら、動き推定器106の出力、ひいては、動き推定器106の下流に配置された動き補償器108の出力において、画像領域の境界の全ての形跡が実質的に除去されるからである。
【図面の簡単な説明】
【００９３】
【図１】ビデオ処理装置の好適な一実施形態を示すブロック図である。
【図２ａ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【図２ｂ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【技術分野】
【０００１】
本発明はビデオ処理分野に関し、特に、動き推定の分野に関する。具体的には、本発明は、画像シーケンスに含まれる処理対象画像を形成する複数の第１画素ブロックに関して動きベクトルを突き止めるビデオ処理方法及び装置に関する。
【背景技術】
【０００２】
動き推定（motion estimation；ＭＥ）はビデオ処理において幅広く使用されているタスクである。ＭＥ方法及び装置の１つの種類はブロックマッチングＭＥアルゴリズムを採用している。ブロックマッチングＭＥアルゴリズムは、画像シーケンスの一部を形成する画像の各画素ブロックに関して動きベクトルを突き止めるものである。画素ブロックは画像のｘ及びｙ方向に所定数の画素を有している。動きベクトルは画像シーケンスの内の２つの連続する画像間での画素ブロックの動きを表す。ブロックマッチングＭＥアルゴリズムは、処理対象画像の各画素ブロックに対して画像シーケンスの先行画像内で似通ったブロックを発見することによって、動きベクトルを突き止める。
【０００３】
ＭＥを採用するビデオ処理装置は、例えば飛び越し走査を解除する（De-interlacing）用途や画像レートを高く変換するアップコンバージョン用途のために、テレビ装置にて使用される。ＭＥはまたビデオデータの符号化にも使用される。
【０００４】
現在、家庭用映像装置のディスプレーサイズが増大する傾向にある。高精細テレビ（ＨＤＴＶ）規格はフレーム当たり約２００万画素を必要とする。このようなフレームサイズでＭＥを実行することは困難なタスクとなっているが、フレーム当たり８００万画素という更に大きいサイズへと向かう傾向にある。この画像サイズがプロセッサ、メモリ及び通信技術によって対応されなければならない。
【０００５】
なお、“画像”という用語は、ここでは、画素データによる如何なる画像表示をも含む一般的な意味で使用される。また、“フレーム”及び“フィールド”という用語は、画像それぞれのデジタル表示のために技術的に特定の意味で使用されているが、ここでは“画像”という用語に含まれる。また、これらの用語を僅かに変形した、例えば“フレーム”に代わる“ビデオフレーム”等は、ここでは同一の意味で使用される。
【０００６】
非特許文献１に、ビデオ処理装置の部分システムであるメモリサブシステムの帯域幅を増大させる技術が記載されている。画像フレームは領域群に断片化される。画像の画素データの２レベルバッファリングが提案されている。Ｌ１作業用メモリとも呼ばれる上層（high-level）の作業用メモリ（scratchpad）が、処理対象画像の１つの画像領域と先行画像の対応する画像領域とを保持する。処理対象画像の各画像領域が独立に処理される。Ｌ０作業用メモリとも呼ばれる下層（low-level）の作業用メモリが、動き推定器によって使用されている最新の探索エリアを保持する。この探索エリアは、処理対象画像内の処理中の画像領域及びそれに対応する先行画像の同一位置にある画像領域の画素ブロックを含む画像の部分配列を形成する。動き推定器は多数の動きベクトル候補を検査する。ビデオデータは動きベクトル候補ごとに探索エリアから得られる。
【０００７】
因果関係の問題により、動きベクトル候補は、処理対象画像の画素ブロックからだけではなく、２つの連続する画像から選択される。すなわち、処理対象画像の一部の動きベクトルは、画像領域の特定の第１画素ブロックを処理するときには動きベクトル候補として作用するように利用することができない。このような欠如した動きベクトル候補には、先行画像の対応する第２画素ブロックにより提供される動きベクトルが選択される。先行画像内の第２画素ブロックに関して突き止められた動きベクトル候補は、時間的動きベクトル候補として技術的に知られている。これは、ここでは、時間的候補又は時間的候補ベクトルとも呼ばれる。“対応する”とは、ここでは、時間的動きベクトル候補を提供する画素ブロックの位置が処理対象画像内の画素ブロックの位置と同一であることを意味する。周知の通り、画像内での画素ブロックの位置はマトリックス状の座標によって定義され得る。
【０００８】
領域に基づく領域ベース手法は、ビデオフレームを保持するフレームメモリへの帯域幅要求を緩和させる。これにより、複数のＭＥスキャン（ＭＥパス（pass）とも呼ばれる）を、一般的に動き推定器の外部にある主メモリにアクセスする必要なく、上記領域内で行うことができるようになる。
【０００９】
しかしながら、領域ベースの手法は、領域間の境界でＭＥを実行するときに問題を生じさせる。処理中の領域の外側にあるデータは該領域のＭＥには考慮されないが、このことは品質の低下をもたらす。
【非特許文献１】A.Beric、R.Sethuraman、J.van Meerbergen、G.de Haan、「画像レートアップコンバージョンモジュールのアルゴリズム／アーキテクチャ協調設計（Algorithm／Architecture co-design of a picture-rate up-conversion module）」、Processing of ProRISC conference、2002年11月、p.203-208
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、領域ベースの動き推定の品質を向上させるビデオ処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様に従って提供されるビデオ処理装置は処理ユニットを有し、該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内の第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている。
【００１２】
本発明に従って、各画像領域に対して複数のＭＥパスが実行され、故に、動き推定品質が単一パスのＭＥアルゴリズムに対して向上される。さらに、この実施形態においては、処理中の画像領域の外側に位置するが、先行画像内で対応する位置にあるそれぞれの先行物が時間的動きベクトル候補を提供するために使用される処理対象画像の第２画素ブロックに関して、処理ユニットが動きベクトルを突き止めることを可能にすることにより、領域に基づくＭＥの概念が拡張且つ強化される。先行画像内のこのような画素ブロックは、ここでは、“第３画素ブロック”と呼ばれる。しかしながら、本明細書の用語を単純にするため、“第３画素ブロック”という用語はまた、処理対象画像内の対応する画素ブロックを参照するためにも使用される。当業者に明らかであるように、第３画素ブロックの時間的候補を更新することは、時間的動きベクトル候補を提供する先行画像内の第３画素ブロックと同一位置にある処理対象画像内の画素ブロックの動きベクトルを突き止めることを意味する。
【００１３】
また、厳密に言えば、“処理中の画像領域”は第１画素ブロックだけでなく第３画素ブロックをも含むように解され得る。何故なら、それらもそれぞれの画像領域のＭＥ処理に含められるからである。しかしながら、用語の明瞭性を保つため、“処理中の画像領域”という用語は、ここでは一貫して、第１画素ブロックにより形成される（中核）画像領域のみを含み、付加的に処理される第３画素ブロックにより形成される領域拡張部を含まないものとして使用される。
【００１４】
さらに、本発明は時間的動きベクトル候補を更新することにおいて、時間的動きベクトル候補を更新するために使用され且つ処理中の画像領域の外側に位置する時間的動きベクトル候補群が更新されるという意味での再帰を含まない。
【００１５】
第１のＭＥパスにおける時間的候補をも更新することにより、第２のＭＥパスにおいて領域の境界の影響が抑制され、その結果として、領域に基づくＭＥの品質が向上される。
【００１６】
以下、本発明に係るビデオ処理装置の好適実施形態について説明する。
【００１７】
第１実施形態に従って、処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと動きベクトルを突き止め、且つ同一のスキャン順序を用いて少なくとも２度、処理中の画像領域を処理するように適応されている。スキャン順序の一例は、画像領域の各画素ブロック行内で左から右へ画素ブロックを辿り、そして該画像領域内で上から下へ画素列を辿るものである。数多くの異なるスキャン順序が技術的に知られており、それらの一部は蛇行パターンを有する。
【００１８】
代替的な一実施形態においては、処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと動きベクトルを突き止め、且つ少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、処理中の画像領域を処理するように適応されている。異なるスキャン順序は、好ましくは、画像領域を少なくとも３度にわたって処理するときに使用される。一実施形態において、最初及び最後の動き推定パスは同一であり、動き推定器とその下流に配置される動き補償器との間のバッファメモリを不要にするように、上から下へのスキャン順序に従う。
【００１９】
本発明に係るビデオ処理装置の更なる一実施形態においては、処理ユニットは、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている。
【００２０】
本発明に係るビデオ処理装置は、実行される領域ベースＭＥアルゴリズムの集合化（convergence）処理において画像の異なる部分を含めることを可能にする。従ってこれにより、動き推定のための隣接し合う画像領域間の境界が固定されたものではなくなる。
【００２１】
この実施形態は、処理中の画像から後続の画像へと動き推定を進めるときに、画像の区画を形成する画像領域のアスペクト比を変更するという概念に基づくものである。画像領域の画素ブロックを共有する第１の数の画素ブロック行と第２の数の画素ブロック列との比が、画像領域のアスペクト比を定める。
【００２２】
画像当たりの画像領域数を変化させることなく画像領域のアスペクト比を変更することにより、画像内の各画像領域の面積は一定のままとなる。変更されるのは、画素ブロック行についての第１の数と画素ブロック列についての第２の数だけである。
【００２３】
この実施形態により、ビデオ処理装置の出力において、隣接し合う画像領域間にはもはや目立った境界の形跡が現れないという効果が得られる。この実施形態に係るビデオ処理装置は、故に、領域に基づく動き推定アルゴリズムを実行する装置と、所謂“全探索”アルゴリズムを実行する装置との間の動き推定品質の差を減少させることを可能にする。全探索アルゴリズムは、個々の第１画素ブロックの動きベクトルを決定するために画像の全ての画素ブロックをスキャンする。全探索ＭＥアルゴリズムにおいては領域間の境界の問題は発生しないが、このアルゴリズムは低速且つ非効率であるため、ビデオ処理装置への実装には好ましくない。
【００２４】
更なる一実施形態において、処理ユニットは断片化ユニットを有し、該断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている。
【００２５】
メモリの帯域幅要求を最小化することは、使用されるアスペクト比の選択に大きく影響を及ぼす設計上の制約である。使用されるアスペクト比の選択は更に、このビデオ処理装置が使用されるビデオ用途を視野に入れて為されるべきである。一部のビデオ処理用途においては、画像領域が１つの探索エリアの高さ若しくは幅、又は更にはそれ未満、のみをカバーすることになるようなアスペクト比を選択することは実用的でない。好ましくは、ＭＥ用途での画像領域のアスペクト比は、処理中の画像領域に含まれる第１及び第３画素ブロック群に関して動きベクトルを決定するために必要な探索エリアを含むことができるよう、ｘ方向及びｙ方向の双方に十分大きく選択されるべきである。これについては、図面を参照しながら、他の一実施形態との関連の下で一層詳細に後述する。
【００２６】
なお、アスペクト比の決定は、一実施形態において、Ｌ１作業用メモリに取り込まれた部分配列を共有する画素ブロック行及び列の数に基づく。これは、当然ながら、ｘ及びｙ方向への探索エリアの拡張、及び処理中の画素ブロックのそれぞれの時間的動きベクトル候補の相対位置が与えられると、画像領域のアスペクト比を暗に定めることになる。
【００２７】
他の用途においては、しかしながら、１つの探索エリアの高さ又は幅のみをカバーするアスペクトが実用的なこともある。このような大きさ及びアスペクト比を形成する画像領域は、例えば、画像レートのアップコンバージョン用途にて使用され得る。
【００２８】
更なる一実施形態において、断片化ユニットは、アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている。
【００２９】
更なる一実施形態においては、断片化ユニットは、画像シーケンスのビデオフォーマットに応じて、画像当たりの画像領域数を設定するように適応されている。
【００３０】
本発明に係るビデオ処理装置の更なる一実施形態は、
処理ユニットに接続された上層作業用メモリ、及び
前記処理ユニット及び前記上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を前記外部画像メモリから前記上層作業用メモリに取り込むように適応され、且つ前記部分配列の各々は少なくとも、処理中の画像領域全体に及んでいる、メモリ制御ユニット、
を有する。
【００３１】
背景技術として上述されたように、作業用メモリ型のメモリに画像領域をバッファリングすることにより、本発明に従ってビデオ処理装置と、処理対象画像の完全な画素データセットを格納する主メモリとの間のデータバスの帯域幅要求が緩和される。これにより、主メモリへの更なるアクセスを必要とすることなく、画像領域当たり複数のＭＥスキャンを実行することが可能になる。
【００３２】
本発明の更なる一実施形態において、処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１画素ブロックの動きベクトルを、該第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められるそれぞれの第４画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている。この実施形態は特有のブロックマッチングＭＥ法を実行する。選択される動きベクトル候補を有する画素ブロックは、典型的に、処理中の第１画素ブロックに対して定められた位置に位置付けられる。一実施形態において、処理ユニットは異なる動きベクトル候補の組を使用するために、これらの画素ブロックの位置を変更するように適応されている。
【００３３】
好適な一実施形態において、動きベクトル候補は上述の時間的候補と、空間的動きベクトル候補としての空間的候補とを有する。空間的候補ベクトルは、典型的に処理中の第１画素ブロックに空間的に直接隣接するものを形成する画素ブロックに関して既に突き止められている動きベクトルである。
【００３４】
更なる一実施形態において、処理ユニットは、それぞれの第１画素ブロックの動きベクトルを、処理対象画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている。
【００３５】
更なる一実施形態において、メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００３６】
本発明に係るビデオ処理装置の更なる一実施形態においては、メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を上層作業用メモリに取り込むように適応されている。
【００３７】
この実施形態において使用される領域サイズの拡大は、好ましくは、時間的動きベクトルを提供し且つ処理中の画像領域の外側に位置する第３画素ブロックから、該画像領域の端部にあるそれぞれの処理中の第１画素ブロックまでの距離によって決定される。説明のための例については図２ａ及び２ｂを参照して後述する。
【００３８】
更なる一実施形態において、ビデオ処理装置は、処理ユニットと上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された下層作業用メモリを有する。
【００３９】
好ましくは、メモリ制御ユニットは上層キャッシュメモリから下層キャッシュメモリへと最新の探索エリアを取り込むように適応されている。
【００４０】
ビデオ処理装置の更なる一実施形態においては、処理ユニットは、動き推定器に接続され且つ空間的候補ベクトル及び時間的候補ベクトルを含む予測メモリを有する。処理ユニットは、好ましくは、それぞれの第１画素ブロックに関して突き止められたそれぞれの動きベクトルを予測メモリに格納し、場合により、以前に格納された該それぞれの第１画素ブロック又は第３画素ブロックの動きベクトルを更新するように適応されている。
【００４１】
本発明の第２の態様に従って提供されるビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する。
【００４２】
本発明の第２の態様に係るビデオ処理方法の特徴及び効果は、本発明の第１の態様に係るビデオ処理装置を参照して上述されたものと一致する。
【００４３】
以下、本発明に係るビデオ処理方法の好適実施形態について説明する。本発明に係る方法の実施形態は本発明に係る処理装置の実施形態に対応するものであるので、ここでは詳細には説明しないこととする。本発明の第１の態様に係るビデオ処理装置の実施形態についての上述の記載が参照される。
【００４４】
なお、特に断らない限り、本発明に係るビデオ処理方法の実施形態群は相互に組み合わされることができる。
【００４５】
本発明に係るビデオ処理方法の一実施形態において、複数の第１画素ブロックの動きベクトルを突き止める段階は、処理中の画像領域内で所定のスキャン順序に従って第１画素ブロックから次の第１画素ブロックへと実行される。処理中の画像領域の少なくとも２つのパスが同一のスキャン順序を用いて実行される。代替的な一実施形態においては、少なくとも３つのパスが少なくとも２つの相異なるスキャン順序を用いて実行される。
【００４６】
他の一実施形態において、本発明に係るビデオ処理方法は、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する。
【００４７】
更なる一実施形態において、本発明に係るビデオ処理方法は、
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する。
【００４８】
アスペクト比を突き止める段階は、一実施形態において、画像当たりの所与の画像領域数を複数の因数に因数分解し、この複数の因数を２つにグループ分けし、且つ各グループの因数の部分積を計算して１つの画像領域を共有する画素ブロック行及び画素ブロック列の数を取得し、それによりアスペクト比を定めることを有する。一実施形態において、異なるアスペクト比を得るためにグループは変更される。
【００４９】
更なる一実施形態において、画像当たりの画像領域数は、アスペクト比の組が少なくとも所定数の項目を含むように選定される。
【００５０】
更なる一実施形態において、本発明に係るビデオ処理方法は、２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、部分配列の各々は少なくとも、処理中の画像領域を含んでいる、取り込む段階を有する。
【００５１】
本発明に係るビデオ処理方法の他の一実施形態において、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる画素ブロックとの間の画素ブロック類似性を評価することを有する。
【００５２】
好ましくは、それぞれの第１画素ブロックの動きベクトルを突き止める段階において、空間的候補ベクトルをも含むそれぞれの候補動きベクトルが用いられる。
【００５３】
本発明に係るビデオ処理方法の更なる一実施形態においては、それぞれの動きベクトルは処理中の画像領域の第１画素ブロックを所定のスキャン順序でスキャンすることによって突き止められる。
【００５４】
本発明に係るビデオ処理方法の更なる一実施形態においては、それぞれの第１画素ブロックの動きベクトルを突き止める段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する。
【００５５】
本発明に係るビデオ処理方法の更なる一実施形態においては、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の分だけ処理中の画像領域を超えて延在する画像の部分配列が上層作業用メモリに取り込まれる。画素ブロック行についての第３の数は、好ましくは、探索エリア当たりの画素ブロック行の数の半分である。画素ブロック列についての第４の数は、好ましくは、探索エリア当たりの画素ブロック列の数の半分である。
【００５６】
本発明に係るビデオ処理方法の更なる一実施形態においては、２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを、下層作業用メモリに取り込む段階が実行される。下層作業用メモリは処理ユニットと上層作業用メモリとの間に配置される。本発明に係るビデオ処理方法の更なる一実施形態においては、メモリ制御ユニットは外部画像メモリにアクセスする必要なく、最新の探索エリアを上層キャッシュメモリから下層キャッシュメモリに取り込むように適応されている。
【００５７】
本発明に係るビデオ処理方法の一実施形態においては、それぞれの第１画素ブロックに関して突き止められた動きベクトルを予測メモリに格納する段階が実行され、それにより、予測メモリが該画素ブロックに以前に割り当てられた動きベクトルを含んでいる場合、該それぞれの第１画素ブロックに関する以前に格納された動きベクトルが更新される。
【００５８】
本発明に係るビデオ処理方法の他の一実施形態においては、処理中の画像領域の外側に位置するそれぞれの第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、上層作業用メモリに取り込まれる。
【００５９】
本発明の第３の態様は、ビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するコードを格納したデータ媒体により構成され、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する。
【００６０】
本発明の第３の態様に係るデータ媒体の様々な実施形態においては、コンピュータコードは、本発明の第２の態様に係るビデオ処理方法のそれぞれの実施形態を実行するプログラム可能プロセッサの動作を制御するように適応されている。
【発明を実施するための最良の形態】
【００６１】
以下、添付図面を参照しながら本発明に係るビデオ処理方法及び装置の更なる実施形態について説明する。
【００６２】
図１は、外部フレームメモリ102に接続されたビデオ処理装置100のブロック図を示している。ビデオ処理装置100は、好ましくは、特定用途向け命令セットプロセッサ（ＡＳＩＰ）の形態で実装される。ＡＳＩＰにより、ビデオ処理アルゴリズムの柔軟で低コスト且つ低消費電力の実装が提供される。
【００６３】
ビデオ処理装置100のその他の実施形態は、特定用途向け集積回路（ＡＳＩＣ）、又はビデオ処理アプリケーションがソフトウェアにより実行される汎用プログラム可能プロセッサの形態をとる。しかしながら、ＡＳＩＣの柔軟性の欠如、及び汎用プログラム可能プロセッサの低速性により、テレビセット等の家庭用電子機器における商業的用途の目的では、ＡＳＩＰ実装が最も有利であると思われる。ビデオ処理装置100の処理ユニット104は動き推定器106を有している。異なる実施形態においては、更なる処理部108が処理ユニット104に含まれていてもよい。処理部108は動き補償器としてもよい。処理ユニット104は更に断片化ユニット110を含んでいる。
【００６４】
ビデオ処理装置100は更に、上層（high-level）の作業用メモリ（scratchpad）114、下層（low-level）の作業用メモリ116及びメモリ制御器118を有するメモリサブシステム112を含んでいる。メモリサブシステム112は処理ユニット104と接続されており、また、外部フレームメモリ102との接続用のインターフェースを有している。
【００６５】
Ｌ１作業用メモリとも呼ばれる上層作業用メモリ114は２つの部分114.1及び114.2に分割されており、各々の部分は主メモリ102の対応するメモリ部分102.1及び102.2に格納された画像の１つの部分配列を格納するメモリ容量を有している。
【００６６】
下層作業用メモリ116もまた２つの部分116.1及び116.2に分割されている。各作業用メモリ部分の記憶容量は、図２ａ及び２ｂを参照して一層詳細に説明されるように、処理中の画素ブロックの動きベクトルを取得するために動き推定器106によって使用される探索エリアに適合するように選定される。下層作業用メモリ116はまたＬ０作業用メモリとも呼ばれる。メモリ制御器118はＬ１及びＬ０作業用メモリ114及び116に接続されており、外部メモリ102から動き推定器106への画像データの流れを制御する。一実施形態において、メモリ制御器118の制御動作は、後述されるように、動き推定器106及び断片化ユニット110から受け取られる制御データに依存する。
【００６７】
図１に示された実施形態においては、メモリサブシステム112は更に、動き推定器106によって突き止められた動きベクトルを一時的に格納する予測メモリ120を有している。
【００６８】
動作中、主メモリ102のメモリ部分102.1及び102.2に格納された２つの連続する画像が、処理対象画像の各画素ブロックの動きベクトルを決定するために使用される。説明のため、メモリ部分102.2は処理対象画像を格納し、メモリ部分102.1は画像シーケンスにおいて部分102.2に格納された画像の直前の画像を格納していると仮定する。
【００６９】
メモリ制御器118は、主メモリ102に格納された画像対の同一位置にある部分配列をＬ１作業用メモリ114に取り込む。部分配列の大きさは図２ａ及び２ｂを参照して詳細に説明される。さらに、メモリ制御器118はＬ１作業用メモリ部分114.1及び114.2に格納された双方の部分配列の最新の探索エリアをＬ０作業用メモリ部分116.1及び116.2に取り込む。
【００７０】
動き推定器106はＬ０作業用メモリ部分116.1及び116.2に格納された探索エリアを用いて、主メモリ102.2に格納されたビデオ画像の処理中の画素ブロックに関する動きベクトルを突き止める。動き推定器106の動作は図２ａ及び２ｂを参照して一層詳細に説明される。
【００７１】
処理ユニット104に含まれる断片化ユニット110は、メモリ制御器118及び動き推定器106への制御データを提供する。この制御データは、動き推定器106によって実行される動き推定アルゴリズムにより順々に処理される画像領域群のアスペクト比について、メモリ制御器118及び動き推定器106に知らせる。メモリ制御器118は断片化ユニット110から受け取った制御データを用いて、Ｌ１作業用メモリ114に取り込まれるべき主メモリ102に格納された画像の部分配列の大きさを決定する。動き推定器106は断片化ユニット110から受け取った制御データを用いて、処理中の画像領域の一部として処理されるべき画素ブロックの座標を決定する。断片化ユニット110から受け取られた制御データは、画像領域の動き推定パスが完了する時点について動き推定器106に知らせる。
【００７２】
ビデオ処理装置100は動き推定装置である。しかしながら、動き推定は、例えばノイズ低減のための動き補償フィルタリング、符号化のための動き補償推定、及びビデオフォーマット変換のための動き補償補間などの様々なビデオ処理タスクにて使用されるものである。応用目的に依存して、ビデオ処理装置100は更に複雑なビデオ処理装置の一部を形成するものであってもよい。動き補償器108を有する一実施形態においては、動き推定器106によって突き止められた動きベクトルは、更なる処理のために動き補償器108への入力として提供される。動き補償器108は、これが必要に応じて付加されるものであることを指し示すために破線で図示されている。動きベクトルを入力として使用するその他のタスクを実行する処理部が、動き補償器108を置き換えてもよい。
【００７３】
次に、ビデオ処理装置100の動作の更なる詳細について、図２ａ及び２ｂを参照して説明する。なお、図２ａ及び２ｂは本発明に係るビデオ処理方法の相異なる実施形態を説明するための図でもある。
【００７４】
図２ａは、画素ブロック群にグループ化された画素の配列により形成されるビデオフレーム200を示している。図２ａには画素ブロック群のみが示されている。それらの境界は図２ａにおいて格子で表されている。画素ブロックの１つの例に参照符号202が付されている。画素ブロックはビデオフレーム200の例えば８×８の部分配列を含んでいてもよい。
【００７５】
動き推定器106は、ビデオフレーム200の各画素ブロックに関する動きベクトルを突き止めるように適応されている。動き推定器106は領域ベース動き推定アルゴリズムを実行する。すなわち、動きベクトルは、画像200の部分配列を形成する処理中の画像領域の画素ブロック群に対して順々に突き止められる。図２ａにおいて、隣接し合う画像領域間の境界は太線で表示されている。画像200は２４個の画像領域200.1乃至200.24に断片化されている。説明のためのこの実施例においては、各画像領域はｘ方向に６画素ブロック、ｙ方向に４画素ブロックを含んでいる。現実の応用においては、画像領域当たりの画素ブロック数は遙かに大きくなり得る。
【００７６】
画像領域を処理する際、動き推定器106は所定のスキャン順序に従って処理中の画像領域の画素ブロック毎に処理を進める。１つの画像領域に含まれる画素ブロック群は、ここでは、第１画素ブロック群とも呼ばれる。処理中の画素ブロックＣの動きベクトルを突き止める際、画素ブロックＣをほぼ中心とするそれぞれの探索エリアが使用される。探索エリアの２つの例が、参照符号204及び206が付された破線の境界線により図示されている。探索エリア204及び206は、ｘ及びｙ方向に所定の広がりを有する画像200の部分配列を形成する。この例においては、探索エリアは３×３の画素ブロックを有している。商用装置にて使用される探索エリアの他の一例は、９画素ブロック行×５画素ブロック列から成る。
【００７７】
図２ａに示されているように、処理中の画素ブロックＣの各々は、該画素ブロックＣの動きベクトルを決定するために使用される個々の探索エリアを有している。
【００７８】
探索エリア206の例は、或る画像領域の端部にある画素ブロックの探索エリアは、それぞれの画像領域を超えて延在することを示している。探索エリア206の場合、探索エリア206の中心の画素ブロックのように端部にある画素ブロック群に関して、それらの動きベクトル群を突き止めるのに必要な全ての探索エリアをカバーするためには、画像領域200.2の右の１つの画素ブロック列及び画像領域200.2の下の１つの画素ブロック行から取られた多数の画素ブロック群が必要とされる。本発明の一実施形態においては、画像領域200.2の画素ブロック群に加えて画素ブロック行208及び画素ブロック列210の対応する部分が主メモリ102から取り込まれる。この実施形態においてＬ１作業用メモリ114に取り込まれる画像200の完全な部分配列は、画像領域200.2及び画像領域200.14を例として、点線212によって図示されている。画像領域200.14は画像200の中央部に位置しており、画像領域200.2は端部に位置している。
【００７９】
動きベクトルを突き止めるため、好ましくは３次元再帰探索式動き推定アルゴリズムが用いられる。このアルゴリズムは技術的に周知であり、ここでは３ＤＲＳ式ＭＥアルゴリズムと呼ぶ。これ及び類似のアルゴリズムに従って、一組の候補動きベクトルを用いて処理中の画素ブロックの動きベクトルが突き止められる。この一組の候補動きベクトルは、図２ａにおいてＳ１及びＳ２が付された処理対象画像の最近処理された画素ブロックの空間的動きベクトル候補を含んでいる。さらに、時間的な動きベクトル候補が用いられる。どの画素ブロックの時間的動きベクトル候補が用いられるかは、図２ａ及び２ｂに示された探索エリア204、206、及び304、306内の参照符号Ｔで示されている。
【００８０】
どのような位置の画素ブロックの空間的及び時間的動きベクトル候補が使用されるかは、処理中の画素ブロックＣそれぞれに関連して事前設定される。図２ａの例に図示されているように、２つの空間的動きベクトル候補は、処理中の画素ブロックの１ブロック上に位置する画素ブロックＳ１及び１ブロック左に位置する画素ブロックＳ２から選択される。時間的動きベクトル候補は、処理中の画素ブロックＣの１ブロック下且つ１ブロック右に位置する先行画像の画素ブロックＴから用いられる。先の記述において、画素ブロックＴは概して第２画素ブロックと呼ばれている。一実施形態において、第２画素ブロックＴの相対位置は、例えば相異なるビデオ処理アプリケーションのために、動き推定器106が相異なる相対位置を使用できるように調整可能である。
【００８１】
ここで一層詳細に説明する好適な一実施形態においては、時間的動きベクトル候補は、処理中の領域の外側に位置する画素ブロックＴから選択され、これはまた更新される。これらの画素ブロックは、ここでは、第３画素ブロックと呼ばれる。この実施形態で典型的な状況は、画像領域200.2の右下のコーナー部に位置する処理中の画素ブロック214に関する探索エリア206により表されている。処理中の画素ブロック10の画素ブロック214に関する動きベクトルを突き止めるために使用される時間的候補Ｔは、先行画像の画素ブロック216から取られる。故に、画素ブロック216は第３画素ブロックを形成する。この実施形態によれば、画素ブロック216の動きベクトルは、画像領域200.2に含まれる全ての第１画素ブロックに対してと同様にして突き止められる。斯くして、画像領域200.2の第２の動きベクトルパスにおいて画素ブロック214を処理するために、更新された動きベクトル候補が使用されることが可能である。これにより、領域に基づく動き推定の品質が更に向上される。
【００８２】
先行画像の第３画素ブロックから取られ、且つ処理中の画像領域の外側に位置する時間的候補ベクトルを更新するため、画像200の拡大された部分配列がＬ１作業用メモリ114に取り込まれる（拡大された部分配列は図２ａにおいて一点鎖線218により標されている）。この拡大された部分配列の第２の例は、画像領域200.14に関して参照符号218’で示されている。拡大された部分配列218、218’は、それぞれの画像領域の外側に位置する画素ブロック群の時間的動きベクトルを更新するために必要とされる、すなわち、言い換えれば、時間的候補をそれぞれの空間的動きベクトル候補で置き換えるために必要とされる、全ての探索エリアを含んでいる。故に、部分配列218、218’の大きさは、処理中の画素ブロックＣに関する時間的動きベクトル候補を提供する第３画素ブロック（例えば、画素ブロック216）の位置に依存する。処理中の画素ブロックＣから更に離れた第３画素ブロックから時間的動きベクトル候補が取られる場合、より多くの数の画素ブロック行及び／又は画素ブロック列の部分がＬ１作業用メモリ114に取り込まれる。
【００８３】
画像フレーム200は、故に、上述の実施形態の何れかに従って、画像200の画像領域200.1乃至200.24に含まれる全ての画素ブロックに対して動きベクトルが突き止められるまで画像領域ごとに処理される。
【００８４】
各画像領域200.1乃至200.24の画素ブロックの行数と列数との間の比は、画像領域のアスペクト比を規定する。この実施例においては、アスペクト比は４／６、すなわち、0.66である。
【００８５】
画像当たりの画像領域が２４個という典型的な数を考えると、一実施形態における断片化ユニット110は、様々なアスペクト比の値を突き止めるために、この数を素数に因数分解する。周知の通り、２４＝１×２×２×２×３である。これにより、素数を２つの因数にグループ化することが可能であり、ｘ方向に１画像領域×ｙ方向に２４画像領域、２４×１、２×１２、１２×２、３×８、８×３、４×６及び６×４という、ｘ及びｙ方向における画像領域の取り得る組み合わせが定められる。断片化ユニット110を可能な限り柔軟なものとするため、画像当たりの画像領域数は可能な限り因数分解できるように選定されるべきである。
【００８６】
本発明のこの好適実施形態に従って、処理対象の画像シーケンスにおける次の画像（図２ｂ）の動きベクトルを突き止めることに切り替える前に、断片化ユニット110は動き推定器106及びメモリ制御器118に、画像300を処理するために異なるアスペクト比の画像領域を使用するように指示する。図２ｂに示されるように、この実施例にて使用されるアスペクト比は、画像200に使用されたアスペクト比の逆数である６／４、すなわち、1.5である。このアスペクト比は、画像300の画像領域の数が画像200の画像領域の数と比較して不変であるように選定される。連続する画像の双方は２４個の画像領域を含んでいる。
【００８７】
メモリ制御器118は、故に、異なる部分配列をＬ１作業用メモリ114に取り込む。説明のため、探索エリア304及び306が示されている。探索エリア304は探索エリア204に正確に一致している。探索エリア306は探索エリア206と類似の状況を示しているが、対応する処理中の画素ブロック314の位置は、処理画像300に使用されるアスペクト比の変化に起因して、画素ブロック214の位置とは異なっている。その結果、部分配列312、312’及び318、318’は、対応する画像領域300.3及び300.15の位置及びアスペクト比に従って異なっている。
【００８８】
以上の部分は、主に説明目的で用いられる画像サイズに基づいていた。以下の好適な実施形態は、標準精細度テレビ（ＳＤＴＶ）及び高精細度テレビ（ＨＤＴＶ）規格に準拠したビデオシーケンスを処理するために上述の実施形態を基礎として使用されるものである。
【００８９】
ＳＤＴＶにおいては、画像サイズは720×576画素であり、これは今日の欧州における大抵のテレビセットで使用されている解像度である。全体で、画像は３５個の画像領域に断片化される。２つの相異なるアスペクト比が使用される。この場合の好適な画素ブロックサイズは８×８画素である。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズの１つは、２５×１４画素ブロックである。２つの好適な部分配列のアスペクト比は２５／１４及び１４／２５である。隣接し合う部分配列の重なりのため、これは水平方向に５個、垂直方向の７個の画像領域が存在することを意味する。探索エリアの大きさは９×５ブロックである。
【００９０】
ＨＤＴＶにおいては、画像サイズは1920×1080画素である。好適な画素ブロックサイズは８×８画素である。一実施形態において、画像当たり全体で２０個の画像領域が使用される。Ｌ１作業用メモリに取り込まれ、且つ１つの画像領域とそれぞれの画像領域の端部にある画素ブロック群の探索エリアに必要とされる更なる画素の全てとを含む部分配列の好適サイズは６６×３１画素ブロックであり、これは水平方向に４個、垂直方向の５個の画像領域が存在することを意味する。２つの好適な部分配列のアスペクト比は６６／３１及び３１／６６である。この場合も、これらは隣接し合う部分配列間の重なりを考慮に入れたアスペクト比に相当している。探索エリアの大きさは９×５ブロックである。
【００９１】
領域の大きさを決定するに際しては、過大な数の画像領域とならないように注意すべきある。何故なら、多数だとＭＥ品質を低下させるからである。他方、過小な数の画像領域は、画像領域の大きさを問題となる程度に大きくさせてしまう。何故なら、Ｌ１作業用メモリと外部画像メモリとの間の接続に対する帯域幅要求が増大するからである。画像領域の大きさは更に、全ての画像領域の大きさが少なくともほぼ等しくされ得るように選定されるべきである。このとき、Ｌ１作業用メモリに取り込まれる部分配列が隣接し合う部分配列間で重なりを有するため、探索エリアの大きさを考慮する必要がある。
【００９２】
相異なるアスペクト比を使用することにより、動き推定の品質が大きく向上される。何故なら、動き推定器106の出力、ひいては、動き推定器106の下流に配置された動き補償器108の出力において、画像領域の境界の全ての形跡が実質的に除去されるからである。
【図面の簡単な説明】
【００９３】
【図１】ビデオ処理装置の好適な一実施形態を示すブロック図である。
【図２ａ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【図２ｂ】本発明に係るビデオ処理方法及び装置の好適な更なる実施形態を例示する図である。
【特許請求の範囲】
【請求項１】
処理ユニットを有するビデオ処理装置であって、該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている、ビデオ処理装置。
【請求項２】
前記処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に動きベクトルを突き止め、且つ同一のスキャン順序を用いて少なくとも２度、処理中の画像領域を処理するように適応されている、請求項１に記載のビデオ処理装置。
【請求項３】
前記処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に動きベクトルを突き止め、且つ少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、処理中の画像領域を処理するように適応されている、請求項１に記載のビデオ処理装置。
【請求項４】
前記処理ユニットは、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている、請求項１に記載のビデオ処理装置。
【請求項５】
前記処理ユニットは断片化ユニットを有し、該断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている、請求項４に記載のビデオ処理装置。
【請求項６】
前記断片化ユニットは、前記アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている、請求項５に記載のビデオ処理装置。
【請求項７】
前記断片化ユニットは、画像シーケンスのビデオフォーマットに応じて画像当たりの画像領域数を設定するように適応されている、請求項５に記載のビデオ処理装置。
【請求項８】
前記処理ユニットに接続された上層作業用メモリ、及び
前記処理ユニット及び前記上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を前記外部画像メモリから前記上層作業用メモリに取り込むように適応され、且つ前記部分配列の各々は処理中の画像領域と、処理中の画像領域の外側の、処理対象画像内の第３画素ブロックの動きベクトルを突き止めるために必要な全ての画素ブロックとを有している、メモリ制御ユニット、
を更に有する請求項１に記載のビデオ処理装置。
【請求項９】
前記処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１画素ブロックの動きベクトルを、該第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められるそれぞれの画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている、請求項１に記載のビデオ処理装置。
【請求項１０】
前記処理ユニットは、それぞれの第１画素ブロックの動きベクトルを、処理対象画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている、請求項１に記載のビデオ処理装置。
【請求項１１】
前記メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の分だけ処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項９及び１０に記載のビデオ処理装置。
【請求項１２】
前記メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが前記上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項９及び１０に記載のビデオ処理装置。
【請求項１３】
前記処理ユニットと前記上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された、下層作業用メモリを更に有する請求項８及び１０に記載のビデオ処理装置。
【請求項１４】
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有するビデオ処理方法。
【請求項１５】
複数の第１画素ブロックの動きベクトルを突き止める前記段階は、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に実行され、且つ処理中の画像領域の画素ブロックの動きベクトルは、同一のスキャン順序を用いて少なくとも２度、突き止められる、請求項１４に記載のビデオ処理方法。
【請求項１６】
複数の第１画素ブロックの動きベクトルを突き止める前記段階は、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に実行され、且つ処理中の画像領域の画素ブロックの動きベクトルは、少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、突き止められる、請求項１４に記載のビデオ処理方法。
【請求項１７】
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する請求項１４に記載のビデオ処理方法。
【請求項１８】
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する請求項１７に記載のビデオ処理方法。
【請求項１９】
画像当たりの画像領域数は、前記アスペクト比の組が少なくとも所定数の項目を含むように選定される、請求項１８に記載のビデオ処理方法。
【請求項２０】
２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、前記部分配列の各々は少なくとも、処理中の画像領域を含んでいる、取り込む段階、を更に有する請求項１４に記載のビデオ処理方法。
【請求項２１】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる画素ブロックとの間の画素ブロック類似性を評価することを有する、請求項１４に記載のビデオ処理方法。
【請求項２２】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する、請求項１４に記載のビデオ処理方法。
【請求項２３】
処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項２０及び２２に記載のビデオ処理方法。
【請求項２４】
第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項２０及び２２に記載のビデオ処理方法。
【請求項２５】
２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを、前記処理ユニットと前記上層作業用メモリとの間に配置された下層作業用メモリに取り込む段階を更に有する請求項２０及び２２に記載のビデオ処理方法。
【請求項２６】
ビデオ処理方法を実行する際にプログラム可能プロセッサの動作を制御するコードを含むデータ媒体であって、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する、データ媒体。
【請求項２７】
前記コンピュータコードは、請求項１５乃至２５の何れかに記載のビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するように適応されている、請求項２６に記載のデータ媒体。
【請求項１】
処理ユニットを有するビデオ処理装置であって、該処理ユニットは、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止め、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止め、且つ
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する、
ように適応されている、ビデオ処理装置。
【請求項２】
前記処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に動きベクトルを突き止め、且つ同一のスキャン順序を用いて少なくとも２度、処理中の画像領域を処理するように適応されている、請求項１に記載のビデオ処理装置。
【請求項３】
前記処理ユニットは、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に動きベクトルを突き止め、且つ少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、処理中の画像領域を処理するように適応されている、請求項１に記載のビデオ処理装置。
【請求項４】
前記処理ユニットは、
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理し、且つ
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する、
ように適応されている、請求項１に記載のビデオ処理装置。
【請求項５】
前記処理ユニットは断片化ユニットを有し、該断片化ユニットは、画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止め、且つ次の画像を処理するために該組の中から異なるアスペクト比を選択するように適応されている、請求項４に記載のビデオ処理装置。
【請求項６】
前記断片化ユニットは、前記アスペクト比の組が少なくとも所定数の項目を含むように画像当たりの画像領域数を選定するように適応されている、請求項５に記載のビデオ処理装置。
【請求項７】
前記断片化ユニットは、画像シーケンスのビデオフォーマットに応じて画像当たりの画像領域数を設定するように適応されている、請求項５に記載のビデオ処理装置。
【請求項８】
前記処理ユニットに接続された上層作業用メモリ、及び
前記処理ユニット及び前記上層作業用メモリに接続され、且つ外部画像メモリに接続可能なメモリ制御ユニットであり、２つの連続する画像の各々に含まれる同一位置にある部分配列を前記外部画像メモリから前記上層作業用メモリに取り込むように適応され、且つ前記部分配列の各々は処理中の画像領域と、処理中の画像領域の外側の、処理対象画像内の第３画素ブロックの動きベクトルを突き止めるために必要な全ての画素ブロックとを有している、メモリ制御ユニット、
を更に有する請求項１に記載のビデオ処理装置。
【請求項９】
前記処理ユニットは動き推定器を有し、該動き推定器は、それぞれの第１画素ブロックの動きベクトルを、該第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められるそれぞれの画素ブロックとの間の画素ブロック類似性を評価することによって、突き止めるように適応されている、請求項１に記載のビデオ処理装置。
【請求項１０】
前記処理ユニットは、それぞれの第１画素ブロックの動きベクトルを、処理対象画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることによって、突き止めるように適応されている、請求項１に記載のビデオ処理装置。
【請求項１１】
前記メモリ制御ユニットは、処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の分だけ処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項９及び１０に記載のビデオ処理装置。
【請求項１２】
前記メモリ制御ユニットは、第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが前記上層作業用メモリに取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列を前記上層作業用メモリに取り込むように適応されている、請求項９及び１０に記載のビデオ処理装置。
【請求項１３】
前記処理ユニットと前記上層作業用メモリとの間に配置され、且つ２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを格納するように適応された、下層作業用メモリを更に有する請求項８及び１０に記載のビデオ処理装置。
【請求項１４】
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有するビデオ処理方法。
【請求項１５】
複数の第１画素ブロックの動きベクトルを突き止める前記段階は、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に実行され、且つ処理中の画像領域の画素ブロックの動きベクトルは、同一のスキャン順序を用いて少なくとも２度、突き止められる、請求項１４に記載のビデオ処理方法。
【請求項１６】
複数の第１画素ブロックの動きベクトルを突き止める前記段階は、処理中の画像領域内で所定のスキャン順序に従って画素ブロック毎に実行され、且つ処理中の画像領域の画素ブロックの動きベクトルは、少なくとも２つの相異なるスキャン順序を用いて少なくとも３度、突き止められる、請求項１４に記載のビデオ処理方法。
【請求項１７】
各画像領域が調整可能なアスペクト比に応じて第１の数の画素ブロック行及び第２の数の画素ブロック列によって共有される画素ブロックを含む、多数の画像領域への画像の断片化に従って、画像を処理する段階、及び
画像シーケンスに含まれる次の画像を処理するために、画像当たりの画像領域数は一定のままとなるように、異なるアスペクト比を設定する段階、
を有する請求項１４に記載のビデオ処理方法。
【請求項１８】
画像当たりの画像領域数を一定のままとするアスペクト比の組を突き止める段階、及び
次の画像を処理するために該組の中から異なるアスペクト比を選択する段階、
を有する請求項１７に記載のビデオ処理方法。
【請求項１９】
画像当たりの画像領域数は、前記アスペクト比の組が少なくとも所定数の項目を含むように選定される、請求項１８に記載のビデオ処理方法。
【請求項２０】
２つの連続する画像の各々に含まれる同一位置にある部分配列を画像メモリから上層作業用メモリに取り込む段階であり、前記部分配列の各々は少なくとも、処理中の画像領域を含んでいる、取り込む段階、を更に有する請求項１４に記載のビデオ処理方法。
【請求項２１】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、該それぞれの第１画素ブロックと、処理対象画像を含む連続した画像により形成される画像対から選択され且つそれぞれの候補動きベクトルの組によって定められる画素ブロックとの間の画素ブロック類似性を評価することを有する、請求項１４に記載のビデオ処理方法。
【請求項２２】
それぞれの第１画素ブロックの動きベクトルを突き止める前記段階は、画像の所定の部分配列を形成するそれぞれの探索エリアをスキャンすることを有する、請求項１４に記載のビデオ処理方法。
【請求項２３】
処理中の画像領域の端部に位置する第１画素ブロックそれぞれの全ての探索エリアを前記部分配列が含むように、第３の数の画素ブロック行及び第４の数の画素ブロック列の画素ブロックの分だけ処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項２０及び２２に記載のビデオ処理方法。
【請求項２４】
第３画素ブロックにより提供される時間的動きベクトル候補を更新するために必要とされる全てのそれぞれの探索エリアが取り込まれるように、第５の数の画素ブロック行及び第６の数の画素ブロック列の画素ブロックの分だけそれぞれの処理中の画像領域を超えて延在する画像の部分配列が、前記上層作業用メモリに取り込まれる、請求項２０及び２２に記載のビデオ処理方法。
【請求項２５】
２つの連続する画像各々の同一位置にあるそれぞれの探索エリアを、前記処理ユニットと前記上層作業用メモリとの間に配置された下層作業用メモリに取り込む段階を更に有する請求項２０及び２２に記載のビデオ処理方法。
【請求項２６】
ビデオ処理方法を実行する際にプログラム可能プロセッサの動作を制御するコードを含むデータ媒体であって、該ビデオ処理方法は、
画像シーケンスに含まれる処理対象画像の処理中の画像領域において該画像領域を形成する複数の第１画素ブロックの動きベクトルを、画像領域ごとに、それぞれの画像領域を次の画像領域に進む前に少なくとも２度処理して突き止める段階、
画像領域の処理中の第１画素ブロックの動きベクトルを、それぞれの候補動きベクトルの組であり、画像シーケンスの先行画像に含まれる第２画素ブロックに関して突き止められた動きベクトルである少なくとも１つの時間的候補ベクトルを含む候補ベクトルの組、を評価することによって突き止める段階、及び
処理対象画像のそれぞれの画像領域の２度目の処理を行う前に、処理中の画像領域の第１画素ブロックの候補動きベクトルの組に含まれ、且つ先行画像内で処理中の画像領域の外側に位置する第３画素ブロックに関して突き止められた時間的候補ベクトルを、処理対象画像内で第３画素ブロックに対応する画素ブロックの動きベクトルを突き止め且つこれで該時間的候補ベクトルを置き換えることによって更新する段階、
を有する、データ媒体。
【請求項２７】
前記コンピュータコードは、請求項１５乃至２５の何れかに記載のビデオ処理方法を実行するプログラム可能プロセッサの動作を制御するように適応されている、請求項２６に記載のデータ媒体。
【図１】
【図２ａ】
【図２ｂ】
【図２ａ】
【図２ｂ】
【公表番号】特表２００８−５３８４３３（Ｐ２００８−５３８４３３Ａ）
【公表日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００８−５０６００８（Ｐ２００８−５０６００８）
【出願日】平成１８年４月４日（２００６．４．４）
【国際出願番号】ＰＣＴ／ＩＢ２００６／０５１０１６
【国際公開番号】ＷＯ２００６／１０９２０９
【国際公開日】平成１８年１０月１９日（２００６．１０．１９）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１８年４月４日（２００６．４．４）
【国際出願番号】ＰＣＴ／ＩＢ２００６／０５１０１６
【国際公開番号】ＷＯ２００６／１０９２０９
【国際公開日】平成１８年１０月１９日（２００６．１０．１９）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]