閉塞検出に基づく画素の時間的補間
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法が開示される。前記方法は、前記第１の画像に対応する第１の動きベクトル場（Ｄ３（ｘ，ｎ−１））の第１の動きベクトル（Ｄｐ）及び第２の動きベクトル（Ｄｐｐ）に基づいて第１の動きベクトル差を計算するステップと、前記第２の画像に対応する第２の動きベクトル場（Ｄ３（ｘ，ｎ））の第３の動きベクトル（Ｄｎ）及び第４の動きベクトル（Ｄｎｎ）に基づいて第２の動きベクトル差を計算するステップと、前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法に関する。
【０００２】
本発明は更に、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定するための画素値決定ユニットに関する。
【０００３】
本発明は更に、かような画素値決定ユニットを有する画像処理機器に関する。
【０００４】
本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有するコンピュータプログラムに関する。
【背景技術】
【０００５】
閉塞（occlusion）エリアとは、取り込まれた場面の一部であって、一連の連続する画像の或る画像においては可視であるが、次の又は前の画像においては可視でない部分に対応するエリアを意味する。このことは、場面において、背景のオブジェクトよりもカメラに近く位置する前景のオブジェクトが、前記背景のオブジェクトの一部をカバーし得るという事実によって引き起こされる。例えば前景のオブジェクトの移動の場合には、背景のオブジェクトの幾分かの部分が閉塞させられ、一方該背景のオブジェクトの他の部分はカバーされない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
閉塞エリアは、時間的補間においてアーティファクトを引き起こし得る。例えば上方変換（up-conversion）の場合、閉塞エリアは所謂ハロー（halo）に帰着し得る。上方変換の場合、時間的補間によって上方変換された出力画像を計算するため動きベクトルが推定される。例えばO. Ojo及びG. de Haanによる論文「Robust motion-compensated video upconversion」（「IEEE Transactions on Consumer Electronics」、Vol. 43、No. 4、1997年11月、1045-1056頁）を参照されたい。時間的補間、即ち２つの元の入力画像の中間の新たな画像の計算のため、好ましくは同一のオブジェクトに関する幾つかの画素が、連続する画像からとられる。このことは、閉塞エリアの場合には簡単に為されることができない。なぜなら、連続する画像の両方において関連する画素が見出されないからである。典型的には前又は次の元画像のみの画素値の補間に基づく、他の補間戦略が必要とされる。閉塞エリアについて適切な動きベクトルの推定が重要であることは明らかであろう。
【０００７】
本発明の目的は、最初のパラグラフに記載された種類の方法であって、比較的頑強な方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の本目的は、前記方法が、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有することにより達成される。
【０００９】
本発明者は、第１の動きベクトル場の２つの適切に選択された動きベクトル間の第１の差と、第２の動きベクトル場の２つの適切に選択された動きベクトル間の第２の差とを比較することにより、前記特定の画素の値を確立するため１以上の画素値を取得するために、２つのそれぞれの画像のうちどちらが選択されるべきかを決定することが可能となることを認識した。一般に、２つの動きベクトル場のうちの一方の、２つの選択された動きベクトルは、略相互に等しい。このことは、これら２つの動きベクトルが共に背景に関連するか、又は同一の前景オブジェクトに関連する確率が比較的高いことを示唆するものである。この場合、これら２つの動きベクトルの１つを用いれば、中間画像のために適切な画素を取得できる確率が比較的高い。閉塞の場合には、一般にこれら２つの動きベクトルは共に背景に関連する。
【００１０】
動きベクトルの適切な選択は、前記特定の画素の特定の空間的位置、及び前記特定の画素について推定された特定の動きベクトルに基づく。好ましくは、前記特定の画素の特定の空間位置と第１の動きベクトルとに基づいて、第１の動きベクトル場から第２の動きベクトルが選択される。また、前記特定の画素の特定の空間的位置と第３の動きベクトルとに基づいて、第２の動きベクトル場から第４の動きベクトルが選択される。
【００１１】
値は、輝度又は色のような、人間にとって可視であるいずれかのタイプの情報を表す。
【００１２】
本発明による方法の実施例は、前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する。２つの画像のいずれかから画素値を選択する代わりに、本発明による本実施例においては、前記特定の画素の値は任意に両方の画像の画素値に基づく。このことは、２つの動きベクトル差が共に所定の閾値よりも小さいか否かを確認するテストに依存する。好ましくは、該テストは、前記２つの動きベクトル差のうち大きい方を、前記所定の閾値と比較することにより実行される。該テストは、暗に閉塞検出を意味する。前記動きベクトル差のうちの一方のみが前記所定の閾値よりも小さい場合、前記特定の空間的位置は閉塞エリアに位置すると見なされる。閉塞のタイプ、即ちカバーしているか又はしていないかは、前記２つのうちどちらが前記所定の閾値よりも小さいかに依存する。しかしながら、両方の動きベクトル差が共に前記所定の閾値よりも小さい場合には、前記特定の空間的位置は閉塞エリア中に位置しないと見なされる。後者の場合には、前記特定の画素の値は、両方の入力画像の画素値に基づく。
【００１３】
本発明による方法の実施例は、前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する。換言すれば、本発明による本実施例においては、複数の画素値の補間によりサブ画素の精度が達成される。
【００１４】
本発明の更なる目的は、最初のパラグラフに記載された種類の画素値決定ユニットであって、比較的頑強な画素値決定ユニットを提供することにある。
【００１５】
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することよって達成される。
【００１６】
本発明の更なる目的は、最初のパラグラフに記載された種類の画像処理機器であって、比較的頑強な画素値決定ユニットを有する画像処理機器を提供することにある。
【００１７】
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することによって達成される。
【００１８】
任意に、前記画像処理機器は更に、出力画像を表示するための表示装置を有する。前記画像処理機器は、例えばＴＶ、セットトップボックス、ＶＣＲ（Video Cassette Recorder）プレイヤ、衛星チューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダであっても良い。
【００１９】
本発明の更なる目的は、最初のパラグラフに記載された種類のコンピュータプログラムであって、比較的頑強なコンピュータプログラムを提供することにある。
【００２０】
本発明の本目的は、前記コンピュータプログラムが、ロードされた後に、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせることにより達成される。
【００２１】
画素値決定ユニットの変更及び変形例は、記載された画像処理機器、方法及びコンピュータプログラムの変更及び変形例に対応しても良い。
【００２２】
画素値決定ユニット、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。
【００２３】
図を通して、同一の参照番号が類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００２４】
図１は、場面における前景オブジェクト１１８の動き及び背景の動きを模式的に示す。図１においては、時間的位置ｎ−１及びｎにおける、２つの元画像１００及び１０４が示されている。これらの画像内のオブジェクト１１８は、上方向
【数１】
に移動しており、実線１０６及び１０８によって接続された灰色の長方形によって示される。長い点線矢印１１０及び１１２は、下方向である、背景の動き
【数２】
を示す。網掛けされた領域１１４及び１１６は、閉塞エリアを示す。時間的位置ｎ＋α（−１≦α≦０）に生成されるべき新たな画像１０２が、破線１２０により示される。
【００２５】
図２は、図１に示された画像について推定された動きベクトル場を模式的に示す。即ち、前記推定された動きベクトル場は、矢印によって表される。第１の動きベクトル場は、前記２つの元画像の第１のもの１００について推定され、第２の動きベクトル場は、前記２つの元画像の第２のもの１０４について推定される。これら２つの動きベクトル場は、３フレーム動き推定器により計算される。前記第１の動きベクトル場は、
【数３】
によって示される。該第１の動きベクトル場は、輝度フレーム
【数４】
、
【数５】
及び
【数６】
の間で推定される。前記第２の動きベクトル場は、
【数７】
によって示される。該第２の動きベクトル場は、輝度フレーム
【数８】
、
【数９】
及び
【数１０】
の間で推定される。これに加え、前記第１の動きベクトル場と前記第２の動きベクトル場との中間の時間的位置ｎ＋αについて、初期動きベクトル場が計算される。該初期動きベクトル場
【数１１】
は、輝度フレーム
【数１２】
及び
【数１３】
の間で推定される。前記３フレーム動き推定器の動きベクトル場
【数１４】
及び
【数１５】
は、前景オブジェクト１１８と略合致し、一方２フレーム動き推定器の動きベクトル場
【数１６】
は、背景の中へと延在する前景ベクトルを示すことに留意されたい。
【００２６】
本発明の方法によれば、時間的に第１の入力画像と第２の入力画像との中間に位置する画像が、３つの動きベクトル場
【数１７】
、
【数１８】
及び
【数１９】
を利用することにより計算されることができる。このことは、背景ベクトルが閉塞エリアにおいて決定され、前記２つの入力画像のうちの１つからの画素を取得するために適用されることを意味する。
【００２７】
図３は、空間的位置
【数２０】
及び
【数２１】
における２つの画素の例についての本発明による方法を模式的に示す。最初に、位置
【数２２】
における画素の周囲の状況を考える。動きベクトル場
【数２３】
からの動きベクトル
【数２４】
が、第１の動きベクトル場
【数２５】
及び第２の動きベクトル場
【数２６】
から、それぞれ動きベクトル
【数２７】
及び
【数２８】
を取得するために利用される。
【数２９】
【数３０】
該選択プロセスは、それぞれ太線矢印３００及び３０２によって示される。動きベクトル
【数３１】
及び
【数３２】
は共に背景ベクトルである。
【数３３】
を用いて、ベクトル
【数３４】
が
【数３５】
から取得され、
【数３６】
を用いて、ベクトル
【数３７】
が
【数３８】
から取得される。
【数３９】
【数４０】
該取得は、太点線矢印３０１及び３０３によって示される。
【数４１】
もまた背景ベクトルであるが、
【数４２】
は前景ベクトルであることが分かる。このことは、
【数４３】
及び
【数４４】
が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
【数４５】
と
【数４６】
との間にはかなりの差がある。即ち、第２の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
【数４７】
における画素の値は、時間的位置ｎにおける第２の画像１０４の画素の値に基づくであろう。なぜなら、前記第２の動きベクトル差は前記第１の動きベクトル差よりも小さいからである。
【００２８】
同様のプロセスが、位置
【数４８】
における他の画素について適切な動きベクトルを確立するために利用されることができる。動きベクトル場
【数４９】
からの動きベクトル
【数５０】
は、第１の動きベクトル場
【数５１】
及び第２の動きベクトル場
【数５２】
から、それぞれ動きベクトル
【数５３】
及び動きベクトル
【数５４】
を取得するために利用される。
【数５５】
【数５６】
該選択プロセスは、それぞれ太線矢印３０４及び３０６によって示される。ここで、取得された動きベクトル
【数５７】
及び
【数５８】
は、それぞれ背景及び前景ベクトルである。
【数５９】
を用いて、ベクトル
【数６０】
が
【数６１】
から取得され、
【数６２】
を用いて、ベクトル
【数６３】
が
【数６４】
から取得される。
【数６５】
【数６６】
該取得は、太線矢印３０４及び３０７によって示される。
【数６７】
及び
【数６８】
は共に背景ベクトルであることが分かる。このことは、
【数６９】
及び
【数７０】
が略相互に等しいこと、即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
【数７１】
と
【数７２】
との間にはかなりの差がある。即ち、第１の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
【数７３】
における画素の値は、時間的位置ｎ−１における第１の画像１００の画素の値に基づくであろう。なぜなら、前記第１の動きベクトル差は前記第２の動きベクトル差よりも小さいからである。
【００２９】
一般に、
【数７４】
である場合に閉塞が検出される。閉塞が検出された場合、カバー及び非カバーへの分類が為される。
【数７５】
である場合、画素は非カバーエリア中にあり、
【数７６】
である場合、カバーエリア中にある。従って、空間的位置
【数７７】
における画素は非カバーエリア中に位置し、空間的位置
【数７８】
における画素はカバーエリア中に位置する。
【００３０】
図４は、閉塞エリアに位置しない画素の例
【数７９】
についての本発明による方法を模式的に示す。動きベクトル場
【数８０】
からの動きベクトル
【数８１】
は、第１の動きベクトル場
【数８２】
及び第２の動きベクトル場
【数８３】
から、それぞれ動きベクトル
【数８４】
及び
【数８５】
を取得するために利用される。
【数８６】
【数８７】
該選択プロセスは、それぞれ太線矢印４００及び４０２によって示される。動きベクトル
【数８８】
及び
【数８９】
は共に前景ベクトルである。
【数９０】
を用いて、ベクトル
【数９１】
が
【数９２】
から取得され、
【数９３】
を用いて、ベクトル
【数９４】
が
【数９５】
から取得される。
【数９６】
【数９７】
該取得は、太線矢印４００及び４０２によって示される。
【数９８】
及び
【数９９】
もまた前景ベクトルであることが分かる。このことは、
【数１００】
及び
【数１０１】
が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。これに加え、
【数１０２】
及び
【数１０３】
が略相互に等しい。即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さい。それ故、中間画像１０２の空間的位置
【数１０４】
における画素の値は、時間的位置ｎ−１における第１の画像１００の第１の画素の第１の値に、及び時間的位置ｎにおける第２の画像１０４の第２の画素の第２の値に基づくであろう。
【００３１】
図５は、本発明による画素値決定ユニット５００の実施例を模式的に示す。該画素値決定ユニット５００は、時間的に第１の画像と第２の画像との中間に位置する画像を計算するように構成され、中間画像は時間位置ｎ＋αに位置する。画素値決定ユニット５００は、３つの動きベクトル場を供給される。これら供給される動きベクトル場のうちの第１のもの
【数１０５】
及び第２のもの
【数１０６】
は、３フレーム動き推定器５１２により計算される。３フレーム動き推定器５１２の例は、米国特許ＵＳ６０１１５９６に開示されている。第３の供給される動きベクトル場
【数１０７】
は、２フレーム動き推定器５１４により計算される。２フレーム動き推定器５０８は、例えばG. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transactions on circuits and systems for video technology」、Vol. 3、No. 5、1993年10月、368-379頁）に記載されている。
【００３２】
動き推定器５１２及び５１４並びに画素値決定ユニット５００は、前記第１の画像及び第２の画像並びに他の入力画像を表す入力ビデオ信号を供給される。画素値決定ユニット５００は、出力コネクタ５１８において、前記第１及び第２の画像並びに中間画像を表す出力ビデオ信号を供給する。画素値決定ユニット５００は、所定の閾値Ｔ０を表す制御信号を受信するための制御インタフェース５２０を有する。
【００３３】
本発明による画素値決定ユニット５００は、
−動きベクトル比較ユニット５０２と、
−決定ユニット５０４と、
−画素値計算ユニット５０６と、
を有する。
【００３４】
動きベクトル比較ユニット５０２は、３つの動きベクトル場
【数１０８】
、
【数１０９】
及び
【数１１０】
から、対応する動きベクトルを取得するように構成される。動きベクトル比較ユニット５０２は、
−前記第１の画像に対応する第１の動きベクトル場
【数１１１】
の第１の動きベクトル
【数１１２】
及び第２の動きベクトル
【数１１３】
に基づいて第１の動きベクトル差を計算する第１の計算ユニット５０８を有し、第１の動きベクトル
【数１１４】
は、特定の画素の特定の空間的位置
【数１１５】
と該特定の画素について推定された特定の動きベクトル
【数１１６】
とに基づいて、第１の動きベクトル場
【数１１７】
から選択され、動きベクトル比較ユニット５０２は更に、
−前記第２の画像に対応する第２の動きベクトル場
【数１１８】
の第３の動きベクトル
【数１１９】
及び第４の動きベクトル
【数１２０】
に基づいて第２の動きベクトル差を計算する第２の計算ユニット５１０を有し、第３の動きベクトル
【数１２１】
は、特定の画素の特定の空間的位置
【数１２２】
と該特定の画素について推定された特定の動きベクトル
【数１２３】
とに基づいて、第２の動きベクトル場
【数１２４】
から選択される。
【００３５】
決定ユニット５０４は、前記特定の画素が位置するエリアのタイプを決定するように構成される。従って、決定ユニット５０４は、２つの前記動きベクトル差が、所定の閾値Ｔ０よりも小さいか否かをチェックするように構成される。このとき、前記エリアのタイプは、式９乃至１１において示されたように確立される。決定ユニット５０４は更に、前記中間画像の前記特定の画素の画素値の計算のため、前記第１又は第２の画像から画素値を取得するために、どの動きベクトル又は任意にどの複数の動きベクトルが利用されるべきであるかをチェックするように構成される。一般に、前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第１の画像の第１の画素の第１の値に基づき、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第２の画像の第２の画素の第２の値に基づく。前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値Ｔ０よりも小さい場合には、前記特定の画素の値は前記第１の画素の第１の値及び前記第２の画素の第２の値に基づく。
【００３６】
画素値計算ユニット５０６は、前記特定の画素の実際の値を決定するように構成される。該値は、前記第１及び第２の画像の画素値の直接のコピーであっても良い。好ましくは前記値は、とりわけ前記動きベクトルがサブ画素精度である場合には、複数の画素値の補間に基づく。
【００３７】
本発明による画素値決定ユニット５００の動作は、図３及び図４と関連して説明される。
【００３８】
動きベクトル比較ユニット５０２、決定ユニット５０４、画素値計算ユニット５０６、３フレーム動き推定器５１２及び２フレーム動き推定器５１４は、１つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。
【００３９】
異なる時間的位置ｎ−１、ｎ＋α及びｎについての動きベクトルの計算は好ましくは、前記中間画像の画素値の計算と同時に実行される。このことは、例えば時間的位置ｎ−１についての特定の動きベクトル場が、対応する元の入力ビデオ画像の全ての画素の動きを合わせて表す動きベクトルの群に、必ずしも対応しないことを意味する。換言すれば、動きベクトル場は、対応する元の入力ビデオ画像の画素の一部（例えば１０％のみ）の動きを合わせて表す動きベクトルの群に対応しても良い。
【００４０】
図６は、本発明による画像処理機器６００の実施例を模式的に示す。該画像処理機器６００は、
−ビデオ画像のシーケンスに対応する信号を受信する受信手段６０２と、
−前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する、第１の動き推定器５１２と、
−時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する出力画像について第３の動きベクトル場を推定する、第２の動き推定器５１２と、
−図５と共に説明されたような画素値決定ユニット５００と、
−画素値決定ユニット５００の出力画像を表示する表示装置６０６と、
を有する。
【００４１】
前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ６０８において供給される。画像処理機器６００は、例えばＴＶであっても良い。代替として、画像処理機器６００は、任意の表示装置を有しないが、表示装置６０６を有する機器に前記出力画像を供給する。このとき画像処理機器６００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器６００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器６００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。
【００４２】
上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。第１、第２及び第３等の語の使用は、いずれの順序をも示すものではない。これらの語は名前として解釈されるべきである。
【図面の簡単な説明】
【００４３】
【図１】場面における前景オブジェクトの動き及び背景の動きを模式的に示す。
【図２】図１に示された画像について推定された動きベクトル場を模式的に示す。
【図３】共に閉塞エリアに位置する２つの画素の例についての本発明による方法を模式的に示す。
【図４】閉塞エリアに位置しない画素の例についての本発明による方法を模式的に示す。
【図５】３つの動きベクトル場を供給される、本発明による画素値決定ユニットの実施例を模式的に示す。
【図６】本発明による画像処理機器の実施例を模式的に示す。
【技術分野】
【０００１】
本発明は、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法に関する。
【０００２】
本発明は更に、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定するための画素値決定ユニットに関する。
【０００３】
本発明は更に、かような画素値決定ユニットを有する画像処理機器に関する。
【０００４】
本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有するコンピュータプログラムに関する。
【背景技術】
【０００５】
閉塞（occlusion）エリアとは、取り込まれた場面の一部であって、一連の連続する画像の或る画像においては可視であるが、次の又は前の画像においては可視でない部分に対応するエリアを意味する。このことは、場面において、背景のオブジェクトよりもカメラに近く位置する前景のオブジェクトが、前記背景のオブジェクトの一部をカバーし得るという事実によって引き起こされる。例えば前景のオブジェクトの移動の場合には、背景のオブジェクトの幾分かの部分が閉塞させられ、一方該背景のオブジェクトの他の部分はカバーされない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
閉塞エリアは、時間的補間においてアーティファクトを引き起こし得る。例えば上方変換（up-conversion）の場合、閉塞エリアは所謂ハロー（halo）に帰着し得る。上方変換の場合、時間的補間によって上方変換された出力画像を計算するため動きベクトルが推定される。例えばO. Ojo及びG. de Haanによる論文「Robust motion-compensated video upconversion」（「IEEE Transactions on Consumer Electronics」、Vol. 43、No. 4、1997年11月、1045-1056頁）を参照されたい。時間的補間、即ち２つの元の入力画像の中間の新たな画像の計算のため、好ましくは同一のオブジェクトに関する幾つかの画素が、連続する画像からとられる。このことは、閉塞エリアの場合には簡単に為されることができない。なぜなら、連続する画像の両方において関連する画素が見出されないからである。典型的には前又は次の元画像のみの画素値の補間に基づく、他の補間戦略が必要とされる。閉塞エリアについて適切な動きベクトルの推定が重要であることは明らかであろう。
【０００７】
本発明の目的は、最初のパラグラフに記載された種類の方法であって、比較的頑強な方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の本目的は、前記方法が、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有することにより達成される。
【０００９】
本発明者は、第１の動きベクトル場の２つの適切に選択された動きベクトル間の第１の差と、第２の動きベクトル場の２つの適切に選択された動きベクトル間の第２の差とを比較することにより、前記特定の画素の値を確立するため１以上の画素値を取得するために、２つのそれぞれの画像のうちどちらが選択されるべきかを決定することが可能となることを認識した。一般に、２つの動きベクトル場のうちの一方の、２つの選択された動きベクトルは、略相互に等しい。このことは、これら２つの動きベクトルが共に背景に関連するか、又は同一の前景オブジェクトに関連する確率が比較的高いことを示唆するものである。この場合、これら２つの動きベクトルの１つを用いれば、中間画像のために適切な画素を取得できる確率が比較的高い。閉塞の場合には、一般にこれら２つの動きベクトルは共に背景に関連する。
【００１０】
動きベクトルの適切な選択は、前記特定の画素の特定の空間的位置、及び前記特定の画素について推定された特定の動きベクトルに基づく。好ましくは、前記特定の画素の特定の空間位置と第１の動きベクトルとに基づいて、第１の動きベクトル場から第２の動きベクトルが選択される。また、前記特定の画素の特定の空間的位置と第３の動きベクトルとに基づいて、第２の動きベクトル場から第４の動きベクトルが選択される。
【００１１】
値は、輝度又は色のような、人間にとって可視であるいずれかのタイプの情報を表す。
【００１２】
本発明による方法の実施例は、前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する。２つの画像のいずれかから画素値を選択する代わりに、本発明による本実施例においては、前記特定の画素の値は任意に両方の画像の画素値に基づく。このことは、２つの動きベクトル差が共に所定の閾値よりも小さいか否かを確認するテストに依存する。好ましくは、該テストは、前記２つの動きベクトル差のうち大きい方を、前記所定の閾値と比較することにより実行される。該テストは、暗に閉塞検出を意味する。前記動きベクトル差のうちの一方のみが前記所定の閾値よりも小さい場合、前記特定の空間的位置は閉塞エリアに位置すると見なされる。閉塞のタイプ、即ちカバーしているか又はしていないかは、前記２つのうちどちらが前記所定の閾値よりも小さいかに依存する。しかしながら、両方の動きベクトル差が共に前記所定の閾値よりも小さい場合には、前記特定の空間的位置は閉塞エリア中に位置しないと見なされる。後者の場合には、前記特定の画素の値は、両方の入力画像の画素値に基づく。
【００１３】
本発明による方法の実施例は、前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する。換言すれば、本発明による本実施例においては、複数の画素値の補間によりサブ画素の精度が達成される。
【００１４】
本発明の更なる目的は、最初のパラグラフに記載された種類の画素値決定ユニットであって、比較的頑強な画素値決定ユニットを提供することにある。
【００１５】
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することよって達成される。
【００１６】
本発明の更なる目的は、最初のパラグラフに記載された種類の画像処理機器であって、比較的頑強な画素値決定ユニットを有する画像処理機器を提供することにある。
【００１７】
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することによって達成される。
【００１８】
任意に、前記画像処理機器は更に、出力画像を表示するための表示装置を有する。前記画像処理機器は、例えばＴＶ、セットトップボックス、ＶＣＲ（Video Cassette Recorder）プレイヤ、衛星チューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダであっても良い。
【００１９】
本発明の更なる目的は、最初のパラグラフに記載された種類のコンピュータプログラムであって、比較的頑強なコンピュータプログラムを提供することにある。
【００２０】
本発明の本目的は、前記コンピュータプログラムが、ロードされた後に、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせることにより達成される。
【００２１】
画素値決定ユニットの変更及び変形例は、記載された画像処理機器、方法及びコンピュータプログラムの変更及び変形例に対応しても良い。
【００２２】
画素値決定ユニット、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。
【００２３】
図を通して、同一の参照番号が類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００２４】
図１は、場面における前景オブジェクト１１８の動き及び背景の動きを模式的に示す。図１においては、時間的位置ｎ−１及びｎにおける、２つの元画像１００及び１０４が示されている。これらの画像内のオブジェクト１１８は、上方向
【数１】
に移動しており、実線１０６及び１０８によって接続された灰色の長方形によって示される。長い点線矢印１１０及び１１２は、下方向である、背景の動き
【数２】
を示す。網掛けされた領域１１４及び１１６は、閉塞エリアを示す。時間的位置ｎ＋α（−１≦α≦０）に生成されるべき新たな画像１０２が、破線１２０により示される。
【００２５】
図２は、図１に示された画像について推定された動きベクトル場を模式的に示す。即ち、前記推定された動きベクトル場は、矢印によって表される。第１の動きベクトル場は、前記２つの元画像の第１のもの１００について推定され、第２の動きベクトル場は、前記２つの元画像の第２のもの１０４について推定される。これら２つの動きベクトル場は、３フレーム動き推定器により計算される。前記第１の動きベクトル場は、
【数３】
によって示される。該第１の動きベクトル場は、輝度フレーム
【数４】
、
【数５】
及び
【数６】
の間で推定される。前記第２の動きベクトル場は、
【数７】
によって示される。該第２の動きベクトル場は、輝度フレーム
【数８】
、
【数９】
及び
【数１０】
の間で推定される。これに加え、前記第１の動きベクトル場と前記第２の動きベクトル場との中間の時間的位置ｎ＋αについて、初期動きベクトル場が計算される。該初期動きベクトル場
【数１１】
は、輝度フレーム
【数１２】
及び
【数１３】
の間で推定される。前記３フレーム動き推定器の動きベクトル場
【数１４】
及び
【数１５】
は、前景オブジェクト１１８と略合致し、一方２フレーム動き推定器の動きベクトル場
【数１６】
は、背景の中へと延在する前景ベクトルを示すことに留意されたい。
【００２６】
本発明の方法によれば、時間的に第１の入力画像と第２の入力画像との中間に位置する画像が、３つの動きベクトル場
【数１７】
、
【数１８】
及び
【数１９】
を利用することにより計算されることができる。このことは、背景ベクトルが閉塞エリアにおいて決定され、前記２つの入力画像のうちの１つからの画素を取得するために適用されることを意味する。
【００２７】
図３は、空間的位置
【数２０】
及び
【数２１】
における２つの画素の例についての本発明による方法を模式的に示す。最初に、位置
【数２２】
における画素の周囲の状況を考える。動きベクトル場
【数２３】
からの動きベクトル
【数２４】
が、第１の動きベクトル場
【数２５】
及び第２の動きベクトル場
【数２６】
から、それぞれ動きベクトル
【数２７】
及び
【数２８】
を取得するために利用される。
【数２９】
【数３０】
該選択プロセスは、それぞれ太線矢印３００及び３０２によって示される。動きベクトル
【数３１】
及び
【数３２】
は共に背景ベクトルである。
【数３３】
を用いて、ベクトル
【数３４】
が
【数３５】
から取得され、
【数３６】
を用いて、ベクトル
【数３７】
が
【数３８】
から取得される。
【数３９】
【数４０】
該取得は、太点線矢印３０１及び３０３によって示される。
【数４１】
もまた背景ベクトルであるが、
【数４２】
は前景ベクトルであることが分かる。このことは、
【数４３】
及び
【数４４】
が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
【数４５】
と
【数４６】
との間にはかなりの差がある。即ち、第２の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
【数４７】
における画素の値は、時間的位置ｎにおける第２の画像１０４の画素の値に基づくであろう。なぜなら、前記第２の動きベクトル差は前記第１の動きベクトル差よりも小さいからである。
【００２８】
同様のプロセスが、位置
【数４８】
における他の画素について適切な動きベクトルを確立するために利用されることができる。動きベクトル場
【数４９】
からの動きベクトル
【数５０】
は、第１の動きベクトル場
【数５１】
及び第２の動きベクトル場
【数５２】
から、それぞれ動きベクトル
【数５３】
及び動きベクトル
【数５４】
を取得するために利用される。
【数５５】
【数５６】
該選択プロセスは、それぞれ太線矢印３０４及び３０６によって示される。ここで、取得された動きベクトル
【数５７】
及び
【数５８】
は、それぞれ背景及び前景ベクトルである。
【数５９】
を用いて、ベクトル
【数６０】
が
【数６１】
から取得され、
【数６２】
を用いて、ベクトル
【数６３】
が
【数６４】
から取得される。
【数６５】
【数６６】
該取得は、太線矢印３０４及び３０７によって示される。
【数６７】
及び
【数６８】
は共に背景ベクトルであることが分かる。このことは、
【数６９】
及び
【数７０】
が略相互に等しいこと、即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
【数７１】
と
【数７２】
との間にはかなりの差がある。即ち、第１の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
【数７３】
における画素の値は、時間的位置ｎ−１における第１の画像１００の画素の値に基づくであろう。なぜなら、前記第１の動きベクトル差は前記第２の動きベクトル差よりも小さいからである。
【００２９】
一般に、
【数７４】
である場合に閉塞が検出される。閉塞が検出された場合、カバー及び非カバーへの分類が為される。
【数７５】
である場合、画素は非カバーエリア中にあり、
【数７６】
である場合、カバーエリア中にある。従って、空間的位置
【数７７】
における画素は非カバーエリア中に位置し、空間的位置
【数７８】
における画素はカバーエリア中に位置する。
【００３０】
図４は、閉塞エリアに位置しない画素の例
【数７９】
についての本発明による方法を模式的に示す。動きベクトル場
【数８０】
からの動きベクトル
【数８１】
は、第１の動きベクトル場
【数８２】
及び第２の動きベクトル場
【数８３】
から、それぞれ動きベクトル
【数８４】
及び
【数８５】
を取得するために利用される。
【数８６】
【数８７】
該選択プロセスは、それぞれ太線矢印４００及び４０２によって示される。動きベクトル
【数８８】
及び
【数８９】
は共に前景ベクトルである。
【数９０】
を用いて、ベクトル
【数９１】
が
【数９２】
から取得され、
【数９３】
を用いて、ベクトル
【数９４】
が
【数９５】
から取得される。
【数９６】
【数９７】
該取得は、太線矢印４００及び４０２によって示される。
【数９８】
及び
【数９９】
もまた前景ベクトルであることが分かる。このことは、
【数１００】
及び
【数１０１】
が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。これに加え、
【数１０２】
及び
【数１０３】
が略相互に等しい。即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さい。それ故、中間画像１０２の空間的位置
【数１０４】
における画素の値は、時間的位置ｎ−１における第１の画像１００の第１の画素の第１の値に、及び時間的位置ｎにおける第２の画像１０４の第２の画素の第２の値に基づくであろう。
【００３１】
図５は、本発明による画素値決定ユニット５００の実施例を模式的に示す。該画素値決定ユニット５００は、時間的に第１の画像と第２の画像との中間に位置する画像を計算するように構成され、中間画像は時間位置ｎ＋αに位置する。画素値決定ユニット５００は、３つの動きベクトル場を供給される。これら供給される動きベクトル場のうちの第１のもの
【数１０５】
及び第２のもの
【数１０６】
は、３フレーム動き推定器５１２により計算される。３フレーム動き推定器５１２の例は、米国特許ＵＳ６０１１５９６に開示されている。第３の供給される動きベクトル場
【数１０７】
は、２フレーム動き推定器５１４により計算される。２フレーム動き推定器５０８は、例えばG. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transactions on circuits and systems for video technology」、Vol. 3、No. 5、1993年10月、368-379頁）に記載されている。
【００３２】
動き推定器５１２及び５１４並びに画素値決定ユニット５００は、前記第１の画像及び第２の画像並びに他の入力画像を表す入力ビデオ信号を供給される。画素値決定ユニット５００は、出力コネクタ５１８において、前記第１及び第２の画像並びに中間画像を表す出力ビデオ信号を供給する。画素値決定ユニット５００は、所定の閾値Ｔ０を表す制御信号を受信するための制御インタフェース５２０を有する。
【００３３】
本発明による画素値決定ユニット５００は、
−動きベクトル比較ユニット５０２と、
−決定ユニット５０４と、
−画素値計算ユニット５０６と、
を有する。
【００３４】
動きベクトル比較ユニット５０２は、３つの動きベクトル場
【数１０８】
、
【数１０９】
及び
【数１１０】
から、対応する動きベクトルを取得するように構成される。動きベクトル比較ユニット５０２は、
−前記第１の画像に対応する第１の動きベクトル場
【数１１１】
の第１の動きベクトル
【数１１２】
及び第２の動きベクトル
【数１１３】
に基づいて第１の動きベクトル差を計算する第１の計算ユニット５０８を有し、第１の動きベクトル
【数１１４】
は、特定の画素の特定の空間的位置
【数１１５】
と該特定の画素について推定された特定の動きベクトル
【数１１６】
とに基づいて、第１の動きベクトル場
【数１１７】
から選択され、動きベクトル比較ユニット５０２は更に、
−前記第２の画像に対応する第２の動きベクトル場
【数１１８】
の第３の動きベクトル
【数１１９】
及び第４の動きベクトル
【数１２０】
に基づいて第２の動きベクトル差を計算する第２の計算ユニット５１０を有し、第３の動きベクトル
【数１２１】
は、特定の画素の特定の空間的位置
【数１２２】
と該特定の画素について推定された特定の動きベクトル
【数１２３】
とに基づいて、第２の動きベクトル場
【数１２４】
から選択される。
【００３５】
決定ユニット５０４は、前記特定の画素が位置するエリアのタイプを決定するように構成される。従って、決定ユニット５０４は、２つの前記動きベクトル差が、所定の閾値Ｔ０よりも小さいか否かをチェックするように構成される。このとき、前記エリアのタイプは、式９乃至１１において示されたように確立される。決定ユニット５０４は更に、前記中間画像の前記特定の画素の画素値の計算のため、前記第１又は第２の画像から画素値を取得するために、どの動きベクトル又は任意にどの複数の動きベクトルが利用されるべきであるかをチェックするように構成される。一般に、前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第１の画像の第１の画素の第１の値に基づき、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第２の画像の第２の画素の第２の値に基づく。前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値Ｔ０よりも小さい場合には、前記特定の画素の値は前記第１の画素の第１の値及び前記第２の画素の第２の値に基づく。
【００３６】
画素値計算ユニット５０６は、前記特定の画素の実際の値を決定するように構成される。該値は、前記第１及び第２の画像の画素値の直接のコピーであっても良い。好ましくは前記値は、とりわけ前記動きベクトルがサブ画素精度である場合には、複数の画素値の補間に基づく。
【００３７】
本発明による画素値決定ユニット５００の動作は、図３及び図４と関連して説明される。
【００３８】
動きベクトル比較ユニット５０２、決定ユニット５０４、画素値計算ユニット５０６、３フレーム動き推定器５１２及び２フレーム動き推定器５１４は、１つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。
【００３９】
異なる時間的位置ｎ−１、ｎ＋α及びｎについての動きベクトルの計算は好ましくは、前記中間画像の画素値の計算と同時に実行される。このことは、例えば時間的位置ｎ−１についての特定の動きベクトル場が、対応する元の入力ビデオ画像の全ての画素の動きを合わせて表す動きベクトルの群に、必ずしも対応しないことを意味する。換言すれば、動きベクトル場は、対応する元の入力ビデオ画像の画素の一部（例えば１０％のみ）の動きを合わせて表す動きベクトルの群に対応しても良い。
【００４０】
図６は、本発明による画像処理機器６００の実施例を模式的に示す。該画像処理機器６００は、
−ビデオ画像のシーケンスに対応する信号を受信する受信手段６０２と、
−前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する、第１の動き推定器５１２と、
−時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する出力画像について第３の動きベクトル場を推定する、第２の動き推定器５１２と、
−図５と共に説明されたような画素値決定ユニット５００と、
−画素値決定ユニット５００の出力画像を表示する表示装置６０６と、
を有する。
【００４１】
前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ６０８において供給される。画像処理機器６００は、例えばＴＶであっても良い。代替として、画像処理機器６００は、任意の表示装置を有しないが、表示装置６０６を有する機器に前記出力画像を供給する。このとき画像処理機器６００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器６００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器６００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。
【００４２】
上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。第１、第２及び第３等の語の使用は、いずれの順序をも示すものではない。これらの語は名前として解釈されるべきである。
【図面の簡単な説明】
【００４３】
【図１】場面における前景オブジェクトの動き及び背景の動きを模式的に示す。
【図２】図１に示された画像について推定された動きベクトル場を模式的に示す。
【図３】共に閉塞エリアに位置する２つの画素の例についての本発明による方法を模式的に示す。
【図４】閉塞エリアに位置しない画素の例についての本発明による方法を模式的に示す。
【図５】３つの動きベクトル場を供給される、本発明による画素値決定ユニットの実施例を模式的に示す。
【図６】本発明による画像処理機器の実施例を模式的に示す。
【特許請求の範囲】
【請求項１】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法であって、前記方法は、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有する方法。
【請求項２】
前記第２の動きベクトルは、前記特定の画素の特定の空間的位置と前記第１の動きベクトルとに基づいて、前記第１の動きベクトル場から選択される、請求項１に記載の特定の画素について値を決定する方法。
【請求項３】
前記第４の動きベクトルは、前記特定の画素の特定の空間的位置と前記第３の動きベクトルとに基づいて、前記第２の動きベクトル場から選択される、請求項２に記載の特定の画素について値を決定する方法。
【請求項４】
前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
【請求項５】
前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
【請求項６】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットであって、前記画素値決定ユニットは、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画素値決定ユニット。
【請求項７】
ビデオ画像のシーケンスに対応する信号を受信する受信手段と、
前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する動き推定手段と、
時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットと、
を有する画像処理機器であって、前記画素値決定ユニットは、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記ビデオ画像の第１ものの第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記ビデオ画像の第２のものの第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画像処理機器。
【請求項８】
出力画像を表示する表示装置を更に有する、請求項７に記載の画像処理機器。
【請求項９】
ＴＶである、請求項８に記載の画像処理機器。
【請求項１０】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータプログラムは、ロードされた後に、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせるコンピュータプログラム。
【請求項１】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法であって、前記方法は、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有する方法。
【請求項２】
前記第２の動きベクトルは、前記特定の画素の特定の空間的位置と前記第１の動きベクトルとに基づいて、前記第１の動きベクトル場から選択される、請求項１に記載の特定の画素について値を決定する方法。
【請求項３】
前記第４の動きベクトルは、前記特定の画素の特定の空間的位置と前記第３の動きベクトルとに基づいて、前記第２の動きベクトル場から選択される、請求項２に記載の特定の画素について値を決定する方法。
【請求項４】
前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
【請求項５】
前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
【請求項６】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットであって、前記画素値決定ユニットは、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画素値決定ユニット。
【請求項７】
ビデオ画像のシーケンスに対応する信号を受信する受信手段と、
前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する動き推定手段と、
時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットと、
を有する画像処理機器であって、前記画素値決定ユニットは、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記ビデオ画像の第１ものの第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記ビデオ画像の第２のものの第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画像処理機器。
【請求項８】
出力画像を表示する表示装置を更に有する、請求項７に記載の画像処理機器。
【請求項９】
ＴＶである、請求項８に記載の画像処理機器。
【請求項１０】
時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータプログラムは、ロードされた後に、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２００７−５０４７００（Ｐ２００７−５０４７００Ａ）
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００６−５２４４９９（Ｐ２００６−５２４４９９）
【出願日】平成１６年８月２３日（２００４．８．２３）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１５３０
【国際公開番号】ＷＯ２００５／０２２９２２
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１６年８月２３日（２００４．８．２３）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１５３０
【国際公開番号】ＷＯ２００５／０２２９２２
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]