動き補償画像信号の補間
第１の画像から第１の所定の時間距離（a）にあり、第２の画像から第２の所定の時間距離（1-a）にある補間画像を生成する動き補償画像信号補間ユニット（200）が開示される。補間ユニット（200）は、第１及び第２の画像に関する第１及び第２の動きベクトルを供給する動き推定手段（202）と、第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給する供給手段（204、206）と、第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像（102）の第１の画素の第１の値を作るフィルタリング手段（212）とを有し、第１の指数は第２の指数に実質的に等しく、第１の指数は、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとの間の第１の空間距離（x1）と、第１の所定の時間距離（a）とにより決定され、第２の指数は、第２のグループのサンプルの第１のものと第２のグループのサンプルの第２のものとの間の第２の空間距離（x2）と、第２の所定の時間距離（1-a）とにより決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットに関し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、補間ユニットは、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給する動き推定手段と、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給する供給手段と、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作るフィルタリング手段と
を有する。
【０００２】
本発明は、
−第１及び第２の画像を表す画像信号を受信する受信手段と、
−受信手段に結合され、第１及び第２の画像の中間にある補間画像を生成し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にある動き補償画像信号補間ユニットと
を有する画像処理装置に更に関する。
【０００３】
本発明は、第１及び第２の画像の中間にある補間画像を生成する方法に関し、補間画像は第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、前記方法は、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作ることを有する。
【０００４】
本発明は、コンピュータ構成によりロードされるコンピュータプログラムプロダクトに更に関し、第１及び第２の画像の中間にある補間画像を生成する命令を有し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、コンピュータ構成は処理手段とメモリとを有し、コンピュータプログラムプロダクトは、ロードされた後に、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作る
ことを実行する機能をその処理手段に提供する。
【背景技術】
【０００５】
冒頭パラグラフに記載したようなユニットの実施例は、US特許US5,534,946から知られている。US5,534,946では、動き補償画像信号補間装置が開示されており、少なくとも２つの動きベクトルに対応する動き補償画素値を供給する切り替えメモリを有する。動き補償画素値は順序統計フィルタを用いて処理される。
【０００６】
例えば推定器の範囲外にあるため、又は速度フィールドが非常に一貫しないため、画像の非常に複雑且つ高速な移動が正確に推定不可能である場合、推定の動きベクトルは不正確であり、これらの動きベクトルに基づく動き補償された補間は誤った結果を生じる。主観的に、特に高い空間的詳細が存在する場合には、このような不正確な動きベクトルから生じた結果は、画面で孤立した目立つ点に集中する傾向にあるため、一時的に静止物の周辺で非常に邪魔になる。換言すると、補間の質（特にエッジの保存）は動きベクトルの質に依存する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
動きベクトルの質と比較的無関係に実質的にエッジを保存するように構成され、冒頭パラグラフに記載されたような画像信号補間ユニットを提供することが、本発明の目的である。
【課題を解決するための手段】
【０００８】
本発明のこの目的は、第２の指数に実質的に等しい第１の指数が存在し、第１の指数は、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとの間の第１の空間距離と、第１の所定の時間距離とにより決定され、第２の指数は、第２のグループのサンプルの第１のものと第２のグループのサンプルの第２のものとの間の第２の空間距離と、第２の所定の時間距離とにより決定される。
【０００９】
補間（すなわち、補間画像の画素値の計算は、第１の画像及び第２の画像から導かれるサンプルに基づく。しかし、第１の時間距離は第２の時間距離と異なるため、第１の画像のサンプルの密度は、第２の画像のサンプルの密度と一般的には異なる。このことは、第１のグループの左側サンプルと右側サンプルとの間の空間距離（すなわち、第１の画像の空間範囲）は、第２のグループの左側サンプルと右側サンプルとの間の空間距離（すなわち、第２の画像の空間範囲）より大きい又は小さいことを意味する。
【００１０】
第１のグループ及び第２のグループのサンプル数は、相互に等しいことが好ましい。第１のグループ及び第２のグループのサンプル数は予め定められている（すなわち一定である）。このことは、サンプル数が第１の時間距離と無関係であることを意味する。第１の画像の空間範囲は、第１の時間距離に関係し、第２の画像の空間距離は、第２の時間距離に関係する。従って、第３の指数は実質的に第４の指数に等しく、第３の指数は、第１の画像の空間範囲と第１の所定の時間距離とにより決定され、第４の指数は、第２の画像の空間範囲と第２の所定の時間距離とにより決定される。
【００１１】
第１の画像の空間範囲は、補正が実現可能な第１の動きベクトルの最大誤差に関係する。第１の動きベクトルが補間画像の第１の画素と第１のグループのサンプルの中央のサンプルとを接続することを仮定する。この場合、第１のグループの他のサンプルは、適切なサンプルが第１の動きベクトルの誤差を考慮に入れて取得され得る空間環境内で、この中央のサンプルの周りにある。第１の画像から離れるほど、第１の動きベクトルの誤差により生じる有効の空間の偏差が大きくなるため、空間環境は第１の時間距離に関係する。
【００１２】
本発明による動き補償画像信号補間ユニットの実施例では、フィルタリング手段は中央値フィルタを有する。重み付き中央値フィルタが適用されることが好ましい。このことは、第１のグループ及び第２のグループのサンプルが、それぞれ整数の重み付け係数で繰り返され、順序付けられることを意味する。サンプルを順序付けして、次に１より大きい重みでサンプルを繰り返すことも可能である。その結果、順序付けしたサンプルの全セットは、例えば第１のグループの単一のサンプルに基づく複数のサンプルを有する。
【００１３】
重み付き中央値フィルタを有する本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの特定のサンプルを重み付けする重み付き中央値フィルタの特定の重み付け係数は、第１のグループのサンプルの各サンプルを更に重み付けする更なる重み付け係数のそれぞれより大きく、特定のサンプルは、第１のグループのサンプルの中央にある。特定の重み付け係数は、更なる重み付け係数の合計より大きいことが好ましい。
【００１４】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものに対応する第２の値は、第１の画像の画素の第３のものの第３の値に等しい。換言すると、サンプルの第１のものは、第１の画像の画素値に直接に対応する。この実施例の利点は、サンプルの規定が比較的簡単なことである。
【００１５】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものに対応する第２の値は、画素の第３のものの空間環境において、第１の画像の画素の第３のものの第３の値と、第１の画像の画素の第４のものの第４の値との補間を用いて計算される。換言すると、サンプルの第１のものは、第１の画像の２つ以上の画素値の結合に対応する。
【００１６】
次に、実質的に等しいことが何を意味するかについて定められ得る。前述のように、第１のグループでのサンプル間の第１の空間距離は、まず第一に、第１の時間距離に基づく。これらのサンプルの取得は、第１の画像に対応する所定のグリッドからの画素値の直接の選択、又はそのグリッドの複数の画素値の補間に基づく。その直接の選択は、計算リソースの使用量に関して選択されることが明らかである。そのため、画素値を直接に選択することが有利であり、切り捨て誤差又は丸め誤差を生じる。その結果、第１の空間距離は第１の時間距離に正確に関係せず、実質的に関係する。同じことが、第１の時間距離に関係する第１の画像の空間範囲に当てはまる。同様の検討が、第２のグループのサンプルのサンプルに適用できる。
【００１７】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、第１の動きベクトルに一致する。換言すると、第１のグループのサンプルは、中央のサンプルの周辺の空間環境で任意に取得されず、第１の動きベクトルに対応した方向を有する線に配置される。
【００１８】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、第１の動きベクトルの空間環境において第１の動きベクトルと第３の動きベクトルとの差に対応する差分ベクトルに一致する。換言すると、第１のグループのサンプルは、差分動きベクトルに対応した方向を有する線に配置される。第３の動きベクトルは、第１の動きベクトルと実質的に異なるベクトルに対応することが好ましい。
【００１９】
本発明による動き補償画像信号補間ユニットの実施例は、第１の画像のエッジの方位を検出するエッジ検出手段を更に有し、それによって、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、エッジの方位と直交する。本発明のこの実施例による利点は、エッジの保存が更に改善される点にある。
【００２０】
本発明の第２の態様は、請求項１１に記載の画像処理装置を提供する。画像処理装置は、補間画像を表示し、好ましくは第１及び第２の画像をも表示する表示装置を任意選択で有する。画像処理装置は、例えば、TV、セットトップボックス、VCR（Video Cassette Recorder）プレイヤ、衛星チューナ、DVD（Digital Versatile Disk）プレイヤ又はレコーダでもよい。
【００２１】
本発明の第３の態様は、請求項１３に記載の方法を提供する。
【００２２】
本発明の第４の態様は、請求項１４に記載のコンピュータプログラムプロダクトを提供する。
【００２３】
画像信号補間ユニットの変更及びその改良は、記載された画像処理装置、方法及びコンピュータプログラムプロダクトのその変更及び改良に対応し得る。
【発明を実施するための最良の形態】
【００２４】
本発明による画像信号補間ユニット、画像処理装置、方法及びコンピュータプログラムプロダクトの前記及び他の態様は、以下に説明する実装及び実施例について、添付図面を参照して明らかになる。
【００２５】
図面を通じて同様の部分を示すために、同じ参照数字が使用される。
【００２６】
図１は、２つの入力画像100及び104と、これらの入力画像100及び104の中間にある補間画像102とを概略的に示している。第１の入力画像100は、時間nに対応し、第２の入力画像104は、時間n+1に対応する。中間画像102は、時間n+α（0＜α＜1）に対応する。従って、第１の入力画像100と補間画像102との間の第１の時間距離はαに等しく、第２の入力画像104と補間画像102との間の第２の時間距離は1-αに等しい。
【００２７】
中間画像102の特定の画素126は、第１の入力画像100から導かれる第１のグループのサンプル106-114と、第２の入力画像104から導かれる第２のグループのサンプル116-124とを有するサンプルのセットでの順序統計動作に基づいて計算される。第１のグループのサンプル116-114と中間画像102の特定の画素126との間の関係は、第１の動きベクトル
【００２８】
（外１）
により決定される。特に、第１の動きベクトル
【００２９】
（外２）
は、特定の画素126と第１のグループのサンプルの中央のサンプル110とを接続する。第２のグループのサンプル116-124と中間画像102の特定の画素126との間の関係は、第２の動きベクトル
【００３０】
（外３）
により決定される。特に、第２の動きベクトル
【００３１】
（外４）
は、特定の画素126と第２のグループのサンプルの中央のサンプル120とを接続する。
【００３２】
第１のグループのサンプルの第１のもの108と第１のグループのサンプルの第２のもの106との間の第１の区間距離x1は、第１の時間距離αに基づく。第１の空間距離x1と第１の時間距離αとの間の関係は、第１の指数と呼ばれる。
【００３３】
アナログビデオ信号が本発明による画像信号補間ユニットに提供される場合、第１及び第２のグループのサンプルの取得は、第１の時間距離αに基づいて直接に制御され得る。しかし、受信ビデオ信号のサンプリング（すなわち画素値の決定）が、所定のサンプリンググリッド（すなわち、一定の空間距離）で画像処理装置の他の部分で実行される場合、第１のグループのサンプル106-114を生成するために、別の手段が必要になることがある。第１のグループのサンプルは、補間画像102の第１の画素に接続されている中央の画素のあたりの特定の周辺の画素の部分の値のみを取り込むことにより作られてもよい。このことは、サブサンプリングが適用されることを意味する。従って、例えばそれぞれの第２又は第３の画素が取り込まれる。代替として、第１のグループのサンプル106-114のサンプルは、利用可能な画素値の補間を用いて計算される。
【００３４】
第２のグループのサンプルの第１のもの118と第２のグループのサンプルの第２のもの116との間の第２の空間距離x2は、第２の時間距離1-αに基づく。第２の空間距離x2と第２の時間距離1-αとの間の関係は、第２の指数と呼ばれる。第１の指数は第２の指数に実質的に等しい。
【００３５】
【数１】
図２は、本発明による補間ユニット200の実施例を概略的に示している。補間ユニット200は、その入力コネクタ210に、第１の画像100と第２の画像104とを有するビデオ信号が与えられる。補間ユニット200は、第１の画像100と第２の画像104との中間にある補間画像102を計算するように構成される。補間画像100は、第１の画像100から第１の所定の時間距離αにあり、第２の画像104から第２の所定の時間距離1-αにある。補間画像102、第１の画像100及び第２の画像は、補間ユニット200の出力コネクタ212に与えられる。
【００３６】
補間ユニット200は、
−第１の画像100及び第２の画像102に関係する第１
【００３７】
（外５）
及び第２
【００３８】
（外６）
の動きベクトルを供給する動き推定ユニット202と、
−第１の画像100の画素の値、第１の動きベクトル
【００３９】
（外７）
及び第１の所定の時間距離αに基づいて第１のグループのサンプル106-114を生成する第１のサンプル生成ユニット204とを有する。所要の入力は、入力コネクタ210と動き推定ユニット202と制御インタフェース214とをそれぞれ用いて提供される。更に、
−第２の画像104の画素の値、第２の動きベクトル
【００４０】
（外８）
及び第２の所定の時間距離1-αに基づいて第２のグループのサンプル116-124を生成する第２のサンプル生成ユニット206を有する。所要の入力は、入力コネクタ210と動き推定ユニット202と制御インタフェース214とをそれぞれ用いて提供される。更に、
−第１のグループ106-114及び第２のグループ116-124のサンプルをフィルタリングし、補間画像の第１の画素の第１の値を作る中央重み付き中央値フィルタ208を有する。
【００４１】
補間ユニット200の動作は以下の通りである。第１の所定の時間距離α=1/4で、補間画像102の第１の画素126の値が計算される必要があることを仮定する。第１の画素126に関係する第１の動きベクトル
【００４２】
（外９）
は既知である。この第１の動きベクトル
【００４３】
（外１０）
は、第１の画素126を第１の画像100の第１の特定の画素110に関連付ける。この第１の特定の画素110は、第１のグループのサンプルの中央のサンプルとして取り込まれる。その後、この第１の特定の画素の空間環境において、更なるサンプルが計算される。第１の画像が、相互に1mmで配置された画素の離散集合を有することを仮定する。この場合、第１のグループのサンプルは、相互に1/4mmの第１の空間距離x1を有するサンプルを有する。第１の指数は、
【００４４】
（外１１）
になる。第１のグループのサンプルは、合計で７のサンプルを有する。
【００４５】
第１の画素126に関係する第２の動きベクトル
【００４６】
（外１２）
は既知である。この第２の動きベクトル
【００４７】
（外１３）
は、第１の画素126を第２の画像120の第２の特定の画素120に関連付ける。この第２の特定の画素120は、第２のグループのサンプルの中央のサンプルとして取り込まれる。その後、この第２の特定の画素の空間環境において、更なるサンプルが計算される。第２のグループのサンプルは、相互に3/4mmの第２の空間距離x2を有するサンプルを有する。第２の指数は、
【００４８】
（外１４）
になる。第２のグループのサンプルは、合計で７のサンプルを有する。
【００４９】
第１の空間距離x1及び第２の空間距離x2はまた、双方とも４倍だけ高くなるように選択されていてもよいことは明らかである。このことは、第１のグループのサンプルが複数の隣接画素に基づき、第２のグループの画素が第２の特定の画素の環境でのサブサンプリングに基づく複数の画素に基づくことを意味する。
【００５０】
２つのグループのサンプルは、中央重み付き中央値フィルタ208に提供される。第１のグループの中央のサンプル及び第２のグループのサンプルは、比較的高い重み付け係数（すなわち7に等しい）で重み付けされる。その他は、1に等しい重み付け係数でサンプリングされる。このことは、第１のグループのサンプルの重み付け係数は、それぞれ1、1、1、7、1、1及び1であり、第２のグループのサンプルの重み付け係数は、それぞれ1、1、1、7、1、1及び1であることを意味する。
【００５１】
第１の画素126の最終的な値は、サンプルの全セットの中央値に対応する。
【００５２】
サンプルのグループはまた、より多くのサンプルを有してもよく、これらのサンプルはまた、中央の画素からの２次元環境から取り込まれてもよいことは明らかである。
【００５３】
動き推定ユニット202は、例えばG.de Haan他による“True-Motion Estimation with 3-D Recursive Search Block Matching”、IEEE Transactions on circuits and systems for video technology、vol.3、no.5、1993年10月、368-379ページに記されている。
【００５４】
サンプルの生成は、以下の制約により定められる。第１の指数は第２の指数に実質的に等しく、第１の指数は、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとの間の第１の空間距離と、第１の所定の時間距離とによって決定され、第２の指数は、第２のグループのサンプルの第１のものと第２のグループのサンプルの第２のものとの間の第２の空間距離と、第２の所定の時間間隔とによって決定される。
【００５５】
動き推定ユニット202、第１のサンプル生成ユニット204、第２のサンプル生成ユニット206及び中央重み付き中央値フィルタ208は、１つのプロセッサを使用して実装されてもよい。通常では、これらの機能はソフトウェアプログラムプロダクトの制御で実行される。実行中に、通常では、ソフトウェアプログラムプロダクトはメモリ（RAM等）にロードされ、そこから実行される。プログラムは、バックグラウンドメモリ（ROM、ハードディスク又は磁気及び／又は光記憶装置等）からロードされてもよく、インターネットのようなネットワークを介してロードされてもよい。任意選択で、特定用途向け集積回路が開示された機能を提供する。
【００５６】
図３Ａは、２つの入力画像100及び104と、これらの入力画像100及び104の中間にある補間画像102とを概略的に示している。第１の入力画像100は、時間nに対応し、第２の入力画像104は、時間n+1に対応する。中間画像102は、時間n+α（α=1/2）に対応する。従って、第１の入力画像100と補間画像102との間の第１の時間距離と、第２の入力画像104と補間画像102との間の第２の時間距離とは相互に等しい。第１の画像100には第１のエッジ300があり、その第１のエッジ300は、輝度の過渡状態が存在することを意味する。また、第２の画像104には、第１の画像の第１のエッジ300に対応する第２のエッジ304がある。第１の画像100のサンプルと第２の画像104のサンプルの適切な選択のため、ミラー線310及び整合線312とによってわかるように、補間画像の第３のエッジ302は正確な位置にある。第１の画像100の中央のサンプル110は、第１のグループの全サンプルのうち最大の重み付け係数を有する。第２の画像104の中央のサンプル120は、第２のグループの全サンプルのうち最大の重み付け係数を有する。
【００５７】
図３Ｂは、２つの入力画像100、104と、α=1/4でのこれらの入力画像の中間の補間画像102とにおけるエッジ300-304を概略的に示している。図３Ａとの差は、第１の画像100から導かれるサンプル間の第１の空間距離x1が、第２の画像104から導かれるサンプル間の第２の空間距離x2より小さい点にある。
【００５８】
図４Ａは、中央のサンプル110に関して垂直に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。中央のサンプル110は、補間画像102の第１の画素126に接続されている第１の動きベクトル
【００５９】
（外１５）
にある。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６０】
図４Ｂは、中央のサンプルに関して水平に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。中央のサンプル110は、補間画像102の第１の画素126に接続されている第１の動きベクトル
【００６１】
（外１６）
にある。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６２】
図４Ｃは、中央のサンプル110に関して垂直に配置されたサンプルと、中央のサンプル110に関して水平に配置されたサンプルとの第１のグループのサンプル106-114を概略的に示している。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６３】
図４Ｄは、第１の動きベクトル
【００６４】
（外１７）
に対応する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。換言すると、サンプルの第１のもの106とサンプルの第２のもの114とを接続する線分の方向は、第１の動きベクトル
【００６５】
（外１８）
の方向と一致する。第１の動きベクトル
【００６６】
（外１９）
の方向が実質的に正確であるが、その長さが正確でない場合に、この選択手法は有利である。
【００６７】
図４Ｅは、差分動きベクトル
【００６８】
（外２０）
に対応する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。換言すると、サンプルの第１のもの106とサンプルの第２のもの114とを接続する線分の方向は、差分ベクトル
【００６９】
（外２１）
に一致する。この差分ベクトル
【００７０】
（外２２）
は、第１の動きベクトル
【００７１】
（外２３）
の空間環境において、第１の動きベクトル
【００７２】
（外２４）
と第３の動きベクトル
【００７３】
（外２５）
との間の差に対応する。第３の動きベクトル
【００７４】
（外２６）
は、第１の動きベクトル
【００７５】
（外２７）
との最大の差を有する第１の動きベクトル
【００７６】
（外２８）
の空間環境における動きベクトルであることが好ましい。
【００７７】
図４Ｆは、第１の画像100の物体402のエッジ300に直交する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。エッジ300は、エッジ検出ユニットを用いて決定されている。
【００７８】
図５は、本発明による画像処理装置500の実施例を示しており、
−画像を表す信号を受信する受信手段502と、
−図２及び３に関して説明した動き補償画像信号補間ユニット200と、
−動き補償画像信号補間ユニット200の出力画像を表示する表示装置504と
を有する。この表示装置506は任意選択である。信号は、アンテナ又はケーブルを介して受信した放送信号でもよく、また、VCR（Video Cassette Recorder）又はDVD（Digital Versatile Disk）のような記憶装置からの信号でもよい。信号は入力コネクタ510に提供される。画像処理装置500は、例えばTVでもよい。代替として、画像処理装置500は任意選択の表示装置を有さず、表示装置506を有する装置にHD画像を提供する。画像処理装置500は、例えば、セットトップボックス、衛星チューナ、VCRプレイヤ又はDVDプレイやでもよい。それはまた、映画スタジオ又は放送局により用いられるシステムでもよい。
【００７９】
前述の実施例は本発明を限定するのではなく例示するものであり、特許請求の範囲を逸脱することなく、当業者は代替実施例を設計することができる点に留意すべきである。請求項において、括弧の間の参照符号は請求項を限定するものとして解釈されるべきではない。‘有する’という用語は、請求項に記載されていない要素又はステップを除外するものではない。単数の要素は、そのような要素の複数の存在を除外するものではない。本発明は、複数の異なる要素を有するハードウェアを用いて、適切にプログラムされたコンピュータを用いて実装され得る。複数の手段を列挙したユニットの請求項において、複数のこれらの手段は、同一のハードウェアのアイテムに具現されてもよい。
【図面の簡単な説明】
【００８０】
【図１】２つの入力画像及びこれらの入力画像の中間にある補間画像を示した概略図である。
【図２】本発明による画像信号補間ユニットの実施例を示した概略図である。
【図３Ａ】２つの入力画像及びα=1/2でのこれらの入力画像の中間にある補間画像でのエッジを示した概略図である。
【図３Ｂ】２つの入力画像及びα=1/4でのこれらの入力画像の中間にある補間画像でのエッジを示した概略図である。
【図４Ａ】中央のサンプルに関して垂直に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｂ】中央のサンプルに関して水平に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｃ】中央のサンプルに関して垂直に配置されたサンプルと、中央のサンプルに関して水平に配置されたサンプルとの第１のグループのサンプルを示した概略図である。
【図４Ｄ】第１の動きベクトルに対応する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｅ】差分動きベクトルに対応する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｆ】エッジに直交する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図５】本発明による画像処理装置の実施例を示した概略図である。
【技術分野】
【０００１】
本発明は、第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットに関し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、補間ユニットは、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給する動き推定手段と、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給する供給手段と、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作るフィルタリング手段と
を有する。
【０００２】
本発明は、
−第１及び第２の画像を表す画像信号を受信する受信手段と、
−受信手段に結合され、第１及び第２の画像の中間にある補間画像を生成し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にある動き補償画像信号補間ユニットと
を有する画像処理装置に更に関する。
【０００３】
本発明は、第１及び第２の画像の中間にある補間画像を生成する方法に関し、補間画像は第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、前記方法は、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作ることを有する。
【０００４】
本発明は、コンピュータ構成によりロードされるコンピュータプログラムプロダクトに更に関し、第１及び第２の画像の中間にある補間画像を生成する命令を有し、補間画像は、第１の画像から第１の所定の時間距離にあり、第２の画像から第２の所定の時間距離にあり、コンピュータ構成は処理手段とメモリとを有し、コンピュータプログラムプロダクトは、ロードされた後に、
−第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−第１の画像の画素の値と第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、第２の画像の画素の値と第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−第１及び第２のグループのサンプルを順序統計フィルタリングし、補間画像の第１の画素の第１の値を作る
ことを実行する機能をその処理手段に提供する。
【背景技術】
【０００５】
冒頭パラグラフに記載したようなユニットの実施例は、US特許US5,534,946から知られている。US5,534,946では、動き補償画像信号補間装置が開示されており、少なくとも２つの動きベクトルに対応する動き補償画素値を供給する切り替えメモリを有する。動き補償画素値は順序統計フィルタを用いて処理される。
【０００６】
例えば推定器の範囲外にあるため、又は速度フィールドが非常に一貫しないため、画像の非常に複雑且つ高速な移動が正確に推定不可能である場合、推定の動きベクトルは不正確であり、これらの動きベクトルに基づく動き補償された補間は誤った結果を生じる。主観的に、特に高い空間的詳細が存在する場合には、このような不正確な動きベクトルから生じた結果は、画面で孤立した目立つ点に集中する傾向にあるため、一時的に静止物の周辺で非常に邪魔になる。換言すると、補間の質（特にエッジの保存）は動きベクトルの質に依存する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
動きベクトルの質と比較的無関係に実質的にエッジを保存するように構成され、冒頭パラグラフに記載されたような画像信号補間ユニットを提供することが、本発明の目的である。
【課題を解決するための手段】
【０００８】
本発明のこの目的は、第２の指数に実質的に等しい第１の指数が存在し、第１の指数は、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとの間の第１の空間距離と、第１の所定の時間距離とにより決定され、第２の指数は、第２のグループのサンプルの第１のものと第２のグループのサンプルの第２のものとの間の第２の空間距離と、第２の所定の時間距離とにより決定される。
【０００９】
補間（すなわち、補間画像の画素値の計算は、第１の画像及び第２の画像から導かれるサンプルに基づく。しかし、第１の時間距離は第２の時間距離と異なるため、第１の画像のサンプルの密度は、第２の画像のサンプルの密度と一般的には異なる。このことは、第１のグループの左側サンプルと右側サンプルとの間の空間距離（すなわち、第１の画像の空間範囲）は、第２のグループの左側サンプルと右側サンプルとの間の空間距離（すなわち、第２の画像の空間範囲）より大きい又は小さいことを意味する。
【００１０】
第１のグループ及び第２のグループのサンプル数は、相互に等しいことが好ましい。第１のグループ及び第２のグループのサンプル数は予め定められている（すなわち一定である）。このことは、サンプル数が第１の時間距離と無関係であることを意味する。第１の画像の空間範囲は、第１の時間距離に関係し、第２の画像の空間距離は、第２の時間距離に関係する。従って、第３の指数は実質的に第４の指数に等しく、第３の指数は、第１の画像の空間範囲と第１の所定の時間距離とにより決定され、第４の指数は、第２の画像の空間範囲と第２の所定の時間距離とにより決定される。
【００１１】
第１の画像の空間範囲は、補正が実現可能な第１の動きベクトルの最大誤差に関係する。第１の動きベクトルが補間画像の第１の画素と第１のグループのサンプルの中央のサンプルとを接続することを仮定する。この場合、第１のグループの他のサンプルは、適切なサンプルが第１の動きベクトルの誤差を考慮に入れて取得され得る空間環境内で、この中央のサンプルの周りにある。第１の画像から離れるほど、第１の動きベクトルの誤差により生じる有効の空間の偏差が大きくなるため、空間環境は第１の時間距離に関係する。
【００１２】
本発明による動き補償画像信号補間ユニットの実施例では、フィルタリング手段は中央値フィルタを有する。重み付き中央値フィルタが適用されることが好ましい。このことは、第１のグループ及び第２のグループのサンプルが、それぞれ整数の重み付け係数で繰り返され、順序付けられることを意味する。サンプルを順序付けして、次に１より大きい重みでサンプルを繰り返すことも可能である。その結果、順序付けしたサンプルの全セットは、例えば第１のグループの単一のサンプルに基づく複数のサンプルを有する。
【００１３】
重み付き中央値フィルタを有する本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの特定のサンプルを重み付けする重み付き中央値フィルタの特定の重み付け係数は、第１のグループのサンプルの各サンプルを更に重み付けする更なる重み付け係数のそれぞれより大きく、特定のサンプルは、第１のグループのサンプルの中央にある。特定の重み付け係数は、更なる重み付け係数の合計より大きいことが好ましい。
【００１４】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものに対応する第２の値は、第１の画像の画素の第３のものの第３の値に等しい。換言すると、サンプルの第１のものは、第１の画像の画素値に直接に対応する。この実施例の利点は、サンプルの規定が比較的簡単なことである。
【００１５】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものに対応する第２の値は、画素の第３のものの空間環境において、第１の画像の画素の第３のものの第３の値と、第１の画像の画素の第４のものの第４の値との補間を用いて計算される。換言すると、サンプルの第１のものは、第１の画像の２つ以上の画素値の結合に対応する。
【００１６】
次に、実質的に等しいことが何を意味するかについて定められ得る。前述のように、第１のグループでのサンプル間の第１の空間距離は、まず第一に、第１の時間距離に基づく。これらのサンプルの取得は、第１の画像に対応する所定のグリッドからの画素値の直接の選択、又はそのグリッドの複数の画素値の補間に基づく。その直接の選択は、計算リソースの使用量に関して選択されることが明らかである。そのため、画素値を直接に選択することが有利であり、切り捨て誤差又は丸め誤差を生じる。その結果、第１の空間距離は第１の時間距離に正確に関係せず、実質的に関係する。同じことが、第１の時間距離に関係する第１の画像の空間範囲に当てはまる。同様の検討が、第２のグループのサンプルのサンプルに適用できる。
【００１７】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、第１の動きベクトルに一致する。換言すると、第１のグループのサンプルは、中央のサンプルの周辺の空間環境で任意に取得されず、第１の動きベクトルに対応した方向を有する線に配置される。
【００１８】
本発明による動き補償画像信号補間ユニットの実施例において、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、第１の動きベクトルの空間環境において第１の動きベクトルと第３の動きベクトルとの差に対応する差分ベクトルに一致する。換言すると、第１のグループのサンプルは、差分動きベクトルに対応した方向を有する線に配置される。第３の動きベクトルは、第１の動きベクトルと実質的に異なるベクトルに対応することが好ましい。
【００１９】
本発明による動き補償画像信号補間ユニットの実施例は、第１の画像のエッジの方位を検出するエッジ検出手段を更に有し、それによって、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとを接続する線分の方向は、エッジの方位と直交する。本発明のこの実施例による利点は、エッジの保存が更に改善される点にある。
【００２０】
本発明の第２の態様は、請求項１１に記載の画像処理装置を提供する。画像処理装置は、補間画像を表示し、好ましくは第１及び第２の画像をも表示する表示装置を任意選択で有する。画像処理装置は、例えば、TV、セットトップボックス、VCR（Video Cassette Recorder）プレイヤ、衛星チューナ、DVD（Digital Versatile Disk）プレイヤ又はレコーダでもよい。
【００２１】
本発明の第３の態様は、請求項１３に記載の方法を提供する。
【００２２】
本発明の第４の態様は、請求項１４に記載のコンピュータプログラムプロダクトを提供する。
【００２３】
画像信号補間ユニットの変更及びその改良は、記載された画像処理装置、方法及びコンピュータプログラムプロダクトのその変更及び改良に対応し得る。
【発明を実施するための最良の形態】
【００２４】
本発明による画像信号補間ユニット、画像処理装置、方法及びコンピュータプログラムプロダクトの前記及び他の態様は、以下に説明する実装及び実施例について、添付図面を参照して明らかになる。
【００２５】
図面を通じて同様の部分を示すために、同じ参照数字が使用される。
【００２６】
図１は、２つの入力画像100及び104と、これらの入力画像100及び104の中間にある補間画像102とを概略的に示している。第１の入力画像100は、時間nに対応し、第２の入力画像104は、時間n+1に対応する。中間画像102は、時間n+α（0＜α＜1）に対応する。従って、第１の入力画像100と補間画像102との間の第１の時間距離はαに等しく、第２の入力画像104と補間画像102との間の第２の時間距離は1-αに等しい。
【００２７】
中間画像102の特定の画素126は、第１の入力画像100から導かれる第１のグループのサンプル106-114と、第２の入力画像104から導かれる第２のグループのサンプル116-124とを有するサンプルのセットでの順序統計動作に基づいて計算される。第１のグループのサンプル116-114と中間画像102の特定の画素126との間の関係は、第１の動きベクトル
【００２８】
（外１）
により決定される。特に、第１の動きベクトル
【００２９】
（外２）
は、特定の画素126と第１のグループのサンプルの中央のサンプル110とを接続する。第２のグループのサンプル116-124と中間画像102の特定の画素126との間の関係は、第２の動きベクトル
【００３０】
（外３）
により決定される。特に、第２の動きベクトル
【００３１】
（外４）
は、特定の画素126と第２のグループのサンプルの中央のサンプル120とを接続する。
【００３２】
第１のグループのサンプルの第１のもの108と第１のグループのサンプルの第２のもの106との間の第１の区間距離x1は、第１の時間距離αに基づく。第１の空間距離x1と第１の時間距離αとの間の関係は、第１の指数と呼ばれる。
【００３３】
アナログビデオ信号が本発明による画像信号補間ユニットに提供される場合、第１及び第２のグループのサンプルの取得は、第１の時間距離αに基づいて直接に制御され得る。しかし、受信ビデオ信号のサンプリング（すなわち画素値の決定）が、所定のサンプリンググリッド（すなわち、一定の空間距離）で画像処理装置の他の部分で実行される場合、第１のグループのサンプル106-114を生成するために、別の手段が必要になることがある。第１のグループのサンプルは、補間画像102の第１の画素に接続されている中央の画素のあたりの特定の周辺の画素の部分の値のみを取り込むことにより作られてもよい。このことは、サブサンプリングが適用されることを意味する。従って、例えばそれぞれの第２又は第３の画素が取り込まれる。代替として、第１のグループのサンプル106-114のサンプルは、利用可能な画素値の補間を用いて計算される。
【００３４】
第２のグループのサンプルの第１のもの118と第２のグループのサンプルの第２のもの116との間の第２の空間距離x2は、第２の時間距離1-αに基づく。第２の空間距離x2と第２の時間距離1-αとの間の関係は、第２の指数と呼ばれる。第１の指数は第２の指数に実質的に等しい。
【００３５】
【数１】
図２は、本発明による補間ユニット200の実施例を概略的に示している。補間ユニット200は、その入力コネクタ210に、第１の画像100と第２の画像104とを有するビデオ信号が与えられる。補間ユニット200は、第１の画像100と第２の画像104との中間にある補間画像102を計算するように構成される。補間画像100は、第１の画像100から第１の所定の時間距離αにあり、第２の画像104から第２の所定の時間距離1-αにある。補間画像102、第１の画像100及び第２の画像は、補間ユニット200の出力コネクタ212に与えられる。
【００３６】
補間ユニット200は、
−第１の画像100及び第２の画像102に関係する第１
【００３７】
（外５）
及び第２
【００３８】
（外６）
の動きベクトルを供給する動き推定ユニット202と、
−第１の画像100の画素の値、第１の動きベクトル
【００３９】
（外７）
及び第１の所定の時間距離αに基づいて第１のグループのサンプル106-114を生成する第１のサンプル生成ユニット204とを有する。所要の入力は、入力コネクタ210と動き推定ユニット202と制御インタフェース214とをそれぞれ用いて提供される。更に、
−第２の画像104の画素の値、第２の動きベクトル
【００４０】
（外８）
及び第２の所定の時間距離1-αに基づいて第２のグループのサンプル116-124を生成する第２のサンプル生成ユニット206を有する。所要の入力は、入力コネクタ210と動き推定ユニット202と制御インタフェース214とをそれぞれ用いて提供される。更に、
−第１のグループ106-114及び第２のグループ116-124のサンプルをフィルタリングし、補間画像の第１の画素の第１の値を作る中央重み付き中央値フィルタ208を有する。
【００４１】
補間ユニット200の動作は以下の通りである。第１の所定の時間距離α=1/4で、補間画像102の第１の画素126の値が計算される必要があることを仮定する。第１の画素126に関係する第１の動きベクトル
【００４２】
（外９）
は既知である。この第１の動きベクトル
【００４３】
（外１０）
は、第１の画素126を第１の画像100の第１の特定の画素110に関連付ける。この第１の特定の画素110は、第１のグループのサンプルの中央のサンプルとして取り込まれる。その後、この第１の特定の画素の空間環境において、更なるサンプルが計算される。第１の画像が、相互に1mmで配置された画素の離散集合を有することを仮定する。この場合、第１のグループのサンプルは、相互に1/4mmの第１の空間距離x1を有するサンプルを有する。第１の指数は、
【００４４】
（外１１）
になる。第１のグループのサンプルは、合計で７のサンプルを有する。
【００４５】
第１の画素126に関係する第２の動きベクトル
【００４６】
（外１２）
は既知である。この第２の動きベクトル
【００４７】
（外１３）
は、第１の画素126を第２の画像120の第２の特定の画素120に関連付ける。この第２の特定の画素120は、第２のグループのサンプルの中央のサンプルとして取り込まれる。その後、この第２の特定の画素の空間環境において、更なるサンプルが計算される。第２のグループのサンプルは、相互に3/4mmの第２の空間距離x2を有するサンプルを有する。第２の指数は、
【００４８】
（外１４）
になる。第２のグループのサンプルは、合計で７のサンプルを有する。
【００４９】
第１の空間距離x1及び第２の空間距離x2はまた、双方とも４倍だけ高くなるように選択されていてもよいことは明らかである。このことは、第１のグループのサンプルが複数の隣接画素に基づき、第２のグループの画素が第２の特定の画素の環境でのサブサンプリングに基づく複数の画素に基づくことを意味する。
【００５０】
２つのグループのサンプルは、中央重み付き中央値フィルタ208に提供される。第１のグループの中央のサンプル及び第２のグループのサンプルは、比較的高い重み付け係数（すなわち7に等しい）で重み付けされる。その他は、1に等しい重み付け係数でサンプリングされる。このことは、第１のグループのサンプルの重み付け係数は、それぞれ1、1、1、7、1、1及び1であり、第２のグループのサンプルの重み付け係数は、それぞれ1、1、1、7、1、1及び1であることを意味する。
【００５１】
第１の画素126の最終的な値は、サンプルの全セットの中央値に対応する。
【００５２】
サンプルのグループはまた、より多くのサンプルを有してもよく、これらのサンプルはまた、中央の画素からの２次元環境から取り込まれてもよいことは明らかである。
【００５３】
動き推定ユニット202は、例えばG.de Haan他による“True-Motion Estimation with 3-D Recursive Search Block Matching”、IEEE Transactions on circuits and systems for video technology、vol.3、no.5、1993年10月、368-379ページに記されている。
【００５４】
サンプルの生成は、以下の制約により定められる。第１の指数は第２の指数に実質的に等しく、第１の指数は、第１のグループのサンプルの第１のものと第１のグループのサンプルの第２のものとの間の第１の空間距離と、第１の所定の時間距離とによって決定され、第２の指数は、第２のグループのサンプルの第１のものと第２のグループのサンプルの第２のものとの間の第２の空間距離と、第２の所定の時間間隔とによって決定される。
【００５５】
動き推定ユニット202、第１のサンプル生成ユニット204、第２のサンプル生成ユニット206及び中央重み付き中央値フィルタ208は、１つのプロセッサを使用して実装されてもよい。通常では、これらの機能はソフトウェアプログラムプロダクトの制御で実行される。実行中に、通常では、ソフトウェアプログラムプロダクトはメモリ（RAM等）にロードされ、そこから実行される。プログラムは、バックグラウンドメモリ（ROM、ハードディスク又は磁気及び／又は光記憶装置等）からロードされてもよく、インターネットのようなネットワークを介してロードされてもよい。任意選択で、特定用途向け集積回路が開示された機能を提供する。
【００５６】
図３Ａは、２つの入力画像100及び104と、これらの入力画像100及び104の中間にある補間画像102とを概略的に示している。第１の入力画像100は、時間nに対応し、第２の入力画像104は、時間n+1に対応する。中間画像102は、時間n+α（α=1/2）に対応する。従って、第１の入力画像100と補間画像102との間の第１の時間距離と、第２の入力画像104と補間画像102との間の第２の時間距離とは相互に等しい。第１の画像100には第１のエッジ300があり、その第１のエッジ300は、輝度の過渡状態が存在することを意味する。また、第２の画像104には、第１の画像の第１のエッジ300に対応する第２のエッジ304がある。第１の画像100のサンプルと第２の画像104のサンプルの適切な選択のため、ミラー線310及び整合線312とによってわかるように、補間画像の第３のエッジ302は正確な位置にある。第１の画像100の中央のサンプル110は、第１のグループの全サンプルのうち最大の重み付け係数を有する。第２の画像104の中央のサンプル120は、第２のグループの全サンプルのうち最大の重み付け係数を有する。
【００５７】
図３Ｂは、２つの入力画像100、104と、α=1/4でのこれらの入力画像の中間の補間画像102とにおけるエッジ300-304を概略的に示している。図３Ａとの差は、第１の画像100から導かれるサンプル間の第１の空間距離x1が、第２の画像104から導かれるサンプル間の第２の空間距離x2より小さい点にある。
【００５８】
図４Ａは、中央のサンプル110に関して垂直に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。中央のサンプル110は、補間画像102の第１の画素126に接続されている第１の動きベクトル
【００５９】
（外１５）
にある。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６０】
図４Ｂは、中央のサンプルに関して水平に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。中央のサンプル110は、補間画像102の第１の画素126に接続されている第１の動きベクトル
【００６１】
（外１６）
にある。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６２】
図４Ｃは、中央のサンプル110に関して垂直に配置されたサンプルと、中央のサンプル110に関して水平に配置されたサンプルとの第１のグループのサンプル106-114を概略的に示している。これらのサンプル106-114は、所定の画素グリッドにある画素値に対応してもよい。代替として、これらのサンプル106-114は、その所定の画素グリッドの画素値の補間に基づく。
【００６３】
図４Ｄは、第１の動きベクトル
【００６４】
（外１７）
に対応する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。換言すると、サンプルの第１のもの106とサンプルの第２のもの114とを接続する線分の方向は、第１の動きベクトル
【００６５】
（外１８）
の方向と一致する。第１の動きベクトル
【００６６】
（外１９）
の方向が実質的に正確であるが、その長さが正確でない場合に、この選択手法は有利である。
【００６７】
図４Ｅは、差分動きベクトル
【００６８】
（外２０）
に対応する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。換言すると、サンプルの第１のもの106とサンプルの第２のもの114とを接続する線分の方向は、差分ベクトル
【００６９】
（外２１）
に一致する。この差分ベクトル
【００７０】
（外２２）
は、第１の動きベクトル
【００７１】
（外２３）
の空間環境において、第１の動きベクトル
【００７２】
（外２４）
と第３の動きベクトル
【００７３】
（外２５）
との間の差に対応する。第３の動きベクトル
【００７４】
（外２６）
は、第１の動きベクトル
【００７５】
（外２７）
との最大の差を有する第１の動きベクトル
【００７６】
（外２８）
の空間環境における動きベクトルであることが好ましい。
【００７７】
図４Ｆは、第１の画像100の物体402のエッジ300に直交する方向に配置されたサンプルの第１のグループのサンプル106-114を概略的に示している。エッジ300は、エッジ検出ユニットを用いて決定されている。
【００７８】
図５は、本発明による画像処理装置500の実施例を示しており、
−画像を表す信号を受信する受信手段502と、
−図２及び３に関して説明した動き補償画像信号補間ユニット200と、
−動き補償画像信号補間ユニット200の出力画像を表示する表示装置504と
を有する。この表示装置506は任意選択である。信号は、アンテナ又はケーブルを介して受信した放送信号でもよく、また、VCR（Video Cassette Recorder）又はDVD（Digital Versatile Disk）のような記憶装置からの信号でもよい。信号は入力コネクタ510に提供される。画像処理装置500は、例えばTVでもよい。代替として、画像処理装置500は任意選択の表示装置を有さず、表示装置506を有する装置にHD画像を提供する。画像処理装置500は、例えば、セットトップボックス、衛星チューナ、VCRプレイヤ又はDVDプレイやでもよい。それはまた、映画スタジオ又は放送局により用いられるシステムでもよい。
【００７９】
前述の実施例は本発明を限定するのではなく例示するものであり、特許請求の範囲を逸脱することなく、当業者は代替実施例を設計することができる点に留意すべきである。請求項において、括弧の間の参照符号は請求項を限定するものとして解釈されるべきではない。‘有する’という用語は、請求項に記載されていない要素又はステップを除外するものではない。単数の要素は、そのような要素の複数の存在を除外するものではない。本発明は、複数の異なる要素を有するハードウェアを用いて、適切にプログラムされたコンピュータを用いて実装され得る。複数の手段を列挙したユニットの請求項において、複数のこれらの手段は、同一のハードウェアのアイテムに具現されてもよい。
【図面の簡単な説明】
【００８０】
【図１】２つの入力画像及びこれらの入力画像の中間にある補間画像を示した概略図である。
【図２】本発明による画像信号補間ユニットの実施例を示した概略図である。
【図３Ａ】２つの入力画像及びα=1/2でのこれらの入力画像の中間にある補間画像でのエッジを示した概略図である。
【図３Ｂ】２つの入力画像及びα=1/4でのこれらの入力画像の中間にある補間画像でのエッジを示した概略図である。
【図４Ａ】中央のサンプルに関して垂直に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｂ】中央のサンプルに関して水平に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｃ】中央のサンプルに関して垂直に配置されたサンプルと、中央のサンプルに関して水平に配置されたサンプルとの第１のグループのサンプルを示した概略図である。
【図４Ｄ】第１の動きベクトルに対応する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｅ】差分動きベクトルに対応する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図４Ｆ】エッジに直交する方向に配置されたサンプルの第１のグループのサンプルを示した概略図である。
【図５】本発明による画像処理装置の実施例を示した概略図である。
【特許請求の範囲】
【請求項１】
第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットであって
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記補間ユニットは、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給する動き推定手段と、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給する供給手段と、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作るフィルタリング手段と
を有し、
第１の指数は第２の指数に実質的に等しく、
前記第１の指数は、前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の第１の空間距離と、前記第１の所定の時間距離とにより決定され、
前記第２の指数は、前記第２のグループのサンプルの第１のものと前記第２のグループのサンプルの第２のものとの間の第２の空間距離と、前記第２の所定の時間距離とにより決定される動き補償画像信号補間ユニット。
【請求項２】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記フィルタリング手段は、中央値フィルタを有する動き補償画像信号補間ユニット。
【請求項３】
請求項２に記載の動き補償画像信号補間ユニットであって、
前記フィルタリング手段は、重み付き中央値フィルタを有する動き補償画像信号補間ユニット。
【請求項４】
請求項３に記載の動き補償画像信号補間ユニットであって、
前記第１のグループの特定のサンプルを重み付けする前記重み付き中央値フィルタの特定の重み付け係数は、前記第１のグループの各サンプルを更に重み付けする更なる重み付け係数のそれぞれより大きく、
前記特定のサンプルは、前記第１のグループのサンプルの中央にある動き補償画像信号補間ユニット。
【請求項５】
請求項４に記載の動き補償画像信号補間ユニットであって、
前記特定の重み付け係数は、前記更なる重み付け係数の合計より大きい動き補償画像信号補間ユニット。
【請求項６】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものに対応する第２の値は、前記第１の画像の画素の第３のものの第３の値に等しい動き補償画像信号補間ユニット。
【請求項７】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものに対応する第２の値は、画素の第３のものの空間環境において、前記第１の画像の画素の第３のものの第３の値と、前記第１の画像の画素の第４のものの第４の値との補間を用いて計算される動き補償画像信号補間ユニット。
【請求項８】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、前記第１の動きベクトルに一致する動き補償画像信号補間ユニット。
【請求項９】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、前記第１の動きベクトルの空間環境において前記第１の動きベクトルと第３の動きベクトルとの差に対応する差分ベクトルに一致する動き補償画像信号補間ユニット。
【請求項１０】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１の画像のエッジの方位を検出するエッジ検出手段を更に有し、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、エッジの方位と直交する動き補償画像信号補間ユニット。
【請求項１１】
−第１及び第２の画像を表す画像信号を受信する受信手段と、
−前記受信手段に結合され、前記第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットと
を有する画像処理装置であって、
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記補間ユニットは、請求項１に記載のものである画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
前記補間画像を表示する表示装置を更に有する画像処理装置。
【請求項１３】
第１及び第２の画像の中間にある補間画像を生成する方法であって
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記方法は、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作り、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の空間距離は、所定の時間距離に基づく方法。
【請求項１４】
コンピュータ構成によりロードされるコンピュータプログラムであって、
第１及び第２の画像の中間にある補間画像を生成する命令を有し、
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記コンピュータ構成は処理手段とメモリとを有し、
前記コンピュータプログラムは、ロードされた後に、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作る
ことを実行する機能を前記処理手段に提供し、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の空間距離は、所定の時間距離に基づくコンピュータプログラム。
【請求項１】
第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットであって
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記補間ユニットは、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給する動き推定手段と、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給する供給手段と、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作るフィルタリング手段と
を有し、
第１の指数は第２の指数に実質的に等しく、
前記第１の指数は、前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の第１の空間距離と、前記第１の所定の時間距離とにより決定され、
前記第２の指数は、前記第２のグループのサンプルの第１のものと前記第２のグループのサンプルの第２のものとの間の第２の空間距離と、前記第２の所定の時間距離とにより決定される動き補償画像信号補間ユニット。
【請求項２】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記フィルタリング手段は、中央値フィルタを有する動き補償画像信号補間ユニット。
【請求項３】
請求項２に記載の動き補償画像信号補間ユニットであって、
前記フィルタリング手段は、重み付き中央値フィルタを有する動き補償画像信号補間ユニット。
【請求項４】
請求項３に記載の動き補償画像信号補間ユニットであって、
前記第１のグループの特定のサンプルを重み付けする前記重み付き中央値フィルタの特定の重み付け係数は、前記第１のグループの各サンプルを更に重み付けする更なる重み付け係数のそれぞれより大きく、
前記特定のサンプルは、前記第１のグループのサンプルの中央にある動き補償画像信号補間ユニット。
【請求項５】
請求項４に記載の動き補償画像信号補間ユニットであって、
前記特定の重み付け係数は、前記更なる重み付け係数の合計より大きい動き補償画像信号補間ユニット。
【請求項６】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものに対応する第２の値は、前記第１の画像の画素の第３のものの第３の値に等しい動き補償画像信号補間ユニット。
【請求項７】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものに対応する第２の値は、画素の第３のものの空間環境において、前記第１の画像の画素の第３のものの第３の値と、前記第１の画像の画素の第４のものの第４の値との補間を用いて計算される動き補償画像信号補間ユニット。
【請求項８】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、前記第１の動きベクトルに一致する動き補償画像信号補間ユニット。
【請求項９】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、前記第１の動きベクトルの空間環境において前記第１の動きベクトルと第３の動きベクトルとの差に対応する差分ベクトルに一致する動き補償画像信号補間ユニット。
【請求項１０】
請求項１に記載の動き補償画像信号補間ユニットであって、
前記第１の画像のエッジの方位を検出するエッジ検出手段を更に有し、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとを接続する線分の方向は、エッジの方位と直交する動き補償画像信号補間ユニット。
【請求項１１】
−第１及び第２の画像を表す画像信号を受信する受信手段と、
−前記受信手段に結合され、前記第１及び第２の画像の中間にある補間画像を生成する動き補償画像信号補間ユニットと
を有する画像処理装置であって、
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記補間ユニットは、請求項１に記載のものである画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
前記補間画像を表示する表示装置を更に有する画像処理装置。
【請求項１３】
第１及び第２の画像の中間にある補間画像を生成する方法であって
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記方法は、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作り、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の空間距離は、所定の時間距離に基づく方法。
【請求項１４】
コンピュータ構成によりロードされるコンピュータプログラムであって、
第１及び第２の画像の中間にある補間画像を生成する命令を有し、
前記補間画像は、前記第１の画像から第１の所定の時間距離にあり、前記第２の画像から第２の所定の時間距離にあり、
前記コンピュータ構成は処理手段とメモリとを有し、
前記コンピュータプログラムは、ロードされた後に、
−前記第１及び第２の画像に関する第１及び第２の動きベクトルを供給し、
−前記第１の画像の画素の値と前記第１の動きベクトルとに基づいて、第１のグループのサンプルを供給し、前記第２の画像の画素の値と前記第２の動きベクトルとに基づいて、第２のグループのサンプルを供給し、
−前記第１及び第２のグループのサンプルを順序統計フィルタリングし、前記補間画像の第１の画素の第１の値を作る
ことを実行する機能を前記処理手段に提供し、
前記第１のグループのサンプルの第１のものと前記第１のグループのサンプルの第２のものとの間の空間距離は、所定の時間距離に基づくコンピュータプログラム。
【図１】
【図２】
【図５】
【図２】
【図５】
【公表番号】特表２００７−５２７１３９（Ｐ２００７−５２７１３９Ａ）
【公表日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−５１８４５４（Ｐ２００６−５１８４５４）
【出願日】平成１６年７月１日（２００４．７．１）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１０８７
【国際公開番号】ＷＯ２００５／００４４７９
【国際公開日】平成１７年１月１３日（２００５．１．１３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１６年７月１日（２００４．７．１）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１０８７
【国際公開番号】ＷＯ２００５／００４４７９
【国際公開日】平成１７年１月１３日（２００５．１．１３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]