動きボケ低減のための帯域通過フィルタを用いた動き補償逆フィルタリング
本発明は、ホールド型ディスプレイ(101)に示されるビデオ信号の画像の動きボケを低減する方法、計算機プログラム、計算機プログラム製品及び装置を提供することであり、これらは、前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するステップ(1102)と、前記ビデオ信号を空間周波数領域に対して帯域通過フィルタ処理を行うステップ(110,1101)であって、前記帯域通過フィルタ処理を行うステップが、少なくとも一部前記推定された動きベクトルに依存し、前記帯域通過フィルタ処理ステップの通過帯域が、前記推定された動きベクトルの長さが増加するに連れて高空間周波数から中間空間周波数に順応的に移動する帯域通過フィルタ処理ステップ(110,1101)と、前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせるステップ(1104)と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法に関する。
【背景技術】
【０００２】
長年において、伝来の陰極線管（ＣＲＴ）ディスプレイは、主にアクティブマトリックス型技術に基づく代替表示原理からの増加する競争に直面してきた。特に、アクティブマトリックス型液晶ディスプレイ（ＡＭ−ＬＣＤ）は、劇的に性能が向上し、価格が低下しているので、ＣＲＴの市場シェアは、急激なペースで低下している。これらの新たな表示原理の主な差別化特徴は、サイズであり、ＬＣＤは薄型で、平らで、軽い。このことは、これらのディスプレイの第１の市場、すなわちラップトップコンピュータを可能にした。またＬＣＤは、現在までに、デスクトップモニタ市場をほとんど取得し、サイズだけでなく、均一で、鮮明で、フリッカのない画像再現が効果を生み出している。現在、ＣＲＴは、最後の砦であるテレビにおいて、ＬＣＤとの競争にも直面しなければならない。
【０００３】
良いテレビディスプレイを作製するために、ＬＣＤは、例えば視野角の制限及び色性能などの以前の欠点を克服しなければならなかった。しかし、ＣＲＴは、主要な点の１つである動き描画に関しては未だ打ち破られていない。斯様な領域において、基本的な表示効果を提供するＬＣ分子が画像の変化に対して遅く反応するので、ＬＣＤはより悪く動作する。このことは、ＬＣＤをビデオ応用例に不適にさせる動くオブジェクトの不快なボケ(blur)を生じさせる。したがって、ＬＣ材料の応答の速度を上げるのに多数の試みが行われてきた。このことは、より良い材料を適用することによって、又はＬＣセル設計を向上させることによって行われ得る。また「オーバードライブ」と呼ばれる、ビデオ処理に基づく応答時間を向上する既知の方法も存在する。オーバードライブは、適用される灰色レベル移行に応じたドライブ値を変化することによって、ＬＣ画素の応答速度を向上させる。このことは、フレーム時間内に対する応答時間の低減を可能にする。現在、入手可能な最良のディスプレイは、フレーム時間(60Hzで17ms)以下の応答速度を記録する。フレーム時間内に対する画像変化に応答し得るＬＣＤに関して最悪のボケアーチファクトが防止されるので、これは重要な値である。
【０００４】
しかし、ＬＣ材料の応答を低い値へと速度を上げることは、動きボケを完全に防止するのに十分ではない。このことは、フレーム時間全体において発光を生じさせる（ホールド型ディスプレイ）、サンプル・ホールド特性を示すアクティブマトリクス原理自身によって引き起こされる。このことは、ＣＲＴ(インパルス型ディスプレイ)蛍光体(phosphor)によって生成される非常に短時間（マイクロ秒）の光フラッシュとの主な相違点である。この延長された発光は、人間が動く画像を知覚する方法にはあまり調合しないことは周知である。次の部分で更に説明されるように、人間の眼は、スクリーン上の動くオブジェクトを追跡し、これにより、フレーム各固定点に属する光を網膜における一連の点に映す。この「点展開」は、動くオブジェクトの鮮明さの損失になる。
【０００５】
表示システムの基本機能は、元の画像に対応する物理的発光を、受けられた空間・時間離散的ビデオ信号から、スクリーンにおける正しい位置及び時間で再構築することである。この再構築の特性は、特に人間の視覚システムの特性と組み合わせられる場合に、実用的な表示システムに発生する多くの画像品質アーチファクトを説明し得る。
【０００６】
元の画像から表示画像への信号チェーン１の非常に基本的な表示は、図１に示される。時間変化画像として表される元のシーンは、
が２つの次元を有する、すなわち
である、空間−時間連続強度関数
である。
この元の画像は、時間及び空間でカメラ１００によって標本化される。空間標本化がこの仕様の範囲外であるので、我々はこれを今後時折にのみ参照する。しかし、時間の作用は、この仕様の他の部分に関する主な焦点であり得る。標本化処理は、
【数１】
で記述され、
が、δ−インパルスの３次元格子である。我々は、間隔
及び
を標本化することによって記述される、長方形標本化格子
【数２】
仮定し得る。
【０００７】
ディスプレイ１０１による物理的発光の再構築は、表示開口を用いての重畳（または再構築関数又はポイントスプレッド関数としても既知である）によって記述され得る。この開口は、空間及び時間の関数
である。ディスプレイ１０１によって再生される画像は、
【数３】
になる。
【０００８】
標本化及び再構築の２つの作業は、表示される画像及び元の画像の間の多数の特徴的差異を考慮する。これらは、周波数領域記述によって最良に記述されるので、我々は、フーリエ変換
を数式（３）へ適用する。
【数４】
ここで、格子
のフーリエ変換
は、空間
、
及び
（フレームレート）を有する逆格子である。
【０００９】
元の画像の空間−時間スペクトル、標本化画像、表示画像、及び最終的に知覚される画像が、正規化時間周波数
及び正規化空間周波数
の関数として、それぞれ図２の４つのプロットで、インパルス型（ＣＲＴ）ディスプレイの場合に関して示される。例示を簡単化するために、我々は、信号が空間次元で連続であるかのように、空間的な繰り返しを省略する。表示される画像に関して、これは、空間次元が完全に再構築されていること、すなわち元の連続的な信号がナイキスト規準に従い空間的に帯域制限されたことを仮定することと同等であり、再構築が、繰り返しスペクトルを効果的に除去する。
【００１０】
時間的次元において、発光のインパルス性質は、平坦な再構築スペクトルを与える。この平坦なスペクトルの結果として、ベースバンドの時間的周波数
は、減衰されないが、少なくとも最低のオーダーの繰り返し（the lowest order repeats）は通過される。
【００１１】
画像は、看者によって最終的に知覚されるように、人間視覚システム（ＨＶＳ）の特性によっても決定される。時間的領域において、ＨＶＳは、高周波数には鈍感であるので、主に低域通過フィルタとして振舞う。図２の４つのプロットは、我々が眼の低域通過フィルタが全ての繰り返しスペクトルを除去すると仮定する場合、知覚される画像が、元の画像（図２の第１プロットを参照）と同一であることを示す。この仮定は、常に真実であるというわけではなく、したがって、表示システムにおける最も広く知られているアーチファクトの１つである大きな領域のフリッカを導く。このことは、およそ75Hzより小さいフレームレートに関して完全に抑制されていない（低空間周波数で）第１繰り返しスペクトルによって引き起こされる。
【００１２】
ＬＣＤのようなアクティブマトリクス型ディスプレイは、インパルス型発光を有さない。現在入手可能な最速ディスプレイは、フレーム時間より短い応答時間を有する。しかし、これらであっても、アクティブマトリクスのサンプル・ホールドの作用及びバックライトによる連続照明が原因で、フレーム時間全体で発光を未だ有し得る。この作用は、保持時間
に等しい幅を有する時間的「ボックス」再構築関数になる。周波数領域において、これは、「
」特性、
【数５】
になる。
【００１３】
標本化される画像のスペクトル、開口
のスペクトル、表示される画像のスペクトル、及び最終的に知覚される画像のスペクトルは、斯様なホールド型ディスプレイに関する、それぞれ図３の４つのプロットで示される。これは、直ちに、インパルス型ディスプレイに対するホールド型ディスプレイの特有な有利な点を示す。すなわち、
特性が、表示される画像の繰り返しスペクトル（図３の第３プロットを参照）を抑制し、標本化周波数においてゼロ伝達をも有する。このことは、全てのフレームレートにおける大区域フリッカを除去する。
【００１４】
ホールド型ディスプレイのサンプル・ホールドの作用は、インパルス型発光より良好なディスプレイになるようである。静止画像に関しては、確かに当てはまる。しかし、動画に関しては結果は変わり、
【数６】
、ここで、
は、
及びtに関して用いられるのと同じ単位でここで測定される、スクリーンにおける動く画像の速度である。
標本化間隔
が既知である場合、
も、「フレームごとの画素」で表現され得る。このことは、「動きベクトル」すなわち「フレーム変位ベクトル」に対応する。
【００１５】
また式（６）も、周波数領域に変換され得、
【数７】
になる。
【００１６】
この動きは、図４の第１プロットの元の静止画のスペクトルと比較した、図４の第２プロットで示されるスペクトルのせん断(shear)になる。スペクトルのせん断は、動くオブジェクトの空間変化が時間変化を発生し得ることを反映する。
【００１７】
この動く画像は、その後、標本化され（図４の第３プロットを参照）、表示チェーンで再構築され、その後眼に到達する。動く画像の知覚は、ＨＶＳの別の重要な特性によって特徴付けられる。看者は、網膜に静止画を生成するために、スクリーンにわたる動くオブジェクトを追従しようと試みる。この仕組みは、十分研究されており、ＨＶＳが高いレベルで詳細に動く画像を知覚するのを可能にする。眼が追跡する看者の網膜の画像は、式（６）及び（式）７の関係式の逆、
【数８】
で記述される。
【００１８】
動きインスタンス５００（動くオブジェクトによる）と、標本化インスタンス５０１（カメラなど）と、再構築インスタンス５０２（ディスプレイなど）と、追跡インスタンス５０３（看者が動きを追跡する）と、低域通過フィルタ５０４（眼）とを有する元の画像から知覚画像へのチェーン全体５が、図５に示される。式（８）の式（３）を減算し、式（７）を適用すると、眼が追跡する看者の網膜への投影される画像を与える。
【数９】
【００１９】
眼による低域通過フィルタ処理後の知覚画像
は、インパルス型ディスプレイに関して図６の第３プロットに示され、ホールド型ディスプレイに関して図７の第４プロットに示され、図６及び７のプロットは、それぞれ図４のプロットの補完する。眼の低域通過後の画像は、周波数
で見ることによってのみ得られ、再び、空間領域における完全な再構築を仮定する。ここで、我々は、ディスプレイの時間開口関数の効果が、眼の追跡と組み合わせられて、動く画像の空間フィルタ
【数１０】
として記述され得ることを理解し得、ここで、空間低域通過フィルタは、
【数１１】
である。
【００２０】
式（１１）のフィルタ
は、動きベクトル
及び保持時間（フレーム時間）
に依存する。
【００２１】
図８は、このフィルタの増幅応答を、（フレームごとの画素で）動き（速度）
と動き方向
に沿った正規化空間周波数
の関数として表し、白い領域は、1及び0.5の間の増幅（低減衰）を表し、影の領域は、0.4及び0の間の減衰（高減衰）を表す。
【００２２】
時間「保持」開口が大領域フリッカに関して有益であるにもかかわらず、看者の網膜において動くオブジェクトの空間的なボケを生じさせ得る。より高い空間周波数は、
特性によって減衰され得、減衰が開始する空間周波数は速度とともに小さくなり、これにより、拡張される空間周波数領域に影響を及ぼす。更に、このボケは、動き方向に沿ってのみ発生し得る。各オブジェクトの動きに垂直方向の鮮明さは影響されない。
【００２３】
式（１１）は、この効果を低減するために、保持時間
が減らされるべきであることを提案する。このことは、２つの方法で達成され得る。まず始めに、フレームレートが増加され得る。所要の効果を有するためには、このことは、単純なフレーム繰り返しが同一の効果的保持時間になるので、動き補償フレームレート変換で行われるべきである。第２に、フレームレートを変更することなく、我々は、発光の時間（すなわちより正確には、デューティ周期）を減らし得る。ＬＣＤに関して、このことは、いわゆる「走査バックライト」を用いてフレーム時間の一部の間のみバックライトをスイッチオンすることによって実現され得る。
【００２４】
式（１１）に基づく、サンプル・ホールド効果による動きボケを低減する第３の選択肢は、ビデオ処理のみを用い、ディスプレイ又はバックライトの修正を必要としない。（ディスプレイによる再構築９０１及び看者／眼による追跡／低域通過フィルタ処理ステップ９０２からなる）ディスプレイ＋眼の組合せの低域通過フィルタ処理ステップ９０３は、図９の表示チェーン９に示されるように、ビデオ領域において予備補償され、このことは、式（１１）のフィルタの
の逆フィルタ９００を用いることによって達成され得る。
【数１２】
【００２５】
逆フィルタ
は、純粋に空間フィルタであり、眼の追跡を組み合わせられると、ディスプレイの時間開口が、空間低域通過フィルタ
になるという観点を反映する。更にチェーンに沿った逆フィルタ９００及びディスプレイ＋眼の組合せ９０３の直列接続は、可能な限り元の画像に達する知覚される画像になるべきである。
【００２６】
欧州特許出願公開第0657860A2号は、斯様な予備補償フィルタ
９００の近似
の使用を、速度依存高空間周波数増大フィルタ（又は高空間周波数ブーストフィルタ）の形状で開示し、該速度依存高空間周波数増大フィルタは、動きの成分の速度にしたがい高空間周波数でビデオ信号のスペクトルを増大し、高空間周波数の前記スペクトルはビデオ信号の画像の動く成分に関連する。（増大が開始する）空間周波数増大フィルタのカットオフ周波数は、動きベクトル推定器によって推定される動きベクトルにしたがい調整される。欧州特許出願公開第0657860A2号で使用される空間周波数増大フィルタ
は、例えばノイズしきい値以下の非常に低いレベルに（例えば空間低域通過フィルタ
のゼロに）
減衰されている周波数の復元が現実的には達成され得ないので、式（１２）に規定の正確な逆フィルタ
ではない。
【００２７】
図１０は、式（１１）の空間低域通過フィルタ
１０００の伝達関数、式（１２）の逆フィルタ
１００１の伝達関数、及び式（１２）の逆フィルタ
の近似１００２の伝達関数を、空間周波数の関数として示し、前記近似１００２は、欧州特許出願公開第0657860A2号の高周波数増大フィルタと同様である。
【００２８】
また、欧州特許出願公開第0657860A2号で開示される空間周波数増大フィルタは、ビデオ信号の標本化画像に存在するノイズの高空間周波数成分も増大する。しかし、平坦な（詳細でない）画像部分において、動き推定器は、空間周波数増大フィルタのカットオフ周波数を決定する誤った動きベクトルを推定する高い可能性を有し、高空間周波数増大フィルタ利得における不所望なノイズ増幅になり、この不所望なノイズ増幅は、ビデオ信号の画像の品質を著しく落す。
【発明の開示】
【発明が解決しようとする課題】
【００２９】
上述の問題を考慮し、本発明の目的は、ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する改善された方法、計算機プログラム、計算機プログラムの製品及び装置を提供することである。
【課題を解決するための手段】
【００３０】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法であって、前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するステップと、前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するステップであって、前記帯域通過フィルタ処理ステップが、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理ステップの通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的に移動する帯域通過フィルタ処理するステップと、前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせるステップと、を有する方法が提案される。
【００３１】
前記ホールド型ディスプレイは、非ストロボスコープ型ディスプレイとして理解され得、すなわち、画像は、画像の画像時間に対して無視出来ない期間にディスプレイに示される。ホールド型又は非ストロボスコープ型ディスプレイに関する例は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマパネルディスプレイ（ＰＤＰ）及び薄膜トランジスタ（ＴＦＴ）ディスプレイなどの非発光型ディスプレイであり、該ディスプレイは、例えば、光を変調する画像要素（画素）の行及び列の配列を有するディスプレイパネル、正面又は背面から前記ディスプレイパネルを照らす手段、及び供給される入力ビデオ信号に従い前記画素を駆動する駆動手段からなり得る。ホールド型ディスプレイの更なる例は、有機発光ダイオード（Ｏ−ＬＥＤ）ディスプレイ又はポリマ発光ダイオード（ＰｏｌｙＬＥＤ）ディスプレイなどの発光型ディスプレイであり、該ディスプレイは、例えば、画素（ＬＥＤ）の行及び列の配列を有するディスプレイパネル、及び供給される入力ビデオ信号に従い前記画素（ＬＥＤ）を駆動する駆動手段からなり得る。ここで、前記画素（ＬＥＤ）は、正面又は背面からの照明を必要とすることなく自身で光を発し、変調する。
【００３２】
前記ホールド型ディスプレイにおいて、ビデオ信号の画像が表示され、前記ビデオ信号は、一連の画像から構成され、前記画像は、例えば画像要素（画素）などの画像標本によって表される。ある画像から次の画像へ動く成分すなわちオブジェクトを含む前記ビデオ信号の画像は、看者によって見られる時に動きボケに見舞われ、前記動きボケは、前記画像の空間周波数領域低域通過フィルタ処理によって示され得る。
【００３３】
前記ビデオ信号の前記画像の前記動く成分の動きベクトルは、例えば、ある画像から次の画像への成分の変位を決定するブロック一致アルゴリズムを用いて推定される。そして、動きベクトルは、前記動く成分と、又は前記動く成分の標本すなわち画素と関連付けられ得る。
【００３４】
前記ビデオ信号は、空間周波数領域で帯域通過フィルタ処理され、その後、前記帯域通過フィルタ処理されたビデオ信号及び前記ビデオ信号は、例えば加算されて組み合わされ、前記ホールド型ディスプレイのための入力ビデオ信号を生成する。異なる帯域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の異なる成分又は画素に適用され得る。
【００３５】
前記帯域通過フィルタ処理ステップは、前記伝達関数が非ゼロである通過帯域部分と、伝達関数がほぼゼロである前記通過帯域の左側及び右側における停止帯域部分とを有する空間周波数領域に伝達関数を有する帯域通過フィルタによって表される。
【００３６】
前記帯域通過フィルタ処理ステップは、前記推定される動きベクトル少なくとも一部分に依存し、例えば、前記帯域通過フィルタ処理ステップは、前記推定される動きベクトルの方向にのみ実行され得る。前記推定される動きベクトルの長さが増加するに連れて（すなわち、前記ビデオ信号の前記画像の動く成分の速度が増加する）、前記帯域通過フィルタの通過帯域は、高空間周波数から中間空間周波数へ移動し、この移動は、前記推定される動きベクトルの長さに対して順応的である。
【００３７】
帯域通過フィルタ処理されたビデオ信号と元のビデオ信号との組合せは、速度依存中間周波数増大（又はブースト）フィルタ構造として考慮され得、該構造は、前記ビデオ信号の成分の増大を中間空間周波数範囲に制限し、前記ビデオ信号の画像の動きの量が増加する場合、この周波数範囲を高空間周波数から低空間周波数へ順応的に移動させる。
【００３８】
本発明は、第１の観点から、高速度に関して、ボケを生じさせる空間周波数低域通過フィルタが、既に非常に低い空間周波数においてかなりの減衰を有することを述べる。第２の観点は、人間の視覚システムは、低空間周波数でより敏感であり、高周波数は、一般的に、低Ｓ／Ｎ比率を有することである。更に、第３の観点によると、本発明により、通常のビデオマテリアルにおける動くオブジェクトは、カメラの制限による最高周波数（カメラボケ）を含まないことを認識する。この理由のため、看者は、ＬＣＤパネルによって生じる程ではないが（低い空間周波数まで）、高速度である程度の詳細を失うことに慣れている。
【００３９】
常に高周波数ブーストが実行され、ブーストが開始する空間周波数のみが動きの増加に連れて低下される従来技術の技法とは対照的に、本発明に従うと、優先度は、ボケによって影響される最低周波数の補償に与えられ、すなわち、中間周波数及び最高周波数は、基本的に変化されないままにされる。このことは、従来技術の技法と比較して、ビデオ信号の動きボケ低減のかなりの改善を導く。
【００４０】
本発明の好ましい実施例によると、前記帯域通過フィルタ処理ステップが、低域通過フィルタ処理ステップ及び耐ボケフィルタ処理ステップを直列形式で含む。前記耐ボケフィルタ処理ステップは、例えば、前記ディスプレイのディスプレイ特性に少なくとも一部分適合される高域通過フィルタによって表され得、前記低域通過フィルタ処理ステップ及び後続の高域通過フィルタ処理ステップは、すなわち、帯域通過フィルタ処理ステップになり得る。前記帯域通過フィルタ処理ステップの前記通過帯域の前記移動は、例えば、高域通過フィルタの通過帯域の低い方の縁部を速度が増加するに連れて低い周波数へと移動することによって達成され得る。
【００４１】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、反転低域通過フィルタを近似する耐ボケフィルタを用いて実行される。前記低域通過フィルタは、例えば、ボケを生じさせ得、動きベクトル（すなわち、前記画像の動く成分の速度）の長さに依存し得、これにより、ボケを補償するためには、前記低域通過フィルタの逆フィルタが前記ビデオ信号に適用される必要があり、前記逆フィルタは、前記動きベクトルの長さにも依存する。
【００４２】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、耐ボケフィルタを用いて実行され、前記耐ボケフィルタが、固定フィルタ係数及び前記推定動きベクトルの前記長さに依存する可変タップ間隔を備える１次元フィルタである。前記耐ボケフィルタは、例えば、前記推定動きベクトルの方向に沿って適用され得る。前記タップ間隔を変化させることによって、前記耐ボケフィルタの空間周波数伝達関数は、例えば、タップ間隔が増加するに連れて変化され得、前記耐ボケフィルタの通過帯域は、低い周波数へと移動し得る。
【００４３】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、前記推定動きベクトルの方向に実行される。これは、動きボケが動きベクトルの方向にのみ発生する場合に特に有利であり、これより、動きボケを低減するために動きベクトルの方向へのみフィルタ処理する場合にも、最小のノイズ増大のみが発生する。
【００４４】
本発明の好ましい実施例によると、前記低域通過フィルタリング処理ステップが、前記推定動きベクトルの方向に実行される。フィルタ処理工程に含まれる画素の数を減らすために、したがって、計算的な複雑さを減らすために、推定される動きベクトルの方向にのみ低域通過フィルタ処理を実行するのが有利であり得る。
【００４５】
本発明の好ましい実施例によると、前記低域通過フィルタ処理ステップが、前記推定動きベクトルの方向に垂直な方向に及び平行な方向に実行される。低域通過フィルタ処理を推定される動きベクトルの方向に垂直な方向にも実行することにより、前記ビデオ信号の前記画像の前記標本に含まれるノイズを平均化するのに寄与し得る。
【００４６】
本発明の好ましい実施例によると、前記低域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の標本の補間によって少なくとも一部分補間される。前記補間は、例えば、いくつかの画素を平均化するステップを含み得、前記平均化ステップは、低域通過フィルタ処理として考慮され得る。
【００４７】
本発明の好ましい実施例によると、前記ビデオ信号の前記帯域通過フィルタ処理ステップが、補間された標本を得るために、前記ビデオ信号の前記画像の標本を補間するステップと、前記帯域通過フィルタ処理されたビデオ信号の画像の標本を得るために、前記補間された標本とそれぞれの耐ボケフィルタ係数と乗算し、積を合計するステップと、を含む。前記補間は、例えば、特別な位置に対する、例えば１Ｄ又は２Ｄ耐ボケフィルタのタップの位置などに対する標本の２Ｄ補間であり得る。
【００４８】
本発明の好ましい実施例によると、前記耐ボケフィルタが、前記推定動きベクトルの方向にしたがって回転される１Ｄ耐ボケフィルタであり、前記ビデオ信号の前記画像の前記標本が、前記回転された１Ｄ耐ボケフィルタのタップの位置に補間される。
【００４９】
本発明の好ましい実施例によると、前記耐ボケフィルタ係数が、前記推定動きベクトルから独立している。前記フィルタ係数は、例えば、前記ホールド型ディスプレイのディスプレイ特性に対して最適化される所定のフィルタ係数であり得る。
【００５０】
本発明の好ましい実施例によると、前記耐ボケフィルタ係数の間隔が、前記推定された動きベクトルの長さに依存する。前記間隔、すなわち前記耐ボケフィルタのタップ間の空間距離は、例えば、前記推定される動きベクトルの長さの増加に連れて増加し得る。
【００５１】
本発明の好ましい実施例によると、補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する線の近傍に位置される。
【００５２】
本発明の好ましい実施例によると、補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する前記線から両側に垂直に延在する領域に位置される。そして、前記補間は、耐ボケフィルタ処理が適用される方向に垂直な、したがって推定される動きベクトルの方向に垂直な、標本の追加的な平均化するステップを含み。
【００５３】
本発明の好ましい実施例によると、前記ビデオ信号の前記画像の前記標本の少なくとも一部分の平均化ステップを含む。前記平均化ステップは、ノイズの平均化するのに、及び／又は前記ビデオ信号の追加的な低域通過フィルタ処理を実行するのに寄与し得る。
【００５４】
本発明の好ましい実施例によると、前記ビデオ信号の前記帯域通過フィルタ処理ステップが、前記推定された動きベクトルに応じて、所定の群の２Ｄ帯域通過フィルタのうちから２Ｄ帯域通過フィルタを決定するステップと、前記選択された２Ｄ帯域通過フィルタを用いて前記ビデオ信号をフィルタ処理するステップと、を含む。前記所定の群の２Ｄ帯域通過フィルタは、例えば、複数の動きベクトルの可能な長さに関する、予備計算された２Ｄ帯域通過フィルタを表にして含み、これにより、２Ｄ帯域通過フィルタが、前記推定される動きベクトルの長さ及び方向に最も近い動きベクトルの長さ及び方向に関連付けられる前記予備計算された２Ｄ帯域通過フィルタを選択することによって、前記所定の群から選択され得る。
【００５５】
本発明の好ましい実施例によると、前記２Ｄ帯域通過フィルタの決定ステップが、前記所定の群の２Ｄ帯域通過フィルタのうちの２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを補間するステップを含む。また前記２Ｄ帯域通過フィルタは、前記推定される動きベクトルの長さ及び方向と、前記所定の群の帯域通過フィルタが計算された動きベクトルの長さ及び方向との間の関係に応じて、前記群に含まれる２つ以上の前記２Ｄ帯域通過フィルタを補間することによっても、前記所定の群の２Ｄ帯域通過フィルタから規定され得る。
【００５６】
本発明の好ましい実施例によると、前記帯域通過フィルタ処理されたビデオ信号が、前記ビデオ信号と組み合わせられる前に、ノイズ抑制処理を更に行われる。前記ノイズ抑制処理は、例えば、コアリングすることによって低増幅高空間周波数は破棄することによって、及び／又は非線形オーダー静的フィルタ(non-linear order-statistical filter)を用いて前記帯域通過フィルタ処理された信号をフィルタ処理することによって、ノイズを抑制し得る。この周波数増大は、十分な信号が存在する領域にのみ実行される。というのも、これら領域は、動きボケが最も好ましくない領域でもあるからである。
【００５７】
上述の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラムが更に提案される。前記計算機プログラムは、例えば、中央処理ユニット（ＣＰＵ）、又は例えばディスプレイ、テレビ若しくはモニタなどの前記ビデオ信号の前記画像の表示に関連する装置に集積される他のいかなる処理器によっても処理され得る。
【００５８】
上述の方法ステップのいずれかを処理器に実行させるように動作可能な命令を含む計算機プログラムを有する計算機プログラム製品が更に提案される。前記計算プログラム製品は、例えば、ディスク、メモリスティック、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ又は他のいかなる記憶媒体などのリムーバブル記憶媒体であり得る。
【００５９】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する装置であって、前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するように構成される手段と、前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するように構成される手段であって、前記帯域通過フィルタ処理が、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理の通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的に移動する手段と、前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせる手段と、を備える装置が更に提案される。
【００６０】
斯様な装置は、例えば、ビデオ信号をディスプレイに送る前に処理する個別のユニットとして実現され得る。前記装置は、例えばテレビ、モニタ、ヘッドマウントディスプレイ若しくは携帯電話、ＰＤＡなどの携帯型マルチメディア装置としてディスプレイに、又はディスプレイを収容する装置へ統合され得る。
【００６１】
本発明のこれら及び他の態様は、以下に記載の実施例から明らかであり、これらの実施例を参照にして説明される。
【発明を実施するための最良の形態】
【００６２】
本発明は、図８に例示されるように、式（１１）の表示＋眼フィルタ
が、既に非常に低い空間周波数で、高速でかなりの減衰を有するという観点から述べている。更に、人間視覚システムは、低い空間周波数でより敏感であり、高い周波数は、一般的に低いＳ／Ｎ比率を有することが認識される。更に、本発明は、通常のビデオマテリアルにおける動くオブジェクトが、カメラの制限による最高周波数（カメラボケ）を含まないことを認識する。この理由のため、看者は、ＬＣＤパネルによって生じる程ではないが（低い空間周波数まで）、高速度である程度の詳細を失うことに慣れている。
【００６３】
したがって、本発明によると、高速度の場合、最低の影響される周波数の補償に優先度を与えること、及び最高周波数を基本的に変化させないままにすることを提案される。これは、（図９を参照）式（１２）の逆フィルタの近似として作用する従来技術の高周波数ブーストフィルタを、高速度で高い周波数の増幅を制限するとともに最低周波数のみを補償する中間周波数ブーストフィルタに変換する。
【００６４】
図１１は、本発明のフィルタ構造１１の対応する実施例を示す。ビデオ信号の画像の画素は、動き推定器インスタンス１１０２に供給され、動き推定器インスタンス１１０２において、前記ビデオ信号の前記画像の動くオブジェクトに関連付けられる動きベクトルの方向及び長さの両方は、例えば３Ｄ再帰型ブロックマッチングアルゴリズム又は類似の技法を介して推定される。ビデオ信号の画像の前記画素が２Ｄ補間インスタンス１１００へも供給される。この補間インスタンス１１００は、前記ビデオ信号の画像から取得される現在の画素の周囲の２Ｄ近隣部分を用い、前記現在の画素に関連付けられる動きベクトルの推定される方向に基づき、１Ｄの一続き（線）の標本を１Ｄ耐ボケフィルタ１１０１に戻す。前記１Ｄ耐ボケフィルタの係数は、固定され得、これらは、例えば、予め規定され、ディスプレイの特性に適合され得る。
【００６５】
補間から生じる標本は、１Ｄ耐ボケフィルタ１１０１のタップに対応する。これらの標本は、その後、１Ｄ耐ボケフィルタタップを用いて乗算され、現在の画素に関する単一の「補正」値になるように累積される。この演算は、動きベクトルが変化する場合、適用される標本線が１つの画素から次へ完全に変化し得るので、従来の重畳フィルタリングではない。フィルタタップ係数を用いた前記補間画素の前記後続の乗算及び前記２Ｄ補間は、１Ｄフィルタカーネルによる動きベクトルに沿った１Ｄ耐ボケフィルタカーネルの向きとして考慮され得、該１Ｄフィルタカーネルは、フィルタリングを実際に２Ｄのフィルタリングにする。該補間は、回転された１Ｄ耐ボケフィルタタップが、通常、画像における標本（画素）位置と一致しないという事実を考慮する。この補間は、例えば、バイリニア補間又は他のいずれの補間のでもあり得る。
【００６６】
これらの補間画素の位置（又は対応する１Ｄ耐ボケフィルタタップ）は、動きベクトルの方向で変換するだけでなく、高速度に関して中央タップから大きく離れた距離にも位置する。これは、１Ｄ耐ボケフィルタの応答を動きベクトルの長さを増加させる低周波数へと移動させる。このことは、動き推定インスタンス１１０２によって推定される動きベクトルの長さ（又はビデオ信号の画像の成分の速度）を１Ｄ耐ボケフィルタ１１０１に入力することによって、図１１において概略的に例示される。特に１Ｄ耐ボケフィルタ１１０１のフィルタタップ計数が固定である場合、１Ｄ耐ボケフィルタタップの間隔も、補間インスタンス１１０２の２Ｄ補間で調整され得ることが直ちに確認される。そして、動きベクトルの推定長さ及び方向は、前記動き推定インスタンス１１０２から前記２Ｄ補間インスタンス１１００へ供給される。
【００６７】
１Ｄ耐ボケフィルタ１１０１によって出力されるフィルタ処理された画素は、その後、任意追加的なノイズ低減インスタンス１１０１に供給され得る。このノイズ低減インスタンスは、例えば、前記画素に「コアリング(coring)」を実行し得、すなわちノイズは低増幅高周波数を破棄することによって抑制され、及び／又はこのノイズ低減インスタンスは、前記画素を非線形オーダー静的フィルタを用いてフィルタ処理する。これらの技法は、十分な信号が存在する領域にのみ周波数増大を適用するように寄与する。というのも、これらは、動きボケが最も好ましくない領域でもあるからである。
【００６８】
フィルタ処理された及び可能なノイズ低減画素は、その後、加算器１１０４を用いて元のビデオ信号の画素に加えられ、その後ホールド型ディスプレイに供給される。
【００６９】
フィルタ１１の構造から、ディスプレイが、元のビデオ信号の合計と前記元のビデオ信号のフィルタ処理された版との合計を供給され、前記フィルタ処理が、前記ビデオ信号の画像内の画素又は画素の群に関して特有であり、推定動きベクトルに沿ってのみ生じることが直ちに確認される。更に、以下に説明されるように、前記２Ｄ補間及び１Ｄフィルタリングは、動きベクトルの推定長さに依存する帯域制限周波数範囲でのみ生じる帯域通過フィルタ処理を実行し、前記周波数範囲は、高周波数から中間周波数へ前記ビデオ信号の動きの増加に連れて移動される。任意追加的に、帯域制限周波数範囲内の周波数成分の増大は、前記ノイズ低減インスタンス１１０３によって抑制される。システムの全体１１は、したがって、中間周波数ブーストフィルタを表し、ブーストされた周波数範囲は、高いものから低い周波数へ、ビデオ信号の動きを増加するのに関して動く。
【００７０】
図１２は、ビデオ標本グリッド１２の位置を黒のボックスとして示し、例証的な３タップ１Ｄ耐ボケフィルタの異なる回転及びタップ間隔を灰色のボックスとして示す。３つのタップは、フィルタリングの方向を示す破線で補間される。図１２から、ビデオ標本グリッドの画素位置は、推定動きベクトルの方向に従い回転する１Ｄ耐ボケフィルタの位置に必ずしも一致しないことが直ちに確認される。タップ間隔が動きベクトルの長さ（又は画像の成分の速度）の増加により増加する場合、３タップ１Ｄ耐ボケフィルタの中央タップの位置が一定のままにあることも明らかに確認され得る。
【００７１】
図１３は、（２Ｄ補間、回転された１Ｄ耐ボケフィルタ及び加算器からなる）フィルタ構造１１の伝達関数を正規化空間周波数の関数として実線(1301a..1304a)で、また理想的な逆フィルタの伝達関数を破線(1301b..1304b)で示し、フィルタ構造１１及び理想的な逆フィルタの伝達関数の両方は、異なる速度に関して与えられ、該異なる速度は、それぞれフィルタ1301aから1304aへ及び1301bから1304bへと減少する。理想的な逆フィルタの増大が開始する空間周波数は、速度が増加すると、理想の逆フィルタから、より小さい空間周波数へと移動することが直ちに確認される。フィルタ構造１１の伝達関数は、固定の速度に関して、小さい空間周波数に関して対応する理想的な逆フィルタの良好な近似を表す。しかし、図１２に示されるように、フィルタ構造１１の１Ｄ耐ボケフィルタのタップは、速度が増加して中央タップから遠ざかるように単純に移動される場合、伝達関数は周期的になり、高周波数はフィルタをなお通過し得る。このことは、入力標本がフィルタリングにおいて「スキップ」される場合に発生する。
【００７２】
図１４は、ビデオ標本グリッド１４（白のボックス）におけるどの標本（黒のボックス）が、（バイリニア補間に関して）各補間された標本を計算するのに用いられるかを示す。フィルタタップ間の標本のスキップ、特に中央フィルタタップ及びそれぞれの左及び右の補間された外側のフィルタタップとの間の標本のスキップは、この例のおいて明らかである。
【００７３】
この問題を解決するために、本発明は、フィルタ構造１１の応答を変更し、実際に高速度に関するまさに最高周波数を抑制するようにすることを提案する。このことは、タップ乗算の前にこれらの周波数を抑制する補間方法、すなわち補間標本を計算するより多くの元の標本を用いる（平均化する）補間方法を用いることによって達成される。
【００７４】
図１５ａは、この原理を例示する。図１４とは対照的に、ここでは、４より多い標本が、最も左の及び最も右のフィルタタップに関連付けられる標本の補間に関して用いられる。
【００７５】
高速度に関する１Ｄ耐ボケフィルタの周期性を抑制する代わりの対処法は、始めにより多くの標本を補間し、そして、より多くのタップを有し高周波数を抑制するフィルタを用いることである。この対処法は、タップの数が３から５に増やされている図１５ｂに示される。
【００７６】
高速度での高周波数の抑制は、１Ｄ耐ボケフィルタを速度依存低域通過フィルタと直列接続にすることによって、又は様々な速度に関して多数の（１Ｄ）フィルタを記憶することによっても達成され得る。正規化空間周波数の関数としての、異なる速度に関するフィルタ構造の生じる伝達関数1601a..1604a、及び対応する理想的な逆フィルタ1601b..1604bが図１６に示され、それぞれの速度はフィルタ1601から1604へと低下する。
【００７７】
図１６から、図１１のフィルタ構造１１が、ここでは、図１６の伝達関数を得るために追加される、全域通過フィルタ（元のビデオ画像の加算器１１０４への直接供給）と、帯域通過フィルタ（２Ｄ補間及び１Ｄ耐ボケフィルタの組合せ）とからなるように考慮され得ることが直ちに確認され得る。したがって、フィルタ構造の伝達関数1601a..1604aから「１」を減算することによって、２Ｄ補間及び１Ｄ耐ボケフィルタの組合せの伝達関数が得られ、該伝達関数は、帯域通過特性を呈する。この帯域通過特性の通過帯域は、速度の増加に連れて高空間周波数から中間空間周波数に移動し、この移動は、動きベクトルの推定長さに応答して順応的に実行され、１Ｄ耐ボケフィルタのタップ間隔に影響を及ぼす。２Ｄ補間によって実行される１Ｄ耐ボケフィルタ応答の回転は、帯域通過フィルタ処理ステップが、動きベクトルの方向に沿ってのみ適用されることを保証する。
【００７８】
図１７は、フィルタ構造１１と表示＋眼の組合せと組合せの増幅を、（フレーム毎の画素での）動き及び正規化空間周波数の関数として示す。ここで、白い領域は1から0.5の増幅を表し、陰影領域は0.5から0の増幅を表す。図１７ｂの白い領域から、速度が増加するに従い、図１１に従うフィルタ構造によって実行される高空間周波数におけるスペクトル成分の増大が、中間及び少ない周波数でスペクトルの成分に有利になるように著しく低減されることが明らかに確認され得る。
【００７９】
フィルタ処理されるビデオ信号へのノイズの影響を更に低減するために、動き方向に垂直な低域通過フィルタリングも有益であり得、該フィルタリングは、２Ｄ補間における動きの線から更に遠い標本も用いることによって実現され得る。
【００８０】
この概念は、図１８に例示され、白のボックスは、ビデオ標本化グリッド１８を表し、灰色のボックスは、回転される１Ｄ５タップフィルタのタップを表し、黒のボックスは、フィルタタップ位置に対する標本の補間のために用いられる標本を表す。図１５ｂとは対照的に、フィルタタップによって規定される線から垂直に延在するとともに補間に関して用いられる標本を含む領域は、図１５ｂよりも広く、これにより、平均化効果を増加しそしてノイズを抑制するために、動きベクトルの方向に垂直な方向に更なる標本を考慮に入れることが特記される。
【００８１】
斯様にして、生じるフィルタは、動きに垂直な低域通過の作用を、及び動きに沿って帯域通過の作用を有する。
【００８２】
最終的に、（１Ｄ）フィルタリングが後に続く方向依存補間としてフィルタを補間することに対する代替として、フィルタは、多数の角度及び速度（多数の動きベクトル）に関して計算され、テーブルに記憶され得る。そして、フィルタリングは、各画素に関して異なる２Ｄフィルタを適用するように落ち着き、このフィルタの係数は、明細書のこの部分に記載の原理に従う。記憶されるフィルタの数は、「中間」フィルタが記憶されるフィルタに基づいて計算される（補間される）場合、制限され得る。
【００８３】
本発明の性能を評価するために、図１１及び１７によるフィルタ構造１１が、記憶されたシーケンスを実時間で再生し得るＰＣに基づくビデオストリーマ、ＤＶＩからＬＶＤＳパネルインターフェイスボード、及び３０インチのＬＣＤ−ＴＶパネル(追加処理無しの1280x768、60Hz)からなるＬＣＤ−ＴＶシミュレーションセットアップで検査された。パネルが12msの記録される応答時間を有するものの、各灰色レベル移行に関しての応答時間の測定が行われたので、平均応答時間が20msであることが分かった。応答時間を更に増加するために、（適量の）オーバードライブが、１フレーム時間内に対する応答時間を得るために用いられる。
【００８４】
ＣＲＴディスプレイとの比較をすることによって、ＬＣＤにＣＲＴよりも多くの動きボケが可視的に存在しなかったことが観察され得る。非常に重要な（グラフィックなどの）シーケンスに関してのみ、動きボケがなお可視であった。
【００８５】
本発明は、好ましい実施例を用いて以上に記載されている。当業者にとって明らかであり、添付の請求項の範囲及び精神から逸脱することなく実施され得る代替方法及び変更態様が存在することが特記されるべきである。
【００８６】
添付の図面では、以下のものを示す。
図１：従来技術による、静止元画像、標本化画像及び表示される画像を含む表示チェーンの概略図。
図２：従来技術による、インパルス型ディスプレイにおける画像の標本化及び表示に対応する、元の画像
、標本化画像
、表示画像
、及び（眼の低域通過後の）知覚画像
の（正規化時間周波数
と正規化空間周波数
との関数としての）空間−時間周波数スペクトル。
図３：従来技術による、ホールド型ディスプレイにおける画像の標本化及び表示に対応する、標本化画像
、（低増幅を表すカラーコード白及び高増幅を表すカラーコード黒を有する）開口関数
、
表示画像
、及び（眼の低域通過後の）知覚画像
の空間−時間周波数スペクトル。
図４：従来技術による、静止元画像
、動元画像
、及び標本化された元の画像
の空間−時間周波数スペクトル。
図５：従来技術による、動元画像から最終的な知覚画像への表示チェーンの概略図。
図６：図４を補完する、従来技術によるインパルス型ディスプレイに関する表示画像
、眼の追跡後の画像
、及び眼の低域通過後の画像
の空間−時間周波数スペクトル。
図７：図４を補間する、従来技術によるホールド型ディスプレイに関する開口関数
、
表示画像
、眼の追跡後の画像
、及び眼の低域通過後の知覚画像
の空間−時間周波数スペクトル。
図８：フレーム毎の画素で測定される速度、画素毎の周期で表現される
、及び
＝１フレームとする場合の、空間周波数及び速度の関数としての、眼の追跡及び時間表示開口による空間フィルタ
の概略的増幅応答。
図９：従来技術による予備補償フィルタを用いたビデオ信号から知覚画像への表示チェーンの概略的例示。
図１０：フレーム毎の３つの画素の速度に関する、従来技術による空間周波数の関数としての、表示＋眼フィルタ
、対応する逆フィルタ
、及び逆フィルタの近似の伝達関数。
図１１：本発明による、動きボケを低減するための、例示的な速度依存中間周波数ブーストフィルタ構造。
図１２：本発明による、図１１のフィルタ構造に含まれる１Ｄ耐ボケフィルタの速度依存タップ及び回転の概略的例示。
図１３：本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１によるフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
図１４：本発明による、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１５ａ：本発明による、平均が増している、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１５b：本発明による、フィルタタップの数が増加されている、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１６：本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１による中間周波数ブーストフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
図１７：（フレームごとの画素での）動きと正規化空間周波数との関数としての、図１６によるフィルタ構造とディスプレイ＋眼の組合せとの組合せの概略的増幅応答。
図１８：本発明による、フィルタタップによって規定される線から更に離れて位置する標本の追加的な使用のもとで、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図面の簡単な説明】
【００８７】
【図１】従来技術による、静止元画像、標本化画像及び表示画像を含む表示チェーンの概略図。
【図２】従来技術による、インパルス型ディスプレイにおける画像の標本化及び表示に対応する、元の画像、標本化画像、表示画像、及び（眼の低域通過後の）知覚画像の（正規化時間周波数と正規化空間周波数との関数としての）空間−時間周波数スペクトル。
【図３】従来技術による、ホールド型ディスプレイにおける画像の標本化及び表示に対応する、標本化画像、（低増幅を表すカラーコード白及び高増幅を表すカラーコード黒を有する）開口関数、表示画像、及び（眼の低域通過後の）知覚画像の空間−時間周波数スペクトル。
【図４】従来技術による、静止元画像、動元画像、及び標本化された元の画像の空間−時間周波数スペクトル。
【図５】従来技術による、動元画像から最終的な知覚画像への表示チェーンの概略図。
【図６】図４を補完する、従来技術によるインパルス型ディスプレイに関する表示画像、眼の追跡後の画像、及び眼の低域通過後の画像の空間−時間周波数スペクトル。
【図７】図４を補間する、従来技術によるホールド型ディスプレイに関する開口関数、表示画像、眼の追跡後の画像、及び眼の低域通過後の知覚画像の空間−時間周波数スペクトル。
【図８】フレーム毎の画素で測定される速度、画素毎の周期で表現される空間周波数、及びTh＝１フレームとする場合の、空間周波数及び速度の関数としての、眼の追跡及び時間表示開口による空間フィルタの概略的増幅応答。
【図９】従来技術による予備補償フィルタを用いたビデオ信号から知覚画像への表示チェーンの概略的例示。
【図１０】フレーム毎の３つの画素の速度に関する、従来技術による空間周波数の関数としての、表示＋眼フィルタ、対応する逆フィルタ、及び逆フィルタの近似の伝達関数。
【図１１】本発明による、動きボケを低減するための、例示的な速度依存中間周波数ブーストフィルタ構造。
【図１２】本発明による、図１１のフィルタ構造に含まれる１Ｄ耐ボケフィルタの速度依存タップ及び回転の概略的例示。
【図１３】本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１によるフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
【図１４】本発明による、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１５ａ】本発明による、平均が増している、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１５ｂ】本発明による、フィルタタップの数が増加されている、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１６】本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１による中間周波数ブーストフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
【図１７】（フレームごとの画素での）動きと正規化空間周波数との関数としての、図１６によるフィルタ構造とディスプレイ＋眼の組合せとの組合せの概略的増幅応答。
【図１８】本発明による、フィルタタップによって規定される線から更に離れて位置する標本の追加的な使用のもとで、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【技術分野】
【０００１】
本発明は、ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法に関する。
【背景技術】
【０００２】
長年において、伝来の陰極線管（ＣＲＴ）ディスプレイは、主にアクティブマトリックス型技術に基づく代替表示原理からの増加する競争に直面してきた。特に、アクティブマトリックス型液晶ディスプレイ（ＡＭ−ＬＣＤ）は、劇的に性能が向上し、価格が低下しているので、ＣＲＴの市場シェアは、急激なペースで低下している。これらの新たな表示原理の主な差別化特徴は、サイズであり、ＬＣＤは薄型で、平らで、軽い。このことは、これらのディスプレイの第１の市場、すなわちラップトップコンピュータを可能にした。またＬＣＤは、現在までに、デスクトップモニタ市場をほとんど取得し、サイズだけでなく、均一で、鮮明で、フリッカのない画像再現が効果を生み出している。現在、ＣＲＴは、最後の砦であるテレビにおいて、ＬＣＤとの競争にも直面しなければならない。
【０００３】
良いテレビディスプレイを作製するために、ＬＣＤは、例えば視野角の制限及び色性能などの以前の欠点を克服しなければならなかった。しかし、ＣＲＴは、主要な点の１つである動き描画に関しては未だ打ち破られていない。斯様な領域において、基本的な表示効果を提供するＬＣ分子が画像の変化に対して遅く反応するので、ＬＣＤはより悪く動作する。このことは、ＬＣＤをビデオ応用例に不適にさせる動くオブジェクトの不快なボケ(blur)を生じさせる。したがって、ＬＣ材料の応答の速度を上げるのに多数の試みが行われてきた。このことは、より良い材料を適用することによって、又はＬＣセル設計を向上させることによって行われ得る。また「オーバードライブ」と呼ばれる、ビデオ処理に基づく応答時間を向上する既知の方法も存在する。オーバードライブは、適用される灰色レベル移行に応じたドライブ値を変化することによって、ＬＣ画素の応答速度を向上させる。このことは、フレーム時間内に対する応答時間の低減を可能にする。現在、入手可能な最良のディスプレイは、フレーム時間(60Hzで17ms)以下の応答速度を記録する。フレーム時間内に対する画像変化に応答し得るＬＣＤに関して最悪のボケアーチファクトが防止されるので、これは重要な値である。
【０００４】
しかし、ＬＣ材料の応答を低い値へと速度を上げることは、動きボケを完全に防止するのに十分ではない。このことは、フレーム時間全体において発光を生じさせる（ホールド型ディスプレイ）、サンプル・ホールド特性を示すアクティブマトリクス原理自身によって引き起こされる。このことは、ＣＲＴ(インパルス型ディスプレイ)蛍光体(phosphor)によって生成される非常に短時間（マイクロ秒）の光フラッシュとの主な相違点である。この延長された発光は、人間が動く画像を知覚する方法にはあまり調合しないことは周知である。次の部分で更に説明されるように、人間の眼は、スクリーン上の動くオブジェクトを追跡し、これにより、フレーム各固定点に属する光を網膜における一連の点に映す。この「点展開」は、動くオブジェクトの鮮明さの損失になる。
【０００５】
表示システムの基本機能は、元の画像に対応する物理的発光を、受けられた空間・時間離散的ビデオ信号から、スクリーンにおける正しい位置及び時間で再構築することである。この再構築の特性は、特に人間の視覚システムの特性と組み合わせられる場合に、実用的な表示システムに発生する多くの画像品質アーチファクトを説明し得る。
【０００６】
元の画像から表示画像への信号チェーン１の非常に基本的な表示は、図１に示される。時間変化画像として表される元のシーンは、
が２つの次元を有する、すなわち
である、空間−時間連続強度関数
である。
この元の画像は、時間及び空間でカメラ１００によって標本化される。空間標本化がこの仕様の範囲外であるので、我々はこれを今後時折にのみ参照する。しかし、時間の作用は、この仕様の他の部分に関する主な焦点であり得る。標本化処理は、
【数１】
で記述され、
が、δ−インパルスの３次元格子である。我々は、間隔
及び
を標本化することによって記述される、長方形標本化格子
【数２】
仮定し得る。
【０００７】
ディスプレイ１０１による物理的発光の再構築は、表示開口を用いての重畳（または再構築関数又はポイントスプレッド関数としても既知である）によって記述され得る。この開口は、空間及び時間の関数
である。ディスプレイ１０１によって再生される画像は、
【数３】
になる。
【０００８】
標本化及び再構築の２つの作業は、表示される画像及び元の画像の間の多数の特徴的差異を考慮する。これらは、周波数領域記述によって最良に記述されるので、我々は、フーリエ変換
を数式（３）へ適用する。
【数４】
ここで、格子
のフーリエ変換
は、空間
、
及び
（フレームレート）を有する逆格子である。
【０００９】
元の画像の空間−時間スペクトル、標本化画像、表示画像、及び最終的に知覚される画像が、正規化時間周波数
及び正規化空間周波数
の関数として、それぞれ図２の４つのプロットで、インパルス型（ＣＲＴ）ディスプレイの場合に関して示される。例示を簡単化するために、我々は、信号が空間次元で連続であるかのように、空間的な繰り返しを省略する。表示される画像に関して、これは、空間次元が完全に再構築されていること、すなわち元の連続的な信号がナイキスト規準に従い空間的に帯域制限されたことを仮定することと同等であり、再構築が、繰り返しスペクトルを効果的に除去する。
【００１０】
時間的次元において、発光のインパルス性質は、平坦な再構築スペクトルを与える。この平坦なスペクトルの結果として、ベースバンドの時間的周波数
は、減衰されないが、少なくとも最低のオーダーの繰り返し（the lowest order repeats）は通過される。
【００１１】
画像は、看者によって最終的に知覚されるように、人間視覚システム（ＨＶＳ）の特性によっても決定される。時間的領域において、ＨＶＳは、高周波数には鈍感であるので、主に低域通過フィルタとして振舞う。図２の４つのプロットは、我々が眼の低域通過フィルタが全ての繰り返しスペクトルを除去すると仮定する場合、知覚される画像が、元の画像（図２の第１プロットを参照）と同一であることを示す。この仮定は、常に真実であるというわけではなく、したがって、表示システムにおける最も広く知られているアーチファクトの１つである大きな領域のフリッカを導く。このことは、およそ75Hzより小さいフレームレートに関して完全に抑制されていない（低空間周波数で）第１繰り返しスペクトルによって引き起こされる。
【００１２】
ＬＣＤのようなアクティブマトリクス型ディスプレイは、インパルス型発光を有さない。現在入手可能な最速ディスプレイは、フレーム時間より短い応答時間を有する。しかし、これらであっても、アクティブマトリクスのサンプル・ホールドの作用及びバックライトによる連続照明が原因で、フレーム時間全体で発光を未だ有し得る。この作用は、保持時間
に等しい幅を有する時間的「ボックス」再構築関数になる。周波数領域において、これは、「
」特性、
【数５】
になる。
【００１３】
標本化される画像のスペクトル、開口
のスペクトル、表示される画像のスペクトル、及び最終的に知覚される画像のスペクトルは、斯様なホールド型ディスプレイに関する、それぞれ図３の４つのプロットで示される。これは、直ちに、インパルス型ディスプレイに対するホールド型ディスプレイの特有な有利な点を示す。すなわち、
特性が、表示される画像の繰り返しスペクトル（図３の第３プロットを参照）を抑制し、標本化周波数においてゼロ伝達をも有する。このことは、全てのフレームレートにおける大区域フリッカを除去する。
【００１４】
ホールド型ディスプレイのサンプル・ホールドの作用は、インパルス型発光より良好なディスプレイになるようである。静止画像に関しては、確かに当てはまる。しかし、動画に関しては結果は変わり、
【数６】
、ここで、
は、
及びtに関して用いられるのと同じ単位でここで測定される、スクリーンにおける動く画像の速度である。
標本化間隔
が既知である場合、
も、「フレームごとの画素」で表現され得る。このことは、「動きベクトル」すなわち「フレーム変位ベクトル」に対応する。
【００１５】
また式（６）も、周波数領域に変換され得、
【数７】
になる。
【００１６】
この動きは、図４の第１プロットの元の静止画のスペクトルと比較した、図４の第２プロットで示されるスペクトルのせん断(shear)になる。スペクトルのせん断は、動くオブジェクトの空間変化が時間変化を発生し得ることを反映する。
【００１７】
この動く画像は、その後、標本化され（図４の第３プロットを参照）、表示チェーンで再構築され、その後眼に到達する。動く画像の知覚は、ＨＶＳの別の重要な特性によって特徴付けられる。看者は、網膜に静止画を生成するために、スクリーンにわたる動くオブジェクトを追従しようと試みる。この仕組みは、十分研究されており、ＨＶＳが高いレベルで詳細に動く画像を知覚するのを可能にする。眼が追跡する看者の網膜の画像は、式（６）及び（式）７の関係式の逆、
【数８】
で記述される。
【００１８】
動きインスタンス５００（動くオブジェクトによる）と、標本化インスタンス５０１（カメラなど）と、再構築インスタンス５０２（ディスプレイなど）と、追跡インスタンス５０３（看者が動きを追跡する）と、低域通過フィルタ５０４（眼）とを有する元の画像から知覚画像へのチェーン全体５が、図５に示される。式（８）の式（３）を減算し、式（７）を適用すると、眼が追跡する看者の網膜への投影される画像を与える。
【数９】
【００１９】
眼による低域通過フィルタ処理後の知覚画像
は、インパルス型ディスプレイに関して図６の第３プロットに示され、ホールド型ディスプレイに関して図７の第４プロットに示され、図６及び７のプロットは、それぞれ図４のプロットの補完する。眼の低域通過後の画像は、周波数
で見ることによってのみ得られ、再び、空間領域における完全な再構築を仮定する。ここで、我々は、ディスプレイの時間開口関数の効果が、眼の追跡と組み合わせられて、動く画像の空間フィルタ
【数１０】
として記述され得ることを理解し得、ここで、空間低域通過フィルタは、
【数１１】
である。
【００２０】
式（１１）のフィルタ
は、動きベクトル
及び保持時間（フレーム時間）
に依存する。
【００２１】
図８は、このフィルタの増幅応答を、（フレームごとの画素で）動き（速度）
と動き方向
に沿った正規化空間周波数
の関数として表し、白い領域は、1及び0.5の間の増幅（低減衰）を表し、影の領域は、0.4及び0の間の減衰（高減衰）を表す。
【００２２】
時間「保持」開口が大領域フリッカに関して有益であるにもかかわらず、看者の網膜において動くオブジェクトの空間的なボケを生じさせ得る。より高い空間周波数は、
特性によって減衰され得、減衰が開始する空間周波数は速度とともに小さくなり、これにより、拡張される空間周波数領域に影響を及ぼす。更に、このボケは、動き方向に沿ってのみ発生し得る。各オブジェクトの動きに垂直方向の鮮明さは影響されない。
【００２３】
式（１１）は、この効果を低減するために、保持時間
が減らされるべきであることを提案する。このことは、２つの方法で達成され得る。まず始めに、フレームレートが増加され得る。所要の効果を有するためには、このことは、単純なフレーム繰り返しが同一の効果的保持時間になるので、動き補償フレームレート変換で行われるべきである。第２に、フレームレートを変更することなく、我々は、発光の時間（すなわちより正確には、デューティ周期）を減らし得る。ＬＣＤに関して、このことは、いわゆる「走査バックライト」を用いてフレーム時間の一部の間のみバックライトをスイッチオンすることによって実現され得る。
【００２４】
式（１１）に基づく、サンプル・ホールド効果による動きボケを低減する第３の選択肢は、ビデオ処理のみを用い、ディスプレイ又はバックライトの修正を必要としない。（ディスプレイによる再構築９０１及び看者／眼による追跡／低域通過フィルタ処理ステップ９０２からなる）ディスプレイ＋眼の組合せの低域通過フィルタ処理ステップ９０３は、図９の表示チェーン９に示されるように、ビデオ領域において予備補償され、このことは、式（１１）のフィルタの
の逆フィルタ９００を用いることによって達成され得る。
【数１２】
【００２５】
逆フィルタ
は、純粋に空間フィルタであり、眼の追跡を組み合わせられると、ディスプレイの時間開口が、空間低域通過フィルタ
になるという観点を反映する。更にチェーンに沿った逆フィルタ９００及びディスプレイ＋眼の組合せ９０３の直列接続は、可能な限り元の画像に達する知覚される画像になるべきである。
【００２６】
欧州特許出願公開第0657860A2号は、斯様な予備補償フィルタ
９００の近似
の使用を、速度依存高空間周波数増大フィルタ（又は高空間周波数ブーストフィルタ）の形状で開示し、該速度依存高空間周波数増大フィルタは、動きの成分の速度にしたがい高空間周波数でビデオ信号のスペクトルを増大し、高空間周波数の前記スペクトルはビデオ信号の画像の動く成分に関連する。（増大が開始する）空間周波数増大フィルタのカットオフ周波数は、動きベクトル推定器によって推定される動きベクトルにしたがい調整される。欧州特許出願公開第0657860A2号で使用される空間周波数増大フィルタ
は、例えばノイズしきい値以下の非常に低いレベルに（例えば空間低域通過フィルタ
のゼロに）
減衰されている周波数の復元が現実的には達成され得ないので、式（１２）に規定の正確な逆フィルタ
ではない。
【００２７】
図１０は、式（１１）の空間低域通過フィルタ
１０００の伝達関数、式（１２）の逆フィルタ
１００１の伝達関数、及び式（１２）の逆フィルタ
の近似１００２の伝達関数を、空間周波数の関数として示し、前記近似１００２は、欧州特許出願公開第0657860A2号の高周波数増大フィルタと同様である。
【００２８】
また、欧州特許出願公開第0657860A2号で開示される空間周波数増大フィルタは、ビデオ信号の標本化画像に存在するノイズの高空間周波数成分も増大する。しかし、平坦な（詳細でない）画像部分において、動き推定器は、空間周波数増大フィルタのカットオフ周波数を決定する誤った動きベクトルを推定する高い可能性を有し、高空間周波数増大フィルタ利得における不所望なノイズ増幅になり、この不所望なノイズ増幅は、ビデオ信号の画像の品質を著しく落す。
【発明の開示】
【発明が解決しようとする課題】
【００２９】
上述の問題を考慮し、本発明の目的は、ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する改善された方法、計算機プログラム、計算機プログラムの製品及び装置を提供することである。
【課題を解決するための手段】
【００３０】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法であって、前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するステップと、前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するステップであって、前記帯域通過フィルタ処理ステップが、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理ステップの通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的に移動する帯域通過フィルタ処理するステップと、前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせるステップと、を有する方法が提案される。
【００３１】
前記ホールド型ディスプレイは、非ストロボスコープ型ディスプレイとして理解され得、すなわち、画像は、画像の画像時間に対して無視出来ない期間にディスプレイに示される。ホールド型又は非ストロボスコープ型ディスプレイに関する例は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマパネルディスプレイ（ＰＤＰ）及び薄膜トランジスタ（ＴＦＴ）ディスプレイなどの非発光型ディスプレイであり、該ディスプレイは、例えば、光を変調する画像要素（画素）の行及び列の配列を有するディスプレイパネル、正面又は背面から前記ディスプレイパネルを照らす手段、及び供給される入力ビデオ信号に従い前記画素を駆動する駆動手段からなり得る。ホールド型ディスプレイの更なる例は、有機発光ダイオード（Ｏ−ＬＥＤ）ディスプレイ又はポリマ発光ダイオード（ＰｏｌｙＬＥＤ）ディスプレイなどの発光型ディスプレイであり、該ディスプレイは、例えば、画素（ＬＥＤ）の行及び列の配列を有するディスプレイパネル、及び供給される入力ビデオ信号に従い前記画素（ＬＥＤ）を駆動する駆動手段からなり得る。ここで、前記画素（ＬＥＤ）は、正面又は背面からの照明を必要とすることなく自身で光を発し、変調する。
【００３２】
前記ホールド型ディスプレイにおいて、ビデオ信号の画像が表示され、前記ビデオ信号は、一連の画像から構成され、前記画像は、例えば画像要素（画素）などの画像標本によって表される。ある画像から次の画像へ動く成分すなわちオブジェクトを含む前記ビデオ信号の画像は、看者によって見られる時に動きボケに見舞われ、前記動きボケは、前記画像の空間周波数領域低域通過フィルタ処理によって示され得る。
【００３３】
前記ビデオ信号の前記画像の前記動く成分の動きベクトルは、例えば、ある画像から次の画像への成分の変位を決定するブロック一致アルゴリズムを用いて推定される。そして、動きベクトルは、前記動く成分と、又は前記動く成分の標本すなわち画素と関連付けられ得る。
【００３４】
前記ビデオ信号は、空間周波数領域で帯域通過フィルタ処理され、その後、前記帯域通過フィルタ処理されたビデオ信号及び前記ビデオ信号は、例えば加算されて組み合わされ、前記ホールド型ディスプレイのための入力ビデオ信号を生成する。異なる帯域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の異なる成分又は画素に適用され得る。
【００３５】
前記帯域通過フィルタ処理ステップは、前記伝達関数が非ゼロである通過帯域部分と、伝達関数がほぼゼロである前記通過帯域の左側及び右側における停止帯域部分とを有する空間周波数領域に伝達関数を有する帯域通過フィルタによって表される。
【００３６】
前記帯域通過フィルタ処理ステップは、前記推定される動きベクトル少なくとも一部分に依存し、例えば、前記帯域通過フィルタ処理ステップは、前記推定される動きベクトルの方向にのみ実行され得る。前記推定される動きベクトルの長さが増加するに連れて（すなわち、前記ビデオ信号の前記画像の動く成分の速度が増加する）、前記帯域通過フィルタの通過帯域は、高空間周波数から中間空間周波数へ移動し、この移動は、前記推定される動きベクトルの長さに対して順応的である。
【００３７】
帯域通過フィルタ処理されたビデオ信号と元のビデオ信号との組合せは、速度依存中間周波数増大（又はブースト）フィルタ構造として考慮され得、該構造は、前記ビデオ信号の成分の増大を中間空間周波数範囲に制限し、前記ビデオ信号の画像の動きの量が増加する場合、この周波数範囲を高空間周波数から低空間周波数へ順応的に移動させる。
【００３８】
本発明は、第１の観点から、高速度に関して、ボケを生じさせる空間周波数低域通過フィルタが、既に非常に低い空間周波数においてかなりの減衰を有することを述べる。第２の観点は、人間の視覚システムは、低空間周波数でより敏感であり、高周波数は、一般的に、低Ｓ／Ｎ比率を有することである。更に、第３の観点によると、本発明により、通常のビデオマテリアルにおける動くオブジェクトは、カメラの制限による最高周波数（カメラボケ）を含まないことを認識する。この理由のため、看者は、ＬＣＤパネルによって生じる程ではないが（低い空間周波数まで）、高速度である程度の詳細を失うことに慣れている。
【００３９】
常に高周波数ブーストが実行され、ブーストが開始する空間周波数のみが動きの増加に連れて低下される従来技術の技法とは対照的に、本発明に従うと、優先度は、ボケによって影響される最低周波数の補償に与えられ、すなわち、中間周波数及び最高周波数は、基本的に変化されないままにされる。このことは、従来技術の技法と比較して、ビデオ信号の動きボケ低減のかなりの改善を導く。
【００４０】
本発明の好ましい実施例によると、前記帯域通過フィルタ処理ステップが、低域通過フィルタ処理ステップ及び耐ボケフィルタ処理ステップを直列形式で含む。前記耐ボケフィルタ処理ステップは、例えば、前記ディスプレイのディスプレイ特性に少なくとも一部分適合される高域通過フィルタによって表され得、前記低域通過フィルタ処理ステップ及び後続の高域通過フィルタ処理ステップは、すなわち、帯域通過フィルタ処理ステップになり得る。前記帯域通過フィルタ処理ステップの前記通過帯域の前記移動は、例えば、高域通過フィルタの通過帯域の低い方の縁部を速度が増加するに連れて低い周波数へと移動することによって達成され得る。
【００４１】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、反転低域通過フィルタを近似する耐ボケフィルタを用いて実行される。前記低域通過フィルタは、例えば、ボケを生じさせ得、動きベクトル（すなわち、前記画像の動く成分の速度）の長さに依存し得、これにより、ボケを補償するためには、前記低域通過フィルタの逆フィルタが前記ビデオ信号に適用される必要があり、前記逆フィルタは、前記動きベクトルの長さにも依存する。
【００４２】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、耐ボケフィルタを用いて実行され、前記耐ボケフィルタが、固定フィルタ係数及び前記推定動きベクトルの前記長さに依存する可変タップ間隔を備える１次元フィルタである。前記耐ボケフィルタは、例えば、前記推定動きベクトルの方向に沿って適用され得る。前記タップ間隔を変化させることによって、前記耐ボケフィルタの空間周波数伝達関数は、例えば、タップ間隔が増加するに連れて変化され得、前記耐ボケフィルタの通過帯域は、低い周波数へと移動し得る。
【００４３】
本発明の好ましい実施例によると、前記耐ボケフィルタ処理ステップが、前記推定動きベクトルの方向に実行される。これは、動きボケが動きベクトルの方向にのみ発生する場合に特に有利であり、これより、動きボケを低減するために動きベクトルの方向へのみフィルタ処理する場合にも、最小のノイズ増大のみが発生する。
【００４４】
本発明の好ましい実施例によると、前記低域通過フィルタリング処理ステップが、前記推定動きベクトルの方向に実行される。フィルタ処理工程に含まれる画素の数を減らすために、したがって、計算的な複雑さを減らすために、推定される動きベクトルの方向にのみ低域通過フィルタ処理を実行するのが有利であり得る。
【００４５】
本発明の好ましい実施例によると、前記低域通過フィルタ処理ステップが、前記推定動きベクトルの方向に垂直な方向に及び平行な方向に実行される。低域通過フィルタ処理を推定される動きベクトルの方向に垂直な方向にも実行することにより、前記ビデオ信号の前記画像の前記標本に含まれるノイズを平均化するのに寄与し得る。
【００４６】
本発明の好ましい実施例によると、前記低域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の標本の補間によって少なくとも一部分補間される。前記補間は、例えば、いくつかの画素を平均化するステップを含み得、前記平均化ステップは、低域通過フィルタ処理として考慮され得る。
【００４７】
本発明の好ましい実施例によると、前記ビデオ信号の前記帯域通過フィルタ処理ステップが、補間された標本を得るために、前記ビデオ信号の前記画像の標本を補間するステップと、前記帯域通過フィルタ処理されたビデオ信号の画像の標本を得るために、前記補間された標本とそれぞれの耐ボケフィルタ係数と乗算し、積を合計するステップと、を含む。前記補間は、例えば、特別な位置に対する、例えば１Ｄ又は２Ｄ耐ボケフィルタのタップの位置などに対する標本の２Ｄ補間であり得る。
【００４８】
本発明の好ましい実施例によると、前記耐ボケフィルタが、前記推定動きベクトルの方向にしたがって回転される１Ｄ耐ボケフィルタであり、前記ビデオ信号の前記画像の前記標本が、前記回転された１Ｄ耐ボケフィルタのタップの位置に補間される。
【００４９】
本発明の好ましい実施例によると、前記耐ボケフィルタ係数が、前記推定動きベクトルから独立している。前記フィルタ係数は、例えば、前記ホールド型ディスプレイのディスプレイ特性に対して最適化される所定のフィルタ係数であり得る。
【００５０】
本発明の好ましい実施例によると、前記耐ボケフィルタ係数の間隔が、前記推定された動きベクトルの長さに依存する。前記間隔、すなわち前記耐ボケフィルタのタップ間の空間距離は、例えば、前記推定される動きベクトルの長さの増加に連れて増加し得る。
【００５１】
本発明の好ましい実施例によると、補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する線の近傍に位置される。
【００５２】
本発明の好ましい実施例によると、補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する前記線から両側に垂直に延在する領域に位置される。そして、前記補間は、耐ボケフィルタ処理が適用される方向に垂直な、したがって推定される動きベクトルの方向に垂直な、標本の追加的な平均化するステップを含み。
【００５３】
本発明の好ましい実施例によると、前記ビデオ信号の前記画像の前記標本の少なくとも一部分の平均化ステップを含む。前記平均化ステップは、ノイズの平均化するのに、及び／又は前記ビデオ信号の追加的な低域通過フィルタ処理を実行するのに寄与し得る。
【００５４】
本発明の好ましい実施例によると、前記ビデオ信号の前記帯域通過フィルタ処理ステップが、前記推定された動きベクトルに応じて、所定の群の２Ｄ帯域通過フィルタのうちから２Ｄ帯域通過フィルタを決定するステップと、前記選択された２Ｄ帯域通過フィルタを用いて前記ビデオ信号をフィルタ処理するステップと、を含む。前記所定の群の２Ｄ帯域通過フィルタは、例えば、複数の動きベクトルの可能な長さに関する、予備計算された２Ｄ帯域通過フィルタを表にして含み、これにより、２Ｄ帯域通過フィルタが、前記推定される動きベクトルの長さ及び方向に最も近い動きベクトルの長さ及び方向に関連付けられる前記予備計算された２Ｄ帯域通過フィルタを選択することによって、前記所定の群から選択され得る。
【００５５】
本発明の好ましい実施例によると、前記２Ｄ帯域通過フィルタの決定ステップが、前記所定の群の２Ｄ帯域通過フィルタのうちの２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを補間するステップを含む。また前記２Ｄ帯域通過フィルタは、前記推定される動きベクトルの長さ及び方向と、前記所定の群の帯域通過フィルタが計算された動きベクトルの長さ及び方向との間の関係に応じて、前記群に含まれる２つ以上の前記２Ｄ帯域通過フィルタを補間することによっても、前記所定の群の２Ｄ帯域通過フィルタから規定され得る。
【００５６】
本発明の好ましい実施例によると、前記帯域通過フィルタ処理されたビデオ信号が、前記ビデオ信号と組み合わせられる前に、ノイズ抑制処理を更に行われる。前記ノイズ抑制処理は、例えば、コアリングすることによって低増幅高空間周波数は破棄することによって、及び／又は非線形オーダー静的フィルタ(non-linear order-statistical filter)を用いて前記帯域通過フィルタ処理された信号をフィルタ処理することによって、ノイズを抑制し得る。この周波数増大は、十分な信号が存在する領域にのみ実行される。というのも、これら領域は、動きボケが最も好ましくない領域でもあるからである。
【００５７】
上述の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラムが更に提案される。前記計算機プログラムは、例えば、中央処理ユニット（ＣＰＵ）、又は例えばディスプレイ、テレビ若しくはモニタなどの前記ビデオ信号の前記画像の表示に関連する装置に集積される他のいかなる処理器によっても処理され得る。
【００５８】
上述の方法ステップのいずれかを処理器に実行させるように動作可能な命令を含む計算機プログラムを有する計算機プログラム製品が更に提案される。前記計算プログラム製品は、例えば、ディスク、メモリスティック、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ又は他のいかなる記憶媒体などのリムーバブル記憶媒体であり得る。
【００５９】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する装置であって、前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するように構成される手段と、前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するように構成される手段であって、前記帯域通過フィルタ処理が、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理の通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的に移動する手段と、前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせる手段と、を備える装置が更に提案される。
【００６０】
斯様な装置は、例えば、ビデオ信号をディスプレイに送る前に処理する個別のユニットとして実現され得る。前記装置は、例えばテレビ、モニタ、ヘッドマウントディスプレイ若しくは携帯電話、ＰＤＡなどの携帯型マルチメディア装置としてディスプレイに、又はディスプレイを収容する装置へ統合され得る。
【００６１】
本発明のこれら及び他の態様は、以下に記載の実施例から明らかであり、これらの実施例を参照にして説明される。
【発明を実施するための最良の形態】
【００６２】
本発明は、図８に例示されるように、式（１１）の表示＋眼フィルタ
が、既に非常に低い空間周波数で、高速でかなりの減衰を有するという観点から述べている。更に、人間視覚システムは、低い空間周波数でより敏感であり、高い周波数は、一般的に低いＳ／Ｎ比率を有することが認識される。更に、本発明は、通常のビデオマテリアルにおける動くオブジェクトが、カメラの制限による最高周波数（カメラボケ）を含まないことを認識する。この理由のため、看者は、ＬＣＤパネルによって生じる程ではないが（低い空間周波数まで）、高速度である程度の詳細を失うことに慣れている。
【００６３】
したがって、本発明によると、高速度の場合、最低の影響される周波数の補償に優先度を与えること、及び最高周波数を基本的に変化させないままにすることを提案される。これは、（図９を参照）式（１２）の逆フィルタの近似として作用する従来技術の高周波数ブーストフィルタを、高速度で高い周波数の増幅を制限するとともに最低周波数のみを補償する中間周波数ブーストフィルタに変換する。
【００６４】
図１１は、本発明のフィルタ構造１１の対応する実施例を示す。ビデオ信号の画像の画素は、動き推定器インスタンス１１０２に供給され、動き推定器インスタンス１１０２において、前記ビデオ信号の前記画像の動くオブジェクトに関連付けられる動きベクトルの方向及び長さの両方は、例えば３Ｄ再帰型ブロックマッチングアルゴリズム又は類似の技法を介して推定される。ビデオ信号の画像の前記画素が２Ｄ補間インスタンス１１００へも供給される。この補間インスタンス１１００は、前記ビデオ信号の画像から取得される現在の画素の周囲の２Ｄ近隣部分を用い、前記現在の画素に関連付けられる動きベクトルの推定される方向に基づき、１Ｄの一続き（線）の標本を１Ｄ耐ボケフィルタ１１０１に戻す。前記１Ｄ耐ボケフィルタの係数は、固定され得、これらは、例えば、予め規定され、ディスプレイの特性に適合され得る。
【００６５】
補間から生じる標本は、１Ｄ耐ボケフィルタ１１０１のタップに対応する。これらの標本は、その後、１Ｄ耐ボケフィルタタップを用いて乗算され、現在の画素に関する単一の「補正」値になるように累積される。この演算は、動きベクトルが変化する場合、適用される標本線が１つの画素から次へ完全に変化し得るので、従来の重畳フィルタリングではない。フィルタタップ係数を用いた前記補間画素の前記後続の乗算及び前記２Ｄ補間は、１Ｄフィルタカーネルによる動きベクトルに沿った１Ｄ耐ボケフィルタカーネルの向きとして考慮され得、該１Ｄフィルタカーネルは、フィルタリングを実際に２Ｄのフィルタリングにする。該補間は、回転された１Ｄ耐ボケフィルタタップが、通常、画像における標本（画素）位置と一致しないという事実を考慮する。この補間は、例えば、バイリニア補間又は他のいずれの補間のでもあり得る。
【００６６】
これらの補間画素の位置（又は対応する１Ｄ耐ボケフィルタタップ）は、動きベクトルの方向で変換するだけでなく、高速度に関して中央タップから大きく離れた距離にも位置する。これは、１Ｄ耐ボケフィルタの応答を動きベクトルの長さを増加させる低周波数へと移動させる。このことは、動き推定インスタンス１１０２によって推定される動きベクトルの長さ（又はビデオ信号の画像の成分の速度）を１Ｄ耐ボケフィルタ１１０１に入力することによって、図１１において概略的に例示される。特に１Ｄ耐ボケフィルタ１１０１のフィルタタップ計数が固定である場合、１Ｄ耐ボケフィルタタップの間隔も、補間インスタンス１１０２の２Ｄ補間で調整され得ることが直ちに確認される。そして、動きベクトルの推定長さ及び方向は、前記動き推定インスタンス１１０２から前記２Ｄ補間インスタンス１１００へ供給される。
【００６７】
１Ｄ耐ボケフィルタ１１０１によって出力されるフィルタ処理された画素は、その後、任意追加的なノイズ低減インスタンス１１０１に供給され得る。このノイズ低減インスタンスは、例えば、前記画素に「コアリング(coring)」を実行し得、すなわちノイズは低増幅高周波数を破棄することによって抑制され、及び／又はこのノイズ低減インスタンスは、前記画素を非線形オーダー静的フィルタを用いてフィルタ処理する。これらの技法は、十分な信号が存在する領域にのみ周波数増大を適用するように寄与する。というのも、これらは、動きボケが最も好ましくない領域でもあるからである。
【００６８】
フィルタ処理された及び可能なノイズ低減画素は、その後、加算器１１０４を用いて元のビデオ信号の画素に加えられ、その後ホールド型ディスプレイに供給される。
【００６９】
フィルタ１１の構造から、ディスプレイが、元のビデオ信号の合計と前記元のビデオ信号のフィルタ処理された版との合計を供給され、前記フィルタ処理が、前記ビデオ信号の画像内の画素又は画素の群に関して特有であり、推定動きベクトルに沿ってのみ生じることが直ちに確認される。更に、以下に説明されるように、前記２Ｄ補間及び１Ｄフィルタリングは、動きベクトルの推定長さに依存する帯域制限周波数範囲でのみ生じる帯域通過フィルタ処理を実行し、前記周波数範囲は、高周波数から中間周波数へ前記ビデオ信号の動きの増加に連れて移動される。任意追加的に、帯域制限周波数範囲内の周波数成分の増大は、前記ノイズ低減インスタンス１１０３によって抑制される。システムの全体１１は、したがって、中間周波数ブーストフィルタを表し、ブーストされた周波数範囲は、高いものから低い周波数へ、ビデオ信号の動きを増加するのに関して動く。
【００７０】
図１２は、ビデオ標本グリッド１２の位置を黒のボックスとして示し、例証的な３タップ１Ｄ耐ボケフィルタの異なる回転及びタップ間隔を灰色のボックスとして示す。３つのタップは、フィルタリングの方向を示す破線で補間される。図１２から、ビデオ標本グリッドの画素位置は、推定動きベクトルの方向に従い回転する１Ｄ耐ボケフィルタの位置に必ずしも一致しないことが直ちに確認される。タップ間隔が動きベクトルの長さ（又は画像の成分の速度）の増加により増加する場合、３タップ１Ｄ耐ボケフィルタの中央タップの位置が一定のままにあることも明らかに確認され得る。
【００７１】
図１３は、（２Ｄ補間、回転された１Ｄ耐ボケフィルタ及び加算器からなる）フィルタ構造１１の伝達関数を正規化空間周波数の関数として実線(1301a..1304a)で、また理想的な逆フィルタの伝達関数を破線(1301b..1304b)で示し、フィルタ構造１１及び理想的な逆フィルタの伝達関数の両方は、異なる速度に関して与えられ、該異なる速度は、それぞれフィルタ1301aから1304aへ及び1301bから1304bへと減少する。理想的な逆フィルタの増大が開始する空間周波数は、速度が増加すると、理想の逆フィルタから、より小さい空間周波数へと移動することが直ちに確認される。フィルタ構造１１の伝達関数は、固定の速度に関して、小さい空間周波数に関して対応する理想的な逆フィルタの良好な近似を表す。しかし、図１２に示されるように、フィルタ構造１１の１Ｄ耐ボケフィルタのタップは、速度が増加して中央タップから遠ざかるように単純に移動される場合、伝達関数は周期的になり、高周波数はフィルタをなお通過し得る。このことは、入力標本がフィルタリングにおいて「スキップ」される場合に発生する。
【００７２】
図１４は、ビデオ標本グリッド１４（白のボックス）におけるどの標本（黒のボックス）が、（バイリニア補間に関して）各補間された標本を計算するのに用いられるかを示す。フィルタタップ間の標本のスキップ、特に中央フィルタタップ及びそれぞれの左及び右の補間された外側のフィルタタップとの間の標本のスキップは、この例のおいて明らかである。
【００７３】
この問題を解決するために、本発明は、フィルタ構造１１の応答を変更し、実際に高速度に関するまさに最高周波数を抑制するようにすることを提案する。このことは、タップ乗算の前にこれらの周波数を抑制する補間方法、すなわち補間標本を計算するより多くの元の標本を用いる（平均化する）補間方法を用いることによって達成される。
【００７４】
図１５ａは、この原理を例示する。図１４とは対照的に、ここでは、４より多い標本が、最も左の及び最も右のフィルタタップに関連付けられる標本の補間に関して用いられる。
【００７５】
高速度に関する１Ｄ耐ボケフィルタの周期性を抑制する代わりの対処法は、始めにより多くの標本を補間し、そして、より多くのタップを有し高周波数を抑制するフィルタを用いることである。この対処法は、タップの数が３から５に増やされている図１５ｂに示される。
【００７６】
高速度での高周波数の抑制は、１Ｄ耐ボケフィルタを速度依存低域通過フィルタと直列接続にすることによって、又は様々な速度に関して多数の（１Ｄ）フィルタを記憶することによっても達成され得る。正規化空間周波数の関数としての、異なる速度に関するフィルタ構造の生じる伝達関数1601a..1604a、及び対応する理想的な逆フィルタ1601b..1604bが図１６に示され、それぞれの速度はフィルタ1601から1604へと低下する。
【００７７】
図１６から、図１１のフィルタ構造１１が、ここでは、図１６の伝達関数を得るために追加される、全域通過フィルタ（元のビデオ画像の加算器１１０４への直接供給）と、帯域通過フィルタ（２Ｄ補間及び１Ｄ耐ボケフィルタの組合せ）とからなるように考慮され得ることが直ちに確認され得る。したがって、フィルタ構造の伝達関数1601a..1604aから「１」を減算することによって、２Ｄ補間及び１Ｄ耐ボケフィルタの組合せの伝達関数が得られ、該伝達関数は、帯域通過特性を呈する。この帯域通過特性の通過帯域は、速度の増加に連れて高空間周波数から中間空間周波数に移動し、この移動は、動きベクトルの推定長さに応答して順応的に実行され、１Ｄ耐ボケフィルタのタップ間隔に影響を及ぼす。２Ｄ補間によって実行される１Ｄ耐ボケフィルタ応答の回転は、帯域通過フィルタ処理ステップが、動きベクトルの方向に沿ってのみ適用されることを保証する。
【００７８】
図１７は、フィルタ構造１１と表示＋眼の組合せと組合せの増幅を、（フレーム毎の画素での）動き及び正規化空間周波数の関数として示す。ここで、白い領域は1から0.5の増幅を表し、陰影領域は0.5から0の増幅を表す。図１７ｂの白い領域から、速度が増加するに従い、図１１に従うフィルタ構造によって実行される高空間周波数におけるスペクトル成分の増大が、中間及び少ない周波数でスペクトルの成分に有利になるように著しく低減されることが明らかに確認され得る。
【００７９】
フィルタ処理されるビデオ信号へのノイズの影響を更に低減するために、動き方向に垂直な低域通過フィルタリングも有益であり得、該フィルタリングは、２Ｄ補間における動きの線から更に遠い標本も用いることによって実現され得る。
【００８０】
この概念は、図１８に例示され、白のボックスは、ビデオ標本化グリッド１８を表し、灰色のボックスは、回転される１Ｄ５タップフィルタのタップを表し、黒のボックスは、フィルタタップ位置に対する標本の補間のために用いられる標本を表す。図１５ｂとは対照的に、フィルタタップによって規定される線から垂直に延在するとともに補間に関して用いられる標本を含む領域は、図１５ｂよりも広く、これにより、平均化効果を増加しそしてノイズを抑制するために、動きベクトルの方向に垂直な方向に更なる標本を考慮に入れることが特記される。
【００８１】
斯様にして、生じるフィルタは、動きに垂直な低域通過の作用を、及び動きに沿って帯域通過の作用を有する。
【００８２】
最終的に、（１Ｄ）フィルタリングが後に続く方向依存補間としてフィルタを補間することに対する代替として、フィルタは、多数の角度及び速度（多数の動きベクトル）に関して計算され、テーブルに記憶され得る。そして、フィルタリングは、各画素に関して異なる２Ｄフィルタを適用するように落ち着き、このフィルタの係数は、明細書のこの部分に記載の原理に従う。記憶されるフィルタの数は、「中間」フィルタが記憶されるフィルタに基づいて計算される（補間される）場合、制限され得る。
【００８３】
本発明の性能を評価するために、図１１及び１７によるフィルタ構造１１が、記憶されたシーケンスを実時間で再生し得るＰＣに基づくビデオストリーマ、ＤＶＩからＬＶＤＳパネルインターフェイスボード、及び３０インチのＬＣＤ−ＴＶパネル(追加処理無しの1280x768、60Hz)からなるＬＣＤ−ＴＶシミュレーションセットアップで検査された。パネルが12msの記録される応答時間を有するものの、各灰色レベル移行に関しての応答時間の測定が行われたので、平均応答時間が20msであることが分かった。応答時間を更に増加するために、（適量の）オーバードライブが、１フレーム時間内に対する応答時間を得るために用いられる。
【００８４】
ＣＲＴディスプレイとの比較をすることによって、ＬＣＤにＣＲＴよりも多くの動きボケが可視的に存在しなかったことが観察され得る。非常に重要な（グラフィックなどの）シーケンスに関してのみ、動きボケがなお可視であった。
【００８５】
本発明は、好ましい実施例を用いて以上に記載されている。当業者にとって明らかであり、添付の請求項の範囲及び精神から逸脱することなく実施され得る代替方法及び変更態様が存在することが特記されるべきである。
【００８６】
添付の図面では、以下のものを示す。
図１：従来技術による、静止元画像、標本化画像及び表示される画像を含む表示チェーンの概略図。
図２：従来技術による、インパルス型ディスプレイにおける画像の標本化及び表示に対応する、元の画像
、標本化画像
、表示画像
、及び（眼の低域通過後の）知覚画像
の（正規化時間周波数
と正規化空間周波数
との関数としての）空間−時間周波数スペクトル。
図３：従来技術による、ホールド型ディスプレイにおける画像の標本化及び表示に対応する、標本化画像
、（低増幅を表すカラーコード白及び高増幅を表すカラーコード黒を有する）開口関数
、
表示画像
、及び（眼の低域通過後の）知覚画像
の空間−時間周波数スペクトル。
図４：従来技術による、静止元画像
、動元画像
、及び標本化された元の画像
の空間−時間周波数スペクトル。
図５：従来技術による、動元画像から最終的な知覚画像への表示チェーンの概略図。
図６：図４を補完する、従来技術によるインパルス型ディスプレイに関する表示画像
、眼の追跡後の画像
、及び眼の低域通過後の画像
の空間−時間周波数スペクトル。
図７：図４を補間する、従来技術によるホールド型ディスプレイに関する開口関数
、
表示画像
、眼の追跡後の画像
、及び眼の低域通過後の知覚画像
の空間−時間周波数スペクトル。
図８：フレーム毎の画素で測定される速度、画素毎の周期で表現される
、及び
＝１フレームとする場合の、空間周波数及び速度の関数としての、眼の追跡及び時間表示開口による空間フィルタ
の概略的増幅応答。
図９：従来技術による予備補償フィルタを用いたビデオ信号から知覚画像への表示チェーンの概略的例示。
図１０：フレーム毎の３つの画素の速度に関する、従来技術による空間周波数の関数としての、表示＋眼フィルタ
、対応する逆フィルタ
、及び逆フィルタの近似の伝達関数。
図１１：本発明による、動きボケを低減するための、例示的な速度依存中間周波数ブーストフィルタ構造。
図１２：本発明による、図１１のフィルタ構造に含まれる１Ｄ耐ボケフィルタの速度依存タップ及び回転の概略的例示。
図１３：本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１によるフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
図１４：本発明による、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１５ａ：本発明による、平均が増している、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１５b：本発明による、フィルタタップの数が増加されている、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
図１６：本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１による中間周波数ブーストフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
図１７：（フレームごとの画素での）動きと正規化空間周波数との関数としての、図１６によるフィルタ構造とディスプレイ＋眼の組合せとの組合せの概略的増幅応答。
図１８：本発明による、フィルタタップによって規定される線から更に離れて位置する標本の追加的な使用のもとで、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図面の簡単な説明】
【００８７】
【図１】従来技術による、静止元画像、標本化画像及び表示画像を含む表示チェーンの概略図。
【図２】従来技術による、インパルス型ディスプレイにおける画像の標本化及び表示に対応する、元の画像、標本化画像、表示画像、及び（眼の低域通過後の）知覚画像の（正規化時間周波数と正規化空間周波数との関数としての）空間−時間周波数スペクトル。
【図３】従来技術による、ホールド型ディスプレイにおける画像の標本化及び表示に対応する、標本化画像、（低増幅を表すカラーコード白及び高増幅を表すカラーコード黒を有する）開口関数、表示画像、及び（眼の低域通過後の）知覚画像の空間−時間周波数スペクトル。
【図４】従来技術による、静止元画像、動元画像、及び標本化された元の画像の空間−時間周波数スペクトル。
【図５】従来技術による、動元画像から最終的な知覚画像への表示チェーンの概略図。
【図６】図４を補完する、従来技術によるインパルス型ディスプレイに関する表示画像、眼の追跡後の画像、及び眼の低域通過後の画像の空間−時間周波数スペクトル。
【図７】図４を補間する、従来技術によるホールド型ディスプレイに関する開口関数、表示画像、眼の追跡後の画像、及び眼の低域通過後の知覚画像の空間−時間周波数スペクトル。
【図８】フレーム毎の画素で測定される速度、画素毎の周期で表現される空間周波数、及びTh＝１フレームとする場合の、空間周波数及び速度の関数としての、眼の追跡及び時間表示開口による空間フィルタの概略的増幅応答。
【図９】従来技術による予備補償フィルタを用いたビデオ信号から知覚画像への表示チェーンの概略的例示。
【図１０】フレーム毎の３つの画素の速度に関する、従来技術による空間周波数の関数としての、表示＋眼フィルタ、対応する逆フィルタ、及び逆フィルタの近似の伝達関数。
【図１１】本発明による、動きボケを低減するための、例示的な速度依存中間周波数ブーストフィルタ構造。
【図１２】本発明による、図１１のフィルタ構造に含まれる１Ｄ耐ボケフィルタの速度依存タップ及び回転の概略的例示。
【図１３】本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１によるフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
【図１４】本発明による、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１５ａ】本発明による、平均が増している、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１５ｂ】本発明による、フィルタタップの数が増加されている、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【図１６】本発明による、異なる速度に関する正規化空間周波数の関数としての、図１１による中間周波数ブーストフィルタ構造の例示的な伝達関数（実線）、及び理想的な逆フィルタの伝達関数（点線）。
【図１７】（フレームごとの画素での）動きと正規化空間周波数との関数としての、図１６によるフィルタ構造とディスプレイ＋眼の組合せとの組合せの概略的増幅応答。
【図１８】本発明による、フィルタタップによって規定される線から更に離れて位置する標本の追加的な使用のもとで、１Ｄ耐ボケフィルタタップ位置への標本の補間に含まれるビデオ標本化グリッドの標本の概略的例示。
【特許請求の範囲】
【請求項１】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法であって、
−前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するステップと、
−前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するステップであって、前記帯域通過フィルタ処理ステップが、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理ステップの通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的にシフトする、帯域通過フィルタ処理するステップと、
−前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせるステップと、
を有する方法。
【請求項２】
前記帯域通過フィルタ処理ステップが、低域通過フィルタ処理ステップ及び耐ボケフィルタ処理ステップを直列形式で含む、請求項１に記載の方法。
【請求項３】
前記耐ボケフィルタ処理ステップが、反転低域通過フィルタを近似する耐ボケフィルタを用いて実行される、請求項２に記載の方法。
【請求項４】
前記耐ボケフィルタ処理ステップが、耐ボケフィルタを用いて実行され、前記耐ボケフィルタが、固定フィルタ係数及び前記推定動きベクトルの前記長さに依存する可変タップ間隔を備える１次元フィルタである、請求項２ないし３の何れか一項に記載の方法。
【請求項５】
前記耐ボケフィルタ処理ステップが、前記推定動きベクトルの方向に実行される、請求項２ないし４の何れか一項に記載の方法。
【請求項６】
前記低域通過フィルタリング処理ステップが、前記推定動きベクトルの方向に実行される、請求項２ないし５の何れか一項に記載の方法。
【請求項７】
前記低域通過フィルタ処理ステップが、前記推定動きベクトルの方向に垂直な方向及び平行な方向の両方に実行される、請求項２ないし５の何れか一項に記載の方法。
【請求項８】
前記低域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の標本の補間によって少なくとも一部分補間される、請求項２ないし７の何れか一項に記載の方法。
【請求項９】
前記ビデオ信号の前記帯域通過フィルタ処理ステップが、
−補間された標本を得るために、前記ビデオ信号の前記画像の標本を補間するステップと、
−前記帯域通過フィルタ処理されたビデオ信号の画像の標本を得るために、前記補間された標本とそれぞれの耐ボケフィルタ係数と乗算し、その積を合計するステップと、
を含む、請求項１ないし８の何れか一項に記載の方法。
【請求項１０】
前記耐ボケフィルタが、前記推定動きベクトルの方向にしたがって回転される１Ｄ耐ボケフィルタであり、前記ビデオ信号の前記画像の前記標本が、前記回転された耐ボケフィルタのタップの位置に補間される、請求項９に記載の方法。
【請求項１１】
前記耐ボケフィルタ係数が、前記推定動きベクトルから独立している、請求項９ないし１０の何れか一項に記載の方法。
【請求項１２】
前記耐ボケフィルタ係数の間隔が、前記推定された動きベクトルの長さに依存する、請求項９ないし１１の何れか一項に記載の方法。
【請求項１３】
補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する線の近傍に位置される、請求項１０ないし１２の何れか一項に記載の方法。
【請求項１４】
補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する前記線から両側に垂直に延在する領域に位置される、請求項１０ないし１２の何れか一項に記載の方法。
【請求項１５】
前記補間が、前記ビデオ信号の前記画像の前記標本の少なくとも１部分の平均化を含む、請求項９ないし１４の何れか一項に記載の方法。
【請求項１６】
前記ビデオ信号の前記帯域通過フィルタ処理ステップが、
−前記推定された動きベクトルに応じて、所定の群の２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを決定するステップと、
−前記選択された２Ｄ帯域通過フィルタを用いて前記ビデオ信号をフィルタ処理するステップと、
を含む、請求項１に記載の方法。
【請求項１７】
前記２Ｄ帯域通過フィルタの前記決定するステップが、前記所定の群の２Ｄ帯域通過フィルタのうちの２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを補間するステップを含む、請求項１６に記載の方法。
【請求項１８】
前記帯域通過フィルタ処理されたビデオ信号が、前記ビデオ信号と組み合わせられる前に、ノイズ抑制処理を更に行われる、請求項１ないし１７の何れか一項に記載の方法。
【請求項１９】
請求項１ないし１８の何れか一項に記載の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラム。
【請求項２０】
請求項１ないし１８の何れか一項に記載の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラムを有する計算機プログラム製品。
【請求項２１】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する装置であって、
−前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するように構成される手段と、
−前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するように構成される手段であって、前記帯域通過フィルタ処理が、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理の通過帯域が、前記推定動きベクトルの長さが増加するに連れて高空間周波数から中間空間周波数へ順応的に移動する手段と、
−前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせる手段と、
を備える装置。
【請求項１】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する方法であって、
−前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するステップと、
−前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するステップであって、前記帯域通過フィルタ処理ステップが、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理ステップの通過帯域が、前記推定動きベクトルの長さが増加するに連れて、高空間周波数から中間空間周波数へ順応的にシフトする、帯域通過フィルタ処理するステップと、
−前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせるステップと、
を有する方法。
【請求項２】
前記帯域通過フィルタ処理ステップが、低域通過フィルタ処理ステップ及び耐ボケフィルタ処理ステップを直列形式で含む、請求項１に記載の方法。
【請求項３】
前記耐ボケフィルタ処理ステップが、反転低域通過フィルタを近似する耐ボケフィルタを用いて実行される、請求項２に記載の方法。
【請求項４】
前記耐ボケフィルタ処理ステップが、耐ボケフィルタを用いて実行され、前記耐ボケフィルタが、固定フィルタ係数及び前記推定動きベクトルの前記長さに依存する可変タップ間隔を備える１次元フィルタである、請求項２ないし３の何れか一項に記載の方法。
【請求項５】
前記耐ボケフィルタ処理ステップが、前記推定動きベクトルの方向に実行される、請求項２ないし４の何れか一項に記載の方法。
【請求項６】
前記低域通過フィルタリング処理ステップが、前記推定動きベクトルの方向に実行される、請求項２ないし５の何れか一項に記載の方法。
【請求項７】
前記低域通過フィルタ処理ステップが、前記推定動きベクトルの方向に垂直な方向及び平行な方向の両方に実行される、請求項２ないし５の何れか一項に記載の方法。
【請求項８】
前記低域通過フィルタ処理ステップが、前記ビデオ信号の前記画像の標本の補間によって少なくとも一部分補間される、請求項２ないし７の何れか一項に記載の方法。
【請求項９】
前記ビデオ信号の前記帯域通過フィルタ処理ステップが、
−補間された標本を得るために、前記ビデオ信号の前記画像の標本を補間するステップと、
−前記帯域通過フィルタ処理されたビデオ信号の画像の標本を得るために、前記補間された標本とそれぞれの耐ボケフィルタ係数と乗算し、その積を合計するステップと、
を含む、請求項１ないし８の何れか一項に記載の方法。
【請求項１０】
前記耐ボケフィルタが、前記推定動きベクトルの方向にしたがって回転される１Ｄ耐ボケフィルタであり、前記ビデオ信号の前記画像の前記標本が、前記回転された耐ボケフィルタのタップの位置に補間される、請求項９に記載の方法。
【請求項１１】
前記耐ボケフィルタ係数が、前記推定動きベクトルから独立している、請求項９ないし１０の何れか一項に記載の方法。
【請求項１２】
前記耐ボケフィルタ係数の間隔が、前記推定された動きベクトルの長さに依存する、請求項９ないし１１の何れか一項に記載の方法。
【請求項１３】
補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する線の近傍に位置される、請求項１０ないし１２の何れか一項に記載の方法。
【請求項１４】
補間される、前記ビデオ信号の前記画像の前記標本が、前記回転される耐ボケフィルタの前記フィルタタップを相互接続する前記線から両側に垂直に延在する領域に位置される、請求項１０ないし１２の何れか一項に記載の方法。
【請求項１５】
前記補間が、前記ビデオ信号の前記画像の前記標本の少なくとも１部分の平均化を含む、請求項９ないし１４の何れか一項に記載の方法。
【請求項１６】
前記ビデオ信号の前記帯域通過フィルタ処理ステップが、
−前記推定された動きベクトルに応じて、所定の群の２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを決定するステップと、
−前記選択された２Ｄ帯域通過フィルタを用いて前記ビデオ信号をフィルタ処理するステップと、
を含む、請求項１に記載の方法。
【請求項１７】
前記２Ｄ帯域通過フィルタの前記決定するステップが、前記所定の群の２Ｄ帯域通過フィルタのうちの２Ｄ帯域通過フィルタから２Ｄ帯域通過フィルタを補間するステップを含む、請求項１６に記載の方法。
【請求項１８】
前記帯域通過フィルタ処理されたビデオ信号が、前記ビデオ信号と組み合わせられる前に、ノイズ抑制処理を更に行われる、請求項１ないし１７の何れか一項に記載の方法。
【請求項１９】
請求項１ないし１８の何れか一項に記載の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラム。
【請求項２０】
請求項１ないし１８の何れか一項に記載の方法ステップを処理器に実行させるように動作可能な命令を含む計算機プログラムを有する計算機プログラム製品。
【請求項２１】
ホールド型ディスプレイに示されるビデオ信号の画像の動きボケを低減する装置であって、
−前記ビデオ信号の前記画像の動く成分の動きベクトルを推定するように構成される手段と、
−前記ビデオ信号を空間周波数領域に関して帯域通過フィルタ処理するように構成される手段であって、前記帯域通過フィルタ処理が、少なくとも部分的に前記推定動きベクトルに依存し、前記帯域通過フィルタ処理の通過帯域が、前記推定動きベクトルの長さが増加するに連れて高空間周波数から中間空間周波数へ順応的に移動する手段と、
−前記ホールド型ディスプレイに関する入力ビデオ信号を生成するために、前記ビデオ信号及び前記帯域通過フィルタ処理されたビデオ信号を組み合わせる手段と、
を備える装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００７−５１５８７４（Ｐ２００７−５１５８７４Ａ）
【公表日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００６−５４０７６０（Ｐ２００６−５４０７６０）
【出願日】平成１６年１１月２５日（２００４．１１．２５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５２５５３
【国際公開番号】ＷＯ２００５／０５５５８７
【国際公開日】平成１７年６月１６日（２００５．６．１６）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１６年１１月２５日（２００４．１１．２５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５２５５３
【国際公開番号】ＷＯ２００５／０５５５８７
【国際公開日】平成１７年６月１６日（２００５．６．１６）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]