信号フィルタリング方法及びフィルタ係数計算方法
信号をフィルタリングする段階は、入力として求めた前記信号のセクション（２３；３９）のクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクション（２３；３９）の少なくとも１次の微分係数を表す少なくとも成分を含む信号セクション（２８；４１）を計算する段階と、前記計算した信号セクション（２８；４１）に量子化演算を適用する段階とを有する段階とを有する。 利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する。量子化演算において、前記計算した信号セクション（２８；４１）のダイナミックレンジに量子化ステップを合わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号のフィルタリング方法に関する。該方法は、入力として求めた前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくとも成分を含む信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有する段階と、利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階とを有する。
【０００２】
本発明は信号のフィルタリングデバイスにも関する。該デバイスは、信号を受け取る入力と、入力として求めた前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記入力信号セクションの少なくとも１次微分係数を表す少なくとも成分を含む信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有するデバイスコンポーネントと、利用可能な複数のデジタルフィルタを切り換えるスイッチとを有する。
【０００３】
本発明は、ディスプレイに少なくとも１つの画像をレンダリング（rendering）するデバイスにも関する。該デバイスは、少なくとも１つの画像を符号化した信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有する。
【０００４】
本発明は、複数のフィルタのフィルタ係数を求める方法にも関する。該方法は、それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションとそれに関連するターゲット信号とを求める段階と、各クラスについて、それに関連するフィルタの一組のフィルタ係数を、そのクラスに関連するテスト信号セクションをフィルタリングしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階と、を有する。
【０００５】
本発明は、コンピュータプログラムにも関する。
【背景技術】
【０００６】
特許文献１は、損なわれた信号から損なわれていない信号を回復する方法、装置、及び製品を開示している。損なわれた信号は、複数の損なわれたデータポイントと損なわれていないデータポイントよりなる。損なわれた各データポイントに対して、その損なわれたデータポイントを含むエリアの特徴に基づき複数のクラスタイプを生成する。データポイントは、複数のクラスタイプのうちの１クラスタイプにより分類され、対応する入力信号クラスに割り当てられる。損なわれていない信号は、入力信号の分類結果により入力信号を適応的フィルタリングして生成する。生成されるクラスには、動きクラス、エラークラス、空間的クラス、空間的アクティビティクラスなどが含まれる。空間的クラスは、ターゲットデータの空間的特徴を記述するのに用いられる値のコレクションである。例えば、各クラスを空間的クラスとして生成するため、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いることができる。空間的分類の他の例としては、差分ＰＣＭなどがあるが、これらを用いても良い。
【０００７】
１ビットＡＤＲＣを用いたときの問題は、急激な過渡信号とゆるい過渡信号に対して結果が同じになり、フィルタを適用すると、両方の過渡信号で急激さが増大することである。これにより、予め急激な過渡信号を含む信号において、アーティファクト（artifacts）が発生する。差分ＰＣＭを用いた時の問題は、クラスコードの範囲が大きくなり、利用できるようにしなければならない差分フィルタの数が増えることである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，１９２，１６１Ｂ１号
【発明の概要】
【０００９】
本発明の目的は、信号セクションの効率的なフィルタリングを行い、一方、より急な過渡部分が与えられる必要のない信号セクションにアーティファクトが生じることを回避する上記のタイプの方法、デバイス、及びコンピュータプログラムを提供することである。
【００１０】
この目的は本発明による方法により達成される。該方法は、入力として取得した前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有し、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階と、を有する。
【００１１】
クラスの決定は、入力信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算する段階と、計算した信号セクションに量子化演算を適用する段階とを含むので、分類プロセスにおいて、信号セクションに急な過渡部分があるか無いか考慮する。クラスに関連するデジタルフィルタは利用可能な複数のフィルタから選択するので、過渡部分が急でない信号セクションとは異なるフィルタを、過渡部分が急な信号セクションに使用できる。量子化演算は計算した信号セクションのダイナミックレンジに合わせた量子化ステップを用いるので、クラスの決定で結果の範囲を限定できるという意味で、クラス数を減らせる。これにより、本方法はメモリ利用の点で効率的である。これは、大きい量子化ステップを選択する、又はエントロピー符号化法を用いることだけで達成できる。しかし、大きな量子化ステップを用いなければならない場合、細部を失いすぎないために、事前に信号特性を知る必要がある。量子化ステップが大きいので、計算した多くの信号セクションのすべての値が同じになる。エントロピー符号化法は、実装が比較的難しく、比較的非効率的である。コードブックを記憶しなければならず、このコードブックは信号に対して適切でなければならない。本発明の方法は、フィルタ係数のみが可変なハードウェアで実施できる。フィルタリングする信号の特徴に対して、フィルタ係数が適切であれば十分である。
【００１２】
一実施形態では、前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む。
【００１３】
特に、ｎ＝１の場合がそうであり、クラス決定の結果は、信号セクションが構成されているサンプルの数に応じて非常に急激に増加はしない、可能性のある値のある範囲内のクラスコードである。
【００１４】
一実施形態では、前記入力信号セクションを、デジタル画像を符号化する画素データのアレイから求める。
【００１５】
これは、画像がぼやけていることが多いので、本方法が非常に適したアプリケーションである。画像を鮮明にするフィルタにより、過渡部分が急峻になる。そのため、このフィルタをすでにフォーカスが合っている画像のエリアに適用するときは、局所的なアーティファクトを生じさせないため、このようなフィルタの適用は限定する必要がある。
【００１６】
一変形例では、前記複数のフィルタは等方的フィルタを含む。
【００１７】
この変形例は、カメラフォーカスぼやけの補正に適している。カメラフォーカスぼやけは方向に依らないからである。一実施形態では、フィルタは、それぞれが逆ガウシアンフィルタである等方的フィルタを含む。カメラフォーカスぼやけは、鮮明な画像にガウシアンフィルタを適用した結果としてモデル化できるからである。
【００１８】
さらに別の変形例では、前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を推定し、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記入力信号セクションを求める。
【００１９】
この変形例は、カメラぼやけの、すなわち画像に現れたオブジェクトの動きによるぼやけの除去に適している。全体的に動きの方向に合った信号セクションを求めることにより、動きにより「広がった」画像情報を含む信号セクションが求まり、これをフィルタリングしてフォーカスを回復することができる。画像の複数の画素または画像領域のそれぞれについてかかる信号セクションを求め、オブジェクトの動きによりぼやけたエリアだけをフォーカスさせる。カメラのぶれによるぼやけもこのプロセスで補正される。完全な画像をカバーする一組の画素または領域のそれぞれに対して、信号セクションを求めるからである。
【００２０】
一変形例は、前記画素を含む前記画像の前記領域の前記動きの大きさを決定する段階と、前記動きの大きさに依存する相互間隔である数の画素を選択する段階とを含む。
【００２１】
この変形例の効果は、高速で動いているオブジェクトであって情報が広い範囲に広がっているものに対して、フィルタ開口が自動的に開くことである。別にフィルタを設ける必要はない。さらに、信号セクションが含むサンプル数に関して、その信号セクションの長さを大きくする必要はない。これにより、クラスコード数が比較的少なくなる。
【００２２】
他の一態様により、信号をフィルタリングするデバイスが提供される。該デバイスは：信号を受け取る入力と、入力として取得した前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有し、前記デバイスは、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせるように前記量子化演算を実施するように構成されたデバイスコンポーネントと、利用可能な複数のデジタルフィルタを切り換えるスイッチと、を有する。
【００２３】
このデバイスは、プログラムされたマイクロプロセッサとして、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアとして実施できる。コンポーネントは機能的なものであり、その機能を実行するように適切にプログラムされた１つのデバイスで実施され得る。
【００２４】
一実施形態では、このデバイスは、本発明による方法を実行するように構成される。
【００２５】
本発明の他の一態様によると、ディスプレイに少なくとも１つの画像をレンダリング（rendering）するデバイスを提供する。該デバイスは、少なくとも１つの画像を符号化する信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有し、前記フィルタデバイスは本発明による信号をフィルタリングするデバイスとして構成される。
【００２６】
他の一実施形態では、本発明による、複数のフィルタのフィルタ係数を求める方法は、それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションとそれに関連するターゲット信号とを求める段階と、各クラスについて、それに関連するフィルタの一組のフィルタ計数を、そのクラスに関連するテスト信号セクションをフィルタしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階であって、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、を有する。
【００２７】
この方法により、クラスが多数にならず、クラスベースフィルタの最適化したフィルタ係数を得られる。さらに、本方法により、急な過渡部分を有する信号セクションと有さない信号セクションに適したフィルタが得られる。本方法は、テスト信号セクションの信号特性のアプリオリな知識が無くても実施できる。量子化演算において、量子化ステップを計算された信号セクションのダイナミックレンジに合わせることによる。
【００２８】
一実施形態では、前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む。
【００２９】
特に、ｎ＝１の場合、クラスコードの数はテスト信号セクションの長さが大きくなるよりゆっくり増加する。
【００３０】
一実施形態では、各テスト信号セクションを、デジタル画像を符号化する画素データのアレイから求める。
【００３１】
このように、画像のぼやけを補正する最適なフィルタが得られる。異なるクラスの信号に対して異なるフィルタを用いることにより、ぼやけた画像だけを、又は画像のぼやけた部分だけを、フォーカスさせることができる。すでにフォーカスしている部分又は画像は異なるフィルタリングがなされる。少ない画素値しか有しない特別に用意した信号セクションではなく、テスト画像を用いるので、この方法を実施するのは比較的容易である。
【００３２】
一実施形態では、前記複数のフィルタは等方的フィルタを含む。
【００３３】
この実施形態は、特に逆ガウシアンフィルタである等方的フィルタを用いる場合に、カメラフォーカスぼやけを補正する最適なフィルタを提供するのに適している。
【００３４】
さらに別の変形例では、前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を表すデータを求め、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記テスト信号セクションを求める。
効果として、複数の異なる動いているオブジェクトを表す限定された範囲のテスト信号を用いて、様々なクラスのフィルタの最適なフィルタ係数を求めることができる。
【００３５】
本発明の他の一態様によると、機械読み取り可能媒体に組み込んだとき、情報処理能力を有するシステムに、本発明による方法を実行させることができる一組の命令を含むコンピュータプログラムを提供する。
【図面の簡単な説明】
【００３６】
添付した図面を参照して本発明をさらに詳しく説明する。
【図１】画像フィルタデバイスを有するデジタルテレビジョンレシーバのうち、一定のコンポーネントを示すブロック図である。
【図２】カメラのぼやけを除去する画像フィルタリング方法を示すフローチャートである。
【図３】比較的動きが少ない画像部分の近傍の画素を示す図である。
【図４】比較的動きが大きい画像部分の近傍の画素を示す図である。
【図５】傾きが比較的小さい信号セクションと、傾きが比較的大きい信号セクションのクラスコードの計算を示す図である。
【図６】事前に微分ステップを設けていない１ビットＡＤＲＣを用いたクラスコード計算を示す図である。
【図７】カメラフォーカスぼやけの低減方法を示す図である。
【図８】図１のフィルタデバイスのフィルタ係数を求める方法を示すフローチャートである。
【発明を実施するための形態】
【００３７】
図１は、テレビジョンセット１の形式の、一連の動画をレンダリング（rendering）するデバイスを例として示す。このデバイスは、ビデオレコーダやＤＶＤプレーヤなどからのビデオ入力信号を受け取るビデオデコーダ２と、オーディオ／ビデオマルチプレクサ３とを有する。放送テレビジョン信号は、チューナ／デモジュレータ４が受け取り、ＭＰＥＧ−２標準などによりデータストリームに返還し、デマルチプレクサ５に送られる。オーディオ／ビデオマルチプレクサ３またはデマルチプレクサ５からの信号は、デ・インターレース、スケーリング、その他のデータ処理演算のために処理デバイス６に送られ、一連のデジタル画像が画像データ処理デバイス７に利用可能となる。一実施形態では、画像は高精細テレビジョン（ＨＤＴＶ）フォーマットである。
【００３８】
画像データ処理デバイス７は、以下に詳細に説明する方法で画像データをフィルタリングするように構成されている。一実施形態では、画像データ処理デバイス７は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイスであるが、適切にプログラムされた汎用データ処理デバイスであってもよい。図示した実施形態において、一連の画像を表すデータを受け取るレシーバ８と、フィルタリングを実施し、任意的にさらに別の画像処理演算を実施するデータ処理ユニット９と、ディスプレイデバイス１２のカラムドライバ１１にデータを供給するカラムドライバインタフェース１０とが設けられている。ディスプレイデバイス１２のロードライバ１４にデータを供給するタイミングユニット１３も設けられている。画像データ処理デバイス７は、さらに、ランダムアクセスメモリ（ＲＡＭ）ユニットなどの形式であるメモリデバイス１６へのインタフェース１５と、データ処理ユニット９により実施されるアルゴリズムのパラメータ値を読み出すプログラマブルリードオンリメモリユニット１８へのインタフェース１７とを有する。かかるパラメータは、データ処理ユニットが利用できる複数のフィルタのフィルタ係数を含み得る。
【００３９】
画像データ処理デバイス７は、カメラぼやけを低減する方法と、フォーカスぼやけを低減する方法の少なくとも一方を実行するように構成されている。
【００４０】
フォーカスぼやけは画像で表されるオブジェクトの動きには関係していない。フォーカスぼやけは等方性ガウシアンぼやけフィルタにより近似できる。フォーカスぼやけ低減により、テレビジョンセット１などのディスプレイの知覚される静的解像度が大きくできる。
【００４１】
ここでカメラぼやけ（camera blur）とは、ビデオカメラのシャッターが開いている間の動きの結果であるぼやけ（blur）を意味する。このぼやけにより、動いているオブジェクトの知覚される解像度が低下する。画素データ値における急激な過渡部分はぼやけのために緩和されるが、これは動きの方向だけである。カメラぼやけは、単純な１次元平均フィルタを動きの方向に適用することによりモデル化できる。このフィルタの開口はぼやけ幅に等しく、画像に表されるオブジェクトの動きのスピードと、シャッター時間とに依存する。理論的には、動きの方向に１次元平均フィルタの逆を適用することによりカメラぼやけを無くすことができる。しかし、ぼやけ幅ごとに異なるフィルタが必要であり、逆フィルタは非常に大きくなり、すなわち多くのフィルタタップを有するものとなる。図２を参照して以下に説明する方法では、異なるフィルタを用いて異なるぼやけ幅に対して理想的フィルタを近似すること、及び動きの大きさに応じて相互の距離が異なる画素の動き依存サンプリングすることにもより、この問題を解決する。非常に多数のタップを有するフィルタを用いなければならないことを回避するため、フィルタをトレーニングして用いる。トレーニングプロセスを図８に示し、それを参照して説明する。
【００４２】
フォーカスぼやけ低減方法の一実施形態では、図２に示したように、一連の画像１９を取得し、それぞれをフィルタリングする。各画像について、各画素位置に対して、または一緒になって画像全体を覆う複数の画像領域のうちの各画像領域に対して、動きベクトルを決定する第１のステップ２０を実行する。結果は動きベクトルのアレイ（array）２１である。好適な動きベクトル決定方法はDe Haan G. et al.、「True motion estimation with ３-D recursive search block-matching」、IEEE Trans. on Circ. and Systems for Video Technology, Vol. ３, October １９９３, pp. ３６８-３８８に記載されている。
【００４３】
次に、画像中の各画素について、動き依存画素フェッチ（motion-dependent pixel fetch）を実行する（ステップ２２）。このステップでは、ある数の画素値（この例では９）を含む第１の信号セクション２３を求めるため、その画素の動きベクトルを求めて、動き方向に沿ってその画素に対して配置された他の画素の値を選択する。図３と４に示したように、画素値は、動きベクトルの大きさにサイズが依存する相互間隔の画素位置に対応する。このように、図４では、今調べている画素２４′は、比較的小さい動きベクトル２５′に関連している場合、互いに近い別の画素２６′ａ−ｈを選択し第１の信号セクション２３′を形成する。図５のように、画素２４′′には比較的大きな動きベクトル２５′′が関連している場合、別の最大間隔の画素２６′′ａ−ｈを選択し、第１の信号セクション２３′′を形成する。このように、画素２４に対して計算された動きベクトル２５が、画像データ処理デバイス７に利用できるフィルタのタップ数よりも長ければ、サブサンプリングを用いて第１の信号セクション２３を求める。
【００４４】
図３と図４に示した実施形態では、動きベクトル２５は調べている画素２４を中心としている。その画素がちょうど画像の縁にある場合、ミラーリングをして第１の信号セクション２３を求める。あるいは、縁の画素値をコピーするか、値ゼロを用いることができる。
【００４５】
次のステップ２７において、第１の信号セクション２３の少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する第２の信号セクション２８を計算する。一実施形態では、本方法の説明に用いるが、差分係数を用いて、１次微分の離散表現を計算する。他の実施形態では、２次微分または高次微分の表現を計算する。変形例では、別の次数の微分の表現の（場合によっては重み付けした）和を計算する。１次微分の表現のみを計算するのは実施が最も容易であり、最も正確である。
【００４６】
次のステップ２９（図２）では、クラスコード３０を求めるために、１ビットの適応的ダイナミックレンジ符号化（ＡＤＲＣ）を第２の信号セクション２８に適用する。このタイプの符号化は１画素あたり１ビットしか使わない。別の実施形態では、２ビットＡＤＲＣを用いるが、可能性のあるクラスコードの数が多くなる。
【００４７】
１画素あたり１ビットを用いるＡＤＲＣのステップは次の通りである（図には別途示していない）：
１．開口内（すなわち第２の信号セクション２８内）の最大値と最小値を決定する(i.e. within the second signal section ２８)。
２．最大値から最小値を引いて、第２の信号セクション２８のダイナミックレンジを決定する。
３．ＡＤＲＣ閾値を計算する。この閾値は、最小値と、ダイナミックレンジの半分との和に等しい。
４．第２の信号セクション２８の各サンプル値のビット値を決定する。サンプル値が閾値より小さければビット値はゼロであり、閾値より大きければ１である。
５．すべてのビット値を連結してクラスコード３０を求める。
【００４８】
図５は、傾きがゆるい第１の信号セクション（左上図）のプロセスを示す。これは、比較的低い第１の閾値３１より高い比較的画素値が多い第２の信号セクション（左下図）に返還される。傾きがきつい第１の信号セクション（右上図）は、比較的高い閾値３２より高い比較的値が高い比較的数が少ないサンプル値を有する第２の信号セクションに返還される。このように、図５の左の２つの図に示した状況では、クラスコードは「０００００１１１１１１１０００」であり、図５の右の２つの図に示した状況では、クラスコードは「０００００００１１１０００００」である。この例では、クラスコードは１５ビットの長さであり、１５画素値を含む第１の信号セクション２３に対応する。
【００４９】
図６は、微分ステップ２７を省略すると何が起きるか示している。図から分かるように、図６の右側に示した第１の信号セクションに関して、１ビットＡＤＲＣを用いて計算したクラスコードは、図６の左側に示した第１の信号セクションとまったく同じである。クラスコード３０を用いて複数の利用可能デジタルフィルタのうちの１フィルタを選択するので（図２のステップ３３）、２つの信号セクションは同様にフィルタリングされる。
【００５０】
このように、第１の信号セクション２３を微分して第２の信号セクション２８を求めるステップ２７（図２）により、ＡＤＲＣ符号化に用いるビット数を多くしなくても、過渡部分が急な第１信号セクション２３に、過渡部分が緩やかなものとは異なるクラスコードを割り当てられる。
【００５１】
利用可能な複数のフィルタのうちの１フィルタを選択するステップ３３では、プログラマブルメモリユニット１８に記憶したテーブルから、関連する一組のフィルタ係数を読み出す鍵として、クラスコードを用いる。その後、これらのフィルタ係数を用いるフィルタ演算を、第１の信号セクション２３に適用して、フィルタリングした１つの画素値３５を求める。これを、フィルタ済み画像を表す画素値のアレイ３６に入れる（ステップ３７）。これらのステップ２２、２７、２９、３３、３４を入力画像の各画素に対して繰り返す。
【００５２】
フィルタリングはぼやけを意識したものなので、ぼやけて表現されたオブジェクトの動き量に係わらず、必要以上にぼやけを低減しない。これにより、例えば、速いシャッタースピードで撮影した高速で動くオブジェクトへの不要なフィルタリングをしない。画素のフェッチに方向性があるので、フィルタリングは一方向でよく、２次元フィルタリングと比較してリソースを節約できる。
【００５３】
フォーカスぼやけを低減する、すなわち入力画像３８の全体的シャープネスを改善する方法の第１の変形例を図７に示す。これは図２の方法に類似しているが、動き推定ステップ２０が省略されている点で異なる。
【００５４】
図示した実施形態では、第１の信号セクション３９を、画素の近傍の画素の画素値にフェッチすることにより、入力画像３８の各画素に対してアセンブルする（ステップ４０）。この場合、各第１の信号セクション３９についてサンプリング間隔は同じであり、かかる第１の信号セクション３９のすべての画素で同じ間隔であってもよい。一実施形態では、サンプルは入力画像３８の行に沿って取る。他の一実施形態では、列に沿って取る。また、対角線方向に沿って取ってもよい。さらに他の一実施形態では、図７の方法を２回実行し、１回目には行に沿って画素値にフェッチし、２回目には列に沿ってフェッチする。これは、１次元フィルタリングを実行できるとの効果を有する。
【００５５】
留意点として、図７に示した実施形態とは別の実施形態は、画素の２次元アレイにフェッチして、第１の信号セクション２３を構成するステップを有する。この実施形態では、２次元フィルタを、クラスコードに応じて複数の利用可能な２次元フィルタから選択する。第１の信号セクションの少なくとも１次の２次元微分係数を表す少なくとも１コンポーネントを有する第２の信号セクションを計算することにより、クラスコードを計算する。この実施形態は、フォーカスぼやけの低減にはよいが、計算コストが高くなり得る。
【００５６】
例示した実施形態に戻り、第１の信号セクション３９の微分係数を表す第２の信号セクション４１を計算する（ステップ４２）。そして、第２の信号セクション４１に１ビットＡＤＲＣを適用する（ステップ４３）。その結果、クラスコード４４が得られる。このクラスコード４４を用いて、プログラム可能メモリユニット１８から関連フィルタ係数をフェッチすることにより、複数のフィルタのうちの１フィルタを選択する（ステップ４５）。フィルタを第１の信号セクション３９に適用し（ステップ４６）、フィルタ済み画素値４７を求める。フィルタ済み画素値４７を、フィルタ済み画像を表す画素値のアレイ４９に加える（ステップ４８）。
【００５７】
前述の通り、フィルタ係数はプログラム可能メモリユニット１８からフェッチする。フィルタ係数は、テレビジョンセット１の生産または更新の時にプログラム可能メモリユニット１８に格納される。異なるフィルタに対してフィルタ係数セットを計算する方法を図８に示した。この方法は汎用コンピュータ（図示せず）で実行できる。
【００５８】
この方法は、少なくとも１つの基準画像の組５０を用いる。求めた各基準に対して（ステップ５１）、ぼやけを加えて（ステップ５２）テスト画像５３を求める。
【００５９】
図８の方法を用いて図２の方法を実施するフィルタ係数を求める場合、動くオブジェクトに対応するぼやけ（カメラぼやけ）を加える。例示した実施形態では、あるスピードである方向に動いているオブジェクトに対応するぼやけを加える。１つまたはごく少数のテスト画像５３を用いる実施形態では、基準画像５０内の複数の場所に異なる程度に局所的にぼやけを加えることができる。他の一実施形態では、基準画像５０全体にわたって、あるスピードである方向に動いているオブジェクトに対応するぼやけを一様に加える。この実施形態は図８に示されている。
【００６０】
次に、（ステップ５４で）、ある位置にある画素の近傍の画素にフェッチして、基準画像５０のその位置にあるその画素の値に対応する目標画素値に関連するテスト信号セクション５５を形成する。
【００６１】
図８の方法の目的が、図２の方法を実施するためのフィルタ係数を求めることである場合、動きベクトルに沿って画素にフェッチする。一実施形態では、これには、図２の方法の第１のステップ２０に関して上で説明した方法を用いて動きベクトルを計算する第１のステップを含み得る。どんな場合でも、動きベクトルの大きさに依存する相互間隔で画素にフェッチする。
【００６２】
図８の方法の目的が、図７の方法を実施するためのフィルタ係数を求めることである場合、水平方向、垂直方向、または対角線方向などの、ある一定のベクトルに沿って画素にフェッチする。
【００６３】
その後、（ステップ５６において）、テスト信号セクション５５の少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する第２の信号セクション５７を求める。
【００６４】
第２の信号セクション５７に１ビットＡＤＲＣを適用して（ステップ５８）、クラスコード５９を求める。
【００６５】
これらのステップ５１、５２、５４、５６、５８を繰り返して、一組のテスト信号セクション５５ａ−ｎと、関連する目標信号値６０ａ−ｎと、関連するクラスコード５９ａ−ｎとを求める。これらのステップは、各クラスコードの十分多いテスト信号セクション５５ａ−ｎが得られるまで、必要なだけ繰り返す。一実施形態では、少なくとも所定の最小数の、十分に異なるテスト信号セクション５５ａ−ｎを生成する。これにより、各クラスのフィルタ係数がすべて同じではなくなる。一実施形態では、あるクラスコード値があまり頻繁に出現しなければ、そのクラスに対しては最適な一組のフィルタ係数は決定しない。その替わり、そのクラスには所定の一組のフィルタ係数を関連づける。この所定の一組のフィルタ係数は、すべての信号を変化させずに通すフィルタを規定する一組のフィルタ係数であってもよい。
【００６６】
一組のテスト信号セクション５５ａ−ｎと、関連する目標信号値６０ａ−ｎと、関連するクラスコード５９ａ−ｎとは、クラスコードにより表される各クラスについて最適フィルタ係数を求める、ステップ６１のトレーニングデータとして機能する。最適化ステップ６１は、例えば最小二乗法などを用いて、各クラスについて、フィルタされたテスト信号セクション５５と、そのクラスに関連する目標信号値６０との間の差の二乗和の平方根を最小化する。このような最適化法は、例えば米国特許第６，１９２，１６１Ｂ１号で知られている。
【００６７】
最後のステップ６１は、図２の方法または図７の方法で用いる複数のフィルタを利用できるようにする複数の組のフィルタ係数を求めるために、各クラスコードに対して繰り返される。
【００６８】
もちろん、上記の実施形態は、本発明を例示するものであり、限定するものではなく、当業者は、添付したクレームの範囲を逸脱することなく、別の実施形態を多数設計することができる。クレームにおいて、括弧の間に入れた参照符号はクレームを限定するものと解釈してはならない。「有する」という用語は、請求項に挙げられたもの以外の構成要素やステップの存在を排除するものではない。構成要素に付された「１つの」、「一」という用語は、その構成要素が複数あることを排除するものではない。相異なる従属クレームに手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。
【００６９】
本発明は、テレビジョンセット１におけるハードウェアの実施形態で説明したが、言うまでもなく、画像エンハンスメントやビデオ編集用のソフトウェアアプリケーションのようなソフトウェアアプリケーションで実施することも可能である。また、ここに例示した方法を実行するために一連の画像を取得する必要はなく、デジタル写真にも同様に適用できる。
【技術分野】
【０００１】
本発明は信号のフィルタリング方法に関する。該方法は、入力として求めた前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくとも成分を含む信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有する段階と、利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階とを有する。
【０００２】
本発明は信号のフィルタリングデバイスにも関する。該デバイスは、信号を受け取る入力と、入力として求めた前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記入力信号セクションの少なくとも１次微分係数を表す少なくとも成分を含む信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有するデバイスコンポーネントと、利用可能な複数のデジタルフィルタを切り換えるスイッチとを有する。
【０００３】
本発明は、ディスプレイに少なくとも１つの画像をレンダリング（rendering）するデバイスにも関する。該デバイスは、少なくとも１つの画像を符号化した信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有する。
【０００４】
本発明は、複数のフィルタのフィルタ係数を求める方法にも関する。該方法は、それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションとそれに関連するターゲット信号とを求める段階と、各クラスについて、それに関連するフィルタの一組のフィルタ係数を、そのクラスに関連するテスト信号セクションをフィルタリングしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階と、を有する。
【０００５】
本発明は、コンピュータプログラムにも関する。
【背景技術】
【０００６】
特許文献１は、損なわれた信号から損なわれていない信号を回復する方法、装置、及び製品を開示している。損なわれた信号は、複数の損なわれたデータポイントと損なわれていないデータポイントよりなる。損なわれた各データポイントに対して、その損なわれたデータポイントを含むエリアの特徴に基づき複数のクラスタイプを生成する。データポイントは、複数のクラスタイプのうちの１クラスタイプにより分類され、対応する入力信号クラスに割り当てられる。損なわれていない信号は、入力信号の分類結果により入力信号を適応的フィルタリングして生成する。生成されるクラスには、動きクラス、エラークラス、空間的クラス、空間的アクティビティクラスなどが含まれる。空間的クラスは、ターゲットデータの空間的特徴を記述するのに用いられる値のコレクションである。例えば、各クラスを空間的クラスとして生成するため、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いることができる。空間的分類の他の例としては、差分ＰＣＭなどがあるが、これらを用いても良い。
【０００７】
１ビットＡＤＲＣを用いたときの問題は、急激な過渡信号とゆるい過渡信号に対して結果が同じになり、フィルタを適用すると、両方の過渡信号で急激さが増大することである。これにより、予め急激な過渡信号を含む信号において、アーティファクト（artifacts）が発生する。差分ＰＣＭを用いた時の問題は、クラスコードの範囲が大きくなり、利用できるようにしなければならない差分フィルタの数が増えることである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，１９２，１６１Ｂ１号
【発明の概要】
【０００９】
本発明の目的は、信号セクションの効率的なフィルタリングを行い、一方、より急な過渡部分が与えられる必要のない信号セクションにアーティファクトが生じることを回避する上記のタイプの方法、デバイス、及びコンピュータプログラムを提供することである。
【００１０】
この目的は本発明による方法により達成される。該方法は、入力として取得した前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有し、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階と、を有する。
【００１１】
クラスの決定は、入力信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算する段階と、計算した信号セクションに量子化演算を適用する段階とを含むので、分類プロセスにおいて、信号セクションに急な過渡部分があるか無いか考慮する。クラスに関連するデジタルフィルタは利用可能な複数のフィルタから選択するので、過渡部分が急でない信号セクションとは異なるフィルタを、過渡部分が急な信号セクションに使用できる。量子化演算は計算した信号セクションのダイナミックレンジに合わせた量子化ステップを用いるので、クラスの決定で結果の範囲を限定できるという意味で、クラス数を減らせる。これにより、本方法はメモリ利用の点で効率的である。これは、大きい量子化ステップを選択する、又はエントロピー符号化法を用いることだけで達成できる。しかし、大きな量子化ステップを用いなければならない場合、細部を失いすぎないために、事前に信号特性を知る必要がある。量子化ステップが大きいので、計算した多くの信号セクションのすべての値が同じになる。エントロピー符号化法は、実装が比較的難しく、比較的非効率的である。コードブックを記憶しなければならず、このコードブックは信号に対して適切でなければならない。本発明の方法は、フィルタ係数のみが可変なハードウェアで実施できる。フィルタリングする信号の特徴に対して、フィルタ係数が適切であれば十分である。
【００１２】
一実施形態では、前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む。
【００１３】
特に、ｎ＝１の場合がそうであり、クラス決定の結果は、信号セクションが構成されているサンプルの数に応じて非常に急激に増加はしない、可能性のある値のある範囲内のクラスコードである。
【００１４】
一実施形態では、前記入力信号セクションを、デジタル画像を符号化する画素データのアレイから求める。
【００１５】
これは、画像がぼやけていることが多いので、本方法が非常に適したアプリケーションである。画像を鮮明にするフィルタにより、過渡部分が急峻になる。そのため、このフィルタをすでにフォーカスが合っている画像のエリアに適用するときは、局所的なアーティファクトを生じさせないため、このようなフィルタの適用は限定する必要がある。
【００１６】
一変形例では、前記複数のフィルタは等方的フィルタを含む。
【００１７】
この変形例は、カメラフォーカスぼやけの補正に適している。カメラフォーカスぼやけは方向に依らないからである。一実施形態では、フィルタは、それぞれが逆ガウシアンフィルタである等方的フィルタを含む。カメラフォーカスぼやけは、鮮明な画像にガウシアンフィルタを適用した結果としてモデル化できるからである。
【００１８】
さらに別の変形例では、前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を推定し、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記入力信号セクションを求める。
【００１９】
この変形例は、カメラぼやけの、すなわち画像に現れたオブジェクトの動きによるぼやけの除去に適している。全体的に動きの方向に合った信号セクションを求めることにより、動きにより「広がった」画像情報を含む信号セクションが求まり、これをフィルタリングしてフォーカスを回復することができる。画像の複数の画素または画像領域のそれぞれについてかかる信号セクションを求め、オブジェクトの動きによりぼやけたエリアだけをフォーカスさせる。カメラのぶれによるぼやけもこのプロセスで補正される。完全な画像をカバーする一組の画素または領域のそれぞれに対して、信号セクションを求めるからである。
【００２０】
一変形例は、前記画素を含む前記画像の前記領域の前記動きの大きさを決定する段階と、前記動きの大きさに依存する相互間隔である数の画素を選択する段階とを含む。
【００２１】
この変形例の効果は、高速で動いているオブジェクトであって情報が広い範囲に広がっているものに対して、フィルタ開口が自動的に開くことである。別にフィルタを設ける必要はない。さらに、信号セクションが含むサンプル数に関して、その信号セクションの長さを大きくする必要はない。これにより、クラスコード数が比較的少なくなる。
【００２２】
他の一態様により、信号をフィルタリングするデバイスが提供される。該デバイスは：信号を受け取る入力と、入力として取得した前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有し、前記デバイスは、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせるように前記量子化演算を実施するように構成されたデバイスコンポーネントと、利用可能な複数のデジタルフィルタを切り換えるスイッチと、を有する。
【００２３】
このデバイスは、プログラムされたマイクロプロセッサとして、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアとして実施できる。コンポーネントは機能的なものであり、その機能を実行するように適切にプログラムされた１つのデバイスで実施され得る。
【００２４】
一実施形態では、このデバイスは、本発明による方法を実行するように構成される。
【００２５】
本発明の他の一態様によると、ディスプレイに少なくとも１つの画像をレンダリング（rendering）するデバイスを提供する。該デバイスは、少なくとも１つの画像を符号化する信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有し、前記フィルタデバイスは本発明による信号をフィルタリングするデバイスとして構成される。
【００２６】
他の一実施形態では、本発明による、複数のフィルタのフィルタ係数を求める方法は、それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションとそれに関連するターゲット信号とを求める段階と、各クラスについて、それに関連するフィルタの一組のフィルタ計数を、そのクラスに関連するテスト信号セクションをフィルタしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階であって、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、を有する。
【００２７】
この方法により、クラスが多数にならず、クラスベースフィルタの最適化したフィルタ係数を得られる。さらに、本方法により、急な過渡部分を有する信号セクションと有さない信号セクションに適したフィルタが得られる。本方法は、テスト信号セクションの信号特性のアプリオリな知識が無くても実施できる。量子化演算において、量子化ステップを計算された信号セクションのダイナミックレンジに合わせることによる。
【００２８】
一実施形態では、前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む。
【００２９】
特に、ｎ＝１の場合、クラスコードの数はテスト信号セクションの長さが大きくなるよりゆっくり増加する。
【００３０】
一実施形態では、各テスト信号セクションを、デジタル画像を符号化する画素データのアレイから求める。
【００３１】
このように、画像のぼやけを補正する最適なフィルタが得られる。異なるクラスの信号に対して異なるフィルタを用いることにより、ぼやけた画像だけを、又は画像のぼやけた部分だけを、フォーカスさせることができる。すでにフォーカスしている部分又は画像は異なるフィルタリングがなされる。少ない画素値しか有しない特別に用意した信号セクションではなく、テスト画像を用いるので、この方法を実施するのは比較的容易である。
【００３２】
一実施形態では、前記複数のフィルタは等方的フィルタを含む。
【００３３】
この実施形態は、特に逆ガウシアンフィルタである等方的フィルタを用いる場合に、カメラフォーカスぼやけを補正する最適なフィルタを提供するのに適している。
【００３４】
さらに別の変形例では、前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を表すデータを求め、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記テスト信号セクションを求める。
効果として、複数の異なる動いているオブジェクトを表す限定された範囲のテスト信号を用いて、様々なクラスのフィルタの最適なフィルタ係数を求めることができる。
【００３５】
本発明の他の一態様によると、機械読み取り可能媒体に組み込んだとき、情報処理能力を有するシステムに、本発明による方法を実行させることができる一組の命令を含むコンピュータプログラムを提供する。
【図面の簡単な説明】
【００３６】
添付した図面を参照して本発明をさらに詳しく説明する。
【図１】画像フィルタデバイスを有するデジタルテレビジョンレシーバのうち、一定のコンポーネントを示すブロック図である。
【図２】カメラのぼやけを除去する画像フィルタリング方法を示すフローチャートである。
【図３】比較的動きが少ない画像部分の近傍の画素を示す図である。
【図４】比較的動きが大きい画像部分の近傍の画素を示す図である。
【図５】傾きが比較的小さい信号セクションと、傾きが比較的大きい信号セクションのクラスコードの計算を示す図である。
【図６】事前に微分ステップを設けていない１ビットＡＤＲＣを用いたクラスコード計算を示す図である。
【図７】カメラフォーカスぼやけの低減方法を示す図である。
【図８】図１のフィルタデバイスのフィルタ係数を求める方法を示すフローチャートである。
【発明を実施するための形態】
【００３７】
図１は、テレビジョンセット１の形式の、一連の動画をレンダリング（rendering）するデバイスを例として示す。このデバイスは、ビデオレコーダやＤＶＤプレーヤなどからのビデオ入力信号を受け取るビデオデコーダ２と、オーディオ／ビデオマルチプレクサ３とを有する。放送テレビジョン信号は、チューナ／デモジュレータ４が受け取り、ＭＰＥＧ−２標準などによりデータストリームに返還し、デマルチプレクサ５に送られる。オーディオ／ビデオマルチプレクサ３またはデマルチプレクサ５からの信号は、デ・インターレース、スケーリング、その他のデータ処理演算のために処理デバイス６に送られ、一連のデジタル画像が画像データ処理デバイス７に利用可能となる。一実施形態では、画像は高精細テレビジョン（ＨＤＴＶ）フォーマットである。
【００３８】
画像データ処理デバイス７は、以下に詳細に説明する方法で画像データをフィルタリングするように構成されている。一実施形態では、画像データ処理デバイス７は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイスであるが、適切にプログラムされた汎用データ処理デバイスであってもよい。図示した実施形態において、一連の画像を表すデータを受け取るレシーバ８と、フィルタリングを実施し、任意的にさらに別の画像処理演算を実施するデータ処理ユニット９と、ディスプレイデバイス１２のカラムドライバ１１にデータを供給するカラムドライバインタフェース１０とが設けられている。ディスプレイデバイス１２のロードライバ１４にデータを供給するタイミングユニット１３も設けられている。画像データ処理デバイス７は、さらに、ランダムアクセスメモリ（ＲＡＭ）ユニットなどの形式であるメモリデバイス１６へのインタフェース１５と、データ処理ユニット９により実施されるアルゴリズムのパラメータ値を読み出すプログラマブルリードオンリメモリユニット１８へのインタフェース１７とを有する。かかるパラメータは、データ処理ユニットが利用できる複数のフィルタのフィルタ係数を含み得る。
【００３９】
画像データ処理デバイス７は、カメラぼやけを低減する方法と、フォーカスぼやけを低減する方法の少なくとも一方を実行するように構成されている。
【００４０】
フォーカスぼやけは画像で表されるオブジェクトの動きには関係していない。フォーカスぼやけは等方性ガウシアンぼやけフィルタにより近似できる。フォーカスぼやけ低減により、テレビジョンセット１などのディスプレイの知覚される静的解像度が大きくできる。
【００４１】
ここでカメラぼやけ（camera blur）とは、ビデオカメラのシャッターが開いている間の動きの結果であるぼやけ（blur）を意味する。このぼやけにより、動いているオブジェクトの知覚される解像度が低下する。画素データ値における急激な過渡部分はぼやけのために緩和されるが、これは動きの方向だけである。カメラぼやけは、単純な１次元平均フィルタを動きの方向に適用することによりモデル化できる。このフィルタの開口はぼやけ幅に等しく、画像に表されるオブジェクトの動きのスピードと、シャッター時間とに依存する。理論的には、動きの方向に１次元平均フィルタの逆を適用することによりカメラぼやけを無くすことができる。しかし、ぼやけ幅ごとに異なるフィルタが必要であり、逆フィルタは非常に大きくなり、すなわち多くのフィルタタップを有するものとなる。図２を参照して以下に説明する方法では、異なるフィルタを用いて異なるぼやけ幅に対して理想的フィルタを近似すること、及び動きの大きさに応じて相互の距離が異なる画素の動き依存サンプリングすることにもより、この問題を解決する。非常に多数のタップを有するフィルタを用いなければならないことを回避するため、フィルタをトレーニングして用いる。トレーニングプロセスを図８に示し、それを参照して説明する。
【００４２】
フォーカスぼやけ低減方法の一実施形態では、図２に示したように、一連の画像１９を取得し、それぞれをフィルタリングする。各画像について、各画素位置に対して、または一緒になって画像全体を覆う複数の画像領域のうちの各画像領域に対して、動きベクトルを決定する第１のステップ２０を実行する。結果は動きベクトルのアレイ（array）２１である。好適な動きベクトル決定方法はDe Haan G. et al.、「True motion estimation with ３-D recursive search block-matching」、IEEE Trans. on Circ. and Systems for Video Technology, Vol. ３, October １９９３, pp. ３６８-３８８に記載されている。
【００４３】
次に、画像中の各画素について、動き依存画素フェッチ（motion-dependent pixel fetch）を実行する（ステップ２２）。このステップでは、ある数の画素値（この例では９）を含む第１の信号セクション２３を求めるため、その画素の動きベクトルを求めて、動き方向に沿ってその画素に対して配置された他の画素の値を選択する。図３と４に示したように、画素値は、動きベクトルの大きさにサイズが依存する相互間隔の画素位置に対応する。このように、図４では、今調べている画素２４′は、比較的小さい動きベクトル２５′に関連している場合、互いに近い別の画素２６′ａ−ｈを選択し第１の信号セクション２３′を形成する。図５のように、画素２４′′には比較的大きな動きベクトル２５′′が関連している場合、別の最大間隔の画素２６′′ａ−ｈを選択し、第１の信号セクション２３′′を形成する。このように、画素２４に対して計算された動きベクトル２５が、画像データ処理デバイス７に利用できるフィルタのタップ数よりも長ければ、サブサンプリングを用いて第１の信号セクション２３を求める。
【００４４】
図３と図４に示した実施形態では、動きベクトル２５は調べている画素２４を中心としている。その画素がちょうど画像の縁にある場合、ミラーリングをして第１の信号セクション２３を求める。あるいは、縁の画素値をコピーするか、値ゼロを用いることができる。
【００４５】
次のステップ２７において、第１の信号セクション２３の少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する第２の信号セクション２８を計算する。一実施形態では、本方法の説明に用いるが、差分係数を用いて、１次微分の離散表現を計算する。他の実施形態では、２次微分または高次微分の表現を計算する。変形例では、別の次数の微分の表現の（場合によっては重み付けした）和を計算する。１次微分の表現のみを計算するのは実施が最も容易であり、最も正確である。
【００４６】
次のステップ２９（図２）では、クラスコード３０を求めるために、１ビットの適応的ダイナミックレンジ符号化（ＡＤＲＣ）を第２の信号セクション２８に適用する。このタイプの符号化は１画素あたり１ビットしか使わない。別の実施形態では、２ビットＡＤＲＣを用いるが、可能性のあるクラスコードの数が多くなる。
【００４７】
１画素あたり１ビットを用いるＡＤＲＣのステップは次の通りである（図には別途示していない）：
１．開口内（すなわち第２の信号セクション２８内）の最大値と最小値を決定する(i.e. within the second signal section ２８)。
２．最大値から最小値を引いて、第２の信号セクション２８のダイナミックレンジを決定する。
３．ＡＤＲＣ閾値を計算する。この閾値は、最小値と、ダイナミックレンジの半分との和に等しい。
４．第２の信号セクション２８の各サンプル値のビット値を決定する。サンプル値が閾値より小さければビット値はゼロであり、閾値より大きければ１である。
５．すべてのビット値を連結してクラスコード３０を求める。
【００４８】
図５は、傾きがゆるい第１の信号セクション（左上図）のプロセスを示す。これは、比較的低い第１の閾値３１より高い比較的画素値が多い第２の信号セクション（左下図）に返還される。傾きがきつい第１の信号セクション（右上図）は、比較的高い閾値３２より高い比較的値が高い比較的数が少ないサンプル値を有する第２の信号セクションに返還される。このように、図５の左の２つの図に示した状況では、クラスコードは「０００００１１１１１１１０００」であり、図５の右の２つの図に示した状況では、クラスコードは「０００００００１１１０００００」である。この例では、クラスコードは１５ビットの長さであり、１５画素値を含む第１の信号セクション２３に対応する。
【００４９】
図６は、微分ステップ２７を省略すると何が起きるか示している。図から分かるように、図６の右側に示した第１の信号セクションに関して、１ビットＡＤＲＣを用いて計算したクラスコードは、図６の左側に示した第１の信号セクションとまったく同じである。クラスコード３０を用いて複数の利用可能デジタルフィルタのうちの１フィルタを選択するので（図２のステップ３３）、２つの信号セクションは同様にフィルタリングされる。
【００５０】
このように、第１の信号セクション２３を微分して第２の信号セクション２８を求めるステップ２７（図２）により、ＡＤＲＣ符号化に用いるビット数を多くしなくても、過渡部分が急な第１信号セクション２３に、過渡部分が緩やかなものとは異なるクラスコードを割り当てられる。
【００５１】
利用可能な複数のフィルタのうちの１フィルタを選択するステップ３３では、プログラマブルメモリユニット１８に記憶したテーブルから、関連する一組のフィルタ係数を読み出す鍵として、クラスコードを用いる。その後、これらのフィルタ係数を用いるフィルタ演算を、第１の信号セクション２３に適用して、フィルタリングした１つの画素値３５を求める。これを、フィルタ済み画像を表す画素値のアレイ３６に入れる（ステップ３７）。これらのステップ２２、２７、２９、３３、３４を入力画像の各画素に対して繰り返す。
【００５２】
フィルタリングはぼやけを意識したものなので、ぼやけて表現されたオブジェクトの動き量に係わらず、必要以上にぼやけを低減しない。これにより、例えば、速いシャッタースピードで撮影した高速で動くオブジェクトへの不要なフィルタリングをしない。画素のフェッチに方向性があるので、フィルタリングは一方向でよく、２次元フィルタリングと比較してリソースを節約できる。
【００５３】
フォーカスぼやけを低減する、すなわち入力画像３８の全体的シャープネスを改善する方法の第１の変形例を図７に示す。これは図２の方法に類似しているが、動き推定ステップ２０が省略されている点で異なる。
【００５４】
図示した実施形態では、第１の信号セクション３９を、画素の近傍の画素の画素値にフェッチすることにより、入力画像３８の各画素に対してアセンブルする（ステップ４０）。この場合、各第１の信号セクション３９についてサンプリング間隔は同じであり、かかる第１の信号セクション３９のすべての画素で同じ間隔であってもよい。一実施形態では、サンプルは入力画像３８の行に沿って取る。他の一実施形態では、列に沿って取る。また、対角線方向に沿って取ってもよい。さらに他の一実施形態では、図７の方法を２回実行し、１回目には行に沿って画素値にフェッチし、２回目には列に沿ってフェッチする。これは、１次元フィルタリングを実行できるとの効果を有する。
【００５５】
留意点として、図７に示した実施形態とは別の実施形態は、画素の２次元アレイにフェッチして、第１の信号セクション２３を構成するステップを有する。この実施形態では、２次元フィルタを、クラスコードに応じて複数の利用可能な２次元フィルタから選択する。第１の信号セクションの少なくとも１次の２次元微分係数を表す少なくとも１コンポーネントを有する第２の信号セクションを計算することにより、クラスコードを計算する。この実施形態は、フォーカスぼやけの低減にはよいが、計算コストが高くなり得る。
【００５６】
例示した実施形態に戻り、第１の信号セクション３９の微分係数を表す第２の信号セクション４１を計算する（ステップ４２）。そして、第２の信号セクション４１に１ビットＡＤＲＣを適用する（ステップ４３）。その結果、クラスコード４４が得られる。このクラスコード４４を用いて、プログラム可能メモリユニット１８から関連フィルタ係数をフェッチすることにより、複数のフィルタのうちの１フィルタを選択する（ステップ４５）。フィルタを第１の信号セクション３９に適用し（ステップ４６）、フィルタ済み画素値４７を求める。フィルタ済み画素値４７を、フィルタ済み画像を表す画素値のアレイ４９に加える（ステップ４８）。
【００５７】
前述の通り、フィルタ係数はプログラム可能メモリユニット１８からフェッチする。フィルタ係数は、テレビジョンセット１の生産または更新の時にプログラム可能メモリユニット１８に格納される。異なるフィルタに対してフィルタ係数セットを計算する方法を図８に示した。この方法は汎用コンピュータ（図示せず）で実行できる。
【００５８】
この方法は、少なくとも１つの基準画像の組５０を用いる。求めた各基準に対して（ステップ５１）、ぼやけを加えて（ステップ５２）テスト画像５３を求める。
【００５９】
図８の方法を用いて図２の方法を実施するフィルタ係数を求める場合、動くオブジェクトに対応するぼやけ（カメラぼやけ）を加える。例示した実施形態では、あるスピードである方向に動いているオブジェクトに対応するぼやけを加える。１つまたはごく少数のテスト画像５３を用いる実施形態では、基準画像５０内の複数の場所に異なる程度に局所的にぼやけを加えることができる。他の一実施形態では、基準画像５０全体にわたって、あるスピードである方向に動いているオブジェクトに対応するぼやけを一様に加える。この実施形態は図８に示されている。
【００６０】
次に、（ステップ５４で）、ある位置にある画素の近傍の画素にフェッチして、基準画像５０のその位置にあるその画素の値に対応する目標画素値に関連するテスト信号セクション５５を形成する。
【００６１】
図８の方法の目的が、図２の方法を実施するためのフィルタ係数を求めることである場合、動きベクトルに沿って画素にフェッチする。一実施形態では、これには、図２の方法の第１のステップ２０に関して上で説明した方法を用いて動きベクトルを計算する第１のステップを含み得る。どんな場合でも、動きベクトルの大きさに依存する相互間隔で画素にフェッチする。
【００６２】
図８の方法の目的が、図７の方法を実施するためのフィルタ係数を求めることである場合、水平方向、垂直方向、または対角線方向などの、ある一定のベクトルに沿って画素にフェッチする。
【００６３】
その後、（ステップ５６において）、テスト信号セクション５５の少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する第２の信号セクション５７を求める。
【００６４】
第２の信号セクション５７に１ビットＡＤＲＣを適用して（ステップ５８）、クラスコード５９を求める。
【００６５】
これらのステップ５１、５２、５４、５６、５８を繰り返して、一組のテスト信号セクション５５ａ−ｎと、関連する目標信号値６０ａ−ｎと、関連するクラスコード５９ａ−ｎとを求める。これらのステップは、各クラスコードの十分多いテスト信号セクション５５ａ−ｎが得られるまで、必要なだけ繰り返す。一実施形態では、少なくとも所定の最小数の、十分に異なるテスト信号セクション５５ａ−ｎを生成する。これにより、各クラスのフィルタ係数がすべて同じではなくなる。一実施形態では、あるクラスコード値があまり頻繁に出現しなければ、そのクラスに対しては最適な一組のフィルタ係数は決定しない。その替わり、そのクラスには所定の一組のフィルタ係数を関連づける。この所定の一組のフィルタ係数は、すべての信号を変化させずに通すフィルタを規定する一組のフィルタ係数であってもよい。
【００６６】
一組のテスト信号セクション５５ａ−ｎと、関連する目標信号値６０ａ−ｎと、関連するクラスコード５９ａ−ｎとは、クラスコードにより表される各クラスについて最適フィルタ係数を求める、ステップ６１のトレーニングデータとして機能する。最適化ステップ６１は、例えば最小二乗法などを用いて、各クラスについて、フィルタされたテスト信号セクション５５と、そのクラスに関連する目標信号値６０との間の差の二乗和の平方根を最小化する。このような最適化法は、例えば米国特許第６，１９２，１６１Ｂ１号で知られている。
【００６７】
最後のステップ６１は、図２の方法または図７の方法で用いる複数のフィルタを利用できるようにする複数の組のフィルタ係数を求めるために、各クラスコードに対して繰り返される。
【００６８】
もちろん、上記の実施形態は、本発明を例示するものであり、限定するものではなく、当業者は、添付したクレームの範囲を逸脱することなく、別の実施形態を多数設計することができる。クレームにおいて、括弧の間に入れた参照符号はクレームを限定するものと解釈してはならない。「有する」という用語は、請求項に挙げられたもの以外の構成要素やステップの存在を排除するものではない。構成要素に付された「１つの」、「一」という用語は、その構成要素が複数あることを排除するものではない。相異なる従属クレームに手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。
【００６９】
本発明は、テレビジョンセット１におけるハードウェアの実施形態で説明したが、言うまでもなく、画像エンハンスメントやビデオ編集用のソフトウェアアプリケーションのようなソフトウェアアプリケーションで実施することも可能である。また、ここに例示した方法を実行するために一連の画像を取得する必要はなく、デジタル写真にも同様に適用できる。
【特許請求の範囲】
【請求項１】
信号をフィルタリングする方法であって、
入力として取得した前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有し、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、
利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階と、を有する方法。
【請求項２】
前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む、
請求項１に記載の方法。
【請求項３】
前記入力信号セクションを、デジタル画像を符号化する画素データのアレイから求める、請求項１に記載の方法。
【請求項４】
前記複数のフィルタは等方的フィルタを含む、
請求項３に記載の方法。
【請求項５】
前記デジタル画像は非値連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を推定し、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記入力信号セクションを求める、請求項３に記載の方法。
【請求項６】
前記画素を含む前記画像の前記領域の前記動きの大きさを決定する段階と、前記動きの大きさに依存する相互間隔である数の画素を選択する段階とを含む、
請求項５に記載の方法。
【請求項７】
信号をフィルタリングするデバイスであって、
前記信号を受け取る入力と、
入力として取得した前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有し、前記デバイスは、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせるように前記量子化演算を実施するように構成されたデバイスコンポーネントと、
利用可能な複数のデジタルフィルタを切り換えるスイッチと、を有するデバイス。
【請求項８】
請求項１ないし-６いずれか一項に記載の方法を実行するように構成された、
請求項７に記載のデバイス。
【請求項９】
ディスプレイに少なくとも１つの画像をレンダリングするデバイスであって、
少なくとも１つの画像を符号化する信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有し、前記フィルタデバイスは請求項８または９に記載のように構成された、デバイス。
【請求項１０】
複数のフィルタのフィルタ係数を取得する方法であって、
それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションと、それに関連する目標信号値とを求める段階と、
各クラスについて、それに関連するフィルタの一組のフィルタ計数を、そのクラスに関連するテスト信号セクションをフィルタしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、
最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階であって、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、を有する方法。
【請求項１１】
前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む、
請求項１０に記載の方法。
【請求項１２】
前記各テスト信号セクションを、デジタル画像を符号化する画素データのアレイから求める、請求項１０に記載の方法。
【請求項１３】
前記複数のフィルタは等方的フィルタを含む、
請求項１２に記載の方法。
【請求項１４】
前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きを表すデータを求め、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記テスト信号セクションを求める、請求項１２に記載の方法。
【請求項１５】
機械読み取り可能媒体に組み込んだとき、情報処理能力を有するシステムに、請求項１ないし６または請求項１０ないし１４のいずれか一項に記載の方法を実行させることができる一組の命令を含むコンピュータプログラム。
【請求項１】
信号をフィルタリングする方法であって、
入力として取得した前記信号のセクションのクラスを決定する段階であって、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する段階と、前記計算した信号セクションに量子化演算を適用する段階とを有し、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、
利用可能な複数のフィルタから前記クラスに関連するデジタルフィルタを選択する段階と、を有する方法。
【請求項２】
前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む、
請求項１に記載の方法。
【請求項３】
前記入力信号セクションを、デジタル画像を符号化する画素データのアレイから求める、請求項１に記載の方法。
【請求項４】
前記複数のフィルタは等方的フィルタを含む、
請求項３に記載の方法。
【請求項５】
前記デジタル画像は非値連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きの方向を推定し、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記入力信号セクションを求める、請求項３に記載の方法。
【請求項６】
前記画素を含む前記画像の前記領域の前記動きの大きさを決定する段階と、前記動きの大きさに依存する相互間隔である数の画素を選択する段階とを含む、
請求項５に記載の方法。
【請求項７】
信号をフィルタリングするデバイスであって、
前記信号を受け取る入力と、
入力として取得した前記信号のセクションのクラスを決定するデバイスコンポーネントであって、前記デバイスコンポーネントは、前記クラスの決定は、前記入力信号セクションの少なくとも１次の微分係数を表す少なくともコンポーネントを有する信号セクションを計算する信号処理コンポーネントと、前記計算した信号セクションに量子化演算を適用する信号処理コンポーネントとを有し、前記デバイスは、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせるように前記量子化演算を実施するように構成されたデバイスコンポーネントと、
利用可能な複数のデジタルフィルタを切り換えるスイッチと、を有するデバイス。
【請求項８】
請求項１ないし-６いずれか一項に記載の方法を実行するように構成された、
請求項７に記載のデバイス。
【請求項９】
ディスプレイに少なくとも１つの画像をレンダリングするデバイスであって、
少なくとも１つの画像を符号化する信号を受け取るインタフェースと、前記少なくとも１つの画像を表すデジタル信号をフィルタリングするフィルタデバイスとを有し、前記フィルタデバイスは請求項８または９に記載のように構成された、デバイス。
【請求項１０】
複数のフィルタのフィルタ係数を取得する方法であって、
それぞれ複数のクラスのうちの１クラスに関連する複数のテスト信号セクションと、それに関連する目標信号値とを求める段階と、
各クラスについて、それに関連するフィルタの一組のフィルタ計数を、そのクラスに関連するテスト信号セクションをフィルタしたものがその関連するターゲット信号を最もよく近似するように、最適化する段階と、
最適化したフィルタ係数の各組を、最適化したフィルタ係数の組に関連付けられたクラスに関連付けられたテスト信号セクションに対して、テスト信号セクションの少なくとも１次の微分係数を表す少なくとも１つのコンポーネントを有する信号セクションを計算し、前記計算した信号セクションに量子化演算を適用することにより求まるクラスコードと関連付ける段階であって、前記量子化演算において、前記計算した信号セクションのダイナミックレンジに量子化ステップを合わせる段階と、を有する方法。
【請求項１１】
前記量子化演算はｎビット適応型ダイナミックレンジ符号化を含む、
請求項１０に記載の方法。
【請求項１２】
前記各テスト信号セクションを、デジタル画像を符号化する画素データのアレイから求める、請求項１０に記載の方法。
【請求項１３】
前記複数のフィルタは等方的フィルタを含む、
請求項１２に記載の方法。
【請求項１４】
前記デジタル画像は一連の画像よりなり、前記一連の画像を表すデータを求め、前記デジタル画像の少なくとも１つの画素のうち各画素について、複数の一連の画像にわたる画素を有する前記画像の一領域の動きを表すデータを求め、前記画素に対して前記動きの方向に沿って配置された画素の値を選択することにより、前記テスト信号セクションを求める、請求項１２に記載の方法。
【請求項１５】
機械読み取り可能媒体に組み込んだとき、情報処理能力を有するシステムに、請求項１ないし６または請求項１０ないし１４のいずれか一項に記載の方法を実行させることができる一組の命令を含むコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１３−５００６６６（Ｐ２０１３−５００６６６Ａ）
【公表日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１２−５２２２９９（Ｐ２０１２−５２２２９９）
【出願日】平成２２年７月２３日（２０１０．７．２３）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５３３６０
【国際公開番号】ＷＯ２０１１／０１３０４５
【国際公開日】平成２３年２月３日（２０１１．２．３）
【出願人】（５１２１４６３３９）ティーピー ビジョン ホールディング ビー ヴィ (25)
【Ｆターム（参考）】
【公表日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２２年７月２３日（２０１０．７．２３）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５３３６０
【国際公開番号】ＷＯ２０１１／０１３０４５
【国際公開日】平成２３年２月３日（２０１１．２．３）
【出願人】（５１２１４６３３９）ティーピー ビジョン ホールディング ビー ヴィ (25)
【Ｆターム（参考）】
[ Back to top ]