映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
【課題】符号化効率の低下を抑えつつ，デノイズフィルタの演算量を削減する。
【解決手段】映像符号化／復号におけるループフィルタとして用いられるデノイズフィルタ処理部３０において，乖離度検出部３０５は，復号画像を用いて，デノイズの対象画素と対象画素の周辺画素との乖離度を算出する。テンプレート形状設定部３０６は，乖離度が高い領域のテンプレート形状は担保し，乖離度が低い領域のテンプレート形状を小さく制限する。ＮＬＭフィルタ実行部３０２は，対象画素のテンプレートと探索領域内の各探索点のテンプレートとのテンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去するにあたって，テンプレートマッチングを，制限されたテンプレート形状のもとで行い，対象画素のノイズを除去する。
【解決手段】映像符号化／復号におけるループフィルタとして用いられるデノイズフィルタ処理部３０において，乖離度検出部３０５は，復号画像を用いて，デノイズの対象画素と対象画素の周辺画素との乖離度を算出する。テンプレート形状設定部３０６は，乖離度が高い領域のテンプレート形状は担保し，乖離度が低い領域のテンプレート形状を小さく制限する。ＮＬＭフィルタ実行部３０２は，対象画素のテンプレートと探索領域内の各探索点のテンプレートとのテンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去するにあたって，テンプレートマッチングを，制限されたテンプレート形状のもとで行い，対象画素のノイズを除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ブロックノイズなどを低減させるループフィルタを用いる映像符号化／復号の技術に関するものである。
【背景技術】
【０００２】
本明細書において用いる各語句を，以下のように定義する。
【０００３】
・「探索形状」：テンプレートマッチングの対象とする当該画素周辺の各探索点の集合体，また，その集合体が形作る形状。
【０００４】
・「テンプレート形状」：テンプレートマッチングの際に当該画素と各探索点の類似度を計算する際に用いる画素群，また，その画素群が形作る形状。画素群は，当該画素周辺と各探索点周辺で同じ形状を用い，相対位置関係が同じ位置同士の画素値を比較する。
【０００５】
画像処理分野において，画像撮影時のノイズや劣化画像の劣化を軽減する手法として，様々なデノイズフィルタが提案されている。中でも，Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタ（非特許文献１参照）は，高いデノイズ効果を発揮することが知られている。Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタを，以下，ＮＬＭフィルタという。
【０００６】
図１８は，ＮＬＭのフィルタの説明図である。図１８において，正方形の１マスが探索点であり，これらの探索点の集合体が探索形状である。Ｐ0 はデノイズ対象画素，Ｐs は探索先における探索点の画素である。Ｔ0 およびＴs はテンプレート形状であり，比較元のテンプレート形状Ｔ0 と探索先のテンプレート形状Ｔs の形状は同一である。
【０００７】
ＮＬＭフィルタでは，比較元と探索先の各テンプレート形状Ｔ0 ，Ｔs 内の対応する各画素同士を比較して，テンプレート類似度を算出する。テンプレート類似度の計算には，一般的にＳＳＤ（Sum of Square Difference）やＳＡＤ（Sum of Absolute Difference）が用いられる。
【０００８】
図１９は，ＮＬＭフィルタ実行部の入出力を示す図である。ＮＬＭフィルタ実行部１０００は，基本的には，デノイズ対象画像，探索形状，テンプレート形状，デノイズ係数の４つの情報を入力として，デノイズ後の結果画像を生成する。デノイズ係数は，ノイズが付与される前の原画像がある場合には，分散を代表値として与えるが，原画像がない場合には，ユーザが適当な値を設定する。
【０００９】
ＮＬＭフィルタ実行部１０００は，次のように各画素についてデノイズ後の画素値を算出する。以下では，テンプレート類似度の計算にＳＳＤを用いた例を説明する。
（１）重み値合計の変数ＳＷを０，画素値合計の変数ＳＰを０に初期化する。
（２）探索形状内のすべての各探索点に対して，以下の処理を繰り返す。
（２−１）テンプレート類似度としてＳＳＤを算出する。
（２−２）重み値Ｗ＝ｅｘｐ（−ＳＳＤ／デノイズ係数）
（２−３）重み値合計ＳＷ＝重み値合計ＳＷ＋重み値Ｗ
（２−４）画素値合計ＳＰ＝画素値合計ＳＰ＋重み値Ｗ×（探索点の画素値）
（３）探索形状内のすべての探索点について（２）の処理を終えたならば，デノイズ対象画素のデノイズ後の画素値を，次式により求める。
【００１０】
（デノイズ後の画素値）＝画素値合計ＳＰ／重み値合計ＳＷ
ＮＬＭフィルタ実行部１０００は，入力されるデノイズ係数，探索形状，テンプレート形状として単一の値が与えられた場合には，デノイズ対象画像の全画素に対して，単一の値や形状でデノイズ処理を行い，画素ごとに対応付けられるデータ群が与えられた場合には，対応点ごとに値や形状を切り替えてデノイズ処理を行う。
【００１１】
また，“ＭＰＥＧ”や“ＶＣＥＧ”にて現在国際標準化活動が行われている次世代映像符号化標準方式の“High Efficiency Video Coding”の雛形（Ｔｅｓｔ Ｍｏｄｅｌ）である“ＨＭ”には，符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Buades, B. Coll, and J. M. Morel,“A non-local algorithm for image denoising ”, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June, 2005.
【非特許文献２】Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, “WD1: Working Draft 1 of High-Efficiency Video Coding", ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou, CN, 7-15 October, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前述のように次世代映像符号化標準方式の“High Efficiency Video Coding”の“ＨＭ”には，符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されているが，上記ＮＬＭフィルタをＨＭに導入すれば，従来のデブロッキングフィルタよりも符号化効率を高めることができると考えられる。
【００１４】
しかし，ＮＬＭフィルタは演算量が膨大であり，そのため，復号装置でＮＬＭフィルタをすべての画素に対して計算すると，復号に要する計算時間が大きく増加してしまうおそれがある。
【００１５】
前述したように，デノイズ対象画素一つ一つに対して，任意の探索形状内の探索点各点に対し，任意のテンプレート形状にてテンプレートマッチングを行い，テンプレート類似度の計算を行う。そのため，例えばテンプレート形状がＮ×Ｎブロック，探索形状がＭ×Ｍであると仮定すると，１画素のデノイズ計算を行うためにＮ2 ×Ｍ2 オーダーの演算量が必要になる。したがって，ＮＬＭフィルタを復号装置等で用いるためには，この演算量を削減する技術が必要とされる。
【００１６】
本発明は，以上の課題の解決を図り，符号化効率の低下を抑えつつ，デノイズフィルタの演算量を削減する技術を提供することを目的とする。なお，ここで符号化効率としては，例えば画質と符号量から計算される国際的な評価手法の一つであるＢＤ−ｒａｔｅを用いる。
【課題を解決するための手段】
【００１７】
本発明は，上記課題を解決するため，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去するループフィルタを用いる映像符号化または映像復号において，以下のフィルタ処理を実行することを特徴とする。
（１）復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出する。
（２）前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限する処理を実行する。
【００１８】
また，さらに以下の（３）の処理を付け加えてもよい。
（３）処理（２）で制限したテンプレート形状において過剰に割り当てられていた領域を検出し，テンプレート形状の再設定によりテンプレート形状をさらに制限する。
【００１９】
以上のように，上記処理（１），（２）により，従来は画面全体に対して固定値で一意に与えられていたテンプレート形状に対して，画素ごとにテンプレート形状を制限する処理を導入し，テンプレートマッチングにおける演算量を削減することができる。また，さらに処理（３）を実行すれば，演算量のさらなる削減が可能になる。
【００２０】
これにより，映像符号化／復号における符号化効率の低下を抑えたループフィルタの演算量削減が可能となる。
【発明の効果】
【００２１】
本発明によれば，映像符号化／復号におけるループフィルタ処理において，テンプレート形状を制限し，テンプレート内画素同士の比較計算を行う画素数を削減する処理を導入することにより，符号化効率の低下を抑えつつ，演算量を削減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した映像符号化装置の構成例を示す図である。
【図２】映像符号化装置の処理フローチャートである。
【図３】映像符号化装置の処理フローチャートである。
【図４】本発明を適用した映像復号装置の構成例を示す図である。
【図５】映像復号装置の処理フローチャートである。
【図６】映像復号装置の処理フローチャートである。
【図７】デノイズフィルタ処理部の第１の構成例を示す図である。
【図８】デノイズフィルタ処理部の処理フローチャートである。
【図９】テンプレート形状設定部によるテンプレート形状の制限の例を説明する図である。
【図１０】デノイズフィルタ処理部の第２の構成例を示す図である。
【図１１】デノイズフィルタ処理部の処理フローチャートである。
【図１２】乖離度検出方法の例を説明する図である。
【図１３】乖離度のヒストグラムと閾値／領域設定の関係を示す図である。
【図１４】積分比に応じたサンプリング数の設定の例を説明する図である。
【図１５】エッジ方向検出方法の例を説明する図である。
【図１６】テンプレート形状の再設定方法の例を説明する図である。
【図１７】本発明をソフトウェアプログラムを用いて実施する場合のシステムの構成例を示す図である。
【図１８】ＮＬＭのフィルタの説明図である。
【図１９】ＮＬＭフィルタ実行部の入出力を示す図である。
【発明を実施するための形態】
【００２３】
以下，図面を用いながら，本発明の実施の形態を説明する。最初に，本発明が適用される映像符号化装置および映像復号装置の例について説明する。なお，以下に示す映像符号化装置および映像復号装置は，本発明が適用される装置の一例であり，本発明は，必ずしもこれらの装置構成のものに限定されるわけではない。
【００２４】
〔映像符号化装置への適用例〕
図１は，本発明を適用した映像符号化装置の構成例を示す図である。図１に示す映像符号化装置において，原画像記憶部１０１は，符号化対象となる入力シーケンスの全画像の記憶部であり，順次，各フレームの符号化対象画像を出力する。
【００２５】
図１の映像符号化装置では，基準となる探索形状およびテンプレート形状の双方をデノイズフィルタ処理部１１３が固定値を持つ例を示している。また，デノイズ係数は原画像と比較して符号化効率が最適なデノイズ係数を決定し，ビットストリームにデノイズ係数オーバーヘッドとして符号化する例を示している。探索形状およびテンプレート形状のいずれか一方，または双方をユーザ設定などで外部から与える場合，復号装置に伝送する必要があるため，前記デノイズ係数と同様にオーバーヘッドとして符号化することで実現できるが，本符号化装置への適用例および復号装置への適用例では，これらの説明は省略する。
【００２６】
ブロックサイズ決定部１０２は，所定のＣｏｄｉｎｇＵｎｉｔをどのブロックサイズに分割して符号化を実行するかを決定し，対象ブロックとブロックサイズを出力する。予測サイズ決定部１０３は，対象ブロックの画素値を予測するブロックの予測サイズを決定し，対象ブロックと予測サイズを出力する。予測手法決定部１０４は，対象ブロックの画素値予測を行う上で，画面内予測／フレーム間予測の各手法の中で最も符号化効率の高い手法を決定し，その手法を用いた際の予測ブロックと予測情報を出力する。予測サイズ決定部１０３にて出力された対象ブロックは，予測ブロックとの差分値が計算され差分ブロックとなる。
【００２７】
変換サイズ決定部１０５は，差分ブロックを分割する変換サイズを決定し，分割した変換サイズごとの差分ブロックと変換サイズを出力する。離散コサイン変換部１０６では，差分ブロックに対して離散コサイン変換を適用し，ＤＣＴ係数を出力する。量子化部１０７では，ＤＣＴ係数に対して量子化を行い，量子化後ＤＣＴ係数を出力する。
【００２８】
逆量子化部１０８では，量子化後ＤＣＴ係数に対して逆量子化を行い，ＤＣＴ係数に戻す。逆離散コサイン変換部１０９では，ＤＣＴ係数に対して逆離散コサイン変換を適用し，復号差分ブロックを出力する。復号差分ブロックは予測ブロックと加算合成され，部分復号画像となる。復号画像記憶部１１０は，部分復号画像を格納し，復号装置側でも参照可能な画像を格納しておく記憶部である。画面内予測部１１１は，復号画像記憶部１１０に格納されている部分復号画像を参照し，予測ブロックと予測情報とを出力する。
【００２９】
デノイズ係数決定部１１２は，復号画像と原画像とを参照し，符号化効率が最適となるデノイズ係数を決定し，デノイズ係数を出力する。
【００３０】
デノイズフィルタ処理部１１３は，復号画像を参照し，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，このフィルタ処理により，符号化歪みを軽減したフィルタ後復号画像を生成する。特に，このデノイズフィルタ処理部１１３の部分が従来技術と異なる。詳しい実施例については後述する。
【００３１】
ＡＬＦ（Adaptive Loop Filter）処理部１１４では，フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い，ＡＬＦ後復号画像とＡＬＦ係数を出力する。フレームバッファ１１５は，ＡＬＦ後復号画像を格納しておく記憶部である。フレーム間予測部１１６は，フレームバッファ１１５を参照し，予測ブロックと予測情報とを出力する。
【００３２】
シーケンス情報符号化部１１７は，映像の縦横画素数など，入力シーケンス固有の情報を符号化の後，ビットストリーム記憶部１２５に対してシーケンス情報オーバーヘッドを出力する。ブロックサイズ符号化部１１８は，ブロックサイズ決定部１０２から予測サイズを受け取り，符号化の後，ブロックサイズオーバーヘッドを出力する。予測サイズ符号化部１１９は，予測サイズ決定部１０３から予測サイズを受け取り，符号化の後，予測サイズオーバーヘッドを出力する。予測情報符号化部１２０は，予測手法決定部１０４から予測情報を受け取り，符号化の後，予測情報オーバーヘッドを出力する。
【００３３】
変換サイズ符号化部１２１は，変換サイズ決定部１０５から変換サイズを受け取り，符号化の後，変換サイズオーバーヘッドを出力する。量子化後ＤＣＴ係数符号化部１２２は，量子化部１０７から量子化後ＤＣＴ係数を受け取り，符号化の後，ＤＣＴオーバーヘッドを出力する。デノイズ係数符号化部１２３は，デノイズ係数決定部１１２で決定されたデノイズ係数を受け取り，符号化の後，デノイズ係数オーバーヘッドを出力する。ＡＬＦ係数符号化部１２４は，ＡＬＦ係数を受け取り，符号化の後，ＡＬＦオーバーヘッドを出力する。ビットストリーム記憶部１２５は，各オーバーヘッドを格納しておく記憶部であり，シーケンス全体の符号化が終了すると，符号化結果のビットストリームを出力する。
【００３４】
符号化情報記憶部１２６は，復号装置側でも参照可能な符号化情報を格納しておく記憶部である。この符号化情報記憶部１２６が記憶する符号化情報は，デノイズフィルタ処理部１１３やその他の各部から参照され，使用される。
【００３５】
〔映像符号化装置の処理フロー〕
図２および図３は，図１に示す映像符号化装置の処理フローチャートを示している。映像符号化装置は，以下の処理を行う。
・まず，ステップＳ１０１にて，入力シーケンスを原画像記憶部１０１に格納する。
・次に，ステップＳ１０２にて，シーケンス情報を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０３にて，符号化対象の全フレームに対するステップＳ１１８までのループ処理を行う。
・次に，ステップＳ１０４にて，符号化対象画像の全ＣｏｄｉｎｇＵｎｉｔ（ＣＵ）に対するステップＳ１１４までのループ処理を行う。
・次に，ステップＳ１０５にて，ブロックサイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０６にて，予測サイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０７にて，画面内／フレーム間予測の各予測ブロックの中で，最も符号化効率が高い手法と対象ブロックの差分値を計算する。
・次に，ステップＳ１０８にて，予測情報をビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０９にて，変換サイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１０にて，離散コサイン変換（ＤＣＴ）を行う。
・次に，ステップＳ１１１にて，量子化を行い，量子化後ＤＣＴ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１２にて，逆量子化と逆離散コサイン変換を行う。
・次に，ステップＳ１１３にて，ステップＳ１０７にて適用された予測ブロックと逆変換後の復号差分ブロックとを加算合成する。
・次に。ステップＳ１１４にて，復号画像記憶部１１０に加算合成した部分復号画像を格納する。
・符号化対象画像の全ＣＵに対するループ処理が終了すると，ステップＳ１１５にて，復号画像と原画像を用いて符号化効率が最適になるデノイズ係数を算出する。
・次に，ステップＳ１１６にて，復号画像に対して，算出したデノイズ係数を用いて本手法を用いたデノイズフィルタの処理を実行し，デノイズ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１７にて，ＡＬＦ（Adaptive Loop Filter）を実行し，ＡＬＦ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１８にて，ＡＬＦ後復号画像をフレームバッファ１１５に格納する。
・符号化対象の全フレームに対するループ処理が終了すると，ステップＳ１１９にて，ビットストリームを出力して処理を終了する。
【００３６】
〔映像復号装置への適用例〕
図４は，本発明を適用した映像復号装置の構成例を示す図である。以下，図４に示す映像復号装置について説明する。ビットストリーム記憶部２０１は，入力ビットストリームの記憶部であり，必要に応じて各オーバーヘッド情報を出力する。シーケンス情報復号部２０２は，シーケンス情報オーバーヘッドを受け，映像の縦横画素数など，シーケンス固有の情報を復号する。
【００３７】
ブロックサイズ復号部２０３は，ブロックサイズオーバーヘッドを受け，所定のＣｏｄｉｎｇＵｎｉｔがどのブロックサイズで分割して符号化されているのかを示す情報を復号する。予測サイズ復号部２０４は，予測サイズオーバーヘッドを受け，映像符号化装置で適用された予測サイズを出力する。
【００３８】
予測情報復号部２０５は，予測情報オーバーヘッドを受け，予測情報を出力する。変換サイズ復号部２０６は，変換サイズオーバーヘッドを受け，映像符号化装置で適用された変換サイズを出力する。量子化後ＤＣＴ係数復号部２０７は，変換サイズとＤＣＴオーバーヘッドを受け，量子化後ＤＣＴ係数を出力する。デノイズ係数復号部２０８は，デノイズ係数オーバーヘッドを受け，デノイズ係数を出力する。ＡＬＦ係数復号部２０９は，ＡＬＦオーバーヘッドを受け，ＡＬＦ係数を出力する。
【００３９】
逆量子化部２１０は，量子化後ＤＣＴ係数に対して逆量子化を行い，ＤＣＴ係数に戻す。逆離散コサイン変換部２１１は，ＤＣＴ係数に対して逆離散コサイン変換を適用して差分信号を出力する。予測ブロック生成部２１２は，予測情報と部分復号画像，参照フレームを受け，予測ブロックを生成する。部分復号画像生成部２１３は，予測画像と復号差分信号の加算合成を行い，部分復号画像を生成する。復号画像記憶部２１４は，部分復号画像を格納しておく記憶部である。
【００４０】
デノイズフィルタ処理部２１５は，復号画像を参照し，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，このフィルタ処理により，ブロック境界の歪みを軽減したフィルタ後復号画像を生成する。特に，このデノイズフィルタ処理部２１５の部分が従来技術と異なる。詳しい実施例については後述する。
【００４１】
ＡＬＦ処理部２１６では，ＡＬＦ係数を受け取り，フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い，ＡＬＦ後復号画像を出力する。なお，この画像が復号時における最終復号画像となる。フレームバッファ２１７は，ＡＬＦ後復号画像を格納しておく記憶部である。符号化情報記憶部２１８は，符号化情報を格納しておく記憶部であり，この符号化情報記憶部２１８が記憶する符号化情報は，デノイズフィルタ処理部２１５やその他の各部から参照され，使用される。
【００４２】
〔映像復号装置の処理フロー〕
図５および図６は，図４に示す映像復号装置の処理フローチャートを示している。映像復号装置は，以下の処理を行う。
・まず，ステップＳ２０１にて，入力ビットストリームをビットストリーム記憶部２０１に格納する。
・次に，ステップＳ２０２にて，シーケンス情報を復号する。
・次に，ステップＳ２０３にて，復号対象の全フレームに対するステップＳ２１４までのループ処理を行う。
・次に，ステップＳ２０４にて，復号対象画像の全ＣｏｄｉｎｇＵｎｉｔ（ＣＵ）に対するステップＳ２１１までのループ処理を行う。
・次に，ステップＳ２０５にて，ブロックサイズを復号する。
・次に，ステップＳ２０６にて，予測サイズを復号する。
・次に，ステップＳ２０７にて，予測情報を復号し，予測ブロックを生成する。
・次に，ステップＳ２０８にて，変換サイズを復号する。
・次に，ステップＳ２０９にて，量子化後ＤＣＴ係数を復号する。
・次に，ステップＳ２１０にて，逆量子化と逆離散コサイン変換を行う。
・次に，ステップＳ２１１にて，ステップＳ２０７の予測ブロックとステップＳ２１０の結果を用いて復号ブロックを生成し，復号画像記憶部２１４に格納する。
・符号化対象画像の全ＣＵに対するループ処理が終了すると，ステップＳ２１２にて，デノイズ係数を復号し，復号画像に対して，本手法を用いたデノイズフィルタの処理を実行する。
・次に，ステップＳ２１３にて，ＡＬＦ係数を復号し，ＡＬＦ処理を実行する。
・次に，ステップＳ２１４にて，ＡＬＦ後復号画像をフレームバッファ２１７に格納する。
・符号化対象の全フレームに対するループ処理が終了すると，ステップＳ２１５にて，フレームバッファ２１７の各フレームをフレーム番号順に出力して出力シーケンスを生成し，処理を終了する。
【００４３】
〔デノイズフィルタ処理部の例１〕
図７は，デノイズフィルタ処理部の第１の構成例を示す図である。図７に示すデノイズフィルタ処理部３０は，前述したステップ図１に示す映像符号化装置におけるデノイズフィルタ処理部１１３として用いられるループフィルタである。また，前述した図４に示す映像復号装置におけるデノイズフィルタ処理部２１５としても用いられる。
【００４４】
デノイズフィルタ処理部３０は，デノイズ係数設定部３０１，ＮＬＭフィルタ実行部３０２，探索形状記憶部３０３，テンプレート形状記憶部３０４，乖離度検出部３０５，テンプレート形状設定部３０６を備える。
【００４５】
デノイズ係数設定部３０１は，予め設定された基準となるデノイズ係数と符号化情報とを用いて，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を生成する。一般に中〜低レートでは，予測処理単位のＰｒｅｄｉｃｔｉｏｎＵｎｉｔや変換処理単位のＴｒａｎｓｆｏｒｍＵｎｉｔの各ユニット境界にてブロックノイズが目立ち始めるため，符号化情報を用いて，これら境界近傍の画素位置におけるデノイズ係数をブロック内部のデノイズ係数より高く設定する。
【００４６】
探索形状記憶部３０３とテンプレート形状記憶部３０４は，それぞれの形状を固定値で記憶している記憶部であり，乖離度検出部３０５とテンプレート形状設定部３０６は，画素ごとにテンプレート形状を制限する処理を導入するために設けられている。従来のＮＬＭフィルタでは，テンプレート形状については一般に画面全体に対して固定値で与えられていたのに対し，本実施形態では，ＮＬＭフィルタ実行部３０２によるＮＬＭフィルタの前処理として，乖離度検出部３０５により，デノイズ対象画像である復号画像の各画素に対して周辺画素との乖離度を検出し，テンプレート形状設定部３０６により，乖離度検出部３０５が検出した乖離度を多段階に分類し，乖離度の強〜弱に応じて当該画素のテンプレート形状（大〜小）をそれぞれ設定する。
【００４７】
ＮＬＭフィルタ実行部３０２は，デノイズ対象画像，デノイズ係数設定部３０１が設定した画素ごとのデノイズ係数，テンプレート形状設定部３０６が設定した画素ごとのテンプレート形状，および与えられた探索形状を入力し，デノイズ後の画像を出力する。ＮＬＭフィルタ実行部３０２が行う処理は，非特許文献１に示されている従来のＮＬＭフィルタの処理と同様である。
【００４８】
基準となるデノイズ係数，探索形状，テンプレート形状については，映像符号化装置または映像復号装置に対してユーザが設定した情報を入力してもよいし，予め固定値を記憶しておき，その値を用いてもよい。本実施形態は，デノイズ係数を入力とし，探索形状およびテンプレート形状は，予め各記憶部３０３，３０４にて固定値を記憶している例である。探索形状およびテンプレート形状を任意にユーザが設定する場合，映像符号化装置では，これらの情報をデノイズ係数と同様に符号化し，映像復号装置ではこれらの情報を復号することで実現する。
【００４９】
図８は，図７に示すデノイズフィルタ処理部３０の処理フローチャートである。まず，ステップＳ３０１では，デノイズフィルタ処理部３０が，外部からの入力により，デノイズ係数，デノイズ対象画像，符号化情報を取得する。デノイズ対象画像については，復号画像記憶部１１０（符号化の場合）または復号画像記憶部２１４（復号の場合）から入力し，符号化情報は，符号化情報記憶部１２６（符号化の場合）または符号化情報記憶部２１８（復号の場合）から入力する。
【００５０】
基準となるデノイズ係数，探索形状，テンプレート形状については，映像符号化装置または映像復号装置に対してユーザが設定した情報を入力してもよいし，予め固定値を記憶しておき，その値を用いてもよい。
【００５１】
ステップＳ３０２では，デノイズ係数設定部３０１が，入力した基準となるデノイズ係数と符号化情報とから，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を設定する。
【００５２】
次に，ステップＳ３０３では，乖離度検出部３０５が，デノイズ対象画像を入力とし，対象画素と周辺画素との乖離度を計算し，各画素に対応付けられた乖離度群を出力する。ステップＳ３０４では，テンプレート形状設定部３０６が，乖離度群と所定のテンプレート形状を用いて，各画素に対応付けられた制限されたテンプレート形状を設定し出力する。制限する際には，入力したテンプレート形状を最大形状として，乖離度が低いほどテンプレート形状が小さくなるように適用する。
【００５３】
最後に，ステップＳ３０５では，ＮＬＭフィルタ実行部３０２が，設定された情報に応じてＮＬＭフィルタを実行し，フィルタ後の結果画像を出力する。
【００５４】
図９は，テンプレート形状設定部３０６によるテンプレート形状の制限の例を説明する図である。例えば，入力または設定されたテンプレート形状が，図９（Ａ）に示すように，５×５のブロックであったとする。このテンプレート形状を，乖離度に応じて，例えば図９（Ｂ）に示すように制限する。テンプレート類似度としてＳＳＤを用いる場合，元のテンプレート形状では，加算２４回，減算２５回，乗算２５回の演算が必要であるのに対し，図９（Ｂ）に示すようにテンプレート形状を制限することにより，加算１２回，減算１３回，乗算１３回の演算で済むようになり，演算量が約５０％削減される。
【００５５】
デノイズフィルタ処理部３０による処理は，符号化によるノイズの除去が目的であり，一般の画像処理のように画面全体に一様にノイズがかかったノイズを除去するような想定は行わない。符号化によるノイズ（符号化歪み）は，大きく以下の種類に分類できる。
１．平滑化による模様の消失
２．ＤＣＴによるエッジ周辺のモスキートノイズ
３．ＰｒｅｄｉｃｔｉｏｎＵｎｉｔやＴｒａｎｓｆｏｒｍＵｎｉｔの各Ｕｎｉｔ境界に生じるブロックノイズ
このうち，平滑化によって損失した模様の復元は非常に困難であるため，本実施形態では対象としない。このような画素値に変化のない平滑化した領域に対してＮＬＭフィルタを適用すると，計算前後でほとんど画素信号は変化しないが，演算量は必要になる。本実施形態では，周辺画素との乖離度を計算することで，このように平滑化した領域にも割り当てられていた演算量を削減する。
【００５６】
〔デノイズフィルタ処理部の例２〕
図１０は，デノイズフィルタ処理部の第２の構成例を示す図である。図１０に示すデノイズフィルタ処理部３１は，前述した図１に示す映像符号化装置におけるデノイズフィルタ処理部１１３として用いられるループフィルタである。また，前述した図４に示す映像復号装置におけるデノイズフィルタ処理部２１５としても用いられる。
【００５７】
デノイズフィルタ処理部３１は，デノイズ係数設定部３１１，ＮＬＭフィルタ実行部３１２，探索形状記憶部３１３，テンプレート形状記憶部３１４，乖離度検出部３１５，テンプレート形状設定部３１６，エッジ方向検出部３１７，テンプレート形状再設定部３１８を備える。
【００５８】
このデノイズフィルタ処理部３１は，エッジ方向検出部３１７およびテンプレート形状再設定部３１８が備わっている点が前述した図７のデノイズフィルタ処理部３０と異なる。他の部分は，デノイズフィルタ処理部３０と同様の機能を持つ。
【００５９】
エッジ方向検出部３１７は，デノイズ対象画像のエッジ方向を検出し，デノイズ対象画像における各画素に対応付けられたエッジ方向群を出力する。エッジ方向の例としては，方向ごとに番号付けされた番号群や角度群などが挙げられる。
【００６０】
テンプレート形状再設定部３１８は，エッジ方向検出部３１７が検出したエッジ方向群，乖離度検出部３１５が検出した乖離度群，符号化情報を参照し，テンプレート形状設定部３１６にて過剰に割り当てられたテンプレート形状をさらに制限するための再設定を行う。具体的には，ＰｒｅｄｉｃｔｉｏｎＵｎｉｔやＴｒａｎｓｆｏｒｍＵｎｉｔの各Ｕｎｉｔ境界に発生しやすいブロックノイズ周辺に過剰に割り当てられがちなテンプレート形状をさらに制限する。
【００６１】
図１１は，図１０に示すデノイズフィルタ処理部３１の処理フローチャートである。まず，ステップＳ３１１では，デノイズフィルタ処理部３１が，外部からの入力により，デノイズ係数，デノイズ対象画像，符号化情報を取得する。
【００６２】
ステップＳ３１２では，デノイズ係数設定部３１１が，入力した基準となるデノイズ係数と符号化情報とから，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を設定する。次に，ステップＳ３１３では，乖離度検出部３１５が，デノイズ対象画像を入力とし，対象画素と周辺画素との乖離度を計算し，各画素に対応付けられた乖離度群を出力する。ステップＳ３１４では，テンプレート形状設定部３１６が，乖離度群と所定のテンプレート形状を用いて，各画素に対応付けられた制限されたテンプレート形状を設定し出力する。制限する際には，入力したテンプレート形状を最大形状として，乖離度が低いほどテンプレート形状が小さくなるように適用する。以上のステップＳ３１１〜Ｓ３１３の処理は，図８で説明したデノイズフィルタ処理部３０の処理と同様である。
【００６３】
ステップＳ３１５では，エッジ方向検出部３１７が，デノイズ対象画像における各点のエッジ方向を検出し，エッジ方向群を出力する。ステップＳ３１６では，テンプレート形状再設定部３１８が，符号化情報と，エッジ方向検出部３１７が検出したエッジ方向群と，乖離度検出部３１５が検出した乖離度群とを用いて，テンプレート形状の再設定を行うことによりステップＳ３１４で設定したテンプレート形状の過剰割り当てを削減する。最後に，ステップＳ３１７では，ＮＬＭフィルタ実行部３１２が，設定された情報に応じてＮＬＭフィルタを実行し，フィルタ後の結果画像を出力する。
【００６４】
〔乖離度検出方法の例〕
乖離度検出部３０５，３１５における乖離度検出方法の一例を説明する。図１２は，乖離度検出方法の例を説明する図である。図１２（Ａ）に示す画素ｚをデノイズの対象画素とし，その周辺画素に対してａ〜ｘの番号を付与した場合について説明する。ここでは，当該画素ｚと周辺画素（ａ〜ｘ）との差分絶対値に距離による減衰を考慮した係数を乗算した加重和を乖離度の指標（DiffIntensity ）として用いる。すなわち，DiffIntensity は，次式により算出される。
【００６５】
DiffIntensity ＝Ａ（｜ｈ−ｚ｜＋｜ｌ−ｚ｜＋｜ｍ−ｚ｜＋｜ｑ−ｚ｜）
＋Ｂ（｜ｇ−ｚ｜＋｜ｉ−ｚ｜＋｜ｐ−ｚ｜＋｜ｒ−ｚ｜）
＋Ｃ（｜ｃ−ｚ｜＋｜ｋ−ｚ｜＋｜ｎ−ｚ｜＋｜ｖ−ｚ｜）
＋Ｄ（｜ｂ−ｚ｜＋｜ｄ−ｚ｜＋｜ｆ−ｚ｜＋｜ｊ−ｚ｜＋
｜ｏ−ｚ｜＋｜ｓ−ｚ｜＋｜ｕ−ｚ｜＋｜ｗ−ｚ｜）
＋Ｅ（｜ａ−ｚ｜＋｜ｅ−ｚ｜＋｜ｔ−ｚ｜＋｜ｘ−ｚ｜）
式中のＡ〜Ｅは，当該画素と周辺画素との距離に応じてあらかじめ定められた係数であり，任意に設定される。これらの係数Ａ〜Ｅの設定には，例えば，距離に応じたガウス分布などを適用することができる。なお，Ａ〜Ｅも全点を対象とする必要はなく，例えばＤを０に設定すれば，フィルタ演算量を削減することができる。
【００６６】
乖離度検出部３０５，３１５は，すべてのDiffIntensity の算出を終えたら，乖離度群を下位のテンプレート形状設定部３０６，３１６に出力する。
【００６７】
他に，乖離度の算出に，ラプラシアンフィルタの絶対値やＳＳＤ（Sum of Square Difference），分散などの適用も考えられる。
【００６８】
さらに演算量削減のため，復号画像に対して任意サイズのＮ×Ｎブロックそれぞれに対して数点のサンプリング点を計算対象として設定し，当該画素位置における乖離度の代表値として用いる手法も考えられる。
【００６９】
図１２（Ｂ）は，サンプリング数の間引きの例を示している。この例では，２×２ブロック分割にて，左上，右下の画素を計算対象としている。この例の乖離度を，DiffIntensity 2x2 と表すと，DiffIntensity 2x2 は，次式によって算出される。
【００７０】
DiffIntensity 2x2 ＝（Ａの画素位置におけるDiffIntensity
＋Ｄの画素位置におけるDiffIntensity ）／２
Ａ〜Ｄの画素位置における乖離度の参照要求があった場合，上記DiffIntensity 2x2 を代表値として用いる。この例では，乖離度計算に要する演算量は約半分になる。
【００７１】
〔テンプレート形状設定方法の例１〕
テンプレート形状設定部３０６，３１６におけるテンプレート形状設定方法の例の一つとして，乖離度検出部３０５，３１５が算出した乖離度群を用い，装置から与えられる基準となるテンプレート形状が３×３ブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。
【００７２】
図１３は，乖離度のヒストグラムと閾値／領域設定の関係を示す図である。自然画像を対象とするとき，乖離度群のヒストグラムは値の低い側に偏り，乖離度が強くなるに従って出現頻度は低くなる。また，量子化パラメータの値が大きくなるに従ってヒストグラムは乖離度小の方に偏る特性を持つ。
【００７３】
テンプレート形状設定部３０６，３１６は，入力した乖離度群のヒストグラムを作成し，ヒストグラムの面積比が均一になるように４分割して，それぞれの領域α〜δのテンプレート形状ＴｍｐShape を以下のように設定する。領域α，βの境界の値をＴｈα，領域β，γの境界の値をＴｈβ，領域γ，δの境界の値をＴｈγとする。
（１）乖離度が閾値Ｔｈαより小さいの場合
ＴｍｐShape ＝Ｎｏｎｅ（要素数０）とする。
【００７４】
ＴｍｐShape がＮｏｎｅの場合，テンプレートマッチングは行わない。
（２）乖離度が閾値Ｔｈα以上でＴｈβ未満の場合
ＴｍｐShape ＝Ｐｏｉｎｔ（要素数１）とする。
【００７５】
ＴｍｐShape がＰｏｉｎｔの場合，対象画素と探索点の画素についてのＳＳＤだけを算出する。
（３）乖離度が閾値Ｔｈβ以上でＴｈγ未満の場合
ＴｍｐShape ＝Ｃｒｏｓｓ（要素数５）とする。
【００７６】
ＴｍｐShape がＣｒｏｓｓの場合，対象画素に上下左右の４画素を加えた５画素のテンプレート形状でマッチングを行う。
（４）乖離度が閾値Ｔｈγ以上の場合
ＴｍｐShape ＝Ｂｌｏｃｋ3x3 （要素数９）とする。
【００７７】
ＴｍｐShape がＢｌｏｃｋ3x3 の場合，３×３ブロックのテンプレート形状の全点でマッチングを行う。
【００７８】
本手法の導入により，全探索点に対して３×３ブロックのテンプレート形状の全点でマッチングを行う手法と比較してそれぞれ演算量は，以下のようになる。
【００７９】
領域α：演算量 0
領域β：演算量 １／９
領域γ：演算量 ５／９
領域δ：演算量 １
領域が画面全体の１／４ずつを占めるため，合計演算量は５／１２となり，理論値では約１／２弱まで演算量を削減できることになる。
【００８０】
このように，乖離度の大きさによってテンプレート形状を決めるのは，以下の理由による。乖離度は強いエッジ周辺で強い信号が現れやすく，続いて弱いエッジやＤＣＴによるモスキートノイズ，撮像時のノイズなどが小〜中程度の信号として現れる。ＮＬＭフィルタは，エッジ周辺で特に効果を発揮する特性を持つため，乖離度が大きい領域（領域δ）に対して大型のテンプレート形状を割り当てることでデノイズ効果の悪化を抑制する。
【００８１】
〔テンプレート形状設定方法の例２〕
テンプレート形状設定部３０６，３１６におけるテンプレート形状設定方法の他の例として，乖離度検出部３０５，３１５が算出した乖離度群を用い，装置から与えられる基準となるテンプレート形状がＮ×Ｎブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。
【００８２】
図１４は，積分比に応じたサンプリング数の設定の例を説明する図である。テンプレート形状設定部３０６，３１６は，乖離度群のヒストグラムを作成し，ヒストグラム上のデノイズの対象画素の乖離度をＴｈIntensity として乖離度の分布を表す関数ｆ(DiffIntensity) の積分値の比率でテンプレート形状を設定する。
【００８３】
すなわち，図１４（Ａ）に示すように，基準となるテンプレート形状がＮ×Ｎブロックとして与えられたとき，削減後のテンプレート形状の設定形状を円とし，その直径を次のように定める。
【００８４】
設定形状（直径）
＝Ｎ×［｛ｆ(DiffIntensity) の０からＴｈIntensity までの積分値｝
÷｛ｆ(DiffIntensity) の０から最大値Ｍａｘまでの積分値｝］
これにより，乖離度が小さい場合には，小さなテンプレート形状，乖離度が大きい場合には，大きなテンプレート形状を用いて，効果的なテンプレートマッチングを行うことができる。
【００８５】
〔エッジ方向検出方法の例１〕
エッジ方向検出部３１７におけるエッジ方向検出方法の例の一つとして，復号画像に対してソーベルフィルタを適用することによってエッジ方向を検出し，方向ごとに割り当てた番号を出力する例を挙げる。
【００８６】
図１５は，そのエッジ方向検出方法の例を説明する図である。周辺画素に対して，図１５（Ａ）に示すソーベルオペレータを適用し，検出したエッジ方向に応じて，図１５（Ｂ）に示すように，番号ＶｅｃＩｎｄｅｘ（０〜１０）を割り当てる。このとき，閾値Ｔｈを１つ設定し，ｘ軸，ｙ軸それぞれの成分（ｄｘ，ｄｙ）の絶対値和が閾値Ｔｈ以下であれば，該当画素には強いエッジが存在しないものとしてＶｅｃＩｎｄｅｘに０番を割り当て，番号をエッジ方向群として出力する。
【００８７】
図１５（Ｃ）は，その番号を割り当てるアルゴリズムを示している。
・｜ｄｘ｜＋｜ｄｙ｜＜Ｔｈならば，ＶｅｃＩｎｄｅｘ＝０とする。
・上記に該当せず，ｄｙ＝０ならば，ＶｅｃＩｎｄｅｘ＝６とする。
・上記に該当せず，ｄｘ／ｄｙ＜−８．０であれば，ＶｅｃＩｎｄｅｘ＝６とする。
・上記に該当せず，ｄｘ／ｄｙ＜−２．０であれば，ＶｅｃＩｎｄｅｘ＝７とする。
・上記に該当せず，ｄｘ／ｄｙ＜−１．０であれば，ＶｅｃＩｎｄｅｘ＝８とする。
・上記に該当せず，ｄｘ／ｄｙ＜−０．５であれば，ＶｅｃＩｎｄｅｘ＝９とする。
・上記に該当せず，ｄｘ／ｄｙ＜−０．１２５であれば，ＶｅｃＩｎｄｅｘ＝１０とする。
・上記に該当せず，ｄｘ／ｄｙ＜０．１２５であれば，ＶｅｃＩｎｄｅｘ＝１とする。
・上記に該当せず，ｄｘ／ｄｙ＜０．５であれば，ＶｅｃＩｎｄｅｘ＝２とする。
・上記に該当せず，ｄｘ／ｄｙ＜１．０であれば，ＶｅｃＩｎｄｅｘ＝３とする。
・上記に該当せず，ｄｘ／ｄｙ＜２．０であれば，ＶｅｃＩｎｄｅｘ＝４とする。
・上記に該当せず，ｄｘ／ｄｙ＜８．０であれば，ＶｅｃＩｎｄｅｘ＝５とする。
・上記のどれにも該当しない場合，ＶｅｃＩｎｄｅｘ＝６とする。
【００８８】
ＤＣＴによるモスキートノイズや撮像時のノイズの影響を軽減するため，また，演算量削減のため，入力とするデノイズ対象画像に対して等倍画像ではなく，縦横１／Ｎに縮小した画像に対するソーベルフィルタの適用も効果的である。
【００８９】
１／Ｎに縮小した画像に対してソーベルフィルタを適用した場合，算出したソーベルフィルタの出力結果は，縮小時に使用した複数の画素群の代表値として扱う。
【００９０】
〔エッジ方向検出方法の例２〕
エッジ方向検出部３１７におけるエッジ方向検出方法の他の例として，デノイズ対象画像に対してソーベルフィルタを適用することによってエッジ方向を検出し，ラジアン角（Ｒａｄｉａｎ）を出力する例を挙げる。周辺画素に対して，前述した図１５（Ａ）に示すソーベルオペレータを適用し，ｘ軸，ｙ軸のそれぞれの成分（ｄｘ，ｄｙ）からａｒｃｔａｎ（−π／２〜π／２）を用いてラジアン角を計算する。このとき，ｄｘ，ｄｙの絶対値和が閾値Ｔｈ以下であれば，ａｒｃｔａｎ（−π／２〜π／２）の出力範囲以外の値（ＥＸatan：例えば１００など) を設定する。
【００９１】
すなわち，ラジアン角（Ｒａｄｉａｎ）を次のように定める。
・｜ｄｘ｜＋｜ｄｙ｜＜Ｔｈの場合，Ｒａｄｉａｎ＝ＥＸatanとする。
・上記に該当せず，ｄｙ＝０であれば，Ｒａｄｉａｎ＝π／２とする。
・他の場合，Ｒａｄｉａｎ＝ａｒｃｔａｎ（ｄｘ／ｄｙ）とする。
【００９２】
〔テンプレート形状再設定方法の例〕
テンプレート形状再設定部３１８におけるテンプレート形状再設定方法の例の一つとして，図９にて示したテンプレート形状設定部３１６が設定したテンプレート形状を，図１２にて示した乖離度検出部３１５が出力した乖離度群，図１５にて示したエッジ方向群および符号化情報を用いて再設定し，テンプレート形状の大きさをさらに削減する例を説明する。
【００９３】
図１６は，テンプレート形状の再設定方法を説明する図である。まず，符号化情報からＤＣＴなどの変換処理の単位であるＴｒａｎｓｆｏｒｍＵｎｉｔのＵｎｉｔサイズを取得し，図１６（Ａ）に示すように，各Ｕｎｉｔ外縁の近傍Ｎ画素を設定対象の領域に設定する。それ以外の領域は，前述したテンプレート形状設定部３１６の設定結果をそのまま用いるものとする。
【００９４】
図１６（Ｂ）に示すように，エッジ方向群を用いた場合，顕著なブロックノイズのＵｎｉｔ外縁上下部分ではＶｅｃＩｎｄｅｘは１に，Ｕｎｉｔ外縁左右部分ではＶｅｃＩｎｄｅｘは６に偏るという傾向があり，この境界部分の乖離度は高い値が検出される。また，ブロックノイズが顕著に現れる高い量子化パラメータ域では，ＴｒａｎｓｆｏｒｍＵｎｉｔ内部は比較的平坦な領域が現れやすいという傾向がある。
【００９５】
つまり，量子化パラメータＱＰの高い中〜低レート域において，図１６（Ａ）における設定対象の領域で，図１６（Ｂ）に示すような特徴を満たす場合，ブロックノイズが発生している可能性が高い。これらＶｅｃＩｎｄｅｘが１もしくは６に偏るブロック境界の画素位置に対しては大型のテンプレート形状で計算しても，小型のテンプレート形状で計算しても，結果はほとんど変わらない。しかし，ブロック境界で顕著なエッジが検出された場合には，大型のテンプレート形状が設定されてしまうため，非効率である。そのため，テンプレート形状再設定部３１８により，テンプレート形状の見直しを行うことで非効率であるとういう問題の解決を図る。
【００９６】
具体的な解決手法としては，例えば以下の手法が挙げられる。量子化パラメータＱＰに対する所定の閾値Ｔｈ１QP，Ｔｈ２QP（ただし，Ｔｈ１QP＜Ｔｈ２QP）と，乖離度DiffIntensity に対する所定の閾値Ｔｈ１Diff，Ｔｈ２Diff（ただしＴｈ１Diff＜Ｔｈ２Diff）とを用いて，画素位置ごとに以下のような設定を行う。このようにすれば，デノイズ効果の悪化を抑制しつつ演算量を削減することができる。ただし，Ｔｈ１Diff，Ｔｈ２Diffは，それぞれ量子化パラメータＱＰに応じて変動するものとする。
【００９７】
下記の条件を満たす場合，後述する再設定分岐のアルゴリズムによって，テンプレート形状ＴｍｐShape を設定する。
［条件１］：Ｕｎｉｔ外縁上下部分の設定対象領域における画素位置で，対象画素位置のＶｅｃＩｎｄｅｘが１（横方向のエッジ）もしくは０（平坦な領域），かつ，Ｕｎｉｔ内側方向に隣接するＶｅｃＩｎｄｅｘが０（平坦な領域）の場合。
［条件２］：または，Ｕｎｉｔ外縁左右部分の設定対象領域における画素位置で，対象画素位置のＶｅｃＩｎｄｅｘが６（縦方向のエッジ）もしくは０（平坦な領域），かつ，Ｕｎｉｔ内側方向に隣接するＶｅｃＩｎｄｅｘが０（平坦な領域）の場合。
【００９８】
「再設定分岐のアルゴリズム」の例
（１）量子化パラメータＱＰ＞閾値Ｔｈ２QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 またはＣｒｏｓｓ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ１Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（２）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ２Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（３）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ１Diffの場合，
ＴｍｐShape をＣｒｏｓｓ（要素数５）に再設定。
（４）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＣｒｏｓｓ，
かつ，乖離度DiffIntensity ＞Ｔｈ１Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（５）上記（１）〜（４）以外の場合，再設定しないで終了。
【００９９】
図１６（Ｃ）における四隅の領域Ｅ，Ｆ，Ｇ，Ｈは，ブロックノイズによって生成されるＶｅｃＩｎｄｅｘに予測が立たないため，それぞれ以下の条件を満たす場合に，領域内すべての画素位置に対して，前述した（１）〜（５）の再設定分岐によるテンプレート形状の再設定を行う。
・領域Ｅ：直右に隣接する領域Ａの画素群もしくは直下に隣接する領域Ｃの画素群に上記条件を満たす画素がある。
・領域Ｆ：直左に隣接する領域Ａの画素群もしくは直下に隣接する領域Ｄの画素群に上記条件を満たす画素がある。
・領域Ｇ：直右に隣接する領域Ｂの画素群もしくは直上に隣接する領域Ｃの画素群に上記条件を満たす画素がある。
・領域Ｈ：直左に隣接する領域Ｂの画素群もしくは直上に隣接する領域Ｄの画素群に上記条件を満たす画素がある。
【０１００】
本実施形態では，ブロック境界の画素群に対して演算量を削減する例を示したが，反対にブロック内部の画素群に対してはすべてＴｍｐShape ＝Ｎｏｎｅを設定し，ブロック境界のみにデノイズフィルタを適用することで，演算量を大きく削減するような実施も可能である。
【０１０１】
〔演算量削減効果〕
次世代映像符号化標準方式に従来のＮＬＭフィルタ（Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタ）を組み込んだ手法と比較して，本手法によるデノイズフィルタを適用した場合，標準的な映像の符号化時に，ＰＳＮＲの悪化を抑えつつ上記フィルタに要する演算量を大幅に削減できることが確認できた。
【０１０２】
［ソフトウェアプログラムを用いた場合の構成例］
以上の画像処理，映像符号化，復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【０１０３】
図１７は，本発明を，コンピュータとソフトウェアプログラムとを用いて実施する場合のシステムの構成例を示している。
【０１０４】
本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，符号化対象の映像信号，または復号画像の映像信号を記憶する映像信号記憶部５２と，本発明の実施形態で説明した処理をＣＰＵ５０に実行させるためのプログラムが格納されたプログラム記憶装置５３と，符号化結果のビットストリームまたは復号対象のビットストリームを記憶する符号化ストリーム記憶部５４とがバスで接続された構成になっている。
【０１０５】
プログラム記憶装置５３は，本発明を用いて映像信号を符号化するための映像符号化プログラム５３１，本発明を用いて符号化ビットストリームを復号するための映像復号プログラム５３２のいずれかを格納している。これらのプログラムの双方を格納していてもよい。
【０１０６】
また，本システムが映像符号化装置として用いられる場合，映像符号化プログラム５３１がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像符号化プログラム５３１の命令を逐次フェッチして実行し，映像信号記憶部５２に格納されている映像信号を，本発明の実施形態で説明した手法により符号化して，符号化結果のビットストリームを符号化ストリーム記憶部５４に格納する。または，ネットワークアダプタ等のインタフェースを介して，ビットストリームを外部装置に出力してもよい。
【０１０７】
また，本システムが映像復号装置として用いられる場合，映像復号プログラム５３２がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像復号プログラム５３２の命令を逐次フェッチして実行し，符号化ストリーム記憶部５４に格納されているビットストリームを，本発明の実施形態で説明した手法により復号して，復号結果の映像信号を映像信号記憶部５２に格納する。または，外部の再生装置に復号結果の映像信号を出力する。
【符号の説明】
【０１０８】
３０，３１，１１３，２１５ デノイズフィルタ処理部
３０１，３１１ デノイズ係数設定部
３０２，３１２ ＮＬＭフィルタ実行部
３０５，３１５ 乖離度検出部
３０６，３１６ テンプレート形状設定部
３１７ エッジ方向検出部
３１８ テンプレート形状再設定部
【技術分野】
【０００１】
本発明は，ブロックノイズなどを低減させるループフィルタを用いる映像符号化／復号の技術に関するものである。
【背景技術】
【０００２】
本明細書において用いる各語句を，以下のように定義する。
【０００３】
・「探索形状」：テンプレートマッチングの対象とする当該画素周辺の各探索点の集合体，また，その集合体が形作る形状。
【０００４】
・「テンプレート形状」：テンプレートマッチングの際に当該画素と各探索点の類似度を計算する際に用いる画素群，また，その画素群が形作る形状。画素群は，当該画素周辺と各探索点周辺で同じ形状を用い，相対位置関係が同じ位置同士の画素値を比較する。
【０００５】
画像処理分野において，画像撮影時のノイズや劣化画像の劣化を軽減する手法として，様々なデノイズフィルタが提案されている。中でも，Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタ（非特許文献１参照）は，高いデノイズ効果を発揮することが知られている。Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタを，以下，ＮＬＭフィルタという。
【０００６】
図１８は，ＮＬＭのフィルタの説明図である。図１８において，正方形の１マスが探索点であり，これらの探索点の集合体が探索形状である。Ｐ0 はデノイズ対象画素，Ｐs は探索先における探索点の画素である。Ｔ0 およびＴs はテンプレート形状であり，比較元のテンプレート形状Ｔ0 と探索先のテンプレート形状Ｔs の形状は同一である。
【０００７】
ＮＬＭフィルタでは，比較元と探索先の各テンプレート形状Ｔ0 ，Ｔs 内の対応する各画素同士を比較して，テンプレート類似度を算出する。テンプレート類似度の計算には，一般的にＳＳＤ（Sum of Square Difference）やＳＡＤ（Sum of Absolute Difference）が用いられる。
【０００８】
図１９は，ＮＬＭフィルタ実行部の入出力を示す図である。ＮＬＭフィルタ実行部１０００は，基本的には，デノイズ対象画像，探索形状，テンプレート形状，デノイズ係数の４つの情報を入力として，デノイズ後の結果画像を生成する。デノイズ係数は，ノイズが付与される前の原画像がある場合には，分散を代表値として与えるが，原画像がない場合には，ユーザが適当な値を設定する。
【０００９】
ＮＬＭフィルタ実行部１０００は，次のように各画素についてデノイズ後の画素値を算出する。以下では，テンプレート類似度の計算にＳＳＤを用いた例を説明する。
（１）重み値合計の変数ＳＷを０，画素値合計の変数ＳＰを０に初期化する。
（２）探索形状内のすべての各探索点に対して，以下の処理を繰り返す。
（２−１）テンプレート類似度としてＳＳＤを算出する。
（２−２）重み値Ｗ＝ｅｘｐ（−ＳＳＤ／デノイズ係数）
（２−３）重み値合計ＳＷ＝重み値合計ＳＷ＋重み値Ｗ
（２−４）画素値合計ＳＰ＝画素値合計ＳＰ＋重み値Ｗ×（探索点の画素値）
（３）探索形状内のすべての探索点について（２）の処理を終えたならば，デノイズ対象画素のデノイズ後の画素値を，次式により求める。
【００１０】
（デノイズ後の画素値）＝画素値合計ＳＰ／重み値合計ＳＷ
ＮＬＭフィルタ実行部１０００は，入力されるデノイズ係数，探索形状，テンプレート形状として単一の値が与えられた場合には，デノイズ対象画像の全画素に対して，単一の値や形状でデノイズ処理を行い，画素ごとに対応付けられるデータ群が与えられた場合には，対応点ごとに値や形状を切り替えてデノイズ処理を行う。
【００１１】
また，“ＭＰＥＧ”や“ＶＣＥＧ”にて現在国際標準化活動が行われている次世代映像符号化標準方式の“High Efficiency Video Coding”の雛形（Ｔｅｓｔ Ｍｏｄｅｌ）である“ＨＭ”には，符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Buades, B. Coll, and J. M. Morel,“A non-local algorithm for image denoising ”, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June, 2005.
【非特許文献２】Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, “WD1: Working Draft 1 of High-Efficiency Video Coding", ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou, CN, 7-15 October, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前述のように次世代映像符号化標準方式の“High Efficiency Video Coding”の“ＨＭ”には，符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されているが，上記ＮＬＭフィルタをＨＭに導入すれば，従来のデブロッキングフィルタよりも符号化効率を高めることができると考えられる。
【００１４】
しかし，ＮＬＭフィルタは演算量が膨大であり，そのため，復号装置でＮＬＭフィルタをすべての画素に対して計算すると，復号に要する計算時間が大きく増加してしまうおそれがある。
【００１５】
前述したように，デノイズ対象画素一つ一つに対して，任意の探索形状内の探索点各点に対し，任意のテンプレート形状にてテンプレートマッチングを行い，テンプレート類似度の計算を行う。そのため，例えばテンプレート形状がＮ×Ｎブロック，探索形状がＭ×Ｍであると仮定すると，１画素のデノイズ計算を行うためにＮ2 ×Ｍ2 オーダーの演算量が必要になる。したがって，ＮＬＭフィルタを復号装置等で用いるためには，この演算量を削減する技術が必要とされる。
【００１６】
本発明は，以上の課題の解決を図り，符号化効率の低下を抑えつつ，デノイズフィルタの演算量を削減する技術を提供することを目的とする。なお，ここで符号化効率としては，例えば画質と符号量から計算される国際的な評価手法の一つであるＢＤ−ｒａｔｅを用いる。
【課題を解決するための手段】
【００１７】
本発明は，上記課題を解決するため，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去するループフィルタを用いる映像符号化または映像復号において，以下のフィルタ処理を実行することを特徴とする。
（１）復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出する。
（２）前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限する処理を実行する。
【００１８】
また，さらに以下の（３）の処理を付け加えてもよい。
（３）処理（２）で制限したテンプレート形状において過剰に割り当てられていた領域を検出し，テンプレート形状の再設定によりテンプレート形状をさらに制限する。
【００１９】
以上のように，上記処理（１），（２）により，従来は画面全体に対して固定値で一意に与えられていたテンプレート形状に対して，画素ごとにテンプレート形状を制限する処理を導入し，テンプレートマッチングにおける演算量を削減することができる。また，さらに処理（３）を実行すれば，演算量のさらなる削減が可能になる。
【００２０】
これにより，映像符号化／復号における符号化効率の低下を抑えたループフィルタの演算量削減が可能となる。
【発明の効果】
【００２１】
本発明によれば，映像符号化／復号におけるループフィルタ処理において，テンプレート形状を制限し，テンプレート内画素同士の比較計算を行う画素数を削減する処理を導入することにより，符号化効率の低下を抑えつつ，演算量を削減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した映像符号化装置の構成例を示す図である。
【図２】映像符号化装置の処理フローチャートである。
【図３】映像符号化装置の処理フローチャートである。
【図４】本発明を適用した映像復号装置の構成例を示す図である。
【図５】映像復号装置の処理フローチャートである。
【図６】映像復号装置の処理フローチャートである。
【図７】デノイズフィルタ処理部の第１の構成例を示す図である。
【図８】デノイズフィルタ処理部の処理フローチャートである。
【図９】テンプレート形状設定部によるテンプレート形状の制限の例を説明する図である。
【図１０】デノイズフィルタ処理部の第２の構成例を示す図である。
【図１１】デノイズフィルタ処理部の処理フローチャートである。
【図１２】乖離度検出方法の例を説明する図である。
【図１３】乖離度のヒストグラムと閾値／領域設定の関係を示す図である。
【図１４】積分比に応じたサンプリング数の設定の例を説明する図である。
【図１５】エッジ方向検出方法の例を説明する図である。
【図１６】テンプレート形状の再設定方法の例を説明する図である。
【図１７】本発明をソフトウェアプログラムを用いて実施する場合のシステムの構成例を示す図である。
【図１８】ＮＬＭのフィルタの説明図である。
【図１９】ＮＬＭフィルタ実行部の入出力を示す図である。
【発明を実施するための形態】
【００２３】
以下，図面を用いながら，本発明の実施の形態を説明する。最初に，本発明が適用される映像符号化装置および映像復号装置の例について説明する。なお，以下に示す映像符号化装置および映像復号装置は，本発明が適用される装置の一例であり，本発明は，必ずしもこれらの装置構成のものに限定されるわけではない。
【００２４】
〔映像符号化装置への適用例〕
図１は，本発明を適用した映像符号化装置の構成例を示す図である。図１に示す映像符号化装置において，原画像記憶部１０１は，符号化対象となる入力シーケンスの全画像の記憶部であり，順次，各フレームの符号化対象画像を出力する。
【００２５】
図１の映像符号化装置では，基準となる探索形状およびテンプレート形状の双方をデノイズフィルタ処理部１１３が固定値を持つ例を示している。また，デノイズ係数は原画像と比較して符号化効率が最適なデノイズ係数を決定し，ビットストリームにデノイズ係数オーバーヘッドとして符号化する例を示している。探索形状およびテンプレート形状のいずれか一方，または双方をユーザ設定などで外部から与える場合，復号装置に伝送する必要があるため，前記デノイズ係数と同様にオーバーヘッドとして符号化することで実現できるが，本符号化装置への適用例および復号装置への適用例では，これらの説明は省略する。
【００２６】
ブロックサイズ決定部１０２は，所定のＣｏｄｉｎｇＵｎｉｔをどのブロックサイズに分割して符号化を実行するかを決定し，対象ブロックとブロックサイズを出力する。予測サイズ決定部１０３は，対象ブロックの画素値を予測するブロックの予測サイズを決定し，対象ブロックと予測サイズを出力する。予測手法決定部１０４は，対象ブロックの画素値予測を行う上で，画面内予測／フレーム間予測の各手法の中で最も符号化効率の高い手法を決定し，その手法を用いた際の予測ブロックと予測情報を出力する。予測サイズ決定部１０３にて出力された対象ブロックは，予測ブロックとの差分値が計算され差分ブロックとなる。
【００２７】
変換サイズ決定部１０５は，差分ブロックを分割する変換サイズを決定し，分割した変換サイズごとの差分ブロックと変換サイズを出力する。離散コサイン変換部１０６では，差分ブロックに対して離散コサイン変換を適用し，ＤＣＴ係数を出力する。量子化部１０７では，ＤＣＴ係数に対して量子化を行い，量子化後ＤＣＴ係数を出力する。
【００２８】
逆量子化部１０８では，量子化後ＤＣＴ係数に対して逆量子化を行い，ＤＣＴ係数に戻す。逆離散コサイン変換部１０９では，ＤＣＴ係数に対して逆離散コサイン変換を適用し，復号差分ブロックを出力する。復号差分ブロックは予測ブロックと加算合成され，部分復号画像となる。復号画像記憶部１１０は，部分復号画像を格納し，復号装置側でも参照可能な画像を格納しておく記憶部である。画面内予測部１１１は，復号画像記憶部１１０に格納されている部分復号画像を参照し，予測ブロックと予測情報とを出力する。
【００２９】
デノイズ係数決定部１１２は，復号画像と原画像とを参照し，符号化効率が最適となるデノイズ係数を決定し，デノイズ係数を出力する。
【００３０】
デノイズフィルタ処理部１１３は，復号画像を参照し，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，このフィルタ処理により，符号化歪みを軽減したフィルタ後復号画像を生成する。特に，このデノイズフィルタ処理部１１３の部分が従来技術と異なる。詳しい実施例については後述する。
【００３１】
ＡＬＦ（Adaptive Loop Filter）処理部１１４では，フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い，ＡＬＦ後復号画像とＡＬＦ係数を出力する。フレームバッファ１１５は，ＡＬＦ後復号画像を格納しておく記憶部である。フレーム間予測部１１６は，フレームバッファ１１５を参照し，予測ブロックと予測情報とを出力する。
【００３２】
シーケンス情報符号化部１１７は，映像の縦横画素数など，入力シーケンス固有の情報を符号化の後，ビットストリーム記憶部１２５に対してシーケンス情報オーバーヘッドを出力する。ブロックサイズ符号化部１１８は，ブロックサイズ決定部１０２から予測サイズを受け取り，符号化の後，ブロックサイズオーバーヘッドを出力する。予測サイズ符号化部１１９は，予測サイズ決定部１０３から予測サイズを受け取り，符号化の後，予測サイズオーバーヘッドを出力する。予測情報符号化部１２０は，予測手法決定部１０４から予測情報を受け取り，符号化の後，予測情報オーバーヘッドを出力する。
【００３３】
変換サイズ符号化部１２１は，変換サイズ決定部１０５から変換サイズを受け取り，符号化の後，変換サイズオーバーヘッドを出力する。量子化後ＤＣＴ係数符号化部１２２は，量子化部１０７から量子化後ＤＣＴ係数を受け取り，符号化の後，ＤＣＴオーバーヘッドを出力する。デノイズ係数符号化部１２３は，デノイズ係数決定部１１２で決定されたデノイズ係数を受け取り，符号化の後，デノイズ係数オーバーヘッドを出力する。ＡＬＦ係数符号化部１２４は，ＡＬＦ係数を受け取り，符号化の後，ＡＬＦオーバーヘッドを出力する。ビットストリーム記憶部１２５は，各オーバーヘッドを格納しておく記憶部であり，シーケンス全体の符号化が終了すると，符号化結果のビットストリームを出力する。
【００３４】
符号化情報記憶部１２６は，復号装置側でも参照可能な符号化情報を格納しておく記憶部である。この符号化情報記憶部１２６が記憶する符号化情報は，デノイズフィルタ処理部１１３やその他の各部から参照され，使用される。
【００３５】
〔映像符号化装置の処理フロー〕
図２および図３は，図１に示す映像符号化装置の処理フローチャートを示している。映像符号化装置は，以下の処理を行う。
・まず，ステップＳ１０１にて，入力シーケンスを原画像記憶部１０１に格納する。
・次に，ステップＳ１０２にて，シーケンス情報を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０３にて，符号化対象の全フレームに対するステップＳ１１８までのループ処理を行う。
・次に，ステップＳ１０４にて，符号化対象画像の全ＣｏｄｉｎｇＵｎｉｔ（ＣＵ）に対するステップＳ１１４までのループ処理を行う。
・次に，ステップＳ１０５にて，ブロックサイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０６にて，予測サイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０７にて，画面内／フレーム間予測の各予測ブロックの中で，最も符号化効率が高い手法と対象ブロックの差分値を計算する。
・次に，ステップＳ１０８にて，予測情報をビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１０９にて，変換サイズを決定し，符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１０にて，離散コサイン変換（ＤＣＴ）を行う。
・次に，ステップＳ１１１にて，量子化を行い，量子化後ＤＣＴ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１２にて，逆量子化と逆離散コサイン変換を行う。
・次に，ステップＳ１１３にて，ステップＳ１０７にて適用された予測ブロックと逆変換後の復号差分ブロックとを加算合成する。
・次に。ステップＳ１１４にて，復号画像記憶部１１０に加算合成した部分復号画像を格納する。
・符号化対象画像の全ＣＵに対するループ処理が終了すると，ステップＳ１１５にて，復号画像と原画像を用いて符号化効率が最適になるデノイズ係数を算出する。
・次に，ステップＳ１１６にて，復号画像に対して，算出したデノイズ係数を用いて本手法を用いたデノイズフィルタの処理を実行し，デノイズ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１７にて，ＡＬＦ（Adaptive Loop Filter）を実行し，ＡＬＦ係数を符号化してビットストリーム記憶部１２５に格納する。
・次に，ステップＳ１１８にて，ＡＬＦ後復号画像をフレームバッファ１１５に格納する。
・符号化対象の全フレームに対するループ処理が終了すると，ステップＳ１１９にて，ビットストリームを出力して処理を終了する。
【００３６】
〔映像復号装置への適用例〕
図４は，本発明を適用した映像復号装置の構成例を示す図である。以下，図４に示す映像復号装置について説明する。ビットストリーム記憶部２０１は，入力ビットストリームの記憶部であり，必要に応じて各オーバーヘッド情報を出力する。シーケンス情報復号部２０２は，シーケンス情報オーバーヘッドを受け，映像の縦横画素数など，シーケンス固有の情報を復号する。
【００３７】
ブロックサイズ復号部２０３は，ブロックサイズオーバーヘッドを受け，所定のＣｏｄｉｎｇＵｎｉｔがどのブロックサイズで分割して符号化されているのかを示す情報を復号する。予測サイズ復号部２０４は，予測サイズオーバーヘッドを受け，映像符号化装置で適用された予測サイズを出力する。
【００３８】
予測情報復号部２０５は，予測情報オーバーヘッドを受け，予測情報を出力する。変換サイズ復号部２０６は，変換サイズオーバーヘッドを受け，映像符号化装置で適用された変換サイズを出力する。量子化後ＤＣＴ係数復号部２０７は，変換サイズとＤＣＴオーバーヘッドを受け，量子化後ＤＣＴ係数を出力する。デノイズ係数復号部２０８は，デノイズ係数オーバーヘッドを受け，デノイズ係数を出力する。ＡＬＦ係数復号部２０９は，ＡＬＦオーバーヘッドを受け，ＡＬＦ係数を出力する。
【００３９】
逆量子化部２１０は，量子化後ＤＣＴ係数に対して逆量子化を行い，ＤＣＴ係数に戻す。逆離散コサイン変換部２１１は，ＤＣＴ係数に対して逆離散コサイン変換を適用して差分信号を出力する。予測ブロック生成部２１２は，予測情報と部分復号画像，参照フレームを受け，予測ブロックを生成する。部分復号画像生成部２１３は，予測画像と復号差分信号の加算合成を行い，部分復号画像を生成する。復号画像記憶部２１４は，部分復号画像を格納しておく記憶部である。
【００４０】
デノイズフィルタ処理部２１５は，復号画像を参照し，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，デノイズ対象画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，このフィルタ処理により，ブロック境界の歪みを軽減したフィルタ後復号画像を生成する。特に，このデノイズフィルタ処理部２１５の部分が従来技術と異なる。詳しい実施例については後述する。
【００４１】
ＡＬＦ処理部２１６では，ＡＬＦ係数を受け取り，フィルタ後復号画像に対して原画像に近づけるようにフィルタ処理を行い，ＡＬＦ後復号画像を出力する。なお，この画像が復号時における最終復号画像となる。フレームバッファ２１７は，ＡＬＦ後復号画像を格納しておく記憶部である。符号化情報記憶部２１８は，符号化情報を格納しておく記憶部であり，この符号化情報記憶部２１８が記憶する符号化情報は，デノイズフィルタ処理部２１５やその他の各部から参照され，使用される。
【００４２】
〔映像復号装置の処理フロー〕
図５および図６は，図４に示す映像復号装置の処理フローチャートを示している。映像復号装置は，以下の処理を行う。
・まず，ステップＳ２０１にて，入力ビットストリームをビットストリーム記憶部２０１に格納する。
・次に，ステップＳ２０２にて，シーケンス情報を復号する。
・次に，ステップＳ２０３にて，復号対象の全フレームに対するステップＳ２１４までのループ処理を行う。
・次に，ステップＳ２０４にて，復号対象画像の全ＣｏｄｉｎｇＵｎｉｔ（ＣＵ）に対するステップＳ２１１までのループ処理を行う。
・次に，ステップＳ２０５にて，ブロックサイズを復号する。
・次に，ステップＳ２０６にて，予測サイズを復号する。
・次に，ステップＳ２０７にて，予測情報を復号し，予測ブロックを生成する。
・次に，ステップＳ２０８にて，変換サイズを復号する。
・次に，ステップＳ２０９にて，量子化後ＤＣＴ係数を復号する。
・次に，ステップＳ２１０にて，逆量子化と逆離散コサイン変換を行う。
・次に，ステップＳ２１１にて，ステップＳ２０７の予測ブロックとステップＳ２１０の結果を用いて復号ブロックを生成し，復号画像記憶部２１４に格納する。
・符号化対象画像の全ＣＵに対するループ処理が終了すると，ステップＳ２１２にて，デノイズ係数を復号し，復号画像に対して，本手法を用いたデノイズフィルタの処理を実行する。
・次に，ステップＳ２１３にて，ＡＬＦ係数を復号し，ＡＬＦ処理を実行する。
・次に，ステップＳ２１４にて，ＡＬＦ後復号画像をフレームバッファ２１７に格納する。
・符号化対象の全フレームに対するループ処理が終了すると，ステップＳ２１５にて，フレームバッファ２１７の各フレームをフレーム番号順に出力して出力シーケンスを生成し，処理を終了する。
【００４３】
〔デノイズフィルタ処理部の例１〕
図７は，デノイズフィルタ処理部の第１の構成例を示す図である。図７に示すデノイズフィルタ処理部３０は，前述したステップ図１に示す映像符号化装置におけるデノイズフィルタ処理部１１３として用いられるループフィルタである。また，前述した図４に示す映像復号装置におけるデノイズフィルタ処理部２１５としても用いられる。
【００４４】
デノイズフィルタ処理部３０は，デノイズ係数設定部３０１，ＮＬＭフィルタ実行部３０２，探索形状記憶部３０３，テンプレート形状記憶部３０４，乖離度検出部３０５，テンプレート形状設定部３０６を備える。
【００４５】
デノイズ係数設定部３０１は，予め設定された基準となるデノイズ係数と符号化情報とを用いて，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を生成する。一般に中〜低レートでは，予測処理単位のＰｒｅｄｉｃｔｉｏｎＵｎｉｔや変換処理単位のＴｒａｎｓｆｏｒｍＵｎｉｔの各ユニット境界にてブロックノイズが目立ち始めるため，符号化情報を用いて，これら境界近傍の画素位置におけるデノイズ係数をブロック内部のデノイズ係数より高く設定する。
【００４６】
探索形状記憶部３０３とテンプレート形状記憶部３０４は，それぞれの形状を固定値で記憶している記憶部であり，乖離度検出部３０５とテンプレート形状設定部３０６は，画素ごとにテンプレート形状を制限する処理を導入するために設けられている。従来のＮＬＭフィルタでは，テンプレート形状については一般に画面全体に対して固定値で与えられていたのに対し，本実施形態では，ＮＬＭフィルタ実行部３０２によるＮＬＭフィルタの前処理として，乖離度検出部３０５により，デノイズ対象画像である復号画像の各画素に対して周辺画素との乖離度を検出し，テンプレート形状設定部３０６により，乖離度検出部３０５が検出した乖離度を多段階に分類し，乖離度の強〜弱に応じて当該画素のテンプレート形状（大〜小）をそれぞれ設定する。
【００４７】
ＮＬＭフィルタ実行部３０２は，デノイズ対象画像，デノイズ係数設定部３０１が設定した画素ごとのデノイズ係数，テンプレート形状設定部３０６が設定した画素ごとのテンプレート形状，および与えられた探索形状を入力し，デノイズ後の画像を出力する。ＮＬＭフィルタ実行部３０２が行う処理は，非特許文献１に示されている従来のＮＬＭフィルタの処理と同様である。
【００４８】
基準となるデノイズ係数，探索形状，テンプレート形状については，映像符号化装置または映像復号装置に対してユーザが設定した情報を入力してもよいし，予め固定値を記憶しておき，その値を用いてもよい。本実施形態は，デノイズ係数を入力とし，探索形状およびテンプレート形状は，予め各記憶部３０３，３０４にて固定値を記憶している例である。探索形状およびテンプレート形状を任意にユーザが設定する場合，映像符号化装置では，これらの情報をデノイズ係数と同様に符号化し，映像復号装置ではこれらの情報を復号することで実現する。
【００４９】
図８は，図７に示すデノイズフィルタ処理部３０の処理フローチャートである。まず，ステップＳ３０１では，デノイズフィルタ処理部３０が，外部からの入力により，デノイズ係数，デノイズ対象画像，符号化情報を取得する。デノイズ対象画像については，復号画像記憶部１１０（符号化の場合）または復号画像記憶部２１４（復号の場合）から入力し，符号化情報は，符号化情報記憶部１２６（符号化の場合）または符号化情報記憶部２１８（復号の場合）から入力する。
【００５０】
基準となるデノイズ係数，探索形状，テンプレート形状については，映像符号化装置または映像復号装置に対してユーザが設定した情報を入力してもよいし，予め固定値を記憶しておき，その値を用いてもよい。
【００５１】
ステップＳ３０２では，デノイズ係数設定部３０１が，入力した基準となるデノイズ係数と符号化情報とから，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を設定する。
【００５２】
次に，ステップＳ３０３では，乖離度検出部３０５が，デノイズ対象画像を入力とし，対象画素と周辺画素との乖離度を計算し，各画素に対応付けられた乖離度群を出力する。ステップＳ３０４では，テンプレート形状設定部３０６が，乖離度群と所定のテンプレート形状を用いて，各画素に対応付けられた制限されたテンプレート形状を設定し出力する。制限する際には，入力したテンプレート形状を最大形状として，乖離度が低いほどテンプレート形状が小さくなるように適用する。
【００５３】
最後に，ステップＳ３０５では，ＮＬＭフィルタ実行部３０２が，設定された情報に応じてＮＬＭフィルタを実行し，フィルタ後の結果画像を出力する。
【００５４】
図９は，テンプレート形状設定部３０６によるテンプレート形状の制限の例を説明する図である。例えば，入力または設定されたテンプレート形状が，図９（Ａ）に示すように，５×５のブロックであったとする。このテンプレート形状を，乖離度に応じて，例えば図９（Ｂ）に示すように制限する。テンプレート類似度としてＳＳＤを用いる場合，元のテンプレート形状では，加算２４回，減算２５回，乗算２５回の演算が必要であるのに対し，図９（Ｂ）に示すようにテンプレート形状を制限することにより，加算１２回，減算１３回，乗算１３回の演算で済むようになり，演算量が約５０％削減される。
【００５５】
デノイズフィルタ処理部３０による処理は，符号化によるノイズの除去が目的であり，一般の画像処理のように画面全体に一様にノイズがかかったノイズを除去するような想定は行わない。符号化によるノイズ（符号化歪み）は，大きく以下の種類に分類できる。
１．平滑化による模様の消失
２．ＤＣＴによるエッジ周辺のモスキートノイズ
３．ＰｒｅｄｉｃｔｉｏｎＵｎｉｔやＴｒａｎｓｆｏｒｍＵｎｉｔの各Ｕｎｉｔ境界に生じるブロックノイズ
このうち，平滑化によって損失した模様の復元は非常に困難であるため，本実施形態では対象としない。このような画素値に変化のない平滑化した領域に対してＮＬＭフィルタを適用すると，計算前後でほとんど画素信号は変化しないが，演算量は必要になる。本実施形態では，周辺画素との乖離度を計算することで，このように平滑化した領域にも割り当てられていた演算量を削減する。
【００５６】
〔デノイズフィルタ処理部の例２〕
図１０は，デノイズフィルタ処理部の第２の構成例を示す図である。図１０に示すデノイズフィルタ処理部３１は，前述した図１に示す映像符号化装置におけるデノイズフィルタ処理部１１３として用いられるループフィルタである。また，前述した図４に示す映像復号装置におけるデノイズフィルタ処理部２１５としても用いられる。
【００５７】
デノイズフィルタ処理部３１は，デノイズ係数設定部３１１，ＮＬＭフィルタ実行部３１２，探索形状記憶部３１３，テンプレート形状記憶部３１４，乖離度検出部３１５，テンプレート形状設定部３１６，エッジ方向検出部３１７，テンプレート形状再設定部３１８を備える。
【００５８】
このデノイズフィルタ処理部３１は，エッジ方向検出部３１７およびテンプレート形状再設定部３１８が備わっている点が前述した図７のデノイズフィルタ処理部３０と異なる。他の部分は，デノイズフィルタ処理部３０と同様の機能を持つ。
【００５９】
エッジ方向検出部３１７は，デノイズ対象画像のエッジ方向を検出し，デノイズ対象画像における各画素に対応付けられたエッジ方向群を出力する。エッジ方向の例としては，方向ごとに番号付けされた番号群や角度群などが挙げられる。
【００６０】
テンプレート形状再設定部３１８は，エッジ方向検出部３１７が検出したエッジ方向群，乖離度検出部３１５が検出した乖離度群，符号化情報を参照し，テンプレート形状設定部３１６にて過剰に割り当てられたテンプレート形状をさらに制限するための再設定を行う。具体的には，ＰｒｅｄｉｃｔｉｏｎＵｎｉｔやＴｒａｎｓｆｏｒｍＵｎｉｔの各Ｕｎｉｔ境界に発生しやすいブロックノイズ周辺に過剰に割り当てられがちなテンプレート形状をさらに制限する。
【００６１】
図１１は，図１０に示すデノイズフィルタ処理部３１の処理フローチャートである。まず，ステップＳ３１１では，デノイズフィルタ処理部３１が，外部からの入力により，デノイズ係数，デノイズ対象画像，符号化情報を取得する。
【００６２】
ステップＳ３１２では，デノイズ係数設定部３１１が，入力した基準となるデノイズ係数と符号化情報とから，デノイズ対象画像の各画素位置に対応付けられるデノイズ係数を設定する。次に，ステップＳ３１３では，乖離度検出部３１５が，デノイズ対象画像を入力とし，対象画素と周辺画素との乖離度を計算し，各画素に対応付けられた乖離度群を出力する。ステップＳ３１４では，テンプレート形状設定部３１６が，乖離度群と所定のテンプレート形状を用いて，各画素に対応付けられた制限されたテンプレート形状を設定し出力する。制限する際には，入力したテンプレート形状を最大形状として，乖離度が低いほどテンプレート形状が小さくなるように適用する。以上のステップＳ３１１〜Ｓ３１３の処理は，図８で説明したデノイズフィルタ処理部３０の処理と同様である。
【００６３】
ステップＳ３１５では，エッジ方向検出部３１７が，デノイズ対象画像における各点のエッジ方向を検出し，エッジ方向群を出力する。ステップＳ３１６では，テンプレート形状再設定部３１８が，符号化情報と，エッジ方向検出部３１７が検出したエッジ方向群と，乖離度検出部３１５が検出した乖離度群とを用いて，テンプレート形状の再設定を行うことによりステップＳ３１４で設定したテンプレート形状の過剰割り当てを削減する。最後に，ステップＳ３１７では，ＮＬＭフィルタ実行部３１２が，設定された情報に応じてＮＬＭフィルタを実行し，フィルタ後の結果画像を出力する。
【００６４】
〔乖離度検出方法の例〕
乖離度検出部３０５，３１５における乖離度検出方法の一例を説明する。図１２は，乖離度検出方法の例を説明する図である。図１２（Ａ）に示す画素ｚをデノイズの対象画素とし，その周辺画素に対してａ〜ｘの番号を付与した場合について説明する。ここでは，当該画素ｚと周辺画素（ａ〜ｘ）との差分絶対値に距離による減衰を考慮した係数を乗算した加重和を乖離度の指標（DiffIntensity ）として用いる。すなわち，DiffIntensity は，次式により算出される。
【００６５】
DiffIntensity ＝Ａ（｜ｈ−ｚ｜＋｜ｌ−ｚ｜＋｜ｍ−ｚ｜＋｜ｑ−ｚ｜）
＋Ｂ（｜ｇ−ｚ｜＋｜ｉ−ｚ｜＋｜ｐ−ｚ｜＋｜ｒ−ｚ｜）
＋Ｃ（｜ｃ−ｚ｜＋｜ｋ−ｚ｜＋｜ｎ−ｚ｜＋｜ｖ−ｚ｜）
＋Ｄ（｜ｂ−ｚ｜＋｜ｄ−ｚ｜＋｜ｆ−ｚ｜＋｜ｊ−ｚ｜＋
｜ｏ−ｚ｜＋｜ｓ−ｚ｜＋｜ｕ−ｚ｜＋｜ｗ−ｚ｜）
＋Ｅ（｜ａ−ｚ｜＋｜ｅ−ｚ｜＋｜ｔ−ｚ｜＋｜ｘ−ｚ｜）
式中のＡ〜Ｅは，当該画素と周辺画素との距離に応じてあらかじめ定められた係数であり，任意に設定される。これらの係数Ａ〜Ｅの設定には，例えば，距離に応じたガウス分布などを適用することができる。なお，Ａ〜Ｅも全点を対象とする必要はなく，例えばＤを０に設定すれば，フィルタ演算量を削減することができる。
【００６６】
乖離度検出部３０５，３１５は，すべてのDiffIntensity の算出を終えたら，乖離度群を下位のテンプレート形状設定部３０６，３１６に出力する。
【００６７】
他に，乖離度の算出に，ラプラシアンフィルタの絶対値やＳＳＤ（Sum of Square Difference），分散などの適用も考えられる。
【００６８】
さらに演算量削減のため，復号画像に対して任意サイズのＮ×Ｎブロックそれぞれに対して数点のサンプリング点を計算対象として設定し，当該画素位置における乖離度の代表値として用いる手法も考えられる。
【００６９】
図１２（Ｂ）は，サンプリング数の間引きの例を示している。この例では，２×２ブロック分割にて，左上，右下の画素を計算対象としている。この例の乖離度を，DiffIntensity 2x2 と表すと，DiffIntensity 2x2 は，次式によって算出される。
【００７０】
DiffIntensity 2x2 ＝（Ａの画素位置におけるDiffIntensity
＋Ｄの画素位置におけるDiffIntensity ）／２
Ａ〜Ｄの画素位置における乖離度の参照要求があった場合，上記DiffIntensity 2x2 を代表値として用いる。この例では，乖離度計算に要する演算量は約半分になる。
【００７１】
〔テンプレート形状設定方法の例１〕
テンプレート形状設定部３０６，３１６におけるテンプレート形状設定方法の例の一つとして，乖離度検出部３０５，３１５が算出した乖離度群を用い，装置から与えられる基準となるテンプレート形状が３×３ブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。
【００７２】
図１３は，乖離度のヒストグラムと閾値／領域設定の関係を示す図である。自然画像を対象とするとき，乖離度群のヒストグラムは値の低い側に偏り，乖離度が強くなるに従って出現頻度は低くなる。また，量子化パラメータの値が大きくなるに従ってヒストグラムは乖離度小の方に偏る特性を持つ。
【００７３】
テンプレート形状設定部３０６，３１６は，入力した乖離度群のヒストグラムを作成し，ヒストグラムの面積比が均一になるように４分割して，それぞれの領域α〜δのテンプレート形状ＴｍｐShape を以下のように設定する。領域α，βの境界の値をＴｈα，領域β，γの境界の値をＴｈβ，領域γ，δの境界の値をＴｈγとする。
（１）乖離度が閾値Ｔｈαより小さいの場合
ＴｍｐShape ＝Ｎｏｎｅ（要素数０）とする。
【００７４】
ＴｍｐShape がＮｏｎｅの場合，テンプレートマッチングは行わない。
（２）乖離度が閾値Ｔｈα以上でＴｈβ未満の場合
ＴｍｐShape ＝Ｐｏｉｎｔ（要素数１）とする。
【００７５】
ＴｍｐShape がＰｏｉｎｔの場合，対象画素と探索点の画素についてのＳＳＤだけを算出する。
（３）乖離度が閾値Ｔｈβ以上でＴｈγ未満の場合
ＴｍｐShape ＝Ｃｒｏｓｓ（要素数５）とする。
【００７６】
ＴｍｐShape がＣｒｏｓｓの場合，対象画素に上下左右の４画素を加えた５画素のテンプレート形状でマッチングを行う。
（４）乖離度が閾値Ｔｈγ以上の場合
ＴｍｐShape ＝Ｂｌｏｃｋ3x3 （要素数９）とする。
【００７７】
ＴｍｐShape がＢｌｏｃｋ3x3 の場合，３×３ブロックのテンプレート形状の全点でマッチングを行う。
【００７８】
本手法の導入により，全探索点に対して３×３ブロックのテンプレート形状の全点でマッチングを行う手法と比較してそれぞれ演算量は，以下のようになる。
【００７９】
領域α：演算量 0
領域β：演算量 １／９
領域γ：演算量 ５／９
領域δ：演算量 １
領域が画面全体の１／４ずつを占めるため，合計演算量は５／１２となり，理論値では約１／２弱まで演算量を削減できることになる。
【００８０】
このように，乖離度の大きさによってテンプレート形状を決めるのは，以下の理由による。乖離度は強いエッジ周辺で強い信号が現れやすく，続いて弱いエッジやＤＣＴによるモスキートノイズ，撮像時のノイズなどが小〜中程度の信号として現れる。ＮＬＭフィルタは，エッジ周辺で特に効果を発揮する特性を持つため，乖離度が大きい領域（領域δ）に対して大型のテンプレート形状を割り当てることでデノイズ効果の悪化を抑制する。
【００８１】
〔テンプレート形状設定方法の例２〕
テンプレート形状設定部３０６，３１６におけるテンプレート形状設定方法の他の例として，乖離度検出部３０５，３１５が算出した乖離度群を用い，装置から与えられる基準となるテンプレート形状がＮ×Ｎブロックの全点を対象とする場合のテンプレート形状の削減の例を挙げる。
【００８２】
図１４は，積分比に応じたサンプリング数の設定の例を説明する図である。テンプレート形状設定部３０６，３１６は，乖離度群のヒストグラムを作成し，ヒストグラム上のデノイズの対象画素の乖離度をＴｈIntensity として乖離度の分布を表す関数ｆ(DiffIntensity) の積分値の比率でテンプレート形状を設定する。
【００８３】
すなわち，図１４（Ａ）に示すように，基準となるテンプレート形状がＮ×Ｎブロックとして与えられたとき，削減後のテンプレート形状の設定形状を円とし，その直径を次のように定める。
【００８４】
設定形状（直径）
＝Ｎ×［｛ｆ(DiffIntensity) の０からＴｈIntensity までの積分値｝
÷｛ｆ(DiffIntensity) の０から最大値Ｍａｘまでの積分値｝］
これにより，乖離度が小さい場合には，小さなテンプレート形状，乖離度が大きい場合には，大きなテンプレート形状を用いて，効果的なテンプレートマッチングを行うことができる。
【００８５】
〔エッジ方向検出方法の例１〕
エッジ方向検出部３１７におけるエッジ方向検出方法の例の一つとして，復号画像に対してソーベルフィルタを適用することによってエッジ方向を検出し，方向ごとに割り当てた番号を出力する例を挙げる。
【００８６】
図１５は，そのエッジ方向検出方法の例を説明する図である。周辺画素に対して，図１５（Ａ）に示すソーベルオペレータを適用し，検出したエッジ方向に応じて，図１５（Ｂ）に示すように，番号ＶｅｃＩｎｄｅｘ（０〜１０）を割り当てる。このとき，閾値Ｔｈを１つ設定し，ｘ軸，ｙ軸それぞれの成分（ｄｘ，ｄｙ）の絶対値和が閾値Ｔｈ以下であれば，該当画素には強いエッジが存在しないものとしてＶｅｃＩｎｄｅｘに０番を割り当て，番号をエッジ方向群として出力する。
【００８７】
図１５（Ｃ）は，その番号を割り当てるアルゴリズムを示している。
・｜ｄｘ｜＋｜ｄｙ｜＜Ｔｈならば，ＶｅｃＩｎｄｅｘ＝０とする。
・上記に該当せず，ｄｙ＝０ならば，ＶｅｃＩｎｄｅｘ＝６とする。
・上記に該当せず，ｄｘ／ｄｙ＜−８．０であれば，ＶｅｃＩｎｄｅｘ＝６とする。
・上記に該当せず，ｄｘ／ｄｙ＜−２．０であれば，ＶｅｃＩｎｄｅｘ＝７とする。
・上記に該当せず，ｄｘ／ｄｙ＜−１．０であれば，ＶｅｃＩｎｄｅｘ＝８とする。
・上記に該当せず，ｄｘ／ｄｙ＜−０．５であれば，ＶｅｃＩｎｄｅｘ＝９とする。
・上記に該当せず，ｄｘ／ｄｙ＜−０．１２５であれば，ＶｅｃＩｎｄｅｘ＝１０とする。
・上記に該当せず，ｄｘ／ｄｙ＜０．１２５であれば，ＶｅｃＩｎｄｅｘ＝１とする。
・上記に該当せず，ｄｘ／ｄｙ＜０．５であれば，ＶｅｃＩｎｄｅｘ＝２とする。
・上記に該当せず，ｄｘ／ｄｙ＜１．０であれば，ＶｅｃＩｎｄｅｘ＝３とする。
・上記に該当せず，ｄｘ／ｄｙ＜２．０であれば，ＶｅｃＩｎｄｅｘ＝４とする。
・上記に該当せず，ｄｘ／ｄｙ＜８．０であれば，ＶｅｃＩｎｄｅｘ＝５とする。
・上記のどれにも該当しない場合，ＶｅｃＩｎｄｅｘ＝６とする。
【００８８】
ＤＣＴによるモスキートノイズや撮像時のノイズの影響を軽減するため，また，演算量削減のため，入力とするデノイズ対象画像に対して等倍画像ではなく，縦横１／Ｎに縮小した画像に対するソーベルフィルタの適用も効果的である。
【００８９】
１／Ｎに縮小した画像に対してソーベルフィルタを適用した場合，算出したソーベルフィルタの出力結果は，縮小時に使用した複数の画素群の代表値として扱う。
【００９０】
〔エッジ方向検出方法の例２〕
エッジ方向検出部３１７におけるエッジ方向検出方法の他の例として，デノイズ対象画像に対してソーベルフィルタを適用することによってエッジ方向を検出し，ラジアン角（Ｒａｄｉａｎ）を出力する例を挙げる。周辺画素に対して，前述した図１５（Ａ）に示すソーベルオペレータを適用し，ｘ軸，ｙ軸のそれぞれの成分（ｄｘ，ｄｙ）からａｒｃｔａｎ（−π／２〜π／２）を用いてラジアン角を計算する。このとき，ｄｘ，ｄｙの絶対値和が閾値Ｔｈ以下であれば，ａｒｃｔａｎ（−π／２〜π／２）の出力範囲以外の値（ＥＸatan：例えば１００など) を設定する。
【００９１】
すなわち，ラジアン角（Ｒａｄｉａｎ）を次のように定める。
・｜ｄｘ｜＋｜ｄｙ｜＜Ｔｈの場合，Ｒａｄｉａｎ＝ＥＸatanとする。
・上記に該当せず，ｄｙ＝０であれば，Ｒａｄｉａｎ＝π／２とする。
・他の場合，Ｒａｄｉａｎ＝ａｒｃｔａｎ（ｄｘ／ｄｙ）とする。
【００９２】
〔テンプレート形状再設定方法の例〕
テンプレート形状再設定部３１８におけるテンプレート形状再設定方法の例の一つとして，図９にて示したテンプレート形状設定部３１６が設定したテンプレート形状を，図１２にて示した乖離度検出部３１５が出力した乖離度群，図１５にて示したエッジ方向群および符号化情報を用いて再設定し，テンプレート形状の大きさをさらに削減する例を説明する。
【００９３】
図１６は，テンプレート形状の再設定方法を説明する図である。まず，符号化情報からＤＣＴなどの変換処理の単位であるＴｒａｎｓｆｏｒｍＵｎｉｔのＵｎｉｔサイズを取得し，図１６（Ａ）に示すように，各Ｕｎｉｔ外縁の近傍Ｎ画素を設定対象の領域に設定する。それ以外の領域は，前述したテンプレート形状設定部３１６の設定結果をそのまま用いるものとする。
【００９４】
図１６（Ｂ）に示すように，エッジ方向群を用いた場合，顕著なブロックノイズのＵｎｉｔ外縁上下部分ではＶｅｃＩｎｄｅｘは１に，Ｕｎｉｔ外縁左右部分ではＶｅｃＩｎｄｅｘは６に偏るという傾向があり，この境界部分の乖離度は高い値が検出される。また，ブロックノイズが顕著に現れる高い量子化パラメータ域では，ＴｒａｎｓｆｏｒｍＵｎｉｔ内部は比較的平坦な領域が現れやすいという傾向がある。
【００９５】
つまり，量子化パラメータＱＰの高い中〜低レート域において，図１６（Ａ）における設定対象の領域で，図１６（Ｂ）に示すような特徴を満たす場合，ブロックノイズが発生している可能性が高い。これらＶｅｃＩｎｄｅｘが１もしくは６に偏るブロック境界の画素位置に対しては大型のテンプレート形状で計算しても，小型のテンプレート形状で計算しても，結果はほとんど変わらない。しかし，ブロック境界で顕著なエッジが検出された場合には，大型のテンプレート形状が設定されてしまうため，非効率である。そのため，テンプレート形状再設定部３１８により，テンプレート形状の見直しを行うことで非効率であるとういう問題の解決を図る。
【００９６】
具体的な解決手法としては，例えば以下の手法が挙げられる。量子化パラメータＱＰに対する所定の閾値Ｔｈ１QP，Ｔｈ２QP（ただし，Ｔｈ１QP＜Ｔｈ２QP）と，乖離度DiffIntensity に対する所定の閾値Ｔｈ１Diff，Ｔｈ２Diff（ただしＴｈ１Diff＜Ｔｈ２Diff）とを用いて，画素位置ごとに以下のような設定を行う。このようにすれば，デノイズ効果の悪化を抑制しつつ演算量を削減することができる。ただし，Ｔｈ１Diff，Ｔｈ２Diffは，それぞれ量子化パラメータＱＰに応じて変動するものとする。
【００９７】
下記の条件を満たす場合，後述する再設定分岐のアルゴリズムによって，テンプレート形状ＴｍｐShape を設定する。
［条件１］：Ｕｎｉｔ外縁上下部分の設定対象領域における画素位置で，対象画素位置のＶｅｃＩｎｄｅｘが１（横方向のエッジ）もしくは０（平坦な領域），かつ，Ｕｎｉｔ内側方向に隣接するＶｅｃＩｎｄｅｘが０（平坦な領域）の場合。
［条件２］：または，Ｕｎｉｔ外縁左右部分の設定対象領域における画素位置で，対象画素位置のＶｅｃＩｎｄｅｘが６（縦方向のエッジ）もしくは０（平坦な領域），かつ，Ｕｎｉｔ内側方向に隣接するＶｅｃＩｎｄｅｘが０（平坦な領域）の場合。
【００９８】
「再設定分岐のアルゴリズム」の例
（１）量子化パラメータＱＰ＞閾値Ｔｈ２QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 またはＣｒｏｓｓ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ１Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（２）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ２Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（３）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＢｌｏｃｋ3x3 ，
かつ，乖離度DiffIntensity ＞閾値Ｔｈ１Diffの場合，
ＴｍｐShape をＣｒｏｓｓ（要素数５）に再設定。
（４）上記以外で，量子化パラメータＱＰ＞閾値Ｔｈ１QP，
かつ，テンプレート形状ＴｍｐShape がＣｒｏｓｓ，
かつ，乖離度DiffIntensity ＞Ｔｈ１Diffの場合，
ＴｍｐShape をＰｏｉｎｔ（要素数１）に再設定。
（５）上記（１）〜（４）以外の場合，再設定しないで終了。
【００９９】
図１６（Ｃ）における四隅の領域Ｅ，Ｆ，Ｇ，Ｈは，ブロックノイズによって生成されるＶｅｃＩｎｄｅｘに予測が立たないため，それぞれ以下の条件を満たす場合に，領域内すべての画素位置に対して，前述した（１）〜（５）の再設定分岐によるテンプレート形状の再設定を行う。
・領域Ｅ：直右に隣接する領域Ａの画素群もしくは直下に隣接する領域Ｃの画素群に上記条件を満たす画素がある。
・領域Ｆ：直左に隣接する領域Ａの画素群もしくは直下に隣接する領域Ｄの画素群に上記条件を満たす画素がある。
・領域Ｇ：直右に隣接する領域Ｂの画素群もしくは直上に隣接する領域Ｃの画素群に上記条件を満たす画素がある。
・領域Ｈ：直左に隣接する領域Ｂの画素群もしくは直上に隣接する領域Ｄの画素群に上記条件を満たす画素がある。
【０１００】
本実施形態では，ブロック境界の画素群に対して演算量を削減する例を示したが，反対にブロック内部の画素群に対してはすべてＴｍｐShape ＝Ｎｏｎｅを設定し，ブロック境界のみにデノイズフィルタを適用することで，演算量を大きく削減するような実施も可能である。
【０１０１】
〔演算量削減効果〕
次世代映像符号化標準方式に従来のＮＬＭフィルタ（Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法によるデノイズフィルタ）を組み込んだ手法と比較して，本手法によるデノイズフィルタを適用した場合，標準的な映像の符号化時に，ＰＳＮＲの悪化を抑えつつ上記フィルタに要する演算量を大幅に削減できることが確認できた。
【０１０２】
［ソフトウェアプログラムを用いた場合の構成例］
以上の画像処理，映像符号化，復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【０１０３】
図１７は，本発明を，コンピュータとソフトウェアプログラムとを用いて実施する場合のシステムの構成例を示している。
【０１０４】
本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，符号化対象の映像信号，または復号画像の映像信号を記憶する映像信号記憶部５２と，本発明の実施形態で説明した処理をＣＰＵ５０に実行させるためのプログラムが格納されたプログラム記憶装置５３と，符号化結果のビットストリームまたは復号対象のビットストリームを記憶する符号化ストリーム記憶部５４とがバスで接続された構成になっている。
【０１０５】
プログラム記憶装置５３は，本発明を用いて映像信号を符号化するための映像符号化プログラム５３１，本発明を用いて符号化ビットストリームを復号するための映像復号プログラム５３２のいずれかを格納している。これらのプログラムの双方を格納していてもよい。
【０１０６】
また，本システムが映像符号化装置として用いられる場合，映像符号化プログラム５３１がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像符号化プログラム５３１の命令を逐次フェッチして実行し，映像信号記憶部５２に格納されている映像信号を，本発明の実施形態で説明した手法により符号化して，符号化結果のビットストリームを符号化ストリーム記憶部５４に格納する。または，ネットワークアダプタ等のインタフェースを介して，ビットストリームを外部装置に出力してもよい。
【０１０７】
また，本システムが映像復号装置として用いられる場合，映像復号プログラム５３２がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像復号プログラム５３２の命令を逐次フェッチして実行し，符号化ストリーム記憶部５４に格納されているビットストリームを，本発明の実施形態で説明した手法により復号して，復号結果の映像信号を映像信号記憶部５２に格納する。または，外部の再生装置に復号結果の映像信号を出力する。
【符号の説明】
【０１０８】
３０，３１，１１３，２１５ デノイズフィルタ処理部
３０１，３１１ デノイズ係数設定部
３０２，３１２ ＮＬＭフィルタ実行部
３０５，３１５ 乖離度検出部
３０６，３１６ テンプレート形状設定部
３１７ エッジ方向検出部
３１８ テンプレート形状再設定部
【特許請求の範囲】
【請求項１】
ループフィルタを用いて映像を符号化または復号する映像符号化／復号方法であって，
前記ループフィルタは，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，前記復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，
前記復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出するステップと，
前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限するステップとを実行する
ことを特徴とする映像符号化／復号方法。
【請求項２】
請求項１記載の映像符号化／復号方法において，
デノイズ対象の前記復号画像を用いてエッジ方向を算出するステップと，
制限された前記テンプレート形状のうち，符号化または復号対象ブロックの外縁にある１または複数画素のテンプレート形状を，前記算出されたエッジ方向と前記符号化または復号対象ブロックの量子化パラメータと前記乖離度とに基づいてさらに小さく制限するステップを実行する
ことを特徴とする映像符号化／復号方法。
【請求項３】
ループフィルタを用いて映像を符号化または復号する映像符号化／復号装置であって，
前記ループフィルタは，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，前記復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，
前記復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出する乖離度算出部と，
前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限するテンプレート形状設定部とを備える
ことを特徴とする映像符号化／復号装置。
【請求項４】
請求項３記載の映像符号化／復号装置において，
デノイズ対象の前記復号画像を用いてエッジ方向を算出するエッジ方向検出部と，
制限された前記テンプレート形状のうち，符号化または復号対象ブロックの外縁にある１または複数画素のテンプレート形状を，前記算出されたエッジ方向と前記符号化または復号対象ブロックの量子化パラメータと前記乖離度とに基づいてさらに小さく制限するテンプレート形状再設定部とをさらに備える
ことを特徴とする映像符号化／復号装置。
【請求項５】
請求項１または請求項２の映像符号化／復号方法を，コンピュータに実行させるための映像符号化／復号プログラム。
【請求項１】
ループフィルタを用いて映像を符号化または復号する映像符号化／復号方法であって，
前記ループフィルタは，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，前記復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，
前記復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出するステップと，
前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限するステップとを実行する
ことを特徴とする映像符号化／復号方法。
【請求項２】
請求項１記載の映像符号化／復号方法において，
デノイズ対象の前記復号画像を用いてエッジ方向を算出するステップと，
制限された前記テンプレート形状のうち，符号化または復号対象ブロックの外縁にある１または複数画素のテンプレート形状を，前記算出されたエッジ方向と前記符号化または復号対象ブロックの量子化パラメータと前記乖離度とに基づいてさらに小さく制限するステップを実行する
ことを特徴とする映像符号化／復号方法。
【請求項３】
ループフィルタを用いて映像を符号化または復号する映像符号化／復号装置であって，
前記ループフィルタは，復号画像におけるデノイズの対象画素に対する比較元となるテンプレートと，前記復号画像における探索形状内の探索先となる各探索点に対するテンプレートとのテンプレートマッチングを行い，テンプレート類似度に応じた重みと当該探索点における画素値の加重和によって対象画素のノイズを除去する画像処理方法を用いて，復号画像のノイズを除去するフィルタであり，
前記復号画像を用いて，前記対象画素と対象画素の周辺画素との乖離度を算出する乖離度算出部と，
前記乖離度を，前記テンプレート形状の制限に用いる指標とし，前記乖離度が高い領域のテンプレート形状は担保し，前記乖離度が低い領域のテンプレート形状を小さく制限するテンプレート形状設定部とを備える
ことを特徴とする映像符号化／復号装置。
【請求項４】
請求項３記載の映像符号化／復号装置において，
デノイズ対象の前記復号画像を用いてエッジ方向を算出するエッジ方向検出部と，
制限された前記テンプレート形状のうち，符号化または復号対象ブロックの外縁にある１または複数画素のテンプレート形状を，前記算出されたエッジ方向と前記符号化または復号対象ブロックの量子化パラメータと前記乖離度とに基づいてさらに小さく制限するテンプレート形状再設定部とをさらに備える
ことを特徴とする映像符号化／復号装置。
【請求項５】
請求項１または請求項２の映像符号化／復号方法を，コンピュータに実行させるための映像符号化／復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１９１３１１（Ｐ２０１２−１９１３１１Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５１４４４（Ｐ２０１１−５１４４４）
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]