画像処理装置及び画像処理方法
【課題】 様々なエッジ形状（例えばエッジの強さや大きさ）に対して適応的な平滑化処理をする。
【解決手段】
勾配算出部１０１は、入力画像の画素毎に、勾配の方向及び大きさを求める。ヒストグラム算出部１０２は、入力画素の処理対象の画素を含めた領域内の各画素について求めた勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求める。探索部１０３は、記憶部１０４に記憶された方向ヒストグラムテンプレートのうち、対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する。フィルタ処理部１０５は、誤差が最も小さい方向ヒストグラムと対応して記憶部１０４に記憶されていた平滑化フィルタが定める重み係数に従って、処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和から処理対象の画素の補正後の画素値を求める。
【解決手段】
勾配算出部１０１は、入力画像の画素毎に、勾配の方向及び大きさを求める。ヒストグラム算出部１０２は、入力画素の処理対象の画素を含めた領域内の各画素について求めた勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求める。探索部１０３は、記憶部１０４に記憶された方向ヒストグラムテンプレートのうち、対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する。フィルタ処理部１０５は、誤差が最も小さい方向ヒストグラムと対応して記憶部１０４に記憶されていた平滑化フィルタが定める重み係数に従って、処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和から処理対象の画素の補正後の画素値を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に平滑化を施し画像からノイズを除去する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献1には入力画像から画素勾配の大きさと方向による方向ヒストグラムを生成し、最大値となるビンの方向をエッジ方向とし、あらかじめ設定された複数の平滑化手段のうち、エッジ方向に適した平滑化手段を用いる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１９１８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、エッジ方向のみを考慮し平滑化手段を選択していたため、様々なエッジ形状（例えばエッジの強さや大きさ）に対して適応的な平滑化処理をすることができず過平滑化等の画質劣化が生じていた。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める勾配算出部と、前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求めるヒストグラム算出部と、複数の平滑化フィルタと方向ヒストグラムのテンプレートとが対応して記憶された記憶部と、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する探索部と、前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるフィルタ処理部と、を有することを特徴とする画像処理装置を提供する。
【０００６】
また、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求めるステップと、前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向ヒストグラムを求めるステップと、複数の平滑化フィルタと方向ヒストグラムとが対応して記憶された記憶部を参照し、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索するステップと、前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるステップと、を有することを特徴とする画像処理方法を提供する。
【発明の効果】
【０００７】
様々なエッジ形状（例えばエッジの強さや大きさ）に対して適応的な平滑化処理をすることができ、画質劣化を防ぐことが出来る。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置の構成を示す図。
【図２】第１の実施形態の画像処理装置の動作を示す図。
【図３】画素勾配を説明する図。
【図４】勾配ベクトルとエッジの方向との関係を説明する図。
【図５】方向ヒストグラムを説明する図。
【図６】異方性ガウス関数を説明する図。
【図７】主成分分析を説明する図。
【図８】第２の実施形態の画像処理装置の構成を示す図。
【図９】第２の実施形態の画像処理装置の動作を示す図。
【図１０】第２の実施形態の画像処理装置が画素勾配の大きさ・方向を求める動作を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
【００１０】
[第１の実施形態]
図１は、本実施形態の画像処理装置を示す図である。
本実施形態の画像処理装置は、勾配算出部１０１と、ヒストグラム算出部１０２と、探索部１０３と、記憶部１０４と、フィルタ処理部１０５と、を有する。
【００１１】
勾配算出部１０１は、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める。
ヒストグラム算出部１０２は、入力画素の処理対象の画素を含めた領域内の各画素について求めた勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求める。
記憶部１０４は、複数の平滑化フィルタと方向ヒストグラムとが対応して記憶されている。方向ヒストグラムテンプレートテーブル１０４１に、複数の方向ヒストグラムが記憶されている。また、フィルタ係数テーブル１０４２には、方向ヒストグラムと対応したフィルタ係数が格納されている。格納された方向ヒストグラムはフィルタ係数と対応する代表的なヒストグラムということで、方向ヒストグラムテンプレートと呼ぶ。方向ヒストグラムテンプレートはサンプル画像からの学習などによって事前に生成しておく。学習方法については後述する。
【００１２】
探索部１０３は、記憶部１０４に記憶された方向ヒストグラムテンプレートのうち、対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する。
フィルタ処理部１０５は、誤差が最も小さい方向ヒストグラムと対応して記憶部１０４に記憶されていた平滑化フィルタが定める重み係数に従って、処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和から処理対象の画素の補正後の画素値を求める。
図２は、本実施形態の画像処理装置の動作を示す図である。
まず、勾配算出部１０１は入力画像のうち、処理対象とする画素を選択する（ステップＳ２０１）。なお、(ｉ,ｊ)Tは画素位置とし、Ｉｉ,ｊは、(ｉ,ｊ)Tに位置する画素が有する画素値を示す。Ｔは、ベクトル・行列の転置を示す。
【００１３】
次に、勾配算出部１０１は、入力画像の各画素に対して、その近傍に位置する画素の画素値との差分値を用いて勾配を計算する（ステップＳ２０２）。勾配の計算手法は、例えば前進差分を用いると位置(ｉ,ｊ)Tのx方向画素勾配∂x、y方向画素勾配∂ｙは以下のように定義できる。
【数１】
【００１４】
図３は、勾配を算出する方法を説明する図である。勾配を算出する処理対象の画素は(ｉ,ｊ)Tに位置する画素である。(ｉ,ｊ)Tの画素と、ｘ方向及びｙ方向の前進差分をとる方向でそれぞれ隣接する２つの画素の画素位置が(ｉ＋１,ｊ)T，(ｉ,ｊ＋１)Tである。位置(ｉ,ｊ)Tにおける勾配ベクトルｖｉ,ｊは式（２）のように定義できる。
【数２】
【００１５】
なお、画素勾配を算出する方法として前進差分を用いた例について説明したが、後退差分でも中心差分でも構わない。また一般的な勾配オペレータ（Sobelなど）を用いても構わない。
【００１６】
次に、勾配算出部１０１は、ステップＳ２０２で算出した、位置(ｉ,ｊ)Tの勾配ベクトルｖｉ,ｊから、エッジの方向を示す回転角θと大きさｄを算出する（ステップＳ２０３）。勾配ベクトルｖｉ,ｊの方向を９０度回転した方向θと大きさｄは、式（３）を用いて算出する。
【数３】
【００１７】
算出した各画素のエッジの方向・大きさについては勾配算出部１０１が保持しておく。
【００１８】
図４は、エッジと勾配ベクトルｖｉ,ｊと回転角θとの関係を説明する図である。画像内の右上がり対角線で描いた領域と白い領域との境界にステップエッジがある例を示している。なお、画像内の画素値の変化が大きく、それが直線的に起こっている領域をエッジと定義する。前述の勾配ベクトルｖｉ,ｊは、エッジが構成される境界線の法線方向である。エッジの方向を示す回転角θを図のように定義する。エッジの接線方向と、ｘ軸とがなす角度がθとなる。
【００１９】
次に、入力画像内の全ての画素について勾配の方向・大きさを算出したかについて判定する（ステップS２０３）。Noの場合は、ステップS２０１に戻り、次の処理対象の画素を選択する。Yeｓの場合はステップS２０４に進む。
【００２０】
次に、処理対象とする画素を選択する（S２０４）。
【００２１】
次に、ヒストグラム算出部１０２は、処理対象の画素の方向ヒストグラムを算出する（S２０５）。方向ヒストグラムとして、画素勾配ベクトルの方向と大きさから方向毎の強さをもった方向ヒストグラムを生成する。方向ヒストグラムは360°をK個に分割したヒストグラムのビンを用意し、各ビンに対して処理対象の画素の周辺に位置する画素についてS２０３で求めた画素勾配ベクトルの大きさｄを加算する。まずはエッジの方向をK個に量子化する。
【数４】
【００２２】
ここでround()は四捨五入をする関数とし、K／２πが量子化ステップ、φが量子化された勾配ベクトルの方向である。また方向ヒストグラムh[]は以下のように0で初期化される。
【数５】
【００２３】
ここで[k]はヒストグラムのビンを意味する。方向ヒストグラムは処理対象の画素を中心とした（２ｒ＋１,２ｒ＋１）の正方領域によって生成されるとすると以下のように計算できる。
【数６】
【００２４】
生成された方向ヒストグラムは、ヒストグラム算出部１０２が保持する。
【００２５】
図５は、方向ヒストグラムを説明する図である。図５（ａ）は、方向を８方向に量子化した場合の方向ヒストグラムを模式的に示した例である。それぞれの方向に対して、処理対象の画素を含めた領域内の画素について求めた画素勾配の大きさを加算したものが矢印の大きさである。図５（ｂ）は、（ａ）に示した処理対象画素について、生成された方向ヒストグラムの例を示す。横軸は、それぞれビンの番号を示す。度数は、加算されたヒストグラムの大きさを示す。
【００２６】
次に、探索部１０３は、記憶部１０４の方向ヒストグラムテンプレートテーブル１０４１に保持された方向ヒストグラムテンプレートのうち、Ｓ２０５で算出した方向ヒストグラムとのマッチング誤差が最小となる方向ヒストグラムテンプレートを探索する（Ｓ２０６）。処理対象の画素の方向ヒストグラムと方向ヒストグラムテンプレート１０４１内の方向ヒストグラムテンプレートとの間でマッチング評価値を算出する。算出された評価値が最も小さい方向ヒストグラムテンプレートを選択する。マッチング評価値Ｅは、ヒストグラム間の誤差を示し、誤差である評価値が小さいほど類似度が高いことを示す。ステップＳ２０５で算出した処理対象の画素の方向ヒストグラムをhi,jとする。方向ヒストグラムテンプレート内ｑ番目の方向ヒストグラムテンプレートをtqとする。差分絶対値による評価関数は式（６）のように定義できる。
【数７】
【００２７】
他にも式（７）に示したように差分二乗和を用いても良い。
【数８】
【００２８】
方向ヒストグラムテンプレートが全体でＱ個ある場合、
【数９】
【００２９】
全探索によるテンプレートマッチングは式（８）となる。
【数１０】
【００３０】
最小値を与えるテンプレートtqが、テンプレートマッチングの結果、方向ヒストグラムｈｉ,ｊに最も近い方向ヒストグラムテンプレートである。式（８）は、方向ヒストグラムテンプレート１０４１に保持されたテンプレートｑ＝０，１，…，Ｑ−１に関して、一つずつ要素を比較していって最も評価値が小さくなる方向ヒストグラムテンプレートminqを選択することを意味する。arg min f(x)：f(x)の最小値を与えるxという意味を持つ。
【００３１】
次に、フィルタ処理部１０５は、ステップＳ２０６で求めたminqと対応して記憶部１０４に記憶されたフィルタ係数を取得する（ステップＳ２０７）。
【００３２】
次に、フィルタ処理部１０５は、ステップＳ２０７で取得したフィルタ係数に従って、周辺画素値の畳み込み演算によって、処理対象の画素の補正後の画素値を求める（ステップＳ２０８）。ステップＳ２０７取得したフィルタ係数をｗとすると、畳み込みは式（９）のように定義できる。式（９）の左辺は、補正後の処理対象画素の画素値である。
【数１１】
【００３３】
次に、入力画像の全画素について補正後の画素値を算出したかを判定する（ステップＳ２０９）。Ｎｏの場合はステップＳ２０４に戻り、次の画素を処理対象の画素として選択する。Ｙｅｓの場合は、画素値の補正処理を終了する。
【００３４】
次に、フィルタ係数について詳細に説明する。フィルタ係数テーブル１０４２に保存されたフィルタ係数は、対応して記憶された方向ヒストグラムとなる画像の領域に適したものであればどのようなものでも構わない。平滑化フィルタのフィルタ係数は、処理対象の画素からの距離が遠くなるにしたがって小さくなり、かつ、対応して記憶された方向ヒストグラムのうち勾配が大きい方向に対しては、フィルタ係数が小さくなる変化率が高く、方向ヒストグラムのうち勾配が小さい方向に対しては、フィルタ係数が小さくなる変化率が低い、フィルタ係数が望ましい。ここでは異方性ガウス関数を重みに使ったものを用いた例について示す。
【００３５】
図６は、異方性ガウス関数を説明する図である。異方性ガウス関数とは、二つの軸それぞれの標準偏差が異なるようなガウス関数のことであり、x軸に関して回転するパターンも取り得るものとする。異方性ガウス関数によるフィルタ係数は、中心にいくほど重みが大きくなり1に近づき、周辺にいくほど0に近づくようなもので以下のように定義する。
【数１２】
【００３６】
ここでQは重みの総和を1にするための正規化定数である。処理対象の画素を中心とした（２ｒ＋１,２ｒ＋１）の正方領域をフィルタ対象範囲とし、―ｒ≦ｍ≦ｒ，―ｒ≦ｎ≦ｒの範囲の点に関して上記重みを計算するとする。またθをx軸からの角度とし、λ＋,λ−を異方性ガウス関数の2軸のそれぞれの分散の逆数とする。フィルタ係数は、記憶部１０４のフィルタ係数テーブル１０４２に保存されている。上記フィルタ係数は3パラメータ（θ,λ＋,λ−）によって一つのパターンをなしている。よってそれぞれのパラメータを量子化し、有限個のフィルタ係数をテーブルに保存しておく。例えば、
【数１３】
【００３７】
という16通りのパターンなどが考えられる。しかしこれに限ったものではなく、テーブルサイズが許す限り多くのパターンを用いても良い。
【００３８】
次に、サンプル画像からの学習などによって方向ヒストグラムテンプレートを生成する方法について詳細に説明する。学習の方法としては次のような方法を用いることができる。方向ヒストグラムテンプレートを生成したい対象のパラメータセットを（θ, λ＋,λ−）lとすると、サンプル画像から対象パラメータセット（θ, λ＋,λ−）lに相当する領域を検出し、抽出された領域内の方向ヒストグラムの平均を方向ヒストグラムテンプレートとして用いる。
【００３９】
サンプル画像から対象パラメータセット（θ, λ＋,λ−）lを検出するには画素勾配の主成分分析などを用いることができる。処理対象の画素を中心とした領域（カーネルと呼ぶ、通常は処理対象の画素を中心とした正方形を用いることが多い）の主要な勾配ベクトルの方向は、カーネル内のx方向勾配とy方向勾配の主成分によって決定づけることができる。
【００４０】
図７は、主成分分析の結果の例を示す図である。図７に示すように、分布の主成分軸を求めることが出来る。勾配ベクトルのｖを求めるための主成分分析は図７に示すような分布の主成分軸を求めることに相当する。
【００４１】
カーネル内の勾配を並べた行列を以下のように定義する。なお、ボールド体で示したｉはベクトルを表す。
【数１４】
【００４２】
ここでｓはカーネル内の相対的な画素位置を表す。
【００４３】
勾配ベクトルの軸にGを射影したものは以下のようになる。
【数１５】
【００４４】
主成分軸というのはその軸周りでのデータ点ｚの分散が最大になる軸ということであるから、主成分分析は分散最大化問題として以下のように定義できる。
【数１６】
【００４５】
ここでλ＞０はラグランジ未定乗数であり、勾配ベクトルが無限に大きくなってしまうことを防ぐための制約条件のパラメータである（勾配ベクトルの大きさは1に正規化されるような制約条件となっている）。分散式を展開すると以下のようにまとめることができる。
【数１７】
【００４６】
先ほどの最適化問題を書き直すと
【数１８】
【００４７】
上記最適化問題の最適性必要条件は以下のように計算できる。
【数１９】
【００４８】
第2式は制約条件が必ず満たされるための条件となっており、それを満たした上での第1式を解けばよい。結果として以下の固有値・固有ベクトル問題の解が主成分分析の結果となる。
【数２０】
【００４９】
よって画像の局所構造を表す主要なエッジ方向と大きさは、上記固有値・固有ベクトル問題の解となる。固有値とx軸とエッジ方向との回転角θは以下のように計算できる。
【数２１】
【００５０】
なお、
【数２２】
【００５１】
とした。以上の計算により、画素毎のパラメータセット（θ, λ＋,λ−）を事前に計算することができる。
【００５２】
本実施形態の画像処理装置によれば、方向ヒストグラム間のマッチングによって最適なフィルタ係数を取得するため、様々なエッジ形状に対しても適応的に平滑化を行うことができ、過平滑化による画質劣化を防止できる。
【００５３】
［第２の実施形態］
本実施形態では、特に入力画像としてJPEGやMPEG1,2等に代表される符号化方式によって符号化された後に復号された画像を想定する点が、第１の実施形態とは異なる。符号化の際には、基本的にブロック単位でDCT符号化され、複号化の際にブロック単位で複号され画像が得られる。ブロック単位で個別に符号化されるため、複号化された際にブロック境界にブロック歪みと呼ばれる偽エッジが発生してしまうことがある。これが画質劣化として知覚される。そこで本実施形態では、ブロック境界を推定し、その推定結果に応じた処理をすることにより、ブロック歪みの少ない良好な画像が得られる方法に関するものである。
【００５４】
図８は、本実施形態の画像処理装置を示す図である。
【００５５】
本実施形態の画像処理装置は、図１の画像処理装置とは、推定部８０６を備える点と、画素勾配算出部８０１が画素勾配の大きさ・方向を算出する手法が異なる。
【００５６】
推定部８０６は、入力画像が符号化された際の変換単位であるフレーム内のブロックの境界（以下、ブロック境界と記載）を推定する。ブロック境界を推定する方法は、どのような手法であっても構わない。例えば、入力画像と共に符号化情報としてブロックサイズが入力された場合は、そのブロックサイズからブロック境界を推定すればよい。入力画像の符号化情報が得られない場合であっても、付加情報が得られる場合には付加情報を用いて（以下、ブロック境界と記載）を推定する。ブロック境界を推定するために用いる付加情報とは、例えばファイルのフォーマット情報やＭＩＭＥ情報（データの形式を指定する文字列）等を示す。例えば、入力画像のファイルの種類がＪＰＥＧである場合は８ｘ８（画素を単位とする。以下省略して記載する。）に、ＭＰＥＧである場合は８ｘ８に、Ｈ．２６４である場合は４ｘ４のサイズで符号化が行われたと推定することができる。なお、付加情報に依らずに８ｘ８など比較的良く使われる所定のブロックサイズで符号化の変換処理が行われたと推定し、そのブロック間の境界をブロック境界として推定する構成であっても構わない。
【００５７】
画素勾配算出部８０１は、図１の画素勾配算出部１０１と同様に各画素の画素勾配を算出する。その後段で、エッジの方向・大きさを算出する際に、推定部８０６が推定したブロック境界の情報に基づいた処理を行う。詳細については後述する。
【００５８】
図９は、本実施形態の画像処理装置の動作を示す図である。図２に示した処理と同様の処理の説明については割愛する。
【００５９】
まず、推定部８０６は、入力画像のブロック境界を推定する（ステップＳ９０１）。推定部８０６が推定したブロック境界の情報を画素勾配算出部８０１に送る。
【００６０】
画素勾配算出部８０１は、ステップＳ９０１で推定したブロック境界の情報に基づいて、画素勾配の大きさ・方向を算出する（ステップＳ９０２）。
【００６１】
次に、ステップＳ９０２で行う処理の詳細について説明する。なお、以下の説明ではブロックサイズ8x8でフレームを分割した境界がブロック境界であると推定部８０６が推定した場合の例について説明する。画像の左上から8x8でブロック境界が存在するものとする。ブロックひずみが発生している可能性があるため、ブロック境界の画素勾配は信頼できない。そこでブロック境界の画素勾配に一定のスケールを乗ずることによって、ブロック境界について求めた画素勾配の影響を少なくするように制御する。
【００６２】
図９は、ステップＳ９０２で画素勾配算出部８０１が行う動作を詳細に示した図である。
【００６３】
まず、画素勾配算出部８０１は、推定部８０６が推定したブロック境界の情報から、処理対象の画素(i,j)Tと(i+1,j) T間にブロック境界があるかを判定する（ステップＳ９０２１）。i mod 8=0の場合、ステップＳ９０２１,Ｙｅｓとなる。ここでa mod bはaをbで割った余りを算出する演算子である。ステップＳ９０２１,Ｙｅｓの場合、ステップＳ９０２２に進む。Ｎｏの場合、ステップＳ９０２３に進む。
【００６４】
次に、式（１７）に示したように、ステップＳ２０２で算出した∂ｘｉ,ｊに対してαを乗じた値∂ｘ’ｉ,ｊに書き換える（ステップＳ９０２２）。
【数２３】
【００６５】
αは０≦α＜１の範囲の定数であり、α＝０のときブロック境界をまたぐ画素勾配の値を全く方向ヒストグラムに反映させないことが出来る。ブロック境界の画素勾配を使わなかった場合であっても、周辺の画素勾配を用いて方向ヒストグラムは生成できるため、仮にブロック境界を跨いだエッジなどが存在したとしても当該エッジに適応した方向ヒストグラムを生成することが出来る。
【００６６】
次に、画素勾配算出部８０１は、推定部８０６が推定したブロック境界の情報から、処理対象の画素(i,j)Tと(i,j+1) T間にブロック境界があるかを判定する（ステップＳ９０２３）。jmod 8=0の場合、ステップＳ９０２１,Ｙｅｓとなる。ステップＳ９０２３,Ｙｅｓの場合、ステップＳ９０２４に進む。Ｎｏの場合、ステップＳ９０２５に進む。
【数２４】
【００６７】
次に、図２のステップＳ２０３と同様に、保持されている∂ｘｉ,ｊ、∂ｙｉ,ｊ（ステップＳ９０２２、９０２４で書き換えられている場合にはその値）を用いて画素勾配の大きさｄ、方向θを算出する（ステップＳ９０２５）。
【００６８】
本実施形態では画素勾配の大きさを算出するステップ（Ｓ９０２）でブロック境界をまたぐ画素勾配に、係数αを画素勾配に乗じる処理をした。これによって、その後段の方向ヒストグラムを生成するステップ（Ｓ２０５）で、ブロック境界をまたぐ画素勾配の影響を抑えた方向ヒストグラムを生成することが出来る。
【００６９】
本実施形態の画像処理装置によれば、ブロック境界をまたぐ画素勾配による偽エッジの影響を極力排除した方向ヒストグラムに基づき、エッジの形状に応じた適応的に平滑化を行うことができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
また、上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【符号の説明】
【００７２】
１０１、８０１・・・勾配算出部、１０２・・・ヒストグラム算出部、１０３・・・探索部、１０４・・・記憶部、１０５・・・フィルタ処理部、８０６・・・推定部、１０４１・・・方向ヒストグラムテンプレートテーブル、１０４２・・・フィルタ係数テーブル
【技術分野】
【０００１】
本発明は、画像に平滑化を施し画像からノイズを除去する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献1には入力画像から画素勾配の大きさと方向による方向ヒストグラムを生成し、最大値となるビンの方向をエッジ方向とし、あらかじめ設定された複数の平滑化手段のうち、エッジ方向に適した平滑化手段を用いる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１９１８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、エッジ方向のみを考慮し平滑化手段を選択していたため、様々なエッジ形状（例えばエッジの強さや大きさ）に対して適応的な平滑化処理をすることができず過平滑化等の画質劣化が生じていた。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める勾配算出部と、前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求めるヒストグラム算出部と、複数の平滑化フィルタと方向ヒストグラムのテンプレートとが対応して記憶された記憶部と、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する探索部と、前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるフィルタ処理部と、を有することを特徴とする画像処理装置を提供する。
【０００６】
また、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求めるステップと、前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向ヒストグラムを求めるステップと、複数の平滑化フィルタと方向ヒストグラムとが対応して記憶された記憶部を参照し、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索するステップと、前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるステップと、を有することを特徴とする画像処理方法を提供する。
【発明の効果】
【０００７】
様々なエッジ形状（例えばエッジの強さや大きさ）に対して適応的な平滑化処理をすることができ、画質劣化を防ぐことが出来る。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置の構成を示す図。
【図２】第１の実施形態の画像処理装置の動作を示す図。
【図３】画素勾配を説明する図。
【図４】勾配ベクトルとエッジの方向との関係を説明する図。
【図５】方向ヒストグラムを説明する図。
【図６】異方性ガウス関数を説明する図。
【図７】主成分分析を説明する図。
【図８】第２の実施形態の画像処理装置の構成を示す図。
【図９】第２の実施形態の画像処理装置の動作を示す図。
【図１０】第２の実施形態の画像処理装置が画素勾配の大きさ・方向を求める動作を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
【００１０】
[第１の実施形態]
図１は、本実施形態の画像処理装置を示す図である。
本実施形態の画像処理装置は、勾配算出部１０１と、ヒストグラム算出部１０２と、探索部１０３と、記憶部１０４と、フィルタ処理部１０５と、を有する。
【００１１】
勾配算出部１０１は、入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める。
ヒストグラム算出部１０２は、入力画素の処理対象の画素を含めた領域内の各画素について求めた勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求める。
記憶部１０４は、複数の平滑化フィルタと方向ヒストグラムとが対応して記憶されている。方向ヒストグラムテンプレートテーブル１０４１に、複数の方向ヒストグラムが記憶されている。また、フィルタ係数テーブル１０４２には、方向ヒストグラムと対応したフィルタ係数が格納されている。格納された方向ヒストグラムはフィルタ係数と対応する代表的なヒストグラムということで、方向ヒストグラムテンプレートと呼ぶ。方向ヒストグラムテンプレートはサンプル画像からの学習などによって事前に生成しておく。学習方法については後述する。
【００１２】
探索部１０３は、記憶部１０４に記憶された方向ヒストグラムテンプレートのうち、対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する。
フィルタ処理部１０５は、誤差が最も小さい方向ヒストグラムと対応して記憶部１０４に記憶されていた平滑化フィルタが定める重み係数に従って、処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和から処理対象の画素の補正後の画素値を求める。
図２は、本実施形態の画像処理装置の動作を示す図である。
まず、勾配算出部１０１は入力画像のうち、処理対象とする画素を選択する（ステップＳ２０１）。なお、(ｉ,ｊ)Tは画素位置とし、Ｉｉ,ｊは、(ｉ,ｊ)Tに位置する画素が有する画素値を示す。Ｔは、ベクトル・行列の転置を示す。
【００１３】
次に、勾配算出部１０１は、入力画像の各画素に対して、その近傍に位置する画素の画素値との差分値を用いて勾配を計算する（ステップＳ２０２）。勾配の計算手法は、例えば前進差分を用いると位置(ｉ,ｊ)Tのx方向画素勾配∂x、y方向画素勾配∂ｙは以下のように定義できる。
【数１】
【００１４】
図３は、勾配を算出する方法を説明する図である。勾配を算出する処理対象の画素は(ｉ,ｊ)Tに位置する画素である。(ｉ,ｊ)Tの画素と、ｘ方向及びｙ方向の前進差分をとる方向でそれぞれ隣接する２つの画素の画素位置が(ｉ＋１,ｊ)T，(ｉ,ｊ＋１)Tである。位置(ｉ,ｊ)Tにおける勾配ベクトルｖｉ,ｊは式（２）のように定義できる。
【数２】
【００１５】
なお、画素勾配を算出する方法として前進差分を用いた例について説明したが、後退差分でも中心差分でも構わない。また一般的な勾配オペレータ（Sobelなど）を用いても構わない。
【００１６】
次に、勾配算出部１０１は、ステップＳ２０２で算出した、位置(ｉ,ｊ)Tの勾配ベクトルｖｉ,ｊから、エッジの方向を示す回転角θと大きさｄを算出する（ステップＳ２０３）。勾配ベクトルｖｉ,ｊの方向を９０度回転した方向θと大きさｄは、式（３）を用いて算出する。
【数３】
【００１７】
算出した各画素のエッジの方向・大きさについては勾配算出部１０１が保持しておく。
【００１８】
図４は、エッジと勾配ベクトルｖｉ,ｊと回転角θとの関係を説明する図である。画像内の右上がり対角線で描いた領域と白い領域との境界にステップエッジがある例を示している。なお、画像内の画素値の変化が大きく、それが直線的に起こっている領域をエッジと定義する。前述の勾配ベクトルｖｉ,ｊは、エッジが構成される境界線の法線方向である。エッジの方向を示す回転角θを図のように定義する。エッジの接線方向と、ｘ軸とがなす角度がθとなる。
【００１９】
次に、入力画像内の全ての画素について勾配の方向・大きさを算出したかについて判定する（ステップS２０３）。Noの場合は、ステップS２０１に戻り、次の処理対象の画素を選択する。Yeｓの場合はステップS２０４に進む。
【００２０】
次に、処理対象とする画素を選択する（S２０４）。
【００２１】
次に、ヒストグラム算出部１０２は、処理対象の画素の方向ヒストグラムを算出する（S２０５）。方向ヒストグラムとして、画素勾配ベクトルの方向と大きさから方向毎の強さをもった方向ヒストグラムを生成する。方向ヒストグラムは360°をK個に分割したヒストグラムのビンを用意し、各ビンに対して処理対象の画素の周辺に位置する画素についてS２０３で求めた画素勾配ベクトルの大きさｄを加算する。まずはエッジの方向をK個に量子化する。
【数４】
【００２２】
ここでround()は四捨五入をする関数とし、K／２πが量子化ステップ、φが量子化された勾配ベクトルの方向である。また方向ヒストグラムh[]は以下のように0で初期化される。
【数５】
【００２３】
ここで[k]はヒストグラムのビンを意味する。方向ヒストグラムは処理対象の画素を中心とした（２ｒ＋１,２ｒ＋１）の正方領域によって生成されるとすると以下のように計算できる。
【数６】
【００２４】
生成された方向ヒストグラムは、ヒストグラム算出部１０２が保持する。
【００２５】
図５は、方向ヒストグラムを説明する図である。図５（ａ）は、方向を８方向に量子化した場合の方向ヒストグラムを模式的に示した例である。それぞれの方向に対して、処理対象の画素を含めた領域内の画素について求めた画素勾配の大きさを加算したものが矢印の大きさである。図５（ｂ）は、（ａ）に示した処理対象画素について、生成された方向ヒストグラムの例を示す。横軸は、それぞれビンの番号を示す。度数は、加算されたヒストグラムの大きさを示す。
【００２６】
次に、探索部１０３は、記憶部１０４の方向ヒストグラムテンプレートテーブル１０４１に保持された方向ヒストグラムテンプレートのうち、Ｓ２０５で算出した方向ヒストグラムとのマッチング誤差が最小となる方向ヒストグラムテンプレートを探索する（Ｓ２０６）。処理対象の画素の方向ヒストグラムと方向ヒストグラムテンプレート１０４１内の方向ヒストグラムテンプレートとの間でマッチング評価値を算出する。算出された評価値が最も小さい方向ヒストグラムテンプレートを選択する。マッチング評価値Ｅは、ヒストグラム間の誤差を示し、誤差である評価値が小さいほど類似度が高いことを示す。ステップＳ２０５で算出した処理対象の画素の方向ヒストグラムをhi,jとする。方向ヒストグラムテンプレート内ｑ番目の方向ヒストグラムテンプレートをtqとする。差分絶対値による評価関数は式（６）のように定義できる。
【数７】
【００２７】
他にも式（７）に示したように差分二乗和を用いても良い。
【数８】
【００２８】
方向ヒストグラムテンプレートが全体でＱ個ある場合、
【数９】
【００２９】
全探索によるテンプレートマッチングは式（８）となる。
【数１０】
【００３０】
最小値を与えるテンプレートtqが、テンプレートマッチングの結果、方向ヒストグラムｈｉ,ｊに最も近い方向ヒストグラムテンプレートである。式（８）は、方向ヒストグラムテンプレート１０４１に保持されたテンプレートｑ＝０，１，…，Ｑ−１に関して、一つずつ要素を比較していって最も評価値が小さくなる方向ヒストグラムテンプレートminqを選択することを意味する。arg min f(x)：f(x)の最小値を与えるxという意味を持つ。
【００３１】
次に、フィルタ処理部１０５は、ステップＳ２０６で求めたminqと対応して記憶部１０４に記憶されたフィルタ係数を取得する（ステップＳ２０７）。
【００３２】
次に、フィルタ処理部１０５は、ステップＳ２０７で取得したフィルタ係数に従って、周辺画素値の畳み込み演算によって、処理対象の画素の補正後の画素値を求める（ステップＳ２０８）。ステップＳ２０７取得したフィルタ係数をｗとすると、畳み込みは式（９）のように定義できる。式（９）の左辺は、補正後の処理対象画素の画素値である。
【数１１】
【００３３】
次に、入力画像の全画素について補正後の画素値を算出したかを判定する（ステップＳ２０９）。Ｎｏの場合はステップＳ２０４に戻り、次の画素を処理対象の画素として選択する。Ｙｅｓの場合は、画素値の補正処理を終了する。
【００３４】
次に、フィルタ係数について詳細に説明する。フィルタ係数テーブル１０４２に保存されたフィルタ係数は、対応して記憶された方向ヒストグラムとなる画像の領域に適したものであればどのようなものでも構わない。平滑化フィルタのフィルタ係数は、処理対象の画素からの距離が遠くなるにしたがって小さくなり、かつ、対応して記憶された方向ヒストグラムのうち勾配が大きい方向に対しては、フィルタ係数が小さくなる変化率が高く、方向ヒストグラムのうち勾配が小さい方向に対しては、フィルタ係数が小さくなる変化率が低い、フィルタ係数が望ましい。ここでは異方性ガウス関数を重みに使ったものを用いた例について示す。
【００３５】
図６は、異方性ガウス関数を説明する図である。異方性ガウス関数とは、二つの軸それぞれの標準偏差が異なるようなガウス関数のことであり、x軸に関して回転するパターンも取り得るものとする。異方性ガウス関数によるフィルタ係数は、中心にいくほど重みが大きくなり1に近づき、周辺にいくほど0に近づくようなもので以下のように定義する。
【数１２】
【００３６】
ここでQは重みの総和を1にするための正規化定数である。処理対象の画素を中心とした（２ｒ＋１,２ｒ＋１）の正方領域をフィルタ対象範囲とし、―ｒ≦ｍ≦ｒ，―ｒ≦ｎ≦ｒの範囲の点に関して上記重みを計算するとする。またθをx軸からの角度とし、λ＋,λ−を異方性ガウス関数の2軸のそれぞれの分散の逆数とする。フィルタ係数は、記憶部１０４のフィルタ係数テーブル１０４２に保存されている。上記フィルタ係数は3パラメータ（θ,λ＋,λ−）によって一つのパターンをなしている。よってそれぞれのパラメータを量子化し、有限個のフィルタ係数をテーブルに保存しておく。例えば、
【数１３】
【００３７】
という16通りのパターンなどが考えられる。しかしこれに限ったものではなく、テーブルサイズが許す限り多くのパターンを用いても良い。
【００３８】
次に、サンプル画像からの学習などによって方向ヒストグラムテンプレートを生成する方法について詳細に説明する。学習の方法としては次のような方法を用いることができる。方向ヒストグラムテンプレートを生成したい対象のパラメータセットを（θ, λ＋,λ−）lとすると、サンプル画像から対象パラメータセット（θ, λ＋,λ−）lに相当する領域を検出し、抽出された領域内の方向ヒストグラムの平均を方向ヒストグラムテンプレートとして用いる。
【００３９】
サンプル画像から対象パラメータセット（θ, λ＋,λ−）lを検出するには画素勾配の主成分分析などを用いることができる。処理対象の画素を中心とした領域（カーネルと呼ぶ、通常は処理対象の画素を中心とした正方形を用いることが多い）の主要な勾配ベクトルの方向は、カーネル内のx方向勾配とy方向勾配の主成分によって決定づけることができる。
【００４０】
図７は、主成分分析の結果の例を示す図である。図７に示すように、分布の主成分軸を求めることが出来る。勾配ベクトルのｖを求めるための主成分分析は図７に示すような分布の主成分軸を求めることに相当する。
【００４１】
カーネル内の勾配を並べた行列を以下のように定義する。なお、ボールド体で示したｉはベクトルを表す。
【数１４】
【００４２】
ここでｓはカーネル内の相対的な画素位置を表す。
【００４３】
勾配ベクトルの軸にGを射影したものは以下のようになる。
【数１５】
【００４４】
主成分軸というのはその軸周りでのデータ点ｚの分散が最大になる軸ということであるから、主成分分析は分散最大化問題として以下のように定義できる。
【数１６】
【００４５】
ここでλ＞０はラグランジ未定乗数であり、勾配ベクトルが無限に大きくなってしまうことを防ぐための制約条件のパラメータである（勾配ベクトルの大きさは1に正規化されるような制約条件となっている）。分散式を展開すると以下のようにまとめることができる。
【数１７】
【００４６】
先ほどの最適化問題を書き直すと
【数１８】
【００４７】
上記最適化問題の最適性必要条件は以下のように計算できる。
【数１９】
【００４８】
第2式は制約条件が必ず満たされるための条件となっており、それを満たした上での第1式を解けばよい。結果として以下の固有値・固有ベクトル問題の解が主成分分析の結果となる。
【数２０】
【００４９】
よって画像の局所構造を表す主要なエッジ方向と大きさは、上記固有値・固有ベクトル問題の解となる。固有値とx軸とエッジ方向との回転角θは以下のように計算できる。
【数２１】
【００５０】
なお、
【数２２】
【００５１】
とした。以上の計算により、画素毎のパラメータセット（θ, λ＋,λ−）を事前に計算することができる。
【００５２】
本実施形態の画像処理装置によれば、方向ヒストグラム間のマッチングによって最適なフィルタ係数を取得するため、様々なエッジ形状に対しても適応的に平滑化を行うことができ、過平滑化による画質劣化を防止できる。
【００５３】
［第２の実施形態］
本実施形態では、特に入力画像としてJPEGやMPEG1,2等に代表される符号化方式によって符号化された後に復号された画像を想定する点が、第１の実施形態とは異なる。符号化の際には、基本的にブロック単位でDCT符号化され、複号化の際にブロック単位で複号され画像が得られる。ブロック単位で個別に符号化されるため、複号化された際にブロック境界にブロック歪みと呼ばれる偽エッジが発生してしまうことがある。これが画質劣化として知覚される。そこで本実施形態では、ブロック境界を推定し、その推定結果に応じた処理をすることにより、ブロック歪みの少ない良好な画像が得られる方法に関するものである。
【００５４】
図８は、本実施形態の画像処理装置を示す図である。
【００５５】
本実施形態の画像処理装置は、図１の画像処理装置とは、推定部８０６を備える点と、画素勾配算出部８０１が画素勾配の大きさ・方向を算出する手法が異なる。
【００５６】
推定部８０６は、入力画像が符号化された際の変換単位であるフレーム内のブロックの境界（以下、ブロック境界と記載）を推定する。ブロック境界を推定する方法は、どのような手法であっても構わない。例えば、入力画像と共に符号化情報としてブロックサイズが入力された場合は、そのブロックサイズからブロック境界を推定すればよい。入力画像の符号化情報が得られない場合であっても、付加情報が得られる場合には付加情報を用いて（以下、ブロック境界と記載）を推定する。ブロック境界を推定するために用いる付加情報とは、例えばファイルのフォーマット情報やＭＩＭＥ情報（データの形式を指定する文字列）等を示す。例えば、入力画像のファイルの種類がＪＰＥＧである場合は８ｘ８（画素を単位とする。以下省略して記載する。）に、ＭＰＥＧである場合は８ｘ８に、Ｈ．２６４である場合は４ｘ４のサイズで符号化が行われたと推定することができる。なお、付加情報に依らずに８ｘ８など比較的良く使われる所定のブロックサイズで符号化の変換処理が行われたと推定し、そのブロック間の境界をブロック境界として推定する構成であっても構わない。
【００５７】
画素勾配算出部８０１は、図１の画素勾配算出部１０１と同様に各画素の画素勾配を算出する。その後段で、エッジの方向・大きさを算出する際に、推定部８０６が推定したブロック境界の情報に基づいた処理を行う。詳細については後述する。
【００５８】
図９は、本実施形態の画像処理装置の動作を示す図である。図２に示した処理と同様の処理の説明については割愛する。
【００５９】
まず、推定部８０６は、入力画像のブロック境界を推定する（ステップＳ９０１）。推定部８０６が推定したブロック境界の情報を画素勾配算出部８０１に送る。
【００６０】
画素勾配算出部８０１は、ステップＳ９０１で推定したブロック境界の情報に基づいて、画素勾配の大きさ・方向を算出する（ステップＳ９０２）。
【００６１】
次に、ステップＳ９０２で行う処理の詳細について説明する。なお、以下の説明ではブロックサイズ8x8でフレームを分割した境界がブロック境界であると推定部８０６が推定した場合の例について説明する。画像の左上から8x8でブロック境界が存在するものとする。ブロックひずみが発生している可能性があるため、ブロック境界の画素勾配は信頼できない。そこでブロック境界の画素勾配に一定のスケールを乗ずることによって、ブロック境界について求めた画素勾配の影響を少なくするように制御する。
【００６２】
図９は、ステップＳ９０２で画素勾配算出部８０１が行う動作を詳細に示した図である。
【００６３】
まず、画素勾配算出部８０１は、推定部８０６が推定したブロック境界の情報から、処理対象の画素(i,j)Tと(i+1,j) T間にブロック境界があるかを判定する（ステップＳ９０２１）。i mod 8=0の場合、ステップＳ９０２１,Ｙｅｓとなる。ここでa mod bはaをbで割った余りを算出する演算子である。ステップＳ９０２１,Ｙｅｓの場合、ステップＳ９０２２に進む。Ｎｏの場合、ステップＳ９０２３に進む。
【００６４】
次に、式（１７）に示したように、ステップＳ２０２で算出した∂ｘｉ,ｊに対してαを乗じた値∂ｘ’ｉ,ｊに書き換える（ステップＳ９０２２）。
【数２３】
【００６５】
αは０≦α＜１の範囲の定数であり、α＝０のときブロック境界をまたぐ画素勾配の値を全く方向ヒストグラムに反映させないことが出来る。ブロック境界の画素勾配を使わなかった場合であっても、周辺の画素勾配を用いて方向ヒストグラムは生成できるため、仮にブロック境界を跨いだエッジなどが存在したとしても当該エッジに適応した方向ヒストグラムを生成することが出来る。
【００６６】
次に、画素勾配算出部８０１は、推定部８０６が推定したブロック境界の情報から、処理対象の画素(i,j)Tと(i,j+1) T間にブロック境界があるかを判定する（ステップＳ９０２３）。jmod 8=0の場合、ステップＳ９０２１,Ｙｅｓとなる。ステップＳ９０２３,Ｙｅｓの場合、ステップＳ９０２４に進む。Ｎｏの場合、ステップＳ９０２５に進む。
【数２４】
【００６７】
次に、図２のステップＳ２０３と同様に、保持されている∂ｘｉ,ｊ、∂ｙｉ,ｊ（ステップＳ９０２２、９０２４で書き換えられている場合にはその値）を用いて画素勾配の大きさｄ、方向θを算出する（ステップＳ９０２５）。
【００６８】
本実施形態では画素勾配の大きさを算出するステップ（Ｓ９０２）でブロック境界をまたぐ画素勾配に、係数αを画素勾配に乗じる処理をした。これによって、その後段の方向ヒストグラムを生成するステップ（Ｓ２０５）で、ブロック境界をまたぐ画素勾配の影響を抑えた方向ヒストグラムを生成することが出来る。
【００６９】
本実施形態の画像処理装置によれば、ブロック境界をまたぐ画素勾配による偽エッジの影響を極力排除した方向ヒストグラムに基づき、エッジの形状に応じた適応的に平滑化を行うことができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
また、上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【符号の説明】
【００７２】
１０１、８０１・・・勾配算出部、１０２・・・ヒストグラム算出部、１０３・・・探索部、１０４・・・記憶部、１０５・・・フィルタ処理部、８０６・・・推定部、１０４１・・・方向ヒストグラムテンプレートテーブル、１０４２・・・フィルタ係数テーブル
【特許請求の範囲】
【請求項１】
入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める勾配算出部と、
前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求めるヒストグラム算出部と、
複数の平滑化フィルタと方向ヒストグラムのテンプレートとが対応して記憶された記憶部と、
前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する探索部と、
前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるフィルタ処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記探索部が求める誤差は、前記標本化した方向毎に求めた、前記記憶部に記憶された方向ヒストグラムのテンプレートと、前記ヒストグラム算出部が算出した方向ヒストグラムとの差分値の絶対値和または前記差分値の二乗和であることを特徴とする請求項1記載の画像処理装置。
【請求項３】
前記入力画像が符号化されていた際の、フレーム内の変換単位であるブロックの境界を推定する推定手段をさらに有し、
前記ヒストグラム算出部は、推定された前記ブロックの境界をまたぐ画素間について求めた前記勾配の方向及び大きさが、前記方向ヒストグラムを求める際に与える影響を、前記ブロック境界をまたがない画素間について求めた前記勾配の方向及び大きさと比較して軽くすること、
を特徴とする請求項２記載の画像処理装置。
【請求項４】
前記推定部は、画素以上複数の画素によって構成されるあらかじめ既定のブロックを設定し、前記ブロックの境界画素においては、前記勾配ベクトルにあらかじめ設定された係数を乗ずることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記推定部は、前記入力画像を所定のサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記推定部は、前記入力画像の符号化情報を得て、前記符号化情報からブロックサイズを推定することを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、前記フィルタが定める重み係数に従って、前記処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和で前記処理対象の画素の補正後の画素値を求め、
前記記憶部に記憶された、前記平滑化フィルタの前記重み係数は、処理対象の画素からの距離が遠くなるにしたがって小さくなり、かつ、対応して記憶された前記方向ヒストグラムのうち勾配が大きい方向に対しては、前記重み係数が小さくなる変化率が高く、前記方向ヒストグラムのうち勾配が小さい方向に対しては、前記重み係数が小さくなる変化率が低い、
ことを特徴とする請求項２記載の画像処理方法。
【請求項８】
入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求めるステップと、
前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向ヒストグラムを求めるステップと、
複数の平滑化フィルタと方向ヒストグラムとが対応して記憶された記憶部を参照し、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索するステップと、
前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるステップと、
を有することを特徴とする画像処理方法。
【請求項１】
入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求める勾配算出部と、
前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向の方向ヒストグラムを求めるヒストグラム算出部と、
複数の平滑化フィルタと方向ヒストグラムのテンプレートとが対応して記憶された記憶部と、
前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索する探索部と、
前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるフィルタ処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記探索部が求める誤差は、前記標本化した方向毎に求めた、前記記憶部に記憶された方向ヒストグラムのテンプレートと、前記ヒストグラム算出部が算出した方向ヒストグラムとの差分値の絶対値和または前記差分値の二乗和であることを特徴とする請求項1記載の画像処理装置。
【請求項３】
前記入力画像が符号化されていた際の、フレーム内の変換単位であるブロックの境界を推定する推定手段をさらに有し、
前記ヒストグラム算出部は、推定された前記ブロックの境界をまたぐ画素間について求めた前記勾配の方向及び大きさが、前記方向ヒストグラムを求める際に与える影響を、前記ブロック境界をまたがない画素間について求めた前記勾配の方向及び大きさと比較して軽くすること、
を特徴とする請求項２記載の画像処理装置。
【請求項４】
前記推定部は、画素以上複数の画素によって構成されるあらかじめ既定のブロックを設定し、前記ブロックの境界画素においては、前記勾配ベクトルにあらかじめ設定された係数を乗ずることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記推定部は、前記入力画像を所定のサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記推定部は、前記入力画像の符号化情報を得て、前記符号化情報からブロックサイズを推定することを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、前記フィルタが定める重み係数に従って、前記処理対象の画素を含めた周辺領域内の各画素の画素値の重み付き和で前記処理対象の画素の補正後の画素値を求め、
前記記憶部に記憶された、前記平滑化フィルタの前記重み係数は、処理対象の画素からの距離が遠くなるにしたがって小さくなり、かつ、対応して記憶された前記方向ヒストグラムのうち勾配が大きい方向に対しては、前記重み係数が小さくなる変化率が高く、前記方向ヒストグラムのうち勾配が小さい方向に対しては、前記重み係数が小さくなる変化率が低い、
ことを特徴とする請求項２記載の画像処理方法。
【請求項８】
入力画像の画素毎に、周辺の画素値の勾配の方向及び大きさを求めるステップと、
前記入力画素の処理対象の画素を含めた領域内の各画素について求めた前記勾配の方向及び大きさから、複数の方向に標本化した方向ヒストグラムを求めるステップと、
複数の平滑化フィルタと方向ヒストグラムとが対応して記憶された記憶部を参照し、前記記憶部に記憶された方向ヒストグラムのうち、前記処理対象の画素について求めた方向ヒストグラムとの誤差が最も小さい方向ヒストグラムを探索するステップと、
前記誤差が最も小さい方向ヒストグラムと対応して前記記憶部に記憶されていた前記平滑化フィルタによるフィルタ処理で前記処理対象の画素の補正後の画素値を求めるステップと、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２１９７６８（Ｐ２０１０−２１９７６８Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６３０８７（Ｐ２００９−６３０８７）
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]