画像処理装置及び画像処理方法
【課題】適切なフィルタ情報を効率的に選択可能な画像処理装置を提供する。
【解決手段】画像処理装置は、画像信号を複数の勾配算出ブロックに分割する分割部１０１と、勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部１０３と、勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する算出部１０４と、勾配の強度及び勾配の角度に基づいてヒストグラムを算出する算出部１０５と、複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部１０７からヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部１０６と、探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて勾配算出ブロックを構成する画素にフィルタ処理を行う処理部１０８とを具備する。
【解決手段】画像処理装置は、画像信号を複数の勾配算出ブロックに分割する分割部１０１と、勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部１０３と、勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する算出部１０４と、勾配の強度及び勾配の角度に基づいてヒストグラムを算出する算出部１０５と、複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部１０７からヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部１０６と、探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて勾配算出ブロックを構成する画素にフィルタ処理を行う処理部１０８とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタ処理を利用した画像処理に関する。
【背景技術】
【０００２】
従来、画像補正（例えば、画像からノイズを除去して平滑化する補正など）のために、フィルタ処理が行われている。フィルタ処理として、処理対象画素値及びその周辺画素値にフィルタ係数（重み）を乗じ、これらの総和を出力画素値とする畳み込み演算が知られている。画像補正を効果的に行うためには、各画素に対して適切なフィルタ情報（フィルタ係数、タップ長など）を選択することが望ましい。
【０００３】
特許文献１記載の画像処理装置は、ブロックにおいて画素勾配の大きさ及び方向に基づいて方向ヒストグラムを生成する。この画像処理装置は、方向ヒストグラムからエッジ方向を検出し、エッジ方向に応じてブロックに適用するフィルタ情報を選択している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１９１８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の画像処理装置は、ブロックに適用するフィルタ情報を選択するためにエッジ方向を考慮しているものの、エッジ形状（エッジの強度、大きさなど）を考慮していない。従って、エッジ方向に応じて選択されたフィルタ情報は、処理対象のブロックにとって必ずしも適切でなく、過平滑化などの画質劣化が生じるおそれがある。また、携帯電話機などの処理能力の限られた画像処理装置によって同様の画像処理を行う場合には、処理遅延、消費電力などの観点からフィルタ情報の選択処理を効率化することが望ましい。
【０００６】
従って、本発明は適切なフィルタ情報を効率的に選択可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、画像信号を複数の勾配算出ブロックに分割する分割部と、前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部と、前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する第１の算出部と、前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出する第２の算出部と、複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部と、探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行う処理部とを具備する。
【発明の効果】
【０００８】
本発明によれば、適切なフィルタ情報を効率的に選択可能な画像処理装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置を示すブロック図。
【図２】図１の画像処理装置が行う処理を示すフローチャート。
【図３】第２の実施形態に係る画像処理装置を示すブロック図。
【図４】図３の勾配算出画素決定部が行う処理を示すフローチャート。
【図５】図３の勾配算出画素決定部が決定する勾配算出画素の説明図。
【図６】第３の実施形態に係る画像処理装置を示すブロック図。
【図７】図６の勾配算出ブロック再分割部が行う処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像処理装置は、勾配算出ブロック分割部１０１、画像情報記憶部１０２、勾配算出画素決定部１０３、勾配算出部１０４、ヒストグラム算出部１０５、ＨＯＧテンプレート探索部１０６、フィルタ情報記憶部１０７及びフィルタ処理部１０８を有する。
【００１１】
勾配算出ブロック分割部１０１は、画像情報記憶部１０２に記憶されている所定単位の画像信号をブロック画像信号（以下、単に勾配算出ブロックと称する）に分割する。画像情報記憶部１０２には、例えば、図示しない画像符号化手段（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などをサポートする符号化器）によって符号化された画像信号を図示しない画像復号化手段によって復号化した復号画像信号が記憶される。勾配算出ブロックのサイズ及び形状は任意であるが、以降の説明では簡単化のためにＮ×Ｎ（Ｎは、任意の固定値である）の矩形を仮定する。勾配算出ブロック分割部１０１は、勾配算出ブロックを勾配算出画素決定部１０３に入力する。
【００１２】
勾配算出画素決定部１０３は、勾配算出ブロックの構成画素のうち１つを勾配算出画素として決定する。勾配算出画素決定部１０３が、いずれの画素を勾配算出画素として決定するかは任意である。例えば、勾配算出画素決定部１０３は、各勾配算出ブロックにおける特定の相対位置（例えば各勾配算出ブロックの中心位置）に対応する画素を勾配算出画素として決定する。勾配算出画素決定部１０３は、勾配算出画素を勾配算出部１０４に入力する。
【００１３】
勾配算出部１０４は、各勾配算出画素及びその周辺の画素（例えば隣接画素）の勾配（輝度勾配）の方向及び大きさ（角度及び強度）を算出する。勾配算出部１０４は、例えば数式（１）によって、座標（ｘ，ｙ）に対応する画素のｘ方向（水平方向または横方向ともいう）及びｙ方向（垂直方向または縦方向ともいう）の勾配の大きさ∂ｘ（ｘ，ｙ）及び∂ｙ（ｘ，ｙ）を算出する。
【数１】
【００１４】
数式（１）において、Ｉｎ（ｘ，ｙ）は座標（ｘ，ｙ）に対応する画素の輝度値を表す。ｉは勾配算出のためのパラメータ（前進量）であって典型的には「１」が使用される。尚、勾配算出部１０４は、数式（１）のような前進差分方式に代えてSobelオペレータなどを用いてもよい。
【００１５】
また、数式（１）に代えて数式（２）を利用して注目画素（座標（ｘ、ｙ）に対応する画素）を中心として勾配を算出してもよい。
【数２】
【００１６】
勾配算出部１０４は、座標（ｘ，ｙ）に対応する画素の勾配の強度ｄ（ｘ，ｙ）及び角度θ（ｘ，ｙ）を例えば数式（３）によって算出する。
【数３】
【００１７】
勾配算出部１０４は、勾配算出画素及びその周辺の画素の勾配の強度ｄ及び角度θをヒストグラム算出部１０５に入力する。
【００１８】
ヒストグラム算出部１０５は、勾配算出画素及びその周辺の画素の勾配の強度ｄ及び角度θを用いてヒストグラムを算出する。具体的には、ヒストグラム算出部１０５は、勾配の角度θを複数の方向に標本化して、標本化された各方向に属する勾配の強度ｄを集計してヒストグラムＨＯＧ(Histograms of Oriented Gradients)を算出する。以下の例では、ヒストグラム算出部１０５は、勾配の角度θをＫ個の方向（Ｋは任意の自然数）に標本化（量子化）して、標本化された各方向に属する勾配の強度ｄを集計してヒストグラムｈ［ｋ］（k＝０，１，・・・Ｋ−１）を算出する。まず、ヒストグラム算出部１０５は、数式（４）に示すように、各ヒストグラムｈ［ｋ］を初期化（「０」を代入）する。
【数４】
【００１９】
次に、ヒストグラム算出部１０５は、数式（５）に示すように、勾配算出画素及びその周辺の画素の勾配の角度θをＫ方向に標本化する。
【数５】
【００２０】
数式（５）において、round()は四捨五入を行う丸め関数である。そして、ヒストグラム算出部１０５は、数式（６）に示すように、標本化された各方向φ（φ＝０，１，・・・Ｋ−１）に属する勾配の強度ｄを集計してヒストグラムｈ［ｋ］を算出する。
【数６】
【００２１】
数式（６）において、ｉ及びｊは、座標（ｘ，ｙ）に対応する勾配算出画素の周辺の画素を指定するためのｘ方向及びｙ方向のシフト量である。具体的には、座標（ｘ，ｙ）を中心とする一辺が２ｒ＋１の正方領域をヒストグラムの集計領域（即ち、勾配の算出領域）と仮定すれば、−ｒ≦ｉ，ｊ≦ｒである。例えば、座標（ｘ，ｙ）を中心とする一辺が３の正方領域を仮定すれば、−１≦ｉ，ｊ≦１である。
ヒストグラム算出部１０５は、ＨＯＧ（例えば、ｈ［０］，ｈ［１］，・・・，ｈ［Ｋ−１］）をＨＯＧテンプレート探索部１０６に入力する。
【００２２】
フィルタ情報記憶部１０７には、複数のＨＯＧテンプレートと、複数のフィルタ情報（特に、フィルタ係数）とが対応付けて記憶されている。望ましくは、各ＨＯＧテンプレートに関して、サンプル画像を利用した学習などによって導出された最適なフィルタ情報が対応付けられている。フィルタ情報の学習手法の具体的な説明は省略するが、任意の学習手法が適用されてよい。
【００２３】
ＨＯＧテンプレート探索部１０６は、フィルタ情報記憶部１０７に記憶されている複数のＨＯＧテンプレートから、ヒストグラム算出部１０５が算出したＨＯＧに最も類似するものを探索する。類似性は、例えば、ＳＡＤ(Sum of Absolute Difference)、ＳＳＤ(Sum of Square Difference)など任意の指標によって評価できる。ＨＯＧテンプレート探索部１０６は、探索したＨＯＧテンプレートの識別子をフィルタ処理部１０８に入力する。
【００２４】
フィルタ処理部１０８は、ＨＯＧテンプレートの識別子を用いてフィルタ情報記憶部１０７から対応するフィルタ情報を読み出す。そして、フィルタ処理部１０８は、このフィルタ情報を用いて勾配算出ブロック内の各画素に対してフィルタ処理を行う。フィルタ処理は、例えば数式（７）によって表現される畳み込み演算である。
【数７】
【００２５】
数式（７）において、Ｏｕｔ（ｘ，ｙ）は座標（ｘ，ｙ）に対応する画素のフィルタ処理後の画素値を表し、Ｒはフィルタのタップ長を制御するパラメータを表し、ｗ（ｍ，ｎ）はフィルタ中心（０，０）を基準とする相対座標（ｍ，ｎ）に対応するフィルタ係数を表す。
【００２６】
フィルタ処理部１０８は、フィルタ処理後の画素を画像情報記憶部１０２に記憶させて補正画像信号を生成する。そして、フィルタ処理部１０８は、補正画像信号への参照アドレスを画像情報記憶部１０２から受け取り、図示しない出力装置（例えば、ＬＣＤディスプレイ、有機ＥＬディスプレイなどの表示装置）に入力する。
【００２７】
尚、フィルタ処理部１０８は、εフィルタ処理を行ってもよい。εフィルタ処理において、フィルタ中心との輝度差が閾値ＴＨeps以上となるような隣接画素の輝度値を当該フィルタ中心の輝度値に置き換えたうえで、数式（７）のような畳み込み演算が適用される。εフィルタ処理を適用することにより、例えばエッジ画素と非エッジ画素とを区別して平滑化できるため、主観画質の劣化が抑えられる。
【００２８】
具体的には、εフィルタ処理は数式（８）によって表される。尚、数式（８）において、閾値ＴＨepsは予め設定された定数であり、実験的に決められる値である。
【数８】
【００２９】
以下、図２を用いて図１の画像処理装置の行う処理を説明する。
まず、勾配算出ブロック分割部１０１が画像情報記憶部１０２に記憶されている画像信号を勾配算出ブロックに分割し（ステップＳ２０１）、処理はステップＳ２０２に進む。
【００３０】
ステップＳ２０２において、勾配算出画素決定部１０２は処理対象の勾配算出ブロックにおける勾配算出画素を決定する（ステップＳ２０２）。全ての勾配算出ブロックに対してステップＳ２０２の処理が完了していれば処理はステップＳ２０４に進み、そうでなければ次の勾配算出ブロックを対象として処理はステップＳ２０２に戻る（ステップＳ２０３）。
【００３１】
ステップＳ２０４において、勾配算出部１０４は処理対象の勾配算出ブロックの勾配算出画素及びその周辺の画素の勾配の強度及び勾配の角度を算出する。次に、ヒストグラム算出部１０５は、ステップＳ２０４において算出された勾配の角度を標本化し、標本化された角度毎に勾配の強度を集計してＨＯＧを算出する（ステップＳ２０５）。次に、ＨＯＧテンプレート探索部１０６は、ステップＳ２０５において算出されたＨＯＧに最も類似する（誤差最小の）ＨＯＧテンプレートをフィルタ情報記憶部１０７から探索する（ステップＳ２０６）。次に、フィルタ処理部１０８がステップＳ２０７において探索されたＨＯＧテンプレートに対応するフィルタ情報をフィルタ情報記憶部１０７から取得し（ステップＳ２０７）、処理はステップＳ２０８に進む。
【００３２】
ステップＳ２０８において、フィルタ処理部１０８はステップＳ２０７において取得したフィルタ情報を用いて勾配算出ブロック内の処理対象の画素に対してフィルタ処理（畳み込み演算）を行う。処理対象の勾配算出ブロック内の全ての画素に対してステップＳ２０８の処理が完了していれば処理はステップＳ２１０に進み、そうでなければ次の画素を対象として処理はステップＳ２０８に戻る（ステップＳ２０９）。
【００３３】
勾配算出画素におけるＨＯＧに基づき探索されたフィルタ情報は、勾配算出ブロック内の勾配算出画素以外の画素に対しても流用される。一般的に、画像信号は非定常であるため、注目画素におけるＨＯＧと、その近傍画素におけるＨＯＧは類似している。本実施形態に係る画像処理装置は、勾配算出画素におけるＨＯＧを近傍画素に対しても流用することで、ＨＯＧ算出並びにフィルタ情報取得に要する演算を簡略化している。
【００３４】
全ての勾配算出ブロックに対してステップＳ２０４乃至ステップＳ２０９の処理が完了していれば処理は終了し、そうでなければ次の勾配算出ブロックを対象として処理はステップＳ２０４に戻る。
【００３５】
以上説明したように本実施形態に係る画像処理装置は、画像信号を勾配算出ブロックに分割し、各勾配算出ブロック内の１つの画素を代表画素（勾配算出画素）として決定し、この代表画素及びその周辺のＨＯＧに基づいて各勾配算出ブロックの構成画素に適用するフィルタ情報を選択している。従って、本実施形態に係る画像処理装置によれば、適切なフィルタ情報を勾配算出ブロック単位で効率的に選択できる。
【００３６】
（第２の実施形態）
図３に示すように、本発明の第２の実施形態に係る画像処理装置は、図１の画像処理装置において、符号化ブロック境界推定部３００を更に設けると共に勾配算出画素決定部１０３を勾配算出画素決定部３０３に置き換えている。以下の説明では、図３において図１と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００３７】
符号化ブロック境界推定部３００は、画像情報記憶部１０２に記憶されている画像信号（復号画像信号）の符号化ブロック境界を推定する。例えば、符号化ブロック境界推定部３００には図示しない画像復号化手段から画像情報記憶部１０２に記憶されている画像信号の符号化情報が入力される。符号化ブロック境界推定部３００は、画像信号がＨ．２６４に従って符号化されていることを符号化情報に基づいて検出したならば、４×４の矩形ブロックを符号化ブロックとみなし、隣接する符号化ブロック間の境界を符号化ブロック境界と推定してよい。また、符号化ブロック境界推定部３００は、画像信号がＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧに従って符号化されていることを符号化情報に基づいて検出したならば、８×８の矩形ブロックを符号化ブロックとみなし、隣接する符号化ブロック間の境界を符号化ブロック境界と推定してもよい。符号化ブロック境界推定部３００は、推定した符号化ブロック境界を勾配算出ブロック分割部１０１に通知する。
【００３８】
勾配算出ブロック分割部１０１は、前述した第１の実施形態と同様に、画像情報記憶部１０２に記憶されている画像信号を勾配算出ブロックに分割する。ここで、勾配算出ブロックは、前述した符号化ブロック以下の大きさであることが望ましい。以降の説明では、特に断らない限り、簡単化のため符号化ブロックをＭ×Ｍの矩形ブロックとし、勾配算出ブロックをＮ×Ｎ（Ｎ≦Ｍ）の矩形ブロックとする。
【００３９】
勾配算出画素決定部３０３は、勾配算出ブロックのサイズＮが奇数であれば勾配算出ブロックの中心画素を勾配算出画素として決定する。尚、より正確には、勾配算出画素決定部３０３は、勾配算出ブロックが水平方向及び垂直方向に奇数個の画素を備える矩形ブロックであれば、同様の手法によって勾配算出画素を決定してよい。
【００４０】
勾配算出画素決定部３０３は、勾配算出ブロックのサイズＮが偶数であれば勾配算出ブロックの中心座標に隣接する複数の画素を候補画素として抽出する。次に、勾配算出画素決定部３０３は、符号化ブロック境界推定部３００が推定したブロック境界の交点のうち勾配算出ブロックに最も近い（例えば、ユークリッド距離の最も小さい）ものを探索する。そして、勾配算出画素決定部３０３は、探索したブロック境界の交点から最も遠い（例えば、ユークリッド距離の最も大きい）候補画素を勾配算出画素として決定する。尚、より正確には、勾配算出画素決定部３０３は、勾配算出ブロックが水平方向及び垂直方向の少なくとも一方に偶数個の画素を備える矩形ブロックであれば、同様の手法によって勾配算出画素を決定してよい。
【００４１】
以下、図５を用いて、ブロック境界を考慮して勾配算出画素を決定することの技術的意義を説明する。尚、図５において、Ｎ＝Ｍ／２である。また、図５において符号化ブロック境界は破線、勾配算出ブロック境界は実線、画素は丸印で夫々示されている。
一般に、画像信号をブロック単位で符号化及び復号化するとブロック間の境界に歪（ブロック歪）が生じることが知られている。即ち、復号画像信号においてブロック境界を跨いで算出された勾配は、原画像信号における本来の勾配と乖離している可能性がある。故に、ブロック境界を跨いで勾配を算出することは、不適切なフィルタ情報の選択を招くおそれがあり、本実施形態に係る画像処理装置にとって好ましくない。故に、例えば図５に示すように、各勾配算出ブロック内において符号化ブロック境界の交点から比較的遠い画素（影付き画素）を勾配算出画素として決定し、勾配算出におけるブロック歪の混入を回避することが望ましい。
【００４２】
例えば、図５において勾配算出ブロックは４×４の矩形ブロックであるから、勾配算出画素決定部３０３は中心座標に隣接する４つの画素（各勾配算出ブロックにおいて「１１」、「１２」、「２１」及び「２２」の符号が付与された画素）を候補画素として抽出する。そして、勾配算出画素決定部３０３は、各勾配算出ブロックにおいて符号化ブロック境界の交点から最も離れた候補画素（影付き画素）を勾配算出画素として決定している。
【００４３】
尚、図５から明らかなように、符号化ブロックを等分割するように勾配算出ブロックを設定すると（本例であれば、Ｍの約数をＮとして決定すると）、勾配算出画素として決定される候補画素を符号化ブロック内で勾配算出ブロックが占める相対位置に応じて規則的に決定できる。例えば、符号化ブロックの左上を占める勾配算出ブロックの勾配算出画素として、右下の候補画素を勾配算出画素として規則的に決定できる。従って、処理量削減の観点からすると、符号化ブロックを等分割するように勾配算出ブロックを設定することは好適である。
【００４４】
尚、図３の画像処理装置の行う処理は、図２におけるステップＳ２０２の処理を図４に示す処理に置き換えて構成される。以下、図４を用いて図３の勾配算出画素決定部３０３の行う処理を説明する。
【００４５】
まず、勾配算出画素決定部３０３は、勾配算出ブロックのサイズが奇数であるか否かを判定する（ステップＳ４０１）。勾配算出ブロックのサイズが奇数であれば処理はステップＳ４０２に進み、そうでなければ処理はステップＳ４０３に進む。
【００４６】
ステップＳ４０２において、勾配算出画素決定部３０３は勾配算出ブロックの中心画素を勾配算出画素として決定し、図４の処理は完了する。一方、ステップＳ４０３において、勾配算出画素決定部３０３は勾配算出ブロックの中心座標に隣接する複数の画素を候補画素として抽出する。次に、勾配算出画素決定部３０３は、勾配算出ブロックの中心座標から最も近い符号化ブロック境界の交点を探索する（ステップＳ４０４）。次に、勾配算出画素決定部３０３は、ステップＳ４０４において探索した符号化ブロック境界の交点から最も遠い候補画素を勾配算出画素として決定し、図４の処理は完了する。
【００４７】
以上説明したように、本実施形態に係る画像処理装置は、勾配算出ブロックのうち中心画素または中心座標に隣接する画素のうちブロック境界から遠いものを勾配算出画素として決定している。従って、本実施形態に係る画像処理装置によれば、勾配算出におけるブロック歪の混入を回避できるため、各勾配算出ブロックに対して適切なフィルタ情報を選択できる。
【００４８】
（第３の実施形態）
図６に示すように、本発明の第３の実施形態に係る画像処理装置は、図３の画像処理装置において、勾配算出ブロック再分割部５００を更に設けると共に勾配算出画素決定部３０３を勾配算出画素決定部５０３に置き換えている。以下の説明では、図６において図３と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００４９】
前述した第１の実施形態及び第２の実施形態に係る画像処理装置は、固定サイズの勾配算出ブロックから代表画素（勾配算出画素）を決定し、この代表画素及びその周辺のＨＯＧに基づいて勾配算出ブロックの構成画素に適用するフィルタ情報を選択している。しかしながら、勾配算出ブロック及びその周辺にエッジ領域、テクスチャ領域などの輝度変化の激しい領域が含まれる場合には、より細かな単位（例えば画素単位）でフィルタ情報を選択することが望ましい。
【００５０】
勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺の輝度値の分布に基づいて、必要に応じて当該勾配算出ブロックを再分割する。具体的には、勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺の最大輝度値及び最小輝度値の輝度差分と閾値とを比較することにより、当該勾配算出ブロック及びその周辺がフラット領域（輝度分布の平坦な領域）であるか非フラット領域（輝度分布の平坦でない領域）であるかを判定する。そして、勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺が非フラット領域であれば、勾配算出ブロックを例えば１画素単位に再分割する。勾配算出画素決定部５０３は、入力される勾配算出ブロックのサイズ（または、再分割の有無）に応じて処理を切り替えて、勾配算出画素を決定する。
【００５１】
尚、図６の画像処理装置の行う処理は、図２におけるステップＳ２０２の処理を図４に示す処理に置き換え、図２におけるステップＳ２０１の処理の直後に図７に示す処理を挿入して構成される。以下、図７を用いて図６の勾配算出ブロック再分割部５００の行う処理を説明する。
【００５２】
勾配算出ブロック再分割部５００は、処理対象となる勾配算出ブロック及びその周辺を周辺ブロックとして設定する（ステップＳ６０１）。尚、周辺ブロックには、勾配算出ブロックの全ての構成画素に対するフィルタ処理において参照され得る全ての画素が含まれることが望ましい。即ち、フィルタのタップ長を２Ｒ＋１、勾配算出ブロックのサイズをＮ×Ｎとすれば、周辺ブロックのサイズは（２Ｒ＋Ｎ）×（２Ｒ＋Ｎ）以上であることが望ましい。
【００５３】
次に、勾配算出ブロック再分割部５００は、周辺ブロック内の最大輝度値及び最小輝度値を探索する（ステップＳ６０２）。勾配算出ブロック再分割部５００は、ステップＳ６０２において探索した最大輝度値及び最小輝度値の間の輝度差分を算出し（ステップＳ６０３）、閾値と比較する（ステップＳ６０４）。輝度差分が閾値未満であれば処理はステップＳ６０５に進み、そうでなければ処理はステップＳ６０６に進む。換言すれば、周辺ブロックがフラット領域であれば処理はステップＳ６０５に進み、そうでなければ処理はステップＳ６０６に進む。
【００５４】
ステップＳ６０５において、勾配算出ブロック再分割部５００は勾配算出ブロックの現在のサイズを維持し、図７の処理は完了する。ステップＳ６０６において、勾配算出ブロック再分割部５００は勾配算出ブロックを１画素単位に再分割し、図７の処理は完了する。
【００５５】
以上説明したように、本実施形態に係る画像処理装置は、画像信号を固定サイズの勾配算出ブロックに一律に分割するのでなく、周辺ブロック内の輝度分布次第で勾配算出ブロックをより細かく分割している。従って、本実施形態に係る画像処理装置によれば、周辺ブロックが非フラット領域であれば、例えば画素単位で適切なフィルタ情報が選択されるため、エッジ領域、テクスチャ領域などに対する平滑化に起因する画質劣化を抑制できる。
【００５６】
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００５７】
例えば、上記した各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００５８】
また、上記した各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい
【符号の説明】
【００５９】
１０１・・・勾配算出ブロック分割部
１０２・・・画像情報記憶部
１０３・・・勾配算出画素決定部
１０４・・・勾配算出部
１０５・・・ヒストグラム生成部
１０６・・・ＨＯＧテンプレート探索部
１０７・・・フィルタ情報記憶部
１０８・・・フィルタ処理部
３００・・・符号化ブロック境界推定部
３０３・・・勾配算出画素決定部
５００・・・勾配算出ブロック再分割部
５０３・・・勾配算出画素決定部
【技術分野】
【０００１】
本発明は、フィルタ処理を利用した画像処理に関する。
【背景技術】
【０００２】
従来、画像補正（例えば、画像からノイズを除去して平滑化する補正など）のために、フィルタ処理が行われている。フィルタ処理として、処理対象画素値及びその周辺画素値にフィルタ係数（重み）を乗じ、これらの総和を出力画素値とする畳み込み演算が知られている。画像補正を効果的に行うためには、各画素に対して適切なフィルタ情報（フィルタ係数、タップ長など）を選択することが望ましい。
【０００３】
特許文献１記載の画像処理装置は、ブロックにおいて画素勾配の大きさ及び方向に基づいて方向ヒストグラムを生成する。この画像処理装置は、方向ヒストグラムからエッジ方向を検出し、エッジ方向に応じてブロックに適用するフィルタ情報を選択している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１９１８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の画像処理装置は、ブロックに適用するフィルタ情報を選択するためにエッジ方向を考慮しているものの、エッジ形状（エッジの強度、大きさなど）を考慮していない。従って、エッジ方向に応じて選択されたフィルタ情報は、処理対象のブロックにとって必ずしも適切でなく、過平滑化などの画質劣化が生じるおそれがある。また、携帯電話機などの処理能力の限られた画像処理装置によって同様の画像処理を行う場合には、処理遅延、消費電力などの観点からフィルタ情報の選択処理を効率化することが望ましい。
【０００６】
従って、本発明は適切なフィルタ情報を効率的に選択可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、画像信号を複数の勾配算出ブロックに分割する分割部と、前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部と、前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する第１の算出部と、前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出する第２の算出部と、複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部と、探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行う処理部とを具備する。
【発明の効果】
【０００８】
本発明によれば、適切なフィルタ情報を効率的に選択可能な画像処理装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置を示すブロック図。
【図２】図１の画像処理装置が行う処理を示すフローチャート。
【図３】第２の実施形態に係る画像処理装置を示すブロック図。
【図４】図３の勾配算出画素決定部が行う処理を示すフローチャート。
【図５】図３の勾配算出画素決定部が決定する勾配算出画素の説明図。
【図６】第３の実施形態に係る画像処理装置を示すブロック図。
【図７】図６の勾配算出ブロック再分割部が行う処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像処理装置は、勾配算出ブロック分割部１０１、画像情報記憶部１０２、勾配算出画素決定部１０３、勾配算出部１０４、ヒストグラム算出部１０５、ＨＯＧテンプレート探索部１０６、フィルタ情報記憶部１０７及びフィルタ処理部１０８を有する。
【００１１】
勾配算出ブロック分割部１０１は、画像情報記憶部１０２に記憶されている所定単位の画像信号をブロック画像信号（以下、単に勾配算出ブロックと称する）に分割する。画像情報記憶部１０２には、例えば、図示しない画像符号化手段（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などをサポートする符号化器）によって符号化された画像信号を図示しない画像復号化手段によって復号化した復号画像信号が記憶される。勾配算出ブロックのサイズ及び形状は任意であるが、以降の説明では簡単化のためにＮ×Ｎ（Ｎは、任意の固定値である）の矩形を仮定する。勾配算出ブロック分割部１０１は、勾配算出ブロックを勾配算出画素決定部１０３に入力する。
【００１２】
勾配算出画素決定部１０３は、勾配算出ブロックの構成画素のうち１つを勾配算出画素として決定する。勾配算出画素決定部１０３が、いずれの画素を勾配算出画素として決定するかは任意である。例えば、勾配算出画素決定部１０３は、各勾配算出ブロックにおける特定の相対位置（例えば各勾配算出ブロックの中心位置）に対応する画素を勾配算出画素として決定する。勾配算出画素決定部１０３は、勾配算出画素を勾配算出部１０４に入力する。
【００１３】
勾配算出部１０４は、各勾配算出画素及びその周辺の画素（例えば隣接画素）の勾配（輝度勾配）の方向及び大きさ（角度及び強度）を算出する。勾配算出部１０４は、例えば数式（１）によって、座標（ｘ，ｙ）に対応する画素のｘ方向（水平方向または横方向ともいう）及びｙ方向（垂直方向または縦方向ともいう）の勾配の大きさ∂ｘ（ｘ，ｙ）及び∂ｙ（ｘ，ｙ）を算出する。
【数１】
【００１４】
数式（１）において、Ｉｎ（ｘ，ｙ）は座標（ｘ，ｙ）に対応する画素の輝度値を表す。ｉは勾配算出のためのパラメータ（前進量）であって典型的には「１」が使用される。尚、勾配算出部１０４は、数式（１）のような前進差分方式に代えてSobelオペレータなどを用いてもよい。
【００１５】
また、数式（１）に代えて数式（２）を利用して注目画素（座標（ｘ、ｙ）に対応する画素）を中心として勾配を算出してもよい。
【数２】
【００１６】
勾配算出部１０４は、座標（ｘ，ｙ）に対応する画素の勾配の強度ｄ（ｘ，ｙ）及び角度θ（ｘ，ｙ）を例えば数式（３）によって算出する。
【数３】
【００１７】
勾配算出部１０４は、勾配算出画素及びその周辺の画素の勾配の強度ｄ及び角度θをヒストグラム算出部１０５に入力する。
【００１８】
ヒストグラム算出部１０５は、勾配算出画素及びその周辺の画素の勾配の強度ｄ及び角度θを用いてヒストグラムを算出する。具体的には、ヒストグラム算出部１０５は、勾配の角度θを複数の方向に標本化して、標本化された各方向に属する勾配の強度ｄを集計してヒストグラムＨＯＧ(Histograms of Oriented Gradients)を算出する。以下の例では、ヒストグラム算出部１０５は、勾配の角度θをＫ個の方向（Ｋは任意の自然数）に標本化（量子化）して、標本化された各方向に属する勾配の強度ｄを集計してヒストグラムｈ［ｋ］（k＝０，１，・・・Ｋ−１）を算出する。まず、ヒストグラム算出部１０５は、数式（４）に示すように、各ヒストグラムｈ［ｋ］を初期化（「０」を代入）する。
【数４】
【００１９】
次に、ヒストグラム算出部１０５は、数式（５）に示すように、勾配算出画素及びその周辺の画素の勾配の角度θをＫ方向に標本化する。
【数５】
【００２０】
数式（５）において、round()は四捨五入を行う丸め関数である。そして、ヒストグラム算出部１０５は、数式（６）に示すように、標本化された各方向φ（φ＝０，１，・・・Ｋ−１）に属する勾配の強度ｄを集計してヒストグラムｈ［ｋ］を算出する。
【数６】
【００２１】
数式（６）において、ｉ及びｊは、座標（ｘ，ｙ）に対応する勾配算出画素の周辺の画素を指定するためのｘ方向及びｙ方向のシフト量である。具体的には、座標（ｘ，ｙ）を中心とする一辺が２ｒ＋１の正方領域をヒストグラムの集計領域（即ち、勾配の算出領域）と仮定すれば、−ｒ≦ｉ，ｊ≦ｒである。例えば、座標（ｘ，ｙ）を中心とする一辺が３の正方領域を仮定すれば、−１≦ｉ，ｊ≦１である。
ヒストグラム算出部１０５は、ＨＯＧ（例えば、ｈ［０］，ｈ［１］，・・・，ｈ［Ｋ−１］）をＨＯＧテンプレート探索部１０６に入力する。
【００２２】
フィルタ情報記憶部１０７には、複数のＨＯＧテンプレートと、複数のフィルタ情報（特に、フィルタ係数）とが対応付けて記憶されている。望ましくは、各ＨＯＧテンプレートに関して、サンプル画像を利用した学習などによって導出された最適なフィルタ情報が対応付けられている。フィルタ情報の学習手法の具体的な説明は省略するが、任意の学習手法が適用されてよい。
【００２３】
ＨＯＧテンプレート探索部１０６は、フィルタ情報記憶部１０７に記憶されている複数のＨＯＧテンプレートから、ヒストグラム算出部１０５が算出したＨＯＧに最も類似するものを探索する。類似性は、例えば、ＳＡＤ(Sum of Absolute Difference)、ＳＳＤ(Sum of Square Difference)など任意の指標によって評価できる。ＨＯＧテンプレート探索部１０６は、探索したＨＯＧテンプレートの識別子をフィルタ処理部１０８に入力する。
【００２４】
フィルタ処理部１０８は、ＨＯＧテンプレートの識別子を用いてフィルタ情報記憶部１０７から対応するフィルタ情報を読み出す。そして、フィルタ処理部１０８は、このフィルタ情報を用いて勾配算出ブロック内の各画素に対してフィルタ処理を行う。フィルタ処理は、例えば数式（７）によって表現される畳み込み演算である。
【数７】
【００２５】
数式（７）において、Ｏｕｔ（ｘ，ｙ）は座標（ｘ，ｙ）に対応する画素のフィルタ処理後の画素値を表し、Ｒはフィルタのタップ長を制御するパラメータを表し、ｗ（ｍ，ｎ）はフィルタ中心（０，０）を基準とする相対座標（ｍ，ｎ）に対応するフィルタ係数を表す。
【００２６】
フィルタ処理部１０８は、フィルタ処理後の画素を画像情報記憶部１０２に記憶させて補正画像信号を生成する。そして、フィルタ処理部１０８は、補正画像信号への参照アドレスを画像情報記憶部１０２から受け取り、図示しない出力装置（例えば、ＬＣＤディスプレイ、有機ＥＬディスプレイなどの表示装置）に入力する。
【００２７】
尚、フィルタ処理部１０８は、εフィルタ処理を行ってもよい。εフィルタ処理において、フィルタ中心との輝度差が閾値ＴＨeps以上となるような隣接画素の輝度値を当該フィルタ中心の輝度値に置き換えたうえで、数式（７）のような畳み込み演算が適用される。εフィルタ処理を適用することにより、例えばエッジ画素と非エッジ画素とを区別して平滑化できるため、主観画質の劣化が抑えられる。
【００２８】
具体的には、εフィルタ処理は数式（８）によって表される。尚、数式（８）において、閾値ＴＨepsは予め設定された定数であり、実験的に決められる値である。
【数８】
【００２９】
以下、図２を用いて図１の画像処理装置の行う処理を説明する。
まず、勾配算出ブロック分割部１０１が画像情報記憶部１０２に記憶されている画像信号を勾配算出ブロックに分割し（ステップＳ２０１）、処理はステップＳ２０２に進む。
【００３０】
ステップＳ２０２において、勾配算出画素決定部１０２は処理対象の勾配算出ブロックにおける勾配算出画素を決定する（ステップＳ２０２）。全ての勾配算出ブロックに対してステップＳ２０２の処理が完了していれば処理はステップＳ２０４に進み、そうでなければ次の勾配算出ブロックを対象として処理はステップＳ２０２に戻る（ステップＳ２０３）。
【００３１】
ステップＳ２０４において、勾配算出部１０４は処理対象の勾配算出ブロックの勾配算出画素及びその周辺の画素の勾配の強度及び勾配の角度を算出する。次に、ヒストグラム算出部１０５は、ステップＳ２０４において算出された勾配の角度を標本化し、標本化された角度毎に勾配の強度を集計してＨＯＧを算出する（ステップＳ２０５）。次に、ＨＯＧテンプレート探索部１０６は、ステップＳ２０５において算出されたＨＯＧに最も類似する（誤差最小の）ＨＯＧテンプレートをフィルタ情報記憶部１０７から探索する（ステップＳ２０６）。次に、フィルタ処理部１０８がステップＳ２０７において探索されたＨＯＧテンプレートに対応するフィルタ情報をフィルタ情報記憶部１０７から取得し（ステップＳ２０７）、処理はステップＳ２０８に進む。
【００３２】
ステップＳ２０８において、フィルタ処理部１０８はステップＳ２０７において取得したフィルタ情報を用いて勾配算出ブロック内の処理対象の画素に対してフィルタ処理（畳み込み演算）を行う。処理対象の勾配算出ブロック内の全ての画素に対してステップＳ２０８の処理が完了していれば処理はステップＳ２１０に進み、そうでなければ次の画素を対象として処理はステップＳ２０８に戻る（ステップＳ２０９）。
【００３３】
勾配算出画素におけるＨＯＧに基づき探索されたフィルタ情報は、勾配算出ブロック内の勾配算出画素以外の画素に対しても流用される。一般的に、画像信号は非定常であるため、注目画素におけるＨＯＧと、その近傍画素におけるＨＯＧは類似している。本実施形態に係る画像処理装置は、勾配算出画素におけるＨＯＧを近傍画素に対しても流用することで、ＨＯＧ算出並びにフィルタ情報取得に要する演算を簡略化している。
【００３４】
全ての勾配算出ブロックに対してステップＳ２０４乃至ステップＳ２０９の処理が完了していれば処理は終了し、そうでなければ次の勾配算出ブロックを対象として処理はステップＳ２０４に戻る。
【００３５】
以上説明したように本実施形態に係る画像処理装置は、画像信号を勾配算出ブロックに分割し、各勾配算出ブロック内の１つの画素を代表画素（勾配算出画素）として決定し、この代表画素及びその周辺のＨＯＧに基づいて各勾配算出ブロックの構成画素に適用するフィルタ情報を選択している。従って、本実施形態に係る画像処理装置によれば、適切なフィルタ情報を勾配算出ブロック単位で効率的に選択できる。
【００３６】
（第２の実施形態）
図３に示すように、本発明の第２の実施形態に係る画像処理装置は、図１の画像処理装置において、符号化ブロック境界推定部３００を更に設けると共に勾配算出画素決定部１０３を勾配算出画素決定部３０３に置き換えている。以下の説明では、図３において図１と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００３７】
符号化ブロック境界推定部３００は、画像情報記憶部１０２に記憶されている画像信号（復号画像信号）の符号化ブロック境界を推定する。例えば、符号化ブロック境界推定部３００には図示しない画像復号化手段から画像情報記憶部１０２に記憶されている画像信号の符号化情報が入力される。符号化ブロック境界推定部３００は、画像信号がＨ．２６４に従って符号化されていることを符号化情報に基づいて検出したならば、４×４の矩形ブロックを符号化ブロックとみなし、隣接する符号化ブロック間の境界を符号化ブロック境界と推定してよい。また、符号化ブロック境界推定部３００は、画像信号がＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧに従って符号化されていることを符号化情報に基づいて検出したならば、８×８の矩形ブロックを符号化ブロックとみなし、隣接する符号化ブロック間の境界を符号化ブロック境界と推定してもよい。符号化ブロック境界推定部３００は、推定した符号化ブロック境界を勾配算出ブロック分割部１０１に通知する。
【００３８】
勾配算出ブロック分割部１０１は、前述した第１の実施形態と同様に、画像情報記憶部１０２に記憶されている画像信号を勾配算出ブロックに分割する。ここで、勾配算出ブロックは、前述した符号化ブロック以下の大きさであることが望ましい。以降の説明では、特に断らない限り、簡単化のため符号化ブロックをＭ×Ｍの矩形ブロックとし、勾配算出ブロックをＮ×Ｎ（Ｎ≦Ｍ）の矩形ブロックとする。
【００３９】
勾配算出画素決定部３０３は、勾配算出ブロックのサイズＮが奇数であれば勾配算出ブロックの中心画素を勾配算出画素として決定する。尚、より正確には、勾配算出画素決定部３０３は、勾配算出ブロックが水平方向及び垂直方向に奇数個の画素を備える矩形ブロックであれば、同様の手法によって勾配算出画素を決定してよい。
【００４０】
勾配算出画素決定部３０３は、勾配算出ブロックのサイズＮが偶数であれば勾配算出ブロックの中心座標に隣接する複数の画素を候補画素として抽出する。次に、勾配算出画素決定部３０３は、符号化ブロック境界推定部３００が推定したブロック境界の交点のうち勾配算出ブロックに最も近い（例えば、ユークリッド距離の最も小さい）ものを探索する。そして、勾配算出画素決定部３０３は、探索したブロック境界の交点から最も遠い（例えば、ユークリッド距離の最も大きい）候補画素を勾配算出画素として決定する。尚、より正確には、勾配算出画素決定部３０３は、勾配算出ブロックが水平方向及び垂直方向の少なくとも一方に偶数個の画素を備える矩形ブロックであれば、同様の手法によって勾配算出画素を決定してよい。
【００４１】
以下、図５を用いて、ブロック境界を考慮して勾配算出画素を決定することの技術的意義を説明する。尚、図５において、Ｎ＝Ｍ／２である。また、図５において符号化ブロック境界は破線、勾配算出ブロック境界は実線、画素は丸印で夫々示されている。
一般に、画像信号をブロック単位で符号化及び復号化するとブロック間の境界に歪（ブロック歪）が生じることが知られている。即ち、復号画像信号においてブロック境界を跨いで算出された勾配は、原画像信号における本来の勾配と乖離している可能性がある。故に、ブロック境界を跨いで勾配を算出することは、不適切なフィルタ情報の選択を招くおそれがあり、本実施形態に係る画像処理装置にとって好ましくない。故に、例えば図５に示すように、各勾配算出ブロック内において符号化ブロック境界の交点から比較的遠い画素（影付き画素）を勾配算出画素として決定し、勾配算出におけるブロック歪の混入を回避することが望ましい。
【００４２】
例えば、図５において勾配算出ブロックは４×４の矩形ブロックであるから、勾配算出画素決定部３０３は中心座標に隣接する４つの画素（各勾配算出ブロックにおいて「１１」、「１２」、「２１」及び「２２」の符号が付与された画素）を候補画素として抽出する。そして、勾配算出画素決定部３０３は、各勾配算出ブロックにおいて符号化ブロック境界の交点から最も離れた候補画素（影付き画素）を勾配算出画素として決定している。
【００４３】
尚、図５から明らかなように、符号化ブロックを等分割するように勾配算出ブロックを設定すると（本例であれば、Ｍの約数をＮとして決定すると）、勾配算出画素として決定される候補画素を符号化ブロック内で勾配算出ブロックが占める相対位置に応じて規則的に決定できる。例えば、符号化ブロックの左上を占める勾配算出ブロックの勾配算出画素として、右下の候補画素を勾配算出画素として規則的に決定できる。従って、処理量削減の観点からすると、符号化ブロックを等分割するように勾配算出ブロックを設定することは好適である。
【００４４】
尚、図３の画像処理装置の行う処理は、図２におけるステップＳ２０２の処理を図４に示す処理に置き換えて構成される。以下、図４を用いて図３の勾配算出画素決定部３０３の行う処理を説明する。
【００４５】
まず、勾配算出画素決定部３０３は、勾配算出ブロックのサイズが奇数であるか否かを判定する（ステップＳ４０１）。勾配算出ブロックのサイズが奇数であれば処理はステップＳ４０２に進み、そうでなければ処理はステップＳ４０３に進む。
【００４６】
ステップＳ４０２において、勾配算出画素決定部３０３は勾配算出ブロックの中心画素を勾配算出画素として決定し、図４の処理は完了する。一方、ステップＳ４０３において、勾配算出画素決定部３０３は勾配算出ブロックの中心座標に隣接する複数の画素を候補画素として抽出する。次に、勾配算出画素決定部３０３は、勾配算出ブロックの中心座標から最も近い符号化ブロック境界の交点を探索する（ステップＳ４０４）。次に、勾配算出画素決定部３０３は、ステップＳ４０４において探索した符号化ブロック境界の交点から最も遠い候補画素を勾配算出画素として決定し、図４の処理は完了する。
【００４７】
以上説明したように、本実施形態に係る画像処理装置は、勾配算出ブロックのうち中心画素または中心座標に隣接する画素のうちブロック境界から遠いものを勾配算出画素として決定している。従って、本実施形態に係る画像処理装置によれば、勾配算出におけるブロック歪の混入を回避できるため、各勾配算出ブロックに対して適切なフィルタ情報を選択できる。
【００４８】
（第３の実施形態）
図６に示すように、本発明の第３の実施形態に係る画像処理装置は、図３の画像処理装置において、勾配算出ブロック再分割部５００を更に設けると共に勾配算出画素決定部３０３を勾配算出画素決定部５０３に置き換えている。以下の説明では、図６において図３と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００４９】
前述した第１の実施形態及び第２の実施形態に係る画像処理装置は、固定サイズの勾配算出ブロックから代表画素（勾配算出画素）を決定し、この代表画素及びその周辺のＨＯＧに基づいて勾配算出ブロックの構成画素に適用するフィルタ情報を選択している。しかしながら、勾配算出ブロック及びその周辺にエッジ領域、テクスチャ領域などの輝度変化の激しい領域が含まれる場合には、より細かな単位（例えば画素単位）でフィルタ情報を選択することが望ましい。
【００５０】
勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺の輝度値の分布に基づいて、必要に応じて当該勾配算出ブロックを再分割する。具体的には、勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺の最大輝度値及び最小輝度値の輝度差分と閾値とを比較することにより、当該勾配算出ブロック及びその周辺がフラット領域（輝度分布の平坦な領域）であるか非フラット領域（輝度分布の平坦でない領域）であるかを判定する。そして、勾配算出ブロック再分割部５００は、勾配算出ブロック及びその周辺が非フラット領域であれば、勾配算出ブロックを例えば１画素単位に再分割する。勾配算出画素決定部５０３は、入力される勾配算出ブロックのサイズ（または、再分割の有無）に応じて処理を切り替えて、勾配算出画素を決定する。
【００５１】
尚、図６の画像処理装置の行う処理は、図２におけるステップＳ２０２の処理を図４に示す処理に置き換え、図２におけるステップＳ２０１の処理の直後に図７に示す処理を挿入して構成される。以下、図７を用いて図６の勾配算出ブロック再分割部５００の行う処理を説明する。
【００５２】
勾配算出ブロック再分割部５００は、処理対象となる勾配算出ブロック及びその周辺を周辺ブロックとして設定する（ステップＳ６０１）。尚、周辺ブロックには、勾配算出ブロックの全ての構成画素に対するフィルタ処理において参照され得る全ての画素が含まれることが望ましい。即ち、フィルタのタップ長を２Ｒ＋１、勾配算出ブロックのサイズをＮ×Ｎとすれば、周辺ブロックのサイズは（２Ｒ＋Ｎ）×（２Ｒ＋Ｎ）以上であることが望ましい。
【００５３】
次に、勾配算出ブロック再分割部５００は、周辺ブロック内の最大輝度値及び最小輝度値を探索する（ステップＳ６０２）。勾配算出ブロック再分割部５００は、ステップＳ６０２において探索した最大輝度値及び最小輝度値の間の輝度差分を算出し（ステップＳ６０３）、閾値と比較する（ステップＳ６０４）。輝度差分が閾値未満であれば処理はステップＳ６０５に進み、そうでなければ処理はステップＳ６０６に進む。換言すれば、周辺ブロックがフラット領域であれば処理はステップＳ６０５に進み、そうでなければ処理はステップＳ６０６に進む。
【００５４】
ステップＳ６０５において、勾配算出ブロック再分割部５００は勾配算出ブロックの現在のサイズを維持し、図７の処理は完了する。ステップＳ６０６において、勾配算出ブロック再分割部５００は勾配算出ブロックを１画素単位に再分割し、図７の処理は完了する。
【００５５】
以上説明したように、本実施形態に係る画像処理装置は、画像信号を固定サイズの勾配算出ブロックに一律に分割するのでなく、周辺ブロック内の輝度分布次第で勾配算出ブロックをより細かく分割している。従って、本実施形態に係る画像処理装置によれば、周辺ブロックが非フラット領域であれば、例えば画素単位で適切なフィルタ情報が選択されるため、エッジ領域、テクスチャ領域などに対する平滑化に起因する画質劣化を抑制できる。
【００５６】
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００５７】
例えば、上記した各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００５８】
また、上記した各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい
【符号の説明】
【００５９】
１０１・・・勾配算出ブロック分割部
１０２・・・画像情報記憶部
１０３・・・勾配算出画素決定部
１０４・・・勾配算出部
１０５・・・ヒストグラム生成部
１０６・・・ＨＯＧテンプレート探索部
１０７・・・フィルタ情報記憶部
１０８・・・フィルタ処理部
３００・・・符号化ブロック境界推定部
３０３・・・勾配算出画素決定部
５００・・・勾配算出ブロック再分割部
５０３・・・勾配算出画素決定部
【特許請求の範囲】
【請求項１】
画像信号を複数の勾配算出ブロックに分割する分割部と、
前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部と、
前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する第１の算出部と、
前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出する第２の算出部と、
複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部と、
探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行う処理部と
を具備する画像処理装置。
【請求項２】
前記画像信号の符号化ブロック境界を推定する推定部を更に具備し、
前記勾配算出ブロックは水平方向及び垂直方向の少なくとも一方に偶数個の画素を備える矩形ブロックであって、
前記決定部は、前記勾配算出ブロックから最も近い前記符号化ブロック境界の交点を探索し、前記勾配算出ブロックの中心座標に隣接する複数の画素のうち前記符号化ブロック境界の交点から最も遠い画素を前記勾配算出画素として決定する請求項１記載の画像処理装置。
【請求項３】
前記勾配算出ブロックは水平方向及び垂直方向に奇数個の画素を夫々備える矩形ブロックであって、
前記決定部は、前記勾配算出ブロックの中心画素を前記勾配算出画素として決定する請求項１記載の画像処理装置。
【請求項４】
前記勾配算出ブロックを含む領域内の最大輝度値及び最小輝度値の間の輝度差分が閾値以上であれば、当該勾配算出ブロックをより細かく分割する再分割部を更に具備する請求項１記載の画像処理装置。
【請求項５】
画像信号を複数の勾配算出ブロックに分割することと、
前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定することと、
前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出することと、
前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出することと、
複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索することと、
探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行うことと
を具備する画像処理装置。
【請求項１】
画像信号を複数の勾配算出ブロックに分割する分割部と、
前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定する決定部と、
前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出する第１の算出部と、
前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出する第２の算出部と、
複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索する探索部と、
探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行う処理部と
を具備する画像処理装置。
【請求項２】
前記画像信号の符号化ブロック境界を推定する推定部を更に具備し、
前記勾配算出ブロックは水平方向及び垂直方向の少なくとも一方に偶数個の画素を備える矩形ブロックであって、
前記決定部は、前記勾配算出ブロックから最も近い前記符号化ブロック境界の交点を探索し、前記勾配算出ブロックの中心座標に隣接する複数の画素のうち前記符号化ブロック境界の交点から最も遠い画素を前記勾配算出画素として決定する請求項１記載の画像処理装置。
【請求項３】
前記勾配算出ブロックは水平方向及び垂直方向に奇数個の画素を夫々備える矩形ブロックであって、
前記決定部は、前記勾配算出ブロックの中心画素を前記勾配算出画素として決定する請求項１記載の画像処理装置。
【請求項４】
前記勾配算出ブロックを含む領域内の最大輝度値及び最小輝度値の間の輝度差分が閾値以上であれば、当該勾配算出ブロックをより細かく分割する再分割部を更に具備する請求項１記載の画像処理装置。
【請求項５】
画像信号を複数の勾配算出ブロックに分割することと、
前記勾配算出ブロックを構成する画素から１つの勾配算出画素を決定することと、
前記勾配算出画素を含む領域に属する画素の勾配の強度及び勾配の角度を算出することと、
前記勾配の強度及び勾配の角度に基づいてヒストグラムを算出することと、
複数のヒストグラムテンプレート及び複数のフィルタ情報が対応付けて記憶されている記憶部から前記ヒストグラムに最も類似したヒストグラムテンプレートを探索することと、
探索されたヒストグラムテンプレートに対応するフィルタ情報を用いて前記勾配算出ブロックを構成する画素にフィルタ処理を行うことと
を具備する画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９１９０（Ｐ２０１１−１９１９０Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６４０４６（Ｐ２００９−１６４０４６）
【出願日】平成２１年７月１０日（２００９．７．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月１０日（２００９．７．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]