画像処理装置および同装置における画像処理方法
【課題】例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことを可能とした情報処理装置を提供する。
【解決手段】ブロック境界線検出回路１０は、隣接する２つの画素間の隣接画素値差分の絶対値が、当該２つの画素間の隣接画素値差分を除く同一方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値よりも大きい場合に、当該２つの画素間をブロック境界と判定する。ディテール抽出回路２０は、検出されたブロック境界線を跨がないように極所領域のコントラスト成分を抽出する。そして、ディテール加算回路３０，５０は、デブロッキング処理回路４０のフィルタリング処理によって失われるであろう、抽出された極所領域のコントラスト成分を補間する処理を実行する。
【解決手段】ブロック境界線検出回路１０は、隣接する２つの画素間の隣接画素値差分の絶対値が、当該２つの画素間の隣接画素値差分を除く同一方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値よりも大きい場合に、当該２つの画素間をブロック境界と判定する。ディテール抽出回路２０は、検出されたブロック境界線を跨がないように極所領域のコントラスト成分を抽出する。そして、ディテール加算回路３０，５０は、デブロッキング処理回路４０のフィルタリング処理によって失われるであろう、抽出された極所領域のコントラスト成分を補間する処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばＨ．２６４規格に準拠した圧縮符号化処理が施された画像データを伸張復号する画像処理装置に好適なブロック歪みの除去技術に関する。
【背景技術】
【０００２】
例えばＭＰＥＧ（moving picture experts group）−２を用いた画像圧縮方式においては、処理単位が８画素×８画素のブロック単位であるため、ブロック歪みなどと称される境界線（ブロック境界線）が８画素×８画素のブロック単位で現れる。そこで、このブロック歪みを目立たなくするために、ブロック境界について、（固定位置に対する）フィルタリング処理が施されている。
【０００３】
一方、例えばＨ．２６４などの最新の画像圧縮方式においては、処理単位とするブロックサイズが８画素×８画素の固定サイズではないため、固定位置に対するフィルタリング処理が有効でない場合が多い。
【０００４】
また、最近では、例えば動画像投稿サイトに投稿された動画像データ等、いわゆるネットコンテンツをインターネットを介してダウンロードして視聴するといったことが広く行われている。そして、この種のネットコンテンツでは、圧縮画像を一旦伸張した後、画像サイズを変更して再圧縮しているものや、更に、再圧縮画像を伸張後にサイズ変更して表示しているもの等、ブロック境界線が８画素×８画素単位で現れないものが多く見受けられる。そのため、やはり、固定位置に対するフィルタリング処理では、除去されないブロック歪みが残存してしまう場合が顕著に見受けられるようになってきている。
【０００５】
このようなことから、「ブロック単位に符号化され復号された信号であって、ブロック境界の位置や幅が不明な信号に対して、簡便な構成で複数のブロック幅を検出する」ことのできる映像信号処理装置などが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１２４９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１の映像信号処理装置は、隣接する画素間のデータの差分値からブロック境界を判定するものなので、絵柄のいわゆるエッジ部分等をブロック境界と誤認定してしまうおそれがある。
【０００８】
また、前述した、ブロック境界に対して、ブロック歪みを目立たなくするためのフィルタリング処理を施すことについては、元画像のディテール成分（極所領域のコントラスト成分）が失われてしまうという欠点が潜在していた。
【０００９】
この発明は、このような事情を考慮してなされたものであり、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことを可能とした情報処理装置および同装置における画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために、この発明の画像処理装置は、ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、前記入力手段により入力された画像データ内のブロック境界線を検出するブロック境界線検出手段と、前記ブロック境界線検出手段により検出されたブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、を具備し、前記ブロック境界線検出手段は、前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値を算出する第１の算出手段と、前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する第２の算出手段と、前記第１の算出手段により算出された値が前記第２の算出手段により算出された値よりも大きい場合、前記２つの画素間をブロック境界と判定する判定手段と、を有する、ことを特徴とする。
【発明の効果】
【００１１】
この発明によれば、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことを可能とする。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施形態に係る画像処理装置の概略的な一構成例を示す図。
【図２】同実施形態の画像処理装置の詳細な機能ブロックを示す図。
【図３】水平方向に並んだ画素イメージを示す図。
【図４】同実施形態の画像処理装置の動作手順を示すフローチャート。
【図５】同実施形態の画像処理装置が実行するブロック境界線検出処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、この発明の一実施形態を説明する。
【００１４】
図１は、同実施形態に係る画像処理装置１の概略的な一構成例を示す図である。
【００１５】
入力信号ａ１は、画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号であるものとする。入力信号ａ１は、ブロック境界線検出回路１０とディテール加算回路（１）３０とに入る。入力信号ａ１は、ブロック境界線検出回路１０においてブロック境界線の検出が行われる。このブロック境界の検出方法については後述する。
【００１６】
ブロック境界線検出回路１０で検出されたブロック境界線情報は、ディテール抽出回路２０とデブロッキング処理回路４０とに伝えられる。ディテール抽出回路２０では、ブロック境界線を跨がないように極所領域のコンラスト成分（以下、ディテール成分とも称する）を抽出し、ブロック境界線を挟む画素同士については、平滑化処理を行う。このディテール成分の抽出方法についても後述する。
【００１７】
ディテール加算回路（１）３０では、入力信号ａ１にディテール成分が加算され、後段のデブロッキング処理回路４０で失われるであろうディテール成分を予め補う処理を行っている。このディテール加算回路（１）３０の出力は、デブロッキング処理回路４０に至り、ここで、ブロック境界線検出回路１０からのブロック境界線情報に基づき、デブロッキング処理を行う。デブロッキング処理は、例えばローパスフィルタを用い、境界線段差を目立たなくする処理を行う。また、デブロッキング処理回路４０は、ブロック境界線情報に含まれる段差の大きさにより、フィルタのタップサイズや処理対象の画素数を動的に切り替えるように動作するものとする。そして、デブロッキング処理回路４０でブロック境界線が目立たなくなった信号は、ディテール加算回路（２）５０で再びディテール成分が加算されて、出力信号ａ２となる。
【００１８】
なお、この図１においては、デブロッキング処理回路４０で失われるであろうディテール成分を予め補う処理を行うディテール加算回路（１）３０およびデブロッキング処理回路４０で失われたディテール成分を補う処理を行うディテール加算回路（２）５０の２つを共に示したが、いずれか一方を備えれば良い。
【００１９】
また、図２は、同実施形態の画像処理装置１の詳細な機能ブロックを示す図である。
【００２０】
前述したように、入力信号ａ１は、画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号である。入力信号ａ1は、フレームメモリ（１）１００、水平隣接画素差分絶対値検出回路１１０および垂直隣接画素差分絶対値検出回路１６０に入る。また、フレームメモリ（１）１００の出力信号ｂ１は、フレームメモリ（２）２１０、水平ディテール検出回路１３０および垂直ディテール検出回路１８０に至る。
【００２１】
水平隣接画素差分絶対値検出回路１１０では、１フレーム内の画像の全ての水平方向の画素に対して処理を行い、得られた情報ｂ２は、水平差分絶対値メモリ／境界線検出回路１２０に至る。水平差分絶対値メモリ／境界線検出回路１２０から読み出されたデータｂ３は、水平ディテール検出回路１３０とフレームメモリ（３）とに至る。
【００２２】
水平ディテール検出回路１３０には、水平差分絶対値メモリ／境界線検出回路１２０から出力されたデータｂ３とフレームメモリ（１）１００の出力信号ｂ１とが入力されており、データｂ３の情報からブロック境界線の判定を行い、ブロック境界線を跨がないようにディテール成分の抽出を行い、ブロック境界線を挟む画素については、ブロック境界線の近隣のディテール成分抽出後に境界線を挟む画素同士で平滑化処理を行い、最終的な水平ディテール成分データｂ４として、水平ディテールメモリ１４０に水平ディテール成分を書き込む。水平ディテールメモリ１４０の出力信号ｂ５は、前加算水平コアリング／リミッタ／ゲイン調整回路１５０とフレームメモリ（５）２７０とに至る。
【００２３】
前加算水平コアリング／リミッタ／ゲイン調整回路１５０では、水平ディテール成分の加算レベル調整を行い、レベルが小さい場合はノイズとなるので、コアリング処理により加算を停止し、一方、レベルが大きすぎる場合には、リミッタ処理により加算量の制限を行う。
【００２４】
垂直隣接画素差分絶対値検出回路１６０では、１フレーム内の画像の全ての垂直方向の画素に対して処理を行い、得られた情報ｂ６は、垂直差分絶対値メモリ／境界線検出回路１７０に至る。垂直差分絶対値メモリ／境界線検出回路１７０から読み出されたデータｂ７は、垂直ディテール検出回路１８０とフレームメモリ（４）２５０とに至る。
【００２５】
垂直ディテール検出回路１８０には、垂直差分絶対値メモリ／境界線検出回路１７０から出力されたデータｂ７とフレームメモリ（１）１００の出力信号ｂ１とが入力されており、データｂ７の情報からブロック境界線の判定を行い、ブロック境界線を跨がないようにディテール成分の抽出を行い、ブロック境界線を挟む画素については、ブロック境界線の近隣のディテール成分抽出後に境界線を挟む画素同士で平滑化処理を行い、最終的な垂直ディテール成分データｂ８として、垂直ディテールメモリ１９０に垂直ディテール成分を書き込む。垂直ディテールメモリ１９０の出力信号ｂ９は、前加算垂直コアリング／リミッタ／ゲイン調整回路２００とフレームメモリ（６）とに至る。
【００２６】
前加算垂直コアリング／リミッタ／ゲイン調整回路２００では、垂直ディテール成分の加算レベル調整を行い、レベルが小さい場合はノイズとなるので、コアリング処理により加算を停止し、一方、レベルが大きすぎる場合には、リミッタ処理により加算量の制限を行う。
【００２７】
フレームメモリ（２）２１０により遅延時間調整された入力信号ｂ１０は、ディテール加算回路（１）３０に至る。ディテール加算回路（１）３０では、遅延された入力信号ｂ１０に、前加算水平コアリング／リミッタ／ゲイン調整回路１５０の出力信号ｂ１１と前加算垂直コアリング／リミッタ／ゲイン調整回路２００の出力信号ｂ１２とが加算され、後段のデブロッキング処理で失われるであろうディテール成分を予め補う処理を行っている。ディテール加算回路（１）３０でディテール成分を補われた信号ｂ１３は、水平デブロッキング処理回路２４０に至る。
【００２８】
水平デブロッキング処理回路２４０には、このディテール成分を補われた信号ｂ１３の他に、水平差分絶対値メモリ／境界線検出回路１２０からフレームメモリ（３）２３０で遅延された水平ブロック境界線に関する情報ｂ１４が入力されている。この情報ｂ１４には、水平境界線の位置情報および水平ブロック境界線の段差値情報が含まれており、水平デブロッキング処理回路２４０では、これらの情報に基づき、フィルタリング処理を施す位置の設定および段差値に応じたフィルタの選択を行う。水平デブロッキング処理回路２４０で水平方向のブロック境界線段差を補正された信号ｂ１５は、垂直デブロッキング処理回路２６０に至る。
【００２９】
垂直デブロッキング処理回路２６０には、この水平デブロッキング処理された信号ｂ１５の他に、垂直差分絶対値メモリ／境界線検出回路１７０からフレームメモリ（４）２５０で遅延された垂直ブロック境界線に関する情報ｂ１６が入力されている。この情報ｂ１６には、垂直境界線の位置情報および垂直ブロック境界線の段差値情報が含まれており、垂直デブロッキング処理回路２６０では、これらの情報に基づき、フィルタリング処理を施す位置の設定および段差値に応じたフィルタの選択を行う。垂直デブロッキング処理回路２６０で垂直方向のブロック境界段差を補正された信号ｂ１７は、ディテール加算回路（２）５０に至る。
【００３０】
ディテール加算回路（２）５０では、水平ディテールメモリ１４０から読み出されたディテール成分をフレームメモリ（５）２７０で遅延させてから後加算水平コアリング／リミッタ／ゲイン調整回路２８０でレベルが最適化されたディテール信号ｂ１８と、垂直ディテールメモリ１９０から読み出されたディテール成分をフレームメモリ（６）２９０で遅延させてから後加算垂直コアリング／リミッタ／ゲイン調整回路３００でレベルが最適化されたディテール信号ｂ１９とを加算して、デブロッキング処理で失われたディテール成分の補間を行っている。なお、後加算水平コアリング／リミッタ／ゲイン調整回路２８０および後加算垂直コアリング／リミッタ／ゲイン調整回路３００の機能は、それぞれ前加算水平コアリング／リミッタ／ゲイン調整回路１５０および前加算垂直コアリング／リミッタ／ゲイン調整回路２００と同様なので、説明は省略する。
【００３１】
以上の処理により、ディテール加算回路（２）５０の出力信号ａ２は、ブロック境界線段差が抑制され、かつ、ディテール成分が補われた信号となっている。
【００３２】
次に、図３を参照して、本実施形態の画像処理装置１が実行するブロック境界線検出処理について説明する。図３は、水平方向に並んだ画素イメージを示す図である。
【００３３】
図３中、丸印（○）は画素、ｐｎは各画素の番号、ｄｎは各画素のディティール成分をそれぞれ示している。また、以下では、画素番号の後ろに添え字ｍが付されたものが、その画素の画素値を表すものとする。
【００３４】
いま、図２に示した水平隣接画素差分絶対値検出回路１１０で水平方向の隣接画素の絶対値が既に検出されたと仮定する。例えば、図３に示す画素ｐ７と画素ｐ８との差分絶対値をdifとすると、
dif=|p7m-p8m| …式（１）
となる。
【００３５】
また、例えば、画素ｐ４から画素ｐ１１までの間で、画素ｐ７と画素ｐ８との差分絶対値を除く隣接画素の差分絶対値の総和をsadとすると、
sad=|p4m-p5m|+|p5m-p6m|+|p6m-p7m|+|p8m-p9m|
+|p9m-p10m|+|p10m-p11m| …式（２）
となる。
【００３６】
そして、これらの間に
dif > sad × k …式（３）
の関係が成り立つ場合に、本実施形態の画像処理装置１では、この画素ｐ７と画素ｐ８との間をブロック境界線と判定する。ここで、ｋは係数である。ｋの値は、コンテンツ、圧縮率、画像の拡大縮小率等によって変動するが、当該コンテンツ、圧縮率、画像の拡大縮小率等に応じて適宜に値を設定することで、非常に高い確率でブロック境界線を検出することが可能となる。以上のような処理を水平方向および垂直方向の全画素に対して行うことにより、画面全体のブロック境界線を検出するこが可能となる。
【００３７】
続いて、検出されたブロック境界線の段差値に応じたフィルタ構成例を示す。段差値を上記説明で用いたdifと図３とを使って説明する。
【００３８】
例えば、ブロック境界線が図３に示した画素ｐ７と画素ｐ８との間にあると仮定し、補正後の画素値をnew_pxmとすると、以下のように求めることができる。
【００３９】
（１）dif＜４の場合：境界線を挟む２画素の平滑化処理
new_p7m=(p7m+p8m)/2 …式（４）
new_p8m=(p7m+p8m)/2 …式（５）
（２）４≦dif＜８の場合：３tapフィルタの４画素処理
new_p6m=(p5m+p6m×2+p7m)/4 …式（６）
new_p7m=(p6m+p7m×2+p8m)/4 …式（７）
new_p8m=(p7m+p8m×2+p9m)/4 …式（８）
new_p9m=(p8m+p9m×2+p10m)/4 …式（９）
（３）８≦dif＜２０の場合：５tapフィルタの６画素処理
new_p5m=(p3m+p4m×2+p5m×4+p6m×2+p7m)/10 …式（１０）
new_p6m=(p4m+p5m×2+p6m×4+p7m×2+p8m)/10 …式（１１）
new_p7m=(p5m+p6m×2+p7m×4+p8m×2+p9m)/10 …式（１２）
new_p8m=(p6m+p7m×2+p8m×4+p9m×2+p10m)/10 …式（１３）
new_p9m=(p7m+p8m×2+p9m×4+p10m×2+p11m)/10 …式（１４）
new_p10m=(p8m+p9m×2+p10m×4+p11m×2+p12m)/10 …式（１５）
（４）２０≦dif
デブロッキング処理しない。
【００４０】
なお、上記difの値の範囲設定はあくまで一例である。
【００４１】
つまり、デブロッキング処理回路４０は、ブロック境界線の段差値に応じて、適切なフィルタを選択して適用する機能を有している。
【００４２】
続いて、図２に示した水平ディテール検出回路１３０および垂直ディテール検出回路１８０の動作原理について説明する。水平と垂直との違いはあるものの、どちらも同じ機能なので、ここでは、水平方向についてのみ説明する。以下に、ディテール（極所領域のコントラスト）成分の求め方の一例を示す。
【００４３】
図２の説明で、ディテール成分検出前に、ブロック境界線検出回路１０で画像全体のブロック境界線が検出されていると説明してきた。そこで、図３に示した画素ｐ７と画素ｐ８との間にブロック境界線が存在するという前提で、画素ｐ５から画素ｐ１０のディテール成分ｄ５〜ｄ１０の抽出例を以下に示す。ポイントは、ブロック境界線を跨いだディテール成分の抽出は行わずに、境界線を挟んだ画素のディテール成分については、平滑化処理をすることである。
【００４４】
d5=p5m-(p3m+p4m+p5m+p6m+p7m)/5 …式（１６）
d6=p6m-(p5m+p6m+p7m)/3 …式（１７）
d7=p7m-(p6m+p7m)/2 …式（１８）
d8=p8m-(p8m+p9m)/2 …式（１９）
d9=p9m-(p8m+p9m+p10m)/3 …式（２０）
d10=p10m-(p8m+p9m+p10m+p11m+p12m)/5 …式（２１）
ここで、ｄ７とｄ８とはブロック境界線を挟んだディテール成分なので、平滑化処理を行う。平滑化処理後のディテール成分をborder_dxと表現すると
border_d7=(d7+d8)/2 …式（２２）
border_d8=(d7+d8)/2 …式（２３）
と求まる。
【００４５】
以上述べてきたブロック境界線検出処理、ディテール検出処理およびディテール加算処理を実行する本実施形態の画像処理装置１によれば、画像圧縮に用いるブロックサイズが明確になっていない場合にもブロック歪を低減することが可能となる。かつ、デブロッキング処理のフィルタリングにより失われるディテール成分についても再生可能となり、画質改善効果は極めて大きい。
【００４６】
図４は、本実施形態の画像処理装置１の動作手順を示すフローチャートである。
【００４７】
画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号を入力する本実施形態の画像処理装置１は、まず、ブロック境界線を検出する（ステップＡ１）。図５は、ブロック境界線検出処理の流れを示すフローチャートである。
【００４８】
画像処理装置１は、隣接する２つの画素間の画素値差分の絶対値を算出する（ステップＢ１）。また、画像処理装置１は、この２つの画素の並びと同じ方向の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する（ステップＢ２）。
【００４９】
そして、画像処理装置１は、ステップＢ１で算出した値とステップＢ２で算出した値とを比較し（ステップＢ３）、ステップＢ１で算出した値がステップＢ２で算出した値を越えていた場合に（ステップＢ３のＹＥＳ）、この２つの画素間にブロック境界線が存在すると判定する（ステップＢ４）。
【００５０】
次に、画像処理装置１は、検出したブロック境界線の位置情報に基づき、ブロック境界線を跨がないように、極所領域のコントラスト成分を抽出する（ステップＡ２）。また、画像処理装置１は、検出したブロック境界線の位置情報に基づき、（ステップＡ２で抽出したコントラスト成分のうちの）ブロック境界線を挟んだコントラスト成分の平滑化を実行する（ステップＡ３）。そして、画像処理装置１は、この抽出・平滑化したコントラスト成分を、（ブロック歪みを目立たなくするためフィルタリング処理前に）元信号に加算する（ステップＡ４）。
【００５１】
続いて、画像処理装置１は、検出したブロック境界線の段差値情報に基づき、フィルタリング処理に適用するフィルタを選択し（ステップＡ５）、フィルタリング処理を実行する（ステップＡ６）。そして、画像処理装置１は、ステップＡ２，Ａ３で抽出・平滑化したコントラスト成分を、フィルタリング処理後の信号に加算する（ステップＡ７）。
【００５２】
なお、この図４においては、抽出・平滑化したコントラスト成分を（フィルタリング処理前の）元信号に加算するステップ（ステップＡ４）と、抽出・平滑化したコントラスト成分をフィルタリング処理後の信号に加算するステップ（ステップＡ７）との２つを共に示したが、いずれか一方を実施すれば良い。
【００５３】
以上のように、本実施形態の画像処理装置１によれば、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことが可能となる。
【００５４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５５】
１…画像処理装置、１０…ブロック境界線検出回路、２０…ディテール抽出回路、３０…ディテール加算回路（１）、４０…デブロッキング処理回路、５０…ディテール加算回路（２）、１００，２１０，２３０，２５０，２７０，２９０…フレームメモリ、１１０…水平隣接画素差分絶対値検出回路、１２０…水平差分絶対値メモリ／境界線検出回路、１３０…水平ディテール検出回路、１４０…水平ディテールメモリ、１５０…前加算水平コアリング／リミッタ／ゲイン調整回路、１６０…垂直隣接画素差分絶対値検出回路、１７０…垂直差分絶対値メモリ／境界線検出回路、１８０…垂直ディテール検出回路、１９０…垂直ディテールメモリ、２００…前加算垂直コアリング／リミッタ／ゲイン調整回路、２４０…水平デブロッキング処理回路、２６０…垂直デブロッキング処理回路、２８０…後加算水平コアリング／リミッタ／ゲイン調整回路、３００…後加算垂直コアリング／リミッタ／ゲイン調整回路。
【技術分野】
【０００１】
この発明は、例えばＨ．２６４規格に準拠した圧縮符号化処理が施された画像データを伸張復号する画像処理装置に好適なブロック歪みの除去技術に関する。
【背景技術】
【０００２】
例えばＭＰＥＧ（moving picture experts group）−２を用いた画像圧縮方式においては、処理単位が８画素×８画素のブロック単位であるため、ブロック歪みなどと称される境界線（ブロック境界線）が８画素×８画素のブロック単位で現れる。そこで、このブロック歪みを目立たなくするために、ブロック境界について、（固定位置に対する）フィルタリング処理が施されている。
【０００３】
一方、例えばＨ．２６４などの最新の画像圧縮方式においては、処理単位とするブロックサイズが８画素×８画素の固定サイズではないため、固定位置に対するフィルタリング処理が有効でない場合が多い。
【０００４】
また、最近では、例えば動画像投稿サイトに投稿された動画像データ等、いわゆるネットコンテンツをインターネットを介してダウンロードして視聴するといったことが広く行われている。そして、この種のネットコンテンツでは、圧縮画像を一旦伸張した後、画像サイズを変更して再圧縮しているものや、更に、再圧縮画像を伸張後にサイズ変更して表示しているもの等、ブロック境界線が８画素×８画素単位で現れないものが多く見受けられる。そのため、やはり、固定位置に対するフィルタリング処理では、除去されないブロック歪みが残存してしまう場合が顕著に見受けられるようになってきている。
【０００５】
このようなことから、「ブロック単位に符号化され復号された信号であって、ブロック境界の位置や幅が不明な信号に対して、簡便な構成で複数のブロック幅を検出する」ことのできる映像信号処理装置などが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１２４９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１の映像信号処理装置は、隣接する画素間のデータの差分値からブロック境界を判定するものなので、絵柄のいわゆるエッジ部分等をブロック境界と誤認定してしまうおそれがある。
【０００８】
また、前述した、ブロック境界に対して、ブロック歪みを目立たなくするためのフィルタリング処理を施すことについては、元画像のディテール成分（極所領域のコントラスト成分）が失われてしまうという欠点が潜在していた。
【０００９】
この発明は、このような事情を考慮してなされたものであり、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことを可能とした情報処理装置および同装置における画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために、この発明の画像処理装置は、ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、前記入力手段により入力された画像データ内のブロック境界線を検出するブロック境界線検出手段と、前記ブロック境界線検出手段により検出されたブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、を具備し、前記ブロック境界線検出手段は、前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値を算出する第１の算出手段と、前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する第２の算出手段と、前記第１の算出手段により算出された値が前記第２の算出手段により算出された値よりも大きい場合、前記２つの画素間をブロック境界と判定する判定手段と、を有する、ことを特徴とする。
【発明の効果】
【００１１】
この発明によれば、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことを可能とする。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施形態に係る画像処理装置の概略的な一構成例を示す図。
【図２】同実施形態の画像処理装置の詳細な機能ブロックを示す図。
【図３】水平方向に並んだ画素イメージを示す図。
【図４】同実施形態の画像処理装置の動作手順を示すフローチャート。
【図５】同実施形態の画像処理装置が実行するブロック境界線検出処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、この発明の一実施形態を説明する。
【００１４】
図１は、同実施形態に係る画像処理装置１の概略的な一構成例を示す図である。
【００１５】
入力信号ａ１は、画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号であるものとする。入力信号ａ１は、ブロック境界線検出回路１０とディテール加算回路（１）３０とに入る。入力信号ａ１は、ブロック境界線検出回路１０においてブロック境界線の検出が行われる。このブロック境界の検出方法については後述する。
【００１６】
ブロック境界線検出回路１０で検出されたブロック境界線情報は、ディテール抽出回路２０とデブロッキング処理回路４０とに伝えられる。ディテール抽出回路２０では、ブロック境界線を跨がないように極所領域のコンラスト成分（以下、ディテール成分とも称する）を抽出し、ブロック境界線を挟む画素同士については、平滑化処理を行う。このディテール成分の抽出方法についても後述する。
【００１７】
ディテール加算回路（１）３０では、入力信号ａ１にディテール成分が加算され、後段のデブロッキング処理回路４０で失われるであろうディテール成分を予め補う処理を行っている。このディテール加算回路（１）３０の出力は、デブロッキング処理回路４０に至り、ここで、ブロック境界線検出回路１０からのブロック境界線情報に基づき、デブロッキング処理を行う。デブロッキング処理は、例えばローパスフィルタを用い、境界線段差を目立たなくする処理を行う。また、デブロッキング処理回路４０は、ブロック境界線情報に含まれる段差の大きさにより、フィルタのタップサイズや処理対象の画素数を動的に切り替えるように動作するものとする。そして、デブロッキング処理回路４０でブロック境界線が目立たなくなった信号は、ディテール加算回路（２）５０で再びディテール成分が加算されて、出力信号ａ２となる。
【００１８】
なお、この図１においては、デブロッキング処理回路４０で失われるであろうディテール成分を予め補う処理を行うディテール加算回路（１）３０およびデブロッキング処理回路４０で失われたディテール成分を補う処理を行うディテール加算回路（２）５０の２つを共に示したが、いずれか一方を備えれば良い。
【００１９】
また、図２は、同実施形態の画像処理装置１の詳細な機能ブロックを示す図である。
【００２０】
前述したように、入力信号ａ１は、画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号である。入力信号ａ1は、フレームメモリ（１）１００、水平隣接画素差分絶対値検出回路１１０および垂直隣接画素差分絶対値検出回路１６０に入る。また、フレームメモリ（１）１００の出力信号ｂ１は、フレームメモリ（２）２１０、水平ディテール検出回路１３０および垂直ディテール検出回路１８０に至る。
【００２１】
水平隣接画素差分絶対値検出回路１１０では、１フレーム内の画像の全ての水平方向の画素に対して処理を行い、得られた情報ｂ２は、水平差分絶対値メモリ／境界線検出回路１２０に至る。水平差分絶対値メモリ／境界線検出回路１２０から読み出されたデータｂ３は、水平ディテール検出回路１３０とフレームメモリ（３）とに至る。
【００２２】
水平ディテール検出回路１３０には、水平差分絶対値メモリ／境界線検出回路１２０から出力されたデータｂ３とフレームメモリ（１）１００の出力信号ｂ１とが入力されており、データｂ３の情報からブロック境界線の判定を行い、ブロック境界線を跨がないようにディテール成分の抽出を行い、ブロック境界線を挟む画素については、ブロック境界線の近隣のディテール成分抽出後に境界線を挟む画素同士で平滑化処理を行い、最終的な水平ディテール成分データｂ４として、水平ディテールメモリ１４０に水平ディテール成分を書き込む。水平ディテールメモリ１４０の出力信号ｂ５は、前加算水平コアリング／リミッタ／ゲイン調整回路１５０とフレームメモリ（５）２７０とに至る。
【００２３】
前加算水平コアリング／リミッタ／ゲイン調整回路１５０では、水平ディテール成分の加算レベル調整を行い、レベルが小さい場合はノイズとなるので、コアリング処理により加算を停止し、一方、レベルが大きすぎる場合には、リミッタ処理により加算量の制限を行う。
【００２４】
垂直隣接画素差分絶対値検出回路１６０では、１フレーム内の画像の全ての垂直方向の画素に対して処理を行い、得られた情報ｂ６は、垂直差分絶対値メモリ／境界線検出回路１７０に至る。垂直差分絶対値メモリ／境界線検出回路１７０から読み出されたデータｂ７は、垂直ディテール検出回路１８０とフレームメモリ（４）２５０とに至る。
【００２５】
垂直ディテール検出回路１８０には、垂直差分絶対値メモリ／境界線検出回路１７０から出力されたデータｂ７とフレームメモリ（１）１００の出力信号ｂ１とが入力されており、データｂ７の情報からブロック境界線の判定を行い、ブロック境界線を跨がないようにディテール成分の抽出を行い、ブロック境界線を挟む画素については、ブロック境界線の近隣のディテール成分抽出後に境界線を挟む画素同士で平滑化処理を行い、最終的な垂直ディテール成分データｂ８として、垂直ディテールメモリ１９０に垂直ディテール成分を書き込む。垂直ディテールメモリ１９０の出力信号ｂ９は、前加算垂直コアリング／リミッタ／ゲイン調整回路２００とフレームメモリ（６）とに至る。
【００２６】
前加算垂直コアリング／リミッタ／ゲイン調整回路２００では、垂直ディテール成分の加算レベル調整を行い、レベルが小さい場合はノイズとなるので、コアリング処理により加算を停止し、一方、レベルが大きすぎる場合には、リミッタ処理により加算量の制限を行う。
【００２７】
フレームメモリ（２）２１０により遅延時間調整された入力信号ｂ１０は、ディテール加算回路（１）３０に至る。ディテール加算回路（１）３０では、遅延された入力信号ｂ１０に、前加算水平コアリング／リミッタ／ゲイン調整回路１５０の出力信号ｂ１１と前加算垂直コアリング／リミッタ／ゲイン調整回路２００の出力信号ｂ１２とが加算され、後段のデブロッキング処理で失われるであろうディテール成分を予め補う処理を行っている。ディテール加算回路（１）３０でディテール成分を補われた信号ｂ１３は、水平デブロッキング処理回路２４０に至る。
【００２８】
水平デブロッキング処理回路２４０には、このディテール成分を補われた信号ｂ１３の他に、水平差分絶対値メモリ／境界線検出回路１２０からフレームメモリ（３）２３０で遅延された水平ブロック境界線に関する情報ｂ１４が入力されている。この情報ｂ１４には、水平境界線の位置情報および水平ブロック境界線の段差値情報が含まれており、水平デブロッキング処理回路２４０では、これらの情報に基づき、フィルタリング処理を施す位置の設定および段差値に応じたフィルタの選択を行う。水平デブロッキング処理回路２４０で水平方向のブロック境界線段差を補正された信号ｂ１５は、垂直デブロッキング処理回路２６０に至る。
【００２９】
垂直デブロッキング処理回路２６０には、この水平デブロッキング処理された信号ｂ１５の他に、垂直差分絶対値メモリ／境界線検出回路１７０からフレームメモリ（４）２５０で遅延された垂直ブロック境界線に関する情報ｂ１６が入力されている。この情報ｂ１６には、垂直境界線の位置情報および垂直ブロック境界線の段差値情報が含まれており、垂直デブロッキング処理回路２６０では、これらの情報に基づき、フィルタリング処理を施す位置の設定および段差値に応じたフィルタの選択を行う。垂直デブロッキング処理回路２６０で垂直方向のブロック境界段差を補正された信号ｂ１７は、ディテール加算回路（２）５０に至る。
【００３０】
ディテール加算回路（２）５０では、水平ディテールメモリ１４０から読み出されたディテール成分をフレームメモリ（５）２７０で遅延させてから後加算水平コアリング／リミッタ／ゲイン調整回路２８０でレベルが最適化されたディテール信号ｂ１８と、垂直ディテールメモリ１９０から読み出されたディテール成分をフレームメモリ（６）２９０で遅延させてから後加算垂直コアリング／リミッタ／ゲイン調整回路３００でレベルが最適化されたディテール信号ｂ１９とを加算して、デブロッキング処理で失われたディテール成分の補間を行っている。なお、後加算水平コアリング／リミッタ／ゲイン調整回路２８０および後加算垂直コアリング／リミッタ／ゲイン調整回路３００の機能は、それぞれ前加算水平コアリング／リミッタ／ゲイン調整回路１５０および前加算垂直コアリング／リミッタ／ゲイン調整回路２００と同様なので、説明は省略する。
【００３１】
以上の処理により、ディテール加算回路（２）５０の出力信号ａ２は、ブロック境界線段差が抑制され、かつ、ディテール成分が補われた信号となっている。
【００３２】
次に、図３を参照して、本実施形態の画像処理装置１が実行するブロック境界線検出処理について説明する。図３は、水平方向に並んだ画素イメージを示す図である。
【００３３】
図３中、丸印（○）は画素、ｐｎは各画素の番号、ｄｎは各画素のディティール成分をそれぞれ示している。また、以下では、画素番号の後ろに添え字ｍが付されたものが、その画素の画素値を表すものとする。
【００３４】
いま、図２に示した水平隣接画素差分絶対値検出回路１１０で水平方向の隣接画素の絶対値が既に検出されたと仮定する。例えば、図３に示す画素ｐ７と画素ｐ８との差分絶対値をdifとすると、
dif=|p7m-p8m| …式（１）
となる。
【００３５】
また、例えば、画素ｐ４から画素ｐ１１までの間で、画素ｐ７と画素ｐ８との差分絶対値を除く隣接画素の差分絶対値の総和をsadとすると、
sad=|p4m-p5m|+|p5m-p6m|+|p6m-p7m|+|p8m-p9m|
+|p9m-p10m|+|p10m-p11m| …式（２）
となる。
【００３６】
そして、これらの間に
dif > sad × k …式（３）
の関係が成り立つ場合に、本実施形態の画像処理装置１では、この画素ｐ７と画素ｐ８との間をブロック境界線と判定する。ここで、ｋは係数である。ｋの値は、コンテンツ、圧縮率、画像の拡大縮小率等によって変動するが、当該コンテンツ、圧縮率、画像の拡大縮小率等に応じて適宜に値を設定することで、非常に高い確率でブロック境界線を検出することが可能となる。以上のような処理を水平方向および垂直方向の全画素に対して行うことにより、画面全体のブロック境界線を検出するこが可能となる。
【００３７】
続いて、検出されたブロック境界線の段差値に応じたフィルタ構成例を示す。段差値を上記説明で用いたdifと図３とを使って説明する。
【００３８】
例えば、ブロック境界線が図３に示した画素ｐ７と画素ｐ８との間にあると仮定し、補正後の画素値をnew_pxmとすると、以下のように求めることができる。
【００３９】
（１）dif＜４の場合：境界線を挟む２画素の平滑化処理
new_p7m=(p7m+p8m)/2 …式（４）
new_p8m=(p7m+p8m)/2 …式（５）
（２）４≦dif＜８の場合：３tapフィルタの４画素処理
new_p6m=(p5m+p6m×2+p7m)/4 …式（６）
new_p7m=(p6m+p7m×2+p8m)/4 …式（７）
new_p8m=(p7m+p8m×2+p9m)/4 …式（８）
new_p9m=(p8m+p9m×2+p10m)/4 …式（９）
（３）８≦dif＜２０の場合：５tapフィルタの６画素処理
new_p5m=(p3m+p4m×2+p5m×4+p6m×2+p7m)/10 …式（１０）
new_p6m=(p4m+p5m×2+p6m×4+p7m×2+p8m)/10 …式（１１）
new_p7m=(p5m+p6m×2+p7m×4+p8m×2+p9m)/10 …式（１２）
new_p8m=(p6m+p7m×2+p8m×4+p9m×2+p10m)/10 …式（１３）
new_p9m=(p7m+p8m×2+p9m×4+p10m×2+p11m)/10 …式（１４）
new_p10m=(p8m+p9m×2+p10m×4+p11m×2+p12m)/10 …式（１５）
（４）２０≦dif
デブロッキング処理しない。
【００４０】
なお、上記difの値の範囲設定はあくまで一例である。
【００４１】
つまり、デブロッキング処理回路４０は、ブロック境界線の段差値に応じて、適切なフィルタを選択して適用する機能を有している。
【００４２】
続いて、図２に示した水平ディテール検出回路１３０および垂直ディテール検出回路１８０の動作原理について説明する。水平と垂直との違いはあるものの、どちらも同じ機能なので、ここでは、水平方向についてのみ説明する。以下に、ディテール（極所領域のコントラスト）成分の求め方の一例を示す。
【００４３】
図２の説明で、ディテール成分検出前に、ブロック境界線検出回路１０で画像全体のブロック境界線が検出されていると説明してきた。そこで、図３に示した画素ｐ７と画素ｐ８との間にブロック境界線が存在するという前提で、画素ｐ５から画素ｐ１０のディテール成分ｄ５〜ｄ１０の抽出例を以下に示す。ポイントは、ブロック境界線を跨いだディテール成分の抽出は行わずに、境界線を挟んだ画素のディテール成分については、平滑化処理をすることである。
【００４４】
d5=p5m-(p3m+p4m+p5m+p6m+p7m)/5 …式（１６）
d6=p6m-(p5m+p6m+p7m)/3 …式（１７）
d7=p7m-(p6m+p7m)/2 …式（１８）
d8=p8m-(p8m+p9m)/2 …式（１９）
d9=p9m-(p8m+p9m+p10m)/3 …式（２０）
d10=p10m-(p8m+p9m+p10m+p11m+p12m)/5 …式（２１）
ここで、ｄ７とｄ８とはブロック境界線を挟んだディテール成分なので、平滑化処理を行う。平滑化処理後のディテール成分をborder_dxと表現すると
border_d7=(d7+d8)/2 …式（２２）
border_d8=(d7+d8)/2 …式（２３）
と求まる。
【００４５】
以上述べてきたブロック境界線検出処理、ディテール検出処理およびディテール加算処理を実行する本実施形態の画像処理装置１によれば、画像圧縮に用いるブロックサイズが明確になっていない場合にもブロック歪を低減することが可能となる。かつ、デブロッキング処理のフィルタリングにより失われるディテール成分についても再生可能となり、画質改善効果は極めて大きい。
【００４６】
図４は、本実施形態の画像処理装置１の動作手順を示すフローチャートである。
【００４７】
画像圧縮時に処理されたブロックサイズが不定でブロックノイズを含む信号を入力する本実施形態の画像処理装置１は、まず、ブロック境界線を検出する（ステップＡ１）。図５は、ブロック境界線検出処理の流れを示すフローチャートである。
【００４８】
画像処理装置１は、隣接する２つの画素間の画素値差分の絶対値を算出する（ステップＢ１）。また、画像処理装置１は、この２つの画素の並びと同じ方向の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する（ステップＢ２）。
【００４９】
そして、画像処理装置１は、ステップＢ１で算出した値とステップＢ２で算出した値とを比較し（ステップＢ３）、ステップＢ１で算出した値がステップＢ２で算出した値を越えていた場合に（ステップＢ３のＹＥＳ）、この２つの画素間にブロック境界線が存在すると判定する（ステップＢ４）。
【００５０】
次に、画像処理装置１は、検出したブロック境界線の位置情報に基づき、ブロック境界線を跨がないように、極所領域のコントラスト成分を抽出する（ステップＡ２）。また、画像処理装置１は、検出したブロック境界線の位置情報に基づき、（ステップＡ２で抽出したコントラスト成分のうちの）ブロック境界線を挟んだコントラスト成分の平滑化を実行する（ステップＡ３）。そして、画像処理装置１は、この抽出・平滑化したコントラスト成分を、（ブロック歪みを目立たなくするためフィルタリング処理前に）元信号に加算する（ステップＡ４）。
【００５１】
続いて、画像処理装置１は、検出したブロック境界線の段差値情報に基づき、フィルタリング処理に適用するフィルタを選択し（ステップＡ５）、フィルタリング処理を実行する（ステップＡ６）。そして、画像処理装置１は、ステップＡ２，Ａ３で抽出・平滑化したコントラスト成分を、フィルタリング処理後の信号に加算する（ステップＡ７）。
【００５２】
なお、この図４においては、抽出・平滑化したコントラスト成分を（フィルタリング処理前の）元信号に加算するステップ（ステップＡ４）と、抽出・平滑化したコントラスト成分をフィルタリング処理後の信号に加算するステップ（ステップＡ７）との２つを共に示したが、いずれか一方を実施すれば良い。
【００５３】
以上のように、本実施形態の画像処理装置１によれば、例えば、ブロック境界を的確に検出すると共に、ブロック境界に対して効果的な画像処理を施すことが可能となる。
【００５４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５５】
１…画像処理装置、１０…ブロック境界線検出回路、２０…ディテール抽出回路、３０…ディテール加算回路（１）、４０…デブロッキング処理回路、５０…ディテール加算回路（２）、１００，２１０，２３０，２５０，２７０，２９０…フレームメモリ、１１０…水平隣接画素差分絶対値検出回路、１２０…水平差分絶対値メモリ／境界線検出回路、１３０…水平ディテール検出回路、１４０…水平ディテールメモリ、１５０…前加算水平コアリング／リミッタ／ゲイン調整回路、１６０…垂直隣接画素差分絶対値検出回路、１７０…垂直差分絶対値メモリ／境界線検出回路、１８０…垂直ディテール検出回路、１９０…垂直ディテールメモリ、２００…前加算垂直コアリング／リミッタ／ゲイン調整回路、２４０…水平デブロッキング処理回路、２６０…垂直デブロッキング処理回路、２８０…後加算水平コアリング／リミッタ／ゲイン調整回路、３００…後加算垂直コアリング／リミッタ／ゲイン調整回路。
【特許請求の範囲】
【請求項１】
ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、
前記入力手段により入力された画像データ内のブロック境界線を検出するブロック境界線検出手段と、
前記ブロック境界線検出手段により検出されたブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、
前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、
を具備し、
前記ブロック境界線検出手段は、
前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値を算出する第１の算出手段と、
前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する第２の算出手段と、
前記第１の算出手段により算出された値が前記第２の算出手段により算出された値よりも大きい場合、前記２つの画素間をブロック境界と判定する判定手段と、
を有する、
ことを特徴とする画像処理装置。
【請求項２】
前記ブロック境界線検出手段により検出されたブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出するディテール抽出手段と、
前記ディテール抽出手段により抽出された極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算するディテール加算手段と、
をさらに具備することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ディテール抽出手段は、前記ブロック境界線検出手段により検出されたブロック境界線を跨いで隣接する２つの画素について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化する平滑化手段を有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記デブロッキング処理手段は、前記ブロック境界線検出手段により検出されたブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用するフィルタ選択手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項６】
所定のブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、
前記入力手段により入力された画像データ内のブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出するディテール抽出手段と、
前記入力手段により入力された画像データ内のブロック境界線上のブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、
前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、
前記ディテール抽出手段により抽出された極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算するディテール加算手段と、
を具備することを特徴とする画像処理装置。
【請求項７】
前記ディテール抽出手段は、前記ブロック境界線検出手段により検出されたブロック境界線を跨いで隣接する２つの画素について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化する平滑化手段を有することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記デブロッキング処理手段は、前記入力手段により入力された画像データ内のブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用するフィルタ選択手段を有することを特徴とする請求項６記載の画像処理装置。
【請求項１０】
ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力すること、
前記入力した画像データ内のブロック境界線を検出すること、
前記検出したブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行すること、
前記フィルタリング処理が施された画像データを出力すること、
を具備し、
前記ブロック境界線を検出することは、
前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値である第１の値を算出すること、
前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値である第２の値を算出すること、
前記第１の値が前記第２の値よりも大きい場合、前記２つの画素間をブロック境界と判定すること、
を有する、
ことを特徴とする画像処理装置における画像処理方法。
【請求項１１】
前記検出したブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出すること、
前記抽出した極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算すること、
をさらに具備することを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記極所領域のコントラスト成分を抽出することは、前記検出したブロック境界線を跨いで隣接する２つの画像について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化することを有することを特徴とする請求項１０記載の画像処理方法。
【請求項１３】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項１０記載の画像処理方法。
【請求項１４】
前記ブロック歪みを除去するためのフィルタリング処理を実行することは、前記検出したブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用することを有することを特徴とする請求項１０記載の画像処理方法。
【請求項１】
ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、
前記入力手段により入力された画像データ内のブロック境界線を検出するブロック境界線検出手段と、
前記ブロック境界線検出手段により検出されたブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、
前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、
を具備し、
前記ブロック境界線検出手段は、
前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値を算出する第１の算出手段と、
前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値を算出する第２の算出手段と、
前記第１の算出手段により算出された値が前記第２の算出手段により算出された値よりも大きい場合、前記２つの画素間をブロック境界と判定する判定手段と、
を有する、
ことを特徴とする画像処理装置。
【請求項２】
前記ブロック境界線検出手段により検出されたブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出するディテール抽出手段と、
前記ディテール抽出手段により抽出された極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算するディテール加算手段と、
をさらに具備することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ディテール抽出手段は、前記ブロック境界線検出手段により検出されたブロック境界線を跨いで隣接する２つの画素について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化する平滑化手段を有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記デブロッキング処理手段は、前記ブロック境界線検出手段により検出されたブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用するフィルタ選択手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項６】
所定のブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力する入力手段と、
前記入力手段により入力された画像データ内のブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出するディテール抽出手段と、
前記入力手段により入力された画像データ内のブロック境界線上のブロック歪みを除去するためのフィルタリング処理を実行するデブロッキング処理手段と、
前記デブロッキング処理手段によりフィルタリング処理が施された画像データを出力する出力手段と、
前記ディテール抽出手段により抽出された極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算するディテール加算手段と、
を具備することを特徴とする画像処理装置。
【請求項７】
前記ディテール抽出手段は、前記ブロック境界線検出手段により検出されたブロック境界線を跨いで隣接する２つの画素について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化する平滑化手段を有することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記デブロッキング処理手段は、前記入力手段により入力された画像データ内のブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用するフィルタ選択手段を有することを特徴とする請求項６記載の画像処理装置。
【請求項１０】
ブロック単位で圧縮符号化処理が施された画像データに対して伸張復号処理を施した画像データを入力すること、
前記入力した画像データ内のブロック境界線を検出すること、
前記検出したブロック境界線に基づき、ブロック歪みを除去するためのフィルタリング処理を実行すること、
前記フィルタリング処理が施された画像データを出力すること、
を具備し、
前記ブロック境界線を検出することは、
前記画像データ内の隣接する２つの画素間の隣接画素値差分の絶対値である第１の値を算出すること、
前記２つの画素間の隣接画素値差分を除く当該２つの画素の並び方向に位置する画像間の複数の隣接画素値差分の絶対値の総和の値に所定の係数を乗じた値である第２の値を算出すること、
前記第１の値が前記第２の値よりも大きい場合、前記２つの画素間をブロック境界と判定すること、
を有する、
ことを特徴とする画像処理装置における画像処理方法。
【請求項１１】
前記検出したブロック境界線を跨がないように、近隣の画素の画素値から得られる画素値情報を用いて、極所領域のコントラスト成分を抽出すること、
前記抽出した極所領域のコントラスト成分を、前記デブロッキング処理手段に入力される画像データまたは前記デブロッキング処理手段から出力された画像データに加算すること、
をさらに具備することを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記極所領域のコントラスト成分を抽出することは、前記検出したブロック境界線を跨いで隣接する２つの画像について抽出した２つの極所領域のコントラスト成分のそれぞれを、当該２つの極所領域のコントラスト成分を用いて平滑化することを有することを特徴とする請求項１０記載の画像処理方法。
【請求項１３】
前記近隣の画素の画素値から得られる画素値情報は、平滑化フィルタの出力値と画素値との間の差分情報であることを特徴とする請求項１０記載の画像処理方法。
【請求項１４】
前記ブロック歪みを除去するためのフィルタリング処理を実行することは、前記検出したブロック境界線に対するフィルタリング処理について、当該ブロック境界線を跨いで隣接する２つの画素間の画素値差分の絶対値に応じて、特性の異なる複数のフィルタの中からいずれかのフィルタを選択して適用することを有することを特徴とする請求項１０記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１１４７０４（Ｐ２０１１−１１４７０４Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２７０５９７（Ｐ２００９−２７０５９７）
【出願日】平成２１年１１月２７日（２００９．１１．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２７日（２００９．１１．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]