ジャギー緩和処理装置及びジャギー緩和処理方法
【課題】元画像の詳細を保持したままジャギーを緩和する。
【解決手段】ジャギー緩和処理装置１０は、画像内のエッジ領域を認識するエッジ領域認識部１１と、画像内のコーナー領域を認識するコーナー領域認識部１２と、エッジ領域認識部１１及びコーナー領域認識部１２の認識結果に基づいて、画像内の画素のうち処理対象とする画素を選択する選択部１３と、選択部１３により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部１４とを備える。
【解決手段】ジャギー緩和処理装置１０は、画像内のエッジ領域を認識するエッジ領域認識部１１と、画像内のコーナー領域を認識するコーナー領域認識部１２と、エッジ領域認識部１１及びコーナー領域認識部１２の認識結果に基づいて、画像内の画素のうち処理対象とする画素を選択する選択部１３と、選択部１３により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置及びジャギー緩和処理方法に関し、特に、Level-setフィルタを適用する場合の技術に関する。
【背景技術】
【０００２】
近年のコンピューターの高性能化にあわせて、コンピューターによる画像生成・合成・処理の応用分野は、各種設計、芸術、娯楽、セキュリティなど多義にわたるようになってきた。一般に、これらコンピューターを用いて人工的に作られた絵（以降、人工画）は、現実に存在する風景を写真等におさめたもの（以降、自然画）とは異なり、「物体の境界がはっきりしている」「物体の輪郭が明確に線で描かれる」という自然画にはない特徴を備えているものが多い。
【０００３】
コンピューター上でこれらの画像を取り扱う際に問題となるのがエイリアシングノイズである。これは一般にジャギーと呼ばれ、画像上に存在する物体の輪郭線や模様がぎざぎざの状態になる現象をいう。画像を離散値の集合として扱うコンピューター画像処理においてジャギーは避けられない問題であり、特に輪郭が明瞭な人工画においては画像が醜くなってしまう大きな原因の一つである。
【０００４】
ジャギーを緩和するための方法としてLow-passフィルタを適用する方法がある（特許文献１）。しかし、Low-passフィルタを適用すると、人工画の特徴ともいえるはっきりとした輪郭がぼやけてしまうという問題点がある。
【０００５】
そこで、輪郭線の概形に沿ってぎざぎざを緩和する方法（Level-setフィルタ）が提案されている（非特許文献１）。この方法においては、画素中の局所領域に対して輪郭線の特徴を抽出し、この特徴を損なわないよう平滑化を行うため、入力画像の概形を保持したまま輪郭線のぎざぎざを緩和することができる。特に輪郭のはっきりしている人工画に対しては大きな効果が得られる。
【０００６】
以下、例をあげてより詳細に Level-setフィルタについて説明する。このフィルタでは、まず処理対象となる画素Ｉｎとこれを含む局所領域に対して微分フィルタを適用し、水平（Ｉｘ，Ｉｘｘ）・垂直（Ｉｙ，Ｉｙｙ）・斜め（Ｉｘｙ）方向の傾きを得る。図８にそれぞれの傾きを求めるための微分フィルタ係数を示す。そして、求めた傾きにより曲率に基づく特徴量を計算する（式１）。式１中のＩｔが局所領域に対する特徴量となる。
【数１】
【０００７】
この特徴量に重みを乗じたものを処理対象の画素に加え（式２）、さらに式１および式２を繰り返してゆくことにより、局所領域がよりなだらかな状態へと平滑化されてゆく。
【数２】
【０００８】
この特徴量抽出・平滑化の繰り返しプロセスは、離散化によりぎざぎざとなった輪郭線に対して、もともと存在したであろうなだらかな輪郭線形状の特徴を推定し、これを再構成してゆくのと同じ効果を得る。そのため、輪郭線の概形を保持しながら輪郭線のぎざぎざを取り除くことができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平３−１３９７７４号公報
【非特許文献】
【００１０】
【非特許文献１】Bryan S.Morse and Duane Schwartzwald, “Image magnification using level set reconstruction”, Proc. International Conf. Computer Vision, pp.333-341, 2001.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前記したように、Level-setフィルタによれば、輪郭線の概形を保ったまま画像内に存在するぎざぎざを緩和することができるが、その副作用として、元画像の詳細を保持できない場合がある。すなわち、図９（Ａ）に示すように、画像中に存在する鋭角のコーナー部をも、図９（Ｂ）に示すように、ぎざぎざとみなして平滑化してしまう問題が存在する。これらの図を見ても明らかなように、Level-setフィルタを適用すると、鋭角のコーナー部が滑らかになり、元画像の詳細が失われてしまう。
【００１２】
本発明は前記課題を解決するためになされたものであり、その目的は、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明の実施の形態に係る第１の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、前記画像内のエッジ領域を認識するエッジ領域認識部と、前記画像内のコーナー領域を認識するコーナー領域認識部と、前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部とを備えたことである。
【００１４】
本発明の実施の形態に係る第２の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記選択部が、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することである。
【００１５】
本発明の実施の形態に係る第３の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記コーナー領域認識部が、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことである。
【００１６】
本発明の実施の形態に係る第４の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記フィルタ処理部が、前記輪郭線の概形を保ったまま平滑化を行うフィルタとしてLevel-setフィルタを適用することである。
【００１７】
本発明の実施の形態に係る第５の特徴は、前記第４の特徴を備えたジャギー緩和処理装置において、前記エッジ領域認識部と前記Level-setフィルタの両方で実行されるSobelフィルタを共通化したことである。
【００１８】
本発明の実施の形態に係る第６の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、前記画像内のエッジ領域を認識するエッジ領域認識ステップと、前記画像内のコーナー領域を認識するコーナー領域認識ステップと、前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップとを備えたことである。
【発明の効果】
【００１９】
本発明によれば、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態におけるジャギー緩和処理装置の構成図である。
【図２】本発明の第１の実施形態におけるジャギー緩和処理装置の処理を示すフローチャートである。
【図３】本発明の第１の実施形態におけるコーナー領域認識部の内部構造を示す図である。
【図４】本発明の第１の実施形態におけるSUSANフィルタで使用する円形マスクを示す図である。
【図５】本発明の第１の実施形態における除去部による処理を説明するための図である。
【図６】本発明の第１の実施形態における拡張部による処理を説明するための図である。
【図７】本発明の第２の実施形態におけるジャギー緩和処理装置の構成図である。
【図８】局所領域の傾きを算出するフィルタ係数を示す図である。
【図９】Level-set フィルタの副作用を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
本発明は、画像出力装置の画像改善（主にノイズ除去）に適用することができる。すなわち、データサイズ抑制のために圧縮されている画像を液晶ディスプレイなどの表示装置にそのまま出力すると、画像内の輪郭線がぎざぎざの状態で表示されてしまい、画像が醜くなる。そこで、本発明では、Level-setフィルタに基づいたジャギー緩和処理装置においてエッジ/コーナー認識技術を組み合わせ、画像内の特定の個所のみにLevel-setフィルタを適用することとしている。
【００２３】
図１は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の構成図である。このジャギー緩和処理装置１０は、図１に示すように、エッジ領域認識部１１と、コーナー領域認識部１２と、選択部１３ａ及び１３ｂ（以降、一括して「選択部１３」という。）と、フィルタ処理部１４と、パラメータ設定部１５とを備えている。エッジ領域認識部１１は、画像内のエッジ領域を認識する。コーナー領域認識部１２は、画像内のコーナー領域を認識する。選択部１３は、エッジ領域認識部１１及びコーナー領域認識部１２の認識結果に基づいて、画像内の画素のうち処理対象とする画素を選択する。フィルタ処理部１４は、選択部１３により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタ（ここではLevel-setフィルタ）を適用する。パラメータ設定部１５は、エッジ領域認識部１１、コーナー領域認識部１２、及びフィルタ処理部１４で使用される各種パラメータを設定するための処理部である。
【００２４】
図２は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の処理を示すフローチャートである。まず、入力されてきた1画素に対してラスタ操作順にそれぞれエッジ領域認識処理およびコーナー領域認識処理を行う（ステップＳ１→Ｓ２、Ｓ１→Ｓ３）。
【００２５】
１．エッジ領域認識処理
エッジ領域認識部１１は、Level-setフィルタのフィルタリング対象とする候補として、画像内のジャギー部分を含むエッジ領域を抽出する。具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域に微分フィルタを適用することで実現できる。微分フィルタとしては、例えばSobelフィルタが適用可能である。
【００２６】
２．コーナー領域認識処理
コーナー領域認識部１２は、図３に示すように、判定部１２ａと、除去部１２ｂと、拡張部１２ｃとを備えている。判定部１２ａは、画像内の１画素に対するコーナー判定を行う（第１の処理）。除去部１２ｂは、第１の処理によりコーナーと誤判定された点を除外する（第２の処理）。拡張部１２ｃは、第２の処理によりコーナーと判定された点を拡張してコーナー領域とする（第３の処理）。以下、第１から第３の処理を更に詳しく説明する。
【００２７】
２−１．第１の処理
判定部１２ａは、画像内の１画素がコーナー要素であるかどうかを判定する。判定の具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域にコーナー検出フィルタを適用することで実現できる。コーナー検出フィルタとしては、例えばSUSANフィルタが適用可能である。SUSANフィルタは、認識対象となっている画素とその周辺画素との差分絶対値を求め、円形マスク内に存在する画素のうち、この差分絶対値がしきい値以下である画素数をカウントする。これを式であらわすと式３のようになる。
【数３】
【００２８】
図４は、SUSANフィルタで使用する円形マスク２１を示す図である。灰色の部分２２は画像内のコーナー部分を示し、白色の部分２３は画像内の背景部分を示している。
【００２９】
判定部１２ａは、SUSANフィルタ出力値の円形マスク２１の面積に対する割合が一定値以下である場合、画素Ｉｎをコーナーと判定する。たとえば、図４の例では、SUSANフィルタの出力（＝マスク中に存在する同色の画素の合計）が１１、マスクの面積が３７である。灰色で示されているコーナー部分２２が鋭角になれば、SUSANフィルタの出力はより小さくなり、「コーナーである」と判定される。逆に、灰色で示されている部分２２がエッジ形状をとれば、SUSANフィルタの出力はこれより大きくなり、「コーナーでない」と判定されることになる。なお、SUSANフィルタ出力値の円形マスク２１の面積に対する割合については、画像の種類によって変更することもでき、ユーザーが指定することもできる。
【００３０】
２−２．第２の処理
除去部１２ｂは、SUSANフィルタによるコーナー判定方法で誤判定してしまう部分の除去を行う。具体的には、図５（a）に示すような細線を含む場合である。このような場合、中心画素Ｉｎはコーナーではないものの、中心画素Ｉｎとほぼ同じ画素値である画素の総数は少なく、結果的にSUSANフィルタの出力値も小さくなる。よって、コーナー部分ではない画素が「コーナーである」と誤判定されてしまう。これを防ぐために、中心画素Ｉｎがコーナーであると判定されたもののうち、中心画素Ｉｎが所定の画素パターンをとる場合、例外として「コーナーではない」とものと認識するようにする。所定の画素パターンとは、図５（ｂ）に示すように、水平方向が同色の場合、垂直方向が同色の場合、斜め方向が同色の場合などである。
【００３１】
２−３．第３の処理
拡張部１２ｃは、第１および第２の処理が完了した後、コーナーと判定された点を拡張してコーナー領域を決定する。具体的には、「コーナーである」と判定された画素I[x,y]を中心として、周囲4点（上下左右）のピクセルに対し、次の条件で判定を行う。
【数４】
【００３２】
図６における例では、コーナーと判定された画素Ｉ１の1ピクセル右の画素Ｉ２、および1ピクセル下の画素Ｉ３もコーナーに含めている。すなわち、最終的には、Ｉ１〜Ｉ３の3ピクセルをコーナー領域として認識することになる。
【００３３】
３．選択処理
次に、選択部１３は、エッジ領域認識・コーナー領域認識の結果をもとに、Level-setフィルタのフィルタリング対象とする領域を決める（ステップＳ５）。本発明においては、コーナー領域を除くジャギーを含んだエッジ領域のみを平滑化したいので、表１の判定条件にて選択を行う。すなわち、選択部１３は、エッジ領域の要素であり且つコーナー領域の要素でない画素を処理対象として選択するようになっている。
【表１】
【００３４】
４．フィルタ処理
一方、フィルタ処理部１４は、入力されてきた画素に対してLevel-setフィルタを施す（ステップＳ１→Ｓ４）。この処理ステップは式１のフローに従う。そして、選択部１３は、上記した選択処理の結果に従い、Level-setフィルタが施された画素値もしくは施されていない画素値を選択的に出力する（ステップＳ５→Ｓ６）。
【００３５】
これにより、フィルタリング対象として選択された画素のみが平滑化されることになる。上記の手順を最終画素まで繰り返すと、処理を終了する（ステップＳ７）。
【００３６】
以上のように、本発明の第１の実施形態におけるジャギー緩和処理装置１０によれば、入力されてきた画像に対してそれぞれエッジ/コーナー認識処理を行い、この結果をもとに選択した部分にのみLevel-setフィルタを適用するので、元画像の詳細を保持したままジャギーを緩和することができる。特に、セルアニメーションやＣＧ画像に代表される人工画に非常に効果的である。また、このジャギー緩和処理装置１０によれば、フィルタ処理の対象となる部分をあらかじめ選択するので、全画面に対して一様にフィルタを適用する場合に比べて計算量を大幅に削減することが可能である。
【００３７】
（第２の実施形態）
ところで、前記第１の実施形態におけるエッジ領域認識処理は、局所領域の特徴量を求める過程（式１）で行われる演算と等価である。具体的には、水平方向の傾き（Ｉｘ）と垂直方向の傾き（Ｉｙ）を求める手順が、エッジ領域認識処理で使用するSobelフィルタそのものである。そこで、この演算を共通化した構成を第２の実施形態に示す。
【００３８】
図７は、本発明の第２の実施形態におけるジャギー緩和処理装置１０の構成図である。この図に示すように、本実施形態では、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化している。すなわち、Level-setフィルタにおいては、式１にあるとおり、局所領域における水平方向の傾き（Ｉｘ）および垂直方向の傾き（Ｉｙ）を最初に計算する。この計算が行われた時点で、第１の実施形態におけるエッジ領域認識処理と同等の認識処理を行う。そして、エッジ領域の要素であり且つコーナー領域の要素でない画素についてのみ、Level-setフィルタの残りの処理を実行する。
【００３９】
以上のように、本発明の第２の実施形態におけるジャギー緩和処理装置１０によれば、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化しているので、Level-setフィルタにおける演算量を削減することができる。
【００４０】
なお、第１または第２の実施形態において、それぞれのブロックの実装方式は問わない。言い換えると、ソフトウェア実装・ＤＳＰでの実装・ハードウエアロジックでの実装などどのような手段を用いてもかまわない。
【００４１】
また、選択部１３における判定条件は実施形態に挙げたものに限るものではなく、画像の種類やアプリケーションによって変更可能である。たとえば、比較的平坦な領域もより滑らかにしたいという要求がある場合は、エッジ領域判定処理の結果にかかわらず、コーナー領域を除外したすべての領域を平滑化することも可能である。
【００４２】
また、コーナー領域認識部１２の最終段の拡張部１２ｃは実施形態に述べた方法に限らない。すなわち、領域拡張処理を行わなくてもよく、逆に、領域拡張処理を繰り返し適用することによりコーナー領域と判定される部分をより広くすることもできる。これについては画像の種類によって切り替えてもよいし、ユーザーが指定してもよい。
【符号の説明】
【００４３】
１０…ジャギー緩和処理装置
１１…エッジ領域認識部
１２…コーナー領域認識部
１２ａ…判定部
１２ｂ…除去部
１２ｃ…拡張部
１３…選択部
１４…フィルタ処理部
【技術分野】
【０００１】
本発明は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置及びジャギー緩和処理方法に関し、特に、Level-setフィルタを適用する場合の技術に関する。
【背景技術】
【０００２】
近年のコンピューターの高性能化にあわせて、コンピューターによる画像生成・合成・処理の応用分野は、各種設計、芸術、娯楽、セキュリティなど多義にわたるようになってきた。一般に、これらコンピューターを用いて人工的に作られた絵（以降、人工画）は、現実に存在する風景を写真等におさめたもの（以降、自然画）とは異なり、「物体の境界がはっきりしている」「物体の輪郭が明確に線で描かれる」という自然画にはない特徴を備えているものが多い。
【０００３】
コンピューター上でこれらの画像を取り扱う際に問題となるのがエイリアシングノイズである。これは一般にジャギーと呼ばれ、画像上に存在する物体の輪郭線や模様がぎざぎざの状態になる現象をいう。画像を離散値の集合として扱うコンピューター画像処理においてジャギーは避けられない問題であり、特に輪郭が明瞭な人工画においては画像が醜くなってしまう大きな原因の一つである。
【０００４】
ジャギーを緩和するための方法としてLow-passフィルタを適用する方法がある（特許文献１）。しかし、Low-passフィルタを適用すると、人工画の特徴ともいえるはっきりとした輪郭がぼやけてしまうという問題点がある。
【０００５】
そこで、輪郭線の概形に沿ってぎざぎざを緩和する方法（Level-setフィルタ）が提案されている（非特許文献１）。この方法においては、画素中の局所領域に対して輪郭線の特徴を抽出し、この特徴を損なわないよう平滑化を行うため、入力画像の概形を保持したまま輪郭線のぎざぎざを緩和することができる。特に輪郭のはっきりしている人工画に対しては大きな効果が得られる。
【０００６】
以下、例をあげてより詳細に Level-setフィルタについて説明する。このフィルタでは、まず処理対象となる画素Ｉｎとこれを含む局所領域に対して微分フィルタを適用し、水平（Ｉｘ，Ｉｘｘ）・垂直（Ｉｙ，Ｉｙｙ）・斜め（Ｉｘｙ）方向の傾きを得る。図８にそれぞれの傾きを求めるための微分フィルタ係数を示す。そして、求めた傾きにより曲率に基づく特徴量を計算する（式１）。式１中のＩｔが局所領域に対する特徴量となる。
【数１】
【０００７】
この特徴量に重みを乗じたものを処理対象の画素に加え（式２）、さらに式１および式２を繰り返してゆくことにより、局所領域がよりなだらかな状態へと平滑化されてゆく。
【数２】
【０００８】
この特徴量抽出・平滑化の繰り返しプロセスは、離散化によりぎざぎざとなった輪郭線に対して、もともと存在したであろうなだらかな輪郭線形状の特徴を推定し、これを再構成してゆくのと同じ効果を得る。そのため、輪郭線の概形を保持しながら輪郭線のぎざぎざを取り除くことができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平３−１３９７７４号公報
【非特許文献】
【００１０】
【非特許文献１】Bryan S.Morse and Duane Schwartzwald, “Image magnification using level set reconstruction”, Proc. International Conf. Computer Vision, pp.333-341, 2001.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前記したように、Level-setフィルタによれば、輪郭線の概形を保ったまま画像内に存在するぎざぎざを緩和することができるが、その副作用として、元画像の詳細を保持できない場合がある。すなわち、図９（Ａ）に示すように、画像中に存在する鋭角のコーナー部をも、図９（Ｂ）に示すように、ぎざぎざとみなして平滑化してしまう問題が存在する。これらの図を見ても明らかなように、Level-setフィルタを適用すると、鋭角のコーナー部が滑らかになり、元画像の詳細が失われてしまう。
【００１２】
本発明は前記課題を解決するためになされたものであり、その目的は、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明の実施の形態に係る第１の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、前記画像内のエッジ領域を認識するエッジ領域認識部と、前記画像内のコーナー領域を認識するコーナー領域認識部と、前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部とを備えたことである。
【００１４】
本発明の実施の形態に係る第２の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記選択部が、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することである。
【００１５】
本発明の実施の形態に係る第３の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記コーナー領域認識部が、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことである。
【００１６】
本発明の実施の形態に係る第４の特徴は、前記第１の特徴を備えたジャギー緩和処理装置において、前記フィルタ処理部が、前記輪郭線の概形を保ったまま平滑化を行うフィルタとしてLevel-setフィルタを適用することである。
【００１７】
本発明の実施の形態に係る第５の特徴は、前記第４の特徴を備えたジャギー緩和処理装置において、前記エッジ領域認識部と前記Level-setフィルタの両方で実行されるSobelフィルタを共通化したことである。
【００１８】
本発明の実施の形態に係る第６の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、前記画像内のエッジ領域を認識するエッジ領域認識ステップと、前記画像内のコーナー領域を認識するコーナー領域認識ステップと、前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップとを備えたことである。
【発明の効果】
【００１９】
本発明によれば、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態におけるジャギー緩和処理装置の構成図である。
【図２】本発明の第１の実施形態におけるジャギー緩和処理装置の処理を示すフローチャートである。
【図３】本発明の第１の実施形態におけるコーナー領域認識部の内部構造を示す図である。
【図４】本発明の第１の実施形態におけるSUSANフィルタで使用する円形マスクを示す図である。
【図５】本発明の第１の実施形態における除去部による処理を説明するための図である。
【図６】本発明の第１の実施形態における拡張部による処理を説明するための図である。
【図７】本発明の第２の実施形態におけるジャギー緩和処理装置の構成図である。
【図８】局所領域の傾きを算出するフィルタ係数を示す図である。
【図９】Level-set フィルタの副作用を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
本発明は、画像出力装置の画像改善（主にノイズ除去）に適用することができる。すなわち、データサイズ抑制のために圧縮されている画像を液晶ディスプレイなどの表示装置にそのまま出力すると、画像内の輪郭線がぎざぎざの状態で表示されてしまい、画像が醜くなる。そこで、本発明では、Level-setフィルタに基づいたジャギー緩和処理装置においてエッジ/コーナー認識技術を組み合わせ、画像内の特定の個所のみにLevel-setフィルタを適用することとしている。
【００２３】
図１は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の構成図である。このジャギー緩和処理装置１０は、図１に示すように、エッジ領域認識部１１と、コーナー領域認識部１２と、選択部１３ａ及び１３ｂ（以降、一括して「選択部１３」という。）と、フィルタ処理部１４と、パラメータ設定部１５とを備えている。エッジ領域認識部１１は、画像内のエッジ領域を認識する。コーナー領域認識部１２は、画像内のコーナー領域を認識する。選択部１３は、エッジ領域認識部１１及びコーナー領域認識部１２の認識結果に基づいて、画像内の画素のうち処理対象とする画素を選択する。フィルタ処理部１４は、選択部１３により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタ（ここではLevel-setフィルタ）を適用する。パラメータ設定部１５は、エッジ領域認識部１１、コーナー領域認識部１２、及びフィルタ処理部１４で使用される各種パラメータを設定するための処理部である。
【００２４】
図２は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の処理を示すフローチャートである。まず、入力されてきた1画素に対してラスタ操作順にそれぞれエッジ領域認識処理およびコーナー領域認識処理を行う（ステップＳ１→Ｓ２、Ｓ１→Ｓ３）。
【００２５】
１．エッジ領域認識処理
エッジ領域認識部１１は、Level-setフィルタのフィルタリング対象とする候補として、画像内のジャギー部分を含むエッジ領域を抽出する。具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域に微分フィルタを適用することで実現できる。微分フィルタとしては、例えばSobelフィルタが適用可能である。
【００２６】
２．コーナー領域認識処理
コーナー領域認識部１２は、図３に示すように、判定部１２ａと、除去部１２ｂと、拡張部１２ｃとを備えている。判定部１２ａは、画像内の１画素に対するコーナー判定を行う（第１の処理）。除去部１２ｂは、第１の処理によりコーナーと誤判定された点を除外する（第２の処理）。拡張部１２ｃは、第２の処理によりコーナーと判定された点を拡張してコーナー領域とする（第３の処理）。以下、第１から第３の処理を更に詳しく説明する。
【００２７】
２−１．第１の処理
判定部１２ａは、画像内の１画素がコーナー要素であるかどうかを判定する。判定の具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域にコーナー検出フィルタを適用することで実現できる。コーナー検出フィルタとしては、例えばSUSANフィルタが適用可能である。SUSANフィルタは、認識対象となっている画素とその周辺画素との差分絶対値を求め、円形マスク内に存在する画素のうち、この差分絶対値がしきい値以下である画素数をカウントする。これを式であらわすと式３のようになる。
【数３】
【００２８】
図４は、SUSANフィルタで使用する円形マスク２１を示す図である。灰色の部分２２は画像内のコーナー部分を示し、白色の部分２３は画像内の背景部分を示している。
【００２９】
判定部１２ａは、SUSANフィルタ出力値の円形マスク２１の面積に対する割合が一定値以下である場合、画素Ｉｎをコーナーと判定する。たとえば、図４の例では、SUSANフィルタの出力（＝マスク中に存在する同色の画素の合計）が１１、マスクの面積が３７である。灰色で示されているコーナー部分２２が鋭角になれば、SUSANフィルタの出力はより小さくなり、「コーナーである」と判定される。逆に、灰色で示されている部分２２がエッジ形状をとれば、SUSANフィルタの出力はこれより大きくなり、「コーナーでない」と判定されることになる。なお、SUSANフィルタ出力値の円形マスク２１の面積に対する割合については、画像の種類によって変更することもでき、ユーザーが指定することもできる。
【００３０】
２−２．第２の処理
除去部１２ｂは、SUSANフィルタによるコーナー判定方法で誤判定してしまう部分の除去を行う。具体的には、図５（a）に示すような細線を含む場合である。このような場合、中心画素Ｉｎはコーナーではないものの、中心画素Ｉｎとほぼ同じ画素値である画素の総数は少なく、結果的にSUSANフィルタの出力値も小さくなる。よって、コーナー部分ではない画素が「コーナーである」と誤判定されてしまう。これを防ぐために、中心画素Ｉｎがコーナーであると判定されたもののうち、中心画素Ｉｎが所定の画素パターンをとる場合、例外として「コーナーではない」とものと認識するようにする。所定の画素パターンとは、図５（ｂ）に示すように、水平方向が同色の場合、垂直方向が同色の場合、斜め方向が同色の場合などである。
【００３１】
２−３．第３の処理
拡張部１２ｃは、第１および第２の処理が完了した後、コーナーと判定された点を拡張してコーナー領域を決定する。具体的には、「コーナーである」と判定された画素I[x,y]を中心として、周囲4点（上下左右）のピクセルに対し、次の条件で判定を行う。
【数４】
【００３２】
図６における例では、コーナーと判定された画素Ｉ１の1ピクセル右の画素Ｉ２、および1ピクセル下の画素Ｉ３もコーナーに含めている。すなわち、最終的には、Ｉ１〜Ｉ３の3ピクセルをコーナー領域として認識することになる。
【００３３】
３．選択処理
次に、選択部１３は、エッジ領域認識・コーナー領域認識の結果をもとに、Level-setフィルタのフィルタリング対象とする領域を決める（ステップＳ５）。本発明においては、コーナー領域を除くジャギーを含んだエッジ領域のみを平滑化したいので、表１の判定条件にて選択を行う。すなわち、選択部１３は、エッジ領域の要素であり且つコーナー領域の要素でない画素を処理対象として選択するようになっている。
【表１】
【００３４】
４．フィルタ処理
一方、フィルタ処理部１４は、入力されてきた画素に対してLevel-setフィルタを施す（ステップＳ１→Ｓ４）。この処理ステップは式１のフローに従う。そして、選択部１３は、上記した選択処理の結果に従い、Level-setフィルタが施された画素値もしくは施されていない画素値を選択的に出力する（ステップＳ５→Ｓ６）。
【００３５】
これにより、フィルタリング対象として選択された画素のみが平滑化されることになる。上記の手順を最終画素まで繰り返すと、処理を終了する（ステップＳ７）。
【００３６】
以上のように、本発明の第１の実施形態におけるジャギー緩和処理装置１０によれば、入力されてきた画像に対してそれぞれエッジ/コーナー認識処理を行い、この結果をもとに選択した部分にのみLevel-setフィルタを適用するので、元画像の詳細を保持したままジャギーを緩和することができる。特に、セルアニメーションやＣＧ画像に代表される人工画に非常に効果的である。また、このジャギー緩和処理装置１０によれば、フィルタ処理の対象となる部分をあらかじめ選択するので、全画面に対して一様にフィルタを適用する場合に比べて計算量を大幅に削減することが可能である。
【００３７】
（第２の実施形態）
ところで、前記第１の実施形態におけるエッジ領域認識処理は、局所領域の特徴量を求める過程（式１）で行われる演算と等価である。具体的には、水平方向の傾き（Ｉｘ）と垂直方向の傾き（Ｉｙ）を求める手順が、エッジ領域認識処理で使用するSobelフィルタそのものである。そこで、この演算を共通化した構成を第２の実施形態に示す。
【００３８】
図７は、本発明の第２の実施形態におけるジャギー緩和処理装置１０の構成図である。この図に示すように、本実施形態では、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化している。すなわち、Level-setフィルタにおいては、式１にあるとおり、局所領域における水平方向の傾き（Ｉｘ）および垂直方向の傾き（Ｉｙ）を最初に計算する。この計算が行われた時点で、第１の実施形態におけるエッジ領域認識処理と同等の認識処理を行う。そして、エッジ領域の要素であり且つコーナー領域の要素でない画素についてのみ、Level-setフィルタの残りの処理を実行する。
【００３９】
以上のように、本発明の第２の実施形態におけるジャギー緩和処理装置１０によれば、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化しているので、Level-setフィルタにおける演算量を削減することができる。
【００４０】
なお、第１または第２の実施形態において、それぞれのブロックの実装方式は問わない。言い換えると、ソフトウェア実装・ＤＳＰでの実装・ハードウエアロジックでの実装などどのような手段を用いてもかまわない。
【００４１】
また、選択部１３における判定条件は実施形態に挙げたものに限るものではなく、画像の種類やアプリケーションによって変更可能である。たとえば、比較的平坦な領域もより滑らかにしたいという要求がある場合は、エッジ領域判定処理の結果にかかわらず、コーナー領域を除外したすべての領域を平滑化することも可能である。
【００４２】
また、コーナー領域認識部１２の最終段の拡張部１２ｃは実施形態に述べた方法に限らない。すなわち、領域拡張処理を行わなくてもよく、逆に、領域拡張処理を繰り返し適用することによりコーナー領域と判定される部分をより広くすることもできる。これについては画像の種類によって切り替えてもよいし、ユーザーが指定してもよい。
【符号の説明】
【００４３】
１０…ジャギー緩和処理装置
１１…エッジ領域認識部
１２…コーナー領域認識部
１２ａ…判定部
１２ｂ…除去部
１２ｃ…拡張部
１３…選択部
１４…フィルタ処理部
【特許請求の範囲】
【請求項１】
画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
前記画像内のエッジ領域を認識するエッジ領域認識部と、
前記画像内のコーナー領域を認識するコーナー領域認識部と、
前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、
前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部と、
を備えたことを特徴とするジャギー緩和処理装置。
【請求項２】
前記選択部は、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項３】
前記コーナー領域認識部は、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項４】
前記フィルタ処理部は、前記輪郭線の概形を保ったまま平滑化を行うフィルタとしてLevel-setフィルタを適用することを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項５】
前記エッジ領域認識部と前記Level-setフィルタの両方で実行されるSobelフィルタを共通化したことを特徴とする請求項４記載のジャギー緩和処理装置。
【請求項６】
画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
前記画像内のエッジ領域を認識するエッジ領域認識ステップと、
前記画像内のコーナー領域を認識するコーナー領域認識ステップと、
前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、
前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップと、
を備えたことを特徴とするジャギー緩和処理方法。
【請求項１】
画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
前記画像内のエッジ領域を認識するエッジ領域認識部と、
前記画像内のコーナー領域を認識するコーナー領域認識部と、
前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、
前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部と、
を備えたことを特徴とするジャギー緩和処理装置。
【請求項２】
前記選択部は、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項３】
前記コーナー領域認識部は、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項４】
前記フィルタ処理部は、前記輪郭線の概形を保ったまま平滑化を行うフィルタとしてLevel-setフィルタを適用することを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項５】
前記エッジ領域認識部と前記Level-setフィルタの両方で実行されるSobelフィルタを共通化したことを特徴とする請求項４記載のジャギー緩和処理装置。
【請求項６】
画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
前記画像内のエッジ領域を認識するエッジ領域認識ステップと、
前記画像内のコーナー領域を認識するコーナー領域認識ステップと、
前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、
前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップと、
を備えたことを特徴とするジャギー緩和処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−４３０４９（Ｐ２０１２−４３０４９Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８１５６３（Ｐ２０１０−１８１５６３）
【出願日】平成２２年８月１６日（２０１０．８．１６）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１６日（２０１０．８．１６）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]