画像処理装置、プログラムおよび画像処理方法
【課題】輪郭境界に発生する色滲みや無彩色化を低減し、より好適に色ノイズを抑制すること。
【解決手段】画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置が提供される。
【解決手段】画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、性能の高いデジタルカメラが普及し、デジタルカメラのユーザは撮影により高画質の美しい画像を取得できるようになっている。しかしながら、高感度での撮影では、斑状の低周波色ノイズが発生し画像を劣化させるという問題がある。従来の画像処理装置における色ノイズ抑制処理は、処理対象の注目画素を中心とした参照領域内に存在する画素の色差の平均値や加重平均値を用いた平滑化により、色ノイズを除去している。しかしながら、このような低周波色ノイズの除去のためには十分に大きな参照領域が必要であるため、上記の従来手法では輪郭境界において色滲みや混色による無彩色化が広範囲にわたって発生することが問題となっている。
【０００３】
このような問題を解決するために、例えば下記特許文献１では、参照領域内の画素の中で処理対象となる注目画素との色度差が予め設定された閾値未満である画素を、色ノイズ抑制処理の参照画素として選択する手法が、提案されている。当該手法は、色ノイズ抑制の際に極端に画素値が異なる画素を除外して処理を行う。そのため、当該手法は、輪郭の保持性を高めることができ、境界付近の色滲みや無彩色化を低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４１４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような方法においても、色ノイズの変動幅が大きい場合には値の大きい基準値が設定されることになるため、輪郭の保存性が低下し、色滲みや無彩色化が発生し得る。また、色ノイズの発生度合いによらず参照領域が設定されるため、例えば輝度や彩度が高く色ノイズが目立たない場合でも不必要に広範囲の画素が参照されることになる。その結果、色滲みや無彩色化が不必要に広範囲に及び得る。
【０００６】
そこで、本発明は、輪郭境界に発生する色滲みや無彩色化を低減し、より好適に色ノイズを抑制することを可能とする、新規かつ改良された画像処理装置、プログラムおよび画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置が提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【０００８】
また、上記色ノイズ指標算出部は、上記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度のいずれか一方または両方を算出し、当該基準輝度および当該基準彩度のいずれか一方または両方に応じた上記色ノイズの発生度合いを算出してもよい。このような構成により、色ノイズの発生度合いが輝度および彩度に依存することに基づいた的確な色ノイズの発生度合いを算出することができる。これにより、より的確に参照領域を設定し、より的確に参照画素を抽出することができる。
【０００９】
また、上記参照領域サイズ設定部は、上記色ノイズの発生度合いが低い程、より小さい上記参照領域のサイズを設定してもよい。このような構成により、色ノイズの発生度合いが低い箇所（色ノイズが目立ちにくい箇所）程、色滲みや無彩色化が及び得る範囲をより狭めることができる。例えば、最大サイズ１１画素×１１画素のフィルタを使用した場合、従来技術では最大５画素幅に及ぶ色滲みが発生し得るが、当該構成では色滲みが低減される。特に色ノイズの目立たない箇所ではフィルタサイズを１×１（＝平滑化処理なし）とすることで色滲みの発生を完全に除去することができる。この効果は、フィルタの最大サイズが大きくなるにつれて大きくなる。
【００１０】
また、上記画像処理装置は、上記色ノイズの発生度合いに応じて、上記画像データの各画素を構成する１つ以上の画素値の閾値を算出する閾値算出部をさらに備え、上記画素補正部は、上記閾値に基づいて上記参照領域内にある画素の中から補正に用いる参照画素を抽出し、当該参照画素を用いて上記注目画素の画素値を補正してもよい。このような構成により、色ノイズの発生度合いに応じて適切な画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に多くの画素を参照することにより色滲みや無彩色化が発生することを防ぐことができる。
【００１１】
また、上記色ノイズ指標算出部は、上記画像データの各画素を構成する１つ以上の画素値の所定の閾値に基づいて、上記所定の領域内にある画素の中から上記色ノイズの発生度合いの算出に用いる算出用画素を抽出し、当該算出用画素を用いて上記色ノイズの発生度合いを算出してもよい。このような構成により、注目画素と比べて画素値が極端に異なる画素が算出用画素から除外されるため、注目画素の本来の画素値とかけ離れた色ノイズの発生度合いが算出されることを回避することができる。これにより、より的確に参照領域を設定し、より的確に参照画素を抽出することができる。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置として機能させるためのプログラムが提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素とを用いて、当該注目画素における色ノイズの発生度合いを算出するステップと、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定するステップと、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正するステップと、を含む画像処理方法が提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【発明の効果】
【００１４】
以上説明したように、本発明に係る画像処理装置、プログラムおよび画像処理方法によれば、輪郭境界に発生する色滲みや無彩色化を低減し、より好適に色ノイズを抑制することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】基準輝彩度算出用画素の抽出の一例を示す説明図である。
【図３】色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズとの関係の一例を示す説明図である。
【図４】色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴの一例を示す説明図である。
【図５】色ノイズ抑制参照画素の抽出の一例を示す説明図である。
【図６】本発明の一実施形態に係る画像処理装置による処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。一例として説明される本発明の一実施形態は、［１：一実施形態に係る画像処理装置の構成］、［２：処理の流れの例］という順序で説明される。
【００１７】
［１：一実施形態に係る画像処理装置の構成］
まず、図１〜図５を用いて、画像処理装置１００の具体的な構成の一例を説明する。図１は、本発明の一実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、入力画像形式変換部１１０、基準輝彩度算出部１２０、色ノイズ抑制参照領域サイズ設定部１３０、参照画素抽出閾値算出部１４０、参照画素抽出部１５０、および色ノイズ抑制部１６０を備える。
【００１８】
ここで、基準輝彩度算出部１２０、色ノイズ抑制参照領域サイズ設定部１３０、および参照画素抽出閾値算出部１４０は、それぞれ色ノイズ指標算出部、参照領域サイズ設定部および閾値算出部の具体的な一例である。また、参照画素抽出部１５０および色ノイズ抑制部１６０の組合せは、画素補正部の具体的な一例である。
【００１９】
（入力画像形式変換部１１０）
入力画像形式変換部１１０は、入力画像を輝度Y、第一色差C1および第二色差C2を含む画像形式の画像データに変換する。例えば、入力画像がＲＧＢ形式の画像データである場合、例えば以下の式１により上記形式の画像データに変換することができる。
【００２０】
【数１】
・・・（式１）
【００２１】
なお、入力画像が既に輝度Y、第一色差C1および第二色差C2を含む画像形式である場合には、入力画像形式変換部１１０はこの変換を行わなくてもよい。また、入力画像はＲＧＢ形式の画像データに限られず、他の形式の画像データでもよい。
【００２２】
（基準輝彩度算出部１２０）
基準輝彩度算出部１２０は、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、注目画素における色ノイズの発生度合いを算出する。例えば、基準輝彩度算出部１２０は、上記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度を算出し、当該基準輝度および当該基準彩度に応じた前記色ノイズの発生度合いを算出する。
【００２３】
より具体的に説明すると、例えば、まず第１に、基準輝彩度算出部１２０は、注目画素を中心とした所定の領域内にある画素の中から、基準輝度および基準彩度の算出に用いる算出用画素を抽出する。ここでは、上記所定の領域は基準輝彩度算出用領域と呼ばれ、上記算出用画素は基準輝彩度算出用画素と呼ばれる。図２は、基準輝彩度算出用画素の抽出の一例を示す説明図である。図２の左側を参照すると、基準輝彩度算出用領域２０は、例えば注目画素１０を中心とする水平５画素×垂直５画素の矩形領域である。このような基準輝彩度算出用領域内の各画素と注目画素との輝度差分ΔY、第一色差差分ΔC1および第二色差差分ΔC2と、予め設定された算出用画素抽出閾値Yth、C1thおよびC2thとを用いて、例えば以下の式２を満たす画素を基準輝彩度算出用画素として抽出する。
【００２４】
【数２】
・・・（式２）
【００２５】
例えば図２の右側に示されるように、式２を満たす画素１２が基準輝彩度算出用画素として抽出され、一方で式２を満たさない画素１４は算出に用いられる画素から除外される。なお、基準輝彩度算出参照領域には注目画素も存在するため、少なくとも１つ以上の基準輝彩度算出用画素が抽出される。
【００２６】
このような抽出により、注目画素と比べて輝度、第一色差および第二色差が極端に異なる画素が基準輝彩度算出用画素から除外される。そのため、注目画素の本来の輝度、第一色差および第二色差とかけ離れた色ノイズの発生度合いが算出されることを回避することができる。
【００２７】
そして第２に、基準輝彩度算出部１２０は、基準輝彩度算出用画素を用いて、基準輝度Yrefおよび基準彩度Crefを算出する。ここで、基準輝彩度算出部１２０は、抽出されたＮ個の基準輝彩度算出用画素の輝度Yn（n：1〜N）を用いて、例えば以下の式３のように当該輝度の平均値を基準輝度Yrefとして算出する。
【００２８】
【数３】
・・・（式３）
【００２９】
また、基準輝彩度算出部１２０は、抽出されたN個の基準輝彩度算出用画素の第一色差値C1n（n：1〜N）を用いて例えば以下の式４のように第一色差平均値C1aveを、第二色差値C2n（n：1〜N）を用いて例えば以下の式５のように第二色差平均値C2aveを算出する。
【００３０】
【数４】
・・・（式４）
【００３１】
【数５】
・・・（式５）
【００３２】
ここで、基準輝彩度算出部１２０は、第一色差平均値C1aveと第二色差平均値C2aveを用いて、式６のように基準彩度Crefを算出する。
【００３３】
【数６】
・・・（式６）
【００３４】
上述のように基準輝彩度算出手段の処理が行われることで、基準輝彩度算出参照領域に含まれるノイズやエッジの影響が少ない基準輝度Yrefおよび基準彩度Crefが得られる。
【００３５】
そして第３に、基準輝彩度算出部１２０は、基準輝度Yrefおよび基準彩度Crefに応じた色ノイズの発生度合いを色ノイズ指標値CNIとして算出する。色ノイズ指標値CNIは、例えば式７または計算を簡略化した式８により求められる。なお、式中のαおよびβは、輝度および彩度が色ノイズ発生度合いに寄与する度合いを補正する係数である。
【００３６】
【数７】
・・・（式７）
【００３７】
【数８】
・・・（式８）
【００３８】
色ノイズの発生度合いは、輝度が低い程高く、輝度が高い程低いという特徴を有し、さらに、彩度が低い程高く、彩度が高い程低いという特徴を有する。そのため、上記式７または式８のように求められた色ノイズ指標値CNIは、値が小さいほど色ノイズ発生度合いが高く、値が大きいほど色ノイズ発生度合いが低いという特徴を持つ。
【００３９】
上記このように色ノイズ指標値CNIの算出に基準輝度Yrefおよび基準彩度Crefを用いることで、色ノイズの発生度合いが輝度および彩度に依存することに基づいた的確な色ノイズの発生度合い（色ノイズ指標値CNI）を算出することができる。
【００４０】
以上のように、注目画素を中心とした所定の領域内にある画素を用いて、注目画素における色ノイズ指標値（色ノイズの発生度合い）が算出される。ここで、上記の算出方法は一例であり、別の算出方法により別の色ノイズ指標値CNIが算出されてもよい。例えば、基準輝彩度算出用画素は、上記式２の条件とは異なる別の条件で抽出されてもよい。また、例えば、基準輝度、第一色差平均値または第二色差平均値として、各輝度、各第一色差または各第二色差の加重平均値、中央値等の別の値が算出されてもよい。例えば、基準輝度または基準彩度のいずれか一方のみを用いて色ノイズ指標値CNIが算出されてもよいし、別の式により色ノイズ指標値CNIが算出されてもよい。また、輝度、第一色素および第二色素以外の別の画素値により色ノイズの発生度合いを算出できる場合には、当該別の画素値を用いて色ノイズ指標値CNIが算出されてもよい。その場合、基準輝彩度算出部１２０は、当該画素値を含む画像形式に変換された画像データを入力画像形式変換部１１０から入力される。
【００４１】
（色ノイズ抑制参照領域サイズ設定部１３０）
色ノイズ抑制参照領域サイズ設定部１３０は、色ノイズの発生度合い（色ノイズ指標値CNI）に応じて、注目画素を中心とした参照領域のサイズを設定する。参照領域のサイズは、色ノイズの発生度合いが低い程、より小さく設定される。ここでは、上記参照領域は色ノイズ抑制参照領域と呼ばれる。
【００４２】
図３は、色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズとの関係の一例を示す説明図である。図３を参照すると、色ノイズ指標値CNIの閾値としてth1、th2およびth3（th1＜th2＜th3）が予め設定されている。そして、色ノイズ指標値CNIがこれらの閾値により区分けされた範囲のうちいずれに属するかによって、色ノイズ抑制参照領域のサイズが決定される。例えば、CNIが閾値th1未満であり、色ノイズ発生度合いが非常に高い場合には、色ノイズ抑制参照領域のサイズは最大の１１画素×１１画素となる。また、例えば、CNIが閾値th3以上であり、色ノイズ発生度合いが非常に低い場合には、色ノイズ抑制参照領域のサイズは最小の５画素×５画素となる。
【００４３】
上記のような色ノイズ抑制参照領域の設定により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことが可能となる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。特に、色ノイズの発生度合いが低い箇所（色ノイズが目立ちにくい箇所）程、色滲みや無彩色化が及び得る範囲をより狭めることができる。
【００４４】
（参照画素抽出閾値算出部１４０）
参照画素抽出閾値算出部１４０は、色ノイズの発生度合い（色ノイズ指標値CNI）に応じて、画像データの各画素を構成する１つ以上の画素値の閾値を算出する。ここでは、上記閾値は、参照画素抽出閾値と呼ばれる。また、ここでは、上記画素値は、輝度、第一色差および第二色差であり、参照画素抽出閾値は、輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthを含む。
【００４５】
例えば、参照画素抽出閾値算出部１４０は、色ノイズ指標値CNIと各参照画素抽出閾値との対応関係が予め定められたＬＵＴ（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）を参照して、算出された色ノイズ指標値CNIに対応する各参照画素抽出閾値を特定する。図４は、色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴの一例を示す説明図である。図４を参照すると、図中の５０、５２、５４に示されるとおり、色ノイズ指標値CNIが大きくなるにつれて（すなわち色ノイズ発生度合いが小さくなるにつれて）、より小さい輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthが特定される。
【００４６】
なお、ここでは色ノイズ抑制参照領域のサイズの設定に用いられる色ノイズ指標値CNIと同一の値が用いられているが、参照画素抽出閾値の算出用の別の色ノイズ指標値CNI’が用いられてもよい。その場合は、基準輝彩度算出部１２０は、参照画素抽出閾値の算出用の色ノイズ指標値CNI’を算出し、参照画素抽出閾値算出部１４０は、色ノイズ指標値CNI’を提供される。例えば、参照画素抽出閾値の算出用の色ノイズ指標値CNI’は、式７または式８の係数αおよびβを別の値に変えることにより算出された値であってもよい。
【００４７】
（参照画素抽出部１５０）
参照画素抽出部１５０は、参照画素抽出閾値に基づいて色ノイズ抑制参照領域内にある画素の中から補正に用いる参照画素を抽出する。ここでは、上記参照画素は色ノイズ抑制参照画素と呼ばれる。
【００４８】
図５は、色ノイズ抑制参照画素の抽出の一例を示す説明図である。図５の左側を参照すると、ここでの色ノイズ抑制参照領域３０は、例えば注目画素１０を中心とする水平９画素×垂直９画素の矩形領域に設定されている。このような色ノイズ抑制参照領域内の各画素と注目画素との輝度差分ΔY、第一色差差分ΔC1および第二色差差分ΔC2と、算出された輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthとを用いて、例えば以下の式９を満たす画素を色ノイズ抑制参照画素として抽出する。
【００４９】
【数９】
・・・（式９）
【００５０】
例えば図５の右側に示されるように、式９を満たす画素１６が色ノイズ抑制参照画素として抽出され、一方で式９を満たさない画素１８は補正に用いられる画素から除外される。なお、色ノイズ抑制参照領域には注目画素も存在するため、少なくとも１つ以上の色ノイズ抑制参照画素が抽出される。
【００５１】
このような抽出により、色ノイズの発生度合いに応じて適切な画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に多くの画素を参照することにより色滲みや無彩色化が発生することを防ぐことができる。
【００５２】
なお、色ノイズ抑制参照画素は、式９の条件とは異なる別の条件で抽出されてもよい。例えば、式９から（ΔY<YSth）を除いた（ΔC1<C1Sth）∩（ΔC2<C2Sth）を条件として、色ノイズ抑制参照画素が抽出されてもよい。
【００５３】
（色ノイズ抑制部１６０）
色ノイズ抑制部１６０は、色ノイズ抑制参照画素を用いて注目画素の画素値を補正する。ここでは、上記画素値は、第一色差および第二色差である。具体的には、例えば、色ノイズ抑制部１６０は、抽出されたＰ個（Ｐ≧１）の色ノイズ抑制参照画素を用いて、式１０および１１のように第一色差の平均値NrC1と第二色差の平均値NrC2とを算出し、NrC1を注目画素の新たな第一色差とし、またNrC2を注目画素の新たな第二色差とする。
【００５４】
【数１０】
・・・（式１０）
【００５５】
【数１１】
・・・（式１１）
【００５６】
なお、一例として第一色差の平均値NrC1を補正後の第一色差とし、第二色差の平均値NrC2を補正後の第二色差としているが、別の値が補正後の値として用いられてもよい。例えば、注目画素から各色ノイズ抑制参照画素への距離に応じて重みが定められ、当該重みに基づく第一色差の加重平均値および第二色差の加重平均値が用いられてもよい。また、例えば、第一色差の中央値および第二色差の中央値が用いられてもよい。
【００５７】
以上、画像処理装置１００の各構成について説明したが、画像処理装置１００は、典型的には、ハードウェエアおよびソフトウェアの組み合わせにより実現され得る。例えば、画像処理装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、記録媒体、入力装置、出力装置およびそれらの間のデータの伝送路であるバスを備え得る。ＣＰＵは、画像処理装置１００の動作全般を制御する。また、ＲＯＭには、画像処理装置１００の動作を制御するためのプログラムおよびデータが格納され、ＲＡＭには、ＣＰＵによる処理の実行時にプログラムおよびデータが一時的に記憶される。記録媒体には、入力画像、出力画像、色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴ等が記憶される。記録媒体は、例えばハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）が挙げられるが、上記に限られない。入力装置は、例えば撮像により入力画像を取得するデジタルカメラである。出力装置は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の出力画像を表示する表示器である。なお、画像処理装置１００のハードウェア構成は上記の一例の構成に限られないことは、言うまでもない。
【００５８】
［２：処理の流れの例］
次に、図６を用いて、上記の一実施形態に係る画像処理の流れについて説明する。図６は、本発明の一実施形態に係る画像処理装置１００による処理の流れの一例を示すフローチャートである。ここでは、入力画像がＲＧＢ画像形式の画像データであるという前提で説明する。
【００５９】
図６を参照すると、まずステップＳ２００において、入力画像形式変換部１１０は、上記式１により、入力画像を輝度Y、第一色差C1および第二色差C2を含む画像形式の画像データに変換する。
【００６０】
次に、ステップＳ２１０において、変換された画像データに含まれる画素の中から、以下に説明されるステップＳ２２０〜ステップＳ３１０に従って処理される注目画素が選択される。ここで選択される画素は、まだ処理されていない画素である。
【００６１】
次に、ステップＳ２２０において、基準輝彩度算出部１２０は、基準輝彩度算出用領域内の画素の中から、式２を満たす画素を基準輝彩度算出用画素として抽出する。次に、ステップＳ２３０において、基準輝彩度算出部１２０は、基準輝彩度算出用画素の輝度を用いて、上記式３により基準輝度Yrefを算出する。そして、ステップＳ２４０において、基準輝彩度算出部１２０は、基準輝彩度算出用画素の第一色差および第二色差を用いて、上記式４〜６により基準彩度Crefを算出する。そして、ステップＳ２５０において、基準輝彩度算出部１２０は、基準輝度Yrefおよび基準彩度Crefを用いて、上記式７または８により色ノイズ指標値CNIを算出する。
【００６２】
次に、ステップＳ２６０において、色ノイズ抑制参照領域サイズ設定部１３０は、例えば図３に示されるような色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズの対応関係に基づいて、色ノイズ指標値CNIに応じた色ノイズ抑制参照領域のサイズを設定する。
【００６３】
次に、ステップＳ２７０において、参照画素抽出閾値算出部１４０は、例えば図４の５０に示されるような色ノイズ指標値CNIと輝度閾値YSthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた輝度閾値YSthを算出する。そして、ステップＳ２８０において、参照画素抽出閾値算出部１４０は、例えば図４の５２に示されるような色ノイズ指標値CNIと第一色差閾値C1Sthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた第一色差閾値C1Sthを算出する。そして、ステップＳ２９０において、参照画素抽出閾値算出部１４０は、例えば図４の５４に示されるような色ノイズ指標値CNIと第二色差閾値C2Sthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた第二色差閾値C2Sthを算出する。
【００６４】
次に、ステップＳ３００において、参照画素抽出部１５０は、色ノイズ抑制参照領域内の画素の中から、式９を満たす画素を色ノイズ抑制参照画素として抽出する。
【００６５】
次に、ステップＳ３１０において、色ノイズ抑制部１６０は、色ノイズ抑制参照画素を用いて、色ノイズ抑制処理を実行する。すなわち、色ノイズ抑制部１６０は、色ノイズ抑制参照画素の第一色差および第二色差を用いて上記式１０および１１により第一色差の平均値および第二色差の平均値を算出し、当該各平均値を新たな第一色差および第二色差とする。
【００６６】
次に、ステップＳ３２０において、全画素に対するステップＳ２２０〜ステップＳ３１０の処理が完了している場合には、処理は終了する。一方で、１つ以上の画素に対するステップＳ２２０〜ステップＳ３１０の処理が残っている場合には、処理はステップ２１０へ進む。
【００６７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１０ 注目画素
１２ 基準輝彩度算出用画素
１６ 色ノイズ抑制参照画素
２０ 基準輝彩度算出用領域
３０ 色ノイズ抑制参照領域
１００ 画像処理装置
１２０ 基準輝彩度算出部
１３０ 色ノイズ抑制領域サイズ設定部
１４０ 参照画素抽出閾値算出部
１５０ 参照画素抽出部
１６０ 色ノイズ抑制部
【技術分野】
【０００１】
本発明は、画像処理装置、プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、性能の高いデジタルカメラが普及し、デジタルカメラのユーザは撮影により高画質の美しい画像を取得できるようになっている。しかしながら、高感度での撮影では、斑状の低周波色ノイズが発生し画像を劣化させるという問題がある。従来の画像処理装置における色ノイズ抑制処理は、処理対象の注目画素を中心とした参照領域内に存在する画素の色差の平均値や加重平均値を用いた平滑化により、色ノイズを除去している。しかしながら、このような低周波色ノイズの除去のためには十分に大きな参照領域が必要であるため、上記の従来手法では輪郭境界において色滲みや混色による無彩色化が広範囲にわたって発生することが問題となっている。
【０００３】
このような問題を解決するために、例えば下記特許文献１では、参照領域内の画素の中で処理対象となる注目画素との色度差が予め設定された閾値未満である画素を、色ノイズ抑制処理の参照画素として選択する手法が、提案されている。当該手法は、色ノイズ抑制の際に極端に画素値が異なる画素を除外して処理を行う。そのため、当該手法は、輪郭の保持性を高めることができ、境界付近の色滲みや無彩色化を低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４１４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような方法においても、色ノイズの変動幅が大きい場合には値の大きい基準値が設定されることになるため、輪郭の保存性が低下し、色滲みや無彩色化が発生し得る。また、色ノイズの発生度合いによらず参照領域が設定されるため、例えば輝度や彩度が高く色ノイズが目立たない場合でも不必要に広範囲の画素が参照されることになる。その結果、色滲みや無彩色化が不必要に広範囲に及び得る。
【０００６】
そこで、本発明は、輪郭境界に発生する色滲みや無彩色化を低減し、より好適に色ノイズを抑制することを可能とする、新規かつ改良された画像処理装置、プログラムおよび画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置が提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【０００８】
また、上記色ノイズ指標算出部は、上記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度のいずれか一方または両方を算出し、当該基準輝度および当該基準彩度のいずれか一方または両方に応じた上記色ノイズの発生度合いを算出してもよい。このような構成により、色ノイズの発生度合いが輝度および彩度に依存することに基づいた的確な色ノイズの発生度合いを算出することができる。これにより、より的確に参照領域を設定し、より的確に参照画素を抽出することができる。
【０００９】
また、上記参照領域サイズ設定部は、上記色ノイズの発生度合いが低い程、より小さい上記参照領域のサイズを設定してもよい。このような構成により、色ノイズの発生度合いが低い箇所（色ノイズが目立ちにくい箇所）程、色滲みや無彩色化が及び得る範囲をより狭めることができる。例えば、最大サイズ１１画素×１１画素のフィルタを使用した場合、従来技術では最大５画素幅に及ぶ色滲みが発生し得るが、当該構成では色滲みが低減される。特に色ノイズの目立たない箇所ではフィルタサイズを１×１（＝平滑化処理なし）とすることで色滲みの発生を完全に除去することができる。この効果は、フィルタの最大サイズが大きくなるにつれて大きくなる。
【００１０】
また、上記画像処理装置は、上記色ノイズの発生度合いに応じて、上記画像データの各画素を構成する１つ以上の画素値の閾値を算出する閾値算出部をさらに備え、上記画素補正部は、上記閾値に基づいて上記参照領域内にある画素の中から補正に用いる参照画素を抽出し、当該参照画素を用いて上記注目画素の画素値を補正してもよい。このような構成により、色ノイズの発生度合いに応じて適切な画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に多くの画素を参照することにより色滲みや無彩色化が発生することを防ぐことができる。
【００１１】
また、上記色ノイズ指標算出部は、上記画像データの各画素を構成する１つ以上の画素値の所定の閾値に基づいて、上記所定の領域内にある画素の中から上記色ノイズの発生度合いの算出に用いる算出用画素を抽出し、当該算出用画素を用いて上記色ノイズの発生度合いを算出してもよい。このような構成により、注目画素と比べて画素値が極端に異なる画素が算出用画素から除外されるため、注目画素の本来の画素値とかけ離れた色ノイズの発生度合いが算出されることを回避することができる。これにより、より的確に参照領域を設定し、より的確に参照画素を抽出することができる。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正する画素補正部と、を備える画像処理装置として機能させるためのプログラムが提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素とを用いて、当該注目画素における色ノイズの発生度合いを算出するステップと、上記色ノイズの発生度合いに応じて、上記注目画素を中心とした参照領域のサイズを設定するステップと、上記参照領域内にある画素を用いて、上記注目画素の画素値を補正するステップと、を含む画像処理方法が提供される。このような構成により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。
【発明の効果】
【００１４】
以上説明したように、本発明に係る画像処理装置、プログラムおよび画像処理方法によれば、輪郭境界に発生する色滲みや無彩色化を低減し、より好適に色ノイズを抑制することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】基準輝彩度算出用画素の抽出の一例を示す説明図である。
【図３】色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズとの関係の一例を示す説明図である。
【図４】色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴの一例を示す説明図である。
【図５】色ノイズ抑制参照画素の抽出の一例を示す説明図である。
【図６】本発明の一実施形態に係る画像処理装置による処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。一例として説明される本発明の一実施形態は、［１：一実施形態に係る画像処理装置の構成］、［２：処理の流れの例］という順序で説明される。
【００１７】
［１：一実施形態に係る画像処理装置の構成］
まず、図１〜図５を用いて、画像処理装置１００の具体的な構成の一例を説明する。図１は、本発明の一実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、入力画像形式変換部１１０、基準輝彩度算出部１２０、色ノイズ抑制参照領域サイズ設定部１３０、参照画素抽出閾値算出部１４０、参照画素抽出部１５０、および色ノイズ抑制部１６０を備える。
【００１８】
ここで、基準輝彩度算出部１２０、色ノイズ抑制参照領域サイズ設定部１３０、および参照画素抽出閾値算出部１４０は、それぞれ色ノイズ指標算出部、参照領域サイズ設定部および閾値算出部の具体的な一例である。また、参照画素抽出部１５０および色ノイズ抑制部１６０の組合せは、画素補正部の具体的な一例である。
【００１９】
（入力画像形式変換部１１０）
入力画像形式変換部１１０は、入力画像を輝度Y、第一色差C1および第二色差C2を含む画像形式の画像データに変換する。例えば、入力画像がＲＧＢ形式の画像データである場合、例えば以下の式１により上記形式の画像データに変換することができる。
【００２０】
【数１】
・・・（式１）
【００２１】
なお、入力画像が既に輝度Y、第一色差C1および第二色差C2を含む画像形式である場合には、入力画像形式変換部１１０はこの変換を行わなくてもよい。また、入力画像はＲＧＢ形式の画像データに限られず、他の形式の画像データでもよい。
【００２２】
（基準輝彩度算出部１２０）
基準輝彩度算出部１２０は、画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、注目画素における色ノイズの発生度合いを算出する。例えば、基準輝彩度算出部１２０は、上記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度を算出し、当該基準輝度および当該基準彩度に応じた前記色ノイズの発生度合いを算出する。
【００２３】
より具体的に説明すると、例えば、まず第１に、基準輝彩度算出部１２０は、注目画素を中心とした所定の領域内にある画素の中から、基準輝度および基準彩度の算出に用いる算出用画素を抽出する。ここでは、上記所定の領域は基準輝彩度算出用領域と呼ばれ、上記算出用画素は基準輝彩度算出用画素と呼ばれる。図２は、基準輝彩度算出用画素の抽出の一例を示す説明図である。図２の左側を参照すると、基準輝彩度算出用領域２０は、例えば注目画素１０を中心とする水平５画素×垂直５画素の矩形領域である。このような基準輝彩度算出用領域内の各画素と注目画素との輝度差分ΔY、第一色差差分ΔC1および第二色差差分ΔC2と、予め設定された算出用画素抽出閾値Yth、C1thおよびC2thとを用いて、例えば以下の式２を満たす画素を基準輝彩度算出用画素として抽出する。
【００２４】
【数２】
・・・（式２）
【００２５】
例えば図２の右側に示されるように、式２を満たす画素１２が基準輝彩度算出用画素として抽出され、一方で式２を満たさない画素１４は算出に用いられる画素から除外される。なお、基準輝彩度算出参照領域には注目画素も存在するため、少なくとも１つ以上の基準輝彩度算出用画素が抽出される。
【００２６】
このような抽出により、注目画素と比べて輝度、第一色差および第二色差が極端に異なる画素が基準輝彩度算出用画素から除外される。そのため、注目画素の本来の輝度、第一色差および第二色差とかけ離れた色ノイズの発生度合いが算出されることを回避することができる。
【００２７】
そして第２に、基準輝彩度算出部１２０は、基準輝彩度算出用画素を用いて、基準輝度Yrefおよび基準彩度Crefを算出する。ここで、基準輝彩度算出部１２０は、抽出されたＮ個の基準輝彩度算出用画素の輝度Yn（n：1〜N）を用いて、例えば以下の式３のように当該輝度の平均値を基準輝度Yrefとして算出する。
【００２８】
【数３】
・・・（式３）
【００２９】
また、基準輝彩度算出部１２０は、抽出されたN個の基準輝彩度算出用画素の第一色差値C1n（n：1〜N）を用いて例えば以下の式４のように第一色差平均値C1aveを、第二色差値C2n（n：1〜N）を用いて例えば以下の式５のように第二色差平均値C2aveを算出する。
【００３０】
【数４】
・・・（式４）
【００３１】
【数５】
・・・（式５）
【００３２】
ここで、基準輝彩度算出部１２０は、第一色差平均値C1aveと第二色差平均値C2aveを用いて、式６のように基準彩度Crefを算出する。
【００３３】
【数６】
・・・（式６）
【００３４】
上述のように基準輝彩度算出手段の処理が行われることで、基準輝彩度算出参照領域に含まれるノイズやエッジの影響が少ない基準輝度Yrefおよび基準彩度Crefが得られる。
【００３５】
そして第３に、基準輝彩度算出部１２０は、基準輝度Yrefおよび基準彩度Crefに応じた色ノイズの発生度合いを色ノイズ指標値CNIとして算出する。色ノイズ指標値CNIは、例えば式７または計算を簡略化した式８により求められる。なお、式中のαおよびβは、輝度および彩度が色ノイズ発生度合いに寄与する度合いを補正する係数である。
【００３６】
【数７】
・・・（式７）
【００３７】
【数８】
・・・（式８）
【００３８】
色ノイズの発生度合いは、輝度が低い程高く、輝度が高い程低いという特徴を有し、さらに、彩度が低い程高く、彩度が高い程低いという特徴を有する。そのため、上記式７または式８のように求められた色ノイズ指標値CNIは、値が小さいほど色ノイズ発生度合いが高く、値が大きいほど色ノイズ発生度合いが低いという特徴を持つ。
【００３９】
上記このように色ノイズ指標値CNIの算出に基準輝度Yrefおよび基準彩度Crefを用いることで、色ノイズの発生度合いが輝度および彩度に依存することに基づいた的確な色ノイズの発生度合い（色ノイズ指標値CNI）を算出することができる。
【００４０】
以上のように、注目画素を中心とした所定の領域内にある画素を用いて、注目画素における色ノイズ指標値（色ノイズの発生度合い）が算出される。ここで、上記の算出方法は一例であり、別の算出方法により別の色ノイズ指標値CNIが算出されてもよい。例えば、基準輝彩度算出用画素は、上記式２の条件とは異なる別の条件で抽出されてもよい。また、例えば、基準輝度、第一色差平均値または第二色差平均値として、各輝度、各第一色差または各第二色差の加重平均値、中央値等の別の値が算出されてもよい。例えば、基準輝度または基準彩度のいずれか一方のみを用いて色ノイズ指標値CNIが算出されてもよいし、別の式により色ノイズ指標値CNIが算出されてもよい。また、輝度、第一色素および第二色素以外の別の画素値により色ノイズの発生度合いを算出できる場合には、当該別の画素値を用いて色ノイズ指標値CNIが算出されてもよい。その場合、基準輝彩度算出部１２０は、当該画素値を含む画像形式に変換された画像データを入力画像形式変換部１１０から入力される。
【００４１】
（色ノイズ抑制参照領域サイズ設定部１３０）
色ノイズ抑制参照領域サイズ設定部１３０は、色ノイズの発生度合い（色ノイズ指標値CNI）に応じて、注目画素を中心とした参照領域のサイズを設定する。参照領域のサイズは、色ノイズの発生度合いが低い程、より小さく設定される。ここでは、上記参照領域は色ノイズ抑制参照領域と呼ばれる。
【００４２】
図３は、色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズとの関係の一例を示す説明図である。図３を参照すると、色ノイズ指標値CNIの閾値としてth1、th2およびth3（th1＜th2＜th3）が予め設定されている。そして、色ノイズ指標値CNIがこれらの閾値により区分けされた範囲のうちいずれに属するかによって、色ノイズ抑制参照領域のサイズが決定される。例えば、CNIが閾値th1未満であり、色ノイズ発生度合いが非常に高い場合には、色ノイズ抑制参照領域のサイズは最大の１１画素×１１画素となる。また、例えば、CNIが閾値th3以上であり、色ノイズ発生度合いが非常に低い場合には、色ノイズ抑制参照領域のサイズは最小の５画素×５画素となる。
【００４３】
上記のような色ノイズ抑制参照領域の設定により、色ノイズの発生度合いに応じた適切な範囲内の画素のみを参照して色ノイズ抑制（補正）を施すことが可能となる。これにより、不必要に広い範囲の中に存在する画素を参照することにより色滲みや無彩色化が広範囲に及ぶことを防ぐことができる。特に、色ノイズの発生度合いが低い箇所（色ノイズが目立ちにくい箇所）程、色滲みや無彩色化が及び得る範囲をより狭めることができる。
【００４４】
（参照画素抽出閾値算出部１４０）
参照画素抽出閾値算出部１４０は、色ノイズの発生度合い（色ノイズ指標値CNI）に応じて、画像データの各画素を構成する１つ以上の画素値の閾値を算出する。ここでは、上記閾値は、参照画素抽出閾値と呼ばれる。また、ここでは、上記画素値は、輝度、第一色差および第二色差であり、参照画素抽出閾値は、輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthを含む。
【００４５】
例えば、参照画素抽出閾値算出部１４０は、色ノイズ指標値CNIと各参照画素抽出閾値との対応関係が予め定められたＬＵＴ（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）を参照して、算出された色ノイズ指標値CNIに対応する各参照画素抽出閾値を特定する。図４は、色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴの一例を示す説明図である。図４を参照すると、図中の５０、５２、５４に示されるとおり、色ノイズ指標値CNIが大きくなるにつれて（すなわち色ノイズ発生度合いが小さくなるにつれて）、より小さい輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthが特定される。
【００４６】
なお、ここでは色ノイズ抑制参照領域のサイズの設定に用いられる色ノイズ指標値CNIと同一の値が用いられているが、参照画素抽出閾値の算出用の別の色ノイズ指標値CNI’が用いられてもよい。その場合は、基準輝彩度算出部１２０は、参照画素抽出閾値の算出用の色ノイズ指標値CNI’を算出し、参照画素抽出閾値算出部１４０は、色ノイズ指標値CNI’を提供される。例えば、参照画素抽出閾値の算出用の色ノイズ指標値CNI’は、式７または式８の係数αおよびβを別の値に変えることにより算出された値であってもよい。
【００４７】
（参照画素抽出部１５０）
参照画素抽出部１５０は、参照画素抽出閾値に基づいて色ノイズ抑制参照領域内にある画素の中から補正に用いる参照画素を抽出する。ここでは、上記参照画素は色ノイズ抑制参照画素と呼ばれる。
【００４８】
図５は、色ノイズ抑制参照画素の抽出の一例を示す説明図である。図５の左側を参照すると、ここでの色ノイズ抑制参照領域３０は、例えば注目画素１０を中心とする水平９画素×垂直９画素の矩形領域に設定されている。このような色ノイズ抑制参照領域内の各画素と注目画素との輝度差分ΔY、第一色差差分ΔC1および第二色差差分ΔC2と、算出された輝度閾値YSth、第一色差閾値C1Sthおよび第二色差閾値C2Sthとを用いて、例えば以下の式９を満たす画素を色ノイズ抑制参照画素として抽出する。
【００４９】
【数９】
・・・（式９）
【００５０】
例えば図５の右側に示されるように、式９を満たす画素１６が色ノイズ抑制参照画素として抽出され、一方で式９を満たさない画素１８は補正に用いられる画素から除外される。なお、色ノイズ抑制参照領域には注目画素も存在するため、少なくとも１つ以上の色ノイズ抑制参照画素が抽出される。
【００５１】
このような抽出により、色ノイズの発生度合いに応じて適切な画素のみを参照して色ノイズ抑制（補正）を施すことができる。これにより、不必要に多くの画素を参照することにより色滲みや無彩色化が発生することを防ぐことができる。
【００５２】
なお、色ノイズ抑制参照画素は、式９の条件とは異なる別の条件で抽出されてもよい。例えば、式９から（ΔY<YSth）を除いた（ΔC1<C1Sth）∩（ΔC2<C2Sth）を条件として、色ノイズ抑制参照画素が抽出されてもよい。
【００５３】
（色ノイズ抑制部１６０）
色ノイズ抑制部１６０は、色ノイズ抑制参照画素を用いて注目画素の画素値を補正する。ここでは、上記画素値は、第一色差および第二色差である。具体的には、例えば、色ノイズ抑制部１６０は、抽出されたＰ個（Ｐ≧１）の色ノイズ抑制参照画素を用いて、式１０および１１のように第一色差の平均値NrC1と第二色差の平均値NrC2とを算出し、NrC1を注目画素の新たな第一色差とし、またNrC2を注目画素の新たな第二色差とする。
【００５４】
【数１０】
・・・（式１０）
【００５５】
【数１１】
・・・（式１１）
【００５６】
なお、一例として第一色差の平均値NrC1を補正後の第一色差とし、第二色差の平均値NrC2を補正後の第二色差としているが、別の値が補正後の値として用いられてもよい。例えば、注目画素から各色ノイズ抑制参照画素への距離に応じて重みが定められ、当該重みに基づく第一色差の加重平均値および第二色差の加重平均値が用いられてもよい。また、例えば、第一色差の中央値および第二色差の中央値が用いられてもよい。
【００５７】
以上、画像処理装置１００の各構成について説明したが、画像処理装置１００は、典型的には、ハードウェエアおよびソフトウェアの組み合わせにより実現され得る。例えば、画像処理装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、記録媒体、入力装置、出力装置およびそれらの間のデータの伝送路であるバスを備え得る。ＣＰＵは、画像処理装置１００の動作全般を制御する。また、ＲＯＭには、画像処理装置１００の動作を制御するためのプログラムおよびデータが格納され、ＲＡＭには、ＣＰＵによる処理の実行時にプログラムおよびデータが一時的に記憶される。記録媒体には、入力画像、出力画像、色ノイズ指標値CNIと参照画素抽出閾値との関係を定めるＬＵＴ等が記憶される。記録媒体は、例えばハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）が挙げられるが、上記に限られない。入力装置は、例えば撮像により入力画像を取得するデジタルカメラである。出力装置は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の出力画像を表示する表示器である。なお、画像処理装置１００のハードウェア構成は上記の一例の構成に限られないことは、言うまでもない。
【００５８】
［２：処理の流れの例］
次に、図６を用いて、上記の一実施形態に係る画像処理の流れについて説明する。図６は、本発明の一実施形態に係る画像処理装置１００による処理の流れの一例を示すフローチャートである。ここでは、入力画像がＲＧＢ画像形式の画像データであるという前提で説明する。
【００５９】
図６を参照すると、まずステップＳ２００において、入力画像形式変換部１１０は、上記式１により、入力画像を輝度Y、第一色差C1および第二色差C2を含む画像形式の画像データに変換する。
【００６０】
次に、ステップＳ２１０において、変換された画像データに含まれる画素の中から、以下に説明されるステップＳ２２０〜ステップＳ３１０に従って処理される注目画素が選択される。ここで選択される画素は、まだ処理されていない画素である。
【００６１】
次に、ステップＳ２２０において、基準輝彩度算出部１２０は、基準輝彩度算出用領域内の画素の中から、式２を満たす画素を基準輝彩度算出用画素として抽出する。次に、ステップＳ２３０において、基準輝彩度算出部１２０は、基準輝彩度算出用画素の輝度を用いて、上記式３により基準輝度Yrefを算出する。そして、ステップＳ２４０において、基準輝彩度算出部１２０は、基準輝彩度算出用画素の第一色差および第二色差を用いて、上記式４〜６により基準彩度Crefを算出する。そして、ステップＳ２５０において、基準輝彩度算出部１２０は、基準輝度Yrefおよび基準彩度Crefを用いて、上記式７または８により色ノイズ指標値CNIを算出する。
【００６２】
次に、ステップＳ２６０において、色ノイズ抑制参照領域サイズ設定部１３０は、例えば図３に示されるような色ノイズ指標値CNIと色ノイズ抑制参照領域のサイズの対応関係に基づいて、色ノイズ指標値CNIに応じた色ノイズ抑制参照領域のサイズを設定する。
【００６３】
次に、ステップＳ２７０において、参照画素抽出閾値算出部１４０は、例えば図４の５０に示されるような色ノイズ指標値CNIと輝度閾値YSthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた輝度閾値YSthを算出する。そして、ステップＳ２８０において、参照画素抽出閾値算出部１４０は、例えば図４の５２に示されるような色ノイズ指標値CNIと第一色差閾値C1Sthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた第一色差閾値C1Sthを算出する。そして、ステップＳ２９０において、参照画素抽出閾値算出部１４０は、例えば図４の５４に示されるような色ノイズ指標値CNIと第二色差閾値C2Sthとの関係を定めるＬＵＴに基づいて、色ノイズ指標値CNIに応じた第二色差閾値C2Sthを算出する。
【００６４】
次に、ステップＳ３００において、参照画素抽出部１５０は、色ノイズ抑制参照領域内の画素の中から、式９を満たす画素を色ノイズ抑制参照画素として抽出する。
【００６５】
次に、ステップＳ３１０において、色ノイズ抑制部１６０は、色ノイズ抑制参照画素を用いて、色ノイズ抑制処理を実行する。すなわち、色ノイズ抑制部１６０は、色ノイズ抑制参照画素の第一色差および第二色差を用いて上記式１０および１１により第一色差の平均値および第二色差の平均値を算出し、当該各平均値を新たな第一色差および第二色差とする。
【００６６】
次に、ステップＳ３２０において、全画素に対するステップＳ２２０〜ステップＳ３１０の処理が完了している場合には、処理は終了する。一方で、１つ以上の画素に対するステップＳ２２０〜ステップＳ３１０の処理が残っている場合には、処理はステップ２１０へ進む。
【００６７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１０ 注目画素
１２ 基準輝彩度算出用画素
１６ 色ノイズ抑制参照画素
２０ 基準輝彩度算出用領域
３０ 色ノイズ抑制参照領域
１００ 画像処理装置
１２０ 基準輝彩度算出部
１３０ 色ノイズ抑制領域サイズ設定部
１４０ 参照画素抽出閾値算出部
１５０ 参照画素抽出部
１６０ 色ノイズ抑制部
【特許請求の範囲】
【請求項１】
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正する画素補正部と、
を備える画像処理装置。
【請求項２】
前記色ノイズ指標算出部は、前記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度のいずれか一方または両方を算出し、当該基準輝度および当該基準彩度のいずれか一方または両方に応じた前記色ノイズの発生度合いを算出する、請求項１に記載の画像処理装置。
【請求項３】
前記参照領域サイズ設定部は、前記色ノイズの発生度合いが低い程、より小さい前記参照領域のサイズを設定する、請求項１に記載の画像処理装置。
【請求項４】
前記色ノイズ指標算出部は、前記画像データの各画素を構成する１つ以上の画素値の所定の閾値に基づいて、前記所定の領域内にある画素の中から前記色ノイズの発生度合いの算出に用いる算出用画素を抽出し、当該算出用画素を用いて前記色ノイズの発生度合いを算出する、請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記色ノイズの発生度合いに応じて、前記画像データの各画素を構成する１つ以上の画素値の閾値を算出する閾値算出部をさらに備え、
前記画素補正部は、前記閾値に基づいて前記参照領域内にある画素の中から補正に用いる参照画素を抽出し、当該参照画素を用いて前記注目画素の画素値を補正する、
請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正する画素補正部と、
を備える画像処理装置として機能させるためのプログラム。
【請求項７】
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素とを用いて、当該注目画素における色ノイズの発生度合いを算出するステップと、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定するステップと、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正するステップと、
を含む画像処理方法。
【請求項１】
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正する画素補正部と、
を備える画像処理装置。
【請求項２】
前記色ノイズ指標算出部は、前記所定の領域内にある画素を用いて、ノイズの影響を受けにくい基準輝度および基準彩度のいずれか一方または両方を算出し、当該基準輝度および当該基準彩度のいずれか一方または両方に応じた前記色ノイズの発生度合いを算出する、請求項１に記載の画像処理装置。
【請求項３】
前記参照領域サイズ設定部は、前記色ノイズの発生度合いが低い程、より小さい前記参照領域のサイズを設定する、請求項１に記載の画像処理装置。
【請求項４】
前記色ノイズ指標算出部は、前記画像データの各画素を構成する１つ以上の画素値の所定の閾値に基づいて、前記所定の領域内にある画素の中から前記色ノイズの発生度合いの算出に用いる算出用画素を抽出し、当該算出用画素を用いて前記色ノイズの発生度合いを算出する、請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記色ノイズの発生度合いに応じて、前記画像データの各画素を構成する１つ以上の画素値の閾値を算出する閾値算出部をさらに備え、
前記画素補正部は、前記閾値に基づいて前記参照領域内にある画素の中から補正に用いる参照画素を抽出し、当該参照画素を用いて前記注目画素の画素値を補正する、
請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素を用いて、当該注目画素における色ノイズの発生度合いを算出する色ノイズ指標算出部と、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定する参照領域サイズ設定部と、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正する画素補正部と、
を備える画像処理装置として機能させるためのプログラム。
【請求項７】
画像データに含まれる処理対象となる注目画素を中心とした所定の領域内にある画素とを用いて、当該注目画素における色ノイズの発生度合いを算出するステップと、
前記色ノイズの発生度合いに応じて、前記注目画素を中心とした参照領域のサイズを設定するステップと、
前記参照領域内にある画素を用いて、前記注目画素の画素値を補正するステップと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１３４６６１（Ｐ２０１２−１３４６６１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３６６７（Ｐ２０１０−２８３６６７）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]