画像処理装置
【課題】
画像のエッジ部分に影響を与えることなく平坦部の色ノイズ除去を行う。
【解決手段】
補正画素とその周辺画素から平均、分散などの情報を用いて、絵柄に応じて色ノイズを適応的に除去する。例えば、目標値を算出する目標値算出手段と、色差信号を特定の値に収束するように補正する収束補正部と、前記目標値算出部と前記収束補正部の設定値を制御する制御部と、を有し、前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、前記制御部は、抽出した収束目標値を参照して前記目標値算出部の設定値を調整し、前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う。
画像のエッジ部分に影響を与えることなく平坦部の色ノイズ除去を行う。
【解決手段】
補正画素とその周辺画素から平均、分散などの情報を用いて、絵柄に応じて色ノイズを適応的に除去する。例えば、目標値を算出する目標値算出手段と、色差信号を特定の値に収束するように補正する収束補正部と、前記目標値算出部と前記収束補正部の設定値を制御する制御部と、を有し、前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、前記制御部は、抽出した収束目標値を参照して前記目標値算出部の設定値を調整し、前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。例えば、画像信号の色を補正することが可能な全ての機器に関わる。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００３−１２３０６３号公報（特許文献１）ある。該公報には「［課題］簡単な構成で色エッジの検出が可能で、色滲みを防ぎながら色ノイズ除去を行うことができる画像処理装置を提供する。［解決手段］ベイヤー配列ＲＧＢ色フィルタが取り付けられ、被写体像を画像信号に変換する撮像手段１と、該画像信号に係るＧ色信号から輝度データを求める輝度データ生成部７と、該輝度データを用いて画像のエッジ強調処理を行うハイパスフィルタ８，エッジ強調度調整部９及び加算回路10と、前記画像信号に係る色差信号を用いて色エッジを検出し、色ノイズ除去を施す色ノイズ除去部11とを設けて画像処理装置を構成する。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２３０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラのような撮像装置では、一般的にレンズを通過した光をカラーフィルタや撮像素子、ＡＤ変換回路などのアナログ回路を通ってデジタルの画像信号に変換する。この後、デジタル信号処理回路などによって様々な画像処理を施され画像として表示される。
【０００５】
しかし、カラーフィルタはベイヤ配列のように特定の規則を持って配置されているため、１画素毎に保持している色情報は異なる。また撮像素子によって光電変換し、アナログアンプによって増幅されるため、同じ色の情報を持っている画素でもアナログ回路の特性のばらつきが原因で信号もばらついてしまう。このような差異を持った信号に対してデジタル信号処理回路による画像処理を施すと色ノイズが発生してしまう。
【０００６】
このような色ノイズは一般的に周波数の高い成分を持っているため、周囲の信号と混ぜ合わせて平滑化する方法がとられる。但し、画面全体を平滑化すると元々画像が持っている高周波成分も消えてしまうため、エッジ部と平坦部を判定し、それぞれの領域に適した色ノイズ除去を行う方法がとられる。
【０００７】
このような方法に関しては例えば特開２００３−１２３０６３号公報が挙げられる。しかし、特開２００３−１２３０６３号公報では、「得られた色エッジ情報を基に画像の色差平坦部を判別し、色差平坦部のＣｒ、Ｃｂ信号に対してのみ２次元マトリクスＬＰＦによる２次元空間フィルタリング処理を施し色ノイズ除去が行われる。」（段落００１７）とある。そのため、着目画素が色ノイズと判断された場合にＬＰＦの特性によって色ノイズを抑制するものの、ＬＰＦの特性は一律であるため色ノイズ判定において閾値付近の画素についても一律に補正がかかってしまい、色の段差が発生する場合がある。
【０００８】
すなわち、従来処理では色ノイズと判定された信号に対しては一律に補正を行うため、補正画素と周辺の未補正画素との境界に段差が発生してしまう場合があるという課題があった。
【課題を解決するための手段】
【０００９】
上記課題は特許請求の範囲に示した構成にて解決・改善される。
【発明の効果】
【００１０】
例えば、補正画素と周辺の未補正画素との境界に発生する段差やエッジ部の滲みを抑制しつつ、平坦部の色ノイズを適応的に補正することができる。
【００１１】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明の基本構成例を示した図
【図２】目標値算出部の構成例を示した図
【図３】２次元フィルタの構成例を示した図
【図４】２次元フィルタの画素参照方法を示した図
【図５】収束補正部の構成例を示した図
【図６】収束目標値を中心とした色差空間への変換を表した図
【図７】収束範囲と収束目標値の関係を示した図
【図８】収束範囲と収束係数の関係を示した図
【図９】輝度信号や分散値を用いた構成例を示した図
【発明を実施するための形態】
【００１３】
以下に本発明を実施するための形態を図と合わせて示す。
【実施例１】
【００１４】
図１は、本発明の基本構成である色ノイズ除去部１１０を示す図であり、
色差信号にフィルタ処理を施し収束目標値を算出するための目標値算出部１３０と、
目標値算出や収束補正の設定値を制御するための制御部１４０と、
色差信号を目標値に向けて収束するための収束補正部１５０と、
輝度信号と色差信号を同期させて出力するための同期調整部１７０と、
から構成されている。
【００１５】
目標値算出部１３０は、色差信号に対して１画素毎に周辺画素の信号も利用した５画素×５画素（以下、５×５という）の２次元フィルタ処理を行い、収束目標値を算出する。色ノイズは高周波の成分として画像に表れるため、フィルタの特性は色ノイズの影響を減少するためにＬＰＦの特性を持つものとする。本フィルタの構成例は後述する。
【００１６】
制御部１４０は、収束補正部１５０に対して収束目標値を中心とした収束範囲を設定するための収束閾値と収束の度合いを表す収束度を設定する。この時、前記目標値算出部１３０で算出した収束目標値を参照することで、補正対象となる色差空間上の範囲がわかるため、色差空間上の位置に応じて収束の範囲を個別に制御することもできる。このような処理を行うことで、特定のカラーマップや入出力デバイスに適した調整が可能となる。
【００１７】
収束補正部１５０は、目標値算出部１３０で算出した収束目標値に対して前記制御部１４０で設定された設定値を用いて収束係数を算出し、補正対象画素が収束目標値に色差空間上で収束するように補正する。
【００１８】
同期調整部１７０は、補正処理によって遅延の生じた色差信号と輝度信号を同期させて出力する。
【００１９】
以上のような構成要素を用いて１画素毎に周辺画素情報を用いた色ノイズ補正処理を行うことで、特にアニメーションやコンピュータグラフィックス等のエッジ部と平坦部がはっきりしている絵柄に対して、平坦部の色ノイズを適応的に補正することができる。
【００２０】
図２は、図1に示した目標値算出部１３０の構成例を示すものである。目標値算出部１３０は、ラインディレイ部２１０とＬＰＦ部２２０から構成されている。ＬＰＦ部２２０は画像の低域周波数成分を抽出するための５×５の２次元フィルタであり、ラインディレイ部２１０はＬＰＦ部２２０に不足なく画素値を入力するために、ラインメモリを用いて遅延させた５ライン分の画素値を保持するものである。入力色差信号はラインディレイ部２１０で５ライン分が保持され、補正対象画素と周辺の５×５画素に対してＬＰＦ部２２０でフィルタ処理が行われる。ＬＰＦ部２２０は、フィルタ後の色差信号を収束目標値として出力し、収束処理では収束目標値に向かって収束させるものとする。
【００２１】
図３に、目標値算出部１３０(図1)において２次元フィルタ処理に用いるフィルタ構成例を示す。同図において、５×５のマス目は各画素を表し、マス目の中の数字はフィルタリングを行う場合の各画素へ掛けこむ重み係数である。入力信号は前記ラインディレイ部２１０によって遅延させた５ライン分の信号である。このような信号に対して、図に示すような５×５マスの重み係数３１０で対応する位置の画素を重み付けした後、加算器３２０で５×５の信号を合計し、正規化するために割り算器３３０は各重み係数の合計値で割り算を行う。
【００２２】
重み係数は、図３(a)に示すような重み係数が一律同じ値である相加平均や、図３(b)に示すような重み係数に任意の偏りを持たせた加重平均が挙げられる。図３(a)の相加平均を用いることで、単純な論理で周辺画素から均一に相関情報を得ることができる。図３(b)の加重平均を用いることで、ユーザが任意の方向への相関性を重視したり、重み係数の合計値を2の乗数に調整することで、割り算器３３０における割り算処理をシフト演算に代替できるため、容易に回路化したりすることが可能となる。またフィルタのサイズは５×５に限定されるものではなく、画像サイズや実装回路規模に合わせてフィルタサイズを変更したとしても類似の効果を発揮する。
【００２３】
図４に２次元フィルタの画素参照方法を示す。図４(ａ）は２次元フィルタの処理順序を示しており、左側がｎ番目の画素の処理状態で、右側が(ｎ＋１)番目の画素の処理状態となる。図に示すように、水平ライン方向に１画素ずつ２次元フィルタの位置を移動させながら処理を行い、画像端に到達するとラインを１列移動させて同様に処理を行う。また、図４(ｂ)は画像端の画素を補正対象画素とした場合において、画素の存在しない部分の参照方法を示す。水平方向にはみ出したｈhのような部分は水平方向に反転させた位置に存在する画素ｈを参照し、垂直方向にはみ出したｆvのような部分は垂直方向に反転させた位置に存在する画素ｆを参照する。さらに斜め方向にはみ出したｂsのような部分は画像の角を中心に反転させた位置に存在する画素ｂを参照する。
【００２４】
以上のような２次元フィルタリング処理を行うことで、補正対象画素と周辺画像との相関性に応じた収束目標値の設定を行うことができる。
【００２５】
図５は収束補正部１５０の構成を示すものである。収束補正部１５０は、距離算出部５１０と収束係数算出部５２０を備えている。距離算出部５１０は、入力座標と原点との距離Ｌを算出するものである。収束係数算出部５２０は、距離算出部５１０で算出する距離Lと前記制御部１４０で設定する設定値によって収束係数Ｋを算出する。収束係数Ｋとは距離に応じた収束の強度を表す係数であり、算出方法は後述する。
【００２６】
図６は色差空間上における補正対象画素と収束目標値の関係を示した図である。色差空間のグラフは横軸をCb、縦軸をCrとして表している。また以降の図に示す色差空間のグラフについてはすべて同じ軸で扱うものとする。また補正対象画素の色差信号を(Cb_in,Cr_in)、収束目標値を(Cb_mark,Cr_mark)として表している。まず前記距離算出部５１０(図５)で入力色差信号(Cb_in,Cr_in)と収束目標値を(Cb_mark,Cr_mark)との距離Ｌを算出する。距離Ｌは直線距離で示されるユークリッド距離に限定されるものではなく、マンハッタン距離やCr座標とCb座標を比較して大きい方の値を用いることで演算量の増加を抑制することもできる。算出した距離Ｌを用いて前記収束係数算出部５２０(図５)で収束係数Ｋを算出する。
【００２７】
図７は入力画像と収束目標値と収束範囲の関係の一例を示す図である。図７(a)、(b)ともに上半分が入力画像を表しており、下半分が色差空間を表している。図７(a)は補正対象画素を含めた周辺画素がすべて赤色付近に存在するような平坦な絵柄の場合である。フィルタ処理後の収束目標値Ａは色差空間上の赤色領域上の座標となり、この座標を中心に収束範囲が設定される。そのため補正対象画素が平坦な絵柄であるなら他の色に影響を与えずに色ノイズを補正することができる。図７(b)は補正対象画素を含めた周辺画素が赤色領域と青色領域にまたがるエッジの様な絵柄の場合である。フィルタ処理後の収束目標値Ｂは色差空間上の赤色領域と青色領域の中間地点の座標となり、この座標を中心に収束範囲が設定される。そのため補正対象画素がエッジの様な絵柄の場合には収束範囲を適切に設定することで、補正対象画素が収束範囲内に存在しないため、収束補正によってエッジが滲んでしまうことを防ぐことができる。
【００２８】
図８は色差空間上の収束範囲と収束係数Ｋの関係を示している。
収束係数Kは、距離に応じた収束の強度を表す係数であり、前記制御部１４０によって設定された収束閾値thresholdと収束度levelによって図８の上部に示されるグラフの特性を持つ。グラフの横軸は距離Ｌを表し、グラフの縦軸は収束係数Ｋを示す。グラフに示す通り、収束閾値thresholdは収束係数Ｋが最大値をとる範囲を表し、収束度levelは(L≧threshold)となる場合の収束係数Kの傾きを示す。よって,収束係数Ｋの算出式は以下の通りとなる。
【００２９】
K＝-lebel×(L-thresh)+max 但し(max≧K≧０)
(L＜threshold)となる場合、補正対象画素が図８の下の図中で示される置換範囲内に存在し、収束係数Ｋは最大値maxをとる。この場合、補正対象画素の補正後の出力色差信号を(Cb_out,Cr_out)とすると、以下の式に従って置換される。
【００３０】
Cb_out ＝ Cb_mark
Cr_out ＝ Cr_mark
(L≧threshold)となる場合は、次の様になる。
【００３１】
Cb_out ＝ Cb_in×(max-K)/max + Cb_mark×K/max
Cr_out ＝ Cr_in×(max-K)/max + Cr_mark×K/max
このような式に従って収束させることで、収束目標値である原点に距離が近づく程強く補正し、離れる程に補正の効果が薄めることができる。そのため、平坦部における補正のように補正対象画素と未補正画素の差分が小さい場合にも補正による画素の段差の発生を抑制することができる。
【００３２】
また、以上の補正処理によって出力色差信号には入力信号に対して遅延が生じているため、輝度信号も一緒に出力する際には、同期調整部１７０(図1)で輝度信号を色差信号と同期するように遅延させてから出力する。
【００３３】
以上のような構成をとることで、補正画素と周辺の未補正画素との境界に発生する段差やエッジ部の滲みを抑制しつつ、平坦部の色ノイズを適応的に補正することができる。
【実施例２】
【００３４】
図９は、色ノイズ除去部９１０を示す図であり、
色差信号にフィルタ処理を施し収束目標値を算出するための目標値算出部９３０と、
目標値算出や収束補正の設定値を制御するための制御部９４０と、
色差信号を目標値に向けて収束するための収束補正部９５０と、
輝度信号と色差信号を同期させて出力するための同期調整部９７０と、
輝度信号から制御部の設定値を調整するための平均値算出部９８０と、
色差信号から制御部の設定値を調整するための分散値算出部９９０と、
から構成されている。
【００３５】
尚、制御部９４０と平均値算出部９８０、分散値算出部９９０以外の構成要素については、実施例１に記載の同名の構成要素と同じものである。
【００３６】
平均値算出部９８０は入力輝度信号から補正対象画素を中心とした周辺画像の平均値を算出し、制御部９４０は平均値に応じて収束閾値thresholdと収束度levelを調整する。このような処理を行うことで、暗い部分には補正が強くかかるように調整し、暗い領域の目立ちやすい色ノイズを適応的に補正することができる。
【００３７】
また分散値算出部９９０は、入力色差信号から補正対象画素を中心とした周辺画像の分散値を算出し、制御部９４０は分散値に応じて収束閾値thresholdと収束度levelを調整する。このような処理を行うことで、分散値が想定している色ノイズのレベルより大きい場合には絵柄と判断し、補正が弱くなるように収束閾値thresholdと収束度levelを調整し、分散値が小さい場合には、ノイズと判断し、補正が強くかかるように収束閾値thresholdと収束度levelを調整することができる。
【００３８】
上記の処理では輝度平均値と色差分散値を独立に利用した場合の効果を示したが、制御部９４０は輝度平均値と色差分散値を重み付けして両方利用することで、絵柄に応じた細かい補正の制御が可能となる。
【００３９】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４０】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、２つ以上の構成を、その全部または一部において同時に採用する構成も可能である。
【符号の説明】
【００４１】
１１０…色ノイズ除去部
１３０…目標値算出部
１４０…制御部
１５０…収束補正部
１７０…同期調整部
２１０…ラインディレイ部
２２０…ローパスフィルタ(ＬＰＦ)部
３２０…加算器
３３０…割り算器
５１０…距離算出部
５２０…補正係数算出部
９１０…色ノイズ除去部
９３０…目標値算出部
９４０…制御部
９５０…収束補正部
９７０…同期調整部
【技術分野】
【０００１】
本発明は、画像処理装置に関する。例えば、画像信号の色を補正することが可能な全ての機器に関わる。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００３−１２３０６３号公報（特許文献１）ある。該公報には「［課題］簡単な構成で色エッジの検出が可能で、色滲みを防ぎながら色ノイズ除去を行うことができる画像処理装置を提供する。［解決手段］ベイヤー配列ＲＧＢ色フィルタが取り付けられ、被写体像を画像信号に変換する撮像手段１と、該画像信号に係るＧ色信号から輝度データを求める輝度データ生成部７と、該輝度データを用いて画像のエッジ強調処理を行うハイパスフィルタ８，エッジ強調度調整部９及び加算回路10と、前記画像信号に係る色差信号を用いて色エッジを検出し、色ノイズ除去を施す色ノイズ除去部11とを設けて画像処理装置を構成する。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２３０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラのような撮像装置では、一般的にレンズを通過した光をカラーフィルタや撮像素子、ＡＤ変換回路などのアナログ回路を通ってデジタルの画像信号に変換する。この後、デジタル信号処理回路などによって様々な画像処理を施され画像として表示される。
【０００５】
しかし、カラーフィルタはベイヤ配列のように特定の規則を持って配置されているため、１画素毎に保持している色情報は異なる。また撮像素子によって光電変換し、アナログアンプによって増幅されるため、同じ色の情報を持っている画素でもアナログ回路の特性のばらつきが原因で信号もばらついてしまう。このような差異を持った信号に対してデジタル信号処理回路による画像処理を施すと色ノイズが発生してしまう。
【０００６】
このような色ノイズは一般的に周波数の高い成分を持っているため、周囲の信号と混ぜ合わせて平滑化する方法がとられる。但し、画面全体を平滑化すると元々画像が持っている高周波成分も消えてしまうため、エッジ部と平坦部を判定し、それぞれの領域に適した色ノイズ除去を行う方法がとられる。
【０００７】
このような方法に関しては例えば特開２００３−１２３０６３号公報が挙げられる。しかし、特開２００３−１２３０６３号公報では、「得られた色エッジ情報を基に画像の色差平坦部を判別し、色差平坦部のＣｒ、Ｃｂ信号に対してのみ２次元マトリクスＬＰＦによる２次元空間フィルタリング処理を施し色ノイズ除去が行われる。」（段落００１７）とある。そのため、着目画素が色ノイズと判断された場合にＬＰＦの特性によって色ノイズを抑制するものの、ＬＰＦの特性は一律であるため色ノイズ判定において閾値付近の画素についても一律に補正がかかってしまい、色の段差が発生する場合がある。
【０００８】
すなわち、従来処理では色ノイズと判定された信号に対しては一律に補正を行うため、補正画素と周辺の未補正画素との境界に段差が発生してしまう場合があるという課題があった。
【課題を解決するための手段】
【０００９】
上記課題は特許請求の範囲に示した構成にて解決・改善される。
【発明の効果】
【００１０】
例えば、補正画素と周辺の未補正画素との境界に発生する段差やエッジ部の滲みを抑制しつつ、平坦部の色ノイズを適応的に補正することができる。
【００１１】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明の基本構成例を示した図
【図２】目標値算出部の構成例を示した図
【図３】２次元フィルタの構成例を示した図
【図４】２次元フィルタの画素参照方法を示した図
【図５】収束補正部の構成例を示した図
【図６】収束目標値を中心とした色差空間への変換を表した図
【図７】収束範囲と収束目標値の関係を示した図
【図８】収束範囲と収束係数の関係を示した図
【図９】輝度信号や分散値を用いた構成例を示した図
【発明を実施するための形態】
【００１３】
以下に本発明を実施するための形態を図と合わせて示す。
【実施例１】
【００１４】
図１は、本発明の基本構成である色ノイズ除去部１１０を示す図であり、
色差信号にフィルタ処理を施し収束目標値を算出するための目標値算出部１３０と、
目標値算出や収束補正の設定値を制御するための制御部１４０と、
色差信号を目標値に向けて収束するための収束補正部１５０と、
輝度信号と色差信号を同期させて出力するための同期調整部１７０と、
から構成されている。
【００１５】
目標値算出部１３０は、色差信号に対して１画素毎に周辺画素の信号も利用した５画素×５画素（以下、５×５という）の２次元フィルタ処理を行い、収束目標値を算出する。色ノイズは高周波の成分として画像に表れるため、フィルタの特性は色ノイズの影響を減少するためにＬＰＦの特性を持つものとする。本フィルタの構成例は後述する。
【００１６】
制御部１４０は、収束補正部１５０に対して収束目標値を中心とした収束範囲を設定するための収束閾値と収束の度合いを表す収束度を設定する。この時、前記目標値算出部１３０で算出した収束目標値を参照することで、補正対象となる色差空間上の範囲がわかるため、色差空間上の位置に応じて収束の範囲を個別に制御することもできる。このような処理を行うことで、特定のカラーマップや入出力デバイスに適した調整が可能となる。
【００１７】
収束補正部１５０は、目標値算出部１３０で算出した収束目標値に対して前記制御部１４０で設定された設定値を用いて収束係数を算出し、補正対象画素が収束目標値に色差空間上で収束するように補正する。
【００１８】
同期調整部１７０は、補正処理によって遅延の生じた色差信号と輝度信号を同期させて出力する。
【００１９】
以上のような構成要素を用いて１画素毎に周辺画素情報を用いた色ノイズ補正処理を行うことで、特にアニメーションやコンピュータグラフィックス等のエッジ部と平坦部がはっきりしている絵柄に対して、平坦部の色ノイズを適応的に補正することができる。
【００２０】
図２は、図1に示した目標値算出部１３０の構成例を示すものである。目標値算出部１３０は、ラインディレイ部２１０とＬＰＦ部２２０から構成されている。ＬＰＦ部２２０は画像の低域周波数成分を抽出するための５×５の２次元フィルタであり、ラインディレイ部２１０はＬＰＦ部２２０に不足なく画素値を入力するために、ラインメモリを用いて遅延させた５ライン分の画素値を保持するものである。入力色差信号はラインディレイ部２１０で５ライン分が保持され、補正対象画素と周辺の５×５画素に対してＬＰＦ部２２０でフィルタ処理が行われる。ＬＰＦ部２２０は、フィルタ後の色差信号を収束目標値として出力し、収束処理では収束目標値に向かって収束させるものとする。
【００２１】
図３に、目標値算出部１３０(図1)において２次元フィルタ処理に用いるフィルタ構成例を示す。同図において、５×５のマス目は各画素を表し、マス目の中の数字はフィルタリングを行う場合の各画素へ掛けこむ重み係数である。入力信号は前記ラインディレイ部２１０によって遅延させた５ライン分の信号である。このような信号に対して、図に示すような５×５マスの重み係数３１０で対応する位置の画素を重み付けした後、加算器３２０で５×５の信号を合計し、正規化するために割り算器３３０は各重み係数の合計値で割り算を行う。
【００２２】
重み係数は、図３(a)に示すような重み係数が一律同じ値である相加平均や、図３(b)に示すような重み係数に任意の偏りを持たせた加重平均が挙げられる。図３(a)の相加平均を用いることで、単純な論理で周辺画素から均一に相関情報を得ることができる。図３(b)の加重平均を用いることで、ユーザが任意の方向への相関性を重視したり、重み係数の合計値を2の乗数に調整することで、割り算器３３０における割り算処理をシフト演算に代替できるため、容易に回路化したりすることが可能となる。またフィルタのサイズは５×５に限定されるものではなく、画像サイズや実装回路規模に合わせてフィルタサイズを変更したとしても類似の効果を発揮する。
【００２３】
図４に２次元フィルタの画素参照方法を示す。図４(ａ）は２次元フィルタの処理順序を示しており、左側がｎ番目の画素の処理状態で、右側が(ｎ＋１)番目の画素の処理状態となる。図に示すように、水平ライン方向に１画素ずつ２次元フィルタの位置を移動させながら処理を行い、画像端に到達するとラインを１列移動させて同様に処理を行う。また、図４(ｂ)は画像端の画素を補正対象画素とした場合において、画素の存在しない部分の参照方法を示す。水平方向にはみ出したｈhのような部分は水平方向に反転させた位置に存在する画素ｈを参照し、垂直方向にはみ出したｆvのような部分は垂直方向に反転させた位置に存在する画素ｆを参照する。さらに斜め方向にはみ出したｂsのような部分は画像の角を中心に反転させた位置に存在する画素ｂを参照する。
【００２４】
以上のような２次元フィルタリング処理を行うことで、補正対象画素と周辺画像との相関性に応じた収束目標値の設定を行うことができる。
【００２５】
図５は収束補正部１５０の構成を示すものである。収束補正部１５０は、距離算出部５１０と収束係数算出部５２０を備えている。距離算出部５１０は、入力座標と原点との距離Ｌを算出するものである。収束係数算出部５２０は、距離算出部５１０で算出する距離Lと前記制御部１４０で設定する設定値によって収束係数Ｋを算出する。収束係数Ｋとは距離に応じた収束の強度を表す係数であり、算出方法は後述する。
【００２６】
図６は色差空間上における補正対象画素と収束目標値の関係を示した図である。色差空間のグラフは横軸をCb、縦軸をCrとして表している。また以降の図に示す色差空間のグラフについてはすべて同じ軸で扱うものとする。また補正対象画素の色差信号を(Cb_in,Cr_in)、収束目標値を(Cb_mark,Cr_mark)として表している。まず前記距離算出部５１０(図５)で入力色差信号(Cb_in,Cr_in)と収束目標値を(Cb_mark,Cr_mark)との距離Ｌを算出する。距離Ｌは直線距離で示されるユークリッド距離に限定されるものではなく、マンハッタン距離やCr座標とCb座標を比較して大きい方の値を用いることで演算量の増加を抑制することもできる。算出した距離Ｌを用いて前記収束係数算出部５２０(図５)で収束係数Ｋを算出する。
【００２７】
図７は入力画像と収束目標値と収束範囲の関係の一例を示す図である。図７(a)、(b)ともに上半分が入力画像を表しており、下半分が色差空間を表している。図７(a)は補正対象画素を含めた周辺画素がすべて赤色付近に存在するような平坦な絵柄の場合である。フィルタ処理後の収束目標値Ａは色差空間上の赤色領域上の座標となり、この座標を中心に収束範囲が設定される。そのため補正対象画素が平坦な絵柄であるなら他の色に影響を与えずに色ノイズを補正することができる。図７(b)は補正対象画素を含めた周辺画素が赤色領域と青色領域にまたがるエッジの様な絵柄の場合である。フィルタ処理後の収束目標値Ｂは色差空間上の赤色領域と青色領域の中間地点の座標となり、この座標を中心に収束範囲が設定される。そのため補正対象画素がエッジの様な絵柄の場合には収束範囲を適切に設定することで、補正対象画素が収束範囲内に存在しないため、収束補正によってエッジが滲んでしまうことを防ぐことができる。
【００２８】
図８は色差空間上の収束範囲と収束係数Ｋの関係を示している。
収束係数Kは、距離に応じた収束の強度を表す係数であり、前記制御部１４０によって設定された収束閾値thresholdと収束度levelによって図８の上部に示されるグラフの特性を持つ。グラフの横軸は距離Ｌを表し、グラフの縦軸は収束係数Ｋを示す。グラフに示す通り、収束閾値thresholdは収束係数Ｋが最大値をとる範囲を表し、収束度levelは(L≧threshold)となる場合の収束係数Kの傾きを示す。よって,収束係数Ｋの算出式は以下の通りとなる。
【００２９】
K＝-lebel×(L-thresh)+max 但し(max≧K≧０)
(L＜threshold)となる場合、補正対象画素が図８の下の図中で示される置換範囲内に存在し、収束係数Ｋは最大値maxをとる。この場合、補正対象画素の補正後の出力色差信号を(Cb_out,Cr_out)とすると、以下の式に従って置換される。
【００３０】
Cb_out ＝ Cb_mark
Cr_out ＝ Cr_mark
(L≧threshold)となる場合は、次の様になる。
【００３１】
Cb_out ＝ Cb_in×(max-K)/max + Cb_mark×K/max
Cr_out ＝ Cr_in×(max-K)/max + Cr_mark×K/max
このような式に従って収束させることで、収束目標値である原点に距離が近づく程強く補正し、離れる程に補正の効果が薄めることができる。そのため、平坦部における補正のように補正対象画素と未補正画素の差分が小さい場合にも補正による画素の段差の発生を抑制することができる。
【００３２】
また、以上の補正処理によって出力色差信号には入力信号に対して遅延が生じているため、輝度信号も一緒に出力する際には、同期調整部１７０(図1)で輝度信号を色差信号と同期するように遅延させてから出力する。
【００３３】
以上のような構成をとることで、補正画素と周辺の未補正画素との境界に発生する段差やエッジ部の滲みを抑制しつつ、平坦部の色ノイズを適応的に補正することができる。
【実施例２】
【００３４】
図９は、色ノイズ除去部９１０を示す図であり、
色差信号にフィルタ処理を施し収束目標値を算出するための目標値算出部９３０と、
目標値算出や収束補正の設定値を制御するための制御部９４０と、
色差信号を目標値に向けて収束するための収束補正部９５０と、
輝度信号と色差信号を同期させて出力するための同期調整部９７０と、
輝度信号から制御部の設定値を調整するための平均値算出部９８０と、
色差信号から制御部の設定値を調整するための分散値算出部９９０と、
から構成されている。
【００３５】
尚、制御部９４０と平均値算出部９８０、分散値算出部９９０以外の構成要素については、実施例１に記載の同名の構成要素と同じものである。
【００３６】
平均値算出部９８０は入力輝度信号から補正対象画素を中心とした周辺画像の平均値を算出し、制御部９４０は平均値に応じて収束閾値thresholdと収束度levelを調整する。このような処理を行うことで、暗い部分には補正が強くかかるように調整し、暗い領域の目立ちやすい色ノイズを適応的に補正することができる。
【００３７】
また分散値算出部９９０は、入力色差信号から補正対象画素を中心とした周辺画像の分散値を算出し、制御部９４０は分散値に応じて収束閾値thresholdと収束度levelを調整する。このような処理を行うことで、分散値が想定している色ノイズのレベルより大きい場合には絵柄と判断し、補正が弱くなるように収束閾値thresholdと収束度levelを調整し、分散値が小さい場合には、ノイズと判断し、補正が強くかかるように収束閾値thresholdと収束度levelを調整することができる。
【００３８】
上記の処理では輝度平均値と色差分散値を独立に利用した場合の効果を示したが、制御部９４０は輝度平均値と色差分散値を重み付けして両方利用することで、絵柄に応じた細かい補正の制御が可能となる。
【００３９】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４０】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、２つ以上の構成を、その全部または一部において同時に採用する構成も可能である。
【符号の説明】
【００４１】
１１０…色ノイズ除去部
１３０…目標値算出部
１４０…制御部
１５０…収束補正部
１７０…同期調整部
２１０…ラインディレイ部
２２０…ローパスフィルタ(ＬＰＦ)部
３２０…加算器
３３０…割り算器
５１０…距離算出部
５２０…補正係数算出部
９１０…色ノイズ除去部
９３０…目標値算出部
９４０…制御部
９５０…収束補正部
９７０…同期調整部
【特許請求の範囲】
【請求項１】
目標値を算出する目標値算出手段と、
色差信号を特定の値に収束するように補正する収束補正部と、
前記目標値算出部と前記収束補正部の設定値を制御する制御部と、
を有する画像処理装置であって、
前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、
前記制御部は、抽出した収束目標値を参照して前記目標値算出部の設定値を調整し、
前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記目標値算出部の空間フィルタは算出する収束目標値は、相加平均、加重平均のいずれかとすることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記収束補正部は、色差空間上での距離を算出するための距離算出部と、距離に応じて収束率を調整する収束率調整部と、
を有し、
前記距離算出部は前記目標値算出手段で算出した収束目標値と補正対象画素の色差信号との色差空間上での距離を算出し、
前記収束率調整部は前記距離算出部で算出した距離に応じて収束率を調整することを特徴とする画像処理装置。
【請求項４】
目標値を算出する目標値算出手段と、
色差信号を特定の値に収束するように補正する収束補正部と、
前記目標値算出部と前記収束補正部の設定値を制御する制御部と、
平均値を算出する平均値算出部と、
分散値を算出する分散値算出部と、
を有する画像処理装置であって、
前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、
前記平均値算出部は、入力画像の補正対象画素と周辺画素から輝度信号の平均値を算出し、
前記分散値算出部は、入力画像の補正対象画素と周辺画素から色差信号の分散値を算出し、
前記制御部は、算出した収束目標値に加えて、輝度信号の平均値または色差信号の分散値もしくは両方の情報を参照して前記目標値算出部の設定値を調整し、
前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記目標値算出部の空間フィルタは算出する収束目標値は、相加平均、加重平均のいずれかとすることを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記収束補正部は、色差空間上での距離を算出するための距離算出部と、距離に応じて収束率を調整する収束率調整部と、
を有し、
前記距離算出部は前記目標値算出手段で算出した収束目標値と補正対象画素の色差信号との色差空間上での距離を算出し、
前記収束率調整部は前記距離算出部で算出した距離に応じて収束率を調整することを特徴とする画像処理装置。
【請求項１】
目標値を算出する目標値算出手段と、
色差信号を特定の値に収束するように補正する収束補正部と、
前記目標値算出部と前記収束補正部の設定値を制御する制御部と、
を有する画像処理装置であって、
前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、
前記制御部は、抽出した収束目標値を参照して前記目標値算出部の設定値を調整し、
前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記目標値算出部の空間フィルタは算出する収束目標値は、相加平均、加重平均のいずれかとすることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記収束補正部は、色差空間上での距離を算出するための距離算出部と、距離に応じて収束率を調整する収束率調整部と、
を有し、
前記距離算出部は前記目標値算出手段で算出した収束目標値と補正対象画素の色差信号との色差空間上での距離を算出し、
前記収束率調整部は前記距離算出部で算出した距離に応じて収束率を調整することを特徴とする画像処理装置。
【請求項４】
目標値を算出する目標値算出手段と、
色差信号を特定の値に収束するように補正する収束補正部と、
前記目標値算出部と前記収束補正部の設定値を制御する制御部と、
平均値を算出する平均値算出部と、
分散値を算出する分散値算出部と、
を有する画像処理装置であって、
前記目標値算出部は、入力画像の補正対象画素と周辺画素に対して２次元のフィルタを用いて収束目標値を算出し、
前記平均値算出部は、入力画像の補正対象画素と周辺画素から輝度信号の平均値を算出し、
前記分散値算出部は、入力画像の補正対象画素と周辺画素から色差信号の分散値を算出し、
前記制御部は、算出した収束目標値に加えて、輝度信号の平均値または色差信号の分散値もしくは両方の情報を参照して前記目標値算出部の設定値を調整し、
前記収束補正部は、調整された設定値に基づいて画素毎に色差信号を色差平面上において算出した収束目標値に近づくように収束する補正を行う
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記目標値算出部の空間フィルタは算出する収束目標値は、相加平均、加重平均のいずれかとすることを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記収束補正部は、色差空間上での距離を算出するための距離算出部と、距離に応じて収束率を調整する収束率調整部と、
を有し、
前記距離算出部は前記目標値算出手段で算出した収束目標値と補正対象画素の色差信号との色差空間上での距離を算出し、
前記収束率調整部は前記距離算出部で算出した距離に応じて収束率を調整することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１６０１６８（Ｐ２０１１−１６０１６８Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１９８７２（Ｐ２０１０−１９８７２）
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]