画像処理装置及びその方法並びにプログラム
【課題】色の黒ずみが生ずるという弊害を解消し、色鮮鋭度を保ちながら、エッジ付近、特に、斜め方向のエッジ付近に発生する偽色を低減すること。
ことを目的とする。
【解決手段】 緑色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部３０３と、除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部３０４と、高周波取得部３０４によって検出された斜め方向のエッジ領域を偽色低減領域として特定する第１偽色低減領域特定部３０７とを具備する画像処理装置を提供する。
ことを目的とする。
【解決手段】 緑色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部３０３と、除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部３０４と、高周波取得部３０４によって検出された斜め方向のエッジ領域を偽色低減領域として特定する第１偽色低減領域特定部３０７とを具備する画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法並びにプログラムに関するものである。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータ等で構成される撮像系から得られるデジタル化された画像信号中に含まれる、本来あるはずのない画素からなる偽色画素を、色鮮鋭度を保ったまま低減する方法として、画像の高周波信号を取得し、取得した高周波信号に近接した画素の偽色画素判定を行った後、色差情報に対して平滑化処理を行うことが提案されている。
【０００３】
例えば、特開２００２−２６２２９９号公報には、エッジ検出フィルタ等を使用して輝度差の大きいエッジ領域を検出し、エッジ領域に近接した画素の色差（Ｃｂ，Ｃｒ）が任意の範囲にあるか否かを判定することで偽色画素を検出し、検出したエッジ領域のエッジ勾配の大きさおよびエッジ勾配の方向からなるエッジ情報を算出し、算出したエッジ情報に基づいて予め設定されている平滑化フィルタを使用して平滑化を行うことで偽色を低減する方法が開示されている。
【特許文献１】特開２００２−２６２２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述のように、特許文献１に開示されている偽色低減方法では、エッジの方向を検出し、エッジ方向に沿った平滑化処理を行うことで、偽色を低減している。しかしながら、この方法では、エッジの角が丸まってしまい、色が黒ずむ等の問題があった。また、この問題は、上述したエッジ方向に沿って平滑化処理を行う方法に限られるものではなく、例えば、エッジ領域において等方向に平滑化処理を行う場合にも生じるものであった。
【０００５】
本発明は、上記問題を解決するためになされたもので、色の黒ずみが生ずるという弊害を解消し、色鮮鋭度を保ちながら、エッジ付近、特に、斜め方向のエッジ付近に発生する偽色を低減することが可能な画像処理装置及びその方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域を特定する偽色低減領域特定部とを具備する画像処理装置である。
【０００７】
本発明の第２の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する第１領域特定部と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部と、前記第１領域特定部によって特定された前記偽色低減領域の候補領域と、前記第２領域特定部によって特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部とを具備する画像処理装置である。
【０００８】
本発明の第３の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する過程と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する過程と、検出された前記斜め方向のエッジ領域から偽色低減領域を特定する過程とを有する画像処理方法である。
【０００９】
本発明の第４の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する過程と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する過程と、構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する過程とを有する画像処理方法である。
【００１０】
本発明の第５の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する処理と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する処理と、検出された前記斜め方向のエッジ領域から偽色低減領域を特定する処理とをコンピュータに実行させるための画像処理プログラムである。
【００１１】
本発明の第６の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する処理と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する処理と、構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する処理とをコンピュータに実行させるための画像処理プログラムである。
本発明において、上記色成分画像は、例えば、ＲＧＢの各色成分画像、ＹＣｂＣｒの各成分画像等をいう。
【発明の効果】
【００１２】
本発明によれば、色の黒ずみが生ずるという弊害を解消し、色鮮鋭度を保ちながら、エッジ付近、特に、斜め方向のエッジ付近に発生する偽色を低減することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明に係る画像処理装置及びその方法並びにプログラムの各実施形態について、図面を参照して説明する。
【００１４】
〔第１の実施形態〕
図１は本発明の第１の実施形態に係る撮像システムの全体構成を示すブロック図である。図１に示されるように、本実施形態に係る撮像システム１は、撮像部２及び画像処理装置３を備えている。
【００１５】
撮像部２は、不図示のレンズ系、ＩＲカットフィルタ、光学ローパスフィルタ、ＲＧＢ原色系の単板撮像素子（例えば、ＣＣＤ、ＣＭＯＳ等）等を備えている。撮像部２において、レンズ系、ＩＲカットフィルタ、光学ローパスフィルタを通じて単板撮像素子上に結像した光は、光電変換され、アナログ信号の画像信号が生成される。アナログ信号の画像信号は、画像処理装置３に転送される。
【００１６】
画像処理装置３は、例えば、ＡＳＩＣ等を備え、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）１０１、信号処理部１０２、補間処理部１０３、偽色低減部１０４、エッジ強調部１０５、画質調整部１０６、加算部１０７、ノイズ低減部１０８、圧縮記録部１０９、撮影制御部１１０等を主な構成要素として備えている。また、画像処理装置３は、電源スイッチ、シャッターボタン、並びに撮影時の各種モードの切替を行うためのインターフェースを備えた外部Ｉ／Ｆ部（図示略）、出力部（図示略）等を備えている。
【００１７】
Ａ／Ｄ変換部１０１は、アナログ信号の画像信号をデジタル信号の画像信号に変換して出力する。ここで、本実施形態に係る撮像システムは、ＲＧＢ原色系の単板撮像素子を想定しているため、Ａ／Ｄ変換部１０１からは、Ｒｓ（赤）、Ｇｓ（緑）、Ｂｓ（青）の各色成分画像が出力されることとなる。
【００１８】
Ａ／Ｄ変換部１０１から出力された各色成分画像は、信号処理部１０２に転送される。信号処理部１０２は、Ｒｓ、Ｇｓ、Ｂｓの各色成分画像に対してオプティカルブラック処理、ホワイトバランス処理等の公知の信号処理を施し、処理後の各色成分画像を補間処理部１０３に出力する。
【００１９】
補間処理部１０３は、例えば、図２に示すように、高域生成部２０１、ＲＧＢ生成部２０２、色差ＬＰＦ部２０３、及び水平垂直偽色低減部２０４等を主な構成要素として備えている。
補間処理部１０３のＲＧＢ生成部２０２は、Ｒｓ、Ｂｓ、Ｇｓの各色成分画像の各画素に対して、欠落している色成分を補うことにより、各画素に対してＲＧＢ（赤、緑、青）の各色が補間された各色成分画像を生成し、補間後の色成分画像を色差ＬＰＦ部２０３に出力する。色差ＬＰＦ部２０３は、各色成分画像の色差を平滑化処理し、水平垂直偽色低減部２０４に出力する。水平垂直偽色低減部２０４は、緑色成分画像を使用して赤色成分画像、青色成分画像の水平垂直方向のエッジ付近に発生する偽色を低減し、偽色低減処理後の各色成分画像を偽色低減部１０４（図１参照）に出力する。更に、補間処理部１０３は、入力されたＲｓ、Ｂｓ、Ｇｓの各色成分画像からエッジ強調用の高周波信号ＹＨを生成し、高周波信号ＹＨをエッジ強調部１０５に出力する。
【００２０】
偽色低減部１０４では、補間処理部１０３から入力されたＲＧＢの各色成分画像のうち、特に、画素配列方向に対して斜め方向のエッジ付近に発生する偽色を低減し、処理後の各色成分画像を画質調整部１０６へ出力する。ここで、偽色低減部１０４は本発明の特徴部分であり、その詳細については後述する。
【００２１】
エッジ強調部１０５は、補間処理部１０３から入力された高周波信号ＹＨに対して所定の強調処理を行うことにより、高周波信号ＹＨ´を求め、この高周波信号ＹＨ´を加算部１０７に出力する。
【００２２】
画質調整部１０６は、図３に示されるように、カラーマトリックス処理部４０１、ガンマ補正部４０２，４０３，４０４、及び信号変換処理部４０５を主な構成要素として備えている。画質調整部１０６において、カラーマトリックス処理部４０１は、偽色低減部１０４から出力されたＲＢＧ色空間で表された各色成分画像をｓＲＢＧ等の所定色空間に変換し、出力する。変換後の各成分画像は、それぞれγ補正部４０２、４０３、４０４に出力され、色毎にビット変換が行われる。例えば、１２ビットの信号が８ビットの信号に変換される。γ補正後のＲγ，Ｇγ，Ｂγの各色成分画像は、信号変換処理部４０５に出力される。信号変換処理部４０５は、以下の式を用いることにより、ＲγＧγＢγの各色成分画像をＹＣｂＣｒ色空間で表される各成分画像に変換し、出力する。
【００２３】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ（０≦Ｙ≦２５５）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ（−１２８≦Ｃｂ≦１２７）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ（−１２８≦Ｃｒ≦１２７）
【００２４】
画質調整部１０６から出力されたＹ成分画像は、加算部１０７においてエッジ強調部１０５から出力される高周波信号ＹＨ´と加算され、加算後のＹ´成分画像がノイズ低減部１０８に出力される。一方、画質調整部１０６から出力されたＣｂ、Ｃｒの各成分画像については、そのままノイズ低減部１０８に出力される。
【００２５】
ノイズ低減部１０８は、入力されたＹＣｂＣｒの各成分画像から、カラー撮像系に起因するランダムノイズ、スパイクノイズ等を低減し、低減したＹＣｂＣｒの各成分画像を圧縮記録部１０９に出力する。
圧縮記録部１０９はノイズ低減部１０７から入力されたＹＣｂＣｒの各成分画像を画像圧縮し、フラッシュメモリやハードディスク、磁気テープ等の所定記録媒体に記録する。
【００２６】
次に、本発明の特徴部分である上記偽色低減部１０４について図を用いて詳しく説明する。図４は、偽色低減部１０４の概略構成を示すブロック図である。図４に示すように、偽色低減部１０４は、緑色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部３０３と、除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部３０４と、高周波取得部３０４によって特定された斜め方向のエッジ領域を偽色低減領域として特定する第１偽色低減領域特定部（偽色低減領域特定部）３０７とを主な構成として備えている。更に、偽色低減部１０４は、色差生成部３０２、エッジ方向判別部３０９、色平滑化部３１０、及びＲＧＢ生成部３１１等を備えている。
【００２７】
上記色差生成部３０２には、ＲＧＢの各色成分画像が入力される。色差生成部３０２は、Ｒ（赤）−Ｇ（緑）色差成分、Ｂ（青）−Ｇ（緑）色差成分を算出し、算出結果を色平滑化部３１０に出力する。
上記構造判定部３０３及び高周波取得部３０４には、補間処理部１０３から出力された緑色成分画像が入力される。構造判定部３０３は、補間処理部１０３から入力される緑色成分画像について、画素毎に構造判定値ｔｈｒを求める。例えば、図５（ａ）に示すように、注目画素をａ０、注目画素ａ０を中心として斜め方向に位置する４つの周辺画素をａ１，ａ２，ａ３，ａ４とすると、注目画素ａ０の構造判定値ｔｈｒは以下の（１）式で求められる。
【００２８】
ｔｈｒ＝｜｜ａ１−ａ４｜−｜ａ２−ａ３｜｜ （１）
【００２９】
ここで、ａ１とａ４、及びａ２とａ３は、注目画素を挟んで対角線上にそれぞれ位置している。例えば、注目画素ａ０、周辺画素ａ１〜ａ４が、図５（ｂ）に示すような画素値を持っている場合には、注目画素ａ０における構造判定値ｔｈｒは大きな値をとり、例えば、図５（ｃ）に示すような画素値を持っている場合には、構造判定値ｔｈｒは小さな値をとる。構造判定値が大きな値となる領域は、例えば、図６の領域Ｂで表されるような斜めのエッジ領域に属する各画素に相当し、構造判定値が小さな値となる領域は、例えば、図６の領域Ａのようなエッジが交差する領域に属する各画素に相当する。
【００３０】
ここで、図６に領域Ａで示されるようなエッジが交差する領域は、等方向或いはエッジの方向に沿った単一方向に平滑化を行うと不安定になり、角を丸めて色を黒ずませる原因となる。従って、構造判定部３０３では、このような領域を除外領域として検出し、偽色低減領域から除外する。そのため、例えば、構造判定部３０３は、各画素について算出した構造判定値ｔｈｒを予め設定されている所定の値ｓｌａｎｔＴＨとそれぞれ比較し、所定の値ｓｌａｎｔＴＨよりも小さな構造判定値ｔｈｒを持つ画素を除外領域として特定する。除外領域として特定した画素についてはフラグを０に設定し、除外領域以外の領域については、フラグを１に設定する。
このフラグは、後段の高周波取得部３０４において、高周波信号を取得するか否か、つまり、エッジ検出処理を行うか否かを示すものであり、フラグ１の場合には、高周波信号を取得する旨を示し、フラグ０の場合には、高周波信号を取得しない旨を示している。
【００３１】
高周波取得部３０４は、バンドパスフィルタを保有している。図７（ａ），（ｂ）に、高周波取得部３０４が保有するバンドパスフィルタの一例を示す。バンドパスフィルタは、斜め方向のエッジを取得する周波数特性を持っていれば良く、係数やフィルタサイズは図７（ａ），（ｂ）に示すフィルタに限られない。例えば、画素の微分値に基づいてエッジ領域を検出するＧｒａｄｉｅｎｔ、Ｌａｐｌａｃｉａｎ、Ｐｒｅｗｉｔｔ、Ｓｏｂｅｌオペレータ等のエッジ検出フィルタを用いてもよいし、注目画素と周辺画素との分散を評価する値に基づいてエッジ領域を検出しても良い。
【００３２】
高周波取得部３０４は、構造判定部３０３から入力される各画素に与えられたフラグの状態を判別する。この結果、フラグが１であれば、バンドパスフィルタを用いて高周波信号を得る。一方、フラグが０である場合には、当該画素位置の高周波信号を０に設定する。更に、高周波取得部３０４は、バンドパスフィルタを用いて得られる高周波信号が負である場合には高周波信号を０に変更（クリップ）する。この結果、構造判定部３０３から入力される各画素に与えられたフラグが１である画素位置については、高周波信号が検出され、更に、その高周波信号の値が負である画素については高周波信号が０に設定される。また、構造判定部３０３から入力される各画素に与えられたフラグが０である画素位置については、その画素位置の高周波信号が０に設定されることとなる。フィルタリング処理後の高周波信号は、第１偽色低減領域特定部３０７に出力される。
【００３３】
第１偽色低減領域特定部３０７は、高周波取得部３０４からの高周波信号において、各画素位置の高周波信号が予め設定されている所定の値以上であるか否か、例えば、０よりも大きいか否かを判断し、０の場合には非偽色低減領域と判断し、高周波信号が０よりも大きい場合に偽色低減領域であると判断する。この判断結果は、色平滑化部３１０に出力される。
【００３４】
エッジ方向判別部３０９は、高周波取得部３０４からの色成分画像において、注目画素とその周辺画素との差分を複数方向に対して算出し、差分が最小の方向をエッジ方向として決定し、このエッジ方向を色平滑化部３１０へ出力する。具体的には、エッジ方向判別部３０９は、図８に示される例において、ｅ０〜ｅ７の８方向に対する差分を以下の式を用いて算出し、ｅ０〜ｅ７のうち差分が最小の値となる方向にエッジが存在すると判断して、エッジ方向を色平滑化部３１０へ出力する。図８では、Ｙ２２を注目画素とし、この注目画素を中心として５×５の画素範囲を周辺画素として設定している。
【００３５】
ｅ０＝｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ２４｜＋｜Ｙ２２−Ｙ２１｜＋｜Ｙ２２−Ｙ２０｜
ｅ１＝｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ１４｜＋｜Ｙ２２−Ｙ２１｜＋｜Ｙ２２−Ｙ３０｜
ｅ２＝｜Ｙ２２−Ｙ１３｜＋｜Ｙ２２−Ｙ０４｜＋｜Ｙ２２−Ｙ３１｜＋｜Ｙ２２−Ｙ４０｜
ｅ３＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０３｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４１｜
ｅ４＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０２｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４２｜
ｅ５＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０１｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４３｜
ｅ６＝｜Ｙ２２−Ｙ１１｜＋｜Ｙ２２−Ｙ００｜＋｜Ｙ２２−Ｙ３３｜＋｜Ｙ２２−Ｙ４４｜
ｅ７＝｜Ｙ２２−Ｙ３１｜＋｜Ｙ２２−Ｙ１０｜＋｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ３４｜
【００３６】
なお、図８では、注目画素の近傍５×５画素の範囲を周辺画素として、８方向についてエッジ方向を判別しているが、周辺画素の範囲は任意に設定することが可能である。エッジ方向の判別精度を向上させるためには、７×７画素や９×９画素の範囲で判別しても良いし、範囲を拡張させることに伴い、エッジ方向を１６方向に設定して判別することも可能である。
【００３７】
色平滑化部３１０には、上記色差生成部３０２からＲ−Ｇ色差成分及びＢ−Ｇ色差成分が、また、第１偽色低減領域特定部３０７から偽色低減領域に関する情報が入力される。色平滑化部３１０は、第１偽色低減領域特定部３０７によって偽色低減領域であると判定された領域に属する画素のＲ−Ｇ色差成分、Ｂ−Ｇ色差成分を抽出し、これらの色差成分に対して、エッジ方向判別部３０９によって判別されたエッジ方向（単一方向）に沿った相加平均又は加重平均処理を行うことで色平滑化処理を行い、その結果をＲＧＢ生成部３１１へ出力する。ここで、相加平均又は加重平均処理を行う範囲は、エッジ方向判別部３０９でエッジ方向を判別した周辺画素の範囲と同じサイズで処理することが好ましい。
【００３８】
ＲＧＢ生成部３１１は、色平滑化部３１０から入力されたＲ−Ｇ色差成分、Ｂ−Ｇ色差成分に対して補間処理部１０２から入力された緑色成分を加算することで、ＲＧＢの色成分画像を生成し、画質調整部１０５へ出力する。
【００３９】
このような構成を備える偽色低減部１０４においては、構造判定部３０３による構造判定が緑色成分画像に基づいて行われることにより、偽色低減処理を施してしまうと黒ずみなどの弊害が生ずる領域、例えば、エッジが交差する領域等が除外領域として特定され、続く高周波取得部３０４において、除外領域以外の領域に対してバンドパスフィルタを用いた高周波取得処理が行われるとともに、除外領域については高周波信号に０を設定し、処理後の高周波信号が第１偽色低減領域特定部３０７に出力される。第１偽色低減領域特定部３０７は、各画素位置の高周波信号を予め設定されている所定の値と比較し、所定の値以上（或いは、所定の値よりも大きな値）を有する領域を偽色低減領域として決定し、この結果を色平滑化部３１１に出力する。一方、エッジ方向判別部３０９では、高周波取得部３０４から出力される高周波信号に基づいてエッジ方向が検出され、エッジ方向の情報が色平滑化部３１０に出力される。
【００４０】
色平滑化部３１０では、第１偽色低減領域特定部３０７により偽色低減領域であると特定された領域に該当するＲ−Ｇ色差成分及びＢ−Ｇ色差成分に対してエッジ方向判別部３０９から取得したエッジ方向に基づく相加平均または加重平均処理が行われることにより、偽色低減処理が施され、処理後の色差成分がＲＧＢ生成部３１１に出力される。ＲＧＢ生成部３１１では、偽色低減処理後の色差成分と緑色成分とに基づいてＲＧＢの各色成分画像が生成され、画質調整部１０５に出力される。
【００４１】
以上、説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、偽色低減処理を施してしまうと黒ずみが発生してしまうような領域、例えば、エッジが交差するような領域を偽色低減処理の対象領域から除外し、黒ずみが発生しない領域のみ、例えば、斜めのエッジ領域に対してのみ偽色低減処理を実施するので、色の黒ずみを防止しながら、偽色の低減を実現させることが可能となる。
【００４２】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態に係る画像処理装置は、図９に示すように、偽色低減部１０４Ａにおいて、高周波取得部３０４の後段に安定化部３０６が設けられている点で、上述した第１の実施形態に係る画像処理装置と異なる。
以下、本実施形態において第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
本実施形態に係る画像処理装置では、偽色低減部１０４Ａの高周波取得部３０４によってフィルタリング処理が行われた後の高周波信号は、安定化部３０６に出力される。安定化部３０６は、例えば、ナイキスト周波数付近を制限する周波数特性を有するローパスフィルタを保有しており、このローパスフィルタを用いて、入力された高周波信号に対してフィルタリング処理を行う。図１０に、安定化部３０６が保有するローパスフィルタの一例を示す。図１０に示されるローパスフィルタの係数やフィルタサイズは一例であり、この例に限定されない。
【００４４】
ここで、図１１に示すように、偽色はエッジの外側付近に多く発生する。また、高周波信号を取得する元となる緑色成分画像にモアレが混入していた場合には、後段のエッジ方向判別部３０９におけるエッジの方向判別精度が低下し、処理が不安定となる。そこで、本実施形態では、エッジ方向判別部３０９の前段に安定化部３０６を設け、エッジ方向判別部３０９におけるエッジの方向判別の精度を向上させることとしている。また、第１偽色低減領域特定部３０７の前段に安定化部３０６を設け、偽色が発生しやすいエッジの外側を偽色低減領域に含めさせることとしている。
【００４５】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、偽色低減部１０４Ａにおいて、エッジ方向判別部３０９及び第１偽色低減領域特定部３０７の前段にローパスフィルタリングを行う安定化部３０６を備えているので、エッジの外側領域についても偽色低減領域に含めることが可能となる。これにより、エッジ方向判別等の精度を向上させることが可能となるとともに、偽色が発生する領域をより適切に特定することが可能となる。この結果、偽色低減処理の精度を向上させることができ、より品質の高い画像を取得することができる。
【００４６】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像処理装置及び画像処理方法について説明する。
上述した第１の実施形態及び第２の実施形態においては、画像の構造情報に基づいてのみ偽色低減領域を特定していたが、本実施形態においては、画像の構造情報に加えて、色情報も考慮し、構造情報及び色情報の両方から偽色低減領域を特定する。以下、上述した各実施形態と共通する部分については説明を省略し、異なる部分について主に説明する。
【００４７】
図１２は、本実施形態に係る画像処理装置における偽色低減部１０４Ｂの一構成例を示したブロック図である。図１２に示されるように、本実施形態に係る偽色低減部１０４Ｂは、ＲＧＢカラー画像を構成する複数の各色成分画像のうち、緑色成分画像を用いてその構造情報から偽色低減領域の候補領域を特定する第１領域特定部５と、カラー画像を構成する複数の色成分画像のうち、赤色成分画像及び青色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部６と、第１領域特定部５によって特定された偽色低減領域の候補領域と、第２領域特定部６によって特定された偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部３０８とを主な構成要素として備えている。更に、偽色低減部１０４Ｂは、色差生成部３０２、エッジ方向判別部３０９、色平滑化部３１０、及びＲＧＢ生成部３１１等を備えている。
【００４８】
第１領域特定部５は、構造判定部３０３、高周波取得部３０４、安定化部３０６、及び第１偽色低減領域特定部３０７を備えている。第２領域特定部６は、偽色指標算出部３０１、及び第２偽色低減領域特定部３０５を備えている。
第１領域特定部５において、各構成要素は上述したとおりであるが、上述した第３の実施形態における第１偽色低減領域特定部３０７において特定された偽色低減領域は、本実施形態においては、偽色低減領域の候補領域として偽色低減領域決定部３０８に出力される。
【００４９】
第２領域特定部６において、偽色指標算出部３０１は、青色成分画像及び赤色成分画像からＲ（赤）−Ｂ（青）色差成分の絶対値｜Ｒ−Ｂ｜を偽色指標として算出し、第２偽色低減領域特定部３０５に出力する。
第２偽色低減領域特定部３０５は、偽色指標算出部３０１によって算出された偽色指標が、予め設定されている所定の値よりも小さい領域を偽色低減領域の候補領域として特定する。例えば、斜め方向のエッジ付近に発生する偽色は、グリーンとマゼンタが交互に色づくパターンが多い。グリーンもマゼンタもＲＧＢで表現するとグリーン（０，２５５，０）、マゼンタ（２５５，０，２５５）となり、どちらもＢ−Ｒの絶対値が小さい値となる。従って、注目画素のＢ−Ｒの絶対値が小さい場合には、注目画素は偽色の可能性が高いと判断することができる。そこで、このような偽色低減領域を偽色低減領域の候補領域として特定すべく、第２偽色低減領域特定部３０５は、偽色指標算出部３０１から入力されたＢ−Ｒ色差成分の絶対値｜Ｒ−Ｂ｜を所定の値ＲｍＢＴＨと比較し、絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨよりも小さいとき、この領域を偽色低減領域の候補領域として特定し、その領域の情報を偽色低減領域決定部３０８に出力する。上記所定の値ＲｍＢＴＨは任意に設定可能である。
【００５０】
偽色低減領域決定部３０８は、第１偽色低減領域特定部３０７及び第２偽色低減領域特定部３０５の両方によって偽色低減領域の候補領域であると特定された領域を偽色低減領域として決定し、この情報を色平滑化部３１０に出力する。この後の処理については、上述した第１実施形態等と同様である。
【００５１】
このように、画像の構造情報だけでなく、色情報も加味して偽色低減領域を決定することにより、偽色低減処理を行うことによって黒ずみが発生してしまう領域のうち、第１偽色低減領域特定部３０７で除去しきれない領域についても、色低減処理の対象領域から除外することが可能となる。例えば、色情報に基づいて偽色低減領域を決定することにより、図１３の領域Ｃで表されるような、鋭角のエッジ付近の領域を除外領域とすることができ、偽色低減処理に起因する当該領域の黒ずみ発生を更に防止することが可能となる。
【００５２】
なお、上述した各実施形態では、偽色低減部１０４，１０４Ａ，１０４Ｂとしてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、偽色低減部１０４，１０４Ａ，１０４Ｂは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラム（画像処理プログラム）を読み出して、情報の加工・演算処理を実行することにより、上述の偽色低減部１０４等と同様の処理を実現させる。
【００５３】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５４】
以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法のうち、偽色低減処理の処理手順について図１４を参照して説明する。ここでは、上述した各実施形態のうち、第３の実施形態に係るノイズ低減部１０４Ｂ（図１２参照）の処理手順について説明する。
【００５５】
まず、欠落画素を補間した赤（Ｒ）、青（Ｇ）、緑（Ｂ）の各色成分画像に基づいて色差成分（Ｒ−Ｇ、Ｂ−Ｇ）を求める（図１４のステップＳ１０００）。続いて、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を算出する（ステップＳ１００１）。次に、緑色成分画像について、注目画素の周辺に位置する周辺画素の画素値に基づいて構造判定値ｔｈｒを求め、これを予め設定されている所定の値ｓｌａｎｔＴＨと比較し、除外領域を特定する（ステップＳ１００２）。
【００５６】
次に、上記ステップＳ１００２において除外領域として特定されなかった領域（除外領域以外）に対して、バンドパスフィルタによるフィルタリング処理を行うことで高周波信号を取得し、更に、その高周波信号の値が負数であった場合には０でクリップする（ステップＳ１００３）。一方、上記ステップＳ１００２において、除外領域として特定された領域に関しては、フィルタリング処理を行わずに、その画素値をゼロに設定する（ステップＳ１００４）。
【００５７】
続くステップＳ１００５では、エッジ方向判別を安定的に行うため、且つ、偽色低減を行う範囲を外側に広げるために、上記ステップＳ１００３で得られた高周波信号に対して平滑化処理を行う。ステップＳ１００６では、ステップＳ１００５で平滑化した高周波信号の周辺画素を参照してエッジの方向判別を行う。続くステップＳ１００７では、ステップＳ１００５で平滑化した高周波信号の値が所定の値以上であるか否かを判断し（例えば、０よりも大きいか否かを判断し）、所定の値以上であった場合に、上記ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜と任意の閾値ＲｍＢＴＨを比較する（ステップＳ１００８）。
【００５８】
ステップＳ１００８において、上記ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨよりも小さい場合には、上記ステップＳ１０００で求めたＲ−Ｇ色差成分及びＢ−Ｇ色差成分に対して、ステップＳ１００６で判別したエッジ方向に沿って単一方向に平滑化処理を行うことで偽色低減処理を実施する（ステップＳ１００９）。続くステップＳ１０１０では、ステップＳ１００９で偽色低減処理を行った後のＲ−Ｇ色差成分、Ｂ−Ｇ色差成分に、欠落画素を補完した緑色成分画像を加算してＲＧＢの各色成分画像を生成する。
【００５９】
一方、ステップＳ１００７において、ステップＳ１００５で平滑化した高周波信号の値が所定の値よりも小さかった場合、或いは、ステップＳ１００８において、ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ以上であった場合には、その画素について偽色低減処理を行わずに、ステップＳ１０１０に進み、ＲＧＢの各色成分画像を生成する。そして、上記一連の処理を各画素について繰り返し行い、全ての画素について処理を実行すると、本処理を終了する。
【００６０】
なお、本発明の画像処理方法及び画像処理プログラムに関する処理手順については、上記処理フローに限定されない。即ち、構造情報から特定される偽色低減領域の候補領域と、色情報から特定される偽色低減領域の候補領域の両方から偽色低減領域を決定できればよく、候補領域を特定する順序などには左右されない。
【００６１】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る画像処理装置及び画像処理方法について説明する。上記実施形態の画像処理装置は、図１５に示すように、上述した偽色低減部に代えて、偽色低減領域特定部５０７が設けられ、この偽色低減領域特定部５０７からノイズ低減部５０６に対して偽色低減領域マップが出力される点で、上述した各実施形態に係る画像処理装置と異なる。また、偽色低減領域特定部５０７は、画質調整部１０６の後段に設けられている、処理する色空間がＲＧＢ色空間ではなくＹＣｂＣｒ色空間である点で上述した各実施形態に係る画像処理装置と異なる。以下、本実施形態において第１〜第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００６２】
図１６は、偽色低減領域特定部５０７の概略構成を示したブロック図である。図１６に示すように、偽色低減領域特定部５０７は、偽色指標算出部６０１、第２偽色低減領域特定部６０２、構造判定部６０３、高周波取得部６０４、安定化部６０５、第１偽色低減領域特定部６０６、及び偽色低減領域ＭＡＰ作成部６０７を主な構成要素として備えている。
【００６３】
偽色指標算出部６０１には、図１５に示されるエッジ強調部１０５から出力された高周波成分ＹＨ´と画質調整部１０６から出力された輝度成分Ｙとが加算された輝度成分Ｙ´と、画質調整部５０４から出力されたＣｂ色差成分、Ｃｒ色差成分が入力される。
偽色指標算出部６０１は、以下に示す（２），（３）式を用いて、ＹＣｂＣｒ色空間の各成分をＲＧＢ色空間の各成分に変換する。
【００６４】
Ｒ＝Ｙ´＋１．４０２００Ｃｒ （２）
Ｂ＝Ｙ´＋１．７７２００Ｃｂ （３）
【００６５】
そして、変換後の赤色成分画像及び青色成分画像を用いて、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を算出し、算出結果を第２偽色低減領域特定部６０２に出力する。
【００６６】
第２偽色低減領域特定部６０２は、偽色指標算出部６０１から入力されたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を予め設定されている所定の値ＲｍＢＴＨと比較し、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が閾値ＲｍＢＴＨよりも小さいときに偽色低減領域の候補領域と特定し、この結果を偽色低減領域ＭＡＰ作成部６０７に出力する。
【００６７】
他方、構造判定部６０３は、輝度成分Ｙ´を用いて上述した第１の実施形態と同様の算出方法によって、注目画素の構造判定値ｔｈｒ´を算出し、この構造判定値ｔｈｒ´と予め設定されている所定の値ｓｌａｎｔＴＨ´と比較し、所定の値ｓｌａｎｔＴＨ´よりも大きな値の構造判定値ｔｈｒ´をもつ画素を抽出する。そして、抽出した画素については、フラグを１に設定し、抽出されなかった画素についてはフラグを０に設定する。
【００６８】
高周波取得部６０４は、構造判定部６０３から入力される各画素に与えられたフラグの状態を判別し、フラグが１であれば、バンドパスフィルタを用いたフィルタリング処理を実施した後、その画素値が負を示すものについては０にクリップし、それ以外、つまり除外領域であれば、画素値に０を設定し、処理後の輝度成分を安定化部６０５に出力する。
【００６９】
安定化部６０５は、上述した第２の実施形態と同様に、例えば、ナイキスト周波数付近を制限する周波数特性を有するローパスフィルタを保有しており、このローパスフィルタを用いて、入力された輝度成分に対してフィルタリング処理を行う。フィルタリング処理後の輝度成分は、第１偽色低減領域特定部６０６に出力される。
【００７０】
第１偽色低減領域特定部６０６は、安定化部６０５からの輝度成分において、各画素の画素値が所定の値よりも大きい画素を抽出し、この画素を偽色低減領域の候補領域と判断し、この判断結果を偽色低減領域ＭＡＰ作成部６０７に出力する。
【００７１】
偽色低減領域ＭＡＰ作成部６０７は、第１偽色低減領域特定部６０６及び第２偽色低減領域特定部６０２の両方において、偽色低減領域の候補領域であると特定された領域を偽色低減領域として特定し、それ以外の領域を除外領域として特定する。そして、偽色低減領域として判断した画素については信号値１が、除外領域として判断した画素については信号値０が書き込まれた偽色低減領域ＭＡＰを作成し、これをノイズ低減部５０６へ出力する。
【００７２】
図１７は、ノイズ低減部５０６の概略構成を示したブロック図である。本実施形態において、ノイズ低減部５０６は、２段構成の多重解像度ノイズ低減法を採用している。ノイズ低減部５０６において、第１フィルタリング部７０１、７０８は、入力信号を特定の周波数帯域に分解するために用いられる任意のローパスフィルタである。縮小処理部７０２，７０９は入力信号を１／４に縮小するダウンサンプリングを行う。拡大部７０３，７１０，７１５は、入力信号を４倍に拡大するアップサンプリング処理を行う。
【００７３】
第２フィルタリング部７０４，７１１，７１６は、入力信号の帯域を落とすローパスフィルタである。減算器７０５は、第１フィルタリング部７０１，縮小処理部７０２，拡大部７０３，第２フィルタリング部７０４を経由することにより所定の処理が行われた画像信号と、第１フィルタリング部７０１に入力される画像信号との差分を算出して、方向フィルタ７０６に出力する。減算部７１２も第１フィルタリング部７０８に入力される画像信号と第２フィルタリング部７１１からの画像信号との差分を算出して方向フィルタ７１３に出力する。
【００７４】
方向フィルタ７０６、７１３は、入力された差分信号の方向判別を行い、判別した方向に沿って単一方向に近傍分散値から導き出される任意の強度で加重平均あるいは相加平均を行い、それぞれ、コアリング７０７、７１４へ出力する。コアリング７０７、７１４は方向フィルタからの入力信号に対して任意の閾値を用いてコアリング処理を行う。
【００７５】
加算器７１７は、第１フィルタリング部７０１からコアリング７０７に至る入力信号の高帯域をノイズ低減処理した信号と第１フィルタリング部７０８からコアリング７１４に至る入力信号の低帯域をノイズ低減処理した信号とを加算することでノイズ低減済み信号Ｙ’Ｃｂ’Ｃｒ’を生成し、出力する。
【００７６】
上記構成を備えるノイズ低減部５０６において、入力信号であるＹ、Ｃｂ、Ｃｒの各成分画像は、それぞれ独立して処理される。ここで、Ｃｂ，Ｃｒの成分画像を処理するときのみ、偽色低減領域特定部５０７から偽色低減領域ＭＡＰがＣｂ，Ｃｒと並列に入力される。
ノイズ低減部５０６において、Ｃｂ，Ｃｒの成分画像が処理される場合には、縮小処理部７０９のみＣｂ，Ｃｒ成分画像と同様に縮小処理を行い、それ以外のブロックでは方向フィルタ７０６、７１３まで偽色低減領域ＭＡＰに関して処理を行わない。方向フィルタ７０６、７１３において処理対象画素に対応した位置の偽色低減領域ＭＡＰを参照し、信号値が１：偽色の場合には、方向フィルタ７０６、７１３において行われる加重平均或いは相加平均の強度を強くして、ノイズ低減処理を行う。
【００７７】
これにより、偽色低減領域特定部５０７によって偽色低減領域として特定された領域に対しては、他の領域よりも強めのノイズ低減処理を実行することが可能となる。換言すれば、偽色低減領域として特定されなかった領域、例えば、偽色低減処理を実施してしまうと黒ずみが発生してしまう可能性の高い領域に関しては、弱めのノイズ低減処理を実行することにより、黒ずみの発生を防止することが可能となる。
【００７８】
以上、説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、色の黒ずみを回避することができるとともに、色鮮鋭度を保ったまま斜め方向のエッジ付近に発生する偽色を低減することができる。
【００７９】
なお、本実施形態においては、ノイズ低減部５０６に、２段構成の多重解像度ノイズ低減法を適用した場合について説明したが、段数は２段に限られない。ここで、多重解像度の段数が多くなれば、より低帯域のノイズ低減処理も可能となり、また、偽色に関してもより低帯域の偽色を低減できるという利点がある。
また、ノイズ低減部５０６は、エッジに沿った単一方向へ平滑化する能力を持っていればよく、上述した多重解像度ノイズ低減法を採用する場合に限られない。
【００８０】
また、上記実施形態においては、専用回路により各処理を実現する場合について述べたが、上述した第３の実施形態と同様、ソフトウェアによる処理で実現することも可能である。以下、本実施形態に係る偽色低減領域特定部５０７の処理手順を図１８を参照して説明する。図１８は、本実施形態に係る偽色低減領域特定部５０７の処理手順を示したフローチャートである。
【００８１】
まず、ＹＣｂＣｒ色空間で表されたＹ´，Ｃｂ，Ｃｒの各成分画像を上述した（２），（３）式を用いて、ＲＧＢ色空間の各色成分画像に変換し（ステップＳ２０００）、更に、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を求める（ステップＳ２００１）。続いて、輝度成分Ｙ´について、注目画素の周辺に位置する周辺画素の画素値を用いて構造判定値ｔｈｒ´を求め、所定の値ｓｌａｎｔＴＨ´と比較し、除外領域を特定する（ステップＳ２００２）。
【００８２】
次に、上記ステップＳ２００２において、除外領域として特定されなかった領域に対しては、バンドパスフィルタによるフィルタリング処理を行うことで高周波信号を取得し、更に高周波信号が負数の画素値に関しては０でクリップする（ステップＳ２００３）、一方、上記ステップＳ２００２において、除外領域として特定された領域に関しては、フィルタリング処理を行うことなく、その画素値をゼロに設定する（ステップＳ２００４）。
【００８３】
続くステップＳ２００５では、エッジ方向判別を安定的に行うため、且つ、偽色低減を行う範囲を外側に広げるために、ステップＳ２００３で得られた高周波信号に対して平滑化処理を行う。ステップＳ２００６では、ステップＳ２００５で平滑化した高周波信号が所定の値（例えば、０）よりも大きいか否か、かつ、ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ´よりも小さいかを判定することにより、偽色領域の判定を行う。この結果、ステップＳ２００５で平滑化した高周波信号が所定の値よりも大きく、且つ、上記ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が、所定の値ＲｍＢＴＨ´よりも小さかった場合に、偽色低減領域ＭＡＰに偽色低減領域であることを示す１を設定する（ステップＳ２００７）。一方、ステップＳ２００６において、ステップＳ２００５で平滑化した高周波信号が所定の値以下、又は、上記ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ´よりも大きかった場合には、偽色低減領域ＭＡＰに除外領域であることを示す０を設定する（ステップＳ２００８）。そして、上記一連の処理を全ての画素に対して実行すると、作成した偽色低減領域ＭＡＰを出力する。
【００８４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係る撮像システムの全体構成を示すブロック図である。
【図２】図１に示した補間処理部の一構成例を示すブロック図である。
【図３】図１に示した画質調整部の一構成例を示すブロック図である。
【図４】図１に示した偽色低減部の一構成例を示すブロック図である。
【図５】構造判定部によって算出される構造評価値について説明するための図である。
【図６】除外領域と偽色低減領域とを説明するための図である。
【図７】高周波取得部によって用いられるバンドパスフィルタの一例を示した図である。
【図８】エッジ方向判定部によって判定されるエッジ方向について説明するための図である。
【図９】本発明の第２の実施形態に係る画像処理装置が備える偽色低減部の一構成例を示すブロック図である。
【図１０】安定化部で用いられるローパスフィルタの一例を示した図である。
【図１１】安定化部の作用について説明するための図である。
【図１２】本発明の第３の実施形態に係る画像処理装置が備える偽色低減部の一構成例を示すブロック図である。
【図１３】色情報に基づいて偽色低減領域を判断した場合に、除外領域として特定される領域について説明するための図である。
【図１４】本発明の第３の実施形態に係る画像処理装置が備える偽色低減部の処理フローを示した図である。
【図１５】本発明の第４の実施形態に係る撮像システムの全体構成を示すブロック図である。
【図１６】図１５に示した偽色低減領域判定部の一構成例を示したブロック図である。
【図１７】図１５に示したノイズ低減部の一構成例を示したブロック図である。
【図１８】本発明の第４の実施形態に係る画像処理装置が備える偽色低減領域判定部の処理フローを示した図である。
【符号の説明】
【００８６】
１ 撮像システム
２ 撮像部
３ 画像処理装置
５ 第１領域特定部
６ 第２領域特定部
１０４，１０４Ａ，１０４Ｂ 偽色低減部
３０１，６０１ 偽色指標算出部
３０２ 色差生成部
３０３，６０３ 構造判定部
３０４，６０４ 高周波取得部
３０５，６０２ 第２偽色低減領域特定部
３０６，６０５ 安定化部
３０７，６０６ 第１偽色低減領域特定部
３０８ 偽色低減領域決定部
３０９ エッジ方向判別部
３１０ 色平滑化部
３１１ ＲＧＢ生成部
５０６ ノイズ低減部
５０７ 偽色低減領域特定部
６０７ 偽色低減領域ＭＡＰ作成部
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法並びにプログラムに関するものである。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータ等で構成される撮像系から得られるデジタル化された画像信号中に含まれる、本来あるはずのない画素からなる偽色画素を、色鮮鋭度を保ったまま低減する方法として、画像の高周波信号を取得し、取得した高周波信号に近接した画素の偽色画素判定を行った後、色差情報に対して平滑化処理を行うことが提案されている。
【０００３】
例えば、特開２００２−２６２２９９号公報には、エッジ検出フィルタ等を使用して輝度差の大きいエッジ領域を検出し、エッジ領域に近接した画素の色差（Ｃｂ，Ｃｒ）が任意の範囲にあるか否かを判定することで偽色画素を検出し、検出したエッジ領域のエッジ勾配の大きさおよびエッジ勾配の方向からなるエッジ情報を算出し、算出したエッジ情報に基づいて予め設定されている平滑化フィルタを使用して平滑化を行うことで偽色を低減する方法が開示されている。
【特許文献１】特開２００２−２６２２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述のように、特許文献１に開示されている偽色低減方法では、エッジの方向を検出し、エッジ方向に沿った平滑化処理を行うことで、偽色を低減している。しかしながら、この方法では、エッジの角が丸まってしまい、色が黒ずむ等の問題があった。また、この問題は、上述したエッジ方向に沿って平滑化処理を行う方法に限られるものではなく、例えば、エッジ領域において等方向に平滑化処理を行う場合にも生じるものであった。
【０００５】
本発明は、上記問題を解決するためになされたもので、色の黒ずみが生ずるという弊害を解消し、色鮮鋭度を保ちながら、エッジ付近、特に、斜め方向のエッジ付近に発生する偽色を低減することが可能な画像処理装置及びその方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域を特定する偽色低減領域特定部とを具備する画像処理装置である。
【０００７】
本発明の第２の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する第１領域特定部と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部と、前記第１領域特定部によって特定された前記偽色低減領域の候補領域と、前記第２領域特定部によって特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部とを具備する画像処理装置である。
【０００８】
本発明の第３の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する過程と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する過程と、検出された前記斜め方向のエッジ領域から偽色低減領域を特定する過程とを有する画像処理方法である。
【０００９】
本発明の第４の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する過程と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する過程と、構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する過程とを有する画像処理方法である。
【００１０】
本発明の第５の態様は、カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する処理と、前記除外領域以外の領域において、斜め方向のエッジ領域を検出する処理と、検出された前記斜め方向のエッジ領域から偽色低減領域を特定する処理とをコンピュータに実行させるための画像処理プログラムである。
【００１１】
本発明の第６の態様は、カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する処理と、カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する処理と、構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する処理とをコンピュータに実行させるための画像処理プログラムである。
本発明において、上記色成分画像は、例えば、ＲＧＢの各色成分画像、ＹＣｂＣｒの各成分画像等をいう。
【発明の効果】
【００１２】
本発明によれば、色の黒ずみが生ずるという弊害を解消し、色鮮鋭度を保ちながら、エッジ付近、特に、斜め方向のエッジ付近に発生する偽色を低減することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明に係る画像処理装置及びその方法並びにプログラムの各実施形態について、図面を参照して説明する。
【００１４】
〔第１の実施形態〕
図１は本発明の第１の実施形態に係る撮像システムの全体構成を示すブロック図である。図１に示されるように、本実施形態に係る撮像システム１は、撮像部２及び画像処理装置３を備えている。
【００１５】
撮像部２は、不図示のレンズ系、ＩＲカットフィルタ、光学ローパスフィルタ、ＲＧＢ原色系の単板撮像素子（例えば、ＣＣＤ、ＣＭＯＳ等）等を備えている。撮像部２において、レンズ系、ＩＲカットフィルタ、光学ローパスフィルタを通じて単板撮像素子上に結像した光は、光電変換され、アナログ信号の画像信号が生成される。アナログ信号の画像信号は、画像処理装置３に転送される。
【００１６】
画像処理装置３は、例えば、ＡＳＩＣ等を備え、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）１０１、信号処理部１０２、補間処理部１０３、偽色低減部１０４、エッジ強調部１０５、画質調整部１０６、加算部１０７、ノイズ低減部１０８、圧縮記録部１０９、撮影制御部１１０等を主な構成要素として備えている。また、画像処理装置３は、電源スイッチ、シャッターボタン、並びに撮影時の各種モードの切替を行うためのインターフェースを備えた外部Ｉ／Ｆ部（図示略）、出力部（図示略）等を備えている。
【００１７】
Ａ／Ｄ変換部１０１は、アナログ信号の画像信号をデジタル信号の画像信号に変換して出力する。ここで、本実施形態に係る撮像システムは、ＲＧＢ原色系の単板撮像素子を想定しているため、Ａ／Ｄ変換部１０１からは、Ｒｓ（赤）、Ｇｓ（緑）、Ｂｓ（青）の各色成分画像が出力されることとなる。
【００１８】
Ａ／Ｄ変換部１０１から出力された各色成分画像は、信号処理部１０２に転送される。信号処理部１０２は、Ｒｓ、Ｇｓ、Ｂｓの各色成分画像に対してオプティカルブラック処理、ホワイトバランス処理等の公知の信号処理を施し、処理後の各色成分画像を補間処理部１０３に出力する。
【００１９】
補間処理部１０３は、例えば、図２に示すように、高域生成部２０１、ＲＧＢ生成部２０２、色差ＬＰＦ部２０３、及び水平垂直偽色低減部２０４等を主な構成要素として備えている。
補間処理部１０３のＲＧＢ生成部２０２は、Ｒｓ、Ｂｓ、Ｇｓの各色成分画像の各画素に対して、欠落している色成分を補うことにより、各画素に対してＲＧＢ（赤、緑、青）の各色が補間された各色成分画像を生成し、補間後の色成分画像を色差ＬＰＦ部２０３に出力する。色差ＬＰＦ部２０３は、各色成分画像の色差を平滑化処理し、水平垂直偽色低減部２０４に出力する。水平垂直偽色低減部２０４は、緑色成分画像を使用して赤色成分画像、青色成分画像の水平垂直方向のエッジ付近に発生する偽色を低減し、偽色低減処理後の各色成分画像を偽色低減部１０４（図１参照）に出力する。更に、補間処理部１０３は、入力されたＲｓ、Ｂｓ、Ｇｓの各色成分画像からエッジ強調用の高周波信号ＹＨを生成し、高周波信号ＹＨをエッジ強調部１０５に出力する。
【００２０】
偽色低減部１０４では、補間処理部１０３から入力されたＲＧＢの各色成分画像のうち、特に、画素配列方向に対して斜め方向のエッジ付近に発生する偽色を低減し、処理後の各色成分画像を画質調整部１０６へ出力する。ここで、偽色低減部１０４は本発明の特徴部分であり、その詳細については後述する。
【００２１】
エッジ強調部１０５は、補間処理部１０３から入力された高周波信号ＹＨに対して所定の強調処理を行うことにより、高周波信号ＹＨ´を求め、この高周波信号ＹＨ´を加算部１０７に出力する。
【００２２】
画質調整部１０６は、図３に示されるように、カラーマトリックス処理部４０１、ガンマ補正部４０２，４０３，４０４、及び信号変換処理部４０５を主な構成要素として備えている。画質調整部１０６において、カラーマトリックス処理部４０１は、偽色低減部１０４から出力されたＲＢＧ色空間で表された各色成分画像をｓＲＢＧ等の所定色空間に変換し、出力する。変換後の各成分画像は、それぞれγ補正部４０２、４０３、４０４に出力され、色毎にビット変換が行われる。例えば、１２ビットの信号が８ビットの信号に変換される。γ補正後のＲγ，Ｇγ，Ｂγの各色成分画像は、信号変換処理部４０５に出力される。信号変換処理部４０５は、以下の式を用いることにより、ＲγＧγＢγの各色成分画像をＹＣｂＣｒ色空間で表される各成分画像に変換し、出力する。
【００２３】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ（０≦Ｙ≦２５５）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ（−１２８≦Ｃｂ≦１２７）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ（−１２８≦Ｃｒ≦１２７）
【００２４】
画質調整部１０６から出力されたＹ成分画像は、加算部１０７においてエッジ強調部１０５から出力される高周波信号ＹＨ´と加算され、加算後のＹ´成分画像がノイズ低減部１０８に出力される。一方、画質調整部１０６から出力されたＣｂ、Ｃｒの各成分画像については、そのままノイズ低減部１０８に出力される。
【００２５】
ノイズ低減部１０８は、入力されたＹＣｂＣｒの各成分画像から、カラー撮像系に起因するランダムノイズ、スパイクノイズ等を低減し、低減したＹＣｂＣｒの各成分画像を圧縮記録部１０９に出力する。
圧縮記録部１０９はノイズ低減部１０７から入力されたＹＣｂＣｒの各成分画像を画像圧縮し、フラッシュメモリやハードディスク、磁気テープ等の所定記録媒体に記録する。
【００２６】
次に、本発明の特徴部分である上記偽色低減部１０４について図を用いて詳しく説明する。図４は、偽色低減部１０４の概略構成を示すブロック図である。図４に示すように、偽色低減部１０４は、緑色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部３０３と、除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部３０４と、高周波取得部３０４によって特定された斜め方向のエッジ領域を偽色低減領域として特定する第１偽色低減領域特定部（偽色低減領域特定部）３０７とを主な構成として備えている。更に、偽色低減部１０４は、色差生成部３０２、エッジ方向判別部３０９、色平滑化部３１０、及びＲＧＢ生成部３１１等を備えている。
【００２７】
上記色差生成部３０２には、ＲＧＢの各色成分画像が入力される。色差生成部３０２は、Ｒ（赤）−Ｇ（緑）色差成分、Ｂ（青）−Ｇ（緑）色差成分を算出し、算出結果を色平滑化部３１０に出力する。
上記構造判定部３０３及び高周波取得部３０４には、補間処理部１０３から出力された緑色成分画像が入力される。構造判定部３０３は、補間処理部１０３から入力される緑色成分画像について、画素毎に構造判定値ｔｈｒを求める。例えば、図５（ａ）に示すように、注目画素をａ０、注目画素ａ０を中心として斜め方向に位置する４つの周辺画素をａ１，ａ２，ａ３，ａ４とすると、注目画素ａ０の構造判定値ｔｈｒは以下の（１）式で求められる。
【００２８】
ｔｈｒ＝｜｜ａ１−ａ４｜−｜ａ２−ａ３｜｜ （１）
【００２９】
ここで、ａ１とａ４、及びａ２とａ３は、注目画素を挟んで対角線上にそれぞれ位置している。例えば、注目画素ａ０、周辺画素ａ１〜ａ４が、図５（ｂ）に示すような画素値を持っている場合には、注目画素ａ０における構造判定値ｔｈｒは大きな値をとり、例えば、図５（ｃ）に示すような画素値を持っている場合には、構造判定値ｔｈｒは小さな値をとる。構造判定値が大きな値となる領域は、例えば、図６の領域Ｂで表されるような斜めのエッジ領域に属する各画素に相当し、構造判定値が小さな値となる領域は、例えば、図６の領域Ａのようなエッジが交差する領域に属する各画素に相当する。
【００３０】
ここで、図６に領域Ａで示されるようなエッジが交差する領域は、等方向或いはエッジの方向に沿った単一方向に平滑化を行うと不安定になり、角を丸めて色を黒ずませる原因となる。従って、構造判定部３０３では、このような領域を除外領域として検出し、偽色低減領域から除外する。そのため、例えば、構造判定部３０３は、各画素について算出した構造判定値ｔｈｒを予め設定されている所定の値ｓｌａｎｔＴＨとそれぞれ比較し、所定の値ｓｌａｎｔＴＨよりも小さな構造判定値ｔｈｒを持つ画素を除外領域として特定する。除外領域として特定した画素についてはフラグを０に設定し、除外領域以外の領域については、フラグを１に設定する。
このフラグは、後段の高周波取得部３０４において、高周波信号を取得するか否か、つまり、エッジ検出処理を行うか否かを示すものであり、フラグ１の場合には、高周波信号を取得する旨を示し、フラグ０の場合には、高周波信号を取得しない旨を示している。
【００３１】
高周波取得部３０４は、バンドパスフィルタを保有している。図７（ａ），（ｂ）に、高周波取得部３０４が保有するバンドパスフィルタの一例を示す。バンドパスフィルタは、斜め方向のエッジを取得する周波数特性を持っていれば良く、係数やフィルタサイズは図７（ａ），（ｂ）に示すフィルタに限られない。例えば、画素の微分値に基づいてエッジ領域を検出するＧｒａｄｉｅｎｔ、Ｌａｐｌａｃｉａｎ、Ｐｒｅｗｉｔｔ、Ｓｏｂｅｌオペレータ等のエッジ検出フィルタを用いてもよいし、注目画素と周辺画素との分散を評価する値に基づいてエッジ領域を検出しても良い。
【００３２】
高周波取得部３０４は、構造判定部３０３から入力される各画素に与えられたフラグの状態を判別する。この結果、フラグが１であれば、バンドパスフィルタを用いて高周波信号を得る。一方、フラグが０である場合には、当該画素位置の高周波信号を０に設定する。更に、高周波取得部３０４は、バンドパスフィルタを用いて得られる高周波信号が負である場合には高周波信号を０に変更（クリップ）する。この結果、構造判定部３０３から入力される各画素に与えられたフラグが１である画素位置については、高周波信号が検出され、更に、その高周波信号の値が負である画素については高周波信号が０に設定される。また、構造判定部３０３から入力される各画素に与えられたフラグが０である画素位置については、その画素位置の高周波信号が０に設定されることとなる。フィルタリング処理後の高周波信号は、第１偽色低減領域特定部３０７に出力される。
【００３３】
第１偽色低減領域特定部３０７は、高周波取得部３０４からの高周波信号において、各画素位置の高周波信号が予め設定されている所定の値以上であるか否か、例えば、０よりも大きいか否かを判断し、０の場合には非偽色低減領域と判断し、高周波信号が０よりも大きい場合に偽色低減領域であると判断する。この判断結果は、色平滑化部３１０に出力される。
【００３４】
エッジ方向判別部３０９は、高周波取得部３０４からの色成分画像において、注目画素とその周辺画素との差分を複数方向に対して算出し、差分が最小の方向をエッジ方向として決定し、このエッジ方向を色平滑化部３１０へ出力する。具体的には、エッジ方向判別部３０９は、図８に示される例において、ｅ０〜ｅ７の８方向に対する差分を以下の式を用いて算出し、ｅ０〜ｅ７のうち差分が最小の値となる方向にエッジが存在すると判断して、エッジ方向を色平滑化部３１０へ出力する。図８では、Ｙ２２を注目画素とし、この注目画素を中心として５×５の画素範囲を周辺画素として設定している。
【００３５】
ｅ０＝｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ２４｜＋｜Ｙ２２−Ｙ２１｜＋｜Ｙ２２−Ｙ２０｜
ｅ１＝｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ１４｜＋｜Ｙ２２−Ｙ２１｜＋｜Ｙ２２−Ｙ３０｜
ｅ２＝｜Ｙ２２−Ｙ１３｜＋｜Ｙ２２−Ｙ０４｜＋｜Ｙ２２−Ｙ３１｜＋｜Ｙ２２−Ｙ４０｜
ｅ３＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０３｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４１｜
ｅ４＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０２｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４２｜
ｅ５＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ０１｜＋｜Ｙ２２−Ｙ３２｜＋｜Ｙ２２−Ｙ４３｜
ｅ６＝｜Ｙ２２−Ｙ１１｜＋｜Ｙ２２−Ｙ００｜＋｜Ｙ２２−Ｙ３３｜＋｜Ｙ２２−Ｙ４４｜
ｅ７＝｜Ｙ２２−Ｙ３１｜＋｜Ｙ２２−Ｙ１０｜＋｜Ｙ２２−Ｙ２３｜＋｜Ｙ２２−Ｙ３４｜
【００３６】
なお、図８では、注目画素の近傍５×５画素の範囲を周辺画素として、８方向についてエッジ方向を判別しているが、周辺画素の範囲は任意に設定することが可能である。エッジ方向の判別精度を向上させるためには、７×７画素や９×９画素の範囲で判別しても良いし、範囲を拡張させることに伴い、エッジ方向を１６方向に設定して判別することも可能である。
【００３７】
色平滑化部３１０には、上記色差生成部３０２からＲ−Ｇ色差成分及びＢ−Ｇ色差成分が、また、第１偽色低減領域特定部３０７から偽色低減領域に関する情報が入力される。色平滑化部３１０は、第１偽色低減領域特定部３０７によって偽色低減領域であると判定された領域に属する画素のＲ−Ｇ色差成分、Ｂ−Ｇ色差成分を抽出し、これらの色差成分に対して、エッジ方向判別部３０９によって判別されたエッジ方向（単一方向）に沿った相加平均又は加重平均処理を行うことで色平滑化処理を行い、その結果をＲＧＢ生成部３１１へ出力する。ここで、相加平均又は加重平均処理を行う範囲は、エッジ方向判別部３０９でエッジ方向を判別した周辺画素の範囲と同じサイズで処理することが好ましい。
【００３８】
ＲＧＢ生成部３１１は、色平滑化部３１０から入力されたＲ−Ｇ色差成分、Ｂ−Ｇ色差成分に対して補間処理部１０２から入力された緑色成分を加算することで、ＲＧＢの色成分画像を生成し、画質調整部１０５へ出力する。
【００３９】
このような構成を備える偽色低減部１０４においては、構造判定部３０３による構造判定が緑色成分画像に基づいて行われることにより、偽色低減処理を施してしまうと黒ずみなどの弊害が生ずる領域、例えば、エッジが交差する領域等が除外領域として特定され、続く高周波取得部３０４において、除外領域以外の領域に対してバンドパスフィルタを用いた高周波取得処理が行われるとともに、除外領域については高周波信号に０を設定し、処理後の高周波信号が第１偽色低減領域特定部３０７に出力される。第１偽色低減領域特定部３０７は、各画素位置の高周波信号を予め設定されている所定の値と比較し、所定の値以上（或いは、所定の値よりも大きな値）を有する領域を偽色低減領域として決定し、この結果を色平滑化部３１１に出力する。一方、エッジ方向判別部３０９では、高周波取得部３０４から出力される高周波信号に基づいてエッジ方向が検出され、エッジ方向の情報が色平滑化部３１０に出力される。
【００４０】
色平滑化部３１０では、第１偽色低減領域特定部３０７により偽色低減領域であると特定された領域に該当するＲ−Ｇ色差成分及びＢ−Ｇ色差成分に対してエッジ方向判別部３０９から取得したエッジ方向に基づく相加平均または加重平均処理が行われることにより、偽色低減処理が施され、処理後の色差成分がＲＧＢ生成部３１１に出力される。ＲＧＢ生成部３１１では、偽色低減処理後の色差成分と緑色成分とに基づいてＲＧＢの各色成分画像が生成され、画質調整部１０５に出力される。
【００４１】
以上、説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、偽色低減処理を施してしまうと黒ずみが発生してしまうような領域、例えば、エッジが交差するような領域を偽色低減処理の対象領域から除外し、黒ずみが発生しない領域のみ、例えば、斜めのエッジ領域に対してのみ偽色低減処理を実施するので、色の黒ずみを防止しながら、偽色の低減を実現させることが可能となる。
【００４２】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態に係る画像処理装置は、図９に示すように、偽色低減部１０４Ａにおいて、高周波取得部３０４の後段に安定化部３０６が設けられている点で、上述した第１の実施形態に係る画像処理装置と異なる。
以下、本実施形態において第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
本実施形態に係る画像処理装置では、偽色低減部１０４Ａの高周波取得部３０４によってフィルタリング処理が行われた後の高周波信号は、安定化部３０６に出力される。安定化部３０６は、例えば、ナイキスト周波数付近を制限する周波数特性を有するローパスフィルタを保有しており、このローパスフィルタを用いて、入力された高周波信号に対してフィルタリング処理を行う。図１０に、安定化部３０６が保有するローパスフィルタの一例を示す。図１０に示されるローパスフィルタの係数やフィルタサイズは一例であり、この例に限定されない。
【００４４】
ここで、図１１に示すように、偽色はエッジの外側付近に多く発生する。また、高周波信号を取得する元となる緑色成分画像にモアレが混入していた場合には、後段のエッジ方向判別部３０９におけるエッジの方向判別精度が低下し、処理が不安定となる。そこで、本実施形態では、エッジ方向判別部３０９の前段に安定化部３０６を設け、エッジ方向判別部３０９におけるエッジの方向判別の精度を向上させることとしている。また、第１偽色低減領域特定部３０７の前段に安定化部３０６を設け、偽色が発生しやすいエッジの外側を偽色低減領域に含めさせることとしている。
【００４５】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、偽色低減部１０４Ａにおいて、エッジ方向判別部３０９及び第１偽色低減領域特定部３０７の前段にローパスフィルタリングを行う安定化部３０６を備えているので、エッジの外側領域についても偽色低減領域に含めることが可能となる。これにより、エッジ方向判別等の精度を向上させることが可能となるとともに、偽色が発生する領域をより適切に特定することが可能となる。この結果、偽色低減処理の精度を向上させることができ、より品質の高い画像を取得することができる。
【００４６】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像処理装置及び画像処理方法について説明する。
上述した第１の実施形態及び第２の実施形態においては、画像の構造情報に基づいてのみ偽色低減領域を特定していたが、本実施形態においては、画像の構造情報に加えて、色情報も考慮し、構造情報及び色情報の両方から偽色低減領域を特定する。以下、上述した各実施形態と共通する部分については説明を省略し、異なる部分について主に説明する。
【００４７】
図１２は、本実施形態に係る画像処理装置における偽色低減部１０４Ｂの一構成例を示したブロック図である。図１２に示されるように、本実施形態に係る偽色低減部１０４Ｂは、ＲＧＢカラー画像を構成する複数の各色成分画像のうち、緑色成分画像を用いてその構造情報から偽色低減領域の候補領域を特定する第１領域特定部５と、カラー画像を構成する複数の色成分画像のうち、赤色成分画像及び青色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部６と、第１領域特定部５によって特定された偽色低減領域の候補領域と、第２領域特定部６によって特定された偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部３０８とを主な構成要素として備えている。更に、偽色低減部１０４Ｂは、色差生成部３０２、エッジ方向判別部３０９、色平滑化部３１０、及びＲＧＢ生成部３１１等を備えている。
【００４８】
第１領域特定部５は、構造判定部３０３、高周波取得部３０４、安定化部３０６、及び第１偽色低減領域特定部３０７を備えている。第２領域特定部６は、偽色指標算出部３０１、及び第２偽色低減領域特定部３０５を備えている。
第１領域特定部５において、各構成要素は上述したとおりであるが、上述した第３の実施形態における第１偽色低減領域特定部３０７において特定された偽色低減領域は、本実施形態においては、偽色低減領域の候補領域として偽色低減領域決定部３０８に出力される。
【００４９】
第２領域特定部６において、偽色指標算出部３０１は、青色成分画像及び赤色成分画像からＲ（赤）−Ｂ（青）色差成分の絶対値｜Ｒ−Ｂ｜を偽色指標として算出し、第２偽色低減領域特定部３０５に出力する。
第２偽色低減領域特定部３０５は、偽色指標算出部３０１によって算出された偽色指標が、予め設定されている所定の値よりも小さい領域を偽色低減領域の候補領域として特定する。例えば、斜め方向のエッジ付近に発生する偽色は、グリーンとマゼンタが交互に色づくパターンが多い。グリーンもマゼンタもＲＧＢで表現するとグリーン（０，２５５，０）、マゼンタ（２５５，０，２５５）となり、どちらもＢ−Ｒの絶対値が小さい値となる。従って、注目画素のＢ−Ｒの絶対値が小さい場合には、注目画素は偽色の可能性が高いと判断することができる。そこで、このような偽色低減領域を偽色低減領域の候補領域として特定すべく、第２偽色低減領域特定部３０５は、偽色指標算出部３０１から入力されたＢ−Ｒ色差成分の絶対値｜Ｒ−Ｂ｜を所定の値ＲｍＢＴＨと比較し、絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨよりも小さいとき、この領域を偽色低減領域の候補領域として特定し、その領域の情報を偽色低減領域決定部３０８に出力する。上記所定の値ＲｍＢＴＨは任意に設定可能である。
【００５０】
偽色低減領域決定部３０８は、第１偽色低減領域特定部３０７及び第２偽色低減領域特定部３０５の両方によって偽色低減領域の候補領域であると特定された領域を偽色低減領域として決定し、この情報を色平滑化部３１０に出力する。この後の処理については、上述した第１実施形態等と同様である。
【００５１】
このように、画像の構造情報だけでなく、色情報も加味して偽色低減領域を決定することにより、偽色低減処理を行うことによって黒ずみが発生してしまう領域のうち、第１偽色低減領域特定部３０７で除去しきれない領域についても、色低減処理の対象領域から除外することが可能となる。例えば、色情報に基づいて偽色低減領域を決定することにより、図１３の領域Ｃで表されるような、鋭角のエッジ付近の領域を除外領域とすることができ、偽色低減処理に起因する当該領域の黒ずみ発生を更に防止することが可能となる。
【００５２】
なお、上述した各実施形態では、偽色低減部１０４，１０４Ａ，１０４Ｂとしてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、偽色低減部１０４，１０４Ａ，１０４Ｂは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラム（画像処理プログラム）を読み出して、情報の加工・演算処理を実行することにより、上述の偽色低減部１０４等と同様の処理を実現させる。
【００５３】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５４】
以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法のうち、偽色低減処理の処理手順について図１４を参照して説明する。ここでは、上述した各実施形態のうち、第３の実施形態に係るノイズ低減部１０４Ｂ（図１２参照）の処理手順について説明する。
【００５５】
まず、欠落画素を補間した赤（Ｒ）、青（Ｇ）、緑（Ｂ）の各色成分画像に基づいて色差成分（Ｒ−Ｇ、Ｂ−Ｇ）を求める（図１４のステップＳ１０００）。続いて、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を算出する（ステップＳ１００１）。次に、緑色成分画像について、注目画素の周辺に位置する周辺画素の画素値に基づいて構造判定値ｔｈｒを求め、これを予め設定されている所定の値ｓｌａｎｔＴＨと比較し、除外領域を特定する（ステップＳ１００２）。
【００５６】
次に、上記ステップＳ１００２において除外領域として特定されなかった領域（除外領域以外）に対して、バンドパスフィルタによるフィルタリング処理を行うことで高周波信号を取得し、更に、その高周波信号の値が負数であった場合には０でクリップする（ステップＳ１００３）。一方、上記ステップＳ１００２において、除外領域として特定された領域に関しては、フィルタリング処理を行わずに、その画素値をゼロに設定する（ステップＳ１００４）。
【００５７】
続くステップＳ１００５では、エッジ方向判別を安定的に行うため、且つ、偽色低減を行う範囲を外側に広げるために、上記ステップＳ１００３で得られた高周波信号に対して平滑化処理を行う。ステップＳ１００６では、ステップＳ１００５で平滑化した高周波信号の周辺画素を参照してエッジの方向判別を行う。続くステップＳ１００７では、ステップＳ１００５で平滑化した高周波信号の値が所定の値以上であるか否かを判断し（例えば、０よりも大きいか否かを判断し）、所定の値以上であった場合に、上記ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜と任意の閾値ＲｍＢＴＨを比較する（ステップＳ１００８）。
【００５８】
ステップＳ１００８において、上記ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨよりも小さい場合には、上記ステップＳ１０００で求めたＲ−Ｇ色差成分及びＢ−Ｇ色差成分に対して、ステップＳ１００６で判別したエッジ方向に沿って単一方向に平滑化処理を行うことで偽色低減処理を実施する（ステップＳ１００９）。続くステップＳ１０１０では、ステップＳ１００９で偽色低減処理を行った後のＲ−Ｇ色差成分、Ｂ−Ｇ色差成分に、欠落画素を補完した緑色成分画像を加算してＲＧＢの各色成分画像を生成する。
【００５９】
一方、ステップＳ１００７において、ステップＳ１００５で平滑化した高周波信号の値が所定の値よりも小さかった場合、或いは、ステップＳ１００８において、ステップＳ１００１で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ以上であった場合には、その画素について偽色低減処理を行わずに、ステップＳ１０１０に進み、ＲＧＢの各色成分画像を生成する。そして、上記一連の処理を各画素について繰り返し行い、全ての画素について処理を実行すると、本処理を終了する。
【００６０】
なお、本発明の画像処理方法及び画像処理プログラムに関する処理手順については、上記処理フローに限定されない。即ち、構造情報から特定される偽色低減領域の候補領域と、色情報から特定される偽色低減領域の候補領域の両方から偽色低減領域を決定できればよく、候補領域を特定する順序などには左右されない。
【００６１】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る画像処理装置及び画像処理方法について説明する。上記実施形態の画像処理装置は、図１５に示すように、上述した偽色低減部に代えて、偽色低減領域特定部５０７が設けられ、この偽色低減領域特定部５０７からノイズ低減部５０６に対して偽色低減領域マップが出力される点で、上述した各実施形態に係る画像処理装置と異なる。また、偽色低減領域特定部５０７は、画質調整部１０６の後段に設けられている、処理する色空間がＲＧＢ色空間ではなくＹＣｂＣｒ色空間である点で上述した各実施形態に係る画像処理装置と異なる。以下、本実施形態において第１〜第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００６２】
図１６は、偽色低減領域特定部５０７の概略構成を示したブロック図である。図１６に示すように、偽色低減領域特定部５０７は、偽色指標算出部６０１、第２偽色低減領域特定部６０２、構造判定部６０３、高周波取得部６０４、安定化部６０５、第１偽色低減領域特定部６０６、及び偽色低減領域ＭＡＰ作成部６０７を主な構成要素として備えている。
【００６３】
偽色指標算出部６０１には、図１５に示されるエッジ強調部１０５から出力された高周波成分ＹＨ´と画質調整部１０６から出力された輝度成分Ｙとが加算された輝度成分Ｙ´と、画質調整部５０４から出力されたＣｂ色差成分、Ｃｒ色差成分が入力される。
偽色指標算出部６０１は、以下に示す（２），（３）式を用いて、ＹＣｂＣｒ色空間の各成分をＲＧＢ色空間の各成分に変換する。
【００６４】
Ｒ＝Ｙ´＋１．４０２００Ｃｒ （２）
Ｂ＝Ｙ´＋１．７７２００Ｃｂ （３）
【００６５】
そして、変換後の赤色成分画像及び青色成分画像を用いて、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を算出し、算出結果を第２偽色低減領域特定部６０２に出力する。
【００６６】
第２偽色低減領域特定部６０２は、偽色指標算出部６０１から入力されたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を予め設定されている所定の値ＲｍＢＴＨと比較し、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が閾値ＲｍＢＴＨよりも小さいときに偽色低減領域の候補領域と特定し、この結果を偽色低減領域ＭＡＰ作成部６０７に出力する。
【００６７】
他方、構造判定部６０３は、輝度成分Ｙ´を用いて上述した第１の実施形態と同様の算出方法によって、注目画素の構造判定値ｔｈｒ´を算出し、この構造判定値ｔｈｒ´と予め設定されている所定の値ｓｌａｎｔＴＨ´と比較し、所定の値ｓｌａｎｔＴＨ´よりも大きな値の構造判定値ｔｈｒ´をもつ画素を抽出する。そして、抽出した画素については、フラグを１に設定し、抽出されなかった画素についてはフラグを０に設定する。
【００６８】
高周波取得部６０４は、構造判定部６０３から入力される各画素に与えられたフラグの状態を判別し、フラグが１であれば、バンドパスフィルタを用いたフィルタリング処理を実施した後、その画素値が負を示すものについては０にクリップし、それ以外、つまり除外領域であれば、画素値に０を設定し、処理後の輝度成分を安定化部６０５に出力する。
【００６９】
安定化部６０５は、上述した第２の実施形態と同様に、例えば、ナイキスト周波数付近を制限する周波数特性を有するローパスフィルタを保有しており、このローパスフィルタを用いて、入力された輝度成分に対してフィルタリング処理を行う。フィルタリング処理後の輝度成分は、第１偽色低減領域特定部６０６に出力される。
【００７０】
第１偽色低減領域特定部６０６は、安定化部６０５からの輝度成分において、各画素の画素値が所定の値よりも大きい画素を抽出し、この画素を偽色低減領域の候補領域と判断し、この判断結果を偽色低減領域ＭＡＰ作成部６０７に出力する。
【００７１】
偽色低減領域ＭＡＰ作成部６０７は、第１偽色低減領域特定部６０６及び第２偽色低減領域特定部６０２の両方において、偽色低減領域の候補領域であると特定された領域を偽色低減領域として特定し、それ以外の領域を除外領域として特定する。そして、偽色低減領域として判断した画素については信号値１が、除外領域として判断した画素については信号値０が書き込まれた偽色低減領域ＭＡＰを作成し、これをノイズ低減部５０６へ出力する。
【００７２】
図１７は、ノイズ低減部５０６の概略構成を示したブロック図である。本実施形態において、ノイズ低減部５０６は、２段構成の多重解像度ノイズ低減法を採用している。ノイズ低減部５０６において、第１フィルタリング部７０１、７０８は、入力信号を特定の周波数帯域に分解するために用いられる任意のローパスフィルタである。縮小処理部７０２，７０９は入力信号を１／４に縮小するダウンサンプリングを行う。拡大部７０３，７１０，７１５は、入力信号を４倍に拡大するアップサンプリング処理を行う。
【００７３】
第２フィルタリング部７０４，７１１，７１６は、入力信号の帯域を落とすローパスフィルタである。減算器７０５は、第１フィルタリング部７０１，縮小処理部７０２，拡大部７０３，第２フィルタリング部７０４を経由することにより所定の処理が行われた画像信号と、第１フィルタリング部７０１に入力される画像信号との差分を算出して、方向フィルタ７０６に出力する。減算部７１２も第１フィルタリング部７０８に入力される画像信号と第２フィルタリング部７１１からの画像信号との差分を算出して方向フィルタ７１３に出力する。
【００７４】
方向フィルタ７０６、７１３は、入力された差分信号の方向判別を行い、判別した方向に沿って単一方向に近傍分散値から導き出される任意の強度で加重平均あるいは相加平均を行い、それぞれ、コアリング７０７、７１４へ出力する。コアリング７０７、７１４は方向フィルタからの入力信号に対して任意の閾値を用いてコアリング処理を行う。
【００７５】
加算器７１７は、第１フィルタリング部７０１からコアリング７０７に至る入力信号の高帯域をノイズ低減処理した信号と第１フィルタリング部７０８からコアリング７１４に至る入力信号の低帯域をノイズ低減処理した信号とを加算することでノイズ低減済み信号Ｙ’Ｃｂ’Ｃｒ’を生成し、出力する。
【００７６】
上記構成を備えるノイズ低減部５０６において、入力信号であるＹ、Ｃｂ、Ｃｒの各成分画像は、それぞれ独立して処理される。ここで、Ｃｂ，Ｃｒの成分画像を処理するときのみ、偽色低減領域特定部５０７から偽色低減領域ＭＡＰがＣｂ，Ｃｒと並列に入力される。
ノイズ低減部５０６において、Ｃｂ，Ｃｒの成分画像が処理される場合には、縮小処理部７０９のみＣｂ，Ｃｒ成分画像と同様に縮小処理を行い、それ以外のブロックでは方向フィルタ７０６、７１３まで偽色低減領域ＭＡＰに関して処理を行わない。方向フィルタ７０６、７１３において処理対象画素に対応した位置の偽色低減領域ＭＡＰを参照し、信号値が１：偽色の場合には、方向フィルタ７０６、７１３において行われる加重平均或いは相加平均の強度を強くして、ノイズ低減処理を行う。
【００７７】
これにより、偽色低減領域特定部５０７によって偽色低減領域として特定された領域に対しては、他の領域よりも強めのノイズ低減処理を実行することが可能となる。換言すれば、偽色低減領域として特定されなかった領域、例えば、偽色低減処理を実施してしまうと黒ずみが発生してしまう可能性の高い領域に関しては、弱めのノイズ低減処理を実行することにより、黒ずみの発生を防止することが可能となる。
【００７８】
以上、説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、色の黒ずみを回避することができるとともに、色鮮鋭度を保ったまま斜め方向のエッジ付近に発生する偽色を低減することができる。
【００７９】
なお、本実施形態においては、ノイズ低減部５０６に、２段構成の多重解像度ノイズ低減法を適用した場合について説明したが、段数は２段に限られない。ここで、多重解像度の段数が多くなれば、より低帯域のノイズ低減処理も可能となり、また、偽色に関してもより低帯域の偽色を低減できるという利点がある。
また、ノイズ低減部５０６は、エッジに沿った単一方向へ平滑化する能力を持っていればよく、上述した多重解像度ノイズ低減法を採用する場合に限られない。
【００８０】
また、上記実施形態においては、専用回路により各処理を実現する場合について述べたが、上述した第３の実施形態と同様、ソフトウェアによる処理で実現することも可能である。以下、本実施形態に係る偽色低減領域特定部５０７の処理手順を図１８を参照して説明する。図１８は、本実施形態に係る偽色低減領域特定部５０７の処理手順を示したフローチャートである。
【００８１】
まず、ＹＣｂＣｒ色空間で表されたＹ´，Ｃｂ，Ｃｒの各成分画像を上述した（２），（３）式を用いて、ＲＧＢ色空間の各色成分画像に変換し（ステップＳ２０００）、更に、Ｒ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜を求める（ステップＳ２００１）。続いて、輝度成分Ｙ´について、注目画素の周辺に位置する周辺画素の画素値を用いて構造判定値ｔｈｒ´を求め、所定の値ｓｌａｎｔＴＨ´と比較し、除外領域を特定する（ステップＳ２００２）。
【００８２】
次に、上記ステップＳ２００２において、除外領域として特定されなかった領域に対しては、バンドパスフィルタによるフィルタリング処理を行うことで高周波信号を取得し、更に高周波信号が負数の画素値に関しては０でクリップする（ステップＳ２００３）、一方、上記ステップＳ２００２において、除外領域として特定された領域に関しては、フィルタリング処理を行うことなく、その画素値をゼロに設定する（ステップＳ２００４）。
【００８３】
続くステップＳ２００５では、エッジ方向判別を安定的に行うため、且つ、偽色低減を行う範囲を外側に広げるために、ステップＳ２００３で得られた高周波信号に対して平滑化処理を行う。ステップＳ２００６では、ステップＳ２００５で平滑化した高周波信号が所定の値（例えば、０）よりも大きいか否か、かつ、ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ´よりも小さいかを判定することにより、偽色領域の判定を行う。この結果、ステップＳ２００５で平滑化した高周波信号が所定の値よりも大きく、且つ、上記ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が、所定の値ＲｍＢＴＨ´よりも小さかった場合に、偽色低減領域ＭＡＰに偽色低減領域であることを示す１を設定する（ステップＳ２００７）。一方、ステップＳ２００６において、ステップＳ２００５で平滑化した高周波信号が所定の値以下、又は、上記ステップＳ２００２で求めたＲ−Ｂ色差成分の絶対値｜Ｒ−Ｂ｜が所定の値ＲｍＢＴＨ´よりも大きかった場合には、偽色低減領域ＭＡＰに除外領域であることを示す０を設定する（ステップＳ２００８）。そして、上記一連の処理を全ての画素に対して実行すると、作成した偽色低減領域ＭＡＰを出力する。
【００８４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係る撮像システムの全体構成を示すブロック図である。
【図２】図１に示した補間処理部の一構成例を示すブロック図である。
【図３】図１に示した画質調整部の一構成例を示すブロック図である。
【図４】図１に示した偽色低減部の一構成例を示すブロック図である。
【図５】構造判定部によって算出される構造評価値について説明するための図である。
【図６】除外領域と偽色低減領域とを説明するための図である。
【図７】高周波取得部によって用いられるバンドパスフィルタの一例を示した図である。
【図８】エッジ方向判定部によって判定されるエッジ方向について説明するための図である。
【図９】本発明の第２の実施形態に係る画像処理装置が備える偽色低減部の一構成例を示すブロック図である。
【図１０】安定化部で用いられるローパスフィルタの一例を示した図である。
【図１１】安定化部の作用について説明するための図である。
【図１２】本発明の第３の実施形態に係る画像処理装置が備える偽色低減部の一構成例を示すブロック図である。
【図１３】色情報に基づいて偽色低減領域を判断した場合に、除外領域として特定される領域について説明するための図である。
【図１４】本発明の第３の実施形態に係る画像処理装置が備える偽色低減部の処理フローを示した図である。
【図１５】本発明の第４の実施形態に係る撮像システムの全体構成を示すブロック図である。
【図１６】図１５に示した偽色低減領域判定部の一構成例を示したブロック図である。
【図１７】図１５に示したノイズ低減部の一構成例を示したブロック図である。
【図１８】本発明の第４の実施形態に係る画像処理装置が備える偽色低減領域判定部の処理フローを示した図である。
【符号の説明】
【００８６】
１ 撮像システム
２ 撮像部
３ 画像処理装置
５ 第１領域特定部
６ 第２領域特定部
１０４，１０４Ａ，１０４Ｂ 偽色低減部
３０１，６０１ 偽色指標算出部
３０２ 色差生成部
３０３，６０３ 構造判定部
３０４，６０４ 高周波取得部
３０５，６０２ 第２偽色低減領域特定部
３０６，６０５ 安定化部
３０７，６０６ 第１偽色低減領域特定部
３０８ 偽色低減領域決定部
３０９ エッジ方向判別部
３１０ 色平滑化部
３１１ ＲＧＢ生成部
５０６ ノイズ低減部
５０７ 偽色低減領域特定部
６０７ 偽色低減領域ＭＡＰ作成部
【特許請求の範囲】
【請求項１】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、
前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域を特定する偽色低減領域特定部と
を具備する画像処理装置。
【請求項２】
前記構造判定部は、エッジが交差する領域を前記除外領域として特定する請求項１に記載の画像処理装置。
【請求項３】
前記高周波取得部は、前記除外領域以外の領域に対して斜め方向のエッジを検出する周波数特性を持つフィルタリング処理を施して高周波信号を得るとともに、前記除外領域に対しては前記フィルタリング処理を行うことなく前記偽色低減領域から除外する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記高周波取得部から出力される高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部を備え、
前記偽色低減領域特定部は、前記安定化部から出力される前記高周波信号の値が所定の値以上である領域を偽色低減領域として特定する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記高周波取得部から出力される前記高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部と、
前記安定化部の出力に基づいてエッジ方向を判別するエッジ方向判別部と、
前記偽色低減領域の色差信号に対して前記エッジ方向に沿った色平滑化処理を行う色平滑化部と
を具備する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項６】
前記偽色低減領域特定部は、前記斜め方向のエッジ領域において前記高周波取得部から出力される前記高周波信号が所定の値以上である領域を偽色低減領域として特定する請求項１から請求項３および請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記カラー画像を処理する色空間がＲＧＢ色空間である場合において、前記色成分画像は緑色成分画像であり、前記カラー画像を処理する色空間がＹＵＶまたはＹＣｂＣｒ色空間の場合には、前記色成分画像は輝度成分画像である請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記安定化部によって用いられる前記ローパスフィルタは、ナイキスト周波数付近を制限する周波数特性を有するフィルタである請求項４または請求項５に記載の画像処理装置。
【請求項９】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する第１領域特定部と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部と、
前記第１領域特定部によって特定された前記偽色低減領域の候補領域と、前記第２領域特定部によって特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部と
を具備する画像処理装置。
【請求項１０】
前記第１領域特定部は、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、前記偽色低減領域の候補領域から除外する除外領域を特定する構造判定部と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、
前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域の候補領域を特定する第１偽色低減領域特定部と
を具備する請求項９に記載の画像処理装置。
【請求項１１】
前記高周波取得部は、前記除外領域以外の領域に対して斜め方向のエッジを検出する周波数特性を持つフィルタリング処理を施して高周波信号を得るとともに、前記除外領域に対しては前記フィルタリング処理を行うことなく前記偽色低減領域から除外する請求項９または請求項１０に記載の画像処理装置。
【請求項１２】
前記第１領域特定部は、前記高周波取得部から出力される高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部を備え、
前記第１偽色低減領域特定部は、前記安定化部から出力される前記高周波信号の値が所定の値以上である領域を前記偽色低減領域の候補領域として特定する請求項１０または請求項１１に記載の画像処理装置。
【請求項１３】
前記カラー画像を処理する色空間がＲＧＢ色空間である場合において、前記第１領域特定部が用いる前記色成分画像は緑色成分画像であり、前記カラー画像を処理する色空間がＹＵＶまたはＹＣｂＣｒ色空間の場合には、前記第１領域特定部が用いる前記色成分画像は輝度成分画像である請求項９から請求項１２のいずれかに記載の画像処理装置。
【請求項１４】
前記安定化部によって用いられる前記ローパスフィルタは、ナイキスト周波数付近を制限する周波数特性を有するフィルタである請求項１２に記載の画像処理装置。
【請求項１５】
前記第２領域特定部は、
いずれか二つの前記色成分画像の色差情報の絶対値を偽色指標として算出する偽色指標算出部と、
前記偽色指標が予め設定されている所定の値よりも小さい領域を前記偽色低減領域の候補領域として特定する第２偽色低減領域特定部と
を具備する請求項９から請求項１４のいずれかに記載の画像処理装置。
【請求項１６】
前記偽色指標算出部は、赤色成分画像と青色成分画像との色差情報の絶対値を前記偽色指標として算出する請求項１５に記載の画像処理装置。
【請求項１７】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する過程と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する過程と、
検出された前記斜め方向のエッジ領域から偽色低減領域を特定する過程と
を有する画像処理方法。
【請求項１８】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する過程と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する過程と、
構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する過程と
を有する画像処理方法。
【請求項１９】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する処理と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する処理と、
検出された前記斜め方向のエッジ領域から偽色低減領域を特定する処理と
をコンピュータに実行させるための画像処理プログラム。
【請求項２０】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する処理と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する処理と、
構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する処理と
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する構造判定部と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、
前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域を特定する偽色低減領域特定部と
を具備する画像処理装置。
【請求項２】
前記構造判定部は、エッジが交差する領域を前記除外領域として特定する請求項１に記載の画像処理装置。
【請求項３】
前記高周波取得部は、前記除外領域以外の領域に対して斜め方向のエッジを検出する周波数特性を持つフィルタリング処理を施して高周波信号を得るとともに、前記除外領域に対しては前記フィルタリング処理を行うことなく前記偽色低減領域から除外する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記高周波取得部から出力される高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部を備え、
前記偽色低減領域特定部は、前記安定化部から出力される前記高周波信号の値が所定の値以上である領域を偽色低減領域として特定する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記高周波取得部から出力される前記高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部と、
前記安定化部の出力に基づいてエッジ方向を判別するエッジ方向判別部と、
前記偽色低減領域の色差信号に対して前記エッジ方向に沿った色平滑化処理を行う色平滑化部と
を具備する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項６】
前記偽色低減領域特定部は、前記斜め方向のエッジ領域において前記高周波取得部から出力される前記高周波信号が所定の値以上である領域を偽色低減領域として特定する請求項１から請求項３および請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記カラー画像を処理する色空間がＲＧＢ色空間である場合において、前記色成分画像は緑色成分画像であり、前記カラー画像を処理する色空間がＹＵＶまたはＹＣｂＣｒ色空間の場合には、前記色成分画像は輝度成分画像である請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記安定化部によって用いられる前記ローパスフィルタは、ナイキスト周波数付近を制限する周波数特性を有するフィルタである請求項４または請求項５に記載の画像処理装置。
【請求項９】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理装置であって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する第１領域特定部と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する第２領域特定部と、
前記第１領域特定部によって特定された前記偽色低減領域の候補領域と、前記第２領域特定部によって特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する偽色低減領域決定部と
を具備する画像処理装置。
【請求項１０】
前記第１領域特定部は、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、前記偽色低減領域の候補領域から除外する除外領域を特定する構造判定部と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する高周波取得部と、
前記高周波取得部によって検出された斜め方向のエッジ領域から偽色低減領域の候補領域を特定する第１偽色低減領域特定部と
を具備する請求項９に記載の画像処理装置。
【請求項１１】
前記高周波取得部は、前記除外領域以外の領域に対して斜め方向のエッジを検出する周波数特性を持つフィルタリング処理を施して高周波信号を得るとともに、前記除外領域に対しては前記フィルタリング処理を行うことなく前記偽色低減領域から除外する請求項９または請求項１０に記載の画像処理装置。
【請求項１２】
前記第１領域特定部は、前記高周波取得部から出力される高周波信号に対して、ローパスフィルタを用いたフィルタリング処理を行い、処理後の前記高周波信号を出力する安定化部を備え、
前記第１偽色低減領域特定部は、前記安定化部から出力される前記高周波信号の値が所定の値以上である領域を前記偽色低減領域の候補領域として特定する請求項１０または請求項１１に記載の画像処理装置。
【請求項１３】
前記カラー画像を処理する色空間がＲＧＢ色空間である場合において、前記第１領域特定部が用いる前記色成分画像は緑色成分画像であり、前記カラー画像を処理する色空間がＹＵＶまたはＹＣｂＣｒ色空間の場合には、前記第１領域特定部が用いる前記色成分画像は輝度成分画像である請求項９から請求項１２のいずれかに記載の画像処理装置。
【請求項１４】
前記安定化部によって用いられる前記ローパスフィルタは、ナイキスト周波数付近を制限する周波数特性を有するフィルタである請求項１２に記載の画像処理装置。
【請求項１５】
前記第２領域特定部は、
いずれか二つの前記色成分画像の色差情報の絶対値を偽色指標として算出する偽色指標算出部と、
前記偽色指標が予め設定されている所定の値よりも小さい領域を前記偽色低減領域の候補領域として特定する第２偽色低減領域特定部と
を具備する請求項９から請求項１４のいずれかに記載の画像処理装置。
【請求項１６】
前記偽色指標算出部は、赤色成分画像と青色成分画像との色差情報の絶対値を前記偽色指標として算出する請求項１５に記載の画像処理装置。
【請求項１７】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する過程と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する過程と、
検出された前記斜め方向のエッジ領域から偽色低減領域を特定する過程と
を有する画像処理方法。
【請求項１８】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行う画像処理方法であって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する過程と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する過程と、
構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する過程と
を有する画像処理方法。
【請求項１９】
カラー画像を構成する複数の色成分画像のうち、いずれかの色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、
前記色成分画像の注目画素の周辺に位置する周辺画素の画素値を用いて、該注目画素周辺の構造判定を行い、偽色低減領域から除外する除外領域を特定する処理と、
前記除外領域以外の領域において、斜め方向のエッジ領域を検出する処理と、
検出された前記斜め方向のエッジ領域から偽色低減領域を特定する処理と
をコンピュータに実行させるための画像処理プログラム。
【請求項２０】
カラー画像を構成する複数の色成分画像を用いて偽色低減領域を特定し、特定した該偽色低減領域に対して偽色低減処理を行うための画像処理プログラムであって、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その構造情報から偽色低減領域の候補領域を特定する処理と、
カラー画像を構成する複数の色成分画像のうち、少なくとも一つの色成分画像を用いて、その色情報から偽色低減領域の候補領域を特定する処理と、
構造情報から特定された前記偽色低減領域の候補領域と、色情報から特定された前記偽色低減領域の候補領域とから、偽色低減領域を決定する処理と
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−２００６３５（Ｐ２００９−２００６３５Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−３７９０８（Ｐ２００８−３７９０８）
【出願日】平成２０年２月１９日（２００８．２．１９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月１９日（２００８．２．１９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]