画像処理装置、画像処理方法、撮像装置
【課題】色補間による偽色の発生を抑制できるとともに、偽色抑制に伴うジッパーノイズの発生を抑制することのできる画像処理装置を提供する。
【解決手段】偽色検出回路１４４は、偽色発生領域検出回路にて検出された偽色の発生しやすい領域から、ジッパー発生領域検出回路により検出されたジッパー発生領域を除いた偽色領域を検出し、その偽色領域の検出値に応じた重み値に対応した比で、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間する単チャンネル補間回路１４１の出力と、画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する他チャンネル利用補間回路１４２の出力とを合成した結果を最終的な補間結果として得る。
【解決手段】偽色検出回路１４４は、偽色発生領域検出回路にて検出された偽色の発生しやすい領域から、ジッパー発生領域検出回路により検出されたジッパー発生領域を除いた偽色領域を検出し、その偽色領域の検出値に応じた重み値に対応した比で、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間する単チャンネル補間回路１４１の出力と、画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する他チャンネル利用補間回路１４２の出力とを合成した結果を最終的な補間結果として得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板カラー撮像装置で得た画像に対して色補間を行う画像処理装置、画像処理方法、撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャンネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばＲＧＢなどの３チャンネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と呼ばれる。
【０００３】
単板カラー撮像装置から得られる受光素子毎の画像信号は１色の情報であることから他の２色の情報を補うために色補間処理が行われる。しかし最も一般的に用いられるカラーフィルタの配列であるベイヤー配列を用いたカラー固体撮像素子から得られる画像信号に対して、周辺の画素の色情報を用いて行われる線形補間では、細かい模様やエッジなど、高周波成分の部分で、画像中に被写体がもたない色である偽色が発生することがある。
【０００４】
偽色の抑制を図った色補間方法としてＡＣＰＩ（Ａｄａｐｔｉｖｅ ｃｏｌｏｒ ｐｌａｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法がある（例えば、特許文献１参照）。ＡＣＰＩ法では、例えば、色の３原色の一つであるＧ（緑色）画像の位置にＲ（赤色）の情報を補うとき、Ｇの情報の変化に合わせてＲの情報も変化させることで、偽色の抑制を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３５１００３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＡＣＰＩ法では、ある程度の偽色抑制効果はあるものの、エッジの走査方向が垂直と水平のいずれかであることを仮定して補間が行われるので、垂直と水平のいずれのエッジ方向にも属さない斜め方向のエッジに関しては色の補間値を正確に算出することが困難なため、やはり偽色が発生することがある。
【０００７】
また、線形補間やＡＣＰＩ法をはじめとする様々な種類の色補間処理では、画像の周波数があまり高くない場所のエッジ部分に適用した場合の過補正により、ジッパーノイズと呼ばれる、周期的に振幅が変化する鋸歯状のノイズが発生することがある。
【０００８】
以上のような事情に鑑み、本発明の目的は、色補間による偽色の発生を抑制できるとともに、偽色抑制に伴うジッパーノイズの発生を抑制することのできる画像処理装置、画像処理方法、撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部とを具備する。
【００１０】
本発明では、偽色の発生しやすい第１の領域と過補間によりジッパーノイズが発生しやすい第２の領域とをもとに決められた比で、第１の補間部の出力と前記第２の補間部の出力とを合成した結果を最終的な補間結果として得る。これにより、偽色の抑制と、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【００１１】
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに合成比を決める値を生成するものであってもよい。
【００１２】
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに非線形処理により合成比を決める値を生成するものであってもよい。これにより、偽色抑制効果がより高くなり、かつ除去しきれなったジッパー発生領域による影響を緩和できる。
【００１３】
本発明の別の観点に基づく画像処理方法は、第１の補間部にて、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間し、第２の補間部にて、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間し、前記第１の補間部の出力と前記第２の補間部の出力とを合成し、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備える第１のフィルタを用いて、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出し、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備える第２のフィルタを用いて、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出し、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成することを特徴とする。
【００１４】
本発明の別の観点に基づく撮像装置は、ベイヤー配列による単板カラー撮像素子と、前記単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部とを具備する。
【発明の効果】
【００１５】
本発明によれば、色補間による偽色の発生を抑制できるとともに、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る撮像装置の構成を示す図である。
【図２】図１における色分離回路の構成を示すブロック図である。
【図３】ベイヤー配列を示す図である。
【図４】偽色発生領域検出回路のフィルタ周波数特性を示す図である。
【図５】ジッパー発生領域検出回路のフィルタ周波数特性を示す図である。
【図６】偽色検出回路のフィルタ周波数特性を示す図である。
【図７】重み付け合成回路の非線形処理を示す図である。
【図８】偽色発生領域検出回路の別のフィルタ周波数特性を示す図である。
【図９】偽色検出回路の別のフィルタ周波数特性を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の実施形態を説明する。
本実施形態は、単板式撮像素子にベイヤー型のカラーフィルタを組み合わせた単板カラー撮像装置から得られる受光素子毎の信号に対して、欠落した２色の情報を補間して色分離を行う画像処理装置に関する。
【００１８】
＜第１の実施形態＞
［撮像装置の構成］
図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。同図に示すように、この撮像装置１００は、撮像レンズ１１０、ベイヤー配列による単板カラー撮像素子１２０、ＡＤＣ１３０、色分離回路１４０、ガンマ補正回路１５０などを備える。
【００１９】
撮像レンズ１１０は、物体からの光を撮像素子に結像する例えば両面凸レンズなどである。
単板カラー撮像素子１２０は、単板式撮像素子にベイヤー型のカラーフィルタを組み合わせた単板カラー撮像装置であり、撮像レンズ１１０からカラーフィルタを通して取り込まれた光を電気信号に変換して電子的な画像データ（ＲＡＷデータ）に変換する。
ＡＤＣ１３０（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）は、単板カラー撮像素子１２０で得られたモザイクのアナログＲＡＷデータをデジタルデータに変換する。
色分離回路１４０は、モザイクのデジタルＲＡＷデータから、色補間処理によりフルカラー画像を生成する回路である。
ガンマ補正回路１５０は、色分離回路１４０から得られたＲＧＢ信号とそれが実際に出力される際の信号の相対関係を調節する回路である。
【００２０】
この撮像装置１００において、色分離回路１４０は偽色抑制の処理に伴うジッパーノイズの発生を抑制し得るような構成を備えたものである。次に、この色分離回路１４０について詳細に説明する。
【００２１】
［色分離回路１４０］
図２は、色分離回路１４０の構成を示す図である。
色分離回路１４０（画像処理装置）は、単チャンネル補間回路１４１、他チャンネル利用補間回路１４２、重み付け合成回路１４３、および偽色検出回路１４４を有する。
【００２２】
単チャンネル補間回路１４１（第１の補間部）は、注目画素において欠落した色情報はそのままで、注目画素と同色の周囲の画素情報を用いて補間を行う回路である。例えば、単チャンネル補間回路１４１は、周囲に存在する同色の画素の輝度情報の単純平均によって求めた値を当該注目画素の情報とするなどして補間する回路である。
【００２３】
他チャンネル利用補間回路１４２（第２の補間部）は、注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する回路である。
【００２４】
重み付け合成回路１４３（合成部）は、単チャンネル補間回路１４１および他チャンネル利用補間回路１４２それぞれの同一画素毎の出力に対して、偽色検出回路１４４より供給される重み値にそれぞれ対応した係数（α値／１−α値）を乗じて合成する回路である。
【００２５】
偽色検出回路１４４は、他チャンネル利用補間回路１４２による補間処理で偽色が発生しやすい領域（以下「偽色発生領域」と呼ぶ。）の画像を「偽色発生領域検出値」として検出するとともに、他チャンネル利用補間回路１４２による過補間によりジッパーノイズが発生しやすい領域（以下「ジッパー発生領域」と呼ぶ。）の画像を「ジッパー発生領域検出値」として検出する。偽色検出回路１４４は、偽色発生領域検出値からジッパー発生領域検出値を減算することによって、偽色発生領域からジッパー発生領域を除いた領域（以下「偽色領域」と呼ぶ。）を検出し、この検出結果である「偽色領域検出値」から重み付け合成回路１４３に供給する重み値を生成する。
【００２６】
このような構成を有する色分離回路１４０では、ＡＤＣ１３０にて、デジタル化されたＲＡＷデータが、単チャンネル補間回路１４１、他チャンネル利用補間回路１４２、および偽色検出回路１４４にそれぞれ入力される。単チャンネル補間回路１４１および他チャンネル利用補間回路１４２の出力は重み付け合成回路１４３に入力され、ここで、偽色検出回路１４４において求められた重み値にそれぞれ対応した係数（α値／１−α値）が掛け合わされ、合成された結果が、最終的な補間結果として得られる。
【００２７】
［偽色検出回路１４４について］
偽色検出回路１４４は、偽色発生領域検出回路４４１（第１のフィルタ）、ジッパー発生領域検出回路４４２（第２のフィルタ）、減算回路４４３（合成比生成部）、重み生成回路４４４（合成比生成部）を有する。
【００２８】
周辺の画素の色情報を用いて行われる線形補間では、細かい模様やエッジなど、高周波数成分の部分で偽色が発生することがある。またＡＣＰＩ法などにおいては、エッジの走査方向が垂直と水平のいずれかであることを仮定して補間が行われるため、垂直と水平のいずれのエッジ方向にも属さない斜め方向の高周波数成分を含む部分に関しては補間値を正確に算出することが困難であり、やはり偽色が発生することがある。偽色発生領域検出回路４４１は、水平方向、垂直方向、斜め方向の高周波数成分を含む領域を偽色発生領域とみなして、その偽色発生領域の画像を偽色発生領域検出値として検出する。
【００２９】
偽色発生領域検出回路４４１の具体例を示す。
図３に示すベイヤー配列におけるＲ画素位置"Ｒ１１"においてＧ成分を補間する場合を考える。偽色発生領域検出回路４４１は、例えば次式により、Ｇ−Ｒの色差の高周波数成分を検出して、その結果を画素毎の偽色発生領域検出値として得る。
（偽色発生領域検出値）_１１＝（１２×（Ｇ１１’−Ｒ１１）−２×（Ｇ０１−Ｒ０１’）−２×（Ｇ１０−Ｒ１０’）−２×（Ｇ１２−Ｒ１２’）−２×（Ｇ２１−Ｒ２１’）−（Ｇ００’−Ｒ００’）−（Ｇ０２’−Ｒ０２’）−（Ｇ２０’−Ｒ２０’）−（Ｇ２２’−Ｒ２２’））／１６ …式（１）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００３０】
図４は、この偽色発生領域検出回路４４１のフィルタ周波数特性を示す図である。ここで、一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。この偽色発生領域検出回路４４１のフィルタ周波数特性は、高周波数域、特に垂直方向、水平方向、さらには４５度斜め方向の高周波数域に通過ピークをもち、周波数が小さくなるに連れて利得が小さくなる特性をもつ。
【００３１】
この偽色発生領域検出回路４４１のフィルタ周波数特性は、偽色発生領域を効果的に検出することができるものの、高周波数域より低域側にも通過域を有しているため、高周波数域より小さい周波数域の画像に対する過補間に起因したジッパーノイズが発生しやすいジッパー発生領域も同時に検出してしまう。本実施形態では、このようにジッパーノイズが発生しやすいジッパー発生領域を偽色発生領域から減算して偽色領域を検出することができるように、ジッパー発生領域検出値を検出することのできるジッパー発生領域検出回路４４２を備えている。
【００３２】
ジッパー発生領域検出回路４４２を実現するフィルタとしては、ジッパーノイズが高周波数域より低域側の画像に対する過補間に起因して発生するという事情から、高周波数域に非通過点（利得０の点）を有し、高周波数域より低域側に通過域を有するものを採用した。
【００３３】
このようなフィルタ周波数特性をもつジッパー発生領域検出回路４４２の計算式の例を次に示す。
（Ｈ方向ジッパー発生領域検出値）_１１＝（ａｂｓ（（Ｇ００’−Ｒ００’）−（Ｇ０２’−Ｒ０２’））＋ａｂｓ（（Ｇ２０’−Ｒ２０’）−（Ｇ２２’−Ｒ２２’）））／４ …式（２）
（Ｖ方向ジッパー発生領域検出値)_１１＝（ａｂｓ（（Ｇ００’−Ｒ００’）−（Ｇ２０’−Ｒ２０’））＋ａｂｓ（（Ｇ０２’−Ｒ０２’）−（Ｇ２２’−Ｒ２２’）））／４ …式（３）
（ジッパー発生領域検出値）_１１＝（（Ｈ方向ジッパー発生領域検出値）_１１＋（Ｖ方向ジッパー発生領域検出値)_１１／２ …式（４）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００３４】
図５は、このジッパー発生領域検出回路４４２のフィルタ周波数特性を示す図である。一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。このジッパー発生領域検出回路４４２のフィルタ周波数特性は、垂直方向、水平方向、さらには４５度斜め方向の高周波数域に非通過点をもつ。
【００３５】
減算回路４４３は、偽色発生領域検出値からジッパー発生領域検出値を減算して偽色領域検出値を生成し、重み生成回路４４４に出力する。
（偽色領域検出値）_１１＝（偽色発生領域検出値）_１１−（ジッパー発生領域検出値）_１１ …式（５）
【００３６】
図６に、偽色検出回路１４４のフィルタ周波数特性を示す。このように偽色検出回路１４４のフィルタ周波数特性は、水平方向、垂直方向、斜め方向ともに高周波数域のみに通過域をもつものとなり、偽色発生領域から色補間に伴うジッパーノイズが発生しやすいジッパー発生領域を除いた偽色領域を精度良く検出できる特性を満足する。
【００３７】
重み生成回路４４４は、偽色領域検出値を正規化し、重み付け合成回路１４３に供給する重み値を生成する回路である。ここで重み値は、重み付け合成回路１４３により単チャンネル補間回路１４１の出力と他チャンネル利用補間回路１４２の出力とを合成する割合を決める値であり、例えば０から１までの値をとる。
【００３８】
重み付け合成回路１４３は、偽色検出回路１４４より供給される重み値にそれぞれ対応した係数（α値／１−α値）を掛けて合成する。重み付け合成回路１４３は、重み値をα値として、他チャンネル利用補間回路１４２の出力に対してα値を乗じるとともに、単チャンネル補間回路１４１の出力に対して（１−α）値を乗じ、これらを足し合わせた結果を最終的な補間結果として出力する。
【００３９】
ここで、偽色検出回路１４４より供給される重み値が比較的大きい、つまり偽色領域検出値が大きいときは、α＞（１−α）となって、重み付け合成回路１４３にて、他チャンネル利用補間回路１４２の出力が単チャンネル補間回路１４１の出力に対して大きい割合で合成される。すなわち、他チャンネル利用補間回路１４２の出力が、補間や偽色抑制に伴ってジッパーノイズが発生しにくい画素に対する補間結果であることの確率が比較的高いものであるとして、重み付け合成回路１４３にて当該他チャンネル利用補間回路１４２の出力の合成比率を単チャンネル補間回路１４１の出力に比較して高くする。
【００４０】
逆に、偽色検出回路１４４より供給される重み値が小さい、つまり偽色領域検出値が比較的小さいときは、α＜（１−α）となって、重み付け合成回路１４３にて、単チャンネル補間回路１４１の出力が他チャンネル利用補間回路１４２の出力に対して大きい割合で合成される。すなわち、他チャンネル利用補間回路１４２の出力が、補間や偽色抑制に伴ってジッパーノイズが発生しやすい画素に対する補間結果であることの確率が比較的高いものであるとして、重み付け合成回路１４３にて当該単チャンネル補間回路１４１の出力の合成比率を他チャンネル利用補間回路１４２の出力に比較して高くする。
【００４１】
以上のように構成された色分離回路１４０を含む撮像装置では、偽色検出回路１４４にて偽色発生領域からジッパー発生領域を除いた偽色領域を検出し、その偽色領域の検出値に応じた重み値に対応した比で単チャンネル補間回路１４１の出力と他チャンネル利用補間回路１４２の出力とを合成した結果を最終的な補間結果として得る。これにより、偽色の抑制と、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【００４２】
＜変形例１＞
上記のジッパー発生領域検出値の計算方法では、Ｈ方向ジッパー発生領域検出値とＶ方向ジッパー発生領域検出値との加算平均値をジッパー発生領域検出値としたが、Ｈ方向ジッパー発生領域検出値とＶ方向ジッパー発生領域検出値とで大きい方の値をジッパー発生領域検出値としてもよい。
【００４３】
＜変形例２＞
減算回路４４３の式（５）において、（偽色発生領域検出値）_１１と（ジッパー発生領域検出値）_１１のそれぞれにゲインをかけることによって、（偽色領域検出値）_１１の検出値を調整してもよい。
【００４４】
＜変形例３＞
重み生成回路４４４による重みの計算に対して、次式に示すような、ユーザによる調整を施すようにしてもよい。
（重み）＝（偽色領域検出値）_１１×（偽色抑制レベル調整値）／（データ型最大値）
…式（６）
ここで、偽色抑制レベル調整値は、０からデータ型最大値までの範囲でユーザより設定されることが可能である。
【００４５】
＜変形例４＞
上記実施形態または変形例１の重み生成により求められた重み値に対して、偽色領域の偽色抑制効果がより高くなり、かつ除去しきれなったジッパー発生領域による影響を緩和できるように、例えば、図７に示すような非線形処理を施した結果を重み付け合成回路１４３に供給してもよい。あるいは、重み生成回路４４４にて偽色領域検出値を正規化して重みを生成する際に上記のような非線形処理を行うようにしてもよい。
【００４６】
＜変形例５＞
重み生成回路４４４にて、偽色領域検出値が予め決められた閾値以上であるかどうかを判定し、偽色領域検出値が予め決められた閾値以上である場合には重み値を"１"とし、閾値未満である場合には重み値を"０"とするようにしてもよい。この場合、重み付け合成回路１４３は、単チャンネル補間回路１４１および他チャンネル利用補間回路１４２それぞれの同一画素毎の出力のいずれか一方を単純に選択して出力するだけでよいことから、構成が簡単になるという利点がある。
【００４７】
＜変形例６＞
上記の実施形態では、偽色発生領域検出回路４４１およびジッパー発生領域検出回路４４２において、式（１）、（２）、（３）のダッシュ（’）記号の付いた画素の値を補間処理で求めてから偽色発生領域検出値およびジッパー発生領域検出値を求めることとした。これに限らず、他チャンネル利用補間回路１４２にて全チャンネルの画素情報を求め、これを偽色発生領域検出回路４４１およびジッパー発生領域検出回路４４２にそれぞれ供給するようにしてもよい。これにより上記の実施形態に比較して高速化を期待できる。
【００４８】
＜変形例７＞
次に、偽色発生領域検出回路４４１のフィルタ周波数特性の変形例を示す。
本変形例では、次式によりＧ−Ｒの色差の高周波数成分を検出して、その結果を画素毎の偽色発生領域検出値として得る。
（偽色発生領域検出値）_１１＝(４×（Ｇ１１’−Ｒ１１）−（Ｇ０１−Ｒ０１’）−（Ｇ１０−Ｒ１０’）−（Ｇ１２−Ｒ１２’）−（Ｇ２１−Ｒ２１’））／８ …式（７）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００４９】
図８は、この偽色発生領域検出回路４４１のフィルタ周波数特性を示す図である。一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。この偽色発生領域検出回路４４１のフィルタ周波数特性は、高周波数域、特に４５度斜め方向の高周波数域に通過ピークをもち、また、周波数が小さくなるに連れて利得が小さくなる特性をもつ。
【００５０】
この偽色発生領域検出回路４４１は、上記の実施形態に示した偽色発生領域検出回路４４１に比較して回路規模を小さくできるという利点がある。また、上記の実施形態に示した偽色発生領域検出回路４４１のフィルタ周波数特性に比較して通過域が高周波側に寄っているため、ジッパーノイズが発生しやすいジッパー発生領域を比較的検出しない特性を有している。一方、水平方向と垂直方向の利得が斜め方向の利得に比べて半分になっているため、やや偽色の検出値が小さくでる。しかし、ベイヤー配列ではＧ成分が市松状に並び、斜め方向の情報が無いため偽色は特に斜め方向のエッジでより出やすいことを考えると、本変形例のフィルタ周波数特性であっても十分であり、回路規模を小さくできるという点からも非常に実用的であると言える。
【００５１】
本変形例の偽色発生領域検出回路４４１と上記の実施形態のジッパー発生領域検出回路４４２とを組み合わせた場合の偽色検出回路１４４のフィルタ周波数特性を図９に示す。
【００５２】
その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。
【符号の説明】
【００５３】
１００…撮像装置
１１０…撮像レンズ
１２０…単板カラー撮像素子
１３０…ＡＤＣ
１４０…色分離回路
１４１…単チャンネル補間回路
１４２…他チャンネル利用補間回路
１４３…重み付け合成回路
１４４…偽色検出回路
１５０…ガンマ補正回路
４４１…偽色発生領域検出回路
４４２…ジッパー発生領域検出回路
４４３…減算回路
４４４…重み生成回路
【技術分野】
【０００１】
本発明は、単板カラー撮像装置で得た画像に対して色補間を行う画像処理装置、画像処理方法、撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャンネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばＲＧＢなどの３チャンネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と呼ばれる。
【０００３】
単板カラー撮像装置から得られる受光素子毎の画像信号は１色の情報であることから他の２色の情報を補うために色補間処理が行われる。しかし最も一般的に用いられるカラーフィルタの配列であるベイヤー配列を用いたカラー固体撮像素子から得られる画像信号に対して、周辺の画素の色情報を用いて行われる線形補間では、細かい模様やエッジなど、高周波成分の部分で、画像中に被写体がもたない色である偽色が発生することがある。
【０００４】
偽色の抑制を図った色補間方法としてＡＣＰＩ（Ａｄａｐｔｉｖｅ ｃｏｌｏｒ ｐｌａｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法がある（例えば、特許文献１参照）。ＡＣＰＩ法では、例えば、色の３原色の一つであるＧ（緑色）画像の位置にＲ（赤色）の情報を補うとき、Ｇの情報の変化に合わせてＲの情報も変化させることで、偽色の抑制を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３５１００３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＡＣＰＩ法では、ある程度の偽色抑制効果はあるものの、エッジの走査方向が垂直と水平のいずれかであることを仮定して補間が行われるので、垂直と水平のいずれのエッジ方向にも属さない斜め方向のエッジに関しては色の補間値を正確に算出することが困難なため、やはり偽色が発生することがある。
【０００７】
また、線形補間やＡＣＰＩ法をはじめとする様々な種類の色補間処理では、画像の周波数があまり高くない場所のエッジ部分に適用した場合の過補正により、ジッパーノイズと呼ばれる、周期的に振幅が変化する鋸歯状のノイズが発生することがある。
【０００８】
以上のような事情に鑑み、本発明の目的は、色補間による偽色の発生を抑制できるとともに、偽色抑制に伴うジッパーノイズの発生を抑制することのできる画像処理装置、画像処理方法、撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部とを具備する。
【００１０】
本発明では、偽色の発生しやすい第１の領域と過補間によりジッパーノイズが発生しやすい第２の領域とをもとに決められた比で、第１の補間部の出力と前記第２の補間部の出力とを合成した結果を最終的な補間結果として得る。これにより、偽色の抑制と、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【００１１】
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに合成比を決める値を生成するものであってもよい。
【００１２】
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに非線形処理により合成比を決める値を生成するものであってもよい。これにより、偽色抑制効果がより高くなり、かつ除去しきれなったジッパー発生領域による影響を緩和できる。
【００１３】
本発明の別の観点に基づく画像処理方法は、第１の補間部にて、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間し、第２の補間部にて、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間し、前記第１の補間部の出力と前記第２の補間部の出力とを合成し、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備える第１のフィルタを用いて、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出し、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備える第２のフィルタを用いて、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出し、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成することを特徴とする。
【００１４】
本発明の別の観点に基づく撮像装置は、ベイヤー配列による単板カラー撮像素子と、前記単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部とを具備する。
【発明の効果】
【００１５】
本発明によれば、色補間による偽色の発生を抑制できるとともに、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る撮像装置の構成を示す図である。
【図２】図１における色分離回路の構成を示すブロック図である。
【図３】ベイヤー配列を示す図である。
【図４】偽色発生領域検出回路のフィルタ周波数特性を示す図である。
【図５】ジッパー発生領域検出回路のフィルタ周波数特性を示す図である。
【図６】偽色検出回路のフィルタ周波数特性を示す図である。
【図７】重み付け合成回路の非線形処理を示す図である。
【図８】偽色発生領域検出回路の別のフィルタ周波数特性を示す図である。
【図９】偽色検出回路の別のフィルタ周波数特性を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の実施形態を説明する。
本実施形態は、単板式撮像素子にベイヤー型のカラーフィルタを組み合わせた単板カラー撮像装置から得られる受光素子毎の信号に対して、欠落した２色の情報を補間して色分離を行う画像処理装置に関する。
【００１８】
＜第１の実施形態＞
［撮像装置の構成］
図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。同図に示すように、この撮像装置１００は、撮像レンズ１１０、ベイヤー配列による単板カラー撮像素子１２０、ＡＤＣ１３０、色分離回路１４０、ガンマ補正回路１５０などを備える。
【００１９】
撮像レンズ１１０は、物体からの光を撮像素子に結像する例えば両面凸レンズなどである。
単板カラー撮像素子１２０は、単板式撮像素子にベイヤー型のカラーフィルタを組み合わせた単板カラー撮像装置であり、撮像レンズ１１０からカラーフィルタを通して取り込まれた光を電気信号に変換して電子的な画像データ（ＲＡＷデータ）に変換する。
ＡＤＣ１３０（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）は、単板カラー撮像素子１２０で得られたモザイクのアナログＲＡＷデータをデジタルデータに変換する。
色分離回路１４０は、モザイクのデジタルＲＡＷデータから、色補間処理によりフルカラー画像を生成する回路である。
ガンマ補正回路１５０は、色分離回路１４０から得られたＲＧＢ信号とそれが実際に出力される際の信号の相対関係を調節する回路である。
【００２０】
この撮像装置１００において、色分離回路１４０は偽色抑制の処理に伴うジッパーノイズの発生を抑制し得るような構成を備えたものである。次に、この色分離回路１４０について詳細に説明する。
【００２１】
［色分離回路１４０］
図２は、色分離回路１４０の構成を示す図である。
色分離回路１４０（画像処理装置）は、単チャンネル補間回路１４１、他チャンネル利用補間回路１４２、重み付け合成回路１４３、および偽色検出回路１４４を有する。
【００２２】
単チャンネル補間回路１４１（第１の補間部）は、注目画素において欠落した色情報はそのままで、注目画素と同色の周囲の画素情報を用いて補間を行う回路である。例えば、単チャンネル補間回路１４１は、周囲に存在する同色の画素の輝度情報の単純平均によって求めた値を当該注目画素の情報とするなどして補間する回路である。
【００２３】
他チャンネル利用補間回路１４２（第２の補間部）は、注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する回路である。
【００２４】
重み付け合成回路１４３（合成部）は、単チャンネル補間回路１４１および他チャンネル利用補間回路１４２それぞれの同一画素毎の出力に対して、偽色検出回路１４４より供給される重み値にそれぞれ対応した係数（α値／１−α値）を乗じて合成する回路である。
【００２５】
偽色検出回路１４４は、他チャンネル利用補間回路１４２による補間処理で偽色が発生しやすい領域（以下「偽色発生領域」と呼ぶ。）の画像を「偽色発生領域検出値」として検出するとともに、他チャンネル利用補間回路１４２による過補間によりジッパーノイズが発生しやすい領域（以下「ジッパー発生領域」と呼ぶ。）の画像を「ジッパー発生領域検出値」として検出する。偽色検出回路１４４は、偽色発生領域検出値からジッパー発生領域検出値を減算することによって、偽色発生領域からジッパー発生領域を除いた領域（以下「偽色領域」と呼ぶ。）を検出し、この検出結果である「偽色領域検出値」から重み付け合成回路１４３に供給する重み値を生成する。
【００２６】
このような構成を有する色分離回路１４０では、ＡＤＣ１３０にて、デジタル化されたＲＡＷデータが、単チャンネル補間回路１４１、他チャンネル利用補間回路１４２、および偽色検出回路１４４にそれぞれ入力される。単チャンネル補間回路１４１および他チャンネル利用補間回路１４２の出力は重み付け合成回路１４３に入力され、ここで、偽色検出回路１４４において求められた重み値にそれぞれ対応した係数（α値／１−α値）が掛け合わされ、合成された結果が、最終的な補間結果として得られる。
【００２７】
［偽色検出回路１４４について］
偽色検出回路１４４は、偽色発生領域検出回路４４１（第１のフィルタ）、ジッパー発生領域検出回路４４２（第２のフィルタ）、減算回路４４３（合成比生成部）、重み生成回路４４４（合成比生成部）を有する。
【００２８】
周辺の画素の色情報を用いて行われる線形補間では、細かい模様やエッジなど、高周波数成分の部分で偽色が発生することがある。またＡＣＰＩ法などにおいては、エッジの走査方向が垂直と水平のいずれかであることを仮定して補間が行われるため、垂直と水平のいずれのエッジ方向にも属さない斜め方向の高周波数成分を含む部分に関しては補間値を正確に算出することが困難であり、やはり偽色が発生することがある。偽色発生領域検出回路４４１は、水平方向、垂直方向、斜め方向の高周波数成分を含む領域を偽色発生領域とみなして、その偽色発生領域の画像を偽色発生領域検出値として検出する。
【００２９】
偽色発生領域検出回路４４１の具体例を示す。
図３に示すベイヤー配列におけるＲ画素位置"Ｒ１１"においてＧ成分を補間する場合を考える。偽色発生領域検出回路４４１は、例えば次式により、Ｇ−Ｒの色差の高周波数成分を検出して、その結果を画素毎の偽色発生領域検出値として得る。
（偽色発生領域検出値）_１１＝（１２×（Ｇ１１’−Ｒ１１）−２×（Ｇ０１−Ｒ０１’）−２×（Ｇ１０−Ｒ１０’）−２×（Ｇ１２−Ｒ１２’）−２×（Ｇ２１−Ｒ２１’）−（Ｇ００’−Ｒ００’）−（Ｇ０２’−Ｒ０２’）−（Ｇ２０’−Ｒ２０’）−（Ｇ２２’−Ｒ２２’））／１６ …式（１）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００３０】
図４は、この偽色発生領域検出回路４４１のフィルタ周波数特性を示す図である。ここで、一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。この偽色発生領域検出回路４４１のフィルタ周波数特性は、高周波数域、特に垂直方向、水平方向、さらには４５度斜め方向の高周波数域に通過ピークをもち、周波数が小さくなるに連れて利得が小さくなる特性をもつ。
【００３１】
この偽色発生領域検出回路４４１のフィルタ周波数特性は、偽色発生領域を効果的に検出することができるものの、高周波数域より低域側にも通過域を有しているため、高周波数域より小さい周波数域の画像に対する過補間に起因したジッパーノイズが発生しやすいジッパー発生領域も同時に検出してしまう。本実施形態では、このようにジッパーノイズが発生しやすいジッパー発生領域を偽色発生領域から減算して偽色領域を検出することができるように、ジッパー発生領域検出値を検出することのできるジッパー発生領域検出回路４４２を備えている。
【００３２】
ジッパー発生領域検出回路４４２を実現するフィルタとしては、ジッパーノイズが高周波数域より低域側の画像に対する過補間に起因して発生するという事情から、高周波数域に非通過点（利得０の点）を有し、高周波数域より低域側に通過域を有するものを採用した。
【００３３】
このようなフィルタ周波数特性をもつジッパー発生領域検出回路４４２の計算式の例を次に示す。
（Ｈ方向ジッパー発生領域検出値）_１１＝（ａｂｓ（（Ｇ００’−Ｒ００’）−（Ｇ０２’−Ｒ０２’））＋ａｂｓ（（Ｇ２０’−Ｒ２０’）−（Ｇ２２’−Ｒ２２’）））／４ …式（２）
（Ｖ方向ジッパー発生領域検出値)_１１＝（ａｂｓ（（Ｇ００’−Ｒ００’）−（Ｇ２０’−Ｒ２０’））＋ａｂｓ（（Ｇ０２’−Ｒ０２’）−（Ｇ２２’−Ｒ２２’）））／４ …式（３）
（ジッパー発生領域検出値）_１１＝（（Ｈ方向ジッパー発生領域検出値）_１１＋（Ｖ方向ジッパー発生領域検出値)_１１／２ …式（４）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００３４】
図５は、このジッパー発生領域検出回路４４２のフィルタ周波数特性を示す図である。一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。このジッパー発生領域検出回路４４２のフィルタ周波数特性は、垂直方向、水平方向、さらには４５度斜め方向の高周波数域に非通過点をもつ。
【００３５】
減算回路４４３は、偽色発生領域検出値からジッパー発生領域検出値を減算して偽色領域検出値を生成し、重み生成回路４４４に出力する。
（偽色領域検出値）_１１＝（偽色発生領域検出値）_１１−（ジッパー発生領域検出値）_１１ …式（５）
【００３６】
図６に、偽色検出回路１４４のフィルタ周波数特性を示す。このように偽色検出回路１４４のフィルタ周波数特性は、水平方向、垂直方向、斜め方向ともに高周波数域のみに通過域をもつものとなり、偽色発生領域から色補間に伴うジッパーノイズが発生しやすいジッパー発生領域を除いた偽色領域を精度良く検出できる特性を満足する。
【００３７】
重み生成回路４４４は、偽色領域検出値を正規化し、重み付け合成回路１４３に供給する重み値を生成する回路である。ここで重み値は、重み付け合成回路１４３により単チャンネル補間回路１４１の出力と他チャンネル利用補間回路１４２の出力とを合成する割合を決める値であり、例えば０から１までの値をとる。
【００３８】
重み付け合成回路１４３は、偽色検出回路１４４より供給される重み値にそれぞれ対応した係数（α値／１−α値）を掛けて合成する。重み付け合成回路１４３は、重み値をα値として、他チャンネル利用補間回路１４２の出力に対してα値を乗じるとともに、単チャンネル補間回路１４１の出力に対して（１−α）値を乗じ、これらを足し合わせた結果を最終的な補間結果として出力する。
【００３９】
ここで、偽色検出回路１４４より供給される重み値が比較的大きい、つまり偽色領域検出値が大きいときは、α＞（１−α）となって、重み付け合成回路１４３にて、他チャンネル利用補間回路１４２の出力が単チャンネル補間回路１４１の出力に対して大きい割合で合成される。すなわち、他チャンネル利用補間回路１４２の出力が、補間や偽色抑制に伴ってジッパーノイズが発生しにくい画素に対する補間結果であることの確率が比較的高いものであるとして、重み付け合成回路１４３にて当該他チャンネル利用補間回路１４２の出力の合成比率を単チャンネル補間回路１４１の出力に比較して高くする。
【００４０】
逆に、偽色検出回路１４４より供給される重み値が小さい、つまり偽色領域検出値が比較的小さいときは、α＜（１−α）となって、重み付け合成回路１４３にて、単チャンネル補間回路１４１の出力が他チャンネル利用補間回路１４２の出力に対して大きい割合で合成される。すなわち、他チャンネル利用補間回路１４２の出力が、補間や偽色抑制に伴ってジッパーノイズが発生しやすい画素に対する補間結果であることの確率が比較的高いものであるとして、重み付け合成回路１４３にて当該単チャンネル補間回路１４１の出力の合成比率を他チャンネル利用補間回路１４２の出力に比較して高くする。
【００４１】
以上のように構成された色分離回路１４０を含む撮像装置では、偽色検出回路１４４にて偽色発生領域からジッパー発生領域を除いた偽色領域を検出し、その偽色領域の検出値に応じた重み値に対応した比で単チャンネル補間回路１４１の出力と他チャンネル利用補間回路１４２の出力とを合成した結果を最終的な補間結果として得る。これにより、偽色の抑制と、偽色抑制に伴うジッパーノイズの発生を抑制することができる。
【００４２】
＜変形例１＞
上記のジッパー発生領域検出値の計算方法では、Ｈ方向ジッパー発生領域検出値とＶ方向ジッパー発生領域検出値との加算平均値をジッパー発生領域検出値としたが、Ｈ方向ジッパー発生領域検出値とＶ方向ジッパー発生領域検出値とで大きい方の値をジッパー発生領域検出値としてもよい。
【００４３】
＜変形例２＞
減算回路４４３の式（５）において、（偽色発生領域検出値）_１１と（ジッパー発生領域検出値）_１１のそれぞれにゲインをかけることによって、（偽色領域検出値）_１１の検出値を調整してもよい。
【００４４】
＜変形例３＞
重み生成回路４４４による重みの計算に対して、次式に示すような、ユーザによる調整を施すようにしてもよい。
（重み）＝（偽色領域検出値）_１１×（偽色抑制レベル調整値）／（データ型最大値）
…式（６）
ここで、偽色抑制レベル調整値は、０からデータ型最大値までの範囲でユーザより設定されることが可能である。
【００４５】
＜変形例４＞
上記実施形態または変形例１の重み生成により求められた重み値に対して、偽色領域の偽色抑制効果がより高くなり、かつ除去しきれなったジッパー発生領域による影響を緩和できるように、例えば、図７に示すような非線形処理を施した結果を重み付け合成回路１４３に供給してもよい。あるいは、重み生成回路４４４にて偽色領域検出値を正規化して重みを生成する際に上記のような非線形処理を行うようにしてもよい。
【００４６】
＜変形例５＞
重み生成回路４４４にて、偽色領域検出値が予め決められた閾値以上であるかどうかを判定し、偽色領域検出値が予め決められた閾値以上である場合には重み値を"１"とし、閾値未満である場合には重み値を"０"とするようにしてもよい。この場合、重み付け合成回路１４３は、単チャンネル補間回路１４１および他チャンネル利用補間回路１４２それぞれの同一画素毎の出力のいずれか一方を単純に選択して出力するだけでよいことから、構成が簡単になるという利点がある。
【００４７】
＜変形例６＞
上記の実施形態では、偽色発生領域検出回路４４１およびジッパー発生領域検出回路４４２において、式（１）、（２）、（３）のダッシュ（’）記号の付いた画素の値を補間処理で求めてから偽色発生領域検出値およびジッパー発生領域検出値を求めることとした。これに限らず、他チャンネル利用補間回路１４２にて全チャンネルの画素情報を求め、これを偽色発生領域検出回路４４１およびジッパー発生領域検出回路４４２にそれぞれ供給するようにしてもよい。これにより上記の実施形態に比較して高速化を期待できる。
【００４８】
＜変形例７＞
次に、偽色発生領域検出回路４４１のフィルタ周波数特性の変形例を示す。
本変形例では、次式によりＧ−Ｒの色差の高周波数成分を検出して、その結果を画素毎の偽色発生領域検出値として得る。
（偽色発生領域検出値）_１１＝(４×（Ｇ１１’−Ｒ１１）−（Ｇ０１−Ｒ０１’）−（Ｇ１０−Ｒ１０’）−（Ｇ１２−Ｒ１２’）−（Ｇ２１−Ｒ２１’））／８ …式（７）
ここで、ダッシュ（’）記号の付いた画素の値は、他チャンネルの色情報を用いて補間により求められた値である。
【００４９】
図８は、この偽色発生領域検出回路４４１のフィルタ周波数特性を示す図である。一方の横軸（ｕ）はベイヤー配列の水平方向の周波数成分、他方の横軸（ｖ）はベイヤー配列の垂直方向の周波数成分、縦軸は利得である。この偽色発生領域検出回路４４１のフィルタ周波数特性は、高周波数域、特に４５度斜め方向の高周波数域に通過ピークをもち、また、周波数が小さくなるに連れて利得が小さくなる特性をもつ。
【００５０】
この偽色発生領域検出回路４４１は、上記の実施形態に示した偽色発生領域検出回路４４１に比較して回路規模を小さくできるという利点がある。また、上記の実施形態に示した偽色発生領域検出回路４４１のフィルタ周波数特性に比較して通過域が高周波側に寄っているため、ジッパーノイズが発生しやすいジッパー発生領域を比較的検出しない特性を有している。一方、水平方向と垂直方向の利得が斜め方向の利得に比べて半分になっているため、やや偽色の検出値が小さくでる。しかし、ベイヤー配列ではＧ成分が市松状に並び、斜め方向の情報が無いため偽色は特に斜め方向のエッジでより出やすいことを考えると、本変形例のフィルタ周波数特性であっても十分であり、回路規模を小さくできるという点からも非常に実用的であると言える。
【００５１】
本変形例の偽色発生領域検出回路４４１と上記の実施形態のジッパー発生領域検出回路４４２とを組み合わせた場合の偽色検出回路１４４のフィルタ周波数特性を図９に示す。
【００５２】
その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。
【符号の説明】
【００５３】
１００…撮像装置
１１０…撮像レンズ
１２０…単板カラー撮像素子
１３０…ＡＤＣ
１４０…色分離回路
１４１…単チャンネル補間回路
１４２…他チャンネル利用補間回路
１４３…重み付け合成回路
１４４…偽色検出回路
１５０…ガンマ補正回路
４４１…偽色発生領域検出回路
４４２…ジッパー発生領域検出回路
４４３…減算回路
４４４…重み生成回路
【特許請求の範囲】
【請求項１】
ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、
前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、
前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに合成比を決める値を生成する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに非線形処理により合成比を決める値を生成する
画像処理装置。
【請求項４】
前記第１の補間部にて、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間し、
前記第２の補間部にて、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間し、
前記第１の補間部の出力と前記第２の補間部の出力とを合成し、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備える第１のフィルタを用いて、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出し、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備える第２のフィルタを用いて、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出し、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する
画像処理方法。
【請求項５】
ベイヤー配列による単板カラー撮像素子と、
前記単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、
前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、
前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部と
を具備する撮像装置。
【請求項１】
ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、
前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、
前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに合成比を決める値を生成する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記合成比生成部は、前記第１の画像から前記第２の画像を減算した値をもとに非線形処理により合成比を決める値を生成する
画像処理装置。
【請求項４】
前記第１の補間部にて、ベイヤー配列による単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間し、
前記第２の補間部にて、前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間し、
前記第１の補間部の出力と前記第２の補間部の出力とを合成し、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備える第１のフィルタを用いて、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出し、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備える第２のフィルタを用いて、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出し、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する
画像処理方法。
【請求項５】
ベイヤー配列による単板カラー撮像素子と、
前記単板カラー撮像素子により得られた画像情報から注目画素と同色の周囲の画素情報を用いて補間を行う第１の補間部と、
前記画像情報から注目画素において欠落した色情報を周囲の画素の色情報を用いて補間する第２の補間部と、
前記第１の補間部の出力と前記第２の補間部の出力とを合成する合成部と、
高周波数域に通過ピーク点を有する第１のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による補間で偽色の発生しやすい第１の領域の第１の画像を検出する第１のフィルタと、
前記高周波数域に非通過点を有するとともに、前記高周波数域より低域側に通過域を有する第２のフィルタ周波数特性を備え、前記画像情報から、前記第２の補間部による過補間によりジッパーノイズが発生しやすい第２の領域の第２の画像を検出する第２のフィルタと、
前記第１の画像と前記第２の画像をともに、前記合成部での第１の補間部の出力と前記第２の補間部の出力との合成比を決める値を生成する合成比生成部と
を具備する撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−９９９０３（Ｐ２０１２−９９９０３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４３６２７（Ｐ２０１０−２４３６２７）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]