画像処理装置
【課題】画像信号の補間処理により不足色成分の感度レベル値を生成する場合における画質の低下を抑制可能とする画像処理装置を提供すること。
【解決手段】実施形態によれば、画素補間処理部13は、変化量算出手段31と、変化量比較手段32と、演算手段33とを有する。変化量算出手段31は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。変化量比較手段32は、変化量算出手段31で算出された変化量を比較する。演算手段33は、画像信号の高域成分と、低域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。演算手段33は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【解決手段】実施形態によれば、画素補間処理部13は、変化量算出手段31と、変化量比較手段32と、演算手段33とを有する。変化量算出手段31は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。変化量比較手段32は、変化量算出手段31で算出された変化量を比較する。演算手段33は、画像信号の高域成分と、低域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。演算手段33は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
フルカラー撮像装置の一つであるいわゆる単板式撮像装置は、例えば民生用のデジタルスチルカメラやカメラ付き携帯電話のように、構成の小型化、低価格化が求められる場合に適している。単板式撮像装置は、赤色(R)用、緑色(G)用、青色(B)用のカラーフィルタのいずれかを各光電変換素子上に設け、不足色成分の感度信号を画素位置ごとに算出することにより、一つの二次元撮像素子から複数色の画像信号を得る。不足色成分の感度レベル値は、注目画素及びその周辺画素における既知の感度レベル値を使用する補間処理により生成される(例えば、特許文献1参照)。
【0003】
従来、不足色成分の感度レベル値の生成において、例えば、画像信号の低域成分と高域成分とを抽出し、加算する手法が採用されている。高域成分の加算により解像度の劣化を抑制させることで、画素補間処理がなされた高い解像度の画像を得ることが可能となる。この補間処理の手法は、RGBの各色成分の相関性を前提としている。例えば、画像の周縁部分付近等では、レンズの収差やボケの影響により、かかる相関性が成り立たなく場合がある。このような相関性の崩れを伴う補間処理は、ジッパーノイズと称される、被写体には存在しない点線状のノイズを生じさせることがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−197512号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一つの実施形態は、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における画質の低下を抑制可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一つの実施形態によれば、画像処理装置は、画素補間処理部を有する。画素補間処理部は、撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、画素ごとの不足色成分の感度レベル値を生成する。画素補間処理部は、変化量算出手段と、変化量比較手段と、演算手段とを有する。変化量算出手段は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。変化量比較手段は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段で算出された変化量を比較する。演算手段は、画像信号の第1の周波域成分と、第1の周波域成分より高い周波数帯域の第2の周波域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。演算手段は、二方向のうち、変化量比較手段での比較により変化量が少ないと判断された方向における第2の周波域成分を、第1の周波域成分に加算する。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図2】図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図3】画素補間処理部の概略構成を示すブロック図。
【図4】R画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。
【図5】G画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。
【図6】画素補間処理部の回路構成の例を示すブロック図。
【図7】第2の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図。
【図8】画素補間処理部の回路構成の例を示すブロック図。
【図9】第3の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図10】画素補間処理部の概略構成を示すブロック図。
【図11】パラメータ調整手段におけるパラメータの調整について説明する図。
【図12】パラメータ調整手段における高域加算係数の変換について説明する図。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【0009】
(第1の実施形態)
図1は、第1の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。図2は、図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【0010】
デジタルカメラは、カメラモジュール70、記憶部71及び表示部72を有する。カメラモジュール70は、撮像レンズ1、イメージセンサ2、アナログデジタル変換器(ADC)3及び画像処理装置4を備える。
【0011】
カメラモジュール70からの出力画像信号19は、表示部72へ、あるいは記憶部71を経て表示部72へ入力される。記憶部71は、カメラモジュール70により撮影された画像を格納する。表示部72は、カメラモジュール70あるいは記憶部71からの出力信画像号19に応じて画像を表示する。表示部72は、例えば、液晶ディスプレイである。表示部72は、撮影中の画像を、カメラモジュール70からの出力画像信号19に応じて表示する。また、表示部72は、記憶部71に保存されている画像を、記憶部71からの出力画像信号19に応じて表示する。
【0012】
撮像レンズ1は、被写体からの光を取り込み、イメージセンサ2にて被写体像を結像させる。イメージセンサ2は、撮像レンズ1により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ2は、RGBの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ADC3は、イメージセンサ2からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理装置4は、ADC3からのデジタル画像信号に対して種々の画像処理を施す。
【0013】
ラインメモリ10は、ADC3からのデジタル画像信号を一時的に貯える。キズ補正回路11及びノイズ低減回路12は、ラインメモリ10を共用する。キズ補正回路11は、イメージセンサ2において正常に機能していない画素によるデジタル画像信号の欠損部分(キズ)を補正するためのキズ補正を、ラインメモリ10からのデジタル画像信号に対して実施する。ノイズ低減回路12は、ノイズを低減させるためのノイズキャンセル処理を実施する。
【0014】
デジタルアンプ(AMP)係数回路22は、後述するAE/AWB演算回路21で算出された係数と、被写体像をシェーディング補正するためのシェーディング補正係数Shとを基にしてデジタルAMP係数を算出し、キズ補正回路11及びノイズ低減回路12での処理を経たデジタル画像信号にデジタルAMP係数を乗算する。
【0015】
ラインメモリ20は、デジタルAMP係数が乗算されたデジタル画像信号を一時的に貯える。画素補間処理部13は、ラインメモリ20からベイヤー配列の順序で伝達されてくるデジタル画像信号について、画素ごとの既得色成分の感度レベル値の補間処理(デモザイク処理)を実施し、画素ごとの不足色成分の感度レベル値を生成する。カラーマトリックス処理部14は、色再現性を得るためのカラーマトリックス演算処理(色再現性処理)を実施する。
【0016】
輪郭処理部15は、イメージセンサ2による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実施する。ガンマ補正部16は、画像の階調を補正するためのガンマ補正を実施する。RGB/YUV変換部18は、RGBの感度信号から輝度(Y)信号及び色差(UV)信号を生成することにより、画像信号をRGB形式からYUV形式(例えば、YUV422など)へ変換する。RGB/YUV変換部18は、RGB形式からYUV形式へ変換された出力画像信号19を生成する。
【0017】
エッジ抽出部17は、ラインメモリ20からベイヤー配列の順序で伝達されてくるデジタル画像信号についてエッジ抽出を実施し、抽出結果をRGB/YUV変換部18へ出力する。AE/AWB演算回路21は、自動露出(auto exposure;AE)調整、自動ホワイトバランス(auto white balance;AWB)調整のための各係数を算出する。
【0018】
図3は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部13は、変化量算出手段31、変化量比較手段32及び演算手段33を有する。変化量算出手段31は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。
【0019】
変化量比較手段32は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段31で算出された変化量を比較する。演算手段33は、画像信号の低域成分と高域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。低域成分は、第1の周波域成分である。高域成分は、第1の周波域成分より高い周波数帯域の第2の周波域成分である。
【0020】
図4は、R画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。R画素は、R光を選択的に透過させるカラーフィルタが設けられた画素であって、Rを既得色成分、G及びBを不足色成分とする。G画素は、G光を選択的に透過させるカラーフィルタが設けられた画素であって、Gを既得色成分、R及びBを不足色成分とする。B画素は、B光を選択的に透過させるカラーフィルタが設けられた画素であって、Bを既得色成分、R及びGを不足色成分とする。
【0021】
画素補間処理部13は、ラインメモリ20(図1参照)に保持された4ラインと、ラインメモリ20へ入力される直前の1ラインと、の計5ラインのデータが入力される。水平(H)方向へ5個、及び垂直(V)方向へ5個のマトリックス状に配置された画素のうち、中心に位置する画素を注目画素とする。図4に示す例では、R画素である画素R5を注目画素とする。周辺画素は、5×5のマトリックスのうち、画素R5以外の24個の画素とする。
【0022】
変化量算出手段31(図3参照)は、画素R5を中心とするH方向、V方向、DL方向及びDR方向の4方向について、既得色成分の感度レベル値の変化量を算出する。図4において、H方向は左右方向、V方向は上下方向とする。DL方向は、H方向及びV方向に対して斜めの方向であって、図4において左上がりの方向とする。DR方向は、H方向及びV方向に対して斜めの方向であって、図4において右上がりの方向とする。
【0023】
変化量算出手段31は、例えば、次に示す式(1)から式(4)により、H方向の変化量Mh、V方向の変化量Mv、DL方向の変化量Mdl、DR方向の変化量Mdrをそれぞれ算出する。
Mh=|2×R5−R4−R6|+|G6−G7| ・・・(1)
Mv=|2×R5−R2−R8|+|G4−G9| ・・・(2)
Mdl=|2×R5−R1−R9|+|B1−B4| ・・・(3)
Mdr=|2×R5−R3−R7|+|B2−B3| ・・・(4)
【0024】
式(1)から式(4)における「R5」、「R2」・・・の項は、それぞれ、図4に示す画素R5、R2・・・における既得色成分の感度レベル値をそれぞれ表すものとする。なお、各変化量Mh、Mv、Mdl、Mdrを算出する方法は、上記の式(1)から式(4)を使用する場合に限られない。変化量算出手段31は、いずれの方法により各変化量Mh、Mv、Mdl、Mdrを算出するものとしても良い。
【0025】
画素R5における不足色成分であるG成分の感度レベル値の算出に際し、変化量比較手段32は、画素R5を中心としてG画素が配列しているH方向及びV方向について、変化量Mh、Mvを比較する。変化量比較手段32が変化量を比較する二方向は、注目画素の既得色成分と、感度レベル値を算出する不足色成分とに応じて予め設定されている。
【0026】
変化量Mhと変化量Mvとの差分が少ない場合、被写体のうち画素R5に相当する部分とその周囲は、信号レベルの変動がH方向及びV方向のいずれも少ない平坦部であるか、あるいは信号レベルの変動がH方向及びV方向のいずれも大きい高周波領域である可能性が高いこととなる。
【0027】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段33は、線形補間の実施において、ローパスフィルタ(LPF)を使用する。これにより、画素補間処理部13は、高域成分を足し込むことによりノイズが強調されてしまうことや、高域成分の正確な抽出が困難になる等の不具合を回避することができる。
【0028】
ここで、高周波領域とは、ナイキスト周波数付近の帯域とする。高周波領域では、折り返し歪み(aliasing distortion)の発生により、正確な変化量を求められない場合がある。光学LPFを備える撮像レンズ1を使用する場合、折り返し歪みを低減可能である一方、安価なカメラモジュールの構成の場合、光学LPFを持たない撮像レンズ1を使用することで、折り返し歪みが発生し易くなる。このため、画素補間処理部13は、二方向についての変化量の差分との比較対象とする差分閾値Th1を、撮像レンズ1の構成に応じて適宜変更することとしても良い。
【0029】
変化量Mhと変化量Mvとの差分が大きい場合、被写体のうち画素R5に相当する部分とその周囲に、エッジ部分が存在する可能性が高いこととなる。変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より大きい場合、演算手段33は、二方向のうち、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段33は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間により、低域成分を算出する。
【0030】
変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、H方向における高域成分を、低域成分に加算する。また、変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、V方向における高域成分を、低域成分に加算する。
【0031】
また、画素R5における不足色成分であるB成分の感度レベル値を算出に際しては、変化量比較手段32は、画素R5を中心としてB画素が配列しているDL方向とDR方向について、変化量Mdl、Mdrを比較する。変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。
【0032】
変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きく、かつ変化量Mdrが変化量Mdlより大きい場合、演算手段33は、DL方向における高域成分を、低域成分に加算する。また、変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きく、かつ変化量Mdlが変化量Mdrより大きい場合、演算手段33は、DR方向における高域成分を、低域成分に加算する。
【0033】
ここで、R画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Mh及び変化量Mvの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(5)により、G成分の感度レベル値Gaを算出する。
Ga=(G4+G6+G7+G9)/4 ・・・(5)
【0034】
式(5)において、(G4+G6+G7+G9)/4の項は、H方向及びV方向について画像信号の低域成分を抽出したものに相当する。
【0035】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、次に示す式(6)により、G成分の感度レベル値Gbを算出する。
Gb=(G6+G7)/2+(2×R5−R4−R6)/2×AA ・・・(6)
【0036】
式(6)において、(G6+G7)/2の項は、H方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R4−R6)/2の項は、H方向について画像信号の高域成分を抽出したものに相当する。なお、高域成分の項に乗算する係数AAは、低域成分に対する高域成分の重み付けを調整するための高域加算係数とする。高域加算係数AAは、適宜調整可能であって、1であっても良いものとする。
【0037】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、次に示す式(7)により、G成分の感度レベル値Gcを算出する。
Gc=(G4+G9)/2+(2×R5−R2−R8)/2×AA ・・・(7)
【0038】
式(7)において、(G4+G9)/2の項は、V方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R2−R8)/2の項は、V方向について画像信号の高域成分を抽出したものに相当する。
【0039】
変化量Mdl及び変化量Mdrの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(8)により、B成分の感度レベル値Baを算出する。
Ba=(B1+B2+B3+B4)/4 ・・・(8)
【0040】
式(8)において、(B1+B2+B3+B4)/4の項は、DL方向及びDR方向について画像信号の低域成分を抽出したものに相当する。
【0041】
変化量Mdl及び変化量Mdrの差分が差分閾値Th1より大きく、かつ変化量Mdrが変化量Mdlより大きい場合、演算手段33は、次に示す式(9)により、B成分の感度レベル値Bbを算出する。
Bb=(B1+B4)/2+(2×R5−R1−R9)/2×AA ・・・(9)
【0042】
式(9)において、(B1+B4)/2の項は、DL方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R1−R9)/2の項は、DL方向について画像信号の高域成分を抽出したものに相当する。
【0043】
変化量Mdl及び変化量Mdrの差分が差分閾値Th1より大きく、かつ変化量Mdlが変化量Mdrより大きい場合、演算手段33は、次に示す式(10)により、B成分の感度レベル値Bcを算出する。
Bc=(B2+B3)/2+(2×R5−R3−R7)/2×AA ・・・(10)
【0044】
式(10)において、(B2+B3)/2の項は、DR方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R3−R7)/2の項は、DR方向について画像信号の高域成分を抽出したものに相当する。
【0045】
次に、B画素を注目画素とする場合について説明する。B画素における不足色成分であるG成分の感度レベル値の算出に際し、変化量比較手段32は、B画素を中心としてG画素が配列しているH方向とV方向について、変化量Mh、Mvを比較する。演算手段33は、B画素を注目画素とする場合も、R画素を注目画素とする場合と同様にして、G成分の感度レベル値を算出する。
【0046】
B画素における不足色成分であるR成分の感度レベル値を算出に際しては、変化量比較手段32は、B画素を中心としてR画素が配列しているDL方向とDR方向について、変化量Mdl、Mdrを比較する。演算手段33は、B画素を注目画素とする場合において、R画素を注目画素とする場合におけるB成分の感度レベル値の算出と同様にして、R成分の感度レベル値を算出する。
【0047】
次に、G画素を注目画素とする場合について説明する。図5は、G画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。図5に示す例では、G画素である画素G7を注目画素とする。周辺画素は、5×5のマトリックスのうち、画素G7以外の24個の画素とする。
【0048】
変化量算出手段31(図3参照)は、画素G7を中心とするH方向及びV方向の2方向について、既得色成分の感度レベル値の変化量を算出する。変化量算出手段31は、例えば、上述の式(1)及び(2)と同様の演算により、H方向の変化量Mh、及びV方向の変化量Mvを算出する。
【0049】
画素G7における不足色成分であるB成分の感度レベル値、及びR成分の感度レベル値の算出に際し、変化量比較手段32は、画素G7を中心としてR画素が配列しているH方向と、B画素が配列しているV方向とについて、変化量Mh、Mvを比較する。
【0050】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。また、演算手段33は、周辺画素のうち、R成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段33は、線形補間の実施において、ローパスフィルタ(LPF)を使用する。
【0051】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より大きい場合、演算手段33は、二方向のうち、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間により、B成分の低域成分を算出する。また、演算手段33は、周辺画素のうち、R成分を既得色成分とする同色画素の感度レベル値の線形補間により、R成分の低域成分を算出する。
【0052】
変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、H方向における高域成分を、低域成分に加算する。また、変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、V方向における高域成分を、低域成分に加算する。
【0053】
ここで、G画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Mh及び変化量Mvの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(11)により、B成分の感度レベル値Baを算出する。また、演算手段33は、次に示す式(12)により、R成分の感度レベル値Raを算出する。
Ba=(B2+B5)/2 ・・・(11)
Ra=(R3+R4)/2 ・・・(12)
【0054】
式(11)において、(B2+B5)/2の項は、画像信号の低域成分を抽出したものに相当する。式(12)において、(R3+R4)/2の項は、画像信号の低域成分を抽出したものに相当する。
【0055】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、次に示す式(13)により、B成分の感度レベル値Bbを算出する。また、演算手段33は、次に示す式(14)により、R成分の感度レベル値Rbを算出する。
Bb=(B2+B5)/2+(2×G7−G6−G8)/2×AA ・・・(13)
Rb=(R3+R4)/2+(2×G7−G6−G8)/2×AA ・・・(14)
【0056】
式(13)における(B2+B5)/2の項、式(14)における(R3+R4)/2の項は、それぞれ式(11)、(12)と同様、画像信号の低域成分を抽出したものに相当する。式(13)及び式(14)において、(2×G7−G6−G8)/2の項は、H方向について画像信号の高域成分を抽出したものに相当する。
【0057】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、次に示す式(15)により、B成分の感度レベル値Bcを算出する。また、演算手段33は、次に示す式(16)により、R成分の感度レベル値Rcを算出する。
Bc=(B2+B5)/2+(2×G7−G2−G12)/2×AA ・・・(15)
Rc=(R3+R4)/2+(2×G7−G2−G12)/2×AA ・・・(16)
【0058】
式(15)における(B2+B5)/2の項、式(16)における(R3+R4)/2の項は、それぞれ式(11)、(12)と同様、画像信号の低域成分を抽出したものに相当する。式(15)及び式(16)における(2×G7−G2−G12)/2の項は、画像信号の高域成分を抽出したものに相当する。
【0059】
なお、不足色成分の感度レベル値を算出する方法は、上記の式(5)から(16)を使用する場合に限られない。演算手段33は、いずれの方法により不足色成分の感度レベル値を算出するものとしても良い。例えば、演算手段33は、低域成分に加算する高域成分への、高域加算係数の乗算を省略しても良い。
【0060】
図6は、画素補間処理部の回路構成の例を示すブロック図である。変化量比較手段32を構成する比較器(COMP)41は、変化量算出手段31で算出されたH方向の変化量MhとV方向の変化量Mvとを比較する。Mh>Mvが成立する場合、COMP41は、例えば「1」を出力する。Mh>Mvが成立しない場合、COMP41は、例えば「0」を出力する。
【0061】
比較器(COMP)43は、変化量Mh及び変化量Mvの差分の絶対値(ABS)と、予め設定される差分閾値Th1とを比較する。ABS>Th1が成立する場合、COMP43は、例えば「1」を出力する。ABS>Th1が成立しない場合、COMP43は、例えば「0」を出力する。
【0062】
COMP43からの入力が「0」である場合、演算手段33は、感度レベル値Ra、Ga、Baを選択し、出力する。COMP43からの入力が「1」、かつCOMP41からの入力が「0」である場合、演算手段33は、感度レベル値Rb、Gb、Bbを選択し、出力する。COMP43からの入力が「1」、かつCOMP41からの入力が「1」である場合、演算手段33は、感度レベル値Rc、Gc、Bcを選択し、出力する。
【0063】
変化量比較手段32を構成する比較器(COMP)42は、変化量算出手段31で算出されたDL方向の変化量MdlとDR方向の変化量Mdrとを比較する。Mdl>Mdrが成立する場合、COMP42は、例えば「1」を出力する。Mdl>Mdrが成立しない場合、COMP42は、例えば「0」を出力する。
【0064】
比較器(COMP)44は、変化量Mdl及び変化量Mdrの差分の絶対値(ABS)と、予め設定される差分閾値Th1とを比較する。ABS>Th1が成立する場合、COMP44は、例えば「1」を出力する。ABS>Th1が成立しない場合、COMP44は、例えば「0」を出力する。
【0065】
COMP44からの入力が「0」である場合、演算手段33は、感度レベル値Ra、Baを選択し、出力する。COMP44からの入力が「1」、かつCOMP43からの入力が「0」である場合、演算手段33は、感度レベル値Rb、Bbを選択し、出力する。COMP44からの入力が「1」、かつCOMP43からの入力が「1」である場合、演算手段33は、感度レベル値Rc、Bcを選択し、出力する。
【0066】
G成分用セレクタ45、R成分用セレクタ46及びB成分用セレクタ47は、V/H同期パルスPv/hから注目画素を識別し、注目画素に応じた感度レベル値を選択する。G成分用セレクタ45は、注目画素がG画素であるときは、注目画素の既得色成分である感度レベル値G0を選択する。G成分用セレクタ45は、注目画素がR画素及びB画素のいずれかであるときは、演算手段33で算出された感度レベル値Ga、Gb、Gcのいずれかを選択する。
【0067】
R成分用セレクタ46は、注目画素がR画素であるときは、注目画素の既得色成分である感度レベル値R0を選択する。R成分用セレクタ46は、注目画素がG画素及びB画素のいずれかであるときは、演算手段33で算出された感度レベル値Ra、Rb、Rcのいずれかを選択する。
【0068】
B成分用セレクタ47は、注目画素がB画素であるときは、注目画素の既得色成分である感度レベル値B0を選択する。B成分用セレクタ47は、注目画素がR画素及びG画素のいずれかであるときは、演算手段33で算出された感度レベル値Ba、Bb、Bcのいずれかを選択する。画素補間処理部13は、各セレクタ45、46、47で選択された各感度レベル値を出力する。
【0069】
本実施形態の画素補間処理部13は、注目画素を中心とする複数の方向のうち感度レベル値の変化量が少ない方向を、RGBの各色成分の相関性の崩れが少ない方向として、高域成分の抽出に使用している。画素補間処理部13は、高域成分の加算により解像度の劣化を抑制させるとともに、感度レベル値の変化量が少ない方向についての高域成分を低域成分との加算に使用することで、相関性の崩れに起因する画質の低下を抑制させることができる。
【0070】
また、画素補間処理部13は、二方向における変化量の差分が小さい場合に、低域成分のみによる画素補間を実施することで、高域成分の加算により生じ得るノイズの影響や補間精度の悪化を抑制させることができる。なお、画素補間処理部13の回路構成は、図6に示すものである場合に限られず、適宜変更しても良い。
【0071】
(第2の実施形態)
図7は、第2の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図である。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。画素補間処理部50は、変化量算出手段31、変化量比較手段32、演算手段51及びコアリング処理手段52を備える。コアリング処理手段52は、変化量算出手段31にて算出された変化量Mh、Mv、Mdl、Mdrについて、コアリング処理を実施する。コアリング処理では、信号の絶対値が閾値よりも低い場合に、閾値以下の信号を抑制することで、ノイズ成分を除去する。
【0072】
コアリング処理手段52は、変化量Mh、Mv、Mdl、Mdrと、予め設定されたコアリング閾値Th2とを比較する。変化量Mh、Mv、Mdl、Mdrがコアリング閾値Th2より小さい場合、コアリング処理手段52は、変化量Mh、Mv、Mdl、Mdrを一律にゼロとする。
【0073】
ここで、R画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。注目画素及び周辺画素は、図4に示すように配列しているものとする。G成分の感度レベル値の算出に際し、コアリング処理後の変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(5)により、G成分の感度レベル値Gaを算出する。
【0074】
コアリング処理後の変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、H方向及びV方向における高域成分を、低域成分に加算する。
【0075】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(17)により、G成分の感度レベル値Gdを算出する。
Gd=(G4+G6+G7+G9)/4+(4×R5−R2−R4−R6−R8)/4×AA ・・・(17)
【0076】
式(17)において、(G4+G6+G7+G9)/4の項は、H方向及びV方向について画像信号の低域成分を抽出したものに相当する。(4×R5−R2−R4−R6−R8)/4の項は、H方向及びV方向について画像信号の高域成分を抽出したものに相当する。
【0077】
変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0078】
変化量Mvが変化量Mhより大きい場合、演算手段51は、H方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(6)により、G成分の感度レベル値Gbを算出する。
【0079】
変化量Mhが変化量Mvより大きい場合、演算手段51は、V方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(7)により、G成分の感度レベル値Gcを算出する。
【0080】
また、B成分の感度レベル値を算出に際しては、コアリング処理後の変化量Mdl及び変化量Mdrがいずれもゼロである場合、演算手段51は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Mdl及び変化量Mdrがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(8)により、B成分の感度レベル値Baを算出する。
【0081】
コアリング処理後の変化量Mdl及び変化量Mdrの少なくとも一方がゼロではなく、かつ変化量Mdlと変化量Mdrとの差分が差分閾値Th1より小さい場合、演算手段51は、DL方向及びDR方向における高域成分を、低域成分に加算する。
【0082】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(18)により、B成分の感度レベル値Bdを算出する。
Bd=(B1+B2+B3+B4)/4+(4×R5−R1−R3−R7−R9)/4×AA ・・・(18)
【0083】
式(18)において、(B1+B2+B3+B4)/4の項は、DL方向及びDR方向について画像信号の低域成分を抽出したものに相当する。(4×R5−R1−R3−R7−R9)/4の項は、DL方向及びDR方向について画像信号の高域成分を抽出したものに相当する。
【0084】
変化量Mdl及び変化量Mdrの少なくとも一方がゼロではなく、かつ変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0085】
変化量Mdrが変化量Mdlより大きい場合、演算手段51は、DL方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(9)により、B成分の感度レベル値Bbを算出する。
【0086】
変化量Mdlが変化量Mdrより大きい場合、演算手段51は、DR方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(10)により、B成分の感度レベル値Bcを算出する。
【0087】
演算手段51は、B画素を注目画素とする場合も、R画素を注目画素とする場合におけるB成分の感度レベル値の算出と同様にして、R成分の感度レベル値を算出する。
【0088】
次に、G画素を注目画素とする場合について説明する。注目画素及び周辺画素は、図5に示すように配列しているものとする。B成分の感度レベル値、及びR成分の感度レベル値の算出に際し、コアリング処理後の変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、同色画素の感度レベル値の線形補間を、B成分及びR成分のそれぞれについて実施する。
【0089】
具体的には、変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(11)により、B成分の感度レベル値Baを算出する。また、演算手段は、実施形態1にて示した式(12)により、R成分の感度レベル値Raを算出する。
【0090】
コアリング処理後の変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、H方向及びV方向における高域成分を、低域成分に加算する。
【0091】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(19)により、B成分の感度レベル値Bdを算出する。また、演算手段51は、次に示す式(20)により、R成分の感度レベル値Rdを算出する。
Bd=(B2+B5)/2+(4×G7−G2−G6−G8−G12)/4×AA ・・・(19)
Rd=(R3+R4)/2+(4×G7−G2−G6−G8−G12)/4×AA ・・・(20)
【0092】
式(19)において、(B2+B5)/2の項は、画像信号の低域成分を抽出したものに相当する。式(20)において、(R3+R4)/2の項は、画像信号の低域成分を抽出したものに相当する。式(19)及び式(20)において、(4×G7−G2−G6−G8−G12)/2の項は、H方向及びV方向について画像信号の高域成分を抽出したものに相当する。
【0093】
変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0094】
変化量Mvが変化量Mhより大きい場合、演算手段51は、H方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(13)により、B成分の感度レベル値Bbを算出する。また、演算手段51は、実施形態1にて示した式(14)により、R成分の感度レベル値Rbを算出する。
【0095】
変化量Mhが変化量Mvより大きい場合、演算手段51は、V方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(15)により、B成分の感度レベル値Bcを算出する。また、演算手段51は、実施形態1にて示した式(16)により、R成分の感度レベル値Rcを算出する。
【0096】
図8は、画素補間処理部の回路構成の例を示すブロック図である。COMP41は、コアリング処理手段52におけるコアリング処理を経た変化量Mh、Mvを比較する。変化量Mh、Mvがいずれもゼロである場合、AND回路53は、例えば「1」を出力する。変化量Mh、Mvの少なくとも一方がゼロではない場合、AND回路53は、例えば「0」を出力する。
【0097】
COMP42は、コアリング処理手段52におけるコアリング処理を経た変化量Mdl、Mdrを比較する。変化量Mdl、Mdrがいずれもゼロである場合、AND回路54は、例えば「1」を出力する。変化量Mdl、Mdrの少なくとも一方がゼロではない場合、AND回路54は、例えば「0」を出力する。
【0098】
AND回路53からの入力が「1」である場合、演算手段51は、感度レベル値Ra、Ga、Baを選択し、出力する。AND回路53からの入力が「0」、かつCOMP43からの入力が「0」である場合、演算手段51は、感度レベル値Rd、Gd、Bdを選択し、出力する。
【0099】
AND回路53、COMP43、COMP41からの入力がそれぞれ「0」、「1」、「0」である場合、演算手段51は、感度レベル値Rb、Gb、Bbを選択し、出力する。AND回路53、COMP43、COMP41からの入力がそれぞれ「0」、「1」、「1」である場合、演算手段51は、感度レベル値Rc、Gc、Bcを選択し、出力する。
【0100】
AND回路54からの入力が「1」である場合、演算手段51は、感度レベル値Ra、Baを選択し、出力する。AND回路54からの入力が「0」、かつCOMP44からの入力が「0」である場合、演算手段51は、感度レベル値Rd、Bdを選択し、出力する。
【0101】
AND回路54、COMP44、COMP42からの入力がそれぞれ「0」、「1」、「0」である場合、演算手段51は、感度レベル値Rb、Bbを選択し、出力する。AND回路54、COMP44、COMP42からの入力がそれぞれ「0」、「1」、「1」である場合、演算手段51は、感度レベル値Rc、Bcを選択し、出力する。
【0102】
G成分用セレクタ45は、注目画素がR画素及びB画素のいずれかであるときは、演算手段51で算出された感度レベル値Ga、Gb、Gc、Gdのいずれかを選択する。R成分用セレクタ46は、注目画素がG画素及びB画素のいずれかであるときは、演算手段51で算出された感度レベル値Ra、Rb、Rc、Rdのいずれかを選択する。
【0103】
B成分用セレクタ47は、注目画素がR画素及びG画素のいずれかであるときは、演算手段51で算出された感度レベル値Ba、Bb、Bc、Bdのいずれかを選択する。画素補間処理部50は、各セレクタ45、46、47で選択された各感度レベル値を出力する。
【0104】
本実施形態では、第1の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部50は、コアリング処理を適用することで、信号レベルの変動が少ない平坦部の判定の容易化を可能としている。コアリング処理の実施により、ノイズ成分と同様、折り返し歪みの影響を効果的に低減させることができる。特に、メッシュ状の被写体に対して、変化量の差分と差分閾値との比較による判定が有効となる。
【0105】
(第3の実施形態)
図9は、第3の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。第1及び第2の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。カメラモジュール73は、撮像レンズ1、イメージセンサ2、ADC3及び画像処理装置5を備える。画像処理装置5に設けられているAE/AWB演算回路21は、AE調整係数の算出結果が反映された輝度情報61を生成し、画素補間処理部60へ出力する。
【0106】
図10は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部60は、変化量算出手段31、変化量比較手段32、演算手段51、コアリング処理手段52及びパラメータ調整手段62を有する。パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2の各パラメータを調整する。
【0107】
図11は、パラメータ調整手段におけるパラメータの調整について説明する図である。パラメータ調整手段62は、AE/AWB演算回路21から入力される撮像時の輝度情報61に応じて、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2をそれぞれ変換する。
【0108】
図12は、パラメータ調整手段における高域加算係数の変換について説明する図である。パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、高域加算係数AAが小さい値となるように、高域加算係数AAを変換する。パラメータ調整手段62は、高域加算係数AAと輝度とが例えば線形関数の関係にあるものとして、高域加算係数AAを変換する。
【0109】
パラメータ調整手段62は、変換により得た高域加算係数AAを演算手段51へ出力する。パラメータ調整手段62は、輝度情報61に応じて高域加算係数AAを調整することで、撮像時の環境が低照度であって画像信号にノイズ成分が生じ易い場合に、高域成分に起因するSN比の悪化を抑制させる。
【0110】
パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、差分閾値Th1が大きい値となるように、差分閾値Th1を変換する。また、パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、コアリング閾値Th2が大きい値となるように、コアリング閾値Th2を変換する。パラメータ調整手段62は、高域加算係数AAと同様、差分閾値Th1及びコアリング閾値Th2についても、輝度に対して例えば線形関数の関係にあるものと変換する。
【0111】
パラメータ調整手段62は、変換により得た差分閾値Th1を、変化量比較手段32へ出力する。パラメータ調整手段62は、変換により得たコアリング閾値Th2を、コアリング処理手段52へ出力する。パラメータ調整手段62は、輝度情報61に応じて差分閾値Th1及びコアリング閾値Th2を調整することで、撮像時の環境が低照度である場合に、高域成分に起因するSN比の悪化を抑制させる。
【0112】
本実施形態では、第1の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部60は、輝度情報61に応じたパラメータ調整の適用により、高域成分に起因するSN比の悪化をさらに抑制させることができる。
【0113】
なお、パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2の全てを調整する場合に限られない。パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2のうちの少なくとも一つを調整するものであれば良い。
【0114】
第1、第2及び第3の実施形態にかかる画像処理装置は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【0115】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0116】
4、5 画像処理装置、13、50、60 画素補間処理部、31 変化量算出手段、32 変化量比較手段、33、51 演算手段、52 コアリング処理手段、61 輝度情報、62 パラメータ調整手段、70、73 カメラモジュール。
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
フルカラー撮像装置の一つであるいわゆる単板式撮像装置は、例えば民生用のデジタルスチルカメラやカメラ付き携帯電話のように、構成の小型化、低価格化が求められる場合に適している。単板式撮像装置は、赤色(R)用、緑色(G)用、青色(B)用のカラーフィルタのいずれかを各光電変換素子上に設け、不足色成分の感度信号を画素位置ごとに算出することにより、一つの二次元撮像素子から複数色の画像信号を得る。不足色成分の感度レベル値は、注目画素及びその周辺画素における既知の感度レベル値を使用する補間処理により生成される(例えば、特許文献1参照)。
【0003】
従来、不足色成分の感度レベル値の生成において、例えば、画像信号の低域成分と高域成分とを抽出し、加算する手法が採用されている。高域成分の加算により解像度の劣化を抑制させることで、画素補間処理がなされた高い解像度の画像を得ることが可能となる。この補間処理の手法は、RGBの各色成分の相関性を前提としている。例えば、画像の周縁部分付近等では、レンズの収差やボケの影響により、かかる相関性が成り立たなく場合がある。このような相関性の崩れを伴う補間処理は、ジッパーノイズと称される、被写体には存在しない点線状のノイズを生じさせることがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−197512号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一つの実施形態は、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における画質の低下を抑制可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一つの実施形態によれば、画像処理装置は、画素補間処理部を有する。画素補間処理部は、撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、画素ごとの不足色成分の感度レベル値を生成する。画素補間処理部は、変化量算出手段と、変化量比較手段と、演算手段とを有する。変化量算出手段は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。変化量比較手段は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段で算出された変化量を比較する。演算手段は、画像信号の第1の周波域成分と、第1の周波域成分より高い周波数帯域の第2の周波域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。演算手段は、二方向のうち、変化量比較手段での比較により変化量が少ないと判断された方向における第2の周波域成分を、第1の周波域成分に加算する。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図2】図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図3】画素補間処理部の概略構成を示すブロック図。
【図4】R画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。
【図5】G画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。
【図6】画素補間処理部の回路構成の例を示すブロック図。
【図7】第2の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図。
【図8】画素補間処理部の回路構成の例を示すブロック図。
【図9】第3の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図10】画素補間処理部の概略構成を示すブロック図。
【図11】パラメータ調整手段におけるパラメータの調整について説明する図。
【図12】パラメータ調整手段における高域加算係数の変換について説明する図。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【0009】
(第1の実施形態)
図1は、第1の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。図2は、図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【0010】
デジタルカメラは、カメラモジュール70、記憶部71及び表示部72を有する。カメラモジュール70は、撮像レンズ1、イメージセンサ2、アナログデジタル変換器(ADC)3及び画像処理装置4を備える。
【0011】
カメラモジュール70からの出力画像信号19は、表示部72へ、あるいは記憶部71を経て表示部72へ入力される。記憶部71は、カメラモジュール70により撮影された画像を格納する。表示部72は、カメラモジュール70あるいは記憶部71からの出力信画像号19に応じて画像を表示する。表示部72は、例えば、液晶ディスプレイである。表示部72は、撮影中の画像を、カメラモジュール70からの出力画像信号19に応じて表示する。また、表示部72は、記憶部71に保存されている画像を、記憶部71からの出力画像信号19に応じて表示する。
【0012】
撮像レンズ1は、被写体からの光を取り込み、イメージセンサ2にて被写体像を結像させる。イメージセンサ2は、撮像レンズ1により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ2は、RGBの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ADC3は、イメージセンサ2からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理装置4は、ADC3からのデジタル画像信号に対して種々の画像処理を施す。
【0013】
ラインメモリ10は、ADC3からのデジタル画像信号を一時的に貯える。キズ補正回路11及びノイズ低減回路12は、ラインメモリ10を共用する。キズ補正回路11は、イメージセンサ2において正常に機能していない画素によるデジタル画像信号の欠損部分(キズ)を補正するためのキズ補正を、ラインメモリ10からのデジタル画像信号に対して実施する。ノイズ低減回路12は、ノイズを低減させるためのノイズキャンセル処理を実施する。
【0014】
デジタルアンプ(AMP)係数回路22は、後述するAE/AWB演算回路21で算出された係数と、被写体像をシェーディング補正するためのシェーディング補正係数Shとを基にしてデジタルAMP係数を算出し、キズ補正回路11及びノイズ低減回路12での処理を経たデジタル画像信号にデジタルAMP係数を乗算する。
【0015】
ラインメモリ20は、デジタルAMP係数が乗算されたデジタル画像信号を一時的に貯える。画素補間処理部13は、ラインメモリ20からベイヤー配列の順序で伝達されてくるデジタル画像信号について、画素ごとの既得色成分の感度レベル値の補間処理(デモザイク処理)を実施し、画素ごとの不足色成分の感度レベル値を生成する。カラーマトリックス処理部14は、色再現性を得るためのカラーマトリックス演算処理(色再現性処理)を実施する。
【0016】
輪郭処理部15は、イメージセンサ2による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実施する。ガンマ補正部16は、画像の階調を補正するためのガンマ補正を実施する。RGB/YUV変換部18は、RGBの感度信号から輝度(Y)信号及び色差(UV)信号を生成することにより、画像信号をRGB形式からYUV形式(例えば、YUV422など)へ変換する。RGB/YUV変換部18は、RGB形式からYUV形式へ変換された出力画像信号19を生成する。
【0017】
エッジ抽出部17は、ラインメモリ20からベイヤー配列の順序で伝達されてくるデジタル画像信号についてエッジ抽出を実施し、抽出結果をRGB/YUV変換部18へ出力する。AE/AWB演算回路21は、自動露出(auto exposure;AE)調整、自動ホワイトバランス(auto white balance;AWB)調整のための各係数を算出する。
【0018】
図3は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部13は、変化量算出手段31、変化量比較手段32及び演算手段33を有する。変化量算出手段31は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。
【0019】
変化量比較手段32は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段31で算出された変化量を比較する。演算手段33は、画像信号の低域成分と高域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。低域成分は、第1の周波域成分である。高域成分は、第1の周波域成分より高い周波数帯域の第2の周波域成分である。
【0020】
図4は、R画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。R画素は、R光を選択的に透過させるカラーフィルタが設けられた画素であって、Rを既得色成分、G及びBを不足色成分とする。G画素は、G光を選択的に透過させるカラーフィルタが設けられた画素であって、Gを既得色成分、R及びBを不足色成分とする。B画素は、B光を選択的に透過させるカラーフィルタが設けられた画素であって、Bを既得色成分、R及びGを不足色成分とする。
【0021】
画素補間処理部13は、ラインメモリ20(図1参照)に保持された4ラインと、ラインメモリ20へ入力される直前の1ラインと、の計5ラインのデータが入力される。水平(H)方向へ5個、及び垂直(V)方向へ5個のマトリックス状に配置された画素のうち、中心に位置する画素を注目画素とする。図4に示す例では、R画素である画素R5を注目画素とする。周辺画素は、5×5のマトリックスのうち、画素R5以外の24個の画素とする。
【0022】
変化量算出手段31(図3参照)は、画素R5を中心とするH方向、V方向、DL方向及びDR方向の4方向について、既得色成分の感度レベル値の変化量を算出する。図4において、H方向は左右方向、V方向は上下方向とする。DL方向は、H方向及びV方向に対して斜めの方向であって、図4において左上がりの方向とする。DR方向は、H方向及びV方向に対して斜めの方向であって、図4において右上がりの方向とする。
【0023】
変化量算出手段31は、例えば、次に示す式(1)から式(4)により、H方向の変化量Mh、V方向の変化量Mv、DL方向の変化量Mdl、DR方向の変化量Mdrをそれぞれ算出する。
Mh=|2×R5−R4−R6|+|G6−G7| ・・・(1)
Mv=|2×R5−R2−R8|+|G4−G9| ・・・(2)
Mdl=|2×R5−R1−R9|+|B1−B4| ・・・(3)
Mdr=|2×R5−R3−R7|+|B2−B3| ・・・(4)
【0024】
式(1)から式(4)における「R5」、「R2」・・・の項は、それぞれ、図4に示す画素R5、R2・・・における既得色成分の感度レベル値をそれぞれ表すものとする。なお、各変化量Mh、Mv、Mdl、Mdrを算出する方法は、上記の式(1)から式(4)を使用する場合に限られない。変化量算出手段31は、いずれの方法により各変化量Mh、Mv、Mdl、Mdrを算出するものとしても良い。
【0025】
画素R5における不足色成分であるG成分の感度レベル値の算出に際し、変化量比較手段32は、画素R5を中心としてG画素が配列しているH方向及びV方向について、変化量Mh、Mvを比較する。変化量比較手段32が変化量を比較する二方向は、注目画素の既得色成分と、感度レベル値を算出する不足色成分とに応じて予め設定されている。
【0026】
変化量Mhと変化量Mvとの差分が少ない場合、被写体のうち画素R5に相当する部分とその周囲は、信号レベルの変動がH方向及びV方向のいずれも少ない平坦部であるか、あるいは信号レベルの変動がH方向及びV方向のいずれも大きい高周波領域である可能性が高いこととなる。
【0027】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段33は、線形補間の実施において、ローパスフィルタ(LPF)を使用する。これにより、画素補間処理部13は、高域成分を足し込むことによりノイズが強調されてしまうことや、高域成分の正確な抽出が困難になる等の不具合を回避することができる。
【0028】
ここで、高周波領域とは、ナイキスト周波数付近の帯域とする。高周波領域では、折り返し歪み(aliasing distortion)の発生により、正確な変化量を求められない場合がある。光学LPFを備える撮像レンズ1を使用する場合、折り返し歪みを低減可能である一方、安価なカメラモジュールの構成の場合、光学LPFを持たない撮像レンズ1を使用することで、折り返し歪みが発生し易くなる。このため、画素補間処理部13は、二方向についての変化量の差分との比較対象とする差分閾値Th1を、撮像レンズ1の構成に応じて適宜変更することとしても良い。
【0029】
変化量Mhと変化量Mvとの差分が大きい場合、被写体のうち画素R5に相当する部分とその周囲に、エッジ部分が存在する可能性が高いこととなる。変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より大きい場合、演算手段33は、二方向のうち、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段33は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間により、低域成分を算出する。
【0030】
変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、H方向における高域成分を、低域成分に加算する。また、変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、V方向における高域成分を、低域成分に加算する。
【0031】
また、画素R5における不足色成分であるB成分の感度レベル値を算出に際しては、変化量比較手段32は、画素R5を中心としてB画素が配列しているDL方向とDR方向について、変化量Mdl、Mdrを比較する。変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。
【0032】
変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きく、かつ変化量Mdrが変化量Mdlより大きい場合、演算手段33は、DL方向における高域成分を、低域成分に加算する。また、変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きく、かつ変化量Mdlが変化量Mdrより大きい場合、演算手段33は、DR方向における高域成分を、低域成分に加算する。
【0033】
ここで、R画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Mh及び変化量Mvの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(5)により、G成分の感度レベル値Gaを算出する。
Ga=(G4+G6+G7+G9)/4 ・・・(5)
【0034】
式(5)において、(G4+G6+G7+G9)/4の項は、H方向及びV方向について画像信号の低域成分を抽出したものに相当する。
【0035】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、次に示す式(6)により、G成分の感度レベル値Gbを算出する。
Gb=(G6+G7)/2+(2×R5−R4−R6)/2×AA ・・・(6)
【0036】
式(6)において、(G6+G7)/2の項は、H方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R4−R6)/2の項は、H方向について画像信号の高域成分を抽出したものに相当する。なお、高域成分の項に乗算する係数AAは、低域成分に対する高域成分の重み付けを調整するための高域加算係数とする。高域加算係数AAは、適宜調整可能であって、1であっても良いものとする。
【0037】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、次に示す式(7)により、G成分の感度レベル値Gcを算出する。
Gc=(G4+G9)/2+(2×R5−R2−R8)/2×AA ・・・(7)
【0038】
式(7)において、(G4+G9)/2の項は、V方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R2−R8)/2の項は、V方向について画像信号の高域成分を抽出したものに相当する。
【0039】
変化量Mdl及び変化量Mdrの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(8)により、B成分の感度レベル値Baを算出する。
Ba=(B1+B2+B3+B4)/4 ・・・(8)
【0040】
式(8)において、(B1+B2+B3+B4)/4の項は、DL方向及びDR方向について画像信号の低域成分を抽出したものに相当する。
【0041】
変化量Mdl及び変化量Mdrの差分が差分閾値Th1より大きく、かつ変化量Mdrが変化量Mdlより大きい場合、演算手段33は、次に示す式(9)により、B成分の感度レベル値Bbを算出する。
Bb=(B1+B4)/2+(2×R5−R1−R9)/2×AA ・・・(9)
【0042】
式(9)において、(B1+B4)/2の項は、DL方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R1−R9)/2の項は、DL方向について画像信号の高域成分を抽出したものに相当する。
【0043】
変化量Mdl及び変化量Mdrの差分が差分閾値Th1より大きく、かつ変化量Mdlが変化量Mdrより大きい場合、演算手段33は、次に示す式(10)により、B成分の感度レベル値Bcを算出する。
Bc=(B2+B3)/2+(2×R5−R3−R7)/2×AA ・・・(10)
【0044】
式(10)において、(B2+B3)/2の項は、DR方向について画像信号の低域成分を抽出したものに相当する。(2×R5−R3−R7)/2の項は、DR方向について画像信号の高域成分を抽出したものに相当する。
【0045】
次に、B画素を注目画素とする場合について説明する。B画素における不足色成分であるG成分の感度レベル値の算出に際し、変化量比較手段32は、B画素を中心としてG画素が配列しているH方向とV方向について、変化量Mh、Mvを比較する。演算手段33は、B画素を注目画素とする場合も、R画素を注目画素とする場合と同様にして、G成分の感度レベル値を算出する。
【0046】
B画素における不足色成分であるR成分の感度レベル値を算出に際しては、変化量比較手段32は、B画素を中心としてR画素が配列しているDL方向とDR方向について、変化量Mdl、Mdrを比較する。演算手段33は、B画素を注目画素とする場合において、R画素を注目画素とする場合におけるB成分の感度レベル値の算出と同様にして、R成分の感度レベル値を算出する。
【0047】
次に、G画素を注目画素とする場合について説明する。図5は、G画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。図5に示す例では、G画素である画素G7を注目画素とする。周辺画素は、5×5のマトリックスのうち、画素G7以外の24個の画素とする。
【0048】
変化量算出手段31(図3参照)は、画素G7を中心とするH方向及びV方向の2方向について、既得色成分の感度レベル値の変化量を算出する。変化量算出手段31は、例えば、上述の式(1)及び(2)と同様の演算により、H方向の変化量Mh、及びV方向の変化量Mvを算出する。
【0049】
画素G7における不足色成分であるB成分の感度レベル値、及びR成分の感度レベル値の算出に際し、変化量比較手段32は、画素G7を中心としてR画素が配列しているH方向と、B画素が配列しているV方向とについて、変化量Mh、Mvを比較する。
【0050】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より小さい場合、演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。また、演算手段33は、周辺画素のうち、R成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段33は、線形補間の実施において、ローパスフィルタ(LPF)を使用する。
【0051】
変化量Mhと変化量Mvとの差分が、予め設定された差分閾値Th1より大きい場合、演算手段33は、二方向のうち、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段33は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間により、B成分の低域成分を算出する。また、演算手段33は、周辺画素のうち、R成分を既得色成分とする同色画素の感度レベル値の線形補間により、R成分の低域成分を算出する。
【0052】
変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、H方向における高域成分を、低域成分に加算する。また、変化量Mhと変化量Mvとの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、V方向における高域成分を、低域成分に加算する。
【0053】
ここで、G画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Mh及び変化量Mvの差分が、差分閾値Th1以下である場合、演算手段33は、次に示す式(11)により、B成分の感度レベル値Baを算出する。また、演算手段33は、次に示す式(12)により、R成分の感度レベル値Raを算出する。
Ba=(B2+B5)/2 ・・・(11)
Ra=(R3+R4)/2 ・・・(12)
【0054】
式(11)において、(B2+B5)/2の項は、画像信号の低域成分を抽出したものに相当する。式(12)において、(R3+R4)/2の項は、画像信号の低域成分を抽出したものに相当する。
【0055】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mvが変化量Mhより大きい場合、演算手段33は、次に示す式(13)により、B成分の感度レベル値Bbを算出する。また、演算手段33は、次に示す式(14)により、R成分の感度レベル値Rbを算出する。
Bb=(B2+B5)/2+(2×G7−G6−G8)/2×AA ・・・(13)
Rb=(R3+R4)/2+(2×G7−G6−G8)/2×AA ・・・(14)
【0056】
式(13)における(B2+B5)/2の項、式(14)における(R3+R4)/2の項は、それぞれ式(11)、(12)と同様、画像信号の低域成分を抽出したものに相当する。式(13)及び式(14)において、(2×G7−G6−G8)/2の項は、H方向について画像信号の高域成分を抽出したものに相当する。
【0057】
変化量Mh及び変化量Mvの差分が差分閾値Th1より大きく、かつ変化量Mhが変化量Mvより大きい場合、演算手段33は、次に示す式(15)により、B成分の感度レベル値Bcを算出する。また、演算手段33は、次に示す式(16)により、R成分の感度レベル値Rcを算出する。
Bc=(B2+B5)/2+(2×G7−G2−G12)/2×AA ・・・(15)
Rc=(R3+R4)/2+(2×G7−G2−G12)/2×AA ・・・(16)
【0058】
式(15)における(B2+B5)/2の項、式(16)における(R3+R4)/2の項は、それぞれ式(11)、(12)と同様、画像信号の低域成分を抽出したものに相当する。式(15)及び式(16)における(2×G7−G2−G12)/2の項は、画像信号の高域成分を抽出したものに相当する。
【0059】
なお、不足色成分の感度レベル値を算出する方法は、上記の式(5)から(16)を使用する場合に限られない。演算手段33は、いずれの方法により不足色成分の感度レベル値を算出するものとしても良い。例えば、演算手段33は、低域成分に加算する高域成分への、高域加算係数の乗算を省略しても良い。
【0060】
図6は、画素補間処理部の回路構成の例を示すブロック図である。変化量比較手段32を構成する比較器(COMP)41は、変化量算出手段31で算出されたH方向の変化量MhとV方向の変化量Mvとを比較する。Mh>Mvが成立する場合、COMP41は、例えば「1」を出力する。Mh>Mvが成立しない場合、COMP41は、例えば「0」を出力する。
【0061】
比較器(COMP)43は、変化量Mh及び変化量Mvの差分の絶対値(ABS)と、予め設定される差分閾値Th1とを比較する。ABS>Th1が成立する場合、COMP43は、例えば「1」を出力する。ABS>Th1が成立しない場合、COMP43は、例えば「0」を出力する。
【0062】
COMP43からの入力が「0」である場合、演算手段33は、感度レベル値Ra、Ga、Baを選択し、出力する。COMP43からの入力が「1」、かつCOMP41からの入力が「0」である場合、演算手段33は、感度レベル値Rb、Gb、Bbを選択し、出力する。COMP43からの入力が「1」、かつCOMP41からの入力が「1」である場合、演算手段33は、感度レベル値Rc、Gc、Bcを選択し、出力する。
【0063】
変化量比較手段32を構成する比較器(COMP)42は、変化量算出手段31で算出されたDL方向の変化量MdlとDR方向の変化量Mdrとを比較する。Mdl>Mdrが成立する場合、COMP42は、例えば「1」を出力する。Mdl>Mdrが成立しない場合、COMP42は、例えば「0」を出力する。
【0064】
比較器(COMP)44は、変化量Mdl及び変化量Mdrの差分の絶対値(ABS)と、予め設定される差分閾値Th1とを比較する。ABS>Th1が成立する場合、COMP44は、例えば「1」を出力する。ABS>Th1が成立しない場合、COMP44は、例えば「0」を出力する。
【0065】
COMP44からの入力が「0」である場合、演算手段33は、感度レベル値Ra、Baを選択し、出力する。COMP44からの入力が「1」、かつCOMP43からの入力が「0」である場合、演算手段33は、感度レベル値Rb、Bbを選択し、出力する。COMP44からの入力が「1」、かつCOMP43からの入力が「1」である場合、演算手段33は、感度レベル値Rc、Bcを選択し、出力する。
【0066】
G成分用セレクタ45、R成分用セレクタ46及びB成分用セレクタ47は、V/H同期パルスPv/hから注目画素を識別し、注目画素に応じた感度レベル値を選択する。G成分用セレクタ45は、注目画素がG画素であるときは、注目画素の既得色成分である感度レベル値G0を選択する。G成分用セレクタ45は、注目画素がR画素及びB画素のいずれかであるときは、演算手段33で算出された感度レベル値Ga、Gb、Gcのいずれかを選択する。
【0067】
R成分用セレクタ46は、注目画素がR画素であるときは、注目画素の既得色成分である感度レベル値R0を選択する。R成分用セレクタ46は、注目画素がG画素及びB画素のいずれかであるときは、演算手段33で算出された感度レベル値Ra、Rb、Rcのいずれかを選択する。
【0068】
B成分用セレクタ47は、注目画素がB画素であるときは、注目画素の既得色成分である感度レベル値B0を選択する。B成分用セレクタ47は、注目画素がR画素及びG画素のいずれかであるときは、演算手段33で算出された感度レベル値Ba、Bb、Bcのいずれかを選択する。画素補間処理部13は、各セレクタ45、46、47で選択された各感度レベル値を出力する。
【0069】
本実施形態の画素補間処理部13は、注目画素を中心とする複数の方向のうち感度レベル値の変化量が少ない方向を、RGBの各色成分の相関性の崩れが少ない方向として、高域成分の抽出に使用している。画素補間処理部13は、高域成分の加算により解像度の劣化を抑制させるとともに、感度レベル値の変化量が少ない方向についての高域成分を低域成分との加算に使用することで、相関性の崩れに起因する画質の低下を抑制させることができる。
【0070】
また、画素補間処理部13は、二方向における変化量の差分が小さい場合に、低域成分のみによる画素補間を実施することで、高域成分の加算により生じ得るノイズの影響や補間精度の悪化を抑制させることができる。なお、画素補間処理部13の回路構成は、図6に示すものである場合に限られず、適宜変更しても良い。
【0071】
(第2の実施形態)
図7は、第2の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図である。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。画素補間処理部50は、変化量算出手段31、変化量比較手段32、演算手段51及びコアリング処理手段52を備える。コアリング処理手段52は、変化量算出手段31にて算出された変化量Mh、Mv、Mdl、Mdrについて、コアリング処理を実施する。コアリング処理では、信号の絶対値が閾値よりも低い場合に、閾値以下の信号を抑制することで、ノイズ成分を除去する。
【0072】
コアリング処理手段52は、変化量Mh、Mv、Mdl、Mdrと、予め設定されたコアリング閾値Th2とを比較する。変化量Mh、Mv、Mdl、Mdrがコアリング閾値Th2より小さい場合、コアリング処理手段52は、変化量Mh、Mv、Mdl、Mdrを一律にゼロとする。
【0073】
ここで、R画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。注目画素及び周辺画素は、図4に示すように配列しているものとする。G成分の感度レベル値の算出に際し、コアリング処理後の変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、周辺画素のうち、G成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(5)により、G成分の感度レベル値Gaを算出する。
【0074】
コアリング処理後の変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、H方向及びV方向における高域成分を、低域成分に加算する。
【0075】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(17)により、G成分の感度レベル値Gdを算出する。
Gd=(G4+G6+G7+G9)/4+(4×R5−R2−R4−R6−R8)/4×AA ・・・(17)
【0076】
式(17)において、(G4+G6+G7+G9)/4の項は、H方向及びV方向について画像信号の低域成分を抽出したものに相当する。(4×R5−R2−R4−R6−R8)/4の項は、H方向及びV方向について画像信号の高域成分を抽出したものに相当する。
【0077】
変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0078】
変化量Mvが変化量Mhより大きい場合、演算手段51は、H方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(6)により、G成分の感度レベル値Gbを算出する。
【0079】
変化量Mhが変化量Mvより大きい場合、演算手段51は、V方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(7)により、G成分の感度レベル値Gcを算出する。
【0080】
また、B成分の感度レベル値を算出に際しては、コアリング処理後の変化量Mdl及び変化量Mdrがいずれもゼロである場合、演算手段51は、周辺画素のうち、B成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Mdl及び変化量Mdrがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(8)により、B成分の感度レベル値Baを算出する。
【0081】
コアリング処理後の変化量Mdl及び変化量Mdrの少なくとも一方がゼロではなく、かつ変化量Mdlと変化量Mdrとの差分が差分閾値Th1より小さい場合、演算手段51は、DL方向及びDR方向における高域成分を、低域成分に加算する。
【0082】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(18)により、B成分の感度レベル値Bdを算出する。
Bd=(B1+B2+B3+B4)/4+(4×R5−R1−R3−R7−R9)/4×AA ・・・(18)
【0083】
式(18)において、(B1+B2+B3+B4)/4の項は、DL方向及びDR方向について画像信号の低域成分を抽出したものに相当する。(4×R5−R1−R3−R7−R9)/4の項は、DL方向及びDR方向について画像信号の高域成分を抽出したものに相当する。
【0084】
変化量Mdl及び変化量Mdrの少なくとも一方がゼロではなく、かつ変化量Mdlと変化量Mdrとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0085】
変化量Mdrが変化量Mdlより大きい場合、演算手段51は、DL方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(9)により、B成分の感度レベル値Bbを算出する。
【0086】
変化量Mdlが変化量Mdrより大きい場合、演算手段51は、DR方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(10)により、B成分の感度レベル値Bcを算出する。
【0087】
演算手段51は、B画素を注目画素とする場合も、R画素を注目画素とする場合におけるB成分の感度レベル値の算出と同様にして、R成分の感度レベル値を算出する。
【0088】
次に、G画素を注目画素とする場合について説明する。注目画素及び周辺画素は、図5に示すように配列しているものとする。B成分の感度レベル値、及びR成分の感度レベル値の算出に際し、コアリング処理後の変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、同色画素の感度レベル値の線形補間を、B成分及びR成分のそれぞれについて実施する。
【0089】
具体的には、変化量Mh及び変化量Mvがいずれもゼロである場合、演算手段51は、実施形態1にて示した式(11)により、B成分の感度レベル値Baを算出する。また、演算手段は、実施形態1にて示した式(12)により、R成分の感度レベル値Raを算出する。
【0090】
コアリング処理後の変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、H方向及びV方向における高域成分を、低域成分に加算する。
【0091】
具体的には、変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より小さい場合、演算手段51は、次に示す式(19)により、B成分の感度レベル値Bdを算出する。また、演算手段51は、次に示す式(20)により、R成分の感度レベル値Rdを算出する。
Bd=(B2+B5)/2+(4×G7−G2−G6−G8−G12)/4×AA ・・・(19)
Rd=(R3+R4)/2+(4×G7−G2−G6−G8−G12)/4×AA ・・・(20)
【0092】
式(19)において、(B2+B5)/2の項は、画像信号の低域成分を抽出したものに相当する。式(20)において、(R3+R4)/2の項は、画像信号の低域成分を抽出したものに相当する。式(19)及び式(20)において、(4×G7−G2−G6−G8−G12)/2の項は、H方向及びV方向について画像信号の高域成分を抽出したものに相当する。
【0093】
変化量Mh及び変化量Mvの少なくとも一方がゼロではなく、かつ変化量Mhと変化量Mvとの差分が差分閾値Th1より大きい場合、演算手段51は、変化量比較手段32での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。
【0094】
変化量Mvが変化量Mhより大きい場合、演算手段51は、H方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(13)により、B成分の感度レベル値Bbを算出する。また、演算手段51は、実施形態1にて示した式(14)により、R成分の感度レベル値Rbを算出する。
【0095】
変化量Mhが変化量Mvより大きい場合、演算手段51は、V方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段51は、実施形態1にて示した式(15)により、B成分の感度レベル値Bcを算出する。また、演算手段51は、実施形態1にて示した式(16)により、R成分の感度レベル値Rcを算出する。
【0096】
図8は、画素補間処理部の回路構成の例を示すブロック図である。COMP41は、コアリング処理手段52におけるコアリング処理を経た変化量Mh、Mvを比較する。変化量Mh、Mvがいずれもゼロである場合、AND回路53は、例えば「1」を出力する。変化量Mh、Mvの少なくとも一方がゼロではない場合、AND回路53は、例えば「0」を出力する。
【0097】
COMP42は、コアリング処理手段52におけるコアリング処理を経た変化量Mdl、Mdrを比較する。変化量Mdl、Mdrがいずれもゼロである場合、AND回路54は、例えば「1」を出力する。変化量Mdl、Mdrの少なくとも一方がゼロではない場合、AND回路54は、例えば「0」を出力する。
【0098】
AND回路53からの入力が「1」である場合、演算手段51は、感度レベル値Ra、Ga、Baを選択し、出力する。AND回路53からの入力が「0」、かつCOMP43からの入力が「0」である場合、演算手段51は、感度レベル値Rd、Gd、Bdを選択し、出力する。
【0099】
AND回路53、COMP43、COMP41からの入力がそれぞれ「0」、「1」、「0」である場合、演算手段51は、感度レベル値Rb、Gb、Bbを選択し、出力する。AND回路53、COMP43、COMP41からの入力がそれぞれ「0」、「1」、「1」である場合、演算手段51は、感度レベル値Rc、Gc、Bcを選択し、出力する。
【0100】
AND回路54からの入力が「1」である場合、演算手段51は、感度レベル値Ra、Baを選択し、出力する。AND回路54からの入力が「0」、かつCOMP44からの入力が「0」である場合、演算手段51は、感度レベル値Rd、Bdを選択し、出力する。
【0101】
AND回路54、COMP44、COMP42からの入力がそれぞれ「0」、「1」、「0」である場合、演算手段51は、感度レベル値Rb、Bbを選択し、出力する。AND回路54、COMP44、COMP42からの入力がそれぞれ「0」、「1」、「1」である場合、演算手段51は、感度レベル値Rc、Bcを選択し、出力する。
【0102】
G成分用セレクタ45は、注目画素がR画素及びB画素のいずれかであるときは、演算手段51で算出された感度レベル値Ga、Gb、Gc、Gdのいずれかを選択する。R成分用セレクタ46は、注目画素がG画素及びB画素のいずれかであるときは、演算手段51で算出された感度レベル値Ra、Rb、Rc、Rdのいずれかを選択する。
【0103】
B成分用セレクタ47は、注目画素がR画素及びG画素のいずれかであるときは、演算手段51で算出された感度レベル値Ba、Bb、Bc、Bdのいずれかを選択する。画素補間処理部50は、各セレクタ45、46、47で選択された各感度レベル値を出力する。
【0104】
本実施形態では、第1の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部50は、コアリング処理を適用することで、信号レベルの変動が少ない平坦部の判定の容易化を可能としている。コアリング処理の実施により、ノイズ成分と同様、折り返し歪みの影響を効果的に低減させることができる。特に、メッシュ状の被写体に対して、変化量の差分と差分閾値との比較による判定が有効となる。
【0105】
(第3の実施形態)
図9は、第3の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。第1及び第2の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。カメラモジュール73は、撮像レンズ1、イメージセンサ2、ADC3及び画像処理装置5を備える。画像処理装置5に設けられているAE/AWB演算回路21は、AE調整係数の算出結果が反映された輝度情報61を生成し、画素補間処理部60へ出力する。
【0106】
図10は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部60は、変化量算出手段31、変化量比較手段32、演算手段51、コアリング処理手段52及びパラメータ調整手段62を有する。パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2の各パラメータを調整する。
【0107】
図11は、パラメータ調整手段におけるパラメータの調整について説明する図である。パラメータ調整手段62は、AE/AWB演算回路21から入力される撮像時の輝度情報61に応じて、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2をそれぞれ変換する。
【0108】
図12は、パラメータ調整手段における高域加算係数の変換について説明する図である。パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、高域加算係数AAが小さい値となるように、高域加算係数AAを変換する。パラメータ調整手段62は、高域加算係数AAと輝度とが例えば線形関数の関係にあるものとして、高域加算係数AAを変換する。
【0109】
パラメータ調整手段62は、変換により得た高域加算係数AAを演算手段51へ出力する。パラメータ調整手段62は、輝度情報61に応じて高域加算係数AAを調整することで、撮像時の環境が低照度であって画像信号にノイズ成分が生じ易い場合に、高域成分に起因するSN比の悪化を抑制させる。
【0110】
パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、差分閾値Th1が大きい値となるように、差分閾値Th1を変換する。また、パラメータ調整手段62は、輝度情報61から得られる輝度が低いほど、コアリング閾値Th2が大きい値となるように、コアリング閾値Th2を変換する。パラメータ調整手段62は、高域加算係数AAと同様、差分閾値Th1及びコアリング閾値Th2についても、輝度に対して例えば線形関数の関係にあるものと変換する。
【0111】
パラメータ調整手段62は、変換により得た差分閾値Th1を、変化量比較手段32へ出力する。パラメータ調整手段62は、変換により得たコアリング閾値Th2を、コアリング処理手段52へ出力する。パラメータ調整手段62は、輝度情報61に応じて差分閾値Th1及びコアリング閾値Th2を調整することで、撮像時の環境が低照度である場合に、高域成分に起因するSN比の悪化を抑制させる。
【0112】
本実施形態では、第1の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部60は、輝度情報61に応じたパラメータ調整の適用により、高域成分に起因するSN比の悪化をさらに抑制させることができる。
【0113】
なお、パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2の全てを調整する場合に限られない。パラメータ調整手段62は、高域加算係数AA、差分閾値Th1、及びコアリング閾値Th2のうちの少なくとも一つを調整するものであれば良い。
【0114】
第1、第2及び第3の実施形態にかかる画像処理装置は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【0115】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0116】
4、5 画像処理装置、13、50、60 画素補間処理部、31 変化量算出手段、32 変化量比較手段、33、51 演算手段、52 コアリング処理手段、61 輝度情報、62 パラメータ調整手段、70、73 カメラモジュール。
【特許請求の範囲】
【請求項1】
撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、前記画素ごとの不足色成分の感度レベル値を生成する画素補間処理部を有し、
前記画素補間処理部は、
不足色成分の感度レベル値を生成する対象とする注目画素と、前記注目画素の周辺に位置する周辺画素とにおける既得色成分の感度レベル値の変化量を、前記注目画素を中心とする方向ごとについて算出する変化量算出手段と、
前記注目画素の不足色成分に応じて予め設定された二方向について、前記変化量算出手段で算出された前記変化量を比較する変化量比較手段と、
前記画像信号の第1の周波域成分と、前記第1の周波域成分より高い周波数帯域の第2の周波域成分との加算を経て、前記注目画素の不足色成分の感度レベル値を生成する演算手段と、を有し、
前記演算手段は、前記二方向のうち、前記変化量比較手段での比較により前記変化量が少ないと判断された方向における前記第2の周波域成分を、前記第1の周波域成分に加算することを特徴とする画像処理装置。
【請求項2】
前記二方向についての前記変化量の差分が、予め設定された差分閾値より小さい場合、前記演算手段は、前記周辺画素のうち前記注目画素の不足色成分と同じ色成分を既得色成分とする同色画素の感度レベル値の線形補間を実施することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記演算手段は、前記周辺画素のうち前記注目画素の不足色成分と同じ色成分を既得色成分とする同色画素の感度レベル値の線形補間により、前記第1の周波域成分を算出することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記画素補間処理部は、前記変化量算出手段にて算出された前記変化量について、コアリング処理を実施するコアリング処理手段をさらに有し、
前記変化量比較手段は、前記コアリング処理手段における前記コアリング処理を経た前記変化量を比較することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
【請求項5】
前記演算手段は、前記第1の周波域成分に対する前記第2の周波域成分の重み付けを調整するための高域加算係数を、前記第2の周波域成分に乗算し、
前記画素補間処理部は、撮像時の輝度情報に応じて前記高域加算係数を調整するパラメータ調整手段をさらに有することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
【請求項1】
撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、前記画素ごとの不足色成分の感度レベル値を生成する画素補間処理部を有し、
前記画素補間処理部は、
不足色成分の感度レベル値を生成する対象とする注目画素と、前記注目画素の周辺に位置する周辺画素とにおける既得色成分の感度レベル値の変化量を、前記注目画素を中心とする方向ごとについて算出する変化量算出手段と、
前記注目画素の不足色成分に応じて予め設定された二方向について、前記変化量算出手段で算出された前記変化量を比較する変化量比較手段と、
前記画像信号の第1の周波域成分と、前記第1の周波域成分より高い周波数帯域の第2の周波域成分との加算を経て、前記注目画素の不足色成分の感度レベル値を生成する演算手段と、を有し、
前記演算手段は、前記二方向のうち、前記変化量比較手段での比較により前記変化量が少ないと判断された方向における前記第2の周波域成分を、前記第1の周波域成分に加算することを特徴とする画像処理装置。
【請求項2】
前記二方向についての前記変化量の差分が、予め設定された差分閾値より小さい場合、前記演算手段は、前記周辺画素のうち前記注目画素の不足色成分と同じ色成分を既得色成分とする同色画素の感度レベル値の線形補間を実施することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記演算手段は、前記周辺画素のうち前記注目画素の不足色成分と同じ色成分を既得色成分とする同色画素の感度レベル値の線形補間により、前記第1の周波域成分を算出することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記画素補間処理部は、前記変化量算出手段にて算出された前記変化量について、コアリング処理を実施するコアリング処理手段をさらに有し、
前記変化量比較手段は、前記コアリング処理手段における前記コアリング処理を経た前記変化量を比較することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
【請求項5】
前記演算手段は、前記第1の周波域成分に対する前記第2の周波域成分の重み付けを調整するための高域加算係数を、前記第2の周波域成分に乗算し、
前記画素補間処理部は、撮像時の輝度情報に応じて前記高域加算係数を調整するパラメータ調整手段をさらに有することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−175169(P2012−175169A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−32286(P2011−32286)
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]