説明

画像処理装置及びその制御方法

【課題】 倍率色収差の補正量を画像から取得する際に、倍率色収差の補正量を画像から取得する際に、補正前後でエッジ部分の色の変化を抑制しながら色ズレを適正に補正できる補正量を取得可能とする。
【解決手段】 ある色プレーンと他の色プレーンとの色ズレ量を取得する際に、色差取得領域内に含まれる画素の各々について、色ズレの補正前の色差と補正後の色差を求める(S202,S204)。そして、補正前後の色差の変化量が予め定めた範囲内であるか判定する(S205)。補正前後の色差の変化量が予め定めた範囲内であるとの判定がなされる範囲内で、色ズレ量を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びその制御方法に関し、特には色収差補正を行う画像処理装置及びその制御方法に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置が様々な用途に使用されている。しかし、被写体像を結像するために用いられる撮像レンズが有する様々な収差は、被写体像の画質を低下させる要因となる。例えば倍率色収差は結像した被写体像に色ズレを発生させる要因となる。
【0003】
撮像装置に用いられる撮像素子の画素数は年々増加しており、単位画素サイズが縮小傾向にあるため、従来では殆ど問題とならなかった程度の倍率色収差でも画質を低下させる主要因となってきている。
【0004】
このような色ズレを画像処理により補正する技術として、補正すべき色ズレ量(すなわち補正量)を、補正対象の画像から取得する技術が提案されている。画像から色ズレ量を取得する技術として、画像のエッジ部分における各色成分間の相関を利用した方法がある。
【0005】
例えば、特許文献1には、エッジに対応する各色成分の画素の距離の差分の合計が最小となる位置を探すことで色ズレ量を取得する方法が提案されている。また、特許文献2には、RAWデータからエッジを検出し、エッジ部分の2種類の色成分の配列の誤差が最小となる変位幅を色ずれ幅として求める方法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2000-299874号公報
【特許文献2】特開2006-020275号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1,2に記載されるような、各色成分の相関を利用した色ズレ量取得方法では、図1(a)に示すような、にじみの発生しているエッジでは正しい色ズレ量を取得できない場合がある。その結果、エッジ部分の色相が補正前後で大きく変わってしまい、補正による効果が十分に得られない問題がある。
【0008】
例えば、図1(a)に示すように、G(緑)成分とR(赤)成分に色ズレは無く、G成分(又はR成分)とB(青)成分に色ズレがあるとする。この場合、図1(a)の斜線部に相当する部分は黄色である。この色ズレを、特許文献1、2に記載されるような方法で取得した色ズレ量によって補正すると、補正後の画素値は例えば図1(b)のようになり、斜線部に相当する部分は、過補正により青くなる。図1に示すエッジ部分は、補正前が黄色く、補正後は青くなるため、補正前後で比較すると観察者に大きな違和感を与えてしまう。これは、B成分を、G成分(又はR成分)との配列の誤差が最小となるように補正した結果、過補正された部分が生じたことによる。補正後のエッジ部分の色相を調整することでこの違和感を減少させる方法もあるが、本来の被写体の色調が変わってしまう可能性がある。
【0009】
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、倍率色収差の補正量を画像から取得する際に、補正前後でエッジ部分の色の変化を抑制しながら色ズレを適正に補正できる補正量を取得可能な画像処理装置及びその制御方法を提供する。
【課題を解決するための手段】
【0010】
上述の目的は、複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置であって、撮像画像に含まれる画像のエッジ部分を検出するエッジ検出手段と、検出されたエッジ部分における色ズレ量を、複数の色プレーンの1つに対する他のプレーンの各々のズレの量として取得する取得手段と、撮像画像の中心からの距離が異なる複数のエッジ部分について取得された複数の色ズレの量から、撮像画像の中心からの距離に応じた補正量を表す補正データを、他のプレーンの各々に対して作成する補正データ作成手段と、撮像画像の他のプレーンの画素値を、補正データを用いて補正する補正手段とを有し、取得手段が、検出されたエッジ部分のうち、色ズレの量を検出する注目エッジ部分を含んだ注目領域内に設定した色差取得領域に含まれる画素毎の色差を、複数の色プレーンの1つと他のプレーンの1つとの間で、他のプレーンの1つを色ズレの検出方向に順次移動させながら求める色差演算手段を有し、色差演算手段が他のプレーンの1つを移動しない状態で求めた色差と、他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内で、注目領域に含まれる画素の色差の差分絶対値和が最も小さくなる他のプレーンの1つの移動量を、複数の色プレーンの1つに対する他のプレーンの1つのズレの量として取得することを特徴とする画像処理装置によって達成される。
【発明の効果】
【0011】
このような構成により、本発明によれば、倍率色収差の補正量を画像から取得する際に、補正前後でエッジ部分の色の変化を抑制しながら色ズレを適正に補正できる補正量を取得可能となる。
【図面の簡単な説明】
【0012】
【図1】エッジ部分の色ズレを説明する図。
【図2】本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能ブロック図。
【図3】本発明の実施形態に係る撮像装置の色ズレ補正処理を示すフローチャート。
【図4】(a)は像高毎に分割した領域の例を示す図、(b)は補正データの例を示す図。
【図5】図3のS102における色ズレ量取得処理の詳細を説明するフローチャート。
【図6】本発明の実施形態における注目エッジ、注目領域、注目ラインの例を示す図
【図7】図5のS205及びS211における色差判定処理の詳細の一例と別の例を説明するフローチャート。
【図8】補正時の色差の例を示す図。
【図9】補正時の色ズレの例を示す図。
【図10】図5のS205及びS211における色差判定処理の詳細のさらに別の例を説明するフローチャート。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の好適かつ例示的な実施形態について説明する。なお、以下に説明する実施形態は、本発明の説明及び理解を容易にするため、ある特定の構成に基づいているが、本発明はそのような特定の構成に限定されない。
【0014】
また、以下の実施形態では、ある2つの色成分(色プレーン)、例えばGプレーンとRプレーンの色ズレ量取得方法について説明するが、他の色プレーン間、すなわちGプレーンとBプレーンの色ズレ量についても同様に取得可能である。
【0015】
<第1の実施形態>
図2は、本実施形態にかかる撮像装置100の機能ブロック図である。
撮像装置100は、結像光学系10、撮像素子20、A/D変換部30、色分離部40、エッジ抽出部50、色差演算部61を含む補正データ作成部60、補正部70を有する。
【0016】
結像光学系10は、被写体像を撮像素子20上に結像する。本実施形態において、撮像素子20は、光電変換素子が2次元配列され、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、650nm、550nm、450nm近傍に透過主波長帯を持つ3種類の単位フィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が、光電変換素子の1つに1種類が対応するように2次元配列された構成を有する。これにより、光電変換素子の各々は、単位フィルタのいずれか1種類を透過した光を受光し、その強度を表す電気信号を出力する。従って、単板カラー撮像素子の光電変換素子の各々は、R,G,Bプレーンのうち1つの強度を出力することしかできない。このため撮像素子20が出力する撮像画像は色モザイク画像である。
【0017】
A/D変換部30では、撮像素子20からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。
色分離部40では色モザイク画像を補間することによって、全ての画素においてR、G、Bの色情報が揃ったカラー画像を生成する。
【0018】
なお、この補間手法には、周辺の同じ色プレーンの画素の値に基づく補間や、隣接する異なる色プレーンの画素の値に基づく補間など、多くの方式が提案されているが、本実施形態においてはどのような補間手法を用いてもよい。
【0019】
エッジ抽出部50では生成されたカラー画像に対し、エッジの検出を行う。補正データ作成部60はエッジ抽出部50が検出したエッジの情報を元に、カラー画像から倍率色収差補正量を取得し、倍率色収差補正データを作成する。補正部70では、補正データ作成部60が作成した補正データを用い、カラー画像の倍率色収差を補正する。
【0020】
(倍率色収差の補正処理−全体の手順)
図3は、倍率色収差の補正に係る、エッジ抽出部50、補正データ作成部60、補正部70による処理の流れを示すフローチャートである。
まず、S101でエッジ抽出部50が、色分離部40が生成したカラー画像から、エッジを検出する。これは、結像光学系10の倍率色収差による色ズレは、画像のエッジ部分に顕著に現れるためである。画像のエッジ検出には、Y(輝度)プレーンを使用する。Yプレーンは、RGBプレーンから公知の式を用いて算出できる。あるいは、Gプレーンの値をYプレーンとして用いてもよい。
【0021】
なお、S101で検出するエッジは、光学中心からの動径方向で大きく画素値が変化するエッジに限定することで、精度の高い色ズレ量の取得が可能になる。また、Yプレーンにおいて、倍率色収差による色ズレは、にじみとなって現れるので、例えば、画素値の単調増加もしくは単調減少が所定数連続するような、ある程度幅のあるエッジを検出する。
【0022】
S102で補正データ作成部60は、S101で検出された各エッジに対し、色ズレ量を取得する。色ズレ量の取得動作の詳細は後述する。なお、S102において取得する色ズレの方向は、光学中心と各エッジの位置関係により、上/下方向、左/右方向、右斜め上/左斜め下方向、左斜め上/右斜め下方向の何れかとすることで処理を簡略化することができる。
【0023】
S102で取得した色ズレ量は、Gプレーンに対しRプレーン(もしくはBプレーン)が光学中心方向へずれている場合に負の値とし、Gプレーンに対しRプレーン(もしくはBプレーン)が光学中心とは逆方向へずれている場合に正の値とする。
【0024】
S103で補正データ作成部60は、S101で検出された各エッジの像高と、S102で取得した各エッジの色ズレ量から、像高と色ズレの関係を求めることで補正データを作成する。ここで、像高とは、光学中心に相当する画素(以降、画像中心または光学中心という)からの距離である。
【0025】
補正データ作成部60がS103で行う補正データの作成手順について具体的に説明する。
(1)S101で検出されたエッジの像高をL、S102で取得された色ズレ量をDとした場合、像高に対する色ズレ率Mを、M=L/Dとして求める。
(2)図4(a)に示すように画像を像高毎に8つの領域(h1〜h8)に分割し、個々のエッジが属する領域を選別する。
(3)画像内で検出された個々のエッジに対して(1)、(2)の処理を行い、領域毎に色ズレ率Mの平均値を求め、領域毎の色ズレ率とする。
(4)図4(b)に示したように、像高と、領域毎の色ズレ率とから、像高と色ズレ率の関係を表す高次の多項近似式F(l)を算出し、これを補正データとする。図4(b)は三次の多項式により補正データを算出した例である。
【0026】
なお、エッジ検出と色ズレ量取得は、カラー画像に含まれる全エッジに対して行っても良い。しかし、像高毎に分割した8つの領域の各々で、ある閾値以上の数の色ズレ率が集計された段階で、その領域に属するエッジの検出と色ズレ量取得を終了することにより、色ズレ率の信頼度を保ちながら処理の効率化を図ることが可能である。
【0027】
また、像高毎に分割した8つの領域のうち、検出すべきエッジが見つかった領域のみを高次の多項近似式算出に使用することで、検出すべきエッジが見つからない領域があった場合でも、その領域に対する補正データの作成が可能となる。
【0028】
S104で補正部70は、S103で作成された補正データを使用して、カラー画像に対して色ズレの補正を適用する。
まず、補正部70は、補正したいプレーン(Rプレーン、Bプレーン)の画素(X,Y)において、画素(X,Y)の像高Lから、補正データを用いて、色ズレ率Mを多項近似式F(l)を用いて求める。なお、画素の座標は、光学中心を原点(0,0)とする座標系で表すものとする。
【0029】
次に、補正部70は、色ズレ補正により生成する画素の座標(X1,Y1)を以下のように求める。
X1=M×X
Y1=M×Y
そして、補正部70は、補正したいプレーンにおいて座標(X1,Y1)に相当する画素値を、一般的な補間処理により生成し、画素(X,Y)の画素値とする。これらを、全画素について行うことで、色ズレ補正を行う。
【0030】
(色ズレ量取得処理)
次に、S102における色ズレ量取得処理の詳細について、図5に示すフローチャートを用いて説明する。
なお、図5は、GプレーンとBプレーンとの色ズレ量を取得する処理について示しているが、GプレーンとRプレーンとの色ズレ量も同様にして取得することができる。従って、GプレーンとRプレーンとの色ズレ量の取得を行う場合、以下の説明における「Bプレーン」を「Rプレーン」と読み替えればよい。
【0031】
まず、S201における、補正前の差分絶対値和の取得について説明する。
差分絶対値和を取得する領域(以下、注目領域と呼ぶ)は、図6に示すように、色ズレ量を取得する注目エッジ部分を含んだ矩形領域とし、注目領域のサイズは注目エッジの幅と輝度変化量により設定することが好ましい。エッジの幅とは、エッジ検出を行うYプレーンにおいて、その値が単調増加もしくは単調減少する連続した画素の数とする。例えば、注目領域を、エッジの幅の3倍〜5倍程度を1辺の長さとした正方形領域とすることで十分な効果が得られる。
【0032】
補正データ作成部60は、GプレーンとBプレーンにおいて、それぞれの注目領域内の各画素Gi,Bi(i=1〜n)に対し次式にて差分絶対値和S0を取得する。
S0=|G1−B1|+|G2−B2|+…+|Gn−Bn|
【0033】
次に、S202における、補正前の色差取得について説明する。
色差を取得する領域(色差取得領域)は、図6に示すように、注目領域の中心を通る色ズレ量取得方向の1ライン(m画素)とする(以下、注目ラインと呼ぶ)。この例では、注目領域が画像右上に位置しているので、色ズレ量を、右斜め上/左斜め下方向で取得する。
【0034】
色差演算部61は、GプレーンとBプレーンにおいてそれぞれの注目ライン内の各画素Gj,Bj(j=0〜m−1)に対し、以下の式によって色差を求め、画素毎の色差からなる色差配列C0[m]を取得する。
C0[j]=Bj−Gj
【0035】
なお、色差取得の際に、各注目ライン内の画素値を補正することでより精度の高い色差判定が可能となる。例えば、Gプレーンの注目ライン上の最大画素値と、Bプレーンの注目ライン上の最大画素値が一致するようにBプレーンの注目ライン上の画素値を補正すればよい。この場合、色差演算部61は、以下のように色差配列C0[m]を取得することができる。
Gmax:Gプレーンの注目ライン上の最大画素値
Bmax:Bプレーンの注目ライン上の最大画素値
Gj’=Gmax/Bmax×Gj
C0[j]=Bj−Gj’
【0036】
S203で補正データ作成部60は、Bプレーンの注目領域を、色ズレ量検出方向の光学中心側へ1画素移動する。図6の例で、Bプレーンの注目領域の左上角の画素の座標を(x,y)とすると、移動後の注目領域の左上角の画素の座標は(x−1,y−1)となる。
【0037】
S204で色差演算部61は、Bプレーンの移動後の注目領域内の注目ラインと、Gプレーンの注目ラインにおいて、S202と同様に画素毎に色差C[j]を取得する。
S205で、補正データ作成部60は、取得した色差を判定する。
【0038】
図7(a)は、S205における色差判定処理の詳細を示すフローチャートである。
補正データ作成部60は、S202で取得された、補正前の色差配列C0[m]の中から最大値、最小値を取得する(S301)。次に補正データ作成部60は、定数Kを用意し、閾値Tmax、Tminを次式にて定義する(S302)。
C0max:S202で取得した補正前の色差配列C0[m]の中の最大値
C0min:S202で取得した補正前の色差配列C0[m]の中の最小値
Tmax=C0max+K
Tmin=C0min−K
定数Kは、画像データがRAWデータであるか、JPEGデータであるかなどによって大きく異なるが、何れも画素の階調数により決定することが望ましい。例えば、16383階調のRAWデータの場合、定数Kは100〜150程度で良い。また、255階調のJPEG画像の場合、定数Kは15〜20程度で良い。
【0039】
次に補正データ作成部60は、S204で取得された色差配列C[m]の中から最大値、最小値を取得し(S303)、S302で定義したTmax、Tminを用いて、以下の処理により色差がOKであるかNGであるかの判定を行う(S304)。
Cmax:S204で取得した色差配列C[m]の中の最大値
Cmin:S204で取得した色差配列C[m]の中の最小値
−−(S304:CmaxがTmax以下、かつ、CminがTmin以上であればOK、それ以外はNGと判定)−−
IF( (Tmax ≧ Cmax) AND (Cmin ≧ Tmin)){
RETURN OK;
}
ELSE{
RETURN NG;
}
−−−−−−−−
【0040】
Tmax、Tmin、C0[m]、C[m]の関係を図8に示す。図8(a)は補正前の色差配列C0[m]と、設定されたTmax、Tminの関係を、図8(b)はBプレーンの注目領域を1〜3画素移動した場合の色差配列C[m]とTmax、Tminの関係をそれぞれ示す。この例では、1画素移動時と2画素移動時はOKと判定されるが、3画素移動した場合はNGと判定される。
【0041】
図8に対応させ、補正前と1〜3画素移動させた場合のエッジの色ズレ状態を図9(a)〜(d)に示す。NGと判定される3画素移動時には、Bプレーンの過補正が生じ、エッジの色が補正前の黄色から補正後には青に変わることがわかる。
【0042】
図5に戻り、S206は、色差判定S205でOKと判定された場合のみ実行されるステップである。補正データ作成部60は、Bプレーンの移動後の注目領域と、Gプレーンの注目領域において、S201と同様に差分絶対値和S[j]を取得する。
【0043】
S207で補正データ作成部60は、予め設定した最大移動量まで注目領域を移動したかどうかを判定し、未だ最大移動量まで移動していない場合は、処理をS203に戻す。注目領域の最大移動量は、色ズレ量よりも大きな値にする必要があるが、過剰に大きな値とすると処理効率の低下を招く。経験的に、注目領域の一辺の長さ分(すなわち、エッジの幅の3〜5倍程度)を最大移動量とすれば十分である。
【0044】
S205により色差がNGと判定された場合、もしくは、S207で注目領域を最大移動量まで移動させたと判定された場合は、補正データ作成部60は、S208で注目領域をリセットする。これは、S203からS207において、Bプレーンの注目領域を光学中心方向へ順次移動させながら、色差の判定と差分絶対値和の取得を行った後、Bプレーンの注目領域を補正前の位置に戻す処理である。
【0045】
S209からS213の処理は、Bプレーンの注目領域を、補正前の位置から光学中心とは逆方向へ順次移動させながら色差の判定と差分絶対値和の取得を行う処理である。それぞれのステップで行う処理は、注目領域の移動方向以外はS203からS207と同等であるため、説明を割愛する。
【0046】
S214で補正データ作成部60は、これまでに取得した差分絶対値和の中から最小となる値を探し、その時の注目領域の移動量を色ズレ量と決定する。この時、Gプレーンに対し、Rプレーン(もしくはBプレーン)が光学中心方向へずれている場合は負の色ズレ量とし、Gプレーンに対し、Rプレーン(もしくはBプレーン)が光学中心とは逆方向へずれている場合は正の色ズレ量とする。
【0047】
このように、本実施形態では、差分絶対値和による画素値の類似度の判定だけで色ズレ量を決定するのではなく、過補正によるエッジ部分の色変化が生じるかどうかを色差の変化量から判定し、過補正とならない範囲内で色ズレ量を決定する。そのため、補正前後で違和感が無い適切な色ズレ量を取得することができる。
【0048】
なお、本実施形態では、色ズレ量の取得精度を1画素としたが、S214において、最小の差分絶対値和を判定する際に、取得した差分絶対値和を補間することで、1画素未満の精度で色ズレ量を取得してもよい。あるいは、S203とS209において、注目領域内の画素間を補間することで1画素未満の単位で注目領域をずらすことで、1画素未満の精度で色ズレ量を取得してもよい。
【0049】
さらに、本実施形態では、S202とS210における色差取得及び、S205とS211における色差判定を、一次元の注目ラインに対して行ったが、差分絶対値和の取得と同様の二次元の注目領域に対して行ってもよい。この場合も、S205とS211における色差の判定は、最小値や最大値の検出範囲が二次元になる以外、変更する必要なく実施できる。
【0050】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本実施形態は、S205及びS111で実施する色差判定の方法以外第1の実施形態と同様であるため、色差判定の方法についてのみ説明する。
【0051】
図7(b)は、第2の実施形態においてS205及びS211で実施する色差判定の詳細を説明するフローチャートである。
第2の実施形態における色差判定で、補正データ作成部60は、
下記判定(S401,S402,S403)を、C0[j]、C[j]における全てのj(0〜m−1)に対して行い(S404,S405)、NGと判定される画素が存在するかを判定する。そして、補正データ作成部60は、NGと判定されるjが無い場合は、色差がOKと判定する(S404,S405)。
【0052】
Ta :色差判定閾値1
Tb :色差判定閾値2
−−−(S401:補正前後で色差の符号の反転がないか?)−−−
IF((C0[j] ≧ 0 AND C[j] ≧ 0) OR (C0[j] < 0 AND C[j] < 0)){
−−−(S402:補正前後で色差の符号の反転がない場合、色差変化量が色差判定閾値1(Ta)を超えればNG判定)−−−
IF(|C[j]| - |C0[j]| > Ta){
RETURN NG;
}
}
−−−(S403:補正前後で色差の符号の反転がある場合、補正後の色差絶対値が色差判定閾値2(Tb)を超えればNG判定)−−−−
ELSE{
IF(|C[j]| > Tb){
RETURN NG;
}
}
−−−−−−−−−−−−
【0053】
色差判定閾値Ta、Tbは、画像データがRAWデータであるか、JPEGデータであるかなどによって大きく異なるが、何れも画素の階調数により決定することが望ましい。例えば、16383階調のRAWデータの場合、色差判定閾値Ta,Tbはいずれも100〜150程度で良い。また、255階調のJPEG画像の場合、色差判定閾値Ta,Tbはいずれも15〜20程度で良い。
【0054】
本実施形態によれば、画素単位で色差の判定を行う。そのため、第1の実施形態の効果に加え、注目ライン上での色差の最大値もしくは最小値があまり変化しない場合でも、色差が大きく変わる画素が生じる補正を抑制することが可能になる。
【0055】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。本実施形態は、S205及びS111で実施する色差判定の方法以外第1及び第2の実施形態と同様であるため、色差判定の方法についてのみ説明する。
【0056】
図10は、第3の実施形態においてS205及びS211で実施する色差判定の詳細を説明するフローチャートである。
まず、補正データ作成部60は、色差演算部61により、補正前の色差C0[m]の正の総和と負の絶対値総和を求め(S501)、次に補正後の色差C[m]の正の総和と、負の絶対値総和を求める(S502)。
【0057】
そして、補正データ作成部60は、下記判定(S503,S504,S505,S506,S507)により色差がOKかNGかを判定する。
C0p :補正前の色差C0[m]の正の総和
C0m :補正前の色差C0[m]の負の絶対値総和
C1p :補正後の色差C[m]の正の総和
C1m :補正後の色差C[m]の負の絶対値総和
T :色差判定閾値
【0058】
−−(S503:正の総和、負の絶対値総和とも、補正後が補正前より減少していればOKと判定)−−−
IF((C0p ≧ C1p) AND (C0m ≧ C1m)){
RETURN OK;
}
−−(S504:正の総和、負の絶対値総和とも、補正後が補正前より増加していればNGと判定)−−−
ELSE IF((C0p < C1p) AND (C0m < C1m)){
RETURN NG;
}
−−(S505,S507:補正後、正の総和は増加し、負の絶対値総和が減少している場合、正の総和の増加量が閾値以下ならOK、閾値を超えればNGと判定)−−−
ELSE IF((C0p < C1p) AND (C0m ≧ C1m)){
IF(C1p - C0p > T){
RETURN NG;
}
ELSE{
RETURN OK;
}
}
−−(S505,S506:補正後、正の総和は増加せず、負の絶対値総和が増加している場合、負の絶対値総和の増加量が閾値以下ならOK、閾値を超えればNGと判定)−−−
ELSE IF((C0p ≧ C1p) AND (C0m < C1m)){
IF(C1m - C0m > T){
RETURN NG;
}
ELSE{
RETURN OK;
}
}
【0059】
色差判定閾値Tは、画像データがRAWデータであるか、JPEGデータであるかなどによって大きく異なるが、何れも画素の階調数及び注目領域の大きさにより決定することが望ましい。
【0060】
本実施形態によれば、補正前後の色差の正の総和と負の絶対値の総和の増減に基づいて色差の判定を行う。そのため、注目領域全体の色差の傾向が補正前後でどのように変化するかという総合的な色差の変化に基づく判定がなされる。本実施形態においても、補正前後の色差の変化が大きくなる補正を抑制できるため、過補正を抑制することができる。
【0061】
(その他の実施形態)
第1〜第3の実施形態で説明した色差の判定方法は、排他的なものではなく、それらを組み合わせて用いても良い。いずれかの判定方法を例えば画像の特徴などに応じて動的に選択する構成としてもよい。
【0062】
さらに、上述の実施形態は、画像処理装置の一例としての、光学系や撮像素子を含む撮像装置に本発明を適用した構成について説明した。しかし、本発明において光学系や撮像素子は必須でない。撮像レンズを用いて撮像された、複数の色プレーンを有する任意の画像データから色ズレ量を取得可能であり、画像データの形式やデータの取得方法に制限はない。また、図2におけるA/D変換部30、色分離部40、エッジ抽出部50、補正データ作成部60及び補正部70の少なくとも一部は、撮像装置100の図示しない制御部を構成するコンピュータがソフトウェア的に実現してもよい。
【0063】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置であって、
前記撮像画像に含まれる画像のエッジ部分を検出するエッジ検出手段と、
前記検出されたエッジ部分における色ズレ量を、前記複数の色プレーンの1つに対する他のプレーンの各々のズレの量として取得する取得手段と、
前記撮像画像の中心からの距離が異なる複数のエッジ部分について取得された複数の色ズレの量から、前記撮像画像の中心からの距離に応じた補正量を表す補正データを、前記他のプレーンの各々に対して作成する補正データ作成手段と、
前記撮像画像の前記他のプレーンの画素値を、前記補正データを用いて補正する補正手段とを有し、
前記取得手段が、
前記検出されたエッジ部分のうち、色ズレの量を検出する注目エッジ部分を含んだ注目領域内に設定した色差取得領域に含まれる画素毎の色差を、前記複数の色プレーンの1つと前記他のプレーンの1つとの間で、前記他のプレーンの1つを前記色ズレの検出方向に順次移動させながら求める色差演算手段を有し、
前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた色差と、前記他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内で、前記注目領域に含まれる画素の色差の差分絶対値和が最も小さくなる前記他のプレーンの1つの移動量を、前記複数の色プレーンの1つに対する前記他のプレーンの1つのズレの量として取得することを特徴とする画像処理装置。
【請求項2】
前記取得手段が、
前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の最大値に対する、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の最大値の増加が予め定めた閾値以下であり、前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の最小値に対する、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の最小値の減少が前記閾値以下であれば、前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた色差と、前記他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内であると判定することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記取得手段が、
前記色差取得領域で求められた画素毎の色差の各々が、
(1)前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差と、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差とで符号が反転しておらず、かつ色差の変化量が予め定めた閾値以下である、
(2)前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差と、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差とで符号が反転しており、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の絶対値が予め定めた閾値以下である、
のいずれかを満たす場合、
前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた色差と、前記他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内であると判定することを特徴とする請求項1記載の画像処理装置。
【請求項4】
前記色差演算手段が、
前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の正の色差の総和と、負の色差の絶対値の総和と、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の正の色差の総和と、負の色差の絶対値の総和とを求め、
前記取得手段が、
(1)前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の正の色差の総和と、負の色差の絶対値の総和のいずれもが、前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の正の色差の総和と、負の色差の絶対値の総和に対して減少している、
(2)前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の正の色差の総和が前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の正の色差の総和に対して増加し、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の負の色差の絶対値の総和が前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の負の色差の絶対値の総和に対して減少しており、かつ、前記正の色差の増加量が予め定めた閾値以下である、
(3)前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の正の色差の総和が前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の正の色差の総和に対して減少し、前記他のプレーンの1つを移動した状態で求めた前記色差取得領域の色差の負の色差の絶対値の総和が前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた前記色差取得領域の色差の負の色差の絶対値の総和に対して増加しており、かつ、前記負の色差の絶対値の総和の増加量が予め定めた閾値以下である、
のいずれかを満たす場合、
前記色差演算手段が前記他のプレーンの1つを移動しない状態で求めた色差と、前記他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内であると判定することを特徴とする請求項1記載の画像処理装置。
【請求項5】
複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置の制御方法であって、
検出手段が、前記撮像画像に含まれる画像のエッジ部分を検出するエッジ検出工程と、
取得手段が、前記エッジ検出工程で検出されたエッジ部分における色ズレ量を、前記複数の色プレーンの1つに対する他のプレーンの各々のズレの量として取得する取得工程と、
作成手段が、前記撮像画像の中心からの距離が異なる複数のエッジ部分について前記取得工程で取得された複数の色ズレの量から、前記撮像画像の中心からの距離に応じた補正量を表す補正データを、前記他のプレーンの各々に対して作成する補正データ作成工程と、
補正手段が、前記撮像画像の前記他のプレーンの画素値を、前記補正データを用いて補正する補正工程とを有し、
前記取得工程は、
前記取得手段が、前記検出工程で検出されたエッジ部分のうち、色ズレの量を検出する注目エッジ部分を含んだ注目領域内に設定した色差取得領域に含まれる画素毎の色差を、前記複数の色プレーンの1つと前記他のプレーンの1つとの間で、前記他のプレーンの1つを前記色ズレの検出方向に順次移動させながら求める色差演算工程を有し、
前記取得工程において、前記取得手段は、前記色差演算工程が前記他のプレーンの1つを移動しない状態で求めた色差と、前記他のプレーンの1つを移動させて求めた色差との変化の大きさが予め定められた範囲内で、前記注目領域に含まれる画素の色差の差分絶対値和が最も小さくなる前記他のプレーンの1つの移動量を、前記複数の色プレーンの1つに対する前記他のプレーンの1つのズレの量として取得することを特徴とする画像処理装置の制御方法。
【請求項6】
コンピュータを、請求項1乃至請求項4のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−101129(P2011−101129A)
【公開日】平成23年5月19日(2011.5.19)
【国際特許分類】
【出願番号】特願2009−253523(P2009−253523)
【出願日】平成21年11月4日(2009.11.4)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】