画像処理装置、撮像装置および画像処理プログラム
【課題】撮影画像中のデフォーカスによる色にじみを良好に補正する。
【解決手段】、画像処理装置は、撮像系１０１，１０２により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段１１０と、第１の画像に対して、該判定手段によって判定された色にじみを補正する処理を行う補正手段１０４とを有する。
【解決手段】、画像処理装置は、撮像系１０１，１０２により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段１１０と、第１の画像に対して、該判定手段によって判定された色にじみを補正する処理を行う補正手段１０４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により生成された画像の色にじみを補正する画像処理に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いた撮像によって生成された画像は、該撮像装置に設けられた撮影光学系の収差によって劣化していることが多い。特に、カラー画像において生じる色にじみの原因の１つとして、撮影光学系の軸上色収差の影響がある。
光は波長によって屈折率が異なるため、撮影光学系に入射した互いに波長が異なる光は、撮影光学系の光軸方向における互いに異なる位置に結像する。一般に、撮像装置において撮影光学系により形成された被写体像（光学像）を電子的な画像情報に変換する撮像素子は、受光面が平面であり、該受光面上に形成された光学像のみが鮮明な画像情報に変換される。このため、軸上色収差の影響がある場合には、撮像素子により得られる画像情報は、ピントがぼけた色画像成分が重ね合わさることにより生じた色にじみを含む画像となる。
軸上色収差による色にじみを補正する方法として、特許文献１にて開示された方法がある。この方法では、撮影光学系と撮像素子の相対距離を各波長の光が撮像素子上に結像するように変化させながら各波長の鮮明な画像を取得し、これら画像を合成することで軸上色収差が補正されたカラー画像を得る。
また、一般にパープルフリンジ (Purple Fringe)と呼ばれる色にじみも画像を劣化させる原因である。パープルフリンジは、軸上色収差、色の球面収差および色のコマ収差により波長ごとの点像分布が異なっているために、画像中における高輝度領域の近傍等に紫系の色にじみが発生する現象である。このようなパープルフリンジを補正する方法としては、特許文献２にて開示された方法がある。この方法では、パープルフリンジの発生領域を輝度飽和領域からの距離と特定色の彩度および色相に対する近さとから判定し、該判定した領域に所定の空間演算処理を行うことで補正を行う。これは、パープルフリンジが輝度飽和領域の近傍で生じやすいことと、紫系の特定色となり易いことを利用した方法である。
【０００３】
特許文献１にて開示された方法によれば、波長ごとの合焦画像を合成することで、軸上色収差を補正して画質を向上させることができる。また、特許文献２にて開示された方法によれば、パープルフリンジの発生領域を推測して、パープルフリンジをある程度補正することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−８５７７３号公報
【特許文献２】特開２００６−１１５０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際には、特許文献１，２にて開示された方法では色にじみを良好に補正できない場合がある。例えば、立体被写体を撮像して得られた画像に発生する色にじみである。撮像装置は、オートフォーカス機能やマニュアルフォーカスによって被写体空間の１つの面に焦点を合わせて撮像するが、被写体が立体物である場合には画角によって被写体距離が異なる。このとき、合焦点では比較的鮮鋭に撮像されるが、非合焦点はその被写体距離に応じたぼけ状態で撮像される。このとき、色にじみについては、軸上色収差、色の球面収差および色のコマ収差が被写体距離に応じて変動することから、合焦点からの距離に応じて異なる色にじみが生じる。このような被写体距離に応じて変動する色にじみを、本明細書では「デフォーカスによる色にじみ」と称する。
特許文献１にて開示された方法では、特定距離に位置する合焦被写体についてのみ軸上色収差に起因する色にじみを補正することが可能であり、デフォーカスによる色にじみは補正できない。また、特許文献２にて開示された方法でも、合焦点における色にじみの発生傾向を利用した方法であるため、デフォーカスによる色にじみについては良好な補正効果は得られない。
【０００６】
本発明は、デフォーカスによる色にじみを良好に補正できるようにした画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色に関する情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段と、第１の画像に対して、該判定手段によって判定された色にじみを補正する処理を行う補正手段とを有することを特徴とする。
なお、上記画像処理装置を有する撮像装置も本発明の他の一側面を構成する。
また、本発明のさらに他の一側面としての画像処理プログラムは、コンピュータに、撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像を取得するステップと、第１および第２の画像における対応画素の色に関する情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定ステップと、第１の画像に対して、判定ステップにて判定された色にじみを補正する処理を行う補正ステップとを含む画像処理を行わせることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像により生成されたカラー画像に含まれるデフォーカスによる色にじみを低減（補正）することができ、高画質な出力画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１における撮像処理を示すフローチャート。
【図３】実施例１における撮像の様子を示す図。
【図４】実施例１における撮影画像を示す図。
【図５】実施例１における撮影画像中の色情報を示す図。
【図６】実施例１における色収差を説明する図。
【図７】実施例１における色情報を説明する図。
【図８】実施例１における色にじみ領域の判定を説明する図。
【図９】実施例１における色にじみ量の判定を説明する図。
【図１０】本発明の実施例３である画像処理装置の構成を示す概略図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１１】
図１には、本発明の実施例１である撮像装置の構成を示している。撮影光学系１０１は、開口径を変化させて光量（Ｆナンバー）を調節する絞り１０１ａと、ピント調整を行うために光軸方向に移動するフォーカスレンズ１０１ｂとを含む。フォーカスレンズ１０１ｂの位置は、オートフォーカス（ＡＦ）によって制御されたり、マニュアルフォーカスによって変更されたりする。撮影光学系１０１は、不図示の被写体からの光に光学像である被写体像を形成させる。該被写体像は、ＣＣＤセンサやＣＭＳＯセンサ等の光電変換素子より構成された撮像素子１０２によって電気信号に変換される。
撮像素子１０２から出力された電気信号（アナログ信号）は、Ａ／Ｄコンバータ１０３によってデジタル信号に変換され、画像処理部１０４に入力される。画像処理部１０４は、入力されたデジタル信号に対して種々の信号処理を行って画像データ（撮影画像）を生成する。撮影光学系１０１、撮像素子１０２および画像処理部１０４は、撮像系を構成する。
また、画像処理部（画像処理装置）１０４は、生成した撮影画像に対して、後述するデフォーカスによる色にじみの補正処理（以下、単に色にじみ補正という）を行う。具体的には、画像処理部１０４は、状態検知部１０７から撮影光学系１０１の状態（撮影条件）に関する情報を取得する。そして、画像処理部１０４は、撮像条件に応じた色変動情報を記憶部１０８から選択し、画像処理部１０４に入力された画像に対して色にじみ補正を行う。画像処理部１０４は、補正手段に相当する。
次に、図２のフローチャートを用いて、本実施例の撮像装置における上述した色にじみ補正を含む撮像処理の流れを説明する。撮像処理は、図１に示したマイクロコンピュータとしてのシステムコントローラ１１０がコンピュータプログラムに従って実行する。ここでは、撮影光学系１０１を、焦点距離が可変であるズームレンズとする。
ユーザ操作による撮像開始信号が入力されると、システムコントローラ１１０は、そのときの撮影光学系１０１のズーム位置において被写体に対して合焦する位置にフォーカスレンズ１０１ｂを移動させる（ステップＳ１）。このフォーカス制御は、撮影光学系制御部１０６を通じて行う。これにより、撮像の主たる対象である主被写体の光学像（以下、主被写体像という）が、撮像素子１０２の受光面上に鮮明に形成される。このときのフォーカスレンズ１０１ｂの位置を第１フォーカス位置という。
次に、システムコントローラ１１０は、状態検知部１０７から撮影条件に関する情報を取得する（ステップＳ２）。ここにいう撮影条件とは、撮影光学系１０１のズーム位置、絞り値（Ｆ値）およびフォーカスレンズ１０１ｂの位置である。
次に、システムコントローラ１１０は、取得した撮影条件に関する情報を用いてデフォーカスによる色にじみが発生し得る被写体距離範囲を算出する。そして、該被写体距離範囲内において、第１フォーカス位置とは異なるフォーカスレンズ１０１ｂの位置である第２フォーカス位置を決定する（ステップＳ３）。
次に、システムコントローラ１１０は、フォーカスレンズ１０１ｂが第１フォーカス位置にある状態で１回目の撮像を行い、画像処理部１０４に色にじみ補正前の第１の撮影画像（第１の画像）を生成させる（ステップＳ４）。この第１の撮影画像を、本実施例における色にじみ補正における基準画像とする。システムコントローラ１１０は、基準画像を画像処理部１０４に一時的に格納する。
【００１２】
こうして１回目の撮像が完了すると、システムコントローラ１１０は、撮影光学系制御部１０６を介してフォーカスレンズ１０１ｂを第２フォーカス位置に移動させる（ステップＳ５）。
そして、システムコントローラ１１０は、フォーカスレンズ１０１ｂが第２フォーカス位置にある状態で２回目の撮像を行い、画像処理部１０４に色にじみ補正前の第２の撮影画像（第２の画像）を生成させる（ステップＳ６）。この第２の撮影画像を、本実施例における色にじみ補正におけるが比較画像とする。システムコントローラ１１０は、比較画像を画像処理部１０４に一時的に格納する。
以下、システムコントローラ１１０は、上記コンピュータプログラムの一部（または別のコンピュータプログラムであってもよい）である画像処理プログラムに従って色にじみ補正を行う。
システムコントローラ１１０は、画像処理部１０４に格納された基準画像と比較画像の対応画素ごとに色に関する情報を検出する（ステップＳ７）。色に関する情報は、色差、彩度および色相のうち少なくとも１つを含めばよいが、本実施例では、彩度および色相を用いる。なお、以下の説明では、色に関する情報を色情報と略記する。
彩度および色相を検出するため、ＲＧＢ成分により構成される基準画像と比較画像を、輝度成分と色成分を別々に持つ色空間に変換する。変換データの色空間としては、例えば、ＹＣｂＣｒやＣＩＥ Ｌ＊ａ＊ｂ＊などが適用可能である。本実施例ではＣＩＥ Ｌ＊ａ＊ｂ＊色空間の場合について説明する。
ＣＩＥ Ｌ＊ａ＊ｂ＊色空間における色情報である彩度Ｃと色相θは、色度ａ＊，ｂ＊によって決まる量である。基準画像の任意の座標である（ｘ，ｙ）における色情報を彩度Ｃ１（ｘ，ｙ）、色相θ１（ｘ，ｙ）と表記する。また、比較画像の座標（ｘ，ｙ）における色情報を彩度Ｃ２（ｘ，ｙ）、色相θ２（ｘ，ｙ）と表記する。基準画像中の座標（ｘ，ｙ）の画素と比較画像中の座標（ｘ，ｙ）の画素とは、互いに座標が同じ対応画素である。
【００１３】
次に、システムコントローラ１１０は、判定手段として、色にじみ補正における第１の処理である色にじみ判定（色にじみ領域判定）を行う（ステップＳ８）。
ここでは、撮像時のフォーカスレンズ１０１ｂの位置が異なるためにフォーカス状態が異なる基準画像と比較画像における対応画素の色情報の変動量（つまりは色情報の差）を判定することで、デフォーカスによる色にじみが発生しているか否かを判定する。そして、この判定により、色にじみが発生している領域（色にじみ領域）を判定することができる。色にじみが発生しているか否かおよび色にじみ領域の判定は、以下の式を用いて行うことができる。Ｊｃ，Ｊθはそれぞれ、以下の式で定義される色情報、すなわち彩度および色相の変化量である。
Ｊｃ＝Ｃ１（ｘ，ｙ）−Ｃ２（ｘ，ｙ）
Ｊθ＝θ１（ｘ，ｙ）−θ２（ｘ，ｙ）
彩度および色相の変化量Ｊｃ，Ｊθが０となる場合は、フォーカス状態の違いによって色情報の変動（差）が生じていない、つまりデフォーカスによる色にじみが発生していないことを意味する。一方、彩度および色相の変化量Ｊｃ，Ｊθが０以外の値である場合は、デフォーカスによる色にじみが発生していることを意味する。これにより、色にじみが発生していることおよび色にじみ領域を判定することが可能となる。
【００１４】
ここで、彩度および色相の変化量が０となる場合と０以外の値となる場合の例を図３〜８を用いて説明する。図３は、近点から遠点に向かって斜めに配置された被写体である黒い棒６１１〜６１５を撮像装置６０１で撮像している状態を示している。撮像装置６０１のピントは被写体６１３に合っている。この状態で撮像された画像を図４に示す。また、図４中の被写体６１３，６１４を含む領域（図中に矢印で示す部分）の色情報を図５に断面図として示す。
図５中の被写体６１３は、撮像装置６０１が合焦する被写体距離（合焦距離）に位置し、被写体６１４は合焦距離よりも遠距離に位置している。図５中の上段には、基準画像における被写体６１３，６１４を含む領域の色情報を示している。また、中段は被写体６１３と被写体６１２との間の距離を合焦距離として取得された比較画像における被写体６１３，６１４を含む領域の色情報を示している。
基準画像では、合焦距離に位置する被写体６１３に対してＧ成分が合焦している。このため、Ｇ成分のエッジのぼけが最も少なくなっている。Ｒ成分およびＢ成分はほぼ同じ量だけＧ成分に比べてぼけている。このときの結像状態を、図６を用いて説明する。
図６は合焦距離（中段）、合焦距離よりも近距離（上段）および合焦距離よりも遠距離（下段）に位置する被写体から撮像素子１０２に入射する、互いに波長が異なるＲ，Ｇ，Ｂの光線を示している。合焦距離では、Ｇ光線は撮像素子１０２上にて結像して鮮明なＧ成分の被写体像を形成しているが、Ｒ光線およびＢ光線は撮像素子１０２上では広がりを有し、ＲおよびＢ成分の被写体像はぼけている。
また、遠距離では、Ｒ光線およびＢ光線は撮像素子１０２上にて結像して鮮明なＲ，Ｂ成分の被写体像を形成しているが、Ｇ光線は撮像素子１０２上で広がりを有し、Ｇ成分の被写体像はぼけている。さらに、近距離では、Ｒ，Ｇ，Ｂ光線のいずれも広がりを有し、特にＲおよびＢ光線の広がりがＧ光線の広がりよりも大きい。
なお、図６は、撮像装置６０１の撮影光学系の軸上色収差を示しているが、撮影画角のうち撮影光学系の光軸から離れた位置においても撮影光学系の基本の結像特性に非対称性が発生するものの、色情報の変動については同様の現象が発生する。
さらに、図５の中段に示す比較画像では、被写体６１３の結像状態は、該被写体６１３が合焦距離に位置する場合（基準画像の場合）に比べて、合焦距離よりも遠距離に位置する場合の結像状態に近づき、Ｇ成分の被写体像のぼけが主に増大する。また、比較画像では、被写体６１４の結像状態は、該被写体６１４がさらに遠距離に位置する場合の結像状態になり、Ｒ，Ｇ成分のぼけが主に増大する。
ここで、図５中の被写体６１４の近傍の画素の座標１（ｘ１，ｙ１）と、被写体６１４の中心近傍の画素の座標２（ｘ２，ｙ２）と、被写体６１３の近傍の画素の座標３（ｘ３，ｙ３）における色情報について説明する。図７には、例として、ａ＊ｂ＊空間における基準画像および比較画像の座標１（ｘ１，ｙ１）での色情報を示す。図５から明らかなように、座標１（ｘ１，ｙ１）では、ＲＧＢ各色のフォーカス状態の変動によるぼけ量の違いが生じている。このため、図７に示すように、彩度および色相はともに変動する。この変動は、撮影光学系１０１のデフォーカス特性に対応するものであり、特定距離の被写体に対してフォーカス状態の異なる２つの画像間では同様の変動が必ず生じる。同様に、画像座標３（ｘ３，ｙ３）においても彩度および色相がともに変動する。また、座標２（ｘ２，ｙ２）では、図５から明らかなように、フォーカス変動によるぼけ量の違いが生じていないため、彩度および色相はともに変動しない。
それぞれの座標における彩度および色相の変化量は、以下の式により、基準画像と比較画像の対応画素間の色情報の差を算出することで求められる。
Ｊｃ（ｘ１，ｙ１）＝Ｃ１（ｘ１，ｙ１）−Ｃ２（ｘ１，ｙ１）
Ｊθ（ｘ１，ｙ１）＝θ１（ｘ１，ｙ１）−θ２（ｘ１，ｙ１）
Ｊｃ（ｘ２，ｙ２）＝Ｃ１（ｘ２，ｙ２）−Ｃ２（ｘ２，ｙ２）
Ｊθ（ｘ２，ｙ２）＝θ１（ｘ２，ｙ２）−θ２（ｘ２，ｙ２）
図５および図７より明らかなように、彩度および色相の変化量は以下のようになる。
Ｊｃ（ｘ１，ｙ１）＞０
Ｊθ（ｘ１，ｙ１）＞０
Ｊｃ（ｘ２，ｙ２）＝０
Ｊθ（ｘ２，ｙ２）＝０
つまり、彩度の変化量Ｊｃと色相の変化量Ｊθが０以外の値となる場合は、その座標でデフォーカスによる色にじみが発生していることを示し、ＪｃとＪθがいずれも０となる座標では色にじみが発生していないことを示す。このような判定を、画像全体に対して行うことで、図８に示すように、基準画像におけるデフォーカスによる色にじみが発生している領域（色にじみ領域）を判定することが可能となる。
色にじみ領域が存在する場合には、システムコントローラ１１０は、色にじみ補正における第２の処理としての色にじみ量推定を行う（ステップＳ９）。基準画像中に色にじみ領域が存在しない場合は、デフォーカスによる色にじみが生じていないとして、色にじみ補正を終了する。
【００１５】
次に、色にじみ量推定について説明する。上述したように、フォーカス状態が異なる基準画像と比較画像との間でのデフォーカスによる色にじみによる色情報の変動は、撮影光学系１０１のデフォーカス特性に対応する。つまり、ある撮影条件下において、軸上色収差、色のコマ収差および色の球面収差が、ピントが合っている被写体距離位置（合焦基準位置）からの被写体距離のずれ量（デフォーカス量）ｄに応じて変動することに対応する。
図９には、本実施例の撮影光学系１０１における第１フォーカス位置を合焦基準位置としたときのデフォーカス量と彩度Ｃおよび色相θとの関係を示す。これらの関係から分かるように、デフォーカスによる色にじみが発生している領域内での色情報の変動は、デフォーカス量を変数とした関数として考えることができる。
ここで、彩度Ｃおよび色相θのデフォーカス量を変数とした関数として、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を定義する。これらの２つの関数を特定することができれば、基準画像における色にじみを容易に補正できる。
彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を特定するためには、原理的に被写体距離の情報、被写体色の情報および撮影条件に応じたフォーカス状態の変動に伴う撮影光学系１０１の光学性能の変動に関する情報（光学性能変動情報）が必要である。被写体距離に関しては、従来様々な測定手法が提案されているが、そのほとんどが撮影光学系以外に特殊な装置が必要である等、実施することが容易でないものであった。
そこで、本実施例では、既知のデフォーカス量だけフォーカス状態を異ならせた基準画像と比較画像との間での色情報の変動量から、被写体距離情報および被写体色情報と同等の情報を得る。
具体的には、システムコントローラ１１０は、まず基準画像の取得時（生成時）の撮影条件下におけるフォーカス状態の変動に伴う撮影光学系１０１の光学性能の変動に関する情報である光学性能変動情報を、予めこれら情報が記憶された記憶部１０８から取得する。光学性能変動情報は、軸上色収差、色のコマ収差および色の球面収差といった色収差の変動を示す情報である。この光学性能変動情報から、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）のデフォーカス量に対する変動率が求められる。
そして、システムコントローラ１１０は、光学性能変動情報、基準画像と比較画像の各画素の色情報、Ｃ１，Ｃ２，θ１，θ２、被写体距離および被写体色をパラメータとして彩度変動関数ｆｃ（ｄ）と色相変動関数ｆθ（ｄ）を推定する演算を行う。すなわち、図９に示すｆｃ（ｄ）とｆθ（ｄ）グラフがＣ１，Ｃ２，θ１，θ２を通るように彩度変動関数と色相変動関数を推定する。
なお、本実施例では、基準画像と比較画像の２つの画像を用いて彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を推定する場合について説明しているが、比較画像の数を増加させてより推定精度を向上させることもできる。
最後に、システムコントローラ１１０は、色にじみ補正の第３の処理として、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）から、被写体色と色にじみ推定量とを算出する。そして、画像処理部１０４に、これら被写体色と色にじみ推定量とを用いて、基準画像に対してデフォーカスによる色にじみを低減するための色補正処理を行わせる（ステップＳ１０）。
図５の下段に、色にじみ補正後の画像を示す。ここでは、Ｇ成分を基準として色にじみ補正を行っているが、Ｒ成分やＢ成分を基準とした色にじみ補正を行うことも可能である。
また、上述した各処理は、１画素ごとに行ってもよいし、高速化等の目的に応じて複数の画素を含む領域ごとに行ってもよい。
以上のようにして基準画像中の各画素に対する色にじみ補正が完了し、色にじみ補正後の出力画像を、図１に示す表示部１０５に表示したり、半導体メモリ等の記録媒体１０９に記録したりすることで、撮像処理が終了する。
本実施例では、撮影光学系１０１を撮像装置に一体的に設けた場合について説明したが、撮影光学系を含む交換レンズと該交換レンズが着脱される撮像装置本体とにより撮像装置を構成してもよい。
【実施例２】
【００１６】
次に、本発明の実施例２について説明する。本実施例では、撮像素子１０２として、ＲＧＢのカラーフィルタがベイヤー配列形式で並べられた撮像素子（ベイヤー型撮像素子）を用いて撮影画像を生成する撮像装置について説明する。
ベイヤー型撮像素子の各画素から得られる信号は、ＲＧＢのいずれか１つの色成分の信号値を有している。このような信号によって形成される画像データをＲＡＷ画像データと称する。ＲＡＷ画像データの各画素は、１つの色成分の信号値しか有していないため、出力画像として各画素にＲＧＢ値を持たせるために色合成処理（デモザイキング処理）を行う。色合成処理は、対象とする画素の周辺の複数の画素の信号値を用いて補間処理を行うことで、各画素にＲＧＢ値を持たせることができる。
【００１７】
しかし、ＲＡＷ画像データは各画素に１つの信号値しか持たないため、色情報を抽出することができない。本実施例では、基準画像および比較画像がともにＲＡＷ画像である場合の色にじみ補正について説明する。本実施例の撮像装置の構成は、図１に示したものと基本的に同じであるので、共通する構成要素には図１と同符号を付す。
【００１８】
まず、システムコントローラ１１０は、各画素の色情報を得るため、色情報の取得対象画素の周辺の画素の信号値を用いて、取得対象画素の色に関する特徴量を抽出する。これは、上述した色合成処理によって行ってもよいし、色合成処理を必要最小限に簡易化した処理によって行ってもよい。また、色情報として、実施例１で説明した彩度や色相を用いてもよい。これ以外にも、ＹＣｂＣｒ、ＸＹＺ、ＹｕｖおよびＪＣｈで表現される色空間のいずれかを選択して用いることができる。
このように、色に関する特徴量の表現方法は様々存在し、任意の表現方法で画素の色情報を表現することができる。このように本実施例にいう「色情報」は、色に関する特徴量であれば、どのような表現方法によって表される情報であってもよい。このことは、先に説明した実施例１のように、もともとの１画素がＲＧＢ値を有する場合も同じである。
システムコントローラ１１０は、このようにして取得した各画素の色情報を一旦保存しておく。そして、実施例１と同様に、フォーカス状態の異なる基準画像と比較画像の対応画素の色情報の変動量を判定することで、色にじみ領域を判定する。
なお、色にじみ領域の判定については、ＹＣｂＣｒ等の色空間に対応した比較方法を用いて行ってもよい。その他、ＹｕｖのｕｖやＬｕｖのｕｖを用いてもよい。
【００１９】
次に、システムコントローラ１１０は、色にじみ領域について、実施例１と同様の手法により、色にじみ量を推定して色にじみを補正する。
なお、色にじみ補正として、補正対象画素の近隣の画素を用いた補完による空間演算等の手法を用いることも可能である。また、色にじみ補正量に関しては、得ようとする出力画像の画質レベルや処理の負荷量の許容値等に応じて決定すればよい。
さらに、上記各実施例にて説明した色にじみ補正をより正確に行うために、画像のエッジ部を抽出し、基準画像と比較画像のエッジ部を抽出し、該エッジ部を参照してこれら画像の座標合わせを行ってもよい。
【実施例３】
【００２０】
上記各実施例では、撮像装置に、画像処理装置としての画像処理部１０４を内蔵した場合について説明したが、本発明はこれに限らない。
【００２１】
例えば図１０に示すように、撮像装置１４０１による撮像によって生成された画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【００２２】
そして、パーソナルコンピュータ１４０２において、図２のフローチャートのうちステップＳ７〜Ｓ１０の色にじみ補正処理を行ってもよい。この場合、パーソナルコンピュータが本発明にいう画像処理装置として機能する。
【００２３】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００２４】
デフォーカスによる色にじみを良好に補正可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【００２５】
１０１ 撮影光学系
１０２ 撮像素子
１０４ 画像処理部
１１０ システムコントローラ
【技術分野】
【０００１】
本発明は、撮像により生成された画像の色にじみを補正する画像処理に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いた撮像によって生成された画像は、該撮像装置に設けられた撮影光学系の収差によって劣化していることが多い。特に、カラー画像において生じる色にじみの原因の１つとして、撮影光学系の軸上色収差の影響がある。
光は波長によって屈折率が異なるため、撮影光学系に入射した互いに波長が異なる光は、撮影光学系の光軸方向における互いに異なる位置に結像する。一般に、撮像装置において撮影光学系により形成された被写体像（光学像）を電子的な画像情報に変換する撮像素子は、受光面が平面であり、該受光面上に形成された光学像のみが鮮明な画像情報に変換される。このため、軸上色収差の影響がある場合には、撮像素子により得られる画像情報は、ピントがぼけた色画像成分が重ね合わさることにより生じた色にじみを含む画像となる。
軸上色収差による色にじみを補正する方法として、特許文献１にて開示された方法がある。この方法では、撮影光学系と撮像素子の相対距離を各波長の光が撮像素子上に結像するように変化させながら各波長の鮮明な画像を取得し、これら画像を合成することで軸上色収差が補正されたカラー画像を得る。
また、一般にパープルフリンジ (Purple Fringe)と呼ばれる色にじみも画像を劣化させる原因である。パープルフリンジは、軸上色収差、色の球面収差および色のコマ収差により波長ごとの点像分布が異なっているために、画像中における高輝度領域の近傍等に紫系の色にじみが発生する現象である。このようなパープルフリンジを補正する方法としては、特許文献２にて開示された方法がある。この方法では、パープルフリンジの発生領域を輝度飽和領域からの距離と特定色の彩度および色相に対する近さとから判定し、該判定した領域に所定の空間演算処理を行うことで補正を行う。これは、パープルフリンジが輝度飽和領域の近傍で生じやすいことと、紫系の特定色となり易いことを利用した方法である。
【０００３】
特許文献１にて開示された方法によれば、波長ごとの合焦画像を合成することで、軸上色収差を補正して画質を向上させることができる。また、特許文献２にて開示された方法によれば、パープルフリンジの発生領域を推測して、パープルフリンジをある程度補正することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−８５７７３号公報
【特許文献２】特開２００６−１１５０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際には、特許文献１，２にて開示された方法では色にじみを良好に補正できない場合がある。例えば、立体被写体を撮像して得られた画像に発生する色にじみである。撮像装置は、オートフォーカス機能やマニュアルフォーカスによって被写体空間の１つの面に焦点を合わせて撮像するが、被写体が立体物である場合には画角によって被写体距離が異なる。このとき、合焦点では比較的鮮鋭に撮像されるが、非合焦点はその被写体距離に応じたぼけ状態で撮像される。このとき、色にじみについては、軸上色収差、色の球面収差および色のコマ収差が被写体距離に応じて変動することから、合焦点からの距離に応じて異なる色にじみが生じる。このような被写体距離に応じて変動する色にじみを、本明細書では「デフォーカスによる色にじみ」と称する。
特許文献１にて開示された方法では、特定距離に位置する合焦被写体についてのみ軸上色収差に起因する色にじみを補正することが可能であり、デフォーカスによる色にじみは補正できない。また、特許文献２にて開示された方法でも、合焦点における色にじみの発生傾向を利用した方法であるため、デフォーカスによる色にじみについては良好な補正効果は得られない。
【０００６】
本発明は、デフォーカスによる色にじみを良好に補正できるようにした画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色に関する情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段と、第１の画像に対して、該判定手段によって判定された色にじみを補正する処理を行う補正手段とを有することを特徴とする。
なお、上記画像処理装置を有する撮像装置も本発明の他の一側面を構成する。
また、本発明のさらに他の一側面としての画像処理プログラムは、コンピュータに、撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像を取得するステップと、第１および第２の画像における対応画素の色に関する情報の差から、第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定ステップと、第１の画像に対して、判定ステップにて判定された色にじみを補正する処理を行う補正ステップとを含む画像処理を行わせることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像により生成されたカラー画像に含まれるデフォーカスによる色にじみを低減（補正）することができ、高画質な出力画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１における撮像処理を示すフローチャート。
【図３】実施例１における撮像の様子を示す図。
【図４】実施例１における撮影画像を示す図。
【図５】実施例１における撮影画像中の色情報を示す図。
【図６】実施例１における色収差を説明する図。
【図７】実施例１における色情報を説明する図。
【図８】実施例１における色にじみ領域の判定を説明する図。
【図９】実施例１における色にじみ量の判定を説明する図。
【図１０】本発明の実施例３である画像処理装置の構成を示す概略図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１１】
図１には、本発明の実施例１である撮像装置の構成を示している。撮影光学系１０１は、開口径を変化させて光量（Ｆナンバー）を調節する絞り１０１ａと、ピント調整を行うために光軸方向に移動するフォーカスレンズ１０１ｂとを含む。フォーカスレンズ１０１ｂの位置は、オートフォーカス（ＡＦ）によって制御されたり、マニュアルフォーカスによって変更されたりする。撮影光学系１０１は、不図示の被写体からの光に光学像である被写体像を形成させる。該被写体像は、ＣＣＤセンサやＣＭＳＯセンサ等の光電変換素子より構成された撮像素子１０２によって電気信号に変換される。
撮像素子１０２から出力された電気信号（アナログ信号）は、Ａ／Ｄコンバータ１０３によってデジタル信号に変換され、画像処理部１０４に入力される。画像処理部１０４は、入力されたデジタル信号に対して種々の信号処理を行って画像データ（撮影画像）を生成する。撮影光学系１０１、撮像素子１０２および画像処理部１０４は、撮像系を構成する。
また、画像処理部（画像処理装置）１０４は、生成した撮影画像に対して、後述するデフォーカスによる色にじみの補正処理（以下、単に色にじみ補正という）を行う。具体的には、画像処理部１０４は、状態検知部１０７から撮影光学系１０１の状態（撮影条件）に関する情報を取得する。そして、画像処理部１０４は、撮像条件に応じた色変動情報を記憶部１０８から選択し、画像処理部１０４に入力された画像に対して色にじみ補正を行う。画像処理部１０４は、補正手段に相当する。
次に、図２のフローチャートを用いて、本実施例の撮像装置における上述した色にじみ補正を含む撮像処理の流れを説明する。撮像処理は、図１に示したマイクロコンピュータとしてのシステムコントローラ１１０がコンピュータプログラムに従って実行する。ここでは、撮影光学系１０１を、焦点距離が可変であるズームレンズとする。
ユーザ操作による撮像開始信号が入力されると、システムコントローラ１１０は、そのときの撮影光学系１０１のズーム位置において被写体に対して合焦する位置にフォーカスレンズ１０１ｂを移動させる（ステップＳ１）。このフォーカス制御は、撮影光学系制御部１０６を通じて行う。これにより、撮像の主たる対象である主被写体の光学像（以下、主被写体像という）が、撮像素子１０２の受光面上に鮮明に形成される。このときのフォーカスレンズ１０１ｂの位置を第１フォーカス位置という。
次に、システムコントローラ１１０は、状態検知部１０７から撮影条件に関する情報を取得する（ステップＳ２）。ここにいう撮影条件とは、撮影光学系１０１のズーム位置、絞り値（Ｆ値）およびフォーカスレンズ１０１ｂの位置である。
次に、システムコントローラ１１０は、取得した撮影条件に関する情報を用いてデフォーカスによる色にじみが発生し得る被写体距離範囲を算出する。そして、該被写体距離範囲内において、第１フォーカス位置とは異なるフォーカスレンズ１０１ｂの位置である第２フォーカス位置を決定する（ステップＳ３）。
次に、システムコントローラ１１０は、フォーカスレンズ１０１ｂが第１フォーカス位置にある状態で１回目の撮像を行い、画像処理部１０４に色にじみ補正前の第１の撮影画像（第１の画像）を生成させる（ステップＳ４）。この第１の撮影画像を、本実施例における色にじみ補正における基準画像とする。システムコントローラ１１０は、基準画像を画像処理部１０４に一時的に格納する。
【００１２】
こうして１回目の撮像が完了すると、システムコントローラ１１０は、撮影光学系制御部１０６を介してフォーカスレンズ１０１ｂを第２フォーカス位置に移動させる（ステップＳ５）。
そして、システムコントローラ１１０は、フォーカスレンズ１０１ｂが第２フォーカス位置にある状態で２回目の撮像を行い、画像処理部１０４に色にじみ補正前の第２の撮影画像（第２の画像）を生成させる（ステップＳ６）。この第２の撮影画像を、本実施例における色にじみ補正におけるが比較画像とする。システムコントローラ１１０は、比較画像を画像処理部１０４に一時的に格納する。
以下、システムコントローラ１１０は、上記コンピュータプログラムの一部（または別のコンピュータプログラムであってもよい）である画像処理プログラムに従って色にじみ補正を行う。
システムコントローラ１１０は、画像処理部１０４に格納された基準画像と比較画像の対応画素ごとに色に関する情報を検出する（ステップＳ７）。色に関する情報は、色差、彩度および色相のうち少なくとも１つを含めばよいが、本実施例では、彩度および色相を用いる。なお、以下の説明では、色に関する情報を色情報と略記する。
彩度および色相を検出するため、ＲＧＢ成分により構成される基準画像と比較画像を、輝度成分と色成分を別々に持つ色空間に変換する。変換データの色空間としては、例えば、ＹＣｂＣｒやＣＩＥ Ｌ＊ａ＊ｂ＊などが適用可能である。本実施例ではＣＩＥ Ｌ＊ａ＊ｂ＊色空間の場合について説明する。
ＣＩＥ Ｌ＊ａ＊ｂ＊色空間における色情報である彩度Ｃと色相θは、色度ａ＊，ｂ＊によって決まる量である。基準画像の任意の座標である（ｘ，ｙ）における色情報を彩度Ｃ１（ｘ，ｙ）、色相θ１（ｘ，ｙ）と表記する。また、比較画像の座標（ｘ，ｙ）における色情報を彩度Ｃ２（ｘ，ｙ）、色相θ２（ｘ，ｙ）と表記する。基準画像中の座標（ｘ，ｙ）の画素と比較画像中の座標（ｘ，ｙ）の画素とは、互いに座標が同じ対応画素である。
【００１３】
次に、システムコントローラ１１０は、判定手段として、色にじみ補正における第１の処理である色にじみ判定（色にじみ領域判定）を行う（ステップＳ８）。
ここでは、撮像時のフォーカスレンズ１０１ｂの位置が異なるためにフォーカス状態が異なる基準画像と比較画像における対応画素の色情報の変動量（つまりは色情報の差）を判定することで、デフォーカスによる色にじみが発生しているか否かを判定する。そして、この判定により、色にじみが発生している領域（色にじみ領域）を判定することができる。色にじみが発生しているか否かおよび色にじみ領域の判定は、以下の式を用いて行うことができる。Ｊｃ，Ｊθはそれぞれ、以下の式で定義される色情報、すなわち彩度および色相の変化量である。
Ｊｃ＝Ｃ１（ｘ，ｙ）−Ｃ２（ｘ，ｙ）
Ｊθ＝θ１（ｘ，ｙ）−θ２（ｘ，ｙ）
彩度および色相の変化量Ｊｃ，Ｊθが０となる場合は、フォーカス状態の違いによって色情報の変動（差）が生じていない、つまりデフォーカスによる色にじみが発生していないことを意味する。一方、彩度および色相の変化量Ｊｃ，Ｊθが０以外の値である場合は、デフォーカスによる色にじみが発生していることを意味する。これにより、色にじみが発生していることおよび色にじみ領域を判定することが可能となる。
【００１４】
ここで、彩度および色相の変化量が０となる場合と０以外の値となる場合の例を図３〜８を用いて説明する。図３は、近点から遠点に向かって斜めに配置された被写体である黒い棒６１１〜６１５を撮像装置６０１で撮像している状態を示している。撮像装置６０１のピントは被写体６１３に合っている。この状態で撮像された画像を図４に示す。また、図４中の被写体６１３，６１４を含む領域（図中に矢印で示す部分）の色情報を図５に断面図として示す。
図５中の被写体６１３は、撮像装置６０１が合焦する被写体距離（合焦距離）に位置し、被写体６１４は合焦距離よりも遠距離に位置している。図５中の上段には、基準画像における被写体６１３，６１４を含む領域の色情報を示している。また、中段は被写体６１３と被写体６１２との間の距離を合焦距離として取得された比較画像における被写体６１３，６１４を含む領域の色情報を示している。
基準画像では、合焦距離に位置する被写体６１３に対してＧ成分が合焦している。このため、Ｇ成分のエッジのぼけが最も少なくなっている。Ｒ成分およびＢ成分はほぼ同じ量だけＧ成分に比べてぼけている。このときの結像状態を、図６を用いて説明する。
図６は合焦距離（中段）、合焦距離よりも近距離（上段）および合焦距離よりも遠距離（下段）に位置する被写体から撮像素子１０２に入射する、互いに波長が異なるＲ，Ｇ，Ｂの光線を示している。合焦距離では、Ｇ光線は撮像素子１０２上にて結像して鮮明なＧ成分の被写体像を形成しているが、Ｒ光線およびＢ光線は撮像素子１０２上では広がりを有し、ＲおよびＢ成分の被写体像はぼけている。
また、遠距離では、Ｒ光線およびＢ光線は撮像素子１０２上にて結像して鮮明なＲ，Ｂ成分の被写体像を形成しているが、Ｇ光線は撮像素子１０２上で広がりを有し、Ｇ成分の被写体像はぼけている。さらに、近距離では、Ｒ，Ｇ，Ｂ光線のいずれも広がりを有し、特にＲおよびＢ光線の広がりがＧ光線の広がりよりも大きい。
なお、図６は、撮像装置６０１の撮影光学系の軸上色収差を示しているが、撮影画角のうち撮影光学系の光軸から離れた位置においても撮影光学系の基本の結像特性に非対称性が発生するものの、色情報の変動については同様の現象が発生する。
さらに、図５の中段に示す比較画像では、被写体６１３の結像状態は、該被写体６１３が合焦距離に位置する場合（基準画像の場合）に比べて、合焦距離よりも遠距離に位置する場合の結像状態に近づき、Ｇ成分の被写体像のぼけが主に増大する。また、比較画像では、被写体６１４の結像状態は、該被写体６１４がさらに遠距離に位置する場合の結像状態になり、Ｒ，Ｇ成分のぼけが主に増大する。
ここで、図５中の被写体６１４の近傍の画素の座標１（ｘ１，ｙ１）と、被写体６１４の中心近傍の画素の座標２（ｘ２，ｙ２）と、被写体６１３の近傍の画素の座標３（ｘ３，ｙ３）における色情報について説明する。図７には、例として、ａ＊ｂ＊空間における基準画像および比較画像の座標１（ｘ１，ｙ１）での色情報を示す。図５から明らかなように、座標１（ｘ１，ｙ１）では、ＲＧＢ各色のフォーカス状態の変動によるぼけ量の違いが生じている。このため、図７に示すように、彩度および色相はともに変動する。この変動は、撮影光学系１０１のデフォーカス特性に対応するものであり、特定距離の被写体に対してフォーカス状態の異なる２つの画像間では同様の変動が必ず生じる。同様に、画像座標３（ｘ３，ｙ３）においても彩度および色相がともに変動する。また、座標２（ｘ２，ｙ２）では、図５から明らかなように、フォーカス変動によるぼけ量の違いが生じていないため、彩度および色相はともに変動しない。
それぞれの座標における彩度および色相の変化量は、以下の式により、基準画像と比較画像の対応画素間の色情報の差を算出することで求められる。
Ｊｃ（ｘ１，ｙ１）＝Ｃ１（ｘ１，ｙ１）−Ｃ２（ｘ１，ｙ１）
Ｊθ（ｘ１，ｙ１）＝θ１（ｘ１，ｙ１）−θ２（ｘ１，ｙ１）
Ｊｃ（ｘ２，ｙ２）＝Ｃ１（ｘ２，ｙ２）−Ｃ２（ｘ２，ｙ２）
Ｊθ（ｘ２，ｙ２）＝θ１（ｘ２，ｙ２）−θ２（ｘ２，ｙ２）
図５および図７より明らかなように、彩度および色相の変化量は以下のようになる。
Ｊｃ（ｘ１，ｙ１）＞０
Ｊθ（ｘ１，ｙ１）＞０
Ｊｃ（ｘ２，ｙ２）＝０
Ｊθ（ｘ２，ｙ２）＝０
つまり、彩度の変化量Ｊｃと色相の変化量Ｊθが０以外の値となる場合は、その座標でデフォーカスによる色にじみが発生していることを示し、ＪｃとＪθがいずれも０となる座標では色にじみが発生していないことを示す。このような判定を、画像全体に対して行うことで、図８に示すように、基準画像におけるデフォーカスによる色にじみが発生している領域（色にじみ領域）を判定することが可能となる。
色にじみ領域が存在する場合には、システムコントローラ１１０は、色にじみ補正における第２の処理としての色にじみ量推定を行う（ステップＳ９）。基準画像中に色にじみ領域が存在しない場合は、デフォーカスによる色にじみが生じていないとして、色にじみ補正を終了する。
【００１５】
次に、色にじみ量推定について説明する。上述したように、フォーカス状態が異なる基準画像と比較画像との間でのデフォーカスによる色にじみによる色情報の変動は、撮影光学系１０１のデフォーカス特性に対応する。つまり、ある撮影条件下において、軸上色収差、色のコマ収差および色の球面収差が、ピントが合っている被写体距離位置（合焦基準位置）からの被写体距離のずれ量（デフォーカス量）ｄに応じて変動することに対応する。
図９には、本実施例の撮影光学系１０１における第１フォーカス位置を合焦基準位置としたときのデフォーカス量と彩度Ｃおよび色相θとの関係を示す。これらの関係から分かるように、デフォーカスによる色にじみが発生している領域内での色情報の変動は、デフォーカス量を変数とした関数として考えることができる。
ここで、彩度Ｃおよび色相θのデフォーカス量を変数とした関数として、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を定義する。これらの２つの関数を特定することができれば、基準画像における色にじみを容易に補正できる。
彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を特定するためには、原理的に被写体距離の情報、被写体色の情報および撮影条件に応じたフォーカス状態の変動に伴う撮影光学系１０１の光学性能の変動に関する情報（光学性能変動情報）が必要である。被写体距離に関しては、従来様々な測定手法が提案されているが、そのほとんどが撮影光学系以外に特殊な装置が必要である等、実施することが容易でないものであった。
そこで、本実施例では、既知のデフォーカス量だけフォーカス状態を異ならせた基準画像と比較画像との間での色情報の変動量から、被写体距離情報および被写体色情報と同等の情報を得る。
具体的には、システムコントローラ１１０は、まず基準画像の取得時（生成時）の撮影条件下におけるフォーカス状態の変動に伴う撮影光学系１０１の光学性能の変動に関する情報である光学性能変動情報を、予めこれら情報が記憶された記憶部１０８から取得する。光学性能変動情報は、軸上色収差、色のコマ収差および色の球面収差といった色収差の変動を示す情報である。この光学性能変動情報から、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）のデフォーカス量に対する変動率が求められる。
そして、システムコントローラ１１０は、光学性能変動情報、基準画像と比較画像の各画素の色情報、Ｃ１，Ｃ２，θ１，θ２、被写体距離および被写体色をパラメータとして彩度変動関数ｆｃ（ｄ）と色相変動関数ｆθ（ｄ）を推定する演算を行う。すなわち、図９に示すｆｃ（ｄ）とｆθ（ｄ）グラフがＣ１，Ｃ２，θ１，θ２を通るように彩度変動関数と色相変動関数を推定する。
なお、本実施例では、基準画像と比較画像の２つの画像を用いて彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）を推定する場合について説明しているが、比較画像の数を増加させてより推定精度を向上させることもできる。
最後に、システムコントローラ１１０は、色にじみ補正の第３の処理として、彩度変動関数ｆｃ（ｄ）および色相変動関数ｆθ（ｄ）から、被写体色と色にじみ推定量とを算出する。そして、画像処理部１０４に、これら被写体色と色にじみ推定量とを用いて、基準画像に対してデフォーカスによる色にじみを低減するための色補正処理を行わせる（ステップＳ１０）。
図５の下段に、色にじみ補正後の画像を示す。ここでは、Ｇ成分を基準として色にじみ補正を行っているが、Ｒ成分やＢ成分を基準とした色にじみ補正を行うことも可能である。
また、上述した各処理は、１画素ごとに行ってもよいし、高速化等の目的に応じて複数の画素を含む領域ごとに行ってもよい。
以上のようにして基準画像中の各画素に対する色にじみ補正が完了し、色にじみ補正後の出力画像を、図１に示す表示部１０５に表示したり、半導体メモリ等の記録媒体１０９に記録したりすることで、撮像処理が終了する。
本実施例では、撮影光学系１０１を撮像装置に一体的に設けた場合について説明したが、撮影光学系を含む交換レンズと該交換レンズが着脱される撮像装置本体とにより撮像装置を構成してもよい。
【実施例２】
【００１６】
次に、本発明の実施例２について説明する。本実施例では、撮像素子１０２として、ＲＧＢのカラーフィルタがベイヤー配列形式で並べられた撮像素子（ベイヤー型撮像素子）を用いて撮影画像を生成する撮像装置について説明する。
ベイヤー型撮像素子の各画素から得られる信号は、ＲＧＢのいずれか１つの色成分の信号値を有している。このような信号によって形成される画像データをＲＡＷ画像データと称する。ＲＡＷ画像データの各画素は、１つの色成分の信号値しか有していないため、出力画像として各画素にＲＧＢ値を持たせるために色合成処理（デモザイキング処理）を行う。色合成処理は、対象とする画素の周辺の複数の画素の信号値を用いて補間処理を行うことで、各画素にＲＧＢ値を持たせることができる。
【００１７】
しかし、ＲＡＷ画像データは各画素に１つの信号値しか持たないため、色情報を抽出することができない。本実施例では、基準画像および比較画像がともにＲＡＷ画像である場合の色にじみ補正について説明する。本実施例の撮像装置の構成は、図１に示したものと基本的に同じであるので、共通する構成要素には図１と同符号を付す。
【００１８】
まず、システムコントローラ１１０は、各画素の色情報を得るため、色情報の取得対象画素の周辺の画素の信号値を用いて、取得対象画素の色に関する特徴量を抽出する。これは、上述した色合成処理によって行ってもよいし、色合成処理を必要最小限に簡易化した処理によって行ってもよい。また、色情報として、実施例１で説明した彩度や色相を用いてもよい。これ以外にも、ＹＣｂＣｒ、ＸＹＺ、ＹｕｖおよびＪＣｈで表現される色空間のいずれかを選択して用いることができる。
このように、色に関する特徴量の表現方法は様々存在し、任意の表現方法で画素の色情報を表現することができる。このように本実施例にいう「色情報」は、色に関する特徴量であれば、どのような表現方法によって表される情報であってもよい。このことは、先に説明した実施例１のように、もともとの１画素がＲＧＢ値を有する場合も同じである。
システムコントローラ１１０は、このようにして取得した各画素の色情報を一旦保存しておく。そして、実施例１と同様に、フォーカス状態の異なる基準画像と比較画像の対応画素の色情報の変動量を判定することで、色にじみ領域を判定する。
なお、色にじみ領域の判定については、ＹＣｂＣｒ等の色空間に対応した比較方法を用いて行ってもよい。その他、ＹｕｖのｕｖやＬｕｖのｕｖを用いてもよい。
【００１９】
次に、システムコントローラ１１０は、色にじみ領域について、実施例１と同様の手法により、色にじみ量を推定して色にじみを補正する。
なお、色にじみ補正として、補正対象画素の近隣の画素を用いた補完による空間演算等の手法を用いることも可能である。また、色にじみ補正量に関しては、得ようとする出力画像の画質レベルや処理の負荷量の許容値等に応じて決定すればよい。
さらに、上記各実施例にて説明した色にじみ補正をより正確に行うために、画像のエッジ部を抽出し、基準画像と比較画像のエッジ部を抽出し、該エッジ部を参照してこれら画像の座標合わせを行ってもよい。
【実施例３】
【００２０】
上記各実施例では、撮像装置に、画像処理装置としての画像処理部１０４を内蔵した場合について説明したが、本発明はこれに限らない。
【００２１】
例えば図１０に示すように、撮像装置１４０１による撮像によって生成された画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【００２２】
そして、パーソナルコンピュータ１４０２において、図２のフローチャートのうちステップＳ７〜Ｓ１０の色にじみ補正処理を行ってもよい。この場合、パーソナルコンピュータが本発明にいう画像処理装置として機能する。
【００２３】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００２４】
デフォーカスによる色にじみを良好に補正可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【００２５】
１０１ 撮影光学系
１０２ 撮像素子
１０４ 画像処理部
１１０ システムコントローラ
【特許請求の範囲】
【請求項１】
撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色に関する情報の差から、前記第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段と、
前記第１の画像に対して、前記判定手段によって判定された色にじみを補正する処理を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記撮像系のフォーカス状態の変動に応じた色収差の変動を示す情報と前記第１および第２の画像における各画素の前記色に関する情報とを用いて前記色にじみの量を推定し、該推定量に基づいて前記色にじみを補正する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像により画像を生成する撮像系と、
請求項１又は２に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項４】
コンピュータに、
撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像を取得するステップと、
前記第１および第２の画像における対応画素の色に関する情報の差から、前記第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定ステップと、
前記第１の画像に対して、前記判定ステップにて判定された前記色にじみを補正する処理を行う補正ステップとを含む画像処理を行わせることを特徴とする画像処理プログラム。
【請求項５】
前記補正ステップは、前記コンピュータに、前記撮像系のフォーカス状態の変動に応じた色収差の変動を示す情報と、前記第１および第２の画像における各画素の前記色に関する情報とを用いて前記色にじみの量を推定させ、該推定量に基づいて前記色にじみを補正する処理を行わせることを特徴とする請求項１に記載の画像処理プログラム。
【請求項１】
撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像における対応画素の色に関する情報の差から、前記第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定手段と、
前記第１の画像に対して、前記判定手段によって判定された色にじみを補正する処理を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記撮像系のフォーカス状態の変動に応じた色収差の変動を示す情報と前記第１および第２の画像における各画素の前記色に関する情報とを用いて前記色にじみの量を推定し、該推定量に基づいて前記色にじみを補正する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像により画像を生成する撮像系と、
請求項１又は２に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項４】
コンピュータに、
撮像系により生成された互いにフォーカス状態が異なる第１の画像および第２の画像を取得するステップと、
前記第１および第２の画像における対応画素の色に関する情報の差から、前記第１の画像にデフォーカスによる色にじみが発生しているか否かを判定する判定ステップと、
前記第１の画像に対して、前記判定ステップにて判定された前記色にじみを補正する処理を行う補正ステップとを含む画像処理を行わせることを特徴とする画像処理プログラム。
【請求項５】
前記補正ステップは、前記コンピュータに、前記撮像系のフォーカス状態の変動に応じた色収差の変動を示す情報と、前記第１および第２の画像における各画素の前記色に関する情報とを用いて前記色にじみの量を推定させ、該推定量に基づいて前記色にじみを補正する処理を行わせることを特徴とする請求項１に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１６０２５５（Ｐ２０１１−１６０２５５Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２１０１５（Ｐ２０１０−２１０１５）
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]