画像処理装置およびその方法
【課題】 アーチファクトの発生を抑えて、撮像光学系による画像の暈けを補正する。
【解決手段】 画像処理部104は、撮像デバイス102から画像データを入力し、被写体からの光を撮像デバイス102に結像する撮像光学系101の状態に対応する暈け補正係数を取得する。そして、画像データを暈け補正の対象成分と非対象成分に分離し、暈け補正係数に基づき、対象成分に暈け補正を施し、暈け補正後の対象成分と非対象成分を合成した画像データを生成する。
【解決手段】 画像処理部104は、撮像デバイス102から画像データを入力し、被写体からの光を撮像デバイス102に結像する撮像光学系101の状態に対応する暈け補正係数を取得する。そして、画像データを暈け補正の対象成分と非対象成分に分離し、暈け補正係数に基づき、対象成分に暈け補正を施し、暈け補正後の対象成分と非対象成分を合成した画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系による画像の暈けを補正する画像処理に関する。
【背景技術】
【０００２】
ディジタルカメラ、ディジタルビデオカメラなどの撮像装置は、被写体からの光を、レンズなどで構成される撮像光学系によって、撮像デバイスであるCCDやCMOSセンサ上に導き、結像させる。撮像デバイスは、受光した光を電気信号に変換する。この電気信号に、アナログ-ディジタル(A/D)変換やデモザイキングなど電気信号を画像化するための処理を施して、撮影画像を得る。
【０００３】
撮像デバイスに到達する光は撮像光学系を通過するため、撮影画像の画質は撮像光学系の影響を受ける。例えば、高性能なレンズを使用すれば、画像の周辺領域に至るまで解像度の高い撮影画像を得ることができる。逆に、安価な低性能のレンズを使用すれば、撮影画像の、とくに周辺領域の解像度の低下が著しい。
【０００４】
例えば、星空を撮影する場合、高性能レンズで撮影した画像は一つひとつの星がほぼ点像になる。低性能レンズで撮影した画像の星は点像にならず暈ける。また、人物を撮影する場合、高性能レンズを用いれば一本一本の髪の毛が記録された画像を得ることができるが、低性能レンズを用いれば髪の毛が暈けた画像が得られる。つまり、低性能レンズを使うと精細感に欠ける画像になる。
【０００５】
このような暈けはピントが合っていても発生する、撮像光学系の特性に依存した暈けである。言い換えれば、ピントが合っていてもレンズの性能により撮影画像の解像度に違いが生じる。
【０００６】
撮影画像に画像処理を施して、撮像光学系に起因する画像の暈けを補正する方法がある。この方法は、予めデータ化した撮像光学系の暈けの特性に基づき画像処理を行い、撮像光学系に起因する画像の暈けを補正する。
【０００７】
撮像光学系の暈けの特性をデータ化するには、例えば、点像分布関数(point spread function: PSF)を用いる方法がある。PSFは、被写体の一点がどのように暈けるかを表す。例えば、暗黒下において、体積が非常に小さい発光体（点光源）を撮像光学系を介して撮影した場合、理想的な撮像光学系を用いれば撮像デバイスの面（撮像面）上に結像する光は点になる。しかし、暈けが大きい撮像光学系を用いれば撮像面上に結像する光は点にはならず、ある程度の広がりをもつ。つまり、撮像面上における光の二次元分布が当該撮像光学系のPSFに相当する。実際に撮像光学系のPSFを取得する場合、必ずしも、点光源のような被写体を撮影する必要はない。例えば、白と黒のエッジを有するチャートを撮影した画像から、チャートに対応した計算方法によってPSFを計算することができる。
【０００８】
PSFによって画像の暈けを補正する方法として、逆フィルタを用いる方法が知られている（特許文献1）。説明のため暗黒下で点光源を撮影する場合を想定する。暈けがある撮像光学系を用いれば、点光源から出た光は、撮像面上に、ある程度の広がりを有する光の分布を形成する。光は撮像デバイスによって電気信号になる。この電気信号を画像化すると点光源を撮影したディジタル画像が得られる。暈けがある撮像光学系を用いて撮影した画像は、点光源に対応する一画素だけが零ではない有意の画素値を有するわけではなく、その周辺の画素も零に近いが有意の画素値を有する。この画像を、ほぼ一点で有意な画素値をもつ画像に変換する画像処理が逆フィルタである。逆フィルタによって、恰も暈けが少ない撮像光学系で撮影したような画像が得られる。
【０００９】
上記では、説明のために点光源を例にしたが、被写体からの光も多数の点光源の集まりと考えれば、被写体の各部から放出または各部が反射する光のそれぞれの暈けをなくして、点光源以外の被写体についても暈けが少ない画像が得られる。
【００１０】
次に、逆フィルタの具体的な構成方法を説明する。ここで、暈けがない理想的な撮像光学系を用いて撮影した撮影画像をf(x, y)とする。x、yは、画像の二次元上の画素位置を示し、f(x, y)は画素(x, y)の画素値を表す。一方、暈けがある撮像光学系で撮影した撮影画像をg(x, y)とする。また、暈けがある撮像光学系のPSFをh(x, y)で表す。するとf、g、hには次の関係がなり立つ。
g(x, y) = h(x, y)＊f(x, y) …(1)
ここで、＊はコンボリューションを表す。
【００１１】
画像の暈けの補正（以下、暈け補正）は、暈けがある撮像光学系を用いて撮影した画像gと、当該撮像光学系のPSFであるhから、暈けがない撮像光学系で撮影されるfを推定すること、と言い換えることができる。また、上式をフーリエ変換により空間周波数における表示形式にすると、下式のように周波数ごとの積の形式になる。
G(u, v) = H(u, v)・F(u, v) …(2)
ここで、HはPSFのフーリエ変換である光学伝達関数(optical transfer function: OTF)、
uはx方向の空間周波数、
vはy方向の空間周波数、
Gはgのフーリエ変換、
Fはfのフーリエ変換。
【００１２】
暈けがある撮影画像gから、暈けがない撮影画像fを得るには、下式に示すように、式(2)の両辺をHで除算すればよい。
G(u, v)/H(u, v) = F(u, v) …(3)
【００１３】
式(3)によって得られるF(u, v)を逆フーリエ変換して、実空間に戻せば、暈けがない画像f(x, y)が得られる。
【００１４】
ここで、1/Hの逆フーリエ変換をRとすると、下式に示すように、実空間でコンボリューションを行うことにより、暈けがない画像が得られる。
g(x, y)＊R(x, y) = f(x, y) …(4)
【００１５】
式(4)に示すR(x, y)を逆フィルタと呼ぶ。実際には、H(u, v)が零になる周波数(u, v)において除数0の除算が発生するため、逆フィルタR(x, y)は多少の変形を必要とする。
【００１６】
通常、OTFの値は周波数が高くなるほど小さくなり、OTFの逆数である逆フィルタの値は周波数が高くなるほど大きくなる。従って、逆フィルタを用いて撮影画像のコンボリューションを行うと、撮影画像の高周波成分が強調され、撮影画像に含まれるノイズ（ノイズは一般に高周波成分）を強調することになる。そこで、R(x, y)を変形して、逆フィルタほどは高周波成分を強調しない特性を与える方法が知られている。ノイズを考慮して、高周波成分をあまり強調しないフィルタとしてWienerフィルタが有名である。
【００１７】
このように、撮影画像に含まれるノイズや、OTFが零になる周波数があるなど、理想条件からの乖離により、暈けを完全に取り除くことはできない。しかし、上記処理により暈けを低減することはできる。なお、以降では、逆フィルタやWienerフィルタなど、暈け補正に用いるフィルタをまとめて「回復フィルタ」と呼ぶ。前述したように、回復フィルタは、撮像光学系のPSFを用いて画像処理を行うことが特徴である。
【００１８】
カラー画像は一画素辺り典型的にはRGB三色の画素値を有する。RGB各プレーンの画像に対して個別に暈け補正を行えば、カラー画像の暈けを低減することができる。各プレーンで暈け補正を行う際、撮像光学系の暈け特性は色ごとに異なり、RGBそれぞれの回復フィルタを用いる。
【００１９】
また、立体物を撮影すると、合焦位置に一致する被写体像に比べ、合焦位置の手前または奥に対応する被写体像は暈ける。このような現象から分かるように、撮像光学系の暈けを表すPSFは被写体の距離によって変動する。通常、被写体が合焦位置の手前ないし奥にずれると、撮像面の光の分布の広がりに対応してPSFは変化する。
【００２０】
前述した暈け補正は、合焦位置に対応するPSFを用いる。暈け補正の用途を限定するわけではないが、ピントが合っている状態でもなお発生する撮像光学系の暈けを低減して、より鮮明な画像を得るという動機の下で、暈け補正を行う場合が多いと想定される。合焦位置に対応するPSFを用いて暈けを補正すれば、合焦位置の被写体像に対して最適な暈けの補正効果が得られる。従って、上記動機の下では、合焦位置に対応するPSFを用いて暈け補正を行うのが最適である。しかし、立体物の被写体であればピントが合っていない被写体像が存在する。合焦位置からずれた被写体（または被写体像）を以降「デフォーカス被写体」と呼ぶ。撮影画像の全面に亘って暈けを補正する場合、このデフォーカス被写体も暈けの補正対象になる。
【００２１】
図1はデフォーカス被写体に暈け補正を適用した場合に発生するアーチファクトを説明する図である。
【００２２】
撮像装置14によって人物のような被写体11を撮影した画像の暈けを補正する場合、合焦位置12の被写体像の暈けは良好に補正され、鮮明な画像が得られる。しかし、合焦位置12からずれた位置13における被写体像については、撮像光学系の暈け特性が合焦位置12とは異なり、合焦位置12と同様に暈け補正を行えば、位置13における被写体像の輪郭部には色が付く偽色が発生する。図1に示す例では、被写体像16の腕部に、被写体像16を縁取るように緑色の線（偽色15）が発生するなど、アーチファクトが発生する。
【００２３】
【特許文献１】特開2000-020691公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明は、アーチファクトの発生を抑えて、撮像光学系による画像の暈けを補正することを目的とする。
【００２５】
また、目的に応じた暈け補正係数を算出し、撮像光学系による画像の暈けを補正することを他の目的とする。
【課題を解決するための手段】
【００２６】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００２７】
本発明にかかる画像処理は、撮像デバイスから画像データを入力し、被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得し、前記画像データを暈け補正の対象成分と非対象成分に分離し、前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする。
【００２８】
また、撮像デバイスから画像データを入力し、被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得し、前記波長ごとの光学伝達関数から暈け補正係数を算出し、前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離し、前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する。
【発明の効果】
【００２９】
本発明によれば、アーチファクトの発生を抑えて、撮像光学系による画像の暈けを補正することをができる。
【００３０】
また、目的に応じた暈け補正係数を算出し、撮像光学系による画像の暈けを補正することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００３２】
実施例1では、偽色の発生を抑えつつ、撮像光学系による画像の暈けを補正する撮像装置を説明する。
【００３３】
［装置の構成］
図2は実施例1の撮像装置の構成例を示すブロック図である。
【００３４】
図示しない被写体からの光は、撮像光学系101を介して、撮像デバイス102の受光面（撮像面）に結像する。撮像デバイス102は、結像した光を電気信号に変換する。アナログ-ディジタルコンバータ(A/D)103は、撮像デバイス102から出力される電気信号をディジタル信号（撮像データ）に変換する。なお、撮像デバイス102は、受光面に結像した光信号を受光素子ごとに電気信号に変換する光電変換デバイスである。
【００３５】
画像処理部104は、A/D103から入力される撮像データを記憶部108のRAMに格納し、状態検知部107から撮像装置の撮像状態を示す状態情報（撮像光学系101の状態情報を含む）を取得する。状態検知部107は、撮像装置全体を制御するシステムコントローラ110から状態情報を得てもよいし、例えば撮像光学系101の状態情報を撮像光学系制御部106から得てもよい。
【００３６】
撮像光学系制御部106は、撮像光学系101の絞り101aの開口やレンズ101bの位置を制御して、撮像光学系101を通過する光量および撮像光学系101の合焦位置などを制御する。
【００３７】
次に、画像処理部104は、詳細は後述するが、撮像光学系101の状態情報に応じた暈け補正係数を記憶部108のROMなどから取得し、バッファした撮像データに暈け補正を施す。画像処理部104は、暈け補正した画像データをメモリカードのような記録媒体109に格納したり、表示部105に表示する。なお、撮像光学系101を変更可能な撮像装置の場合、暈け補正係数は撮像光学系101内のメモリに格納すればよい。
【００３８】
ここで撮像光学系101の状態情報とは、撮像光学系の絞り、焦点距離（ズーム位置）、被写体までの距離、像高などの情報である。一般にぼけ特性は前記のパラメータにより様々に変動するため、暈け特性に応じた補正を行うためには、前記のような暈け特性を既定するような各種情報が必要である。
【００３９】
［画像処理部］
図3は画像処理部104の処理を説明するフローチャートである。
【００４０】
画像処理部104は、バッファした撮像データをデモザイキングして画像データを生成する(S101)。なお、画像処理部104は、必要に応じて、デモザイキングに先立ち、例えば、撮像デバイス102の欠陥を補償するような前処理を撮像データに施してもよい。
【００４１】
次に、画像処理部104は、記憶部108から撮像光学系101の状態情報に応じた回復フィルタの係数（暈け補正係数）を取得し(S102)、回復フィルタを用いて、画像データの特定の画像成分に対して暈け補正を施す(S103)。
【００４２】
●暈け補正の詳細
図4は暈け補正を説明するフローチャートである。
【００４３】
画像処理部104は、画像データを色成分と輝度成分に分離する(S201)。例えば画像データがRGBの3プレーンからなる場合、次式により各画素データを輝度成分Y、色成分Ca、Cbに分離する。
Y = Wr×R + Wg×G + Wb×B
Ca = R/G …(5)
Cb = B/G
ここで、Wr、Wg、Wbは重み係数。
【００４４】
上式の重み係数として、Wr=Wg=Wb=1/3などが考えられる。また、上式は一例であり、輝度を表す信号と、色度を表す信号に分離すればよい。例えば、LabやYuvなどの表色系を利用して、輝度成分と色度成分を分離してもよい。
【００４５】
次に、画像処理部104は、暈け補正の対象成分である輝度成分画像に回復フィルタを適用し(S202)、式(5)の逆変換によって、暈け補正後の輝度成分画像と、暈け補正の非対象成分である色成分画像からRGB画像を生成する(S203)。
【００４６】
［回復フィルタの構成］
レンズ設計値に基づき、RGB各色に対するPSFが計算されているとすると、輝度成分画像に対するPSFyは次式で表される。
PSFy = Wr×PSFr + Wg×PSFg + Wb×PSFb …(6)
ここで、PSFrはR成分画像に対するPSF、
PSFgはG成分画像に対するPSF、
PSFbはB成分画像に対するPSF。
【００４７】
式(5)に示す重み係数で各色のPSFを合成すれば、輝度成分画像に対するPSFyが得られる。このPSFyに基づき、輝度成分画像に対する回復フィルタを構成する。つまり、原色に関する撮像光学系101の暈け特性に基づき暈け補正処理の係数を決める。
【００４８】
このように、輝度成分に暈け補正を施して撮像光学系による暈けを補正する。一方、色成分には暈け補正を施さないので、色成分に対する暈け補正の影響を低減して、暈け補正による偽色など、アーティファクトの発生を抑制することができる。
【実施例２】
【００４９】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５０】
実施例2では、アーチファクトの発生を抑えつつ、撮像光学系の暈けを低減する撮像装置を説明する。
【００５１】
実施例1では、デフォーカス被写体の暈けを補正する際に発生する偽色を抑制するため、輝度成分の暈け特性に基づき作成した回復フィルタを使用して、輝度成分画像に暈け補正を施す方法を説明した。実施例2では、回復フィルタの基になる暈け特性を、その特性を考慮して算出し、暈け補正に適用する例を説明する。
【００５２】
［暈け特性の性質］
図5はデフォーカス被写体で偽色が発生する原因を説明する図で、RGBに対応する単一波長光に対するOTFをプロットした図である、
【００５３】
図5(a)は合焦位置の被写体像に対する撮像光学系のOTFを表す図である。つまり、合焦位置においては、RGBに対応するOTFのプロットは重なり、一つの曲線として描かれる。
【００５４】
図5(b)は合焦位置の手前または奥にある被写体像に対する撮像光学系のOTFを表す図である。図5(b)に示す特性は、図5(a)と比較すると、RGBすべてで応答が低下し、暈けが発生していることが分かる。ただし、G成分に関しては、RおよびB成分よりも応答が強い。これは、撮像光学系の特性として、合焦位置からの変動（ずれ）に対して鈍感な（特性の変化が少ない）波長があることを意味する。
【００５５】
図5(c)は合焦位置の暈け特性から作成した回復フィルタの周波数特性を示す図である。この回復フィルタをデフォーカス被写体に適用すれば、暈け補正後の画像の周波数特性は、図5(b)と図5(c)の特性の掛け算になり、図5(d)に示すようになる。
【００５６】
図5(d)に示すように、暈け補正後の特性はG成分が強調され、その結果、偽色が発生して画質劣化が生じる。これが、暈け補正によりデフォーカス被写体で偽色が発生するメカニズムである。
【００５７】
偽色の発生を抑制する目的を考慮すると、合焦位置からの変動に対してOTFの変動が少ない波長成分だけを抽出し、当該成分だけ暈け補正を行う方法が考えられる。以下、この方法による暈け補正を説明する。
【００５８】
［暈け特性の算出］
図6は暈け特性の作成方法を示すフローチャートである。
【００５９】
波長ごとのOTFを撮像光学系の設計値から光線追跡法などによって算出する(S301)。
【００６０】
あるいは、公差などを考慮して、より現実的な撮像光学系のOTFを計算してもよい。実際の撮像光学系には公差として、例えばレンズの取付位置のずれなど、許容できる誤差の範囲が規定されている場合がある。撮像光学系は、この公差の範囲で製造されるため、実際の撮像光学系のOTFは設計値から計算されるOTFとは若干異なることがある。そのため公差を考慮して、より現実的な撮像光学系のOTFを波長ごとに計算してもよい。
【００６１】
具体的には各種誤差の範囲内で複数のOTFを計算し、その平均のOTFを求めれば、現実的な撮像光学系のOTFとなる。なお公差によるOTFの変動が大きい場合には、暈け補正結果の変動も大きくなる。そこで、公差によるOTF変動が大きい空間周波数で回復の度合いを抑えるように回復フィルタを構成して、暈け補正後の品質を揃えるなどの工夫も考えられる。
【００６２】
波長の刻みは、可視光の波長範囲を例えば10nmおきに刻めばよい。刻みは、細かいほど精度が上がるが、反面、処理負荷が大きくなる。この点を考慮して、刻みを適宜定める。
【００６３】
次に、ある重み係数を与えて波長ごとのOTFを合成する(S302)。図7は波長ごとのOTFを合成する概念図である。合成は、各波長のOTFを加重平均すればよい。合成に使用する重み係数は、繰り返し処理によって最適化される係数である。重み係数の初期値は、例えば全波長で一律に設定すればよい。また、上記の目的（偽色の発生の抑制）を達成するには、合焦位置からの変動に対するOTFに注目する必要がある。従って、合焦位置のOTFに加え、同様に、合焦位置からずれた複数の位置の波長ごとのOTFを計算し、同じ重み係数を使用して波長ごとのOTFを合成する。
【００６４】
次に、評価式に基づき、合焦位置の合成後のOTF（以下、合焦位置OTF）と、合焦位置からずれた複数の位置の合成後のOTF（以下、非合焦位置OTF）を比較して、それらの変動を評価する。例えば、合焦位置OTFおよび複数の非合焦位置OTFからなるOTFの集合の標準偏差を評価値として計算し(S303)、評価値が所定の閾値未満（評価値＜閾値）になれば重み係数を適切と判断する(S304)。その場合、ステップS302で合成に使用した重み係数、および、ステップS302で計算した合焦位置OTFを暈け補正に使用する。
【００６５】
また、評価値≧閾値の場合は、重み係数を変更して(S305)、処理をステップS302に戻し、評価値＜閾値を満足するまで重み係数を変更する。
【００６６】
以上の処理により、合焦位置からのずれに対して特性の変化が少ない波長に対する重み係数を大きくした合焦位置OTFを得ることができる。なお、合焦位置からのずれに対する特性の変化が少ない波長は、必ずしも一つとは限らない。従って、上記の処理によって二組の重み係数、つまり、合焦位置からのずれに対する特性の変化が少ない二つの波長の重みを大きくする二組の重み係数を得て、それら重み係数の平均値、および、それら合焦位置OTFの合成を暈け補正に使用してもよい。
【００６７】
［画像処理部］
図8は実施例2の画像処理部104の処理を説明するフローチャートである。
【００６８】
画像処理部104は、バッファした撮像データをデモザイキングして画像データを生成する(S401)。なお、画像処理部104は、必要に応じて、デモザイキングに先立ち、例えば、撮像デバイス102の欠陥を補償するような前処理を撮像データに施してもよい。
【００６９】
次に、画像処理部104は、記憶部108から撮像光学系101の状態情報に応じた合焦位置およびその前後の、波長ごとのOTFを取得し(S402)、上記の処理によって重み係数を決定する。そして、合焦位置OTFを算出して、回復フィルタを作成（暈け補正係数を算出）する(S403)。なお、撮像光学系101の状態情報に対応した暈け補正係数と重み係数を予め算出して記憶部108のテーブルに記録しておいてもよい。そうすれば、テーブルを参照して撮像光学系101の状態情報から暈け補正係数と重み係数を取得することができる。なお、撮像光学系101を変更可能な撮像装置の場合、当該テーブルは撮像光学系101内のメモリに格納すればよい。
【００７０】
次に、画像処理部104は、暈け補正対象の画像データを補正対象成分と、非補正対象成分に分離する(S404)。画像データを補正対象成分と非補正対象成分に分離する意味は次のとおりである。
【００７１】
合焦位置からのずれに対して特性の変化が少ない波長を考慮して算出した重み係数w(λ)と同様の分光分布の光に対して、撮像光学系の合焦位置からのずれに対する特性変化は少ないと言える。このような分光分布の光を撮影すると、そのRGB値は(Wr', Wg', Wb')に比例する。従って、RGB値を三次元ベクトルとして考えた場合、ベクトル(Wr', Wg', Wb')への射影が合焦位置からのずれに対して特性の変化が少ない成分になる。また逆に、ベクトル(Wr', Wg', Wb')に直交する成分が合焦位置からのずれに対して特性変化が大きい成分である。補正対象成分Jは、RGB値のベクトル(Wr', Wg', Wb')への射影成分であるため、補正対象成分Jは合焦位置からのずれに対して暈け特性の変化が少ない。
【００７２】
画像処理部104は、ステップS403で決定した重み係数をw(λ)とし、RGBチャネルそれぞれの分光感度をRr(λ)、Rg(λ)、Rb(λ)として、分離係数Wr'、Wg'、Wb'を次式によって計算する。
Wr' = ∫Rr(λ)w(λ)dλ
Wg' = ∫Rg(λ)w(λ)dλ …(7)
Wb' = ∫Rb(λ)w(λ)dλ
【００７３】
続いて、画像処理部104は、分離係数を用いてRGBプレーンから次式によって補正対象成分Jを計算する。
J = Wr'×R + Wg'×G + Wb'×B …(8)
【００７４】
式(8)は実施例1の輝度成分画像の式(5)に類似する。しかし、係数Wr'、Wg'、Wb'は特定の目的に適うよう選定した重み係数w(λ)を用いて算出されている。この点で、実施例1の係数Wr、Wg、Wbとは異なる。
【００７５】
続いて、画像処理部104は、非補正対象成分Ca'、Cb'を次式によって計算する。
Ca' = Ca'r×R + Ca'g×G + Ca'b×B
Cb' = Cb'r×R + Cb'g×G + Cb'b×B …(9)
【００７６】
なお、式(9)の係数Ca'r、Ca'g、Ca'b、Cb'r、Cb'g、Cb'bは次式を満たすように作成する。
Wr'×Ca'r + Wg'×Ca'g + Wb'×Ca'b = 0
Wr'×Cb'r + Wg'×Cb'g + Wb'×Cb'b = 0 …(10)
【００７７】
次に、画像処理部104は、ステップS403で作成した回復フィルタを用いて、補正対象成分Jに暈け補正を施す(S405)。そして、式(8)(9)の逆変換によって、暈け補正後の補正対象成分Jと、非補正対象成分Ca'、Cb'からRGB画像を生成する(S406)。
【００７８】
このように、目的（偽色の発生の抑制）に応じて、合焦位置からのずれに対する特性の変化が少ない波長の重み係数を大きくして、波長ごとのOTFを合成する。そして、合焦位置からのずれに対する特性の変化が少ない波長成分に対応する画像成分を抽出して、当該画像成分に合成したOTFに基づく暈け補正を施す。その結果、偽色の発生を抑制した暈け補正が可能になる。
【００７９】
なお、上記では目的として偽色の発生の抑制を例に挙げたが、例えば、特定の波長成分を有する被写体画像のみ暈け補正を施すなどが挙げられる。例えば、人間の肌の分光反射率に基づき波長ごとに合成したOTFを使用して、人間の肌に対応する画像成分に暈け補正を施せば、人物像の暈けを低減した画像を得ることができる。また、このような暈け補正は、通常、RGB3プレーンについて必要な暈け補正を、人物像に相関が高い1プレーンに絞って行うことができるため、高速な処理を実現することができる。
【００８０】
また、撮像光学系の製造ばらつきが特定の波長について大きい場合、製造ばらつきの少ない波長に基づき波長ごとに合成したOTFを使用して、製造ばらつきの少ない波長に対応する画像成分に暈け補正を施すことができる。こうすれば、製造ばらつきの影響によるアーチファクトの発生を抑制した暈け補正を実現することができる。
【００８１】
このように、目的に応じて暈け特性を算出し、算出した暈け特性に基づき撮像光学系の暈けを補正して、暈け補正による偽色など、アーチファクトの発生を抑制することができる。
【００８２】
［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。
【００８３】
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。
【００８４】
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００８５】
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００８６】
本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
【図面の簡単な説明】
【００８７】
【図１】デフォーカス被写体に暈け補正を適用した場合に発生するアーチファクトを説明する図、
【図２】実施例の撮像装置の構成例を示すブロック図、
【図３】画像処理部の処理を説明するフローチャート、
【図４】暈け補正を説明するフローチャート、
【図５】デフォーカス被写体で偽色が発生する原因を説明する図、
【図６】暈け特性の作成方法を示すフローチャート、
【図７】波長ごとのOTFを合成する概念図、
【図８】実施例2の画像処理部の処理を説明するフローチャートである。
【技術分野】
【０００１】
本発明は、撮像光学系による画像の暈けを補正する画像処理に関する。
【背景技術】
【０００２】
ディジタルカメラ、ディジタルビデオカメラなどの撮像装置は、被写体からの光を、レンズなどで構成される撮像光学系によって、撮像デバイスであるCCDやCMOSセンサ上に導き、結像させる。撮像デバイスは、受光した光を電気信号に変換する。この電気信号に、アナログ-ディジタル(A/D)変換やデモザイキングなど電気信号を画像化するための処理を施して、撮影画像を得る。
【０００３】
撮像デバイスに到達する光は撮像光学系を通過するため、撮影画像の画質は撮像光学系の影響を受ける。例えば、高性能なレンズを使用すれば、画像の周辺領域に至るまで解像度の高い撮影画像を得ることができる。逆に、安価な低性能のレンズを使用すれば、撮影画像の、とくに周辺領域の解像度の低下が著しい。
【０００４】
例えば、星空を撮影する場合、高性能レンズで撮影した画像は一つひとつの星がほぼ点像になる。低性能レンズで撮影した画像の星は点像にならず暈ける。また、人物を撮影する場合、高性能レンズを用いれば一本一本の髪の毛が記録された画像を得ることができるが、低性能レンズを用いれば髪の毛が暈けた画像が得られる。つまり、低性能レンズを使うと精細感に欠ける画像になる。
【０００５】
このような暈けはピントが合っていても発生する、撮像光学系の特性に依存した暈けである。言い換えれば、ピントが合っていてもレンズの性能により撮影画像の解像度に違いが生じる。
【０００６】
撮影画像に画像処理を施して、撮像光学系に起因する画像の暈けを補正する方法がある。この方法は、予めデータ化した撮像光学系の暈けの特性に基づき画像処理を行い、撮像光学系に起因する画像の暈けを補正する。
【０００７】
撮像光学系の暈けの特性をデータ化するには、例えば、点像分布関数(point spread function: PSF)を用いる方法がある。PSFは、被写体の一点がどのように暈けるかを表す。例えば、暗黒下において、体積が非常に小さい発光体（点光源）を撮像光学系を介して撮影した場合、理想的な撮像光学系を用いれば撮像デバイスの面（撮像面）上に結像する光は点になる。しかし、暈けが大きい撮像光学系を用いれば撮像面上に結像する光は点にはならず、ある程度の広がりをもつ。つまり、撮像面上における光の二次元分布が当該撮像光学系のPSFに相当する。実際に撮像光学系のPSFを取得する場合、必ずしも、点光源のような被写体を撮影する必要はない。例えば、白と黒のエッジを有するチャートを撮影した画像から、チャートに対応した計算方法によってPSFを計算することができる。
【０００８】
PSFによって画像の暈けを補正する方法として、逆フィルタを用いる方法が知られている（特許文献1）。説明のため暗黒下で点光源を撮影する場合を想定する。暈けがある撮像光学系を用いれば、点光源から出た光は、撮像面上に、ある程度の広がりを有する光の分布を形成する。光は撮像デバイスによって電気信号になる。この電気信号を画像化すると点光源を撮影したディジタル画像が得られる。暈けがある撮像光学系を用いて撮影した画像は、点光源に対応する一画素だけが零ではない有意の画素値を有するわけではなく、その周辺の画素も零に近いが有意の画素値を有する。この画像を、ほぼ一点で有意な画素値をもつ画像に変換する画像処理が逆フィルタである。逆フィルタによって、恰も暈けが少ない撮像光学系で撮影したような画像が得られる。
【０００９】
上記では、説明のために点光源を例にしたが、被写体からの光も多数の点光源の集まりと考えれば、被写体の各部から放出または各部が反射する光のそれぞれの暈けをなくして、点光源以外の被写体についても暈けが少ない画像が得られる。
【００１０】
次に、逆フィルタの具体的な構成方法を説明する。ここで、暈けがない理想的な撮像光学系を用いて撮影した撮影画像をf(x, y)とする。x、yは、画像の二次元上の画素位置を示し、f(x, y)は画素(x, y)の画素値を表す。一方、暈けがある撮像光学系で撮影した撮影画像をg(x, y)とする。また、暈けがある撮像光学系のPSFをh(x, y)で表す。するとf、g、hには次の関係がなり立つ。
g(x, y) = h(x, y)＊f(x, y) …(1)
ここで、＊はコンボリューションを表す。
【００１１】
画像の暈けの補正（以下、暈け補正）は、暈けがある撮像光学系を用いて撮影した画像gと、当該撮像光学系のPSFであるhから、暈けがない撮像光学系で撮影されるfを推定すること、と言い換えることができる。また、上式をフーリエ変換により空間周波数における表示形式にすると、下式のように周波数ごとの積の形式になる。
G(u, v) = H(u, v)・F(u, v) …(2)
ここで、HはPSFのフーリエ変換である光学伝達関数(optical transfer function: OTF)、
uはx方向の空間周波数、
vはy方向の空間周波数、
Gはgのフーリエ変換、
Fはfのフーリエ変換。
【００１２】
暈けがある撮影画像gから、暈けがない撮影画像fを得るには、下式に示すように、式(2)の両辺をHで除算すればよい。
G(u, v)/H(u, v) = F(u, v) …(3)
【００１３】
式(3)によって得られるF(u, v)を逆フーリエ変換して、実空間に戻せば、暈けがない画像f(x, y)が得られる。
【００１４】
ここで、1/Hの逆フーリエ変換をRとすると、下式に示すように、実空間でコンボリューションを行うことにより、暈けがない画像が得られる。
g(x, y)＊R(x, y) = f(x, y) …(4)
【００１５】
式(4)に示すR(x, y)を逆フィルタと呼ぶ。実際には、H(u, v)が零になる周波数(u, v)において除数0の除算が発生するため、逆フィルタR(x, y)は多少の変形を必要とする。
【００１６】
通常、OTFの値は周波数が高くなるほど小さくなり、OTFの逆数である逆フィルタの値は周波数が高くなるほど大きくなる。従って、逆フィルタを用いて撮影画像のコンボリューションを行うと、撮影画像の高周波成分が強調され、撮影画像に含まれるノイズ（ノイズは一般に高周波成分）を強調することになる。そこで、R(x, y)を変形して、逆フィルタほどは高周波成分を強調しない特性を与える方法が知られている。ノイズを考慮して、高周波成分をあまり強調しないフィルタとしてWienerフィルタが有名である。
【００１７】
このように、撮影画像に含まれるノイズや、OTFが零になる周波数があるなど、理想条件からの乖離により、暈けを完全に取り除くことはできない。しかし、上記処理により暈けを低減することはできる。なお、以降では、逆フィルタやWienerフィルタなど、暈け補正に用いるフィルタをまとめて「回復フィルタ」と呼ぶ。前述したように、回復フィルタは、撮像光学系のPSFを用いて画像処理を行うことが特徴である。
【００１８】
カラー画像は一画素辺り典型的にはRGB三色の画素値を有する。RGB各プレーンの画像に対して個別に暈け補正を行えば、カラー画像の暈けを低減することができる。各プレーンで暈け補正を行う際、撮像光学系の暈け特性は色ごとに異なり、RGBそれぞれの回復フィルタを用いる。
【００１９】
また、立体物を撮影すると、合焦位置に一致する被写体像に比べ、合焦位置の手前または奥に対応する被写体像は暈ける。このような現象から分かるように、撮像光学系の暈けを表すPSFは被写体の距離によって変動する。通常、被写体が合焦位置の手前ないし奥にずれると、撮像面の光の分布の広がりに対応してPSFは変化する。
【００２０】
前述した暈け補正は、合焦位置に対応するPSFを用いる。暈け補正の用途を限定するわけではないが、ピントが合っている状態でもなお発生する撮像光学系の暈けを低減して、より鮮明な画像を得るという動機の下で、暈け補正を行う場合が多いと想定される。合焦位置に対応するPSFを用いて暈けを補正すれば、合焦位置の被写体像に対して最適な暈けの補正効果が得られる。従って、上記動機の下では、合焦位置に対応するPSFを用いて暈け補正を行うのが最適である。しかし、立体物の被写体であればピントが合っていない被写体像が存在する。合焦位置からずれた被写体（または被写体像）を以降「デフォーカス被写体」と呼ぶ。撮影画像の全面に亘って暈けを補正する場合、このデフォーカス被写体も暈けの補正対象になる。
【００２１】
図1はデフォーカス被写体に暈け補正を適用した場合に発生するアーチファクトを説明する図である。
【００２２】
撮像装置14によって人物のような被写体11を撮影した画像の暈けを補正する場合、合焦位置12の被写体像の暈けは良好に補正され、鮮明な画像が得られる。しかし、合焦位置12からずれた位置13における被写体像については、撮像光学系の暈け特性が合焦位置12とは異なり、合焦位置12と同様に暈け補正を行えば、位置13における被写体像の輪郭部には色が付く偽色が発生する。図1に示す例では、被写体像16の腕部に、被写体像16を縁取るように緑色の線（偽色15）が発生するなど、アーチファクトが発生する。
【００２３】
【特許文献１】特開2000-020691公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明は、アーチファクトの発生を抑えて、撮像光学系による画像の暈けを補正することを目的とする。
【００２５】
また、目的に応じた暈け補正係数を算出し、撮像光学系による画像の暈けを補正することを他の目的とする。
【課題を解決するための手段】
【００２６】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００２７】
本発明にかかる画像処理は、撮像デバイスから画像データを入力し、被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得し、前記画像データを暈け補正の対象成分と非対象成分に分離し、前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする。
【００２８】
また、撮像デバイスから画像データを入力し、被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得し、前記波長ごとの光学伝達関数から暈け補正係数を算出し、前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離し、前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する。
【発明の効果】
【００２９】
本発明によれば、アーチファクトの発生を抑えて、撮像光学系による画像の暈けを補正することをができる。
【００３０】
また、目的に応じた暈け補正係数を算出し、撮像光学系による画像の暈けを補正することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００３２】
実施例1では、偽色の発生を抑えつつ、撮像光学系による画像の暈けを補正する撮像装置を説明する。
【００３３】
［装置の構成］
図2は実施例1の撮像装置の構成例を示すブロック図である。
【００３４】
図示しない被写体からの光は、撮像光学系101を介して、撮像デバイス102の受光面（撮像面）に結像する。撮像デバイス102は、結像した光を電気信号に変換する。アナログ-ディジタルコンバータ(A/D)103は、撮像デバイス102から出力される電気信号をディジタル信号（撮像データ）に変換する。なお、撮像デバイス102は、受光面に結像した光信号を受光素子ごとに電気信号に変換する光電変換デバイスである。
【００３５】
画像処理部104は、A/D103から入力される撮像データを記憶部108のRAMに格納し、状態検知部107から撮像装置の撮像状態を示す状態情報（撮像光学系101の状態情報を含む）を取得する。状態検知部107は、撮像装置全体を制御するシステムコントローラ110から状態情報を得てもよいし、例えば撮像光学系101の状態情報を撮像光学系制御部106から得てもよい。
【００３６】
撮像光学系制御部106は、撮像光学系101の絞り101aの開口やレンズ101bの位置を制御して、撮像光学系101を通過する光量および撮像光学系101の合焦位置などを制御する。
【００３７】
次に、画像処理部104は、詳細は後述するが、撮像光学系101の状態情報に応じた暈け補正係数を記憶部108のROMなどから取得し、バッファした撮像データに暈け補正を施す。画像処理部104は、暈け補正した画像データをメモリカードのような記録媒体109に格納したり、表示部105に表示する。なお、撮像光学系101を変更可能な撮像装置の場合、暈け補正係数は撮像光学系101内のメモリに格納すればよい。
【００３８】
ここで撮像光学系101の状態情報とは、撮像光学系の絞り、焦点距離（ズーム位置）、被写体までの距離、像高などの情報である。一般にぼけ特性は前記のパラメータにより様々に変動するため、暈け特性に応じた補正を行うためには、前記のような暈け特性を既定するような各種情報が必要である。
【００３９】
［画像処理部］
図3は画像処理部104の処理を説明するフローチャートである。
【００４０】
画像処理部104は、バッファした撮像データをデモザイキングして画像データを生成する(S101)。なお、画像処理部104は、必要に応じて、デモザイキングに先立ち、例えば、撮像デバイス102の欠陥を補償するような前処理を撮像データに施してもよい。
【００４１】
次に、画像処理部104は、記憶部108から撮像光学系101の状態情報に応じた回復フィルタの係数（暈け補正係数）を取得し(S102)、回復フィルタを用いて、画像データの特定の画像成分に対して暈け補正を施す(S103)。
【００４２】
●暈け補正の詳細
図4は暈け補正を説明するフローチャートである。
【００４３】
画像処理部104は、画像データを色成分と輝度成分に分離する(S201)。例えば画像データがRGBの3プレーンからなる場合、次式により各画素データを輝度成分Y、色成分Ca、Cbに分離する。
Y = Wr×R + Wg×G + Wb×B
Ca = R/G …(5)
Cb = B/G
ここで、Wr、Wg、Wbは重み係数。
【００４４】
上式の重み係数として、Wr=Wg=Wb=1/3などが考えられる。また、上式は一例であり、輝度を表す信号と、色度を表す信号に分離すればよい。例えば、LabやYuvなどの表色系を利用して、輝度成分と色度成分を分離してもよい。
【００４５】
次に、画像処理部104は、暈け補正の対象成分である輝度成分画像に回復フィルタを適用し(S202)、式(5)の逆変換によって、暈け補正後の輝度成分画像と、暈け補正の非対象成分である色成分画像からRGB画像を生成する(S203)。
【００４６】
［回復フィルタの構成］
レンズ設計値に基づき、RGB各色に対するPSFが計算されているとすると、輝度成分画像に対するPSFyは次式で表される。
PSFy = Wr×PSFr + Wg×PSFg + Wb×PSFb …(6)
ここで、PSFrはR成分画像に対するPSF、
PSFgはG成分画像に対するPSF、
PSFbはB成分画像に対するPSF。
【００４７】
式(5)に示す重み係数で各色のPSFを合成すれば、輝度成分画像に対するPSFyが得られる。このPSFyに基づき、輝度成分画像に対する回復フィルタを構成する。つまり、原色に関する撮像光学系101の暈け特性に基づき暈け補正処理の係数を決める。
【００４８】
このように、輝度成分に暈け補正を施して撮像光学系による暈けを補正する。一方、色成分には暈け補正を施さないので、色成分に対する暈け補正の影響を低減して、暈け補正による偽色など、アーティファクトの発生を抑制することができる。
【実施例２】
【００４９】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５０】
実施例2では、アーチファクトの発生を抑えつつ、撮像光学系の暈けを低減する撮像装置を説明する。
【００５１】
実施例1では、デフォーカス被写体の暈けを補正する際に発生する偽色を抑制するため、輝度成分の暈け特性に基づき作成した回復フィルタを使用して、輝度成分画像に暈け補正を施す方法を説明した。実施例2では、回復フィルタの基になる暈け特性を、その特性を考慮して算出し、暈け補正に適用する例を説明する。
【００５２】
［暈け特性の性質］
図5はデフォーカス被写体で偽色が発生する原因を説明する図で、RGBに対応する単一波長光に対するOTFをプロットした図である、
【００５３】
図5(a)は合焦位置の被写体像に対する撮像光学系のOTFを表す図である。つまり、合焦位置においては、RGBに対応するOTFのプロットは重なり、一つの曲線として描かれる。
【００５４】
図5(b)は合焦位置の手前または奥にある被写体像に対する撮像光学系のOTFを表す図である。図5(b)に示す特性は、図5(a)と比較すると、RGBすべてで応答が低下し、暈けが発生していることが分かる。ただし、G成分に関しては、RおよびB成分よりも応答が強い。これは、撮像光学系の特性として、合焦位置からの変動（ずれ）に対して鈍感な（特性の変化が少ない）波長があることを意味する。
【００５５】
図5(c)は合焦位置の暈け特性から作成した回復フィルタの周波数特性を示す図である。この回復フィルタをデフォーカス被写体に適用すれば、暈け補正後の画像の周波数特性は、図5(b)と図5(c)の特性の掛け算になり、図5(d)に示すようになる。
【００５６】
図5(d)に示すように、暈け補正後の特性はG成分が強調され、その結果、偽色が発生して画質劣化が生じる。これが、暈け補正によりデフォーカス被写体で偽色が発生するメカニズムである。
【００５７】
偽色の発生を抑制する目的を考慮すると、合焦位置からの変動に対してOTFの変動が少ない波長成分だけを抽出し、当該成分だけ暈け補正を行う方法が考えられる。以下、この方法による暈け補正を説明する。
【００５８】
［暈け特性の算出］
図6は暈け特性の作成方法を示すフローチャートである。
【００５９】
波長ごとのOTFを撮像光学系の設計値から光線追跡法などによって算出する(S301)。
【００６０】
あるいは、公差などを考慮して、より現実的な撮像光学系のOTFを計算してもよい。実際の撮像光学系には公差として、例えばレンズの取付位置のずれなど、許容できる誤差の範囲が規定されている場合がある。撮像光学系は、この公差の範囲で製造されるため、実際の撮像光学系のOTFは設計値から計算されるOTFとは若干異なることがある。そのため公差を考慮して、より現実的な撮像光学系のOTFを波長ごとに計算してもよい。
【００６１】
具体的には各種誤差の範囲内で複数のOTFを計算し、その平均のOTFを求めれば、現実的な撮像光学系のOTFとなる。なお公差によるOTFの変動が大きい場合には、暈け補正結果の変動も大きくなる。そこで、公差によるOTF変動が大きい空間周波数で回復の度合いを抑えるように回復フィルタを構成して、暈け補正後の品質を揃えるなどの工夫も考えられる。
【００６２】
波長の刻みは、可視光の波長範囲を例えば10nmおきに刻めばよい。刻みは、細かいほど精度が上がるが、反面、処理負荷が大きくなる。この点を考慮して、刻みを適宜定める。
【００６３】
次に、ある重み係数を与えて波長ごとのOTFを合成する(S302)。図7は波長ごとのOTFを合成する概念図である。合成は、各波長のOTFを加重平均すればよい。合成に使用する重み係数は、繰り返し処理によって最適化される係数である。重み係数の初期値は、例えば全波長で一律に設定すればよい。また、上記の目的（偽色の発生の抑制）を達成するには、合焦位置からの変動に対するOTFに注目する必要がある。従って、合焦位置のOTFに加え、同様に、合焦位置からずれた複数の位置の波長ごとのOTFを計算し、同じ重み係数を使用して波長ごとのOTFを合成する。
【００６４】
次に、評価式に基づき、合焦位置の合成後のOTF（以下、合焦位置OTF）と、合焦位置からずれた複数の位置の合成後のOTF（以下、非合焦位置OTF）を比較して、それらの変動を評価する。例えば、合焦位置OTFおよび複数の非合焦位置OTFからなるOTFの集合の標準偏差を評価値として計算し(S303)、評価値が所定の閾値未満（評価値＜閾値）になれば重み係数を適切と判断する(S304)。その場合、ステップS302で合成に使用した重み係数、および、ステップS302で計算した合焦位置OTFを暈け補正に使用する。
【００６５】
また、評価値≧閾値の場合は、重み係数を変更して(S305)、処理をステップS302に戻し、評価値＜閾値を満足するまで重み係数を変更する。
【００６６】
以上の処理により、合焦位置からのずれに対して特性の変化が少ない波長に対する重み係数を大きくした合焦位置OTFを得ることができる。なお、合焦位置からのずれに対する特性の変化が少ない波長は、必ずしも一つとは限らない。従って、上記の処理によって二組の重み係数、つまり、合焦位置からのずれに対する特性の変化が少ない二つの波長の重みを大きくする二組の重み係数を得て、それら重み係数の平均値、および、それら合焦位置OTFの合成を暈け補正に使用してもよい。
【００６７】
［画像処理部］
図8は実施例2の画像処理部104の処理を説明するフローチャートである。
【００６８】
画像処理部104は、バッファした撮像データをデモザイキングして画像データを生成する(S401)。なお、画像処理部104は、必要に応じて、デモザイキングに先立ち、例えば、撮像デバイス102の欠陥を補償するような前処理を撮像データに施してもよい。
【００６９】
次に、画像処理部104は、記憶部108から撮像光学系101の状態情報に応じた合焦位置およびその前後の、波長ごとのOTFを取得し(S402)、上記の処理によって重み係数を決定する。そして、合焦位置OTFを算出して、回復フィルタを作成（暈け補正係数を算出）する(S403)。なお、撮像光学系101の状態情報に対応した暈け補正係数と重み係数を予め算出して記憶部108のテーブルに記録しておいてもよい。そうすれば、テーブルを参照して撮像光学系101の状態情報から暈け補正係数と重み係数を取得することができる。なお、撮像光学系101を変更可能な撮像装置の場合、当該テーブルは撮像光学系101内のメモリに格納すればよい。
【００７０】
次に、画像処理部104は、暈け補正対象の画像データを補正対象成分と、非補正対象成分に分離する(S404)。画像データを補正対象成分と非補正対象成分に分離する意味は次のとおりである。
【００７１】
合焦位置からのずれに対して特性の変化が少ない波長を考慮して算出した重み係数w(λ)と同様の分光分布の光に対して、撮像光学系の合焦位置からのずれに対する特性変化は少ないと言える。このような分光分布の光を撮影すると、そのRGB値は(Wr', Wg', Wb')に比例する。従って、RGB値を三次元ベクトルとして考えた場合、ベクトル(Wr', Wg', Wb')への射影が合焦位置からのずれに対して特性の変化が少ない成分になる。また逆に、ベクトル(Wr', Wg', Wb')に直交する成分が合焦位置からのずれに対して特性変化が大きい成分である。補正対象成分Jは、RGB値のベクトル(Wr', Wg', Wb')への射影成分であるため、補正対象成分Jは合焦位置からのずれに対して暈け特性の変化が少ない。
【００７２】
画像処理部104は、ステップS403で決定した重み係数をw(λ)とし、RGBチャネルそれぞれの分光感度をRr(λ)、Rg(λ)、Rb(λ)として、分離係数Wr'、Wg'、Wb'を次式によって計算する。
Wr' = ∫Rr(λ)w(λ)dλ
Wg' = ∫Rg(λ)w(λ)dλ …(7)
Wb' = ∫Rb(λ)w(λ)dλ
【００７３】
続いて、画像処理部104は、分離係数を用いてRGBプレーンから次式によって補正対象成分Jを計算する。
J = Wr'×R + Wg'×G + Wb'×B …(8)
【００７４】
式(8)は実施例1の輝度成分画像の式(5)に類似する。しかし、係数Wr'、Wg'、Wb'は特定の目的に適うよう選定した重み係数w(λ)を用いて算出されている。この点で、実施例1の係数Wr、Wg、Wbとは異なる。
【００７５】
続いて、画像処理部104は、非補正対象成分Ca'、Cb'を次式によって計算する。
Ca' = Ca'r×R + Ca'g×G + Ca'b×B
Cb' = Cb'r×R + Cb'g×G + Cb'b×B …(9)
【００７６】
なお、式(9)の係数Ca'r、Ca'g、Ca'b、Cb'r、Cb'g、Cb'bは次式を満たすように作成する。
Wr'×Ca'r + Wg'×Ca'g + Wb'×Ca'b = 0
Wr'×Cb'r + Wg'×Cb'g + Wb'×Cb'b = 0 …(10)
【００７７】
次に、画像処理部104は、ステップS403で作成した回復フィルタを用いて、補正対象成分Jに暈け補正を施す(S405)。そして、式(8)(9)の逆変換によって、暈け補正後の補正対象成分Jと、非補正対象成分Ca'、Cb'からRGB画像を生成する(S406)。
【００７８】
このように、目的（偽色の発生の抑制）に応じて、合焦位置からのずれに対する特性の変化が少ない波長の重み係数を大きくして、波長ごとのOTFを合成する。そして、合焦位置からのずれに対する特性の変化が少ない波長成分に対応する画像成分を抽出して、当該画像成分に合成したOTFに基づく暈け補正を施す。その結果、偽色の発生を抑制した暈け補正が可能になる。
【００７９】
なお、上記では目的として偽色の発生の抑制を例に挙げたが、例えば、特定の波長成分を有する被写体画像のみ暈け補正を施すなどが挙げられる。例えば、人間の肌の分光反射率に基づき波長ごとに合成したOTFを使用して、人間の肌に対応する画像成分に暈け補正を施せば、人物像の暈けを低減した画像を得ることができる。また、このような暈け補正は、通常、RGB3プレーンについて必要な暈け補正を、人物像に相関が高い1プレーンに絞って行うことができるため、高速な処理を実現することができる。
【００８０】
また、撮像光学系の製造ばらつきが特定の波長について大きい場合、製造ばらつきの少ない波長に基づき波長ごとに合成したOTFを使用して、製造ばらつきの少ない波長に対応する画像成分に暈け補正を施すことができる。こうすれば、製造ばらつきの影響によるアーチファクトの発生を抑制した暈け補正を実現することができる。
【００８１】
このように、目的に応じて暈け特性を算出し、算出した暈け特性に基づき撮像光学系の暈けを補正して、暈け補正による偽色など、アーチファクトの発生を抑制することができる。
【００８２】
［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。
【００８３】
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。
【００８４】
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００８５】
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００８６】
本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
【図面の簡単な説明】
【００８７】
【図１】デフォーカス被写体に暈け補正を適用した場合に発生するアーチファクトを説明する図、
【図２】実施例の撮像装置の構成例を示すブロック図、
【図３】画像処理部の処理を説明するフローチャート、
【図４】暈け補正を説明するフローチャート、
【図５】デフォーカス被写体で偽色が発生する原因を説明する図、
【図６】暈け特性の作成方法を示すフローチャート、
【図７】波長ごとのOTFを合成する概念図、
【図８】実施例2の画像処理部の処理を説明するフローチャートである。
【特許請求の範囲】
【請求項１】
撮像デバイスから画像データを入力する入力手段と、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得する取得手段と、
前記画像データを暈け補正の対象成分と非対象成分に分離する分離手段と、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施す補正手段と、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記分離手段は、前記画像データを前記対象成分としての輝度成分画像と、前記非対象成分としての色成分画像に分離することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
撮像デバイスから画像データを入力する入力手段と、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得する取得手段と、
前記波長ごとの光学伝達関数から暈け補正係数を算出する算出手段と、
前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離する分離手段と、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施す補正手段と、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する合成手段とを有することを特徴とする画像処理装置。
【請求項４】
前記算出手段は、前記重み係数を使用して、前記波長ごとの光学伝達関数を加重平均することを特徴とする請求項3に記載された画像処理装置。
【請求項５】
前記取得手段は、前記撮像光学系の合焦位置と前記合焦位置の前後における、前記波長ごとの光学伝達関数を取得し、
前記算出手段は、前記重み係数を使用して、前記合焦位置と前記合焦位置の前後における、前記波長ごとの光学伝達関数それぞれを加重平均し、それら加重平均の標準偏差が所定の閾値未満を示す重み係数における前記合焦位置に対応する加重平均から前記暈け補正係数を算出することを特徴とする請求項3に記載された画像処理装置。
【請求項６】
前記補正手段は、前記撮像光学系による画像の暈けを補正することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
【請求項７】
前記暈け補正係数は、前記撮像光学系の公差データを用いて算出することを特徴とする請求項1から請求項6の何れか一項に記載された画像処理装置。
【請求項８】
撮像デバイスから画像データを入力し、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得し、
前記画像データを暈け補正の対象成分と非対象成分に分離し、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする画像処理方法。
【請求項９】
撮像デバイスから画像データを入力し、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得し、
前記波長ごとの光学伝達関数から暈け補正係数を算出し、
前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離し、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする画像処理方法。
【請求項１０】
前記暈け補正係数は、前記撮像光学系の公差データを用いて算出することを特徴とする請求項8または請求項9に記載された画像処理方法。
【請求項１１】
画像処理装置を制御して、請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１２】
請求項11に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項１】
撮像デバイスから画像データを入力する入力手段と、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得する取得手段と、
前記画像データを暈け補正の対象成分と非対象成分に分離する分離手段と、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施す補正手段と、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記分離手段は、前記画像データを前記対象成分としての輝度成分画像と、前記非対象成分としての色成分画像に分離することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
撮像デバイスから画像データを入力する入力手段と、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得する取得手段と、
前記波長ごとの光学伝達関数から暈け補正係数を算出する算出手段と、
前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離する分離手段と、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施す補正手段と、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成する合成手段とを有することを特徴とする画像処理装置。
【請求項４】
前記算出手段は、前記重み係数を使用して、前記波長ごとの光学伝達関数を加重平均することを特徴とする請求項3に記載された画像処理装置。
【請求項５】
前記取得手段は、前記撮像光学系の合焦位置と前記合焦位置の前後における、前記波長ごとの光学伝達関数を取得し、
前記算出手段は、前記重み係数を使用して、前記合焦位置と前記合焦位置の前後における、前記波長ごとの光学伝達関数それぞれを加重平均し、それら加重平均の標準偏差が所定の閾値未満を示す重み係数における前記合焦位置に対応する加重平均から前記暈け補正係数を算出することを特徴とする請求項3に記載された画像処理装置。
【請求項６】
前記補正手段は、前記撮像光学系による画像の暈けを補正することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
【請求項７】
前記暈け補正係数は、前記撮像光学系の公差データを用いて算出することを特徴とする請求項1から請求項6の何れか一項に記載された画像処理装置。
【請求項８】
撮像デバイスから画像データを入力し、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する暈け補正係数を取得し、
前記画像データを暈け補正の対象成分と非対象成分に分離し、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする画像処理方法。
【請求項９】
撮像デバイスから画像データを入力し、
被写体からの光を前記撮像デバイスに結像する撮像光学系の状態に対応する、波長ごとの光学伝達関数を取得し、
前記波長ごとの光学伝達関数から暈け補正係数を算出し、
前記暈け補正係数の算出に用いた重み係数に基づき、前記画像データを暈け補正の対象成分と非対象成分に分離し、
前記暈け補正係数に基づき、前記対象成分に暈け補正を施し、
前記暈け補正後の対象成分と前記非対象成分を合成した画像データを生成することを特徴とする画像処理方法。
【請求項１０】
前記暈け補正係数は、前記撮像光学系の公差データを用いて算出することを特徴とする請求項8または請求項9に記載された画像処理方法。
【請求項１１】
画像処理装置を制御して、請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１２】
請求項11に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１４０４４２（Ｐ２０１０−１４０４４２Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００８−３１８９３７（Ｐ２００８−３１８９３７）
【出願日】平成２０年１２月１５日（２００８．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年１２月１５日（２００８．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]