画像処理方法、画像処理装置、撮像装置および画像処理プログラム
【課題】MTFの零落ちが存在するような場合でも、高精細な回復画像を得る。
【解決手段】画像処理方法は、撮像装置により生成された入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得て(S11,S12)、該撮影条件に関する情報に応じた撮像装置の光学伝達関数を得る(S13)。また、該方法は、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求め(S14)、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する(S15)。そして、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成する(S16)。この生成された画像回復フィルタを用いて画像回復処理を行う(S17)。
【解決手段】画像処理方法は、撮像装置により生成された入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得て(S11,S12)、該撮影条件に関する情報に応じた撮像装置の光学伝達関数を得る(S13)。また、該方法は、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求め(S14)、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する(S15)。そして、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成する(S16)。この生成された画像回復フィルタを用いて画像回復処理を行う(S17)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置により生成された画像の劣化を低減するための画像回復処理を行う画像処理技術に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系(以下、単に光学系という)の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【0003】
ここにいうぼけ成分は、光学的には、点像分布関数(Point Spread Function:PSF)により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。
【0004】
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(Optical Transfer Function:OTF)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分を、MTF(Modulation Transfer Function)といい、位相成分をPTF(Phase Transfer Function)という。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)およびIm(OTF)はそれぞれ、OTFの実部および虚部を表す。
PTF=tan-1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。
【0005】
劣化画像(入力画像)における振幅成分(MTF)の劣化と位相成分(PTF)の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正(低減)する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の1つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む(コンボリューション)方法が知られている。
【0006】
画像回復処理を効果的に行うためには、光学系のより正確なOTFを得る必要がある。OTFを得る方法は、例えば、光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮像し、その強度分布にフーリエ変換を施すことでも求めることが可能である。
【0007】
きわめて高性能に設計および製造された光学系を除く一般的な光学系のOTFは、像高(画像上での位置)によって大きく変動する。このため、高精度に入力画像に対する画像回復処理を行うためには、像高ごとのOTFの変動に基づいて生成した画像回復フィルタを用いる必要がある。像高に応じて画像回復特性を変更するためには、画像回復処理を周波数空間にて一括して行うのではなく、実空間において画像回復フィルタを変更しながら行うことが望ましい。
【0008】
特許文献1には、画像回復の度合いを調節することを目的とした調節パラメータを有し、画像回復の度合いを連続的に変化させる画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2007−183842号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、光学系のレンズの特性や撮影条件に依っては、撮像素子のナイキスト周波数の帯域内でMTFが零又はほぼ零になる(以下、これを「零落ち」といい、零落ちが生じる周波数を「零落ち周波数」と称する)場合がある。
【0011】
零落ちの原因としては、収差や回折が挙げられる。また、撮像装置の使用者の手振れによっても零落ちが発生する。零落ちの例を図12(a)に示す。横軸は空間周波数を、縦軸はMTFを示す。図中の下向き矢印の周波数で零落ちが生じており、この周波数が零落ち周波数である。
【0012】
画像回復処理に一般的に用いられるウィナーフィルタ(Wiener filter)を用いた場合、画像回復フィルタの周波数特性の絶対値(回復ゲイン特性)は、図12(b)に示すようになる。図12(b)において、横軸は空間周波数を、縦軸は回復ゲイン値を示している。ウィナーフィルタの詳細については後述する。
【0013】
この場合、図中の下向き矢印よりも低周波数側の帯域は増幅されているが、該矢印よりも高周波数側の帯域に対してはローパスフィルタ効果が得られることになる。このときの実空間での画像回復フィルタのプロファイル、すなわちフィルタ内の位置(タップ)ごとの係数値は図12(c)に示すようになる。この画像回復フィルタを用いた画像回復処理を行うと、入力画像における高周波数側のディテールがぼけてしまう。
【0014】
また、図13を用いて別の例を示す。図13(a)の横軸は、サンプリング周波数(ナイキスト周波数の2倍)までの周波数を示している。図13(b)は回復ゲイン特性を示し、図13(c)は実空間での画像回復フィルタのプロファイルを示す。図13(c)では、画像回復フィルタの係数値が狭い位置範囲内の複数箇所で大きく変化している。
【0015】
ここで、光学系の製造誤差や入力画像中の輝度飽和等の原因で、入力画像のPSFが光学系のPSFと異なる場合には、回復された画像(回復画像)にリンギング等のアーティファクトが発生する場合がある。このような場合に、図13(c)に示す画像回復フィルタはPSFの不一致に対して敏感となり、この結果、アーティファクトが発生し易くなる。
【0016】
このように、高精細な回復画像を得るためには、零落ちに対する対策がきわめて重要である。
【0017】
特許文献1では、画像回復の度合いを調節可能にしているが、これは使用者による画像回復の度合いの変更を可能にするものであって、零落ち周波数に応じて画像回復フィルタの特性を変更するものではない。このため、特許文献1にて開示された方法では、零落ちによるアーティファクトを抑制するために画像回復の度合いを下げることはできるが、高精細な回復画像を得ることはできない。
【0018】
本発明は、MTFの零落ちが存在するような場合でも、高精細な回復画像を得ることができるようにした画像処理技術を提供する。
【課題を解決するための手段】
【0019】
本発明の画像処理方法は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【0020】
また、本発明の他の一側面としての画像処理装置は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。
【0021】
なお、撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、撮影画像である入力画像に対して画像回復処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【0022】
さらに、本発明の画像処理プログラムは、コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる、該画像処理プログラムは、入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【発明の効果】
【0023】
本発明によれば、入力画像のうち特定周波数(例えば、零落ち周波数)よりも低周波数側の帯域に対しては画像回復処理を行い、該特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成する。これにより、零落ちが存在するような場合でも、零落ち周波数より高周波数側にて画像のぼけが生じない高精細な回復画像を得ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の実施例1である画像回復処理の流れを示すフローチャート。
【図2】実施例1の画像回復処理における画像回復フィルタを説明する図。
【図3】実施例1の画像回復処理における画像回復フィルタ内の各タップの値を説明する図。
【図4】実施例1の画像処理方法における点像の補正状態を説明する図。
【図5】実施例1の画像処理方法における振幅と位相を説明する図。
【図6】実施例1における互いに異なるアジムス方向のMTFと零落ち周波数を示す図。
【図7】実施例1における互いに直交する2つのアジムス方向のMTFと零落ち周波数を示す図。
【図8】実施例1における窓関数を説明する図。
【図9】実施例1における画像回復フィルタの特性を説明する図。
【図10】実施例1における画像回復フィルタの他の特性を説明する図。
【図11】本発明の実施例2である撮像装置の構成を示すブロック図。
【図12】ウィナーフィルタを用いた従来の画像回復処理を説明する図。
【図13】ウィナーフィルタを用いた従来の画像回復処理を説明する図。
【発明を実施するための形態】
【0025】
以下、本発明の実施例について図面を参照しながら説明する。
【0026】
まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮影光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む撮影光学系の収差を含む光学伝達関数(OTF)により劣化した画像である。撮像素子は、CMOSやCCD等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー(反射面)を含んでもよい。また、撮影光学系は、撮像装置に対して着脱(交換)が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像(入力画像)を生成する信号処理回路により撮像系が構成される。
【0027】
入力画像の色成分は、例えばRGB色成分の情報を有している。色成分の扱いとしては、これ以外にもLCHで表現される明度、色相および彩度や、YCbCrで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、XYZ,Lab,Yuv,JChを用いることが可能であり、さらに色温度を用いることも可能である。
【0028】
入力画像や回復画像(出力画像)には、入力画像を生成した際の撮像装置における撮影光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報(以下、撮影条件情報という)を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
「画像回復処理」
撮像装置により生成された入力画像(劣化画像)をg(x,y)とし、元の画像(劣化していない画像)をf(x,y)とし、光学伝達関数(OTF)のフーリエペアである点像分布関数(PSF)をh(x,y)とする場合、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分または積和)を示し、(x,y)は入力画像上の座標(位置)を示す。
g(x,y)=h(x,y)*f(x,y)
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Hは点像分布関数(PSF)hをフーリエ変換したものであり、光学伝達関数(OTF)に相当する。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
G(u,v)=H(u,v)・F(u,v)
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)
F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)である回復画像が得られる。
【0029】
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像f(x,y)である回復画像を得ることができる。
g(x,y)*R(x,y)=f(x,y)
R(x,y)が画像回復フィルタである。入力画像が2次元であるとき、一般に画像回復フィルタも該2次元画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に画像回復フィルタのタップ数(セル数)が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。
【0030】
画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)等とは全く異なる。また、画像回復フィルタは、光学伝達関数(OTF)に基づいて生成されるため、劣化画像(入力画像)における振幅成分と位相成分の劣化をともに高精度に補正することができる。
【0031】
また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数(OTF)の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のMTF(振幅成分)を全周波数にわたって1に戻すようにMTFを持ち上げるためである。撮影光学系による振幅劣化であるMTFは1に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。
【0032】
したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Nはノイズ成分を表す。
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、式(1)に示すウィナーフィルタのように画像信号とノイズ信号の強度比(SNR)に応じて回復度合いを制御する方法が知られている。
【0033】
【数1】
【0034】
M(u,v)はウィナーフィルタの周波数特性を示し、|H(u,v)|は光学伝達関数(OTF)の絶対値(MTF)を示す。この方法は、周波数ごとに、MTFが小さいほど回復ゲインを抑制し、MTFが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のMTFは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。
【0035】
画像回復フィルタを図2および図3を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図2では、例として、11×11タップの2次元画像回復フィルタを示している。図2では、各タップ内の値(係数値)を省略しているが、この画像回復フィルタの1つの断面を図3に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値(PSF)を、理想的には元の1点に戻す役割を果たす。
【0036】
画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション(畳み込み積分や積和ともいう)される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値(係数値)との積をとり、その総和を中心画素の信号値として置き換える。
【0037】
画像回復処理の実空間と周波数空間での特性を図4および図5を用いて説明する。図4の(a)は画像回復前のPSFを示し、(b)は画像回復後のPSFを示している。また、図5の(M)の(a)は画像回復前のMTFを示し、(M)の(b)は画像回復後のMTFを示している。さらに、図5の(P)の(a)は画像回復前のPTFを示し、(P)の(b)は画像回復後のPTFを示している。画像回復前のPSFは非対称な広がりを持っており、この非対称性によりPTFは周波数に対して非直線的な値を持つ。画像回復処理は、MTFを増幅し、PTFを零に補正するため、画像回復後のPSFは対称で、かつ鮮鋭になる。
【0038】
画像回復フィルタの作成法については、撮影光学系の光学伝達関数(OTF)の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式(1)を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。
【0039】
また、光学伝達関数(OTF)は、同じ撮影条件であっても撮影光学系の像高(画像上での位置)に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。
【0040】
以下、本発明の具体的な実施例について説明する。
【実施例1】
【0041】
図1には、本発明の実施例1である画像処理方法の手順を示している。この画像処理方法は、画像処理装置に含まれるCPU等により構成されるコンピュータがコンピュータプログラムとしての画像処理プログラムに従って実行する。
【0042】
ステップS11では、コンピュータは、撮像装置から入力画像(以下、撮影画像ともいう)を取得する。撮像装置からの撮影画像の取得は、該撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。
【0043】
次にステップS12では、コンピュータは、撮像装置が撮影画像を生成した際の撮影条件に関する情報(以下、撮影条件情報という)を取得する。撮影条件は、撮像光学系の焦点距離や絞り値のほか、撮影距離や撮像装置の識別情報(カメラID)等を含む。また、撮影光学系の交換が可能な撮像装置においては、撮影条件に、該撮影光学系(交換レンズ)の識別情報(レンズID)を含む。撮影条件情報は、撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。
【0044】
次にステップS13では、コントローラは、撮影条件に対応する(適した)光学伝達関数を取得する。この光学伝達関数は、画像処理装置内又は該装置外のメモリに予め保持された複数の光学伝達関数から撮影条件に対応するものを選択して取得してもよい。また、光学伝達関数を生成するための関数を予め記憶しておき、その変数に撮影条件を代入して生成(算出)することで取得してもよい。
【0045】
なお、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に対する光学伝達関数を予めメモリに記憶しておいてもよい。この場合において、実際の撮影条件が記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する光学伝達関数からの補間演算により実際の撮影条件に対応する光学伝達関数を生成できる。これにより、予めメモリに記憶させる光学伝達関数のデータ量を削減することができる。補間処理の方法としては、バイリニア補間(線形補間)やバイキュービック補間等が挙げられるが、どのような方法であってもよい。
【0046】
次にステップS14では、コンピュータは、ステップS13で取得した光学伝達関数を用いて得られる指標値が所定値としての閾値となる特定周波数を求める。本実施例では、光学伝達関数(OTF)の絶対値(MTF)を指標値として用いるが、光学伝達関数を用いて得られる指標値であれば、他の指標値を用いてもよい。詳細については後述する。
【0047】
次にステップS15では、コンピュータは、特定周波数を零とする窓関数を生成する。窓関数の詳細については後述する。
【0048】
次にステップS16では、コンピュータは、光学伝達関数と窓関数とを用いて画像回復フィルタを生成する。この詳細についても後述する。
【0049】
次にステップS17では、コンピュータは、撮影画像に画像回復フィルタをコンボリューションして撮影画像に対する画像回復処理を行う。そして、ステップS18にて回復画像を出力する。
【0050】
ここで、ステップS14での特定周波数の求め方について詳しく説明する。図6には、MTFの周波数特性を示している。ここで示すMTFは、横軸の1を撮像素子の画素ピッチで決まるナイキスト周波数として正規化したものである。図6中の(a),(b),(c)は、撮影光学系において光学特性が互いに異なる3つのアジムス方向でのMTFの例を示している。(a),(b)のMTFが閾値t1となる周波数fa,fbがそれぞれの特定周波数である。(c)のMTFは閾値以下とならないので、特定周波数は存在しない。閾値t1は、目的に応じて適宜設定することが可能である。例えば、特定周波数を、前述した零落ち周波数として使用する場合には、t1=0とすればよい。ただし、実用的にはMTFが完全に0にならなくとも十分小さな値として0と等価とみなせるので、t1=0.03(MTFが3%)等と0よりも大きな値として、MTFがこの値となる周波数を零落ち周波数としての特定周波数としてもよい。
【0051】
偽解像がある場合等のように周波数に対してMTFが0の近傍で増加したり減少したりする場合には、MTFが閾値に対して高い側から低い側に該閾値を通過するように変化する周波数が複数存在することになる。この場合は、該複数の周波数のうち最も低い周波数を特定周波数として用いることが好ましい。
【0052】
さらに、図6に示すようにMTFがアジムス方向によって異なる場合には、特定周波数もアジムス方向によって異なるように設定することが望ましい。この場合、アジムス方向によって異なる特定周波数を関数データとして保持したり、ルックアップテーブルデータとして保持したりすることができる。また、アジムス方向によって異なる特定周波数のうち1つ(例えば最も低い特定周波数)を代表特定周波数として用いることもできる。
【0053】
次に、ステップS16での画像回復フィルタを生成する処理について詳しく説明する。ここでは、画像回復フィルタを設計するための基本となる関数として、例えば前述した式(1)により表されるウィナーフィルタを用いる。式(1)中のM(u,v)と窓関数W(u,v)とを用いて、式(2)に従って画像回復フィルタの周波数特性ML(u,v)を生成する。
【0054】
【数2】
【0055】
ML(u,v)は、窓関数により画像回復処理を行う周波数帯域(以下、画像回復帯域ともいう)を制限された画像回復フィルタである。言い換えれば、窓関数により、撮影画像のうち特定周波数よりも低周波数側の帯域に対しては画像回復処理を行い、特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限するように生成された画像回復フィルタである。
【0056】
このような画像回復フィルタを図9に示す。図9(a)には、図12(a)と同じMTFを示している。横軸は空間周波数を、縦軸はMTFを示す。
【0057】
また、図9(b)には、特定周波数(零落ち周波数)に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。図12(b)との比較から分かるように、図9(b)の画像回復フィルタでは、高周波数側がローパスフィルタ化していないため、図9(c)に示す画像回復フィルタのプロファイル(横軸はフィルタでのタップ位置を、縦軸はタップの係数値を示す)が尖鋭である。このため、この画像回復フィルタを用いて画像回復処理を行うと、撮影画像においてMTFが低いもののディテールとして存在する画像部分をそのままにして(画像回復処理によりぼかすことなく)、低周波数側の画像部分を良好に回復させることができる。
【0058】
また、図10(a)には、図13(a)と同じMTFを示している。横軸は空間周波数を、縦軸はMTFを示す。さらに、図10(b)には、特定周波数(零落ち周波数)に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。また、図10(c)には、画像回復フィルタのプロファイルを示している。図13(b)との比較において、図10(b)の画像回復フィルタでは、係数値が狭い位置範囲内の複数箇所で大きく変化するようなことがない。このため、この画像回復フィルタは、零落ちしていない周波数帯域の画像部分を良好に回復させながらも、PSFの不一致に対して耐性のある画像回復フィルタとなる。
なお、撮像光学系のOTFの特性は、像高、すなわち撮影画像上での位置ごとに異なるため、零落ち周波数も像高に依存する。このため、撮影画像上での位置ごとに特定周波数を求め、該位置ごとに生成する画像回復フィルタの特性を変更するようにしてもよい。特定周波数が異なるという点以外は、本実施例で説明しているフローチャートに従って処理を行えばよい。
【0059】
次に、ステップS15にて生成する窓関数について詳しく説明する。図7には、互いに直交する2つのアジムス方向のMTFを示している。図8(a)および(c)には、図7のMTFの分布を上から(二次元画像面に垂直な方向から)見て示している。図中の破線は、図7に示した閾値t1により決定された、アジムス方向に応じて変化する特定周波数を示す。また、実線は、その内側においては値が0より大きい窓関数の値が、0となる周波数である。ここいう窓関数の値としての0は、1よりも十分小さく、0とみなせる値を含む意味である。
【0060】
図8(b)には、図8(a)に示した窓関数のプロファイルを示している。破線は図8(a)における垂直方向のプロファイルを、実線は同水平方向のプロファイルを示している。図8(b)に示すように、アジムス方向に応じたMTFの零落ち特性に応じて窓関数を生成することが好ましい。図8(b)の窓関数は、アジムス方向に応じて変化する特定周波数(零落ち周波数)に対応する非回転対称な関数である。
【0061】
別の例として、図8(c)および(d)には、アジムス方向に応じて変化する零落ち周波数(特定周波数)のうち最小値を特定周波数(代表特定周波数)として生成された、回転対称な窓関数を示している。この場合、MTFが零落ちしていないにもかかわらず、窓関数によって帯域を制限されているアジムス方向については画像回復帯域が狭くなる。
【0062】
なお、これらのように、アジムス方向に応じて変化する実際のMTF(OTFの絶対値)から得た特定周波数を用いて窓関数を生成することにより、撮影光学系の光学伝達関数(OTF)に精度良く適合した窓関数、ひいては画像回復フィルタを生成することができる。
【0063】
なお、窓関数としては、一般的に知られているガウス窓やハン窓等の窓関数を、光学伝達関数から得られたアジムス方向ごとの特定周波数特性に応じて非対称に変形して用いてもよいし、新たに窓関数を生成してもよい。
【0064】
さらに、アジムス方向に応じて変化する特定周波数に対して精度良く適合する窓関数を生成する方法として、各像高(画像上での位置)でのMTFに基づいて窓関数W(u,v)を生成することができる。この例として、式(3)が挙げられる。
【0065】
【数3】
【0066】
ただし、Nは実数のパラメータである。
【0067】
画像回復処理では、画像回復フィルタを生成するために像高ごとのOTFを用いるため、このように像高ごとのMTFを用いた窓関数を生成することにより、新たにデータ量が増大することはない。さらに、特定周波数のアジムス特性を精度良く関数で再現するのが難しい場合にも、MTFは対応することができる。これは窓関数で抑制すべき周波数とMTFとを対応させることができるためである。
【0068】
図1のフローチャートに戻り、ステップS17では、コンピュータは、ステップS16で生成した画像回復フィルタを用いて撮影画像にコンボリューションを行い、さらに所定の現像処理を行うことで、出力画像としての回復画像を、ステップS18にて出力する。
【0069】
本実施例によれば、MTFの零落ちが存在するような入力画像に対しても、零落ち周波数より高周波数側での画像のぼけやリンギング等の弊害の発生を抑制しつつ、高精細な回復画像を得ることができる。
【実施例2】
【0070】
次に、本発明の実施例2である撮像装置について、図11を用いて説明する。該撮像装置は、実施例1にて説明した画像処理方法による画像回復処理を行う画像処理装置を搭載している。
【0071】
撮影光学系201は、不図示の被写体からの光に被写体像を形成させる。撮像素子202は、該被写体像を光電変換して電気信号であるアナログ信号を出力する。撮像素子202から出力されたアナログ信号は、A/Dコンバータ203によってデジタル信号に変換され、画像処理部204に入力される。
【0072】
画像処置部204は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像(入力画像)を生成する。そして、該撮影画像に対して実施例1で説明した画像回復処理を行う。撮像素子202から画像処理部204のうち撮影画像を生成する部分までの系が撮像系に相当する。また、画像処理部204のうち画像回復処理を行う部分が、入力部、演算部、窓関数生成部、フィルタ生成部および処理部を含む画像処理装置に相当する。
【0073】
画像処理部204に画像回復処理を行わせるために、状態検知部207は、撮影画像を生成する際における撮像装置の撮像条件情報を得る。撮像条件情報については、実施例1にて説明した通りである。状態検知部207は、撮像条件情報をシステムコントローラ210から得てもよい。また、撮影光学系に関する撮像条件情報については、撮影光学系201の絞り201aの動作やズームレンズ又はフォーカスレンズ等のレンズ201bの移動を制御する撮影光学系制御部206から得てもよい。そして、画像処理部204は、図1のフローチャートにより説明した画像回復処理を実行する。光学伝達関数(OTF)または光学伝達関数(OTF)を生成するための係数データは、予め記憶部208に保持されている。
【0074】
画像処理部204は、画像回復処理により生成した出力画像である回復画像を半導体メモリや光ディスク等の画像記録媒体209に出力して記録させたり、表示部205に出力して表示させたりする。以上説明した一連の動作は、システムコントローラ210により制御される。
【0075】
なお、撮影光学系201にはローパスフィルタや赤外線カットフィルタ等の光学素子を含ませてもよい。ただし、ローパスフィルタ等、撮影光学系201の光学伝達関数(OTF)に影響を与える光学素子を用いる場合には、該光学素子に関する画像回復フィルタを作成する時点で該光学素子に関する考慮が必要になる。赤外カットフィルタにおいても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルのそれぞれのPSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。
【0076】
なお、前述したように、撮影光学系201は、撮像装置に対して交換可能なものであってもよい。
【実施例3】
【0077】
実施例2では、画像処理方法を使用する(画像処理装置を搭載した)撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像(入力画像)を、該撮像装置から有線/無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【0078】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0079】
撮像によって劣化した画像に対して良好な画像回復処理を行うことが可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【0080】
201 撮影光学系
202 撮像素子
204:画像処理部
207:撮影条件検知部
【技術分野】
【0001】
本発明は、撮像装置により生成された画像の劣化を低減するための画像回復処理を行う画像処理技術に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系(以下、単に光学系という)の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【0003】
ここにいうぼけ成分は、光学的には、点像分布関数(Point Spread Function:PSF)により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。
【0004】
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(Optical Transfer Function:OTF)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分を、MTF(Modulation Transfer Function)といい、位相成分をPTF(Phase Transfer Function)という。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)およびIm(OTF)はそれぞれ、OTFの実部および虚部を表す。
PTF=tan-1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。
【0005】
劣化画像(入力画像)における振幅成分(MTF)の劣化と位相成分(PTF)の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正(低減)する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の1つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む(コンボリューション)方法が知られている。
【0006】
画像回復処理を効果的に行うためには、光学系のより正確なOTFを得る必要がある。OTFを得る方法は、例えば、光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮像し、その強度分布にフーリエ変換を施すことでも求めることが可能である。
【0007】
きわめて高性能に設計および製造された光学系を除く一般的な光学系のOTFは、像高(画像上での位置)によって大きく変動する。このため、高精度に入力画像に対する画像回復処理を行うためには、像高ごとのOTFの変動に基づいて生成した画像回復フィルタを用いる必要がある。像高に応じて画像回復特性を変更するためには、画像回復処理を周波数空間にて一括して行うのではなく、実空間において画像回復フィルタを変更しながら行うことが望ましい。
【0008】
特許文献1には、画像回復の度合いを調節することを目的とした調節パラメータを有し、画像回復の度合いを連続的に変化させる画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2007−183842号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、光学系のレンズの特性や撮影条件に依っては、撮像素子のナイキスト周波数の帯域内でMTFが零又はほぼ零になる(以下、これを「零落ち」といい、零落ちが生じる周波数を「零落ち周波数」と称する)場合がある。
【0011】
零落ちの原因としては、収差や回折が挙げられる。また、撮像装置の使用者の手振れによっても零落ちが発生する。零落ちの例を図12(a)に示す。横軸は空間周波数を、縦軸はMTFを示す。図中の下向き矢印の周波数で零落ちが生じており、この周波数が零落ち周波数である。
【0012】
画像回復処理に一般的に用いられるウィナーフィルタ(Wiener filter)を用いた場合、画像回復フィルタの周波数特性の絶対値(回復ゲイン特性)は、図12(b)に示すようになる。図12(b)において、横軸は空間周波数を、縦軸は回復ゲイン値を示している。ウィナーフィルタの詳細については後述する。
【0013】
この場合、図中の下向き矢印よりも低周波数側の帯域は増幅されているが、該矢印よりも高周波数側の帯域に対してはローパスフィルタ効果が得られることになる。このときの実空間での画像回復フィルタのプロファイル、すなわちフィルタ内の位置(タップ)ごとの係数値は図12(c)に示すようになる。この画像回復フィルタを用いた画像回復処理を行うと、入力画像における高周波数側のディテールがぼけてしまう。
【0014】
また、図13を用いて別の例を示す。図13(a)の横軸は、サンプリング周波数(ナイキスト周波数の2倍)までの周波数を示している。図13(b)は回復ゲイン特性を示し、図13(c)は実空間での画像回復フィルタのプロファイルを示す。図13(c)では、画像回復フィルタの係数値が狭い位置範囲内の複数箇所で大きく変化している。
【0015】
ここで、光学系の製造誤差や入力画像中の輝度飽和等の原因で、入力画像のPSFが光学系のPSFと異なる場合には、回復された画像(回復画像)にリンギング等のアーティファクトが発生する場合がある。このような場合に、図13(c)に示す画像回復フィルタはPSFの不一致に対して敏感となり、この結果、アーティファクトが発生し易くなる。
【0016】
このように、高精細な回復画像を得るためには、零落ちに対する対策がきわめて重要である。
【0017】
特許文献1では、画像回復の度合いを調節可能にしているが、これは使用者による画像回復の度合いの変更を可能にするものであって、零落ち周波数に応じて画像回復フィルタの特性を変更するものではない。このため、特許文献1にて開示された方法では、零落ちによるアーティファクトを抑制するために画像回復の度合いを下げることはできるが、高精細な回復画像を得ることはできない。
【0018】
本発明は、MTFの零落ちが存在するような場合でも、高精細な回復画像を得ることができるようにした画像処理技術を提供する。
【課題を解決するための手段】
【0019】
本発明の画像処理方法は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【0020】
また、本発明の他の一側面としての画像処理装置は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。
【0021】
なお、撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、撮影画像である入力画像に対して画像回復処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【0022】
さらに、本発明の画像処理プログラムは、コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる、該画像処理プログラムは、入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【発明の効果】
【0023】
本発明によれば、入力画像のうち特定周波数(例えば、零落ち周波数)よりも低周波数側の帯域に対しては画像回復処理を行い、該特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成する。これにより、零落ちが存在するような場合でも、零落ち周波数より高周波数側にて画像のぼけが生じない高精細な回復画像を得ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の実施例1である画像回復処理の流れを示すフローチャート。
【図2】実施例1の画像回復処理における画像回復フィルタを説明する図。
【図3】実施例1の画像回復処理における画像回復フィルタ内の各タップの値を説明する図。
【図4】実施例1の画像処理方法における点像の補正状態を説明する図。
【図5】実施例1の画像処理方法における振幅と位相を説明する図。
【図6】実施例1における互いに異なるアジムス方向のMTFと零落ち周波数を示す図。
【図7】実施例1における互いに直交する2つのアジムス方向のMTFと零落ち周波数を示す図。
【図8】実施例1における窓関数を説明する図。
【図9】実施例1における画像回復フィルタの特性を説明する図。
【図10】実施例1における画像回復フィルタの他の特性を説明する図。
【図11】本発明の実施例2である撮像装置の構成を示すブロック図。
【図12】ウィナーフィルタを用いた従来の画像回復処理を説明する図。
【図13】ウィナーフィルタを用いた従来の画像回復処理を説明する図。
【発明を実施するための形態】
【0025】
以下、本発明の実施例について図面を参照しながら説明する。
【0026】
まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮影光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む撮影光学系の収差を含む光学伝達関数(OTF)により劣化した画像である。撮像素子は、CMOSやCCD等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー(反射面)を含んでもよい。また、撮影光学系は、撮像装置に対して着脱(交換)が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像(入力画像)を生成する信号処理回路により撮像系が構成される。
【0027】
入力画像の色成分は、例えばRGB色成分の情報を有している。色成分の扱いとしては、これ以外にもLCHで表現される明度、色相および彩度や、YCbCrで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、XYZ,Lab,Yuv,JChを用いることが可能であり、さらに色温度を用いることも可能である。
【0028】
入力画像や回復画像(出力画像)には、入力画像を生成した際の撮像装置における撮影光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報(以下、撮影条件情報という)を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
「画像回復処理」
撮像装置により生成された入力画像(劣化画像)をg(x,y)とし、元の画像(劣化していない画像)をf(x,y)とし、光学伝達関数(OTF)のフーリエペアである点像分布関数(PSF)をh(x,y)とする場合、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分または積和)を示し、(x,y)は入力画像上の座標(位置)を示す。
g(x,y)=h(x,y)*f(x,y)
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Hは点像分布関数(PSF)hをフーリエ変換したものであり、光学伝達関数(OTF)に相当する。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
G(u,v)=H(u,v)・F(u,v)
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)
F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)である回復画像が得られる。
【0029】
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像f(x,y)である回復画像を得ることができる。
g(x,y)*R(x,y)=f(x,y)
R(x,y)が画像回復フィルタである。入力画像が2次元であるとき、一般に画像回復フィルタも該2次元画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に画像回復フィルタのタップ数(セル数)が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。
【0030】
画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)等とは全く異なる。また、画像回復フィルタは、光学伝達関数(OTF)に基づいて生成されるため、劣化画像(入力画像)における振幅成分と位相成分の劣化をともに高精度に補正することができる。
【0031】
また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数(OTF)の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のMTF(振幅成分)を全周波数にわたって1に戻すようにMTFを持ち上げるためである。撮影光学系による振幅劣化であるMTFは1に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。
【0032】
したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Nはノイズ成分を表す。
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、式(1)に示すウィナーフィルタのように画像信号とノイズ信号の強度比(SNR)に応じて回復度合いを制御する方法が知られている。
【0033】
【数1】
【0034】
M(u,v)はウィナーフィルタの周波数特性を示し、|H(u,v)|は光学伝達関数(OTF)の絶対値(MTF)を示す。この方法は、周波数ごとに、MTFが小さいほど回復ゲインを抑制し、MTFが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のMTFは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。
【0035】
画像回復フィルタを図2および図3を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図2では、例として、11×11タップの2次元画像回復フィルタを示している。図2では、各タップ内の値(係数値)を省略しているが、この画像回復フィルタの1つの断面を図3に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値(PSF)を、理想的には元の1点に戻す役割を果たす。
【0036】
画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション(畳み込み積分や積和ともいう)される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値(係数値)との積をとり、その総和を中心画素の信号値として置き換える。
【0037】
画像回復処理の実空間と周波数空間での特性を図4および図5を用いて説明する。図4の(a)は画像回復前のPSFを示し、(b)は画像回復後のPSFを示している。また、図5の(M)の(a)は画像回復前のMTFを示し、(M)の(b)は画像回復後のMTFを示している。さらに、図5の(P)の(a)は画像回復前のPTFを示し、(P)の(b)は画像回復後のPTFを示している。画像回復前のPSFは非対称な広がりを持っており、この非対称性によりPTFは周波数に対して非直線的な値を持つ。画像回復処理は、MTFを増幅し、PTFを零に補正するため、画像回復後のPSFは対称で、かつ鮮鋭になる。
【0038】
画像回復フィルタの作成法については、撮影光学系の光学伝達関数(OTF)の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式(1)を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。
【0039】
また、光学伝達関数(OTF)は、同じ撮影条件であっても撮影光学系の像高(画像上での位置)に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。
【0040】
以下、本発明の具体的な実施例について説明する。
【実施例1】
【0041】
図1には、本発明の実施例1である画像処理方法の手順を示している。この画像処理方法は、画像処理装置に含まれるCPU等により構成されるコンピュータがコンピュータプログラムとしての画像処理プログラムに従って実行する。
【0042】
ステップS11では、コンピュータは、撮像装置から入力画像(以下、撮影画像ともいう)を取得する。撮像装置からの撮影画像の取得は、該撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。
【0043】
次にステップS12では、コンピュータは、撮像装置が撮影画像を生成した際の撮影条件に関する情報(以下、撮影条件情報という)を取得する。撮影条件は、撮像光学系の焦点距離や絞り値のほか、撮影距離や撮像装置の識別情報(カメラID)等を含む。また、撮影光学系の交換が可能な撮像装置においては、撮影条件に、該撮影光学系(交換レンズ)の識別情報(レンズID)を含む。撮影条件情報は、撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。
【0044】
次にステップS13では、コントローラは、撮影条件に対応する(適した)光学伝達関数を取得する。この光学伝達関数は、画像処理装置内又は該装置外のメモリに予め保持された複数の光学伝達関数から撮影条件に対応するものを選択して取得してもよい。また、光学伝達関数を生成するための関数を予め記憶しておき、その変数に撮影条件を代入して生成(算出)することで取得してもよい。
【0045】
なお、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に対する光学伝達関数を予めメモリに記憶しておいてもよい。この場合において、実際の撮影条件が記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する光学伝達関数からの補間演算により実際の撮影条件に対応する光学伝達関数を生成できる。これにより、予めメモリに記憶させる光学伝達関数のデータ量を削減することができる。補間処理の方法としては、バイリニア補間(線形補間)やバイキュービック補間等が挙げられるが、どのような方法であってもよい。
【0046】
次にステップS14では、コンピュータは、ステップS13で取得した光学伝達関数を用いて得られる指標値が所定値としての閾値となる特定周波数を求める。本実施例では、光学伝達関数(OTF)の絶対値(MTF)を指標値として用いるが、光学伝達関数を用いて得られる指標値であれば、他の指標値を用いてもよい。詳細については後述する。
【0047】
次にステップS15では、コンピュータは、特定周波数を零とする窓関数を生成する。窓関数の詳細については後述する。
【0048】
次にステップS16では、コンピュータは、光学伝達関数と窓関数とを用いて画像回復フィルタを生成する。この詳細についても後述する。
【0049】
次にステップS17では、コンピュータは、撮影画像に画像回復フィルタをコンボリューションして撮影画像に対する画像回復処理を行う。そして、ステップS18にて回復画像を出力する。
【0050】
ここで、ステップS14での特定周波数の求め方について詳しく説明する。図6には、MTFの周波数特性を示している。ここで示すMTFは、横軸の1を撮像素子の画素ピッチで決まるナイキスト周波数として正規化したものである。図6中の(a),(b),(c)は、撮影光学系において光学特性が互いに異なる3つのアジムス方向でのMTFの例を示している。(a),(b)のMTFが閾値t1となる周波数fa,fbがそれぞれの特定周波数である。(c)のMTFは閾値以下とならないので、特定周波数は存在しない。閾値t1は、目的に応じて適宜設定することが可能である。例えば、特定周波数を、前述した零落ち周波数として使用する場合には、t1=0とすればよい。ただし、実用的にはMTFが完全に0にならなくとも十分小さな値として0と等価とみなせるので、t1=0.03(MTFが3%)等と0よりも大きな値として、MTFがこの値となる周波数を零落ち周波数としての特定周波数としてもよい。
【0051】
偽解像がある場合等のように周波数に対してMTFが0の近傍で増加したり減少したりする場合には、MTFが閾値に対して高い側から低い側に該閾値を通過するように変化する周波数が複数存在することになる。この場合は、該複数の周波数のうち最も低い周波数を特定周波数として用いることが好ましい。
【0052】
さらに、図6に示すようにMTFがアジムス方向によって異なる場合には、特定周波数もアジムス方向によって異なるように設定することが望ましい。この場合、アジムス方向によって異なる特定周波数を関数データとして保持したり、ルックアップテーブルデータとして保持したりすることができる。また、アジムス方向によって異なる特定周波数のうち1つ(例えば最も低い特定周波数)を代表特定周波数として用いることもできる。
【0053】
次に、ステップS16での画像回復フィルタを生成する処理について詳しく説明する。ここでは、画像回復フィルタを設計するための基本となる関数として、例えば前述した式(1)により表されるウィナーフィルタを用いる。式(1)中のM(u,v)と窓関数W(u,v)とを用いて、式(2)に従って画像回復フィルタの周波数特性ML(u,v)を生成する。
【0054】
【数2】
【0055】
ML(u,v)は、窓関数により画像回復処理を行う周波数帯域(以下、画像回復帯域ともいう)を制限された画像回復フィルタである。言い換えれば、窓関数により、撮影画像のうち特定周波数よりも低周波数側の帯域に対しては画像回復処理を行い、特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限するように生成された画像回復フィルタである。
【0056】
このような画像回復フィルタを図9に示す。図9(a)には、図12(a)と同じMTFを示している。横軸は空間周波数を、縦軸はMTFを示す。
【0057】
また、図9(b)には、特定周波数(零落ち周波数)に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。図12(b)との比較から分かるように、図9(b)の画像回復フィルタでは、高周波数側がローパスフィルタ化していないため、図9(c)に示す画像回復フィルタのプロファイル(横軸はフィルタでのタップ位置を、縦軸はタップの係数値を示す)が尖鋭である。このため、この画像回復フィルタを用いて画像回復処理を行うと、撮影画像においてMTFが低いもののディテールとして存在する画像部分をそのままにして(画像回復処理によりぼかすことなく)、低周波数側の画像部分を良好に回復させることができる。
【0058】
また、図10(a)には、図13(a)と同じMTFを示している。横軸は空間周波数を、縦軸はMTFを示す。さらに、図10(b)には、特定周波数(零落ち周波数)に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。また、図10(c)には、画像回復フィルタのプロファイルを示している。図13(b)との比較において、図10(b)の画像回復フィルタでは、係数値が狭い位置範囲内の複数箇所で大きく変化するようなことがない。このため、この画像回復フィルタは、零落ちしていない周波数帯域の画像部分を良好に回復させながらも、PSFの不一致に対して耐性のある画像回復フィルタとなる。
なお、撮像光学系のOTFの特性は、像高、すなわち撮影画像上での位置ごとに異なるため、零落ち周波数も像高に依存する。このため、撮影画像上での位置ごとに特定周波数を求め、該位置ごとに生成する画像回復フィルタの特性を変更するようにしてもよい。特定周波数が異なるという点以外は、本実施例で説明しているフローチャートに従って処理を行えばよい。
【0059】
次に、ステップS15にて生成する窓関数について詳しく説明する。図7には、互いに直交する2つのアジムス方向のMTFを示している。図8(a)および(c)には、図7のMTFの分布を上から(二次元画像面に垂直な方向から)見て示している。図中の破線は、図7に示した閾値t1により決定された、アジムス方向に応じて変化する特定周波数を示す。また、実線は、その内側においては値が0より大きい窓関数の値が、0となる周波数である。ここいう窓関数の値としての0は、1よりも十分小さく、0とみなせる値を含む意味である。
【0060】
図8(b)には、図8(a)に示した窓関数のプロファイルを示している。破線は図8(a)における垂直方向のプロファイルを、実線は同水平方向のプロファイルを示している。図8(b)に示すように、アジムス方向に応じたMTFの零落ち特性に応じて窓関数を生成することが好ましい。図8(b)の窓関数は、アジムス方向に応じて変化する特定周波数(零落ち周波数)に対応する非回転対称な関数である。
【0061】
別の例として、図8(c)および(d)には、アジムス方向に応じて変化する零落ち周波数(特定周波数)のうち最小値を特定周波数(代表特定周波数)として生成された、回転対称な窓関数を示している。この場合、MTFが零落ちしていないにもかかわらず、窓関数によって帯域を制限されているアジムス方向については画像回復帯域が狭くなる。
【0062】
なお、これらのように、アジムス方向に応じて変化する実際のMTF(OTFの絶対値)から得た特定周波数を用いて窓関数を生成することにより、撮影光学系の光学伝達関数(OTF)に精度良く適合した窓関数、ひいては画像回復フィルタを生成することができる。
【0063】
なお、窓関数としては、一般的に知られているガウス窓やハン窓等の窓関数を、光学伝達関数から得られたアジムス方向ごとの特定周波数特性に応じて非対称に変形して用いてもよいし、新たに窓関数を生成してもよい。
【0064】
さらに、アジムス方向に応じて変化する特定周波数に対して精度良く適合する窓関数を生成する方法として、各像高(画像上での位置)でのMTFに基づいて窓関数W(u,v)を生成することができる。この例として、式(3)が挙げられる。
【0065】
【数3】
【0066】
ただし、Nは実数のパラメータである。
【0067】
画像回復処理では、画像回復フィルタを生成するために像高ごとのOTFを用いるため、このように像高ごとのMTFを用いた窓関数を生成することにより、新たにデータ量が増大することはない。さらに、特定周波数のアジムス特性を精度良く関数で再現するのが難しい場合にも、MTFは対応することができる。これは窓関数で抑制すべき周波数とMTFとを対応させることができるためである。
【0068】
図1のフローチャートに戻り、ステップS17では、コンピュータは、ステップS16で生成した画像回復フィルタを用いて撮影画像にコンボリューションを行い、さらに所定の現像処理を行うことで、出力画像としての回復画像を、ステップS18にて出力する。
【0069】
本実施例によれば、MTFの零落ちが存在するような入力画像に対しても、零落ち周波数より高周波数側での画像のぼけやリンギング等の弊害の発生を抑制しつつ、高精細な回復画像を得ることができる。
【実施例2】
【0070】
次に、本発明の実施例2である撮像装置について、図11を用いて説明する。該撮像装置は、実施例1にて説明した画像処理方法による画像回復処理を行う画像処理装置を搭載している。
【0071】
撮影光学系201は、不図示の被写体からの光に被写体像を形成させる。撮像素子202は、該被写体像を光電変換して電気信号であるアナログ信号を出力する。撮像素子202から出力されたアナログ信号は、A/Dコンバータ203によってデジタル信号に変換され、画像処理部204に入力される。
【0072】
画像処置部204は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像(入力画像)を生成する。そして、該撮影画像に対して実施例1で説明した画像回復処理を行う。撮像素子202から画像処理部204のうち撮影画像を生成する部分までの系が撮像系に相当する。また、画像処理部204のうち画像回復処理を行う部分が、入力部、演算部、窓関数生成部、フィルタ生成部および処理部を含む画像処理装置に相当する。
【0073】
画像処理部204に画像回復処理を行わせるために、状態検知部207は、撮影画像を生成する際における撮像装置の撮像条件情報を得る。撮像条件情報については、実施例1にて説明した通りである。状態検知部207は、撮像条件情報をシステムコントローラ210から得てもよい。また、撮影光学系に関する撮像条件情報については、撮影光学系201の絞り201aの動作やズームレンズ又はフォーカスレンズ等のレンズ201bの移動を制御する撮影光学系制御部206から得てもよい。そして、画像処理部204は、図1のフローチャートにより説明した画像回復処理を実行する。光学伝達関数(OTF)または光学伝達関数(OTF)を生成するための係数データは、予め記憶部208に保持されている。
【0074】
画像処理部204は、画像回復処理により生成した出力画像である回復画像を半導体メモリや光ディスク等の画像記録媒体209に出力して記録させたり、表示部205に出力して表示させたりする。以上説明した一連の動作は、システムコントローラ210により制御される。
【0075】
なお、撮影光学系201にはローパスフィルタや赤外線カットフィルタ等の光学素子を含ませてもよい。ただし、ローパスフィルタ等、撮影光学系201の光学伝達関数(OTF)に影響を与える光学素子を用いる場合には、該光学素子に関する画像回復フィルタを作成する時点で該光学素子に関する考慮が必要になる。赤外カットフィルタにおいても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルのそれぞれのPSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。
【0076】
なお、前述したように、撮影光学系201は、撮像装置に対して交換可能なものであってもよい。
【実施例3】
【0077】
実施例2では、画像処理方法を使用する(画像処理装置を搭載した)撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像(入力画像)を、該撮像装置から有線/無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【0078】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0079】
撮像によって劣化した画像に対して良好な画像回復処理を行うことが可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【0080】
201 撮影光学系
202 撮像素子
204:画像処理部
207:撮影条件検知部
【特許請求の範囲】
【請求項1】
撮像装置により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。
【請求項2】
前記特定周波数は、前記指標値が前記所定値となる周波数のうち最も低い周波数であることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記窓関数は、前記アジムス方向に応じて変化する前記特定周波数に対応する非回転対称な関数であることを特徴とする請求項1又は2に記載の画像処理方法。
【請求項4】
前記窓関数を生成するステップにおいて、前記光学伝達関数の絶対値を用いて前記窓関数を生成することを特徴とする請求項1から3のいずれか一項に記載の画像処理方法。
【請求項5】
前記特定周波数を求めるステップにおいて、前記入力画像上での位置ごとに前記特定周波数を求め、
前記画像回復フィルタを生成するステップにおいて、前記位置ごとに前記画像回復フィルタの特性を変更することを特徴とする請求項1から4のいずれか一項に記載の画像処理方法。
【請求項6】
撮像装置により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、
前記画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。
【請求項7】
撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、
前記撮影画像である入力画像に対して画像回復処理を行う請求項6に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項8】
コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる画像処理プログラムであって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。
【請求項1】
撮像装置により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。
【請求項2】
前記特定周波数は、前記指標値が前記所定値となる周波数のうち最も低い周波数であることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記窓関数は、前記アジムス方向に応じて変化する前記特定周波数に対応する非回転対称な関数であることを特徴とする請求項1又は2に記載の画像処理方法。
【請求項4】
前記窓関数を生成するステップにおいて、前記光学伝達関数の絶対値を用いて前記窓関数を生成することを特徴とする請求項1から3のいずれか一項に記載の画像処理方法。
【請求項5】
前記特定周波数を求めるステップにおいて、前記入力画像上での位置ごとに前記特定周波数を求め、
前記画像回復フィルタを生成するステップにおいて、前記位置ごとに前記画像回復フィルタの特性を変更することを特徴とする請求項1から4のいずれか一項に記載の画像処理方法。
【請求項6】
撮像装置により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、
前記画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。
【請求項7】
撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、
前記撮影画像である入力画像に対して画像回復処理を行う請求項6に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項8】
コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる画像処理プログラムであって、
前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。
【図3】
【図9】
【図10】
【図11】
【図12】
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図13】
【図9】
【図10】
【図11】
【図12】
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図13】
【公開番号】特開2013−45404(P2013−45404A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−184794(P2011−184794)
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]