画像処理方法、画像処理装置、撮像装置および画像処理プログラム
【課題】処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得る。
【解決手段】互いに光学特性が異なる複数の光学機器21〜23に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報A,B,Cを用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う。
【解決手段】互いに光学特性が異なる複数の光学機器21〜23に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報A,B,Cを用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。
【背景技術】
【0002】
デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系(以下、単に光学系という)の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【0003】
ここにいうぼけ成分は、光学的には、点像分布関数(PSF:Point Spread Function)により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【0004】
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(OTF:Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)と呼び、位相成分をPTF(Phase Transfer Function)と呼ぶ。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)とIm(OTF)はそれぞれ、OTFの実部と虚部を表す。
PTF=tan−1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
【0005】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばRGBの色成分として取得することで発生する。このため、RGB間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。
【0006】
振幅(MTF)の劣化と位相(PTF)の劣化を、光学系の光学伝達関数(OTF)の情報を用いて補正(低減)する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数(OTF)の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。
【0007】
実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数(OTF)に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数(OTF)に基づいて画像回復フィルタを生成することが望ましい。
【0008】
特許文献1には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2008−85697号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。
【0011】
また、特許文献1にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにPSFの広がりを理想的には一点に補正するフィルタであるため、2次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。
【0012】
本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【0013】
本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行うことを特徴とする。
【0014】
また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像回復手段とを有することを特徴とする。
【0015】
なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【0016】
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意するステップと、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行うステップとを含む処理を実行させることを特徴とする。
【発明の効果】
【0017】
本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて画像回復処理を行う。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施例1である画像処理方法における画像回復フィルタと個別補正情報との関係を示す図。
【図2】実施例1の画像処理方法にて用いられる画像回復フィルタを示す図。
【図3】図2に示した画像回復フィルタのタップ値を示す概念図。
【図4】実施例1の画像処理方法における点像の補正を示す図。
【図5】実施例1の画像処理方法におけるMTFとPTFを示す図。
【図6】製造誤差の光学特性への影響を示す図。
【図7】実施例1の画像処理方法を用いた画像回復処理を示すフローチャート。
【図8】実施例1における補正フィルタによる画像回復フィルタの補正を示す図。
【図9】実施例1における補正前後の画像回復フィルタを示す図。
【図10】実施例1における補正前後の画像のMTFを示す図。
【図11】実施例1における補正前の画像回復フィルタの例を示す図。
【図12】実施例1における補正後の画像回復フィルタの例を示す図。
【図13】本発明の実施例2である画像処理方法を用いた画像回復処理を示すフローチャート。
【図14】本発明の実施例3である撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【0019】
以下、本発明の実施例について図面を参照しながら説明する。
【0020】
まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。
【0021】
「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系(以下、単に光学系ともいう)により形成された光学像としての被写体像をCCDセンサやCMOSセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数(OTF)に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。
【0022】
また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数(OTF)には、撮像システムの伝達関数も含む。
【0023】
また、入力画像の色成分は、例えば、RGBの色成分の情報を有している。色成分の扱いとしては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ,Lab,Yuv,JChを用いたり、色温度を用いたりしてもよい。
【0024】
さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。
【0025】
「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像(入力画像)をg(x,y)とし、劣化していない元の画像をf(x,y)とする。また、光学伝達関数のフーリエペアである点像分布関数(PSF)をh(x,y)とする。このとき、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分)を示し、(x,y)は画像上の座標を示す。
【0026】
g(x,y)=h(x,y)*f(x,y)
また、上記式をフーリエ変換により2次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Hは点像分布関数(PSF)をフーリエ変換したものであり、光学伝達関数(OTF)である。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
【0027】
G(u,v)=H(u,v)・F(u,v)
劣化画像から元の画像を得るためには、以下のように、両辺をHで除算すればよい。
【0028】
G(u,v)/H(u,v)=F(u,v)
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)に相当する回復画像が得られる。
【0029】
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
【0030】
g(x,y)*R(x,y)=f(x,y)
このR(x,y)を、画像回復フィルタという。画像が2次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に、画像回復フィルタのタップ数(セルの数)は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に3ずつ程度のタップ数を有するエッジ強調フィルタ(ハイパスフィルタ)等とは異なる。画像回復フィルタは、光学伝達関数(OTF)に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【0031】
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数(OTF)の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のMTF(振幅成分)を全周波数にわたって1に戻すようにMTFを持ち上げるためである。光学系による振幅劣化であるMTFは1に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合い(回復ゲイン)に応じてノイズが増幅されてしまう。
【0032】
したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Nはノイズ成分を表している。
【0033】
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、下記の式1に示すウィナーフィルタ(Wiener filter)のように画像信号とノイズ信号の強度比(SNR)に応じて画像の高周波側の回復率を抑制する方法が知られている。
【0034】
【数1】
【0035】
上記式1において、M(u,v)はウィナーフィルタの周波数特性である。また、|H(u,v)|は光学伝達関数(OTF)の絶対値(MTF)である。
【0036】
この方法は、周波数ごとに、MTFが小さいほど回復ゲインを抑制し、MTFが大きいほど回復ゲインを強くするものである。一般に、光学系のMTFは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。
【0037】
ここで、画像回復フィルタの例を、図2に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図2に示す画像回復フィルタは、11×11セルを有する2次元フィルタである。各セルが画像の1画素に対応する。図2では各タップ内の値を省略しているが、この画像回復フィルタの1つの断面を図3に示している。画像回復フィルタの各タップの値(係数値)の分布が、収差によって空間的に広がった信号値(PSF)を理想的には元の1点に戻す役割を果たす。
【0038】
このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。
【0039】
画像回復の実空間と周波数空間での特性を、図4および図5を用いて説明する。図4中の(a)は回復前のPSFを、(b)は回復後のPSFを示している。また、図5中の(M)の(a)は回復前のMTFを、(M)の(b)は回復後のMTFを示している。さらに、図5の(P)の(a)は回復前のPTFを、(P)の(b)は回復後のPTFを示している。回復前のPSFは非対称な広がりを持っており、この非対称性によりPTFは零ではない。回復処理は、MTFを増幅し、PTFを零に補正するため、回復後のPSFは対称で鮮鋭になる。
【0040】
この画像回復フィルタは、光学系の光学伝達関数(OTF)の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式1を逆フーリエ変換することで画像回復フィルタを作成することができる。
【0041】
実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離(被写体距離)に対応する複数の画像回復フィルタを用意する。
【0042】
「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性(結像特性)の回転対称性が崩れ、該像面上での位置(又は領域)ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
【0043】
画像中の片ぼけの例を図6に示す。製造誤差がない場合の結像特性(MTF)を基準としたとき、画像の左側はMTFが低く鮮鋭度が低くなっており、右側はMTFが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性(つまりは片ぼけ)を示す情報であり、結像特性(光学特性)の相異に応じて光学機器の個体ごとに異なる情報である。
【0044】
個別補正情報は、像面(撮像素子の受光面又は画像)における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。
【0045】
光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。
【0046】
個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数(OTF)を測定する場合に比べて容易に作成することができる。
【0047】
なお、画像を構成する色成分ごと(すなわち、色光ごと)に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量(これについては後述する)に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。
【0048】
個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。
【実施例1】
【0049】
図1には、本発明の実施例1である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器21,22,23,・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置10に入力画像として受け渡される。画像処理装置10は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。
【0050】
画像処理装置10は、その内部メモリ(記憶手段)11に、光学機器21,22,23,・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置21,22,23,・・・の光学系の設計上の光学伝達関数(OTF)に基づいて作成することができる。
【0051】
一方、光学機器21,22,23,・・・はそれぞれ、個体ごとに異なる個別補正情報A,B,C,・・・をその内部メモリ(図示せず)に保持している。
【0052】
図7のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置10は、ステップS11にて、複数の光学機器21,22,23,・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。
【0053】
次に、ステップS12では、画像処理装置10は、内部メモリ11に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時(撮像時)の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。
【0054】
使用画像回復フィルタとしては、内部メモリ11に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い2つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。
【0055】
なお、仮に光学機器21,22,23,・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数(OTF)が、該光学系の像面上、つまりは入力画像上における位置(又は領域)によって異なる。このため、使用画像回復フィルタは、入力画像上の位置(又は領域)によって変更することが望ましい。
【0056】
次に、ステップS13では、画像処理装置10は、特定光学機器から前述した個別補正情報を取得して、内部メモリ11に保持する。
【0057】
次に、ステップS14では、画像回復手段としての画像処理装置10は、ステップS12で内部メモリ11に保持した使用画像回復フィルタを、ステップS13で内部メモリ11に保持した個別補正情報から生成した補正フィルタを用いて補正する。
【0058】
図8中の(a)には補正前の画像回復フィルタを示しており、(b)には個別補正情報に対応するように生成された補正フィルタを示しており、ともに係数値は省略されている。補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。
【0059】
画像回復フィルタは、光学伝達関数(OTF)に基づいて生成されるため、図2に示したように、例えば11×11タップという比較的多くのタップ数を有する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を主とすることで、例えば3×3タップといった少ないタップ数、つまりはデータ量で画像回復フィルタを補正することができる。
【0060】
画像回復フィルタに補正フィルタをコンボリューションすることにより、画像回復フィルタの特性を補正することができる。補正の前後の画像回復フィルタの係数値の変化を、図9に示す。図9中の(a)と(b)はそれぞれ、補正前の画像回復フィルタと補正後の画像回復フィルタの同一断面での係数値を示している。
【0061】
また、図10には、補正フィルタによる画像回復フィルタの補正の有無と、画像回復処理によるMTFの変化との関係を示す。図10中の(a)は回復処理前の入力画像のMTFであり、(b)は補正フィルタにより補正をしていない画像回復フィルタを用いた回復処理後の画像のMTFである。(c)は補正フィルタとしてのハイパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のMTFである。(d)は補正フィルタとしてのローパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のMTFである。このように、製造誤差による個体差のある光学機器により生成された画像のMTFを、該光学機器から取得した個別補正情報に基づいて補正した画像回復フィルタを用いて、該個体差に応じて回復させることができる。
【0062】
図11には、入力画像の複数の位置に対して予め離散的に用意されて内部メモリ11に保持された複数の画像回復フィルタを示している。互いに同一の番号(1〜8)が付された画像回復フィルタは、互いに同一の画像回復フィルタであることを示している。図11では、光学系の結像特性の回転対称性に対応するように、互いに同一の画像回復フィルタが画像の中心回りで回転対称性を有するように適用される。ただし、互いに同一の画像回復フィルタであっても、それらの向きは異なる。
【0063】
図12には、図11に示した複数の画像回復フィルタを、特定光学機器から取得した個別補正情報に基づいて補正する、すなわち補正フィルタをコンボリューションすることで作成した補正画像回復フィルタを示している。入力画像の複数の位置のそれぞれに適用される補正画像回復フィルタは、全て異なるフィルタとなっている(全て異なる番号が付されている)。このように、個別補正情報に基づいて補正された複数の画像回復フィルタには、製造誤差による画像上の位置ごとの結像特性の相異が反映されている。画像回復フィルタを、入力画像上での位置に応じてどのように補正するかは、製造誤差の発生の仕方に依存する。
【0064】
また、入力画像における画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合い、つまりは個別補正情報を変更してもよい。画素の特徴量としては、例えば、画像の画素値(信号値)の変化が低い平坦部と画素値の変化が大きいエッジ部や、画素の輝度飽和度がある。
【0065】
次に、ステップS15では、画像処理装置10は、入力画像に対して、補正画像回復フィルタを用いた画像回復処理を行う。そして、ステップS16にて、画像回復処理の結果画像としての回復画像を出力する。
【0066】
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、該画像回復フィルタをデータ量が小さな個別補正情報を用いて補正することで、結像特性が異なる個々の光学機器に適した画像回復処理を行う。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。
【0067】
なお、光学機器21,22,23,・・・が交換レンズである場合に、画像処理装置10をレンズ交換型の撮像装置に搭載することで、光学機器21,22,23,・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。
【実施例2】
【0068】
図13のフローチャートには、本発明の実施例2である画像処理方法を用いた画像回復処理の手順を示している。
【0069】
画像処理装置10は、ステップS21にて、図1に示した複数の光学機器21,22,23,・・・のうち入力画像の取り込み先である特定光学機器から、有線もしくは無線による通信により又は該光学機器に対して着脱可能な記憶媒体を介して入力画像を取得する。
【0070】
次に、ステップS22では、画像処理装置10は、内部メモリ11に保持された複数の画像回復フィルタから、実施例1のステップS12と同様にして、特定光学機器での撮像条件に対応する画像回復フィルタ(使用画像回復フィルタ)を選択又は生成する。そして、使用画像回復フィルタを内部メモリ11に保持する。
【0071】
次に、ステップS23では、画像処理装置10は、特定光学機器から個別補正情報を取得して、内部メモリ11に保持する。
【0072】
次に、ステップS24では、画像処理装置10は、ステップS21にて特定光学機器から取り込んだ入力画像に対して、ステップS22で内部メモリ11に保持した使用画像回復フィルタを用いた画像回復処理を行う。
【0073】
次に、ステップS25では、画像処理装置10は、画像回復処理の結果画像である回復画像を、ステップS23にて内部メモリ11に保持した個別補正情報から生成した補正フィルタ用いて補正する。そして、ステップS26で、補正後の回復画像を出力する。
【0074】
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタを共通に用意し、該画像回復フィルタによって画像回復処理が行われた回復画像を、データ量が小さな個別補正情報を用いて補正する。これにより、結像特性が異なる個々の光学機器に適した画像回復処理を行う。このため、本実施例でも、実施例1と同様に、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。
【実施例3】
【0075】
図14には、本発明の実施例3である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例1にて説明した画像処理装置を含む。
【0076】
不図示の被写体からの光束は、撮像光学系101によって、CCDセンサやCMOSセンサ等により構成される撮像素子102上に結像する。
【0077】
撮像光学系101は、不図示の変倍レンズ、絞り101aおよびフォーカスレンズ101bを含む。変倍レンズを光軸方向に移動させることで、撮像光学系101の焦点距離を変更するズームが可能である。また、絞り101aは、絞り開口径を増減させて、撮像素子102に到達する光量を調節する。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス(AF)機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部106は、システムコントローラ110からの制御信号に応じて、変倍レンズや絞り101aの駆動やAFを制御する。
【0078】
撮像光学系101には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系101の光学伝達関数(OTF)の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。
【0079】
撮像素子102上に形成された被写体像は、該撮像素子102により電気信号に変換される。撮像素子102からのアナログ出力信号は、A/Dコンバータ103によりデジタル撮像信号に変換され、画像処理部104に入力される。
【0080】
画像処理部104は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子102から画像処理部104のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部104は、入力画像に対して実施例1にて説明した画像回復処理を行う画像処理装置として機能する部分(画像回復手段)を含む。
【0081】
画像処理部104は、撮像条件検知部107から、撮像光学系101の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部107は、システムコントローラ110から撮像条件の情報を得てもよいし、撮像光学系101を制御する撮像光学系制御部106から得てもよい。
【0082】
そして、画像処理部104は、実施例1にて説明したように、撮像条件に応じた画像回復フィルタ(使用画像回復フィルタ)を記憶部108から選択したり生成したりする。画像回復フィルタは、実施例1にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部108は、実施例1にて説明した画像処理装置10の内部メモリ11に代わる記憶手段である。さらに、画像処理部104は、記憶部108から、この撮像装置の個別補正情報を読み出し、該個別補正情報から生成した補正フィルタを用いて使用画像回復フィルタを補正することで、補正画像回復フィルタを生成する。なお、撮像装置の出荷前に全ての画像回復フィルタの個別補正情報に応じた補正を行っておいてもよい。
【0083】
画像処理部104は、補正画像回復フィルタを用いて、入力画像に対する画像回復処理を行う。そして、画像処理部104は、画像回復処理により得られた回復画像を、画像記録媒体109に所定のフォーマットで保存する。また、表示部105に、回復画像を表示する。
【0084】
本実施例によれば、画像処理部104での処理時間や記憶部108にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像を得ることができる。
【0085】
本実施例では、実施例1にて説明した画像処理装置の機能を搭載した撮像装置について説明したが、これに代えて実施例2にて説明した画像処理装置の機能を搭載してもよい。この場合、画像処理部104は、撮像条件に応じた使用画像回復フィルタを用いて入力画像に対する画像回復処理を行い、これにより得られた回復画像を、記憶部108から読み出した個別補正情報から生成した補正フィルタを用いて補正する。
【0086】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0087】
光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。
【符号の説明】
【0088】
10 画像処理装置
11 内部メモリ
21〜23 光学機器
【技術分野】
【0001】
本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。
【背景技術】
【0002】
デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系(以下、単に光学系という)の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【0003】
ここにいうぼけ成分は、光学的には、点像分布関数(PSF:Point Spread Function)により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【0004】
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(OTF:Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)と呼び、位相成分をPTF(Phase Transfer Function)と呼ぶ。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Re(OTF)とIm(OTF)はそれぞれ、OTFの実部と虚部を表す。
PTF=tan−1(Im(OTF)/Re(OTF))
このように、光学系の光学伝達関数(OTF)は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
【0005】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばRGBの色成分として取得することで発生する。このため、RGB間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。
【0006】
振幅(MTF)の劣化と位相(PTF)の劣化を、光学系の光学伝達関数(OTF)の情報を用いて補正(低減)する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数(OTF)の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。
【0007】
実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数(OTF)に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数(OTF)に基づいて画像回復フィルタを生成することが望ましい。
【0008】
特許文献1には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2008−85697号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。
【0011】
また、特許文献1にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにPSFの広がりを理想的には一点に補正するフィルタであるため、2次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。
【0012】
本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【0013】
本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行うことを特徴とする。
【0014】
また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像回復手段とを有することを特徴とする。
【0015】
なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【0016】
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意するステップと、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行うステップとを含む処理を実行させることを特徴とする。
【発明の効果】
【0017】
本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて画像回復処理を行う。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施例1である画像処理方法における画像回復フィルタと個別補正情報との関係を示す図。
【図2】実施例1の画像処理方法にて用いられる画像回復フィルタを示す図。
【図3】図2に示した画像回復フィルタのタップ値を示す概念図。
【図4】実施例1の画像処理方法における点像の補正を示す図。
【図5】実施例1の画像処理方法におけるMTFとPTFを示す図。
【図6】製造誤差の光学特性への影響を示す図。
【図7】実施例1の画像処理方法を用いた画像回復処理を示すフローチャート。
【図8】実施例1における補正フィルタによる画像回復フィルタの補正を示す図。
【図9】実施例1における補正前後の画像回復フィルタを示す図。
【図10】実施例1における補正前後の画像のMTFを示す図。
【図11】実施例1における補正前の画像回復フィルタの例を示す図。
【図12】実施例1における補正後の画像回復フィルタの例を示す図。
【図13】本発明の実施例2である画像処理方法を用いた画像回復処理を示すフローチャート。
【図14】本発明の実施例3である撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【0019】
以下、本発明の実施例について図面を参照しながら説明する。
【0020】
まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。
【0021】
「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系(以下、単に光学系ともいう)により形成された光学像としての被写体像をCCDセンサやCMOSセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数(OTF)に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。
【0022】
また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数(OTF)には、撮像システムの伝達関数も含む。
【0023】
また、入力画像の色成分は、例えば、RGBの色成分の情報を有している。色成分の扱いとしては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ,Lab,Yuv,JChを用いたり、色温度を用いたりしてもよい。
【0024】
さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。
【0025】
「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像(入力画像)をg(x,y)とし、劣化していない元の画像をf(x,y)とする。また、光学伝達関数のフーリエペアである点像分布関数(PSF)をh(x,y)とする。このとき、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分)を示し、(x,y)は画像上の座標を示す。
【0026】
g(x,y)=h(x,y)*f(x,y)
また、上記式をフーリエ変換により2次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Hは点像分布関数(PSF)をフーリエ変換したものであり、光学伝達関数(OTF)である。G,Fはそれぞれ、g,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、すなわち周波数を示す。
【0027】
G(u,v)=H(u,v)・F(u,v)
劣化画像から元の画像を得るためには、以下のように、両辺をHで除算すればよい。
【0028】
G(u,v)/H(u,v)=F(u,v)
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)に相当する回復画像が得られる。
【0029】
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
【0030】
g(x,y)*R(x,y)=f(x,y)
このR(x,y)を、画像回復フィルタという。画像が2次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、一般に、画像回復フィルタのタップ数(セルの数)は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に3ずつ程度のタップ数を有するエッジ強調フィルタ(ハイパスフィルタ)等とは異なる。画像回復フィルタは、光学伝達関数(OTF)に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【0031】
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数(OTF)の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のMTF(振幅成分)を全周波数にわたって1に戻すようにMTFを持ち上げるためである。光学系による振幅劣化であるMTFは1に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合い(回復ゲイン)に応じてノイズが増幅されてしまう。
【0032】
したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Nはノイズ成分を表している。
【0033】
G(u,v)=H(u,v)・F(u,v)+N(u,v)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)
この点については、例えば、下記の式1に示すウィナーフィルタ(Wiener filter)のように画像信号とノイズ信号の強度比(SNR)に応じて画像の高周波側の回復率を抑制する方法が知られている。
【0034】
【数1】
【0035】
上記式1において、M(u,v)はウィナーフィルタの周波数特性である。また、|H(u,v)|は光学伝達関数(OTF)の絶対値(MTF)である。
【0036】
この方法は、周波数ごとに、MTFが小さいほど回復ゲインを抑制し、MTFが大きいほど回復ゲインを強くするものである。一般に、光学系のMTFは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。
【0037】
ここで、画像回復フィルタの例を、図2に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図2に示す画像回復フィルタは、11×11セルを有する2次元フィルタである。各セルが画像の1画素に対応する。図2では各タップ内の値を省略しているが、この画像回復フィルタの1つの断面を図3に示している。画像回復フィルタの各タップの値(係数値)の分布が、収差によって空間的に広がった信号値(PSF)を理想的には元の1点に戻す役割を果たす。
【0038】
このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。
【0039】
画像回復の実空間と周波数空間での特性を、図4および図5を用いて説明する。図4中の(a)は回復前のPSFを、(b)は回復後のPSFを示している。また、図5中の(M)の(a)は回復前のMTFを、(M)の(b)は回復後のMTFを示している。さらに、図5の(P)の(a)は回復前のPTFを、(P)の(b)は回復後のPTFを示している。回復前のPSFは非対称な広がりを持っており、この非対称性によりPTFは零ではない。回復処理は、MTFを増幅し、PTFを零に補正するため、回復後のPSFは対称で鮮鋭になる。
【0040】
この画像回復フィルタは、光学系の光学伝達関数(OTF)の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式1を逆フーリエ変換することで画像回復フィルタを作成することができる。
【0041】
実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離(被写体距離)に対応する複数の画像回復フィルタを用意する。
【0042】
「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性(結像特性)の回転対称性が崩れ、該像面上での位置(又は領域)ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
【0043】
画像中の片ぼけの例を図6に示す。製造誤差がない場合の結像特性(MTF)を基準としたとき、画像の左側はMTFが低く鮮鋭度が低くなっており、右側はMTFが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性(つまりは片ぼけ)を示す情報であり、結像特性(光学特性)の相異に応じて光学機器の個体ごとに異なる情報である。
【0044】
個別補正情報は、像面(撮像素子の受光面又は画像)における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。
【0045】
光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。
【0046】
個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数(OTF)を測定する場合に比べて容易に作成することができる。
【0047】
なお、画像を構成する色成分ごと(すなわち、色光ごと)に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量(これについては後述する)に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。
【0048】
個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。
【実施例1】
【0049】
図1には、本発明の実施例1である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器21,22,23,・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置10に入力画像として受け渡される。画像処理装置10は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。
【0050】
画像処理装置10は、その内部メモリ(記憶手段)11に、光学機器21,22,23,・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置21,22,23,・・・の光学系の設計上の光学伝達関数(OTF)に基づいて作成することができる。
【0051】
一方、光学機器21,22,23,・・・はそれぞれ、個体ごとに異なる個別補正情報A,B,C,・・・をその内部メモリ(図示せず)に保持している。
【0052】
図7のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置10は、ステップS11にて、複数の光学機器21,22,23,・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。
【0053】
次に、ステップS12では、画像処理装置10は、内部メモリ11に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時(撮像時)の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。
【0054】
使用画像回復フィルタとしては、内部メモリ11に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い2つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。
【0055】
なお、仮に光学機器21,22,23,・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数(OTF)が、該光学系の像面上、つまりは入力画像上における位置(又は領域)によって異なる。このため、使用画像回復フィルタは、入力画像上の位置(又は領域)によって変更することが望ましい。
【0056】
次に、ステップS13では、画像処理装置10は、特定光学機器から前述した個別補正情報を取得して、内部メモリ11に保持する。
【0057】
次に、ステップS14では、画像回復手段としての画像処理装置10は、ステップS12で内部メモリ11に保持した使用画像回復フィルタを、ステップS13で内部メモリ11に保持した個別補正情報から生成した補正フィルタを用いて補正する。
【0058】
図8中の(a)には補正前の画像回復フィルタを示しており、(b)には個別補正情報に対応するように生成された補正フィルタを示しており、ともに係数値は省略されている。補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。
【0059】
画像回復フィルタは、光学伝達関数(OTF)に基づいて生成されるため、図2に示したように、例えば11×11タップという比較的多くのタップ数を有する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を主とすることで、例えば3×3タップといった少ないタップ数、つまりはデータ量で画像回復フィルタを補正することができる。
【0060】
画像回復フィルタに補正フィルタをコンボリューションすることにより、画像回復フィルタの特性を補正することができる。補正の前後の画像回復フィルタの係数値の変化を、図9に示す。図9中の(a)と(b)はそれぞれ、補正前の画像回復フィルタと補正後の画像回復フィルタの同一断面での係数値を示している。
【0061】
また、図10には、補正フィルタによる画像回復フィルタの補正の有無と、画像回復処理によるMTFの変化との関係を示す。図10中の(a)は回復処理前の入力画像のMTFであり、(b)は補正フィルタにより補正をしていない画像回復フィルタを用いた回復処理後の画像のMTFである。(c)は補正フィルタとしてのハイパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のMTFである。(d)は補正フィルタとしてのローパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のMTFである。このように、製造誤差による個体差のある光学機器により生成された画像のMTFを、該光学機器から取得した個別補正情報に基づいて補正した画像回復フィルタを用いて、該個体差に応じて回復させることができる。
【0062】
図11には、入力画像の複数の位置に対して予め離散的に用意されて内部メモリ11に保持された複数の画像回復フィルタを示している。互いに同一の番号(1〜8)が付された画像回復フィルタは、互いに同一の画像回復フィルタであることを示している。図11では、光学系の結像特性の回転対称性に対応するように、互いに同一の画像回復フィルタが画像の中心回りで回転対称性を有するように適用される。ただし、互いに同一の画像回復フィルタであっても、それらの向きは異なる。
【0063】
図12には、図11に示した複数の画像回復フィルタを、特定光学機器から取得した個別補正情報に基づいて補正する、すなわち補正フィルタをコンボリューションすることで作成した補正画像回復フィルタを示している。入力画像の複数の位置のそれぞれに適用される補正画像回復フィルタは、全て異なるフィルタとなっている(全て異なる番号が付されている)。このように、個別補正情報に基づいて補正された複数の画像回復フィルタには、製造誤差による画像上の位置ごとの結像特性の相異が反映されている。画像回復フィルタを、入力画像上での位置に応じてどのように補正するかは、製造誤差の発生の仕方に依存する。
【0064】
また、入力画像における画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合い、つまりは個別補正情報を変更してもよい。画素の特徴量としては、例えば、画像の画素値(信号値)の変化が低い平坦部と画素値の変化が大きいエッジ部や、画素の輝度飽和度がある。
【0065】
次に、ステップS15では、画像処理装置10は、入力画像に対して、補正画像回復フィルタを用いた画像回復処理を行う。そして、ステップS16にて、画像回復処理の結果画像としての回復画像を出力する。
【0066】
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、該画像回復フィルタをデータ量が小さな個別補正情報を用いて補正することで、結像特性が異なる個々の光学機器に適した画像回復処理を行う。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。
【0067】
なお、光学機器21,22,23,・・・が交換レンズである場合に、画像処理装置10をレンズ交換型の撮像装置に搭載することで、光学機器21,22,23,・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。
【実施例2】
【0068】
図13のフローチャートには、本発明の実施例2である画像処理方法を用いた画像回復処理の手順を示している。
【0069】
画像処理装置10は、ステップS21にて、図1に示した複数の光学機器21,22,23,・・・のうち入力画像の取り込み先である特定光学機器から、有線もしくは無線による通信により又は該光学機器に対して着脱可能な記憶媒体を介して入力画像を取得する。
【0070】
次に、ステップS22では、画像処理装置10は、内部メモリ11に保持された複数の画像回復フィルタから、実施例1のステップS12と同様にして、特定光学機器での撮像条件に対応する画像回復フィルタ(使用画像回復フィルタ)を選択又は生成する。そして、使用画像回復フィルタを内部メモリ11に保持する。
【0071】
次に、ステップS23では、画像処理装置10は、特定光学機器から個別補正情報を取得して、内部メモリ11に保持する。
【0072】
次に、ステップS24では、画像処理装置10は、ステップS21にて特定光学機器から取り込んだ入力画像に対して、ステップS22で内部メモリ11に保持した使用画像回復フィルタを用いた画像回復処理を行う。
【0073】
次に、ステップS25では、画像処理装置10は、画像回復処理の結果画像である回復画像を、ステップS23にて内部メモリ11に保持した個別補正情報から生成した補正フィルタ用いて補正する。そして、ステップS26で、補正後の回復画像を出力する。
【0074】
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタを共通に用意し、該画像回復フィルタによって画像回復処理が行われた回復画像を、データ量が小さな個別補正情報を用いて補正する。これにより、結像特性が異なる個々の光学機器に適した画像回復処理を行う。このため、本実施例でも、実施例1と同様に、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。
【実施例3】
【0075】
図14には、本発明の実施例3である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例1にて説明した画像処理装置を含む。
【0076】
不図示の被写体からの光束は、撮像光学系101によって、CCDセンサやCMOSセンサ等により構成される撮像素子102上に結像する。
【0077】
撮像光学系101は、不図示の変倍レンズ、絞り101aおよびフォーカスレンズ101bを含む。変倍レンズを光軸方向に移動させることで、撮像光学系101の焦点距離を変更するズームが可能である。また、絞り101aは、絞り開口径を増減させて、撮像素子102に到達する光量を調節する。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス(AF)機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部106は、システムコントローラ110からの制御信号に応じて、変倍レンズや絞り101aの駆動やAFを制御する。
【0078】
撮像光学系101には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系101の光学伝達関数(OTF)の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。
【0079】
撮像素子102上に形成された被写体像は、該撮像素子102により電気信号に変換される。撮像素子102からのアナログ出力信号は、A/Dコンバータ103によりデジタル撮像信号に変換され、画像処理部104に入力される。
【0080】
画像処理部104は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子102から画像処理部104のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部104は、入力画像に対して実施例1にて説明した画像回復処理を行う画像処理装置として機能する部分(画像回復手段)を含む。
【0081】
画像処理部104は、撮像条件検知部107から、撮像光学系101の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部107は、システムコントローラ110から撮像条件の情報を得てもよいし、撮像光学系101を制御する撮像光学系制御部106から得てもよい。
【0082】
そして、画像処理部104は、実施例1にて説明したように、撮像条件に応じた画像回復フィルタ(使用画像回復フィルタ)を記憶部108から選択したり生成したりする。画像回復フィルタは、実施例1にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部108は、実施例1にて説明した画像処理装置10の内部メモリ11に代わる記憶手段である。さらに、画像処理部104は、記憶部108から、この撮像装置の個別補正情報を読み出し、該個別補正情報から生成した補正フィルタを用いて使用画像回復フィルタを補正することで、補正画像回復フィルタを生成する。なお、撮像装置の出荷前に全ての画像回復フィルタの個別補正情報に応じた補正を行っておいてもよい。
【0083】
画像処理部104は、補正画像回復フィルタを用いて、入力画像に対する画像回復処理を行う。そして、画像処理部104は、画像回復処理により得られた回復画像を、画像記録媒体109に所定のフォーマットで保存する。また、表示部105に、回復画像を表示する。
【0084】
本実施例によれば、画像処理部104での処理時間や記憶部108にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像を得ることができる。
【0085】
本実施例では、実施例1にて説明した画像処理装置の機能を搭載した撮像装置について説明したが、これに代えて実施例2にて説明した画像処理装置の機能を搭載してもよい。この場合、画像処理部104は、撮像条件に応じた使用画像回復フィルタを用いて入力画像に対する画像回復処理を行い、これにより得られた回復画像を、記憶部108から読み出した個別補正情報から生成した補正フィルタを用いて補正する。
【0086】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0087】
光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。
【符号の説明】
【0088】
10 画像処理装置
11 内部メモリ
21〜23 光学機器
【特許請求の範囲】
【請求項1】
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うことを特徴とする画像処理方法。
【請求項2】
1つの前記画像における位置ごとに前記画像回復フィルタを用意し、
該位置ごとに用意された前記画像回復フィルタと、該位置ごとに異なる前記補正情報とを用いて前記画像回復処理を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記補正情報は、前記画像を構成する色成分ごとに異なることを特徴とする請求項1または2に記載の画像処理方法。
【請求項4】
前記光学特性は、前記各光学機器の像面における位置ごとの結像特性であることを特徴とする請求項1から3のいずれか1項に記載の画像処理方法。
【請求項5】
前記画像における画素の特徴量に応じて前記補正情報を変更することを特徴とする請求項1から4のいずれか1項に記載の画像処理方法。
【請求項6】
前記補正情報を、前記各光学機器から取得することを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
【請求項7】
前記補正情報を、前記画像の付帯情報とすることを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
【請求項8】
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像回復手段とを有することを特徴とする画像処理装置。
【請求項9】
撮像を行って画像を生成する撮像系と、
請求項8に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項10】
コンピュータに、
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意するステップと、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
【請求項1】
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うことを特徴とする画像処理方法。
【請求項2】
1つの前記画像における位置ごとに前記画像回復フィルタを用意し、
該位置ごとに用意された前記画像回復フィルタと、該位置ごとに異なる前記補正情報とを用いて前記画像回復処理を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記補正情報は、前記画像を構成する色成分ごとに異なることを特徴とする請求項1または2に記載の画像処理方法。
【請求項4】
前記光学特性は、前記各光学機器の像面における位置ごとの結像特性であることを特徴とする請求項1から3のいずれか1項に記載の画像処理方法。
【請求項5】
前記画像における画素の特徴量に応じて前記補正情報を変更することを特徴とする請求項1から4のいずれか1項に記載の画像処理方法。
【請求項6】
前記補正情報を、前記各光学機器から取得することを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
【請求項7】
前記補正情報を、前記画像の付帯情報とすることを特徴とする請求項1から5のいずれか1項に記載の画像処理方法。
【請求項8】
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像回復手段とを有することを特徴とする画像処理装置。
【請求項9】
撮像を行って画像を生成する撮像系と、
請求項8に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項10】
コンピュータに、
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意するステップと、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行うステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−234484(P2012−234484A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−104396(P2011−104396)
【出願日】平成23年5月9日(2011.5.9)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願日】平成23年5月9日(2011.5.9)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]