説明

画像処理装置、画像処理方法及びプログラム

【課題】画像回復処理による画像データの過回復を低減させる。
【解決手段】画像処理部104は、撮像条件に対応する画像回復フィルタを用いて、撮像された画像データに対して画像回復処理を行う。そして、画像処理部104は、画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される変化量の制限値に基づいて、画像回復処理による画像データの信号値の変化量を制限する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像回復フィルタを用いた画像回復処理の技術に関するものである。
【背景技術】
【0002】
画像データに対して様々な補正処理を行う方法が提案されている。デジタルカメラで被写体を撮像して画像データを生成するとき、得られた画像データは、撮像光学系の収差によって少なからず劣化している。
【0003】
画像データのぼけ成分は、光学系の球面収差、コマ収差、像面湾曲、および、非点収差等が原因となっている。無収差で回折の影響もない理想的な光学系を用いた場合に、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、実際には一点に集まらずに広がって像を結んでしまう。この広がってしまった光束の分布が、ぼけ成分である。光学的には点像分布関数(PSF:Point spread function)と呼ぶものであるが、これを画像データではぼけ成分と呼ぶことにする。画像データのぼけ成分というと例えばピントがずれた画像データもぼけているが、ここではピントが合っていても、光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみについても、光学系の軸上色収差、色の球面収差、および、色のコマ収差が原因であるものは、光の波長毎のぼけ成分の相違に起因しているということができる。
【0004】
画像データのぼけ成分の劣化を補正する方法として、撮像光学系の光学伝達関数(OTF:Optical Transfer Function)の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以下、この撮像光学系の光学伝達関数(OTF)の情報を用いて画像データの劣化を補正する処理を画像回復処理と称す。
【0005】
ここで、画像回復処理の概要について説明する。劣化した画像データ(劣化画像データ)をg(x,y)、元の画像データをf(x,y)、光学伝達関数を逆フーリエ変換したものである点像分布関数(PSF)をh(x,y)としたとき、以下の式が成り立つ。但し、*はコンボリューションを示し、(x,y)は画像データ上の座標を示す。
g(x,y)=h(x,y)*f(x,y)
【0006】
また、この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。なお、Hは点像分布関数(PSF)をフーリエ変換したものであるので光学伝達関数(OTF)である。(u,v)は2次元周波数面での座標、即ち周波数を示す。
G(u,v)=H(u,v)・F(u,v)
【0007】
劣化画像データから元の画像データを得るためには、まず、以下のように両辺をHで除算する。
G(u,v)/H(u,v)=F(u,v)
このF(u,v)を逆フーリエ変換して実面に戻すことで元の画像データf(x,y)が回復像として得られる。
【0008】
ここで、上式の1/Hを逆フーリエ変換したものをRとすると、以下の式のように実面での画像データに対するコンボリューション処理を行うことで、同様に元の画像データを得ることができる。
g(x,y)*R(x,y)=f(x,y)
【0009】
このR(x,y)を画像回復フィルタと称す。ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じて光学伝達関数(OTF)が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。例えば、特許文献1には、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じた点像分布関数(PSF)を用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにFナンバの小さい対物光学系が必要となる。Fナンバの小さい対物光学系を用いると焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理を行って合焦像を得ようとしている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開平10−165365号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
上述した通り、撮影した画像データに対して画像回復処理を施し、様々な収差を補正することにより、画質を向上させることができる。しかしながら、実際の撮影では、画像データの撮影状態と、これを回復するための画像回復フィルタの状態とが完全には一致しない場合がある。その例として、撮影した画像データに飽和画素がある場合が挙げられる。飽和画素は本体の被写体情報を失っているため、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態とが、一致しない事態が発生する。
【0012】
また、レンズの焦点距離、絞り値、撮影距離等の撮影情報に応じて画像回復フィルタを選択又は生成する場合、実際の撮影状態と使用する撮影情報とに誤差があることもある。特に撮影距離は、立体被写体を撮影する場合は画角によって被写体距離が異なるために、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態が一致しない事態が発生しやすい。
【0013】
特に、画像回復フィルタが回復対象として想定している画像データよりも、実際に得られた画像データのほうが先鋭であった場合、画像回復フィルタを用いると、回復された画像データは過回復状態となり、エッジ部分ではアンダーシュート、オーバーシュートといった画質劣化を発生させる。特に低輝度部でのアンダーシュートは、画像回復処理後に適用されるガンマ処理によって増幅され、違和感のある画像データになる。
【0014】
また、特許文献1に開示される技術においても、想定している点像分布関数(PSF)と、実際に得られた画像データとに相違がある場合は、過回復が発生し、回復後の画像データの画質が劣化すると考えられる。
【0015】
そこで、本発明の目的は、画像回復処理による画像データの過回復を低減させることにある。
【課題を解決するための手段】
【0016】
本発明の画像処理装置は、撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理手段と、前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される変化量の制限値に基づいて、前記画像回復処理による前記画像データの画素の信号値の変化量を制限する制限手段とを有することを特徴とする。
【発明の効果】
【0017】
本発明によれば、画像回復処理による画像データの過回復を低減させることが可能となる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る撮像装置の構成を示す図である。
【図2】本発明の第1の実施形態における画像回復処理部によって実行される画像回復処理を示すフローチャートである。
【図3】画像回復フィルタを説明するための図である。
【図4】変化量の制限値の算出方法を説明するための図である。
【図5】画像回復処理の前後における画像データの例を示す図である。
【図6】本発明の第2の実施形態における画像回復処理部によって実行される画像回復処理を示すフローチャートである。
【図7】設定された回復強度と、画像回復処理後のエッジにおけるぼけ成分の改善例とを示す図である。
【図8】変化量の制限値の算出処理に関する他の実施形態を説明するための図である。
【発明を実施するための形態】
【0019】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【0020】
図1は、本発明の第1の実施形態に係る撮像装置の構成を示す図である。図1に示す本実施形態に係る撮像装置において、撮像光学系101は被写体像を撮像素子102上に結像する。なお、撮像光学系101は、開口径が制御される絞り101aとピント調整を行うためのフォーカスレンズ101bとを備える。撮像素子102は、撮像光学系101によって結像された被写体像を電気信号に変換する。A/Dコンバータ103は、撮像素子102から出力された電気信号をデジタル信号に変換し、画像データとして画像処理部104に対して出力する。画像処理部104は、画像回復処理を行う画像回復処理部111と、ガンマ補正処理等を行うその他画像処理部112とから構成される。画像回復処理は、ガンマ補正が適用される前の状態の画像データに対して行われ、画像回復された画像データに対してガンマ補正が行われる。
【0021】
画像処理部104は、状態検知部107から撮像装置の撮影情報を取得する。なお、撮影情報には、レンズの焦点距離、絞り値、および、撮影距離等が含まれる。画像回復処理部111は、状態検知部107から取得された撮影情報に対応する画像回復フィルタを記憶部108から選択し、当該画像回復フィルタを用いて、画像処理部104に入力された画像データに対する画像回復処理を行う。状態検知部107は、システムコントローラ110から撮像装置に関する全ての撮影情報を得てもよいし、撮像装置に関する撮影情報のうち、撮像光学系101に関する撮影情報については、撮像光学系制御部106から別途得るようにしてもよい。システムコントローラ110は、撮像装置全体を統括制御する。撮像光学系制御部106は、システムコントローラ110の指示に応じて撮像光学系101を制御する。記憶部108は、撮影情報毎に画像回復フィルタを記憶する。画像記録媒体109は、画像処理部104によって処理された画像データを記憶する。表示部105は、システムコントローラ110の指示に応じて、画像処理部104によって処理された画像データを表示する。
【0022】
次に、図2を参照しながら、画像回復処理部111によって実行される画像回復処理について説明する。
【0023】
ステップS201において、画像回復処理部111は、状態検知部107から撮像装置の撮影情報を取得する。ステップS202において、画像回復処理部111は、取得した撮影情報に基づいて、撮像装置の撮像条件に適した画像回復フィルタを記憶部108から選択する。このとき、選択された画像回復フィルタを必要に応じて補正したり、選択した複数の画像回復フィルタを用いて補間することで新たな画像回復フィルタを生成したりしても構わない。これは、予め記憶部108に用意しておく画像回復フィルタのデータ量を低減するために、記憶部108内には離散的な撮像装置の撮像条件に対応したデータを用意しておき、この用意しておいたデータを用いて、実際に画像回復処理を実行する際の撮影条件に対応する画像回復フィルタを生成するものである。
【0024】
図3は、画像回復フィルタを説明するための図である。画像回復フィルタは、撮像光学系の収差量に応じてタップ数を決めることができ、本実施形態では、11×11タップの2次元フィルタとしている。画像回復フィルタの各タップが画像データの1画素に対応している。
【0025】
図3(a)に示すように、画像回復フィルタを100以上に分割した2次元フィルタとすることにより、撮像光学系101による球面収差、コマ収差、軸上色収差、および、軸外色フレア等の、光束が本来結像すべき位置から大きく広がってしまう収差を回復することができる。また、入力される画像データに対して、このような実空間で画像回復フィルタをコンボリューション処理することにより、撮像装置中でフーリエ変換を行うことなく、画像データを回復させることができる。
【0026】
図3(a)では、各タップ内の重み係数の値を省略しているが、この画像回復フィルタの或る断面におけるタップの重み係数の値を図3(b)に示す。この画像回復フィルタは、撮像光学系101の光学伝達関数(OTF)を計算又は計測し、その逆数を逆フーリエ変換して得ることができる。但し、実際の画像データにはノイズ成分があるため、光学伝達関数(OTF)の逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、良好な画像データが得られない。従って、例えばウィーナーフィルタを用いて画像成分とノイズ成分との強度比に応じて画像データの高周波側の回復率を抑制することが行われる。
【0027】
さらに光学伝達関数(OTF)は、撮像光学系101のみならず、画像処理部104に入力される画像データに対して、光学伝達関数(OTF)を劣化させる要因を含めることができる。例えば、ローパスフィルタは、光学伝達関数(OTF)の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数(OTF)を計算または計測し、この広義の光学伝達関数(OTF)に基づいて、画像回復フィルタを作成することが望ましい。
【0028】
また、画像データがRGB形式のカラー画像データである場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すればよい。撮像光学系101には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて若干異なる。即ち、図3(b)に示す画像回復フィルタの或る断面のタップの重み係数の値が色成分毎に異なることになる。なお、画像回復フィルタの縦横のタップ数に関しては正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。
【0029】
図2に示すフローチャートの説明に戻る。ステップS203において、画像回復処理部111は、各画素において画像回復処理による変化量の制限値を算出する。この制限値は、画像回復処理前の画素の信号値と、画像回復処理後に適用されるガンマ補正の特性とに応じて算出される。
【0030】
ガンマ補正とは、撮像素子102及びA/Dコンバータ103で取得された信号値を明るさに応じて調整する補正処理であり、ガンマ補正における入出力の特性は、一般的に図4(a)に示すような形状をしている。この形状から明らかであるが、ガンマ補正前の信号値の変化は低輝度側で増幅され、高輝度側では減衰される。つまり、画像回復処理による画素の信号値の変化量は、画像回復処理後のガンマ補正により低輝度側で増幅され、高輝度側では減衰することになる。
【0031】
ステップS203では、このガンマ補正による画素の信号値のレベル毎の増幅及び減衰の違いを吸収し、画素の信号値の変化量の最大値がガンマ補正後でも一定になるように変化量の制限値を算出する。
【0032】
図4(b)を用いて、上記変化量の制限値の算出方法について具体的に説明する。ガンマ補正前の2つの画素の信号値a、bに関して考える。aはbよりも値が小さく、aは低輝度側、bは高輝度側に位置している。今これら2つの画素の信号値がそれぞれガンマ補正後の状態でKだけ値が減ることを許可するものとする。この場合、ガンマ補正前の状態において、画素の信号値aにおける画素の信号値の減少の許容範囲は図中のLim(a)となる。一方、画素の信号値bにおける画素の信号値の減少の許容範囲は図中のLim(b)となる。図4(b)から明らかであるが、低輝度側aの許容範囲Lim(a)は高輝度側bの許容範囲Lim(b)よりも小さくなる。このようにガンマ補正後の状態での許容変化量Kから、ガンマ補正を考慮した変化量の制限値が算出される。
【0033】
各画素レベルにおいてこの変化量の制限値を算出した例を図4(c)に示す。図4(c)に示すように、Kの値によって変化量の制限値の特性は異なり、図4(c)の例では、K=p2における変化量の制限値は、K=p1における変化量の制限値よりも大きくなっている。ただし、p2はp1よりも大きな値を示すものとする。この許容変化量Kは、撮像光学系101、撮像素子102及び画像処理部104を含めた一連の画像回復処理の流れにおいて、画像回復処理の過回復発生の可能性や過回復の程度を予め実験的に求めることで値を決定しておく。
【0034】
図4(d)は、図4(c)における1つの変化量の制限値に関して原点付近を拡大した例を示している。上述のガンマ特性を考慮した変化量の制限値の算出方法では、画素の信号値が0に収束するときにLim(x)が0に収束しない場合がある。このような場合は、図4(d)に示すように、原点を通る、変化量の制限値の近似曲線により、原点付近の制限値を求めてもよい。また、原点を通る、変化量の制限値に接する直線を引くことにより、原点付近の変化量の制限値を求めてもよい。
【0035】
ステップS203で使用されるガンマ特性は、撮影に使用された撮像素子に対応したものが望ましいが、ガンマ特性の形状が似たガンマ特性のモデルを使用してもよい。また、変化量の制限値は予め算出しておいてもよいし、画像回復処理時に算出してもよい。予め算出しておく場合は、画素の信号値に対する変化量の制限値をテーブルの形や関数の形で保持しておき、画素の信号値に応じた変化量の制限値が取得される。
【0036】
図2に示すフローチャートの説明に戻る。ステップS204において、画像回復処理部111は、ステップS202で得られた画像回復フィルタを用いて、撮像された画像データに対してコンボリューション処理を行う。これにより、撮像光学系で発生した収差による画像データのぼけ成分を除去又は低減することができる。ここで、RGBの色成分毎に適した画像回復フィルタを用いることにより、色収差も補正することができる。
【0037】
画像回復処理において、実際に得られた画像データと、画像回復フィルタが回復対象として想定している画像データの劣化状態が一致しない場合、過回復になることがある。図5(a)は、飽和画素部分において過回復になった例として、画像データのエッジ部分の状態を示している。図5(a)の矩形で囲った部分に示すように、過回復により一部アンダーシュートが発生している箇所がある。図5(b)は、画像回復処理前の画像データに対してガンマ補正を行った状態を示している。図5(c)は、画像回復処理後の画像データに対してガンマ補正を行った状態を示している。図5(c)に示すように、画像回復処理後の画像データはアンダーシュート部分がガンマ補正により増幅され、顕著に確認される。これが画質劣化や画像の違和感となって表れる。
【0038】
そこで、ステップS205において、画像回復処理部111は、過回復を低減させるらめに変化量の制限処理を行う。画像回復処理部111は、ステップS203で算出した変化量の制限値に基づいて値の調整を行う。ここで、画像回復処理前の画素の信号値をP0、画像回復処理後の画素の信号値をP1、画素の信号値P0の変化量の制限値をLim(P0)とする。画像回復処理前の画素の信号値P0と画像回復処理後の画素の信号値P1との差分が、画素の信号値P0の変化量の制限値Lim(P0)より大きい場合、変化量制限処理後の画素の信号値P2は、画像回復処理前の画素の信号値P0から画素の信号値P0の変化量の制限値Lim(P0)を減算した値となる。一方、画像回復処理前の画素の信号値P0と画像回復処理後の画素の信号値P1との差分が、画素の信号値P0の変化量の制限値Lim(P0)以下である場合、変化量制限処理後の画素の信号値P2は、画像回復処理後の画素の信号値P1の値となる。
【0039】
図5(d)は、変化量の制限処理後における画素の信号値の例を示しており、図5(a)の矩形で囲った領域を拡大したものである。図5(e)は、変化量の制限処理を行った状態でガンマ補正を実行した場合の画素の信号値の例を示している。図5(e)に示すように、図5(c)に示したアンダーシュート部分が低減されているのが分かる。
【0040】
ここでは、画像回復処理により値が減る場合における変化量の制限処理について述べているが、値が増加する場合においても変化量の制限処理を行ってもよい。このときの変化量の制限値の算出方法は、値が減少する場合と同様であるため、説明は省略する。画像回復処理によって信号値が増加する場合であって、信号値の変化量が制限値を超えている場合は、画像回復処理前の画素の信号値に制限値を加算した値が、変化量制限処理後の信号値となる。
【0041】
なお、図2に示すフローチャートにおいて、変化量の制限値の算出処理(ステップS203)と画像回復処理(ステップS204)との順番はこれに限る必要はなく、逆の順番でもよい。即ち、ステップS204における画像回復処理前の画素の信号値を保持しておき、ステップS204の画像回復処理後にステップS203の変化量の制限値の算出処理を行う。そして、算出された変化量の制限値を用いてステップS205の変化量の制限処理を行っても同様の結果が得られる。
【0042】
以上説明した図2のフローチャートに従って画像データ上の各画素に対して画像処理を行って終了となる。ここで、上述した実施形態では、画像回復処理が終わった画像データ全体に対して変化量の制限処理を行っている。他の実施形態として、画像データ上の1画素ずつ画像回復処理を行う際に、その画素における変化量の制限値を算出し、変化量の制限値を用いて変化量の制限処理を行うことにより、当該画素の信号値を決定してもよい。
また、本実施形態では、飽和画素部分に対して画像回復処理時に発生する過回復を抑制する方法について説明したが、本発明においては、原因に関わらず、画像回復処理時の過回復を抑制することができる。さらに、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の他の処理を、本実施形態における処理の前後や途中に組み合わせて行うことも可能である。
【0043】
画像処理部104は、画像回復処理された画像データを画像記録媒体109に所定のフォーマットで保存する。ここで、画像記録媒体109に保存される画像データは、画像回復処理による過回復が低減された画像データである。また、画像処理部104は、画像回復処理後の画像データに対して表示用の所定の処理を行った後、表示部105に表示させてもよい。一連の制御はシステムコントローラ110で行われ、撮像光学系の機械的な駆動は、システムコントローラ110の指示に応じて撮像光学系制御部106によって実行される。
【0044】
絞り101aは、Fナンバの撮影状態設定として開口径が制御される。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構により位置が制御される。この撮像光学系101には、ローパスフィルタや赤外線カットフィルタ等の光学素子を含めても構わない。但し、ローパスフィルタ等の光学伝達関数(OTF)の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でそのような光学素子の影響を考慮することが望ましい。赤外カットフィルタにおいても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各点像分布関数(PSF)、特にRチャンネルの点像分布関数(PSF)に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタの影響を考慮することが望ましい。
【0045】
また、撮像光学系101は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであってもよい。また、光学伝達関数(OTF)は1つの撮影状態においても撮像光学系の画角(像高)に応じて変化するので、像高に応じて分割された画像データの領域毎に変更して画像回復処理を行うことが望ましい。画像回復フィルタを、画像データ上をコンボリューション処理しながら走査させ、画像データの領域毎に画像回復フィルタを順次変更すればよい。
【0046】
次に、本発明の第2の実施形態について説明する。第2の実施形態に係る撮像装置の構成は、図1に示した構成と同様であるため、以下の説明では図1の符合を用いるものとする。
【0047】
図6は、本発明の第2の実施形態における画像回復処理部111によって実行される画像回復処理を示すフローチャートである。図6におけるステップS201、S202、S203、S204、S205の各処理は、第1の実施形態における図2の同一符号の処理に対応する処理である。以下では、第1の実施形態と共通する部分については説明を省略し、異なる部分について説明を行うものとする。
【0048】
画像回復処理部111は、ステップS202で画像回復フィルタを選択した後、ステップS601において回復強度を取得する。ここで回復強度とは、予めユーザにより設定された画像回復処理の強さを示す設計値であり、値が大きいほど画像回復処理による画素の信号値の変化量が大きくなるようユーザがコントロールできるようにしたものである。なお、回復強度は、システムコントローラ110から画像処理部104に対して与えられる値である。
【0049】
ステップS203において、画像回復処理部111は、取得した回復強度に応じて変化量の制限値を算出する。具体的には、回復強度に連動させて、図4(b)に示すガンマ補正後の変化許容量Kを決定する。ユーザが設定した回復強度が大きいほど、それに連動させて変化許容量Kを大きく設定する。こうすることで、過回復を低減するための変化量の制限値を必要最小限に抑えることや、画像回復処理による変化量をコントロールすることでユーザの好みの画像データを得ることが可能になる。
【0050】
図7は、設定された回復強度と、画像回復処理後のエッジにおけるぼけ成分の改善例とを示す図である。即ち、図7の701は、回復強度が高い場合におけるぼけ成分の改善例を示しており、図7の702は、回復強度が低い場合におけるぼけ成分の改善例を示している。なお、図7の701、702はともに、ガンマ補正処理後の画像データについて示したものである。このように、本実施形態においては、回復強度を設定することにより、エッジおけるぼけ成分の改善状態を変えることが可能になる。
【0051】
上述した実施形態では撮像装置について述べたが、画像処理装置においても、回復強度の設定によって変化許容量Kを決定は有効に働く。事前に撮像された画像処理前の画像データ(A/Dコンバータ103の出力データ)を記録しておき、記録された画像処理前の画像データに対し、後から画像回復処理を実行し結果を表示する画像処理装置を考える。この場合、設定された回復強度に対応する変化量の制限値で処理された画像データが表示されるため、ユーザは表示される画像データを確認しながら、好みの回復強度を決定することが可能になる。これにより、より高精度な変化量の制限処理を行うことができる。
【0052】
また、ステップS203における変化量の制限値の算出処理に関する他の実施形態について説明する。上述したように、ガンマ補正によって主に低輝度側の信号が増幅されるので、過回復を低減するためには特に低輝度側の変化量の制限が重要となる。従って、低輝度側を重視するために、図8に示すように、或る閾値a以下の領域の変化量の制限値を単調増加するように直線近似し、閾値aより大きい領域の変化量の制限値を一定値にしてもよい。こうすることで変化量の制限値としての特性は単純になり、変化量の制限値の算出や管理が簡単になることで処理の効率化を図ることができる。ユーザが設定した回復強度により変化量の制限値を可変にする場合は、変化許容量Kと併せて閾値aを可変にしてもよい。回復強度が大きくなるほど閾値aを大きくすることで、変化量の制限値をコントロールすることができる。
【0053】
以上、本発明の実施形態について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能であり、撮像装置での使用に限るものではなく、例えばPC上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。
【0054】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0055】
101 撮像光学系
101a 絞り
101b フォーカスレンズ
102 撮像素子
103 ADコンバータ
104 画像処理部
111 画像回復処理部
112 その他画像処理部
105 表示部
106 撮像光学系制御部
107 状態検知部
108 記憶部
109 画像記録媒体
110 システムコントローラ

【特許請求の範囲】
【請求項1】
撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理手段と、
前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される変化量の制限値に基づいて、前記画像回復処理による前記画像データの信号値の変化量を制限する制限手段とを有することを特徴とする画像処理装置。
【請求項2】
前記画像回復処理は、前記画像データに対して、前記撮像手段の光学伝達関数の逆数を逆フーリエ変換して得られるフィルタを適用する処理であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制限手段は、
前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記制限値以下であれば、前記画像回復処理が行われた後の信号値を出力し、
前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値に前記制限値を加算あるいは減算して得られる信号値を出力することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記変化量の制限値は、更に、前記画像データの画素の信号値に応じて決定される値であることを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記変化量の制限値は、前記画像データの画素の信号値が0である場合、0となるように決定された値であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記制限手段は、
前記画像データの画素の信号値が閾値以下であれば、前記変化量の制限値を前記画像データの画素の信号値が増加することに応じて単調増加させ、
前記画像データの画素の信号が閾値より大きければ、前記変化量の制限値を一定値に設定することを請求項4又は5に記載の画像処理装置。
【請求項7】
前記変化量の制限値を調整する調整手段を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記制限手段によって制限が行われた信号値を含む画像データを用いて、画像を表示する表示手段を有することを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記調整手段は、ユーザの指示に応じて前記変化量の制限値を調整するものであり、
前記表示手段は、前記調整手段にて調整された前記変化量の制限値を用いて、前記制限手段によって制限が行われた信号値を含む画像データを用いて、画像を表示することを特徴とする請求項8に記載の画像処理装置。
【請求項10】
画像処理装置によって実行される画像処理方法であって、
撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理ステップと、
前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される変化量の制限値に基づいて、前記画像回復処理による前記画像データの画素の信号値の変化量を制限する制限ステップとを有することを特徴とする画像処理方法。
【請求項11】
撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理ステップと、
前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される変化量の制限値に基づいて、前記画像回復処理による前記画像データの画素の信号値の変化量を制限する制限ステップとをコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−20610(P2013−20610A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2012−109907(P2012−109907)
【出願日】平成24年5月11日(2012.5.11)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】