画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
【課題】良好な画像回復処理が可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、光学伝達関数を用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、画像回復フィルタを用いて撮影画像の画像回復処理を行う工程とを有する。
【解決手段】画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、光学伝達関数を用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、画像回復フィルタを用いて撮影画像の画像回復処理を行う工程とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。
【背景技術】
【0002】
撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数PSF(Point Spread Function)で表される。
【0003】
点像分布関数PSFをフーリエ変換して得られる光学伝達関数OTF(Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数OTFの絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)と呼び、位相成分をPTF(Phase Transfer Function)と呼ぶ。振幅成分MTFおよび位相成分PTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。
【0004】
PTF=tan−1(Im(OTF)/Re(OTF))
ここで、Re(OTF)およびIm(OTF)はそれぞれ、光学伝達関数OTFの実部および虚部を表す。このように、撮像光学系の光学伝達関数OTFは、画像の振幅成分MTFと位相成分PTFに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばRGBの色成分として取得することで発生する。
【0005】
振幅成分MTFおよび位相成分PTFの劣化を補正する方法として、撮像光学系の光学伝達関数OTFの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数(OTF)の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数(OTF)の逆特性を有する画像回復フィルタを入力画像に対して畳み込む(コンボリューション)方法が知られている。
【0006】
画像回復処理を効果的に行うには、撮像光学系の光学伝達関数OTFをより正確に取得する必要がある。光学伝達関数OTFを取得する方法としては、例えば撮像光学系の設計値情報があればその情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。
【0007】
撮像光学系の光学伝達関数OTFは、一般的に、像高(撮影画像の位置)に応じて変動する。このため、撮影画像の画像回復処理を高精度に行うには、像高ごとの光学伝達関数OTFの変動に基づいて生成した適切な画像回復フィルタを用いる必要がある。撮影画像の位置に応じて画像回復の特性を変更する場合、画像回復処理は周波数空間にて一括で行うのではなく、実空間で画像回復フィルタを切り換えながら行うことが望ましい。特許文献1には、画像回復の回復度合を調節するための調節パラメータを有し、画像回復の回復度合を連続的に変化させる構成が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2007−183842号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、撮影条件によっては、撮影画像の少なくとも一部で、撮像素子のナイキスト周波数の帯域内で光学伝達関数の振幅成分MTFが零になる場合がある。以下、これを「零落ち」と呼び、零落ちする周波数を「零落ち周波数」という。零落ちの原因としては、収差や回折、手ぶれなどが挙げられる。零落ち周波数の情報は伝達(撮像)されないため、零落ち周波数での画像回復処理を行うことができない。また、零落ち周波数以外の周波数のみで画像回復処理を行うと、画像のエッジ部にリンギングが発生してしまう。この結果、高品質な回復画像を得ることができない。
【0010】
特許文献1の構成において、回復度合を調節することは可能である。しかし特許文献1の構成は、ユーザによる回復度合の変更が可能であるに過ぎず、光学系(光学伝達関数)の周波数特性に応じた適切なパラメータを自動的に決定するものではない。また、零落ち周波数に応じて回復度合を調節するものではないため、零落ちが存在する光学系による差撮影画像を良好に回復することはできない。
【0011】
そこで本発明は、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供する。
【課題を解決するための手段】
【0012】
本発明の一側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【0013】
本発明の他の側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。
【0014】
本発明の他の側面としての撮像装置は、撮影画像の画像回復処理を行う撮像装置であって、撮像光学系と、前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。
【0015】
本発明の他の側面としての画像処理プログラムは、コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【0016】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0017】
本発明によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【図面の簡単な説明】
【0018】
【図1】実施例1における画像処理方法のフローチャートである。
【図2】本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。
【図3】本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。
【図4】本実施例における画像処理方法の点像の補正状態の説明図である。
【図5】本実施例における光学伝達関数の振幅成分と位相成分の説明図である。
【図6】実施例1における閾値周波数の説明図である。
【図7】実施例1における画像回復フィルタの回復度合を設定する際の説明図である。
【図8】実施例1における回復ゲインの説明図である。
【図9】実施例1における画像回復前後の光学伝達関数の振幅成分MTFの説明図である。
【図10】実施例1における撮像装置の構成図である。
【図11】実施例2における画像処理システムの構成図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0020】
まず、本実施例で説明される用語の定義および画像回復処理(画像処理方法)について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
[入力画像]
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像(撮影画像)であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数OTFにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー(反射面)を用いて構成することもできる。
【0021】
入力画像の色成分は、例えばRGB色成分の情報を有する。色成分としては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ、Lab、Yuv、JChを用いることが可能である。更に、色温度を用いてもよい。
【0022】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
[画像回復処理]
続いて、画像回復処理の概要について説明する。撮影画像(劣化画像)をg(x,y)、もとの画像をf(x,y)、光学伝達関数OTFのフーリエペアである点像分布関数PSFをh(x,y)としたとき、以下の式(1)が成立する。
【0023】
g(x,y)=h(x,y)*f(x,y) … (1)
ここで、*はコンボリューション(畳み込み積分、積和)、(x,y)は撮影画像上の座標である。
【0024】
また、式(1)をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式(2)が得られる。
【0025】
G(u,v)=H(u,v)・F(u,v) … (2)
ここで、Hは点像分布関数PSF(h)をフーリエ変換することにより得られた光学伝達関数OTFであり、G,Fはそれぞれ劣化した画像g、もとの画像fをフーリエ変換して得られた関数である。(u,v)は2次元周波数面での座標、すなわち周波数である。
【0026】
撮影された劣化画像gからもとの画像fを得るには、以下の式(3)のように両辺を光学伝達関数Hで除算すればよい。
【0027】
G(u,v)/H(u,v)=F(u,v) … (3)
そして、F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことにより、もとの画像f(x,y)が回復画像として得られる。
【0028】
H−1を逆フーリエ変換したものをRとすると、以下の式(4)のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像f(x,y)を得ることができる。
【0029】
g(x,y)*R(x,y)=f(x,y) … (4)
ここで、R(x,y)は画像回復フィルタと呼ばれる。画像が2次元画像である場合、一般的に、画像回復フィルタRも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、画像回復フィルタRのタップ数(セルの数)は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタRは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)などとは異なる。画像回復フィルタRは光学伝達関数OTFに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【0030】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数OTFの逆数をとって作成した画像回復フィルタRを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のMTF(振幅成分)を全周波数に渡って1に戻すようにMTFを持ち上げるためである。光学系による振幅劣化であるMTFは1に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合(回復ゲイン)に応じてノイズが増幅されてしまう。
【0031】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式(5−1)、(5−2)で表される。
【0032】
G(u,v)=H(u,v)・F(u,v)+N(u,v) … (5−1)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v) … (5−2)
ここで、Nはノイズ成分である。
【0033】
ノイズ成分が含まれる画像に関しては、例えば以下の式(6)で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比SNRに応じて回復度合を制御する方法がある。
【0034】
【数1】
【0035】
ここで、M(u,v)はウィナーフィルタの周波数特性、|H(u,v)|は光学伝達関数OTFの絶対値(振幅成分MTF)である。この方法では、周波数ごとに、振幅成分MTFが小さいほど回復ゲイン(回復度合)を小さくし、振幅成分MTFが大きいほど回復ゲインを大きくする。一般的に、撮像光学系の振幅成分MTFは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【0036】
続いて、図2および図3を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図2の画像回復フィルタは、一例として、11×11タップの2次元フィルタである。また図2では、各タップ内の値(係数)を省略しているが、この画像回復フィルタの一断面を図3に示す。画像回復フィルタの各タップの値(係数値)の分布は、収差により空間的に広がった信号値(PSF)を、理想的には元の1点に戻す機能を有する。
【0037】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理(畳み込み積分、積和)される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【0038】
続いて、図4および図5を参照して、画像回復の実空間と周波数空間での特性について説明する。図4は、点像分布関数PSFの説明図であり、図4(a)は画像回復前の点像分布関数PSF、図4(b)は画像回復後の点像分布関数PSFを示している。図5は、光学伝達関数OTFの振幅成分MTF(図5(a))と位相成分PTF(図5(b))の説明図である。図5(a)中の破線(A)は画像回復前のMTF、一点鎖線(B)は画像回復後のMTFを示す。また図5(b)中の破線(A)は画像回復前のPTF、一点鎖線(B)は画像回復後のPTFを示す。図4(a)に示されるように、画像回復前の点像分布関数PSFは、非対称な広がりを有し、この非対称性により位相成分PTFは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分MTFを増幅し、位相成分PTFがゼロになるように補正するため、画像回復後の点像分布関数PSFは対称で先鋭な形状になる。
【0039】
このように画像回復フィルタは、撮像光学系の光学伝達関数OTFの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式(6)を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数OTFは1つの撮影状態においても撮像光学系の像高(画像の位置)に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
【実施例1】
【0040】
次に、図1を参照して、本発明の実施例1における画像処理方法について説明する。図1は、本実施例における画像処理方法(画像処理プログラム)のフローチャートである。図1のフローチャートは、後述の画像処理装置の指令に基づいて実行される。
【0041】
まずステップS11において、撮影画像を入力画像として取得する。撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。続いてステップS12において、撮影画像の撮影条件を取得する。ステップS12は、画像処理装置の撮影条件取得手段により実行される。撮影条件は、焦点距離、絞り値、および、撮影距離等である。また、レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮像条件は更にレンズIDやカメラIDを含む。撮影条件に関する情報は、撮像装置から直接取得することができる。またこの情報は、画像に付帯された情報から取得することもできる。
【0042】
次にステップS13において、撮影条件に応じた光学伝達関数OTFを取得する。ステップS13は、画像処理装置の光学伝達関数取得手段により実行される。この光学伝達関数OTFは、撮影条件に適した光学伝達関数OTFであり、予め保持された複数の光学伝達関数OTFの中から選択することができる。また、光学伝達関数OTFを生成するための関数とその生成に用いられる係数群を予め保持しておき、撮影条件に適した光学伝達関数OTFを本ステップにて新たに生成することもできる。更に、絞り、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、予め保持されている撮影条件に対応する光学伝達関数OTFから補間処理により生成することもできる。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間(線形補間)やバイキュービック補間等が用いられるが、これに限定されるものではない。
【0043】
続いてステップS14において、撮像光学系の光学伝達関数OTFの絶対値(振幅成分MTF)が所定の閾値以下となる閾値周波数を取得する。ステップS14は、画像処理装置の閾値周波数取得手段により実行される。閾値周波数は、撮影時に検出することができるが、これに限定されるものではなく、例えば撮影時のFナンバーに基づいて取得することもできる。閾値周波数の詳細は後述する。
【0044】
続いてステップS15において、撮像光学系の光学伝達関数OTFを用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する。ステップS15は、画像処理装置の生成手段により実行される。ステップS15にて生成された画像回復フィルタは、閾値周波数という観点から光学伝達関数OTFの特性を考慮して得られた画像回復フィルタである。画像回復フィルタの生成の詳細については後述する。なお、撮像光学系の光学伝達関数OTFを元に、閾値周波数に応じたゲイン特性を有する第2の光学伝達関数OTFを生成し、第2の光学伝達関数OTFに基づいて画像回復フィルタを生成してもよい。このようにして生成された画像回復フィルタも、閾値周波数に応じたゲイン特性を有する画像回復フィルタとなる。
【0045】
続いてステップS16において、ステップS15で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う。すなわち、撮影画像に画像回復フィルタをコンボリューション(畳み込み)することで、撮影画像の画像回復処理を行う。ステップS16は、画像処理装置の処理手段により実行される。そしてステップS17において、ステップS16での画像回復処理の結果に基づいて回復画像(出力画像)を出力し、図1のフローは終了する。
【0046】
次に、図6を参照して、図1中のステップS14における閾値周波数を取得する方法について詳述する。図6は、本実施例における閾値周波数の説明図であり、光学伝達関数の振幅成分MTF(絶対値)と空間周波数との関係(周波数特性)を示している。ここでは、横軸(空間周波数)の1を撮像素子の画素ピッチで決定されるナイキスト周波数として正規化している。
【0047】
図6(a)は、互いに異なる3つの周波数特性(A)、(B)、(C)を有する光学伝達関数の振幅成分MTFを示している。図6(a)では、周波数特性(A)、(B)のそれぞれの場合の振幅成分MTFが閾値t1となるときの周波数fa、fbを閾値周波数として設定する。周波数特性(C)については、閾値t1以下となる周波数(閾値周波数)は存在しない。一方、図6(b)は、互いに異なる2つの周波数特性(D)、(E)を有する光学伝達関数の振幅成分MTFを示している。図6(b)では、周波数特性(D)、(E)のそれぞれの場合の振幅成分MTFが閾値t2となるときの周波数fd、feを閾値周波数として設定する。
【0048】
このように、光学伝達関数の振幅成分MTFの所定の閾値t(t1、t2)は目的に応じて適切な値に設定することが可能である。例えば、閾値周波数を零落ち周波数として取得する場合、振幅成分MTFが0になるとき(t=0)の空間周波数を閾値周波数に設定すればよい。ただし、実用的には振幅成分MTFが0でない場合でも十分小さな値として扱うことが可能である。このとき、例えばt=0.03(MTFが3%)の場合の空間周波数を閾値周波数として設定することができる。また図6(b)では、t=0.50(MTFが50%)の場合の空間周波数を閾値周波数として設定している。この場合、零落ち周波数の取得ではなく、基本性能を評価している意味合いが強い。また、偽解像がある場合など振幅成分MTFが0近傍で波打つような場合、t=0になる周波数が複数存在することになる。本実施例では、このような複数の周波数(振幅成分MTFが所定の閾値以下となる複数の周波数)のうち最も低い周波数を閾値周波数として設定することが好ましい。
【0049】
閾値周波数の具体的な取得方法としては、2次元のMTFデータを1つずつ所定の閾値と比較し、所定の閾値以下で且つ暫定の閾値周波数以下の場合にはその周波数を新たに暫定の閾値周波数として記憶する。これを繰り返すことで、所定の閾値以下となる最も低い周波数を閾値周波数として取得することができる。2次元のMTFデータは、保持している2次元のOTFデータの絶対値をとることで生成することができる。また変形例として、アジムス方向も記憶情報に加えることで、アジムス方向ごとに閾値周波数を取得することもできる。さらに、MTFデータのうち、特定のアジムス方向について1次元データとして閾値周波数を取得することもできる。閾値周波数は、全アジムス方向を対象に、所定の閾値以下となる最も低い周波数としてもよく、また、詳細にアジムス方向ごとに取得してもよい。なお、閾値周波数(零落ち周波数)は、図1中のステップS12にて取得した撮影時のFナンバーを用いて、回折限界の理論式に基づいて算出することもできる。また、光学伝達関数OTFがアジムス方向によって異なる場合、閾値周波数をアジムス方向に依存した特性を有する関数やルックアップテーブルのデータとすることもできる。または、全アジムス方向のうち、最も低い周波数を代表値として閾値周波数に設定することもできる。
【0050】
次に図7を参照して、図1中のステップS15で生成される画像回復フィルタの回復度合について説明する。画像回復フィルタを設計するための関数として、例えば上述の式(6)が用いられる。図7は、本実施例における画像回復フィルタの回復度合(GAIN)を設定する際の説明図であり、図1中のステップS14で得られた閾値周波数から回復度合を決定するための関数を示している。図7中の2つの曲線(2)、(3)は、基本の回復度合の強弱を示す例である。このような回復度合の強弱は、プリセット値として記憶部に複数保持しておく。即ち、記憶部には、図7に示すような、閾値周波数と回復度合の対応を示す情報が格納されている。なお、プリセット値を所定の範囲においてユーザが任意に設定できるよう構成してもよい。
【0051】
図7中の曲線(2)が適用される場合、図6(a)の周波数特性(A)、(B)、(C)を例とすると、周波数特性(A)、(B)における回復度合は、それぞれの閾値周波数fa、fbに応じた回復度合Ga、Gbに設定される。周波数特性(C)は零落ちが無い(閾値周波数が存在しない)ため、その回復度合は曲線(2)の最大値である2に設定される。曲線(3)が適用される場合も同様に、それぞれの閾値周波数に応じた回復度合いに設定される。このような関数は、ルックアップテーブルで保持することもできる。そして、式(6)のSNRの項をパラメータとして用いて、画像回復フィルタの周波数特性が所望の回復度合となるように設計する。本実施例において、画像回復フィルタの回復度合(GAIN)を表す値として、周波数特性の絶対値(回復ゲイン)の最大値(最大ゲイン)を用いる。
【0052】
図8は、本実施例における回復ゲインの説明図であり、最大ゲインがGa、Gb、2となるように設計された画像回復フィルタのそれぞれのゲイン特性f1、f2、f3を示している。ゲイン特性とは、空間周波数に対する回復度合を示す特性である。図8は、一例として、図7の曲線(2)を適用した場合のゲイン特性を示しており、ゲイン特性f1、f2、f3は、閾値周波数がfa、fbの場合、および、閾値周波数が存在しない場合にそれぞれ対応している。
【0053】
図7および図8に示されるように、閾値周波数fa、fbのそれぞれの場合のゲイン特性f1、f2で比較すると、閾値周波数fbのときの最大ゲインGbよりも閾値周波数faのときの最大ゲインGaのほうが小さい。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて最大ゲインが低下するように変化する。
【0054】
また図8に示されるように、閾値周波数fa、fbのそれぞれの場合のゲイン特性f1、f2で比較すると、ゲイン特性f1のゲイン(回復度合)のほうがゲイン特性f2のゲインよりも低周波側に重み付けが行われている。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて画像回復フィルタのゲインを低周波側に高い重みを付けるように変化する。
【0055】
また閾値周波数は、撮影画像の位置に応じて異なる。このため、画像回復フィルタのゲイン特性は、撮影画像の位置に応じて異なっている。
【0056】
図9は、画像回復前後の光学伝達関数の振幅成分MTFの説明図である。図9(a)は、図6(a)中の周波数特性(A)、(B)、(C)に対する本実施例の画像回復処理を行った結果である。画像回復前の周波数特性(A)、(B)、(C)に対して、図8に示されるようなゲイン特性f1、f2、f3を有する画像回復フィルタを適用することにより、画像回復後の周波数特性(A1)、(B1)、(C1)にそれぞれ変化する。一方、図9(b)は、光学伝達関数の振幅成分MTFの周波数特性(閾値周波数)を考慮せずに画像回復処理を行った結果を示している。画像回復前の周波数特性(A)、(B)、(C)に対して、画像回復後の周波数特性(A2)、(B2)、(C2)にそれぞれ変化する。図9(a)では、閾値周波数に応じた適切なゲイン特性を有する画像回復フィルタを用いて画像回復処理を行っているためリンギングの発生は低減する。一方、図9(b)ではリンギングが発生し、高品質な回復画像を得ることができない。
【0057】
さらに、複数の閾値周波数を同時に用いて第一の閾値周波数および第二の閾値周波数により複合的に光学伝達関数の周波数特性(ゲイン特性)を分析することも可能である。複数の閾値周波数を用いる例として、式(7)を示す。
【0058】
【数2】
【0059】
式(7)は、式(6)に対してC(u,v)という周波数の重み付けを行って得られた式である。例えば、第一の閾値をt=0.03として第一の閾値周波数を取得し、第二の閾値をt=0.50として第二の閾値周波数を取得する。そして、第一の閾値周波数よりも低周波側のみを増幅するようにC(u,v)を設定することで、零落ち周波数に増幅ゲインが適用されないようにし、第二の閾値周波数で最大ゲインを設定して回復度合を決定することができる。すなわち、回復ゲインの周波数帯域の重み付けおよび回復度合の両方を、取得した2つの閾値周波数から自動的に決定することが可能になる。
【0060】
次に、図10を参照して、本実施例における撮像装置について説明する。図10は、本実施例における撮像装置200の構成図である。撮像装置200には、撮影画像の画像回復処理(上述の画像処理方法)を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置200の内部の画像処理部204(画像処理装置)により実行される。
【0061】
撮像装置200は、撮像光学系201(レンズ)および撮像装置本体(カメラ本体)を備えて構成されている。撮像光学系201は、絞り201aおよびフォーカスレンズ201bを備え、撮像装置本体(カメラ本体)と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系201が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【0062】
撮像素子202は、撮像光学系201を介して得られた被写体像(結像光)を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子202により光電変換が行われてアナログ信号(電気信号)に変換される。そして、このアナログ信号はA/Dコンバータ203によりデジタル信号に変換され、このデジタル信号は画像処理部204に入力される。
【0063】
画像処理部204(画像処理装置)は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。まず画像処理部204(撮影条件取得手段)は、状態検知部207から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部207は、システムコントローラ210から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系201に関する撮像条件情報は、撮像光学系制御部206から取得することもできる。本実施例の画像回復処理の処理フロー(画像処理方法)は、図1を参照して説明したとおりである。
【0064】
光学伝達関数OTFまたは光学伝達関数OTFの生成に必要な係数データは、記憶部208に保持されている。画像処理部204で処理した出力画像は、画像記録媒体209に所定のフォーマットで保存される。表示部205には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部205に表示するように構成してもよい。
【0065】
本実施例における一連の制御はシステムコントローラ210により行われ、撮像光学系201の機械的な駆動はシステムコントローラ210の指示に基づいて撮像光学系制御部206により行われる。撮像光学系制御部206は、Fナンバーの撮影状態設定として、絞り201aの開口径を制御する。また撮像光学系制御部206は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構により、フォーカスレンズ201bの位置を制御する。なお、絞り201aの開口径制御やマニュアルフォーカスなどの機能は、撮像装置200の仕様に応じて実行しなくてもよい。
【0066】
撮像光学系201には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数(OTF)の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。
【実施例2】
【0067】
次に、図11を参照して、本発明の実施例2における画像処理装置および画像処理システムについて説明する。図11は、本実施例における画像処理システム300の構成図である。なお、本実施例の画像回復処理の処理フロー(画像処理方法)は、図1を参照して説明した実施例1と同様であるため、その説明は省略する。
【0068】
図11において、画像処理装置301は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウェア306を搭載したコンピュータ機器である。撮像機器302は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体303は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【0069】
画像処理装置301は、撮像機器302または記憶媒体303から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器305、撮像機器302、記憶媒体303のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置301に内蔵された記憶部に保存することもできる。出力機器305は、例えばプリンタである。
【0070】
画像処理装置301にはモニタである表示機器304が接続されている。このため、ユーザは表示機器304を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア306は、本実施例の画像回復処理(画像処理方法)を行うほか、必要に応じて現像やその他の画像処理を行う。
【0071】
なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報(補正情報)については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。
【0072】
上記各実施例によれば、撮影条件での光学伝達関数の特性を考慮して適切な回復度合(ゲイン特性)の回復フィルタを生成して用いることができるため、リンギング等の影響を低減して高品質な画像を得ることが可能である。従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【0073】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0074】
200:撮像装置
204:画像処理部
208:記憶部
【技術分野】
【0001】
本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。
【背景技術】
【0002】
撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数PSF(Point Spread Function)で表される。
【0003】
点像分布関数PSFをフーリエ変換して得られる光学伝達関数OTF(Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数OTFの絶対値、すなわち振幅成分をMTF(Modulation Transfer Function)と呼び、位相成分をPTF(Phase Transfer Function)と呼ぶ。振幅成分MTFおよび位相成分PTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。
【0004】
PTF=tan−1(Im(OTF)/Re(OTF))
ここで、Re(OTF)およびIm(OTF)はそれぞれ、光学伝達関数OTFの実部および虚部を表す。このように、撮像光学系の光学伝達関数OTFは、画像の振幅成分MTFと位相成分PTFに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばRGBの色成分として取得することで発生する。
【0005】
振幅成分MTFおよび位相成分PTFの劣化を補正する方法として、撮像光学系の光学伝達関数OTFの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数(OTF)の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数(OTF)の逆特性を有する画像回復フィルタを入力画像に対して畳み込む(コンボリューション)方法が知られている。
【0006】
画像回復処理を効果的に行うには、撮像光学系の光学伝達関数OTFをより正確に取得する必要がある。光学伝達関数OTFを取得する方法としては、例えば撮像光学系の設計値情報があればその情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。
【0007】
撮像光学系の光学伝達関数OTFは、一般的に、像高(撮影画像の位置)に応じて変動する。このため、撮影画像の画像回復処理を高精度に行うには、像高ごとの光学伝達関数OTFの変動に基づいて生成した適切な画像回復フィルタを用いる必要がある。撮影画像の位置に応じて画像回復の特性を変更する場合、画像回復処理は周波数空間にて一括で行うのではなく、実空間で画像回復フィルタを切り換えながら行うことが望ましい。特許文献1には、画像回復の回復度合を調節するための調節パラメータを有し、画像回復の回復度合を連続的に変化させる構成が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2007−183842号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、撮影条件によっては、撮影画像の少なくとも一部で、撮像素子のナイキスト周波数の帯域内で光学伝達関数の振幅成分MTFが零になる場合がある。以下、これを「零落ち」と呼び、零落ちする周波数を「零落ち周波数」という。零落ちの原因としては、収差や回折、手ぶれなどが挙げられる。零落ち周波数の情報は伝達(撮像)されないため、零落ち周波数での画像回復処理を行うことができない。また、零落ち周波数以外の周波数のみで画像回復処理を行うと、画像のエッジ部にリンギングが発生してしまう。この結果、高品質な回復画像を得ることができない。
【0010】
特許文献1の構成において、回復度合を調節することは可能である。しかし特許文献1の構成は、ユーザによる回復度合の変更が可能であるに過ぎず、光学系(光学伝達関数)の周波数特性に応じた適切なパラメータを自動的に決定するものではない。また、零落ち周波数に応じて回復度合を調節するものではないため、零落ちが存在する光学系による差撮影画像を良好に回復することはできない。
【0011】
そこで本発明は、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供する。
【課題を解決するための手段】
【0012】
本発明の一側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【0013】
本発明の他の側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。
【0014】
本発明の他の側面としての撮像装置は、撮影画像の画像回復処理を行う撮像装置であって、撮像光学系と、前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。
【0015】
本発明の他の側面としての画像処理プログラムは、コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【0016】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0017】
本発明によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【図面の簡単な説明】
【0018】
【図1】実施例1における画像処理方法のフローチャートである。
【図2】本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。
【図3】本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。
【図4】本実施例における画像処理方法の点像の補正状態の説明図である。
【図5】本実施例における光学伝達関数の振幅成分と位相成分の説明図である。
【図6】実施例1における閾値周波数の説明図である。
【図7】実施例1における画像回復フィルタの回復度合を設定する際の説明図である。
【図8】実施例1における回復ゲインの説明図である。
【図9】実施例1における画像回復前後の光学伝達関数の振幅成分MTFの説明図である。
【図10】実施例1における撮像装置の構成図である。
【図11】実施例2における画像処理システムの構成図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0020】
まず、本実施例で説明される用語の定義および画像回復処理(画像処理方法)について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
[入力画像]
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像(撮影画像)であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数OTFにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー(反射面)を用いて構成することもできる。
【0021】
入力画像の色成分は、例えばRGB色成分の情報を有する。色成分としては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ、Lab、Yuv、JChを用いることが可能である。更に、色温度を用いてもよい。
【0022】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
[画像回復処理]
続いて、画像回復処理の概要について説明する。撮影画像(劣化画像)をg(x,y)、もとの画像をf(x,y)、光学伝達関数OTFのフーリエペアである点像分布関数PSFをh(x,y)としたとき、以下の式(1)が成立する。
【0023】
g(x,y)=h(x,y)*f(x,y) … (1)
ここで、*はコンボリューション(畳み込み積分、積和)、(x,y)は撮影画像上の座標である。
【0024】
また、式(1)をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式(2)が得られる。
【0025】
G(u,v)=H(u,v)・F(u,v) … (2)
ここで、Hは点像分布関数PSF(h)をフーリエ変換することにより得られた光学伝達関数OTFであり、G,Fはそれぞれ劣化した画像g、もとの画像fをフーリエ変換して得られた関数である。(u,v)は2次元周波数面での座標、すなわち周波数である。
【0026】
撮影された劣化画像gからもとの画像fを得るには、以下の式(3)のように両辺を光学伝達関数Hで除算すればよい。
【0027】
G(u,v)/H(u,v)=F(u,v) … (3)
そして、F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことにより、もとの画像f(x,y)が回復画像として得られる。
【0028】
H−1を逆フーリエ変換したものをRとすると、以下の式(4)のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像f(x,y)を得ることができる。
【0029】
g(x,y)*R(x,y)=f(x,y) … (4)
ここで、R(x,y)は画像回復フィルタと呼ばれる。画像が2次元画像である場合、一般的に、画像回復フィルタRも画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。また、画像回復フィルタRのタップ数(セルの数)は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタRは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)などとは異なる。画像回復フィルタRは光学伝達関数OTFに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【0030】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数OTFの逆数をとって作成した画像回復フィルタRを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のMTF(振幅成分)を全周波数に渡って1に戻すようにMTFを持ち上げるためである。光学系による振幅劣化であるMTFは1に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合(回復ゲイン)に応じてノイズが増幅されてしまう。
【0031】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式(5−1)、(5−2)で表される。
【0032】
G(u,v)=H(u,v)・F(u,v)+N(u,v) … (5−1)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v) … (5−2)
ここで、Nはノイズ成分である。
【0033】
ノイズ成分が含まれる画像に関しては、例えば以下の式(6)で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比SNRに応じて回復度合を制御する方法がある。
【0034】
【数1】
【0035】
ここで、M(u,v)はウィナーフィルタの周波数特性、|H(u,v)|は光学伝達関数OTFの絶対値(振幅成分MTF)である。この方法では、周波数ごとに、振幅成分MTFが小さいほど回復ゲイン(回復度合)を小さくし、振幅成分MTFが大きいほど回復ゲインを大きくする。一般的に、撮像光学系の振幅成分MTFは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【0036】
続いて、図2および図3を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図2の画像回復フィルタは、一例として、11×11タップの2次元フィルタである。また図2では、各タップ内の値(係数)を省略しているが、この画像回復フィルタの一断面を図3に示す。画像回復フィルタの各タップの値(係数値)の分布は、収差により空間的に広がった信号値(PSF)を、理想的には元の1点に戻す機能を有する。
【0037】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理(畳み込み積分、積和)される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【0038】
続いて、図4および図5を参照して、画像回復の実空間と周波数空間での特性について説明する。図4は、点像分布関数PSFの説明図であり、図4(a)は画像回復前の点像分布関数PSF、図4(b)は画像回復後の点像分布関数PSFを示している。図5は、光学伝達関数OTFの振幅成分MTF(図5(a))と位相成分PTF(図5(b))の説明図である。図5(a)中の破線(A)は画像回復前のMTF、一点鎖線(B)は画像回復後のMTFを示す。また図5(b)中の破線(A)は画像回復前のPTF、一点鎖線(B)は画像回復後のPTFを示す。図4(a)に示されるように、画像回復前の点像分布関数PSFは、非対称な広がりを有し、この非対称性により位相成分PTFは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分MTFを増幅し、位相成分PTFがゼロになるように補正するため、画像回復後の点像分布関数PSFは対称で先鋭な形状になる。
【0039】
このように画像回復フィルタは、撮像光学系の光学伝達関数OTFの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式(6)を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数OTFは1つの撮影状態においても撮像光学系の像高(画像の位置)に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
【実施例1】
【0040】
次に、図1を参照して、本発明の実施例1における画像処理方法について説明する。図1は、本実施例における画像処理方法(画像処理プログラム)のフローチャートである。図1のフローチャートは、後述の画像処理装置の指令に基づいて実行される。
【0041】
まずステップS11において、撮影画像を入力画像として取得する。撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。続いてステップS12において、撮影画像の撮影条件を取得する。ステップS12は、画像処理装置の撮影条件取得手段により実行される。撮影条件は、焦点距離、絞り値、および、撮影距離等である。また、レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮像条件は更にレンズIDやカメラIDを含む。撮影条件に関する情報は、撮像装置から直接取得することができる。またこの情報は、画像に付帯された情報から取得することもできる。
【0042】
次にステップS13において、撮影条件に応じた光学伝達関数OTFを取得する。ステップS13は、画像処理装置の光学伝達関数取得手段により実行される。この光学伝達関数OTFは、撮影条件に適した光学伝達関数OTFであり、予め保持された複数の光学伝達関数OTFの中から選択することができる。また、光学伝達関数OTFを生成するための関数とその生成に用いられる係数群を予め保持しておき、撮影条件に適した光学伝達関数OTFを本ステップにて新たに生成することもできる。更に、絞り、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、予め保持されている撮影条件に対応する光学伝達関数OTFから補間処理により生成することもできる。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間(線形補間)やバイキュービック補間等が用いられるが、これに限定されるものではない。
【0043】
続いてステップS14において、撮像光学系の光学伝達関数OTFの絶対値(振幅成分MTF)が所定の閾値以下となる閾値周波数を取得する。ステップS14は、画像処理装置の閾値周波数取得手段により実行される。閾値周波数は、撮影時に検出することができるが、これに限定されるものではなく、例えば撮影時のFナンバーに基づいて取得することもできる。閾値周波数の詳細は後述する。
【0044】
続いてステップS15において、撮像光学系の光学伝達関数OTFを用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する。ステップS15は、画像処理装置の生成手段により実行される。ステップS15にて生成された画像回復フィルタは、閾値周波数という観点から光学伝達関数OTFの特性を考慮して得られた画像回復フィルタである。画像回復フィルタの生成の詳細については後述する。なお、撮像光学系の光学伝達関数OTFを元に、閾値周波数に応じたゲイン特性を有する第2の光学伝達関数OTFを生成し、第2の光学伝達関数OTFに基づいて画像回復フィルタを生成してもよい。このようにして生成された画像回復フィルタも、閾値周波数に応じたゲイン特性を有する画像回復フィルタとなる。
【0045】
続いてステップS16において、ステップS15で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う。すなわち、撮影画像に画像回復フィルタをコンボリューション(畳み込み)することで、撮影画像の画像回復処理を行う。ステップS16は、画像処理装置の処理手段により実行される。そしてステップS17において、ステップS16での画像回復処理の結果に基づいて回復画像(出力画像)を出力し、図1のフローは終了する。
【0046】
次に、図6を参照して、図1中のステップS14における閾値周波数を取得する方法について詳述する。図6は、本実施例における閾値周波数の説明図であり、光学伝達関数の振幅成分MTF(絶対値)と空間周波数との関係(周波数特性)を示している。ここでは、横軸(空間周波数)の1を撮像素子の画素ピッチで決定されるナイキスト周波数として正規化している。
【0047】
図6(a)は、互いに異なる3つの周波数特性(A)、(B)、(C)を有する光学伝達関数の振幅成分MTFを示している。図6(a)では、周波数特性(A)、(B)のそれぞれの場合の振幅成分MTFが閾値t1となるときの周波数fa、fbを閾値周波数として設定する。周波数特性(C)については、閾値t1以下となる周波数(閾値周波数)は存在しない。一方、図6(b)は、互いに異なる2つの周波数特性(D)、(E)を有する光学伝達関数の振幅成分MTFを示している。図6(b)では、周波数特性(D)、(E)のそれぞれの場合の振幅成分MTFが閾値t2となるときの周波数fd、feを閾値周波数として設定する。
【0048】
このように、光学伝達関数の振幅成分MTFの所定の閾値t(t1、t2)は目的に応じて適切な値に設定することが可能である。例えば、閾値周波数を零落ち周波数として取得する場合、振幅成分MTFが0になるとき(t=0)の空間周波数を閾値周波数に設定すればよい。ただし、実用的には振幅成分MTFが0でない場合でも十分小さな値として扱うことが可能である。このとき、例えばt=0.03(MTFが3%)の場合の空間周波数を閾値周波数として設定することができる。また図6(b)では、t=0.50(MTFが50%)の場合の空間周波数を閾値周波数として設定している。この場合、零落ち周波数の取得ではなく、基本性能を評価している意味合いが強い。また、偽解像がある場合など振幅成分MTFが0近傍で波打つような場合、t=0になる周波数が複数存在することになる。本実施例では、このような複数の周波数(振幅成分MTFが所定の閾値以下となる複数の周波数)のうち最も低い周波数を閾値周波数として設定することが好ましい。
【0049】
閾値周波数の具体的な取得方法としては、2次元のMTFデータを1つずつ所定の閾値と比較し、所定の閾値以下で且つ暫定の閾値周波数以下の場合にはその周波数を新たに暫定の閾値周波数として記憶する。これを繰り返すことで、所定の閾値以下となる最も低い周波数を閾値周波数として取得することができる。2次元のMTFデータは、保持している2次元のOTFデータの絶対値をとることで生成することができる。また変形例として、アジムス方向も記憶情報に加えることで、アジムス方向ごとに閾値周波数を取得することもできる。さらに、MTFデータのうち、特定のアジムス方向について1次元データとして閾値周波数を取得することもできる。閾値周波数は、全アジムス方向を対象に、所定の閾値以下となる最も低い周波数としてもよく、また、詳細にアジムス方向ごとに取得してもよい。なお、閾値周波数(零落ち周波数)は、図1中のステップS12にて取得した撮影時のFナンバーを用いて、回折限界の理論式に基づいて算出することもできる。また、光学伝達関数OTFがアジムス方向によって異なる場合、閾値周波数をアジムス方向に依存した特性を有する関数やルックアップテーブルのデータとすることもできる。または、全アジムス方向のうち、最も低い周波数を代表値として閾値周波数に設定することもできる。
【0050】
次に図7を参照して、図1中のステップS15で生成される画像回復フィルタの回復度合について説明する。画像回復フィルタを設計するための関数として、例えば上述の式(6)が用いられる。図7は、本実施例における画像回復フィルタの回復度合(GAIN)を設定する際の説明図であり、図1中のステップS14で得られた閾値周波数から回復度合を決定するための関数を示している。図7中の2つの曲線(2)、(3)は、基本の回復度合の強弱を示す例である。このような回復度合の強弱は、プリセット値として記憶部に複数保持しておく。即ち、記憶部には、図7に示すような、閾値周波数と回復度合の対応を示す情報が格納されている。なお、プリセット値を所定の範囲においてユーザが任意に設定できるよう構成してもよい。
【0051】
図7中の曲線(2)が適用される場合、図6(a)の周波数特性(A)、(B)、(C)を例とすると、周波数特性(A)、(B)における回復度合は、それぞれの閾値周波数fa、fbに応じた回復度合Ga、Gbに設定される。周波数特性(C)は零落ちが無い(閾値周波数が存在しない)ため、その回復度合は曲線(2)の最大値である2に設定される。曲線(3)が適用される場合も同様に、それぞれの閾値周波数に応じた回復度合いに設定される。このような関数は、ルックアップテーブルで保持することもできる。そして、式(6)のSNRの項をパラメータとして用いて、画像回復フィルタの周波数特性が所望の回復度合となるように設計する。本実施例において、画像回復フィルタの回復度合(GAIN)を表す値として、周波数特性の絶対値(回復ゲイン)の最大値(最大ゲイン)を用いる。
【0052】
図8は、本実施例における回復ゲインの説明図であり、最大ゲインがGa、Gb、2となるように設計された画像回復フィルタのそれぞれのゲイン特性f1、f2、f3を示している。ゲイン特性とは、空間周波数に対する回復度合を示す特性である。図8は、一例として、図7の曲線(2)を適用した場合のゲイン特性を示しており、ゲイン特性f1、f2、f3は、閾値周波数がfa、fbの場合、および、閾値周波数が存在しない場合にそれぞれ対応している。
【0053】
図7および図8に示されるように、閾値周波数fa、fbのそれぞれの場合のゲイン特性f1、f2で比較すると、閾値周波数fbのときの最大ゲインGbよりも閾値周波数faのときの最大ゲインGaのほうが小さい。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて最大ゲインが低下するように変化する。
【0054】
また図8に示されるように、閾値周波数fa、fbのそれぞれの場合のゲイン特性f1、f2で比較すると、ゲイン特性f1のゲイン(回復度合)のほうがゲイン特性f2のゲインよりも低周波側に重み付けが行われている。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて画像回復フィルタのゲインを低周波側に高い重みを付けるように変化する。
【0055】
また閾値周波数は、撮影画像の位置に応じて異なる。このため、画像回復フィルタのゲイン特性は、撮影画像の位置に応じて異なっている。
【0056】
図9は、画像回復前後の光学伝達関数の振幅成分MTFの説明図である。図9(a)は、図6(a)中の周波数特性(A)、(B)、(C)に対する本実施例の画像回復処理を行った結果である。画像回復前の周波数特性(A)、(B)、(C)に対して、図8に示されるようなゲイン特性f1、f2、f3を有する画像回復フィルタを適用することにより、画像回復後の周波数特性(A1)、(B1)、(C1)にそれぞれ変化する。一方、図9(b)は、光学伝達関数の振幅成分MTFの周波数特性(閾値周波数)を考慮せずに画像回復処理を行った結果を示している。画像回復前の周波数特性(A)、(B)、(C)に対して、画像回復後の周波数特性(A2)、(B2)、(C2)にそれぞれ変化する。図9(a)では、閾値周波数に応じた適切なゲイン特性を有する画像回復フィルタを用いて画像回復処理を行っているためリンギングの発生は低減する。一方、図9(b)ではリンギングが発生し、高品質な回復画像を得ることができない。
【0057】
さらに、複数の閾値周波数を同時に用いて第一の閾値周波数および第二の閾値周波数により複合的に光学伝達関数の周波数特性(ゲイン特性)を分析することも可能である。複数の閾値周波数を用いる例として、式(7)を示す。
【0058】
【数2】
【0059】
式(7)は、式(6)に対してC(u,v)という周波数の重み付けを行って得られた式である。例えば、第一の閾値をt=0.03として第一の閾値周波数を取得し、第二の閾値をt=0.50として第二の閾値周波数を取得する。そして、第一の閾値周波数よりも低周波側のみを増幅するようにC(u,v)を設定することで、零落ち周波数に増幅ゲインが適用されないようにし、第二の閾値周波数で最大ゲインを設定して回復度合を決定することができる。すなわち、回復ゲインの周波数帯域の重み付けおよび回復度合の両方を、取得した2つの閾値周波数から自動的に決定することが可能になる。
【0060】
次に、図10を参照して、本実施例における撮像装置について説明する。図10は、本実施例における撮像装置200の構成図である。撮像装置200には、撮影画像の画像回復処理(上述の画像処理方法)を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置200の内部の画像処理部204(画像処理装置)により実行される。
【0061】
撮像装置200は、撮像光学系201(レンズ)および撮像装置本体(カメラ本体)を備えて構成されている。撮像光学系201は、絞り201aおよびフォーカスレンズ201bを備え、撮像装置本体(カメラ本体)と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系201が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【0062】
撮像素子202は、撮像光学系201を介して得られた被写体像(結像光)を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子202により光電変換が行われてアナログ信号(電気信号)に変換される。そして、このアナログ信号はA/Dコンバータ203によりデジタル信号に変換され、このデジタル信号は画像処理部204に入力される。
【0063】
画像処理部204(画像処理装置)は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。まず画像処理部204(撮影条件取得手段)は、状態検知部207から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部207は、システムコントローラ210から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系201に関する撮像条件情報は、撮像光学系制御部206から取得することもできる。本実施例の画像回復処理の処理フロー(画像処理方法)は、図1を参照して説明したとおりである。
【0064】
光学伝達関数OTFまたは光学伝達関数OTFの生成に必要な係数データは、記憶部208に保持されている。画像処理部204で処理した出力画像は、画像記録媒体209に所定のフォーマットで保存される。表示部205には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部205に表示するように構成してもよい。
【0065】
本実施例における一連の制御はシステムコントローラ210により行われ、撮像光学系201の機械的な駆動はシステムコントローラ210の指示に基づいて撮像光学系制御部206により行われる。撮像光学系制御部206は、Fナンバーの撮影状態設定として、絞り201aの開口径を制御する。また撮像光学系制御部206は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構により、フォーカスレンズ201bの位置を制御する。なお、絞り201aの開口径制御やマニュアルフォーカスなどの機能は、撮像装置200の仕様に応じて実行しなくてもよい。
【0066】
撮像光学系201には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数(OTF)の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。
【実施例2】
【0067】
次に、図11を参照して、本発明の実施例2における画像処理装置および画像処理システムについて説明する。図11は、本実施例における画像処理システム300の構成図である。なお、本実施例の画像回復処理の処理フロー(画像処理方法)は、図1を参照して説明した実施例1と同様であるため、その説明は省略する。
【0068】
図11において、画像処理装置301は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウェア306を搭載したコンピュータ機器である。撮像機器302は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体303は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【0069】
画像処理装置301は、撮像機器302または記憶媒体303から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器305、撮像機器302、記憶媒体303のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置301に内蔵された記憶部に保存することもできる。出力機器305は、例えばプリンタである。
【0070】
画像処理装置301にはモニタである表示機器304が接続されている。このため、ユーザは表示機器304を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア306は、本実施例の画像回復処理(画像処理方法)を行うほか、必要に応じて現像やその他の画像処理を行う。
【0071】
なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報(補正情報)については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。
【0072】
上記各実施例によれば、撮影条件での光学伝達関数の特性を考慮して適切な回復度合(ゲイン特性)の回復フィルタを生成して用いることができるため、リンギング等の影響を低減して高品質な画像を得ることが可能である。従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【0073】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0074】
200:撮像装置
204:画像処理部
208:記憶部
【特許請求の範囲】
【請求項1】
撮影画像の画像回復処理を行う画像処理方法であって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理方法。
【請求項2】
前記閾値周波数は、前記光学伝達関数において前記絶対値が前記所定の閾値以下となる周波数のうち最も低い周波数であることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記閾値周波数は、撮影時に検出されることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記閾値周波数は、撮影時のFナンバーに基づく周波数であることを特徴とする請求項1または2に記載の画像処理方法。
【請求項5】
前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて最大ゲインが低下するように変化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
【請求項6】
前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて前記画像回復フィルタのゲインを低周波側に高い重みを付けるように変化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
【請求項7】
前記閾値周波数は、前記撮影画像の位置に応じて異なり、
前記画像回復フィルタの前記ゲイン特性は、前記撮影画像の位置に応じて異なることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。
【請求項8】
撮影画像の画像回復処理を行う画像処理装置であって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする画像処理装置。
【請求項9】
撮影画像の画像回復処理を行う撮像装置であって、
撮像光学系と、
前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする撮像装置。
【請求項10】
コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理プログラム。
【請求項1】
撮影画像の画像回復処理を行う画像処理方法であって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理方法。
【請求項2】
前記閾値周波数は、前記光学伝達関数において前記絶対値が前記所定の閾値以下となる周波数のうち最も低い周波数であることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
前記閾値周波数は、撮影時に検出されることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記閾値周波数は、撮影時のFナンバーに基づく周波数であることを特徴とする請求項1または2に記載の画像処理方法。
【請求項5】
前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて最大ゲインが低下するように変化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
【請求項6】
前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて前記画像回復フィルタのゲインを低周波側に高い重みを付けるように変化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
【請求項7】
前記閾値周波数は、前記撮影画像の位置に応じて異なり、
前記画像回復フィルタの前記ゲイン特性は、前記撮影画像の位置に応じて異なることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。
【請求項8】
撮影画像の画像回復処理を行う画像処理装置であって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする画像処理装置。
【請求項9】
撮影画像の画像回復処理を行う撮像装置であって、
撮像光学系と、
前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする撮像装置。
【請求項10】
コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、
前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理プログラム。
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図1】
【図2】
【図10】
【図11】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図1】
【図2】
【図10】
【図11】
【公開番号】特開2013−38562(P2013−38562A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−172480(P2011−172480)
【出願日】平成23年8月8日(2011.8.8)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月8日(2011.8.8)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]