画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
【課題】様々な撮影条件の組み合わせに応じて適切な補正可能範囲を設定することが可能な画像処理プログラムを提供すること。
【解決手段】撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップ（Ｓ１０２）と、補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップ（Ｓ１０６〜Ｓ１０８）と、前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップ（Ｓ１０３、Ｓ１０４）をコンピュータに実行させることを特徴とする。
【解決手段】撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップ（Ｓ１０２）と、補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップ（Ｓ１０６〜Ｓ１０８）と、前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップ（Ｓ１０３、Ｓ１０４）をコンピュータに実行させることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画像処理に関し、特に撮像光学系による撮影画像の劣化を高精細に補正する技術に関する。
【背景技術】
【０００２】
撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。該撮像光学系の影響のため、撮影された画像は、撮影画像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されるようになった。以下、このような画像劣化補正技術を画像回復と称し、従来行われている一般的な方法を示す。
【０００４】
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下に示す（１）式で書くことができる。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ‐Ｘ，ｙ−Ｙ）ｄＸｄＹ ・・・（１）
上記（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ・・・（２）
と書くことができる。
【０００５】
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。
【０００６】
さらに、上記（２）式を変形すると、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） ・・・（３）
となる。これは周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ることにより、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【０００７】
しかしながら実際に、このような処理をおこなって劣化を受ける前の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させることになり、良好な画像を得ることは出来ない。そこで、ノイズの増幅を抑制するための画像回復手法として、下記（４）式で表されるウィナーフィルタを用いることが知られている。ここで、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ） ・・・（４）
上記（４）式を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。即ちウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） ・・・（５）
が得られる。
【０００８】
このとき（４）式から｜Ｗ（ｕ，ｖ）｜≦１／｜Ｈ（ｕ，ｖ）｜なる関係が分かる。即ち画像回復フィルタを用いることで増幅できる周波数特性の最大値は１／｜Ｈ（ｕ，ｖ）｜であり、ＯＴＦの絶対値の逆数、所謂逆フィルタの特性と一致する。
【０００９】
一般的なカメラ等で撮影された画像に対して、例えば（４）式のウィナーフィルタによる処理で画像回復処理を行う場合、式中のΓの値を制御することで回復処理の補正値を０から１／｜Ｈ（ｕ，ｖ）｜まで制御することが出来る。またウィナーフィルタに種々変形を施したものでも、回復処理の補正値は０から１／｜Ｈ（ｕ，ｖ）｜までの範囲で制御することが可能である。本明細書においては、０から１／｜Ｈ（ｕ，ｖ）｜までの範囲を補正可能範囲（以下、設定可能範囲ともいう。）と定義する。
【００１０】
ユーザーの指示により設定された補正値を用いて、画像処理装置や撮像装置やソフトウエアがインストールされたコンピュータが処理を行う場合は、所望の回復度合いに応じた補正値を選択あるいは変更することが好ましい。
【００１１】
例えば特許文献１では画像処理等の分野でエッジ強調等の補正値の補正の強さの範囲を変更するという発明が開示されている。また、特許文献２では画像と画像出力装置の周波数特性から復元限界を検出して画像回復処理を行うという発明が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第３８４００３２号
【特許文献２】特開２０１１−２２８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の特許文献に開示された従来技術は、様々な条件の組み合わせがあるシステムにおける補正値の強さの範囲を具体的に決定する手法については言及していなかった。デジタルカメラに用いられる画像回復処理は、一般的なエッジ強調処理やシャープネス処理とは異なり撮像光学系の識別情報を含む焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなどの撮影条件の組み合わせ毎に補正可能範囲が大きく異なる。補正可能範囲を超えた補正値を用いて画像回復処理を行ってもユーザーは回復効果を体感することができない。
【００１４】
また、他の課題として、補正可能範囲を表示部に表示する場合には、回復効果が得られる補正可能範囲の最大値を、ユーザーが認識できるように表示されないため、回復処理の補正値を決める際に不便である点が挙げられる。
【００１５】
本発明は、様々な撮影条件の組み合わせに応じて適切な補正可能範囲を設定することが可能な画像処理プログラムを提供することを例示的目的とする。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理プログラムは、撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、様々な撮影条件の組み合わせに応じて適切な補正可能範囲を設定することが可能な画像処理プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施例１における画像回復処理方法の処理フローの一例を示す図である。
【図２】実施例２における画像回復処理に用いるＯＴＦデータ等の一例を示す図である。
【図３】実施例２における画像回復処理に用いる各種条件の一例を示す図である。
【図４】実施例２における画像回復処理に用いるＯＴＦデータのから回復限界値を算出する手法の一例を示す図である。
【図５】実施例２における画像回復フィルタの一例を示す図である。
【図６】実施例３における画像処理ＧＵＩの一例を示す図である。
【図７】実施例４における画像処理装置を内蔵した撮像装置の一例を示す図である。
【図８】実施例５における画像処理プログラムの一例を示す図である。
【図９】実施例２における画像回復処理方法の処理フローの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００２０】
図１は本発明における画像処理の流れの一例を示す図である。まず、カメラ等の撮像装置で被写体を撮像し（Ｓ１０１）、光学系による劣化をうけた撮影画像データを画像処理装置に入力して、画像回復処理を開始する。該撮影画像データには、撮影光学系の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等といった撮影条件情報が付加されている。したがって、まずは画像処理装置で撮影画像データに付加されている撮影条件情報を取得する。次に画像処理装置内部の光学特性データ記憶部に保持されている光学特性データから、取得した撮影条件情報に対応するステータスを持つ撮影画像の各像高位置に対応するＯＴＦ情報（光学伝達関数情報）を取得する（Ｓ１０２）。そして、該ＯＴＦ情報に基づいて、撮影時の撮影条件における補正可能最大値を算出し、設定する（Ｓ１０３）。該補正可能最大値は撮影画像の像高位置毎に決定しても良いし、各像高位置全ての中から補正可能最大値を決定しても良い。なお、Ｓ１０３で設定された補正可能最大値は、Ｓ１０３で設定される前の補正値の補正可能範囲の最大値よりも小さな値である。補正可能最大値以下を補正可能範囲（設定可能範囲）として取得し（Ｓ１０４）、該補正可能範囲内でユーザーが補正値を決定する（Ｓ１０５）。次に、決定した補正値を用いて上記光学伝達関数情報を補正した補正光学伝達関数情報を用いて画像回復フィルタを生成して（Ｓ１０６）、撮影画像を補正し（Ｓ１０７）、補正処理後の画像を得る（Ｓ１０８）。Ｓ１０６〜Ｓ１０８は、回復画像を生成する回復画像生成ステップともいえる。ここで用いる画像回復処理は、一般的に知られているウィナーフィルタなどを用いればよい。
【実施例２】
【００２１】
図２〜４を用いて、画像回復処理における補正可能最大値を取得し、補正可能範囲を決定する手法を説明する。図２の（ａ）、（ｂ）、（ｃ）はそれぞれ異なった撮像光学系、撮影条件（焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズ等）で撮影した画像である。以下図２（ａ）を代表的に説明する。図２（ａ）の撮影画像には、図３に示すような撮像光学系情報、光学ローパスフィルタ情報、撮像素子情報が添付されている。この撮影画像を画像回復処理を行う画像処理装置に入力すると、これらの添付情報に基づいて、撮影画像上の各像高点におけるＯＴＦ情報を取得し、該各像高点のＯＴＦ情報に基づいて補正可能最大値を取得する。
【００２２】
図４（ａ）の丸囲みの１〜３はそれぞれ撮像光学系の識別情報および像高を含む撮影条件が異なる３つのＯＴＦの絶対値を２次元分布｜ＯＴＦ（ｕ，ｖ）｜で示しており、これはＭＴＦとも呼ばれる。撮像素子によって取得された光学像は、撮像素子のナイキスト周波数までの周波数帯域にデジタルサンプリングされる。ＯＴＦ（ｕ，ｖ）を計算によって算出して光学特性データ記憶部に保持しておく場合は、まず光学空中像の遮断周波数までのＯＴＦ（ｕ，ｖ）が得られる。光学特性データ記憶部内部に、光学的遮断周波数までの全帯域でＯＴＦ（ｕ，ｖ）情報を保持している場合は、撮像素子のナイキスト周波数までに注目すればよい。
【００２３】
画像回復処理で得られる補正効果として最大のものは、ナイキスト周波数内の全周波数帯域においてＯＴＦ（ｕ，ｖ）が１になることである。即ちこの最大の補正効果が得られる補正値は｜１／ＯＴＦ（ｕ，ｖ）｜となり、図４（ｃ）に示すような各周波数において図４（ａ）に示した｜ＯＴＦ（ｕ，ｖ）｜の逆数の値となる。
【００２４】
図４（ｂ）の丸囲みの１〜３はそれぞれ図４（ａ）における｜ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜ＯＴＦ（０，ｖ）｜、破線は｜ＯＴＦ（ｕ，０）｜を示している。また同様に図４（ｄ）の丸囲みの１〜３はそれぞれ図４（ｃ）における｜１／ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜１／ＯＴＦ（０，ｖ）｜、破線は｜１／ＯＴＦ（ｕ，０）｜を示している。図４（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲を制御可能な制約条件に基づいて補正された補正値のｕ，ｖ軸上についての一断面を示したものである。実際には、｜ＯＴＦ（ｕ，ｖ）｜の２次元空間上における補正可能範囲の最大値を算出するが、本実施例においては、説明を簡単にするために一次元の図４（ｂ）、（ｄ）、（ｅ）を用いて説明する。
【００２５】
図４（ｂ）の丸囲みの１〜３のような｜ＯＴＦ｜を持つ撮像光学系において、図４（ｄ）の丸囲みの１〜３がそれぞれに対応する｜ＯＴＦ（ｕ，ｖ）｜の逆特性の周波数特性となる。図４（ｄ）の丸囲みの１〜３において、それぞれの撮像素子の周波数帯域内での最大値は５、３、∞となっている。この時、周波数によって｜ＯＴＦ（ｕ，ｖ）｜の値に０もしくは０近傍の値が発生してしまうと、その逆特性が、∞のような不定値や大きな値に発散してしまう。このとき逆特性に一致した大きな補正可能最大値を設定しても、補正効果が飽和してしまって補正効果を体感しにくくなる。さらに、ノイズの大幅な増幅やリンギング等の、画像を劣化させる要因が大きく発生してしまう。従って｜ＯＴＦ（ｕ，ｖ）｜の逆特性が大きく発散しないような制約条件を設定することとし、これを以降において補正可能範囲制御条件と称することにする。図４（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲制御条件に基づいて決定した補正可能最大値を示している。該補正可能最大値以下を補正可能範囲とすることで、ユーザーが指定した通りの補正値が実現でき、該補正値通りの補正効果を体感できる。
【００２６】
この補正可能最大値を決定する際の補正可能範囲制御条件は、画像回復フィルタ設計の際に所定の周波数以上に補正量の制限を設ける等の、所謂帯域制限条件として設定しても良い。また、式（４）に示したウィナーフィルタまたはそれに類似する画像回復フィルタにおいて、画像回復フィルタ設計の際に特定の周波数帯に重みづけして補正可能最大値を算出しても良い。上述した手法を画像の色成分ごとのＯＴＦに応じて行うことが望ましいが、計算時間を低減させるために該色成分のうち、Ｒ成分、Ｇ成分、Ｂ成分のうちのいずれか一つにおいて算出して用いても良い。
【００２７】
上述した手法により求めた補正可能最大値とＯＴＦ情報から画像回復フィルタを生成し、撮影画像を補正する。図９に詳細な手順を示す。
【００２８】
まずステップＳ９００において、画像処理装置は、撮影された画像データとともに記録された、焦点距離、Ｆ値、撮影距離情報を取得する。
【００２９】
次にステップＳ９０１において、画像処理装置は、画像回復フィルタを生成する画像上の像高位置をＮ個設定する。ここで、像高位置やその個数Ｎは、画像上の像高位置に対する光学特性がなめらかに変化するように設定することが望ましい。特に一般的な撮像光学系ではＮ≧１５０程度が好ましい。１５０未満であると、各像高間での光学特性の変化が大きくなり、回復精度が低下してしまう。
【００３０】
次にステップＳ９０２において、画像処理装置は、ステップＳ９００において取得された焦点距離、Ｆ値、撮影距離とステップＳ９０１において設定されたＮ個の像高位置に対して、記憶部に保持されたＯＴＦ情報からＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）を生成する。
【００３１】
本実施例においては、画像回復フィルタとしてウィナーフィルタを用いる。ウィナーフィルタは式（４）に示す画像回復フィルタであり、画像回復時の周波数成分の増幅に対して、ノイズを抑制する補正項Γをもつ。
【００３２】
式（４）を様々な焦点距離：ｆ、Ｆ値：Ｆ、撮影距離：ｄ、像高：ｈにおけるＯＴＦに適用し、帯域制限値：Ｒを用いて改めて書き直すと、下記の式（６）となる。
Ｗ（ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ），Ｒ，ａ）＝１／ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）＊｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（６）
以下、画像回復処理を実行する対象画像の撮影条件が、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１であったとして説明する。
【００３３】
次にステップＳ９０３において、画像処理装置は、式（６）にｆ＝ｆ１、Ｆ＝Ｆ１、ｄ＝ｄ１を代入して、以下の式（７）で示す画像回復フィルタを得る。尚、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１、像高：ｈ１は、撮像光学系がとり得る任意の値である。また、帯域制限値：Ｒは定数でもよいし、周波数（ｕ，ｖ）の関数でもよい。
Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，），Ｒ，Γ）＝１／ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）＊｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（７）
さらにステップＳ９０３において、画像処理装置は、式（７）に補正可能最大値を算出するためのΓｍａｘをΓに代入する。ウィナーフィルタの場合、Γｍａｘ＝０であり、このとき式（７）は帯域制限された逆フィルタとなる。すなわち、Γｍａｘは、ウィナーフィルタの逆特性に基づく値である。各像高位置において、Γｍａｘが代入された関数の絶対値｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜における周波数空間内の最大値ｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜を求める。これが、補正値の設定可能範囲の最大値となる。
【００３４】
以下、補正値の設定可能範囲の最大値を補正可能最大値と称する。この補正可能最大値を算出するために用いるΓｍａｘは、ウィナーフィルタやそれを変形したフィルタなど、種々の画像回復フィルタおいて理論的なｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜の最大値が得られる値とすればよい。即ち、本実施例においては、Γｍａｘとして値０（零）を用いたが、これに限られない。
【００３５】
ステップＳ９０３Ａにおいて、画像処理装置は、ステップＳ９０１において設定された像高Ｎ個分の補正可能最大値が求められたか否かを判定する。本実施例においては、対象画像の各像高位置別に補正可能最大値を算出するが、各像高でなくともよく、あらかじめ設定された特定の像高において、補正可能最大値を取得してもよい。
【００３６】
次にステップＳ９０４において、画像処理装置は、各像高のうち、最も補正可能最大値が大きい値を補正可能最大値として設定する。尚、補正可能最大値は任意の１つの像高から算出してもよいし、全像高から算出してその中の最大値を用いても良い。
【００３７】
次にステップＳ９０５において、ユーザーが指定した補正値と補正可能最大値を比較し、小さい値を表示部に表示する。具体的な表示例については後述する。
【００３８】
尚、ステップＳ９０４において、任意の１つの像高のみから補正可能最大値を算出する場合は、ステップＳ９０２〜Ｓ９０３のループ処理は実行されず、ステップＳ９０５において、任意の１つの像高における補正可能最大値が設定される。さらに、撮影条件によっては帯域制限や回復フィルタ設計時の留意のみでは補正可能最大値が大きくなりすぎる場合も存在する。このような場合に対応するために、記憶部に補正可能最大値を撮影条件毎にテーブル化して保持させておいても良い。
【００３９】
次に、ステップＳ９０６において、画像処理装置は、ＧＵＩによって表示された補正可能範囲からユーザーによって操作部を介して選択あるいは設定された補正値を用いた画像回復フィルタを生成する。補正された画像回復フィルタを用いて、画像処理部は、回復対象画像と画像回復フィルタをコンボリューションすることによって、回復画像を生成する。ＧＵＩの詳細については、後述する。
【００４０】
本実施例においては画像回復処理を行う周波数帯域に制限を設ける手法を示したが、制限を設ける手法は帯域制限に限られるものではなく、例えば帯域制限値：Ｒを用いなくてもよい。あるいは、周波数帯域に制限を設けることと同様の作用を得られるように、他の項の値や関数を変更してもよい。
【００４１】
また本実施例では、画像回復フィルタとしてウィナーフィルタを用いて説明してきたが、ＯＴＦの逆特性を用いて画像回復処理を行うものならば、特にウィナーフィルタに限定されるものではなく様々な変形を行ってもかまわない。従って、先に述べたように、Γｍａｘは、あくまで逆フィルタであるＷ＝１／ＯＴＦを導くものに過ぎず、Γｍａｘは、値０（零）に限られない。
【００４２】
画像回復フィルタは図５（ａ）に示すような２次元フィルタであり、図５（ａ）の破線に沿った一軸上では図５（ｂ）のような形状をしている。このように、本発明の画像回復フィルタは、一般的なエッジ強調フィルタ等と異なって、タップ数が大きく、また非対称な形状をしている場合もあるなどの特徴がある。
【実施例３】
【００４３】
先に述べたように、画像回復処理は、撮影条件の組み合わせ毎に最適な補正可能範囲が大きく変化する。即ち、撮像光学系の収差量が大きく、撮影画像の劣化が大きいほど、上記補正可能範囲は大きくなる。一方で、撮像光学系の収差量が小さく、撮影画像の劣化が小さい場合、上記補正可能範囲は小さくなる。また、撮像光学系が同一でも、撮影条件が異なると収差量が大きく変化し、同様に上記補正可能範囲は大きく変化する。よって、撮像光学系の識別情報を含む撮影条件の組み合わせに応じて、ユーザーが簡易に補正値を決定して画像回復処理を行えるＧＵＩを提供することは重要である。
【００４４】
図６は本発明を用いた画像回復処理装置を簡易にするためのＧＵＩ（グラフィカル・ユーザー・インターフェース）の一例を示す図である。
【００４５】
図６（ａ）は、ＧＵＩの左端を１、右端を回復限界値（補正可能最大値、設定可能最大値）とし、ＯＴＦから回復限界値を算出して表示してＧＵＩの１から回復限界値の範囲内でユーザーが回復処理の強さを決定する。このようなＧＵＩを設計することで自動的に右端が回復限界値となり、ユーザーが設定する回復処理の強さによらず、設定どおりの画像回復処理が可能である。図６（ｂ）はＧＵＩの左端を１、右端を５０として表示してＯＴＦから算出される回復限界値以下の範囲でユーザーが回復処理の強さを決定できるようなＧＵＩである。図６（ｂ）のＧＵＩでは右端は５０であるが、回復限界値までの範囲でユーザーが回復処理の強さを設定できる。本実施例ではＧＵＩの一例としてスライダーで説明したが、スピンコントロール等でもよい。
【実施例４】
【００４６】
図７は本発明における画像処理方法を用いた画像処理装置を内蔵した撮像装置であり、記憶部２０８内に撮像光学系２０１の識別情報及びＯＴＦ情報を焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズなどの撮影条件の組み合わせ毎に保持しておく。撮像光学系２０１には、絞り２０１ａやフォーカスレンズ２０１ｂ等が設けられている。表示部２０５のＧＵＩ等により図１に示す画像処理フローを含む画像処理実行の決定が行われる。
【００４７】
該決定が行われると、撮像光学系２０１により形成された光学像を撮像する撮像素子２０２にて、該光学像を電気信号に変換して撮影画像を得る。このとき、撮像光学系制御部２０６や状態検知部２０７において、撮像光学系２０１の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなる撮影条件を取得する。Ａ／Ｄ変換器２０３は撮像素子２０２から出力される光学像に対応したアナログ信号をデジタル信号に変換する。画像処理部２０４において、取得した撮影条件に対応するＯＴＦ情報に基づいて補正可能範囲を決定する。
【００４８】
表示部２０５において、決定された補正可能範囲からユーザーが補正値を決定するためのＧＵＩを表示する。ＧＵＩは図６に示す補正可能範囲を表示するもので、補正可能範囲内においてユーザーが補正値を決定する。ＧＵＩにおいてユーザーが補正値を決定した後、画像処理部２０４において該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。
【００４９】
画像処理部２０４には、撮影条件情報が付加された撮影画像を記録するための画像記録媒体２０９が接続されている。該画像記録媒体２０９に記録された撮影画像を撮影した時の撮影条件に対応したＯＴＦ情報は、上記のように記憶部２０８に記憶されている。システムコントローラ２１０は、ＣＰＵやＭＰＵ等によって構成され、撮像装置全体の制御を司る。
【実施例５】
【００５０】
本発明における画像処理方法をコンピュータ（パソコン等）で動作させるプログラムについて図８を用いて説明する。上記プログラムは、コンピュータに、撮像光学系の光学特性データである焦点距離、Ｆ値、撮影距離、像高などの組み合わせ毎のＯＴＦ情報と、該ＯＴＦ情報を用いて画像回復フィルタを生成する画像処理方法を実行させるプログラムである。ＯＴＦ情報は、光学特性データが保存されているＤＶＤ等のメディア等やインターネットを介して取得することができる。
【００５１】
本発明のプログラムは図１及び図９の画像処理フローを実行する画像処理プログラムである。以下に図１に沿って本実施例における画像処理プログラムの実行手順を説明する。パソコンを起動し、プログラムを実行する。モニター等のディスプレイ画面上のＧＵＩを用いて画像処理を開始する。撮影画像と該撮影画像を取得した際の撮影条件（撮像光学系の識別情報、焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等）と該撮影条件に対応するＯＴＦ情報を用いて補正可能範囲を決定する。プログラムが画像処理を開始する際に、パソコンを介したディスプレイ上に図６に示すＧＵＩを用いて補正可能範囲を表示する。該補正可能範囲内でユーザーが補正値を決定し、該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。撮影画像を補正する方法については、これまでに詳細に説明したので割愛する。
【００５２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００５３】
本発明の画像処理技術は、ビデオカメラ、コンパクトカメラあるいは一眼レフカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００５４】
２０１ 撮像光学系
２０４ 画像処理部
２０５ 表示部
２０８ 記憶部
【技術分野】
【０００１】
本発明は、撮影画像の画像処理に関し、特に撮像光学系による撮影画像の劣化を高精細に補正する技術に関する。
【背景技術】
【０００２】
撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。該撮像光学系の影響のため、撮影された画像は、撮影画像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されるようになった。以下、このような画像劣化補正技術を画像回復と称し、従来行われている一般的な方法を示す。
【０００４】
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下に示す（１）式で書くことができる。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ‐Ｘ，ｙ−Ｙ）ｄＸｄＹ ・・・（１）
上記（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ・・・（２）
と書くことができる。
【０００５】
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。
【０００６】
さらに、上記（２）式を変形すると、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） ・・・（３）
となる。これは周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ることにより、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【０００７】
しかしながら実際に、このような処理をおこなって劣化を受ける前の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させることになり、良好な画像を得ることは出来ない。そこで、ノイズの増幅を抑制するための画像回復手法として、下記（４）式で表されるウィナーフィルタを用いることが知られている。ここで、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ） ・・・（４）
上記（４）式を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。即ちウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） ・・・（５）
が得られる。
【０００８】
このとき（４）式から｜Ｗ（ｕ，ｖ）｜≦１／｜Ｈ（ｕ，ｖ）｜なる関係が分かる。即ち画像回復フィルタを用いることで増幅できる周波数特性の最大値は１／｜Ｈ（ｕ，ｖ）｜であり、ＯＴＦの絶対値の逆数、所謂逆フィルタの特性と一致する。
【０００９】
一般的なカメラ等で撮影された画像に対して、例えば（４）式のウィナーフィルタによる処理で画像回復処理を行う場合、式中のΓの値を制御することで回復処理の補正値を０から１／｜Ｈ（ｕ，ｖ）｜まで制御することが出来る。またウィナーフィルタに種々変形を施したものでも、回復処理の補正値は０から１／｜Ｈ（ｕ，ｖ）｜までの範囲で制御することが可能である。本明細書においては、０から１／｜Ｈ（ｕ，ｖ）｜までの範囲を補正可能範囲（以下、設定可能範囲ともいう。）と定義する。
【００１０】
ユーザーの指示により設定された補正値を用いて、画像処理装置や撮像装置やソフトウエアがインストールされたコンピュータが処理を行う場合は、所望の回復度合いに応じた補正値を選択あるいは変更することが好ましい。
【００１１】
例えば特許文献１では画像処理等の分野でエッジ強調等の補正値の補正の強さの範囲を変更するという発明が開示されている。また、特許文献２では画像と画像出力装置の周波数特性から復元限界を検出して画像回復処理を行うという発明が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第３８４００３２号
【特許文献２】特開２０１１−２２８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の特許文献に開示された従来技術は、様々な条件の組み合わせがあるシステムにおける補正値の強さの範囲を具体的に決定する手法については言及していなかった。デジタルカメラに用いられる画像回復処理は、一般的なエッジ強調処理やシャープネス処理とは異なり撮像光学系の識別情報を含む焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなどの撮影条件の組み合わせ毎に補正可能範囲が大きく異なる。補正可能範囲を超えた補正値を用いて画像回復処理を行ってもユーザーは回復効果を体感することができない。
【００１４】
また、他の課題として、補正可能範囲を表示部に表示する場合には、回復効果が得られる補正可能範囲の最大値を、ユーザーが認識できるように表示されないため、回復処理の補正値を決める際に不便である点が挙げられる。
【００１５】
本発明は、様々な撮影条件の組み合わせに応じて適切な補正可能範囲を設定することが可能な画像処理プログラムを提供することを例示的目的とする。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理プログラムは、撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、様々な撮影条件の組み合わせに応じて適切な補正可能範囲を設定することが可能な画像処理プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施例１における画像回復処理方法の処理フローの一例を示す図である。
【図２】実施例２における画像回復処理に用いるＯＴＦデータ等の一例を示す図である。
【図３】実施例２における画像回復処理に用いる各種条件の一例を示す図である。
【図４】実施例２における画像回復処理に用いるＯＴＦデータのから回復限界値を算出する手法の一例を示す図である。
【図５】実施例２における画像回復フィルタの一例を示す図である。
【図６】実施例３における画像処理ＧＵＩの一例を示す図である。
【図７】実施例４における画像処理装置を内蔵した撮像装置の一例を示す図である。
【図８】実施例５における画像処理プログラムの一例を示す図である。
【図９】実施例２における画像回復処理方法の処理フローの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００２０】
図１は本発明における画像処理の流れの一例を示す図である。まず、カメラ等の撮像装置で被写体を撮像し（Ｓ１０１）、光学系による劣化をうけた撮影画像データを画像処理装置に入力して、画像回復処理を開始する。該撮影画像データには、撮影光学系の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等といった撮影条件情報が付加されている。したがって、まずは画像処理装置で撮影画像データに付加されている撮影条件情報を取得する。次に画像処理装置内部の光学特性データ記憶部に保持されている光学特性データから、取得した撮影条件情報に対応するステータスを持つ撮影画像の各像高位置に対応するＯＴＦ情報（光学伝達関数情報）を取得する（Ｓ１０２）。そして、該ＯＴＦ情報に基づいて、撮影時の撮影条件における補正可能最大値を算出し、設定する（Ｓ１０３）。該補正可能最大値は撮影画像の像高位置毎に決定しても良いし、各像高位置全ての中から補正可能最大値を決定しても良い。なお、Ｓ１０３で設定された補正可能最大値は、Ｓ１０３で設定される前の補正値の補正可能範囲の最大値よりも小さな値である。補正可能最大値以下を補正可能範囲（設定可能範囲）として取得し（Ｓ１０４）、該補正可能範囲内でユーザーが補正値を決定する（Ｓ１０５）。次に、決定した補正値を用いて上記光学伝達関数情報を補正した補正光学伝達関数情報を用いて画像回復フィルタを生成して（Ｓ１０６）、撮影画像を補正し（Ｓ１０７）、補正処理後の画像を得る（Ｓ１０８）。Ｓ１０６〜Ｓ１０８は、回復画像を生成する回復画像生成ステップともいえる。ここで用いる画像回復処理は、一般的に知られているウィナーフィルタなどを用いればよい。
【実施例２】
【００２１】
図２〜４を用いて、画像回復処理における補正可能最大値を取得し、補正可能範囲を決定する手法を説明する。図２の（ａ）、（ｂ）、（ｃ）はそれぞれ異なった撮像光学系、撮影条件（焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズ等）で撮影した画像である。以下図２（ａ）を代表的に説明する。図２（ａ）の撮影画像には、図３に示すような撮像光学系情報、光学ローパスフィルタ情報、撮像素子情報が添付されている。この撮影画像を画像回復処理を行う画像処理装置に入力すると、これらの添付情報に基づいて、撮影画像上の各像高点におけるＯＴＦ情報を取得し、該各像高点のＯＴＦ情報に基づいて補正可能最大値を取得する。
【００２２】
図４（ａ）の丸囲みの１〜３はそれぞれ撮像光学系の識別情報および像高を含む撮影条件が異なる３つのＯＴＦの絶対値を２次元分布｜ＯＴＦ（ｕ，ｖ）｜で示しており、これはＭＴＦとも呼ばれる。撮像素子によって取得された光学像は、撮像素子のナイキスト周波数までの周波数帯域にデジタルサンプリングされる。ＯＴＦ（ｕ，ｖ）を計算によって算出して光学特性データ記憶部に保持しておく場合は、まず光学空中像の遮断周波数までのＯＴＦ（ｕ，ｖ）が得られる。光学特性データ記憶部内部に、光学的遮断周波数までの全帯域でＯＴＦ（ｕ，ｖ）情報を保持している場合は、撮像素子のナイキスト周波数までに注目すればよい。
【００２３】
画像回復処理で得られる補正効果として最大のものは、ナイキスト周波数内の全周波数帯域においてＯＴＦ（ｕ，ｖ）が１になることである。即ちこの最大の補正効果が得られる補正値は｜１／ＯＴＦ（ｕ，ｖ）｜となり、図４（ｃ）に示すような各周波数において図４（ａ）に示した｜ＯＴＦ（ｕ，ｖ）｜の逆数の値となる。
【００２４】
図４（ｂ）の丸囲みの１〜３はそれぞれ図４（ａ）における｜ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜ＯＴＦ（０，ｖ）｜、破線は｜ＯＴＦ（ｕ，０）｜を示している。また同様に図４（ｄ）の丸囲みの１〜３はそれぞれ図４（ｃ）における｜１／ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜１／ＯＴＦ（０，ｖ）｜、破線は｜１／ＯＴＦ（ｕ，０）｜を示している。図４（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲を制御可能な制約条件に基づいて補正された補正値のｕ，ｖ軸上についての一断面を示したものである。実際には、｜ＯＴＦ（ｕ，ｖ）｜の２次元空間上における補正可能範囲の最大値を算出するが、本実施例においては、説明を簡単にするために一次元の図４（ｂ）、（ｄ）、（ｅ）を用いて説明する。
【００２５】
図４（ｂ）の丸囲みの１〜３のような｜ＯＴＦ｜を持つ撮像光学系において、図４（ｄ）の丸囲みの１〜３がそれぞれに対応する｜ＯＴＦ（ｕ，ｖ）｜の逆特性の周波数特性となる。図４（ｄ）の丸囲みの１〜３において、それぞれの撮像素子の周波数帯域内での最大値は５、３、∞となっている。この時、周波数によって｜ＯＴＦ（ｕ，ｖ）｜の値に０もしくは０近傍の値が発生してしまうと、その逆特性が、∞のような不定値や大きな値に発散してしまう。このとき逆特性に一致した大きな補正可能最大値を設定しても、補正効果が飽和してしまって補正効果を体感しにくくなる。さらに、ノイズの大幅な増幅やリンギング等の、画像を劣化させる要因が大きく発生してしまう。従って｜ＯＴＦ（ｕ，ｖ）｜の逆特性が大きく発散しないような制約条件を設定することとし、これを以降において補正可能範囲制御条件と称することにする。図４（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲制御条件に基づいて決定した補正可能最大値を示している。該補正可能最大値以下を補正可能範囲とすることで、ユーザーが指定した通りの補正値が実現でき、該補正値通りの補正効果を体感できる。
【００２６】
この補正可能最大値を決定する際の補正可能範囲制御条件は、画像回復フィルタ設計の際に所定の周波数以上に補正量の制限を設ける等の、所謂帯域制限条件として設定しても良い。また、式（４）に示したウィナーフィルタまたはそれに類似する画像回復フィルタにおいて、画像回復フィルタ設計の際に特定の周波数帯に重みづけして補正可能最大値を算出しても良い。上述した手法を画像の色成分ごとのＯＴＦに応じて行うことが望ましいが、計算時間を低減させるために該色成分のうち、Ｒ成分、Ｇ成分、Ｂ成分のうちのいずれか一つにおいて算出して用いても良い。
【００２７】
上述した手法により求めた補正可能最大値とＯＴＦ情報から画像回復フィルタを生成し、撮影画像を補正する。図９に詳細な手順を示す。
【００２８】
まずステップＳ９００において、画像処理装置は、撮影された画像データとともに記録された、焦点距離、Ｆ値、撮影距離情報を取得する。
【００２９】
次にステップＳ９０１において、画像処理装置は、画像回復フィルタを生成する画像上の像高位置をＮ個設定する。ここで、像高位置やその個数Ｎは、画像上の像高位置に対する光学特性がなめらかに変化するように設定することが望ましい。特に一般的な撮像光学系ではＮ≧１５０程度が好ましい。１５０未満であると、各像高間での光学特性の変化が大きくなり、回復精度が低下してしまう。
【００３０】
次にステップＳ９０２において、画像処理装置は、ステップＳ９００において取得された焦点距離、Ｆ値、撮影距離とステップＳ９０１において設定されたＮ個の像高位置に対して、記憶部に保持されたＯＴＦ情報からＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）を生成する。
【００３１】
本実施例においては、画像回復フィルタとしてウィナーフィルタを用いる。ウィナーフィルタは式（４）に示す画像回復フィルタであり、画像回復時の周波数成分の増幅に対して、ノイズを抑制する補正項Γをもつ。
【００３２】
式（４）を様々な焦点距離：ｆ、Ｆ値：Ｆ、撮影距離：ｄ、像高：ｈにおけるＯＴＦに適用し、帯域制限値：Ｒを用いて改めて書き直すと、下記の式（６）となる。
Ｗ（ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ），Ｒ，ａ）＝１／ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）＊｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（６）
以下、画像回復処理を実行する対象画像の撮影条件が、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１であったとして説明する。
【００３３】
次にステップＳ９０３において、画像処理装置は、式（６）にｆ＝ｆ１、Ｆ＝Ｆ１、ｄ＝ｄ１を代入して、以下の式（７）で示す画像回復フィルタを得る。尚、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１、像高：ｈ１は、撮像光学系がとり得る任意の値である。また、帯域制限値：Ｒは定数でもよいし、周波数（ｕ，ｖ）の関数でもよい。
Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，），Ｒ，Γ）＝１／ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）＊｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（７）
さらにステップＳ９０３において、画像処理装置は、式（７）に補正可能最大値を算出するためのΓｍａｘをΓに代入する。ウィナーフィルタの場合、Γｍａｘ＝０であり、このとき式（７）は帯域制限された逆フィルタとなる。すなわち、Γｍａｘは、ウィナーフィルタの逆特性に基づく値である。各像高位置において、Γｍａｘが代入された関数の絶対値｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜における周波数空間内の最大値ｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜を求める。これが、補正値の設定可能範囲の最大値となる。
【００３４】
以下、補正値の設定可能範囲の最大値を補正可能最大値と称する。この補正可能最大値を算出するために用いるΓｍａｘは、ウィナーフィルタやそれを変形したフィルタなど、種々の画像回復フィルタおいて理論的なｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜の最大値が得られる値とすればよい。即ち、本実施例においては、Γｍａｘとして値０（零）を用いたが、これに限られない。
【００３５】
ステップＳ９０３Ａにおいて、画像処理装置は、ステップＳ９０１において設定された像高Ｎ個分の補正可能最大値が求められたか否かを判定する。本実施例においては、対象画像の各像高位置別に補正可能最大値を算出するが、各像高でなくともよく、あらかじめ設定された特定の像高において、補正可能最大値を取得してもよい。
【００３６】
次にステップＳ９０４において、画像処理装置は、各像高のうち、最も補正可能最大値が大きい値を補正可能最大値として設定する。尚、補正可能最大値は任意の１つの像高から算出してもよいし、全像高から算出してその中の最大値を用いても良い。
【００３７】
次にステップＳ９０５において、ユーザーが指定した補正値と補正可能最大値を比較し、小さい値を表示部に表示する。具体的な表示例については後述する。
【００３８】
尚、ステップＳ９０４において、任意の１つの像高のみから補正可能最大値を算出する場合は、ステップＳ９０２〜Ｓ９０３のループ処理は実行されず、ステップＳ９０５において、任意の１つの像高における補正可能最大値が設定される。さらに、撮影条件によっては帯域制限や回復フィルタ設計時の留意のみでは補正可能最大値が大きくなりすぎる場合も存在する。このような場合に対応するために、記憶部に補正可能最大値を撮影条件毎にテーブル化して保持させておいても良い。
【００３９】
次に、ステップＳ９０６において、画像処理装置は、ＧＵＩによって表示された補正可能範囲からユーザーによって操作部を介して選択あるいは設定された補正値を用いた画像回復フィルタを生成する。補正された画像回復フィルタを用いて、画像処理部は、回復対象画像と画像回復フィルタをコンボリューションすることによって、回復画像を生成する。ＧＵＩの詳細については、後述する。
【００４０】
本実施例においては画像回復処理を行う周波数帯域に制限を設ける手法を示したが、制限を設ける手法は帯域制限に限られるものではなく、例えば帯域制限値：Ｒを用いなくてもよい。あるいは、周波数帯域に制限を設けることと同様の作用を得られるように、他の項の値や関数を変更してもよい。
【００４１】
また本実施例では、画像回復フィルタとしてウィナーフィルタを用いて説明してきたが、ＯＴＦの逆特性を用いて画像回復処理を行うものならば、特にウィナーフィルタに限定されるものではなく様々な変形を行ってもかまわない。従って、先に述べたように、Γｍａｘは、あくまで逆フィルタであるＷ＝１／ＯＴＦを導くものに過ぎず、Γｍａｘは、値０（零）に限られない。
【００４２】
画像回復フィルタは図５（ａ）に示すような２次元フィルタであり、図５（ａ）の破線に沿った一軸上では図５（ｂ）のような形状をしている。このように、本発明の画像回復フィルタは、一般的なエッジ強調フィルタ等と異なって、タップ数が大きく、また非対称な形状をしている場合もあるなどの特徴がある。
【実施例３】
【００４３】
先に述べたように、画像回復処理は、撮影条件の組み合わせ毎に最適な補正可能範囲が大きく変化する。即ち、撮像光学系の収差量が大きく、撮影画像の劣化が大きいほど、上記補正可能範囲は大きくなる。一方で、撮像光学系の収差量が小さく、撮影画像の劣化が小さい場合、上記補正可能範囲は小さくなる。また、撮像光学系が同一でも、撮影条件が異なると収差量が大きく変化し、同様に上記補正可能範囲は大きく変化する。よって、撮像光学系の識別情報を含む撮影条件の組み合わせに応じて、ユーザーが簡易に補正値を決定して画像回復処理を行えるＧＵＩを提供することは重要である。
【００４４】
図６は本発明を用いた画像回復処理装置を簡易にするためのＧＵＩ（グラフィカル・ユーザー・インターフェース）の一例を示す図である。
【００４５】
図６（ａ）は、ＧＵＩの左端を１、右端を回復限界値（補正可能最大値、設定可能最大値）とし、ＯＴＦから回復限界値を算出して表示してＧＵＩの１から回復限界値の範囲内でユーザーが回復処理の強さを決定する。このようなＧＵＩを設計することで自動的に右端が回復限界値となり、ユーザーが設定する回復処理の強さによらず、設定どおりの画像回復処理が可能である。図６（ｂ）はＧＵＩの左端を１、右端を５０として表示してＯＴＦから算出される回復限界値以下の範囲でユーザーが回復処理の強さを決定できるようなＧＵＩである。図６（ｂ）のＧＵＩでは右端は５０であるが、回復限界値までの範囲でユーザーが回復処理の強さを設定できる。本実施例ではＧＵＩの一例としてスライダーで説明したが、スピンコントロール等でもよい。
【実施例４】
【００４６】
図７は本発明における画像処理方法を用いた画像処理装置を内蔵した撮像装置であり、記憶部２０８内に撮像光学系２０１の識別情報及びＯＴＦ情報を焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズなどの撮影条件の組み合わせ毎に保持しておく。撮像光学系２０１には、絞り２０１ａやフォーカスレンズ２０１ｂ等が設けられている。表示部２０５のＧＵＩ等により図１に示す画像処理フローを含む画像処理実行の決定が行われる。
【００４７】
該決定が行われると、撮像光学系２０１により形成された光学像を撮像する撮像素子２０２にて、該光学像を電気信号に変換して撮影画像を得る。このとき、撮像光学系制御部２０６や状態検知部２０７において、撮像光学系２０１の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなる撮影条件を取得する。Ａ／Ｄ変換器２０３は撮像素子２０２から出力される光学像に対応したアナログ信号をデジタル信号に変換する。画像処理部２０４において、取得した撮影条件に対応するＯＴＦ情報に基づいて補正可能範囲を決定する。
【００４８】
表示部２０５において、決定された補正可能範囲からユーザーが補正値を決定するためのＧＵＩを表示する。ＧＵＩは図６に示す補正可能範囲を表示するもので、補正可能範囲内においてユーザーが補正値を決定する。ＧＵＩにおいてユーザーが補正値を決定した後、画像処理部２０４において該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。
【００４９】
画像処理部２０４には、撮影条件情報が付加された撮影画像を記録するための画像記録媒体２０９が接続されている。該画像記録媒体２０９に記録された撮影画像を撮影した時の撮影条件に対応したＯＴＦ情報は、上記のように記憶部２０８に記憶されている。システムコントローラ２１０は、ＣＰＵやＭＰＵ等によって構成され、撮像装置全体の制御を司る。
【実施例５】
【００５０】
本発明における画像処理方法をコンピュータ（パソコン等）で動作させるプログラムについて図８を用いて説明する。上記プログラムは、コンピュータに、撮像光学系の光学特性データである焦点距離、Ｆ値、撮影距離、像高などの組み合わせ毎のＯＴＦ情報と、該ＯＴＦ情報を用いて画像回復フィルタを生成する画像処理方法を実行させるプログラムである。ＯＴＦ情報は、光学特性データが保存されているＤＶＤ等のメディア等やインターネットを介して取得することができる。
【００５１】
本発明のプログラムは図１及び図９の画像処理フローを実行する画像処理プログラムである。以下に図１に沿って本実施例における画像処理プログラムの実行手順を説明する。パソコンを起動し、プログラムを実行する。モニター等のディスプレイ画面上のＧＵＩを用いて画像処理を開始する。撮影画像と該撮影画像を取得した際の撮影条件（撮像光学系の識別情報、焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等）と該撮影条件に対応するＯＴＦ情報を用いて補正可能範囲を決定する。プログラムが画像処理を開始する際に、パソコンを介したディスプレイ上に図６に示すＧＵＩを用いて補正可能範囲を表示する。該補正可能範囲内でユーザーが補正値を決定し、該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。撮影画像を補正する方法については、これまでに詳細に説明したので割愛する。
【００５２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００５３】
本発明の画像処理技術は、ビデオカメラ、コンパクトカメラあるいは一眼レフカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００５４】
２０１ 撮像光学系
２０４ 画像処理部
２０５ 表示部
２０８ 記憶部
【特許請求の範囲】
【請求項１】
撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
前記設定ステップは、前記補正値の設定可能範囲の最大値を設定することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記設定ステップは、前記補正値の設定可能範囲の最大値として、前記設定ステップにより設定される前の補正値の設定可能範囲の最大値よりも小さい値を設定することを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
前記コンピュータに、
前記補正値の設定可能範囲を表示する表示ステップを実行させることを特徴とする請求項１乃至３いずれか１項に記載の画像処理プログラム。
【請求項５】
撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップを有することを特徴とする画像処理方法。
【請求項６】
撮影画像の撮影条件に対応した光学伝達関数情報を取得する手段と、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成手段と、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定手段を有することを特徴とする画像処理装置。
【請求項７】
撮像光学系により形成される光学像を撮像する撮像素子と、
撮影画像の撮影条件に対応した光学伝達関数情報を記憶する記憶部と、
前記撮像素子において取得された前記撮影画像に画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記記憶部において記憶された前記光学伝達関数情報を取得し、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成し、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定することを特徴とする撮像装置。
【請求項８】
撮像光学系を有することを特徴とする請求項７に記載の撮像装置。
【請求項１】
撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
前記設定ステップは、前記補正値の設定可能範囲の最大値を設定することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記設定ステップは、前記補正値の設定可能範囲の最大値として、前記設定ステップにより設定される前の補正値の設定可能範囲の最大値よりも小さい値を設定することを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
前記コンピュータに、
前記補正値の設定可能範囲を表示する表示ステップを実行させることを特徴とする請求項１乃至３いずれか１項に記載の画像処理プログラム。
【請求項５】
撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成ステップと、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定ステップを有することを特徴とする画像処理方法。
【請求項６】
撮影画像の撮影条件に対応した光学伝達関数情報を取得する手段と、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成する回復画像生成手段と、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定する設定手段を有することを特徴とする画像処理装置。
【請求項７】
撮像光学系により形成される光学像を撮像する撮像素子と、
撮影画像の撮影条件に対応した光学伝達関数情報を記憶する記憶部と、
前記撮像素子において取得された前記撮影画像に画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記記憶部において記憶された前記光学伝達関数情報を取得し、
補正値を用いて前記光学伝達関数情報を補正した補正光学伝達関数情報を用いて回復画像を生成し、
前記補正値の設定可能範囲を前記光学伝達関数情報の逆特性に基づいて設定することを特徴とする撮像装置。
【請求項８】
撮像光学系を有することを特徴とする請求項７に記載の撮像装置。
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１】
【図４】
【図９】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１】
【図４】
【図９】
【公開番号】特開２０１３−６１９２５（Ｐ２０１３−６１９２５Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２５０３１０（Ｐ２０１１−２５０３１０）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]