画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
【課題】画像回復処理に必要な情報量を低減しつつ、高精度な画像回復処理を実行可能な画像処理方法を提供する。
【解決手段】撮影画像の画像回復処理を行う画像処理方法であって、撮影画像の撮影条件に応じた係数データを用いて、撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、第１の光学伝達関数を撮影画像の中心または撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、画像回復フィルタを用いて撮影画像の画像回復処理を行う工程とを有する。
【解決手段】撮影画像の画像回復処理を行う画像処理方法であって、撮影画像の撮影条件に応じた係数データを用いて、撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、第１の光学伝達関数を撮影画像の中心または撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、画像回復フィルタを用いて撮影画像の画像回復処理を行う工程とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。
【背景技術】
【０００２】
撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。
【０００３】
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。
【０００４】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。
【０００５】
振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。
【０００６】
画像回復を効果的に用いるためには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。一般的な撮像光学系のＯＴＦは、像高（画像の位置）によって大きく変動する。また光学伝達関数ＯＴＦは２次元データであり、複素数であるため実部と虚部を有する。また、ＲＧＢの３つの色成分を有するカラー画像を対象とした画像回復処理を行う場合、一つの像高のＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となる。ここで、タップ数とはＯＴＦデータの縦横のサイズである。これらを、像高、Ｆナンバー（絞り値）、ズーム（焦点距離）、撮影距離など全ての撮影条件について保持すると、膨大なデータ量となる。
【０００７】
特許文献１には、撮影画像の劣化を補正するためのフィルタ係数を保持して画像処理を行う技術が開示されている。ところが、画面内の位置に応じた回復フィルタを必要とするため、データ量が膨大になる。特許文献２には、画像回復の技術ではないが、倍率色収差を補正するために光学中心からの距離を求め、これを３次関数に代入することでＲおよびＢ成分の補正移動量を算出して、画面内の位置に応じた補正量を決定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−５６９９２号公報
【特許文献２】特開２００４−２４１９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像回復フィルタは２次元データであるため、画像の位置に応じた画像回復フィルタは、光学中心（撮影画像の中心または撮像光学系の光軸）からの距離だけでは決定されず、回転を必要とする。そのため、特許文献２の方法を画像回復処理に適用することはできない。また、画像回復フィルタの係数はタップ間で細かく変動しているため、画像の位置に応じた回転を行うと、フィルタ係数の値が大きく崩れ、画像回復処理の効果が得られない。
【００１０】
そこで本発明は、画像回復処理に必要な情報量を低減しつつ、高精度な画像回復処理を実行可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【００１２】
本発明の他の側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段とを有する。
【００１３】
本発明の他の側面としての撮像装置は、撮影画像の画像回復処理を行う撮像装置であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段とを有する。
【００１４】
本発明の他の側面としての画像処理プログラムは、撮影画像の画像回復処理を行う画像処理プログラムであって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを情報処理装置に実行させる。
【００１５】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１６】
本発明によれば、画像回復処理に必要な情報量を低減しつつ、高精度な画像回復処理を実行可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施例１における画像処理方法のフローチャートである。
【図２】本実施例における画像回復フィルタの説明図である。
【図３】本実施例における画像回復フィルタの説明図である。
【図４】本実施例における点像分布関数ＰＳＦの説明図である。
【図５】本実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。
【図６】実施例１における画像回復フィルタの生成方法を示す図である。
【図７】実施例１における画像処理システムの説明図である。
【図８】実施例１における係数算出装置の説明図である。
【図９】実施例１における係数データの説明図である。
【図１０】実施例１におけるタップ数と周波数ピッチの説明図である。
【図１１】実施例１におけるタップ数と周波数ピッチの説明図である。
【図１２】実施例１におけるＯＴＦ再構成部の説明図である。
【図１３】実施例１における再構成ＯＴＦの説明図である。
【図１４】実施例１における別の画像処理方法のフローチャートである。
【図１５】実施例２における撮像装置の構成図である。
【図１６】実施例３における画像処理システムの構成図である。
【図１７】実施例３における情報セットの説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１９】
まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００２０】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。
【００２１】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。
【００２２】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
【００２３】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。
【００２４】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００２５】
撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。
【００２６】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００２７】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００２８】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【００２９】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３０】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。
【００３１】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。
【００３２】
ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。
【００３３】
【数１】
【００３４】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【００３５】
続いて、図２および図３を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図２では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。
【００３６】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【００３７】
続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。
【００３８】
このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
【実施例１】
【００３９】
次に、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法（画像処理プログラム）のフローチャートである。図１のフローチャートは、後述の画像処理装置の指令に基づいて実行される。
【００４０】
まずステップＳ１１において、撮影画像を入力画像として取得する。撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。続いてステップＳ１２において、撮影条件を取得する。撮影条件は、焦点距離、絞り値、および、撮影距離等である。また、レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮像条件は更にレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得することができる。またこの情報は、画像に付帯された情報から取得することもできる。
【００４１】
次にステップＳ１３において、撮影条件に適した係数データを取得する。係数データは、光学伝達関数ＯＴＦを再構成するためのデータであり、例えば、撮影条件に応じて予め保持された複数の係数データから所望の係数データが選択される。また、絞り、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、その撮影条件に対応する係数データを、予め保持されている他の撮影条件の係数データから補間処理により生成することもできる。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。続いてステップＳ１４において、係数データから光学伝達関数ＯＴＦを再構成する。すなわち、撮影画像の撮影条件に応じた係数データを用いて、撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する。第１の光学伝達関数の生成は、第１の光学伝達関数生成手段により行われる。なお、撮像光学系は、撮像素子や光学ローパスフィルタなどを含んでもよい。光学伝達関数ＯＴＦの再構成の詳細については後述する。
【００４２】
次にステップＳ１５において、再構成された光学伝達関数ＯＴＦを画面中心（撮影画像の中心）または撮像光学系の光軸の周りに回転させて光学伝達関数ＯＴＦを展開する（第２の光学伝達関数生成手段）。具体的には、画素配列に対応して光学伝達関数ＯＴＦを補間することで、光学伝達関数ＯＴＦを撮影画像内の複数の位置に離散的に配置する。次にステップＳ１６において、光学伝達関数ＯＴＦを画像回復フィルタに変換する、すなわち展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する（画像回復フィルタ生成手段）。画像回復フィルタは、光学伝達関数ＯＴＦに基づいて周波数空間での回復フィルタ特性を作成し、逆フーリエ変換により実空間のフィルタ（画像回復フィルタ）に変換することにより生成される。
【００４３】
ここで図６（ａ）〜（ｅ）を参照して、ステップＳ１５、Ｓ１６について詳述する。図６（ａ）〜（ｅ）は、画像回復フィルタの生成方法を示す図である。図６（ａ）に示されるように、再構成された光学伝達関数ＯＴＦは、画面中心（撮影画像の中心）または撮像光学系の光軸を通る一方向（垂直方向）に、画像の外接円の領域（撮像領域）に配置されている。
【００４４】
本実施例においては、ステップＳ１４において、図６（ａ）に示すように、直線上に光学伝達関数を展開したがこれに限られない。例えば、撮影画像面内において、撮影画像の中心を通り互いに直交する直線を第１の直線（図６（ａ）のｙ）と第２の直線（図６（ａ）のｘ）とする。このとき、ステップＳ１４において生成された光学伝達関数のうち少なくとも２つの光学伝達関数が、第１の直線の直線上の位置（像高）に対応する光学伝達関数であればよい。即ち、再構成された光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸から所定の方向に互いに異なる距離で配列された複数の位置（撮影画像内の複数の位置）に配置されていれば、一方向に直線的に配列されていなくてもよい。なお、撮影画像の中心を含む画素がない場合、即ち、画素と画素の間に撮影画像の中心がある場合、ステップＳ１４において生成される光学伝達関数は、第１の直線を挟む画素の位置（像高）に対応する光学伝達関数であればよい。
【００４５】
また、光学伝達関数ＯＴＦを一方向に配列する場合には、垂直方向に限定されるものではなく水平方向など他の方向に配列してもよい。光学伝達関数ＯＴＦを垂直方向または水平方向のいずれかに直線的に配列すると、本実施例の画像処理がより容易に行えるため、より好ましい。
【００４６】
続いて、再構成された光学伝達関数ＯＴＦを回転させ、必要に応じて補間処理（回転後の画素配列に応じた各種処理）を行い、図６（ｂ）に示されるように光学伝達関数ＯＴＦを再配置する。補間処理は、放射方向の補間処理と回転に伴う補間処理を含み、光学伝達関数ＯＴＦを任意の位置に再配置することができる。次に、各位置の光学伝達関数ＯＴＦについて、例えば式（６）のように画像回復フィルタの周波数特性を計算して逆フーリエ変換を行うことで、図６（ｃ）に示されるように実空間の画像回復フィルタへの変換を行う。
【００４７】
本実施例の撮像光学系は回転対称の光学系である。このため、その対称性を利用し、光学伝達関数ＯＴＦを図６（ｄ）に示されるように反転して、画面全域（光学伝達関数の定義域全体）に展開することができる。即ち、撮影画像において、撮影画像の中心を通り互いに直交する直線を第１の直線（図６（ａ）中のｙ）と第２の直線（図６（ａ）中のｘ）とする。撮影画像の中心または撮像光学系の光軸に対して、撮影画像の第１領域（図６（ｃ）中の６３）と点対称な領域を第２領域（図６（ｃ）中の６１）、第１の領域と第１の直線に対して線対称な領域を第３領域（図６（ｃ）の６２）とする。このとき、第１領域の光学伝達関数を用いて、第２領域または第３領域の光学伝達関数を生成する。これにより、フーリエ変換処理が最終的に再配置する位置の略１／４に低減される。また、図６（ｂ）の光学伝達関数ＯＴＦおよび図６（ｃ）の画像回復フィルタを図６（ｅ）に示されるように回転および補間処理により再配置し、その対称性を用いて図６（ｄ）に示されるように展開すれば、さらにフーリエ変換処理を低減することができる。なお、図６（ａ）〜（ｅ）に示される配置（回復フィルタの配置密度）は一例であり、撮像光学系の光学伝達関数ＯＴＦの変動に応じて配置間隔を任意に設定することができる。
【００４８】
次に、図１中のステップＳ１７において、ステップＳ１６で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う（画像回復手段）。すなわち、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで、撮影画像の画像回復処理を行う。そしてステップＳ１８において、ステップＳ１７での画像回復処理の結果から、回復画像を取得する。
【００４９】
なお、画像回復フィルタのコンボリューションの際に、図６（ｄ）の画像回復フィルタが配置されている位置以外の画素は、近傍に配置された複数のフィルタを用いて補間生成することもできる。このとき、画像回復フィルタは、撮影画像の第１の位置における第１の画像回復フィルタ、および、撮影画像の第２の位置における第２の画像回復フィルタを有する。第１の画像回復フィルタは、展開された光学伝達関数を用いて生成される。第２の画像回復フィルタは、第１の画像回復フィルタを用いて補間することにより生成される。このような補間処理を行うことで、例えば１画素ごとに画像回復フィルタを変更することが可能となる。
【００５０】
次に、図７を参照して、上述の画像処理方法を行う画像処理装置を備えた画像処理システムについて説明する。図７は、本実施例における画像処理システム１００の説明図である。画像処理システム１００は、係数算出装置１０１、カメラ１１０（撮像装置）、および、画像回復処理装置１２０（画像処理装置）を備えて構成される。
【００５１】
係数算出装置１０１は、撮影画像の撮影条件に応じて、光学伝達関数ＯＴＦを再構成するための係数データを算出する。係数算出装置１０１は、撮像光学系の設計値または測定値から光学伝達関数ＯＴＦを算出する処理を行う。係数算出装置１０１は、光学伝達関数ＯＴＦを係数に変換し、その必要精度に応じて後に光学伝達関数ＯＴＦの再構成に用いられる係数の次数を決定する。係数算出装置１０１は、点像分布関数ＰＳＦの空間的分布の大きさから光学伝達関数ＯＴＦを再現する際に必要な像高ごとのタップ数を決定する。係数算出装置１０１は、種々の撮像レンズとカメラの撮像素子との組み合わせについて、必要次数までの係数データとタップ数に関する情報を算出して出力する。カメラ１１０は、撮像素子１１１および撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された画像に、撮像レンズ１１２のレンズＩＤと撮影条件に関する情報（絞り、ズーム、撮影距離等）、および、撮像素子１１１のナイキスト周波数を付加して出力する。
【００５２】
画像回復処理装置１２０（画像処理装置）は、画像回復情報保持部１２１、ＯＴＦ再構成部１２２、および、フィルタ処理部１２３（生成手段）を備えて構成される。画像回復処理装置１２０は、係数算出装置１０１およびカメラ１１０から出力された情報を保持し、これらの情報を用いて撮像レンズ１１２で撮影された劣化画像を補正する（撮影画像の画像回復処理を行う）。
【００５３】
画像回復情報保持部１２１は、係数算出装置１０１によって算出された種々の撮像レンズ１１２と撮像素子１１１の組み合わせのそれぞれについて、係数データ、タップ数、レンズＩＤ、撮影条件、撮像素子のナイキスト周波数の各情報を記憶する。このように画像回復情報保持部１２１は、撮影画像の撮影条件に応じた係数データを記憶する記憶手段である。
【００５４】
ＯＴＦ再構成部１２２は、カメラ１１０より撮像素子１１１の撮像素子のナイキスト周波数情報と撮影画像を取得し、撮像レンズ１１２のレンズＩＤと撮影条件に関する情報を取得する。ＯＴＦ再構成部１２２は、撮影者が撮影した際に用いたカメラ１１０のレンズＩＤと撮影条件から、画像回復情報保持部１２１内に保存されている係数データとタップ数をサーチして、対応する係数データとタップ数を取得する。ＯＴＦ再構成部１２２は、カメラ１１０の撮像素子のナイキスト周波数までの空間周波数領域において、フィルタ処理部１２３により用いられる光学伝達関数ＯＴＦを再構成する。すなわち、取得した係数データとタップ数を用いて、撮影画像の位置に応じた撮像光学系（撮像レンズ１１２）の光学伝達関数ＯＴＦを再構成する。このようにＯＴＦ再構成部１２２は、係数データを用いて撮影画像の位置に応じた撮像光学系の光学伝達関数ＯＴＦを再構成する再構成手段である。またＯＴＦ再構成部１２２は、光学伝達関数ＯＴＦを撮影画像の中心または撮像光学系の光軸の周りに回転させて光学伝達関数ＯＴＦを展開する展開手段である。以降、ＯＴＦ再構成部１２２で再構成された光学伝達関数ＯＴＦを再構成ＯＴＦと称する。
【００５５】
フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成した再構成ＯＴＦを用いて、撮影画像の劣化を補正する画像回復フィルタを作成し、画像の劣化を補正する。すなわちフィルタ処理部１２３は、展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する生成手段である。またフィルタ処理部１２３は、画像回復フィルタを用いて撮影画像に対する画像回復処理を行う処理手段である。ここで、係数算出装置１０１で予め算出した係数データやタップ数を画像回復情報保持部１２１に保持しておけば、係数算出装置１０１をユーザ（撮影者）に提供する必要はない。また、ユーザはネットワークや各種の記憶媒体を通して係数データなどの画像回復処理に必要な情報をダウンロードして用いることもできる。
【００５６】
次に、係数算出装置１０１での係数算出方法について詳述する。本実施例において、係数算出装置１０１は、撮像光学系（撮像レンズ１１２）の光学伝達関数ＯＴＦの設計値または測定値を所定の関数でフィッティングすることにより係数データを生成する。すなわち係数算出装置１０１は、撮像光学系の光学伝達関数ＯＴＦを所定の関数へのフィッティングによって近似することで係数データを生成する。本実施例では、Ｌｅｇｅｎｄｒｅ多項式を用いてフィッティングを行う。ただし本実施例はこれに限定されるものではなく、Ｃｈｅｂｕｓｈｅｖ多項式など他の関数を用いてフィッティングすることもできる。Ｌｅｇｅｎｄｒｅ多項式は、式（７）で表される。
【００５７】
【数２】
【００５８】
ここで、［ｘ］はｘを超えない最大の整数である。
【００５９】
また、ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、式（８）の係数ａｉｊを算出する必要がある。
【００６０】
【数３】
【００６１】
式（８）は直交関数であり、ａｉｊの値はフィッティング時の次数に依存せずに決定される。式（８）の直交関数の性質を利用することにより、光学伝達関数ＯＴＦのフィッティングが低次数でも十分高精度に行うことが可能な場合、装置内に保持すべき係数データに関する情報量を低減させることができる。
【００６２】
続いて、図８を参照して、係数算出装置１０１について詳述する。図８は、係数算出装置１０１の説明図であり、式（７）、（８）を用いて光学伝達関数ＯＴＦをフィッティングする具体的な方法を示している。図８に示されるｆｕｍ、ｆｖｍはそれぞれ、光学伝達関数ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数である。また、Ｎｘ、Ｎｙはそれぞれ、光学伝達関数ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向の奇数のタップ数である。係数算出装置１０１では、光学伝達関数ＯＴＦの実部および虚部のそれぞれに対し、上述のフィッティングを行って係数データを算出する。
【００６３】
光学伝達関数ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向とｓａｇｉｔｔａｌ方向に対称である。光学伝達関数ＯＴＦの虚部はｍｅｒｉｄｉｏｎａｌ方向に正負逆になるが対称であり、また、ｓａｇｉｔｔａｌ方向に対称である。このような対称性を利用すると、フィッティング対象とする光学伝達関数ＯＴＦのデータとして、定義域全体の１／４領域（定義域の一部）の情報があれば必要かつ十分である。すなわち、光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸に対する対称性を利用して定義域全体に展開することが可能である。上記理由により、本実施例では光学伝達関数ＯＴＦを高精度にフィッティングするため、光学伝達関数ＯＴＦから実部および虚部ともに定義域全体の１／４の領域をＤＣ成分が含まれるように切り出してフィッティングを行う。本実施例では、光学伝達関数ＯＴＦのデータがＮｘ（行）×Ｎｙ（列）タップの場合について説明しており、このデータから１〜［Ｎｘ／２］＋１行、１〜［Ｎｙ／２］＋１列のデータを切り出しているが、これに限定されるものではない。
【００６４】
図９は、上述の方法により算出された係数データの説明図である。図９では、各像高別に光学伝達関数ＯＴＦの実部および虚部の係数をｘｙともに１０次まで算出した場合の例を示している。像高別の係数群に、レンズＩＤ、絞り、ズーム、および、被写体距離情報を付加することで、１つの係数データ（係数情報）が完成する。本実施例では一例として、レンズＩＤ：Ｎｏ１２３、絞り：Ｆ２．８、ズーム：ＷＩＤＥ、撮影距離：至近、の撮影条件における１０像高分の係数情報を示している。この１０像高分の係数情報は、図６（ａ）中の１０箇所の光学伝達関数ＯＴＦを再構成するために用いられる。また、上述のように作成した係数データを次数別に像高間でさらに関数化してもよい。係数算出装置１０１は、この情報を全てのレンズＩＤ、絞り、ズーム、撮影距離情報の組み合わせに対して作成して、画像回復処理装置１２０に出力する。
【００６５】
次に、再構成ＯＴＦのタップ数の決定方法について詳述する。画像にフィルタ処理を行う際、処理時間はそのフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の画像回復の効果が得られ、リンギング等の弊害が生じなければ、フィルタのタップ数は小さいほうが好ましい。
【００６６】
画像回復処理装置１２０のフィルタ処理部１２３で用いられる画像回復フィルタは、実空間のフィルタである。従って、実空間でフィルタに必要なタップ数を決定すればよい。画像回復フィルタは、点像分布関数ＰＳＦによる画像劣化を補正するフィルタであるから、点像分布関数ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、画像回復フィルタに必要なタップ数は、上述の領域におけるタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定したタップ数を周波数空間で用いることができる。
【００６７】
図１０および図１１は、タップ数と周波数ピッチの説明図である。図１０は、タップ数を点像分布関数ＰＳＦの空間分布に比べて十分大きい領域でとった場合を示している。図１１は、図１０の場合と同一の点像分布関数ＰＳＦに対して、タップ数を点像分布関数ＰＳＦの空間分布とほぼ同等の領域でとった場合を示している。図１０では、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。図１１に示されるように実空間のタップ数を小さくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。
【００６８】
画像回復情報保持部１２１には、係数算出装置１０１から出力された係数情報（係数データ）、タップ数情報、レンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報が記憶される。ＯＴＦ再構成部１２２は、カメラ１１０から撮影時のレンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報を取得する。そして、画像回復情報保持部１２１から上述の各条件に対応するタップ数情報、レンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報を読み出し、これらの情報を用いて画像回復フィルタを作成するために用いられる再構成ＯＴＦを生成する。
【００６９】
次に、図１２を参照して、再構成ＯＴＦの作成方法について詳述する。図１２は、ＯＴＦ再構成部１２２の説明図である。図１２において、再構成ＯＴＦの作成に必要なｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数をｆｕｃ＿ｒｍ、ｆｖｃ＿ｉｍとし、またｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のタップ数をＭｘ，Ｍｙとする。ただし、ｆｕｍ，ｆｖｍに対して０＜ｆｕｍ＿ｎ≦ｆｕｍ、０＜ｆｖｍ＿ｎ≦ｆｖｍ、０＜Ｍｘ≦Ｎｘ、０＜Ｍｙ≦Ｎｙであり、Ｍｘ，Ｍｙは奇数である。
【００７０】
ここで、式（７）、（８）中のｘ、ｙをｕ、ｍに置き換え、−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦１、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦１の定義域を［Ｍｘ／２］＋１、［Ｍｙ／２］＋１タップでサンプリングする。そして、前記係数を式（８）に代入すると、再構成ＯＴＦの１／４の領域が作成される。上述の手順は再構成ＯＴＦの実部１２２−１−１および虚部１２２−２−１の両方について行われる。
【００７１】
次に、上述の方法により作成された実部および虚部の１／４領域の再構成ＯＴＦから、定義域が−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦ｆｕｍ＿ｎ／ｆｕｍ、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦ｆｖｍ＿ｎ／ｆｖｍであり、タップ数がＭｘ、Ｍｙである再構成ＯＴＦを作成する。
【００７２】
まず、再構成ＯＴＦの実部作成方法について説明する。再構成ＯＴＦの実部を、再構成ＯＴＦの実部１２２−１−１を用いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域と、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に分離する。次に、実部１２２−１−２のように、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域の数値データを１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に対して線対称になるように、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する。
【００７３】
さらに実部１２２−１−３のように、実部１２２−１−２で作成した１／２領域の再構成ＯＴＦを１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に分離する。そして、１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行、１〜Ｍｙ列の領域に代入する。再構成ＯＴＦの虚部は、実部と同様の方法で作成可能であるが、虚部１２２−２−３において、正負を入れ替えて代入する必要がある。上記のような作成方法が可能なのは、光学伝達関数ＯＴＦの特徴による。
【００７４】
図１３は、再構成ＯＴＦのナイキスト周波数とタップ数の関係図（再構成ＯＴＦ）である。上述のように、ナイキスト周波数は撮像素子１１１の空間分解能から決定されるパラメータであり、タップ数は撮像レンズ１１２の点像分布関数ＰＳＦに依存するパラメータである。これら２つのパラメータと上述の係数データを用いて所望の再構成ＯＴＦを生成する。図１３において、ナイキスト周波数はｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２、タップ数はＮ＞Ｍ１＞Ｍ２であり、図１３に示されるようにナイキスト周波数とタップ数を所望の値に制御することが可能である。
【００７５】
以上のとおり、撮像素子とレンズの組合せ、および撮影条件に応じた光学伝達関数ＯＴＦを係数データ化し、画像回復処理装置１２０に記憶しておくことで、撮影時の撮影条件に応じた画像回復処理が可能になる。また図６に示されるように、少量の係数データから画像全域のデータを適切なタップ数で回復することができるため、保持データ量を低減することができる。
【００７６】
次に、図１４を参照して、本実施例における別の画像処理方法（変形例）について説明する。図１４は、本実施例における別の画像処理方法のフローチャートである。図１４の画像処理方法は、ステップＳ２６において、展開された光学伝達関数ＯＴＦに、画面中心または光軸に対して回転非対称な伝達関数を適用する工程が付加されている点で、図１の画像処理方法とは異なる。図１４中のステップＳ２１〜Ｓ２５およびステップＳ２７〜Ｓ２９は、図１中のステップＳ１１〜Ｓ１８とそれぞれ同一であるため、それらの説明は省略する。
【００７７】
図１４中のステップＳ２１〜Ｓ２５の工程を経ることにより、例えば図６（ｂ）に示されるように光学伝達関数ＯＴＦが再配置されていることになる。ここで、例えば光学ローパスフィルタの伝達関数や、撮像素子１１１の画素開口形状の伝達関数のように、回転非対称な伝達関数を考慮する場合、図６（ｂ）の状態で各光学伝達関数ＯＴＦに回転非対称な伝達関数を適用する（付加する）。また、図６（ｂ）では、光学伝達関数ＯＴＦを画像の１／４の領域に展開しているが、伝達関数の対称性に応じて、例えば、光学伝達関数ＯＴＦを画像全域に展開してから適用してもよい。図１４に示されるように、本実施例では、回転非対称な伝達関数が適用された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成することもできる。
【実施例２】
【００７８】
次に、図１５を参照して、本発明の実施例２における撮像装置について説明する。図１５は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の画像回復処理（実施例１と同様の画像処理方法）を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。
【００７９】
撮像装置２００は、撮像光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【００８０】
撮像素子２０２は、撮像光学系２０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。
【００８１】
画像処理部２０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。まず画像処理部２０４は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系２０１に関する撮像条件情報は、撮像光学系制御部２０６から取得することもできる。本実施例の画像回復処理の処理フロー（画像処理方法）は、図１または図１４を参照して説明した実施例１と同様であるため、その説明は省略する。
【００８２】
再構成ＯＴＦを生成するための係数データは、記憶部２０８に保持されている。画像処理部２０４で処理した出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。
【００８３】
本実施例における一連の制御はシステムコントローラ２１０により行われ、撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮像光学系制御部２０６により行われる。撮像光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また撮像光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。
【００８４】
撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。この場合、図１４を参照して説明したように、光学伝達関数（ＯＴＦ）を再配置した後に回転非対称な伝達関数を付加する。
【００８５】
本実施例においては、撮像装置の記憶部に記憶された係数データを用いたが、変形例として、例えばメモリーカード等の記憶媒体に記憶された係数データを、撮像装置が取得するように構成してもよい。
【実施例３】
【００８６】
次に、図１６を参照して、本発明の実施例３における画像処理装置および画像処理システムについて説明する。図１６は、本実施例における画像処理システム３００の構成図である。なお、本実施例の画像回復処理の処理フロー（画像処理方法）は、図１または図１４を参照して説明した実施例１と同様であるため、その説明は省略する。
【００８７】
図１６において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータ（情報処理装置）に実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【００８８】
画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。
【００８９】
画像処理装置３０１にはモニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、本実施例の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。
【００９０】
続いて、図１７を参照して、本実施例の画像処理方法を行うためのデータの内容と機器間でのデータ受け渡しについて説明する。図１７は情報セット（データの内容）の説明図である。本実施例において、情報セットは以下のような情報を有する。
［補正制御情報］
補正制御情報は、画像処理装置３０１、撮像機器３０２、または、出力機器３０５のいずれの機器にて補正処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報から構成される。例えば、撮像機器３０２内で回復画像を生成する場合、係数データを伝送する必要はない。一方、撮像機器３０２から補正前の画像を取得して画像処理装置３０１で回復画像を生成する場合、係数データ、タップ数情報、レンズＩＤ、撮像素子ナイキスト情報、および、撮影条件等を伝送する。または、撮影に使用された撮像機器３０２の撮像機器情報や撮像条件情報に基づいて、予め画像処理装置３０１に保持された係数データから選択し、必要に応じて補正して用いるように構成してもよい。
［撮像機器情報］
撮像機器情報は、撮像機器３０２の識別情報である。レンズがカメラ本体に対して交換可能に装着される場合、その組み合わせを含む識別情報である。例えば、上述のレンズＩＤがこれに相当する。
［撮像条件情報］
撮像条件情報は、撮影時の撮像機器３０２の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ＩＳＯ感度、または、ホワイトバランス設定などである。
［撮像機器個別情報］
撮像機器個別情報は、上述の撮像機器情報に対して、個々の撮像機器の識別情報である。製造誤差のばらつきにより撮像機器３０２の光学伝達関数（ＯＴＦ）には個体ばらつきがある。このため、撮像機器個別情報は、個々に最適な補正パラメータを設定するために有効な情報である。補正パラメータとは、係数データや画像回復フィルタの補正係数、エッジ強調のゲイン値、歪曲補正、または、シェーディング補正などの設定値である。予め製造誤差の状態が把握されている場合、画像回復フィルタ生成に用いられる初期データを補正することで、より高精度な画像回復処理を行うことができる。
［係数データ群］
係数データ群は、位相劣化の補正に用いられる係数データのセットである。画像回復処理を行う機器が係数データを有していない場合、別の機器から係数データを伝送する必要がある。
［ユーザ設定情報］
ユーザ設定情報は、ユーザの好みに応じた先鋭度（回復の度合）に補正するための補正パラメータまたは補正パラメータの補正値である。ユーザは、補正パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば常に初期値として好みの出力画像を得ることができる。またユーザ設定情報は、ユーザにより設定された補正パラメータの履歴に基づいて、学習機能を用いてユーザが最も好む先鋭度に更新されることが好ましい。さらに、撮像機器３０２の提供者（メーカ）がいくつかの先鋭度パターンに応じたプリセット値をネットワークや記憶媒体３０３を介して提供することもできる。
【００９１】
上述の情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば補正処理を行うことができる。また、情報セットの内容は必要に応じて、自動または手動で、適宜、取捨選択が可能である。
【００９２】
上記各実施例によれば、光学伝達関数の状態で画像内に再配置してから実空間の画像回復フィルタに変換するため、画像回復フィルタを回転および補間するよりも高精度に画像の位置に応じた画像回復フィルタを生成できる。また、高精度に画像回復フィルタが生成できることから、予め保持する必要のある光学伝達関数に関するデータ量を低減することができる。したがって、各実施例によれば、画像回復処理に用いられる情報量を低減しつつ、高精度に補正された回復画像の取得が可能な画像処理方法を提供することができる。
【００９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９４】
１２０：画像回復処理装置
１２１：画像回復情報保持部
１２２：ＯＴＦ再構成部
１２３：フィルタ処理部
【技術分野】
【０００１】
本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。
【背景技術】
【０００２】
撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。
【０００３】
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。
【０００４】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。
【０００５】
振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。
【０００６】
画像回復を効果的に用いるためには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。一般的な撮像光学系のＯＴＦは、像高（画像の位置）によって大きく変動する。また光学伝達関数ＯＴＦは２次元データであり、複素数であるため実部と虚部を有する。また、ＲＧＢの３つの色成分を有するカラー画像を対象とした画像回復処理を行う場合、一つの像高のＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となる。ここで、タップ数とはＯＴＦデータの縦横のサイズである。これらを、像高、Ｆナンバー（絞り値）、ズーム（焦点距離）、撮影距離など全ての撮影条件について保持すると、膨大なデータ量となる。
【０００７】
特許文献１には、撮影画像の劣化を補正するためのフィルタ係数を保持して画像処理を行う技術が開示されている。ところが、画面内の位置に応じた回復フィルタを必要とするため、データ量が膨大になる。特許文献２には、画像回復の技術ではないが、倍率色収差を補正するために光学中心からの距離を求め、これを３次関数に代入することでＲおよびＢ成分の補正移動量を算出して、画面内の位置に応じた補正量を決定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−５６９９２号公報
【特許文献２】特開２００４−２４１９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像回復フィルタは２次元データであるため、画像の位置に応じた画像回復フィルタは、光学中心（撮影画像の中心または撮像光学系の光軸）からの距離だけでは決定されず、回転を必要とする。そのため、特許文献２の方法を画像回復処理に適用することはできない。また、画像回復フィルタの係数はタップ間で細かく変動しているため、画像の位置に応じた回転を行うと、フィルタ係数の値が大きく崩れ、画像回復処理の効果が得られない。
【００１０】
そこで本発明は、画像回復処理に必要な情報量を低減しつつ、高精度な画像回復処理を実行可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。
【００１２】
本発明の他の側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段とを有する。
【００１３】
本発明の他の側面としての撮像装置は、撮影画像の画像回復処理を行う撮像装置であって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段とを有する。
【００１４】
本発明の他の側面としての画像処理プログラムは、撮影画像の画像回復処理を行う画像処理プログラムであって、前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを情報処理装置に実行させる。
【００１５】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１６】
本発明によれば、画像回復処理に必要な情報量を低減しつつ、高精度な画像回復処理を実行可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施例１における画像処理方法のフローチャートである。
【図２】本実施例における画像回復フィルタの説明図である。
【図３】本実施例における画像回復フィルタの説明図である。
【図４】本実施例における点像分布関数ＰＳＦの説明図である。
【図５】本実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。
【図６】実施例１における画像回復フィルタの生成方法を示す図である。
【図７】実施例１における画像処理システムの説明図である。
【図８】実施例１における係数算出装置の説明図である。
【図９】実施例１における係数データの説明図である。
【図１０】実施例１におけるタップ数と周波数ピッチの説明図である。
【図１１】実施例１におけるタップ数と周波数ピッチの説明図である。
【図１２】実施例１におけるＯＴＦ再構成部の説明図である。
【図１３】実施例１における再構成ＯＴＦの説明図である。
【図１４】実施例１における別の画像処理方法のフローチャートである。
【図１５】実施例２における撮像装置の構成図である。
【図１６】実施例３における画像処理システムの構成図である。
【図１７】実施例３における情報セットの説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１９】
まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００２０】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。
【００２１】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。
【００２２】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
【００２３】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。
【００２４】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００２５】
撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。
【００２６】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００２７】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００２８】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【００２９】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３０】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。
【００３１】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。
【００３２】
ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。
【００３３】
【数１】
【００３４】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【００３５】
続いて、図２および図３を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図２では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。
【００３６】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【００３７】
続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。
【００３８】
このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
【実施例１】
【００３９】
次に、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法（画像処理プログラム）のフローチャートである。図１のフローチャートは、後述の画像処理装置の指令に基づいて実行される。
【００４０】
まずステップＳ１１において、撮影画像を入力画像として取得する。撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。続いてステップＳ１２において、撮影条件を取得する。撮影条件は、焦点距離、絞り値、および、撮影距離等である。また、レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮像条件は更にレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得することができる。またこの情報は、画像に付帯された情報から取得することもできる。
【００４１】
次にステップＳ１３において、撮影条件に適した係数データを取得する。係数データは、光学伝達関数ＯＴＦを再構成するためのデータであり、例えば、撮影条件に応じて予め保持された複数の係数データから所望の係数データが選択される。また、絞り、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、その撮影条件に対応する係数データを、予め保持されている他の撮影条件の係数データから補間処理により生成することもできる。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。続いてステップＳ１４において、係数データから光学伝達関数ＯＴＦを再構成する。すなわち、撮影画像の撮影条件に応じた係数データを用いて、撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する。第１の光学伝達関数の生成は、第１の光学伝達関数生成手段により行われる。なお、撮像光学系は、撮像素子や光学ローパスフィルタなどを含んでもよい。光学伝達関数ＯＴＦの再構成の詳細については後述する。
【００４２】
次にステップＳ１５において、再構成された光学伝達関数ＯＴＦを画面中心（撮影画像の中心）または撮像光学系の光軸の周りに回転させて光学伝達関数ＯＴＦを展開する（第２の光学伝達関数生成手段）。具体的には、画素配列に対応して光学伝達関数ＯＴＦを補間することで、光学伝達関数ＯＴＦを撮影画像内の複数の位置に離散的に配置する。次にステップＳ１６において、光学伝達関数ＯＴＦを画像回復フィルタに変換する、すなわち展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する（画像回復フィルタ生成手段）。画像回復フィルタは、光学伝達関数ＯＴＦに基づいて周波数空間での回復フィルタ特性を作成し、逆フーリエ変換により実空間のフィルタ（画像回復フィルタ）に変換することにより生成される。
【００４３】
ここで図６（ａ）〜（ｅ）を参照して、ステップＳ１５、Ｓ１６について詳述する。図６（ａ）〜（ｅ）は、画像回復フィルタの生成方法を示す図である。図６（ａ）に示されるように、再構成された光学伝達関数ＯＴＦは、画面中心（撮影画像の中心）または撮像光学系の光軸を通る一方向（垂直方向）に、画像の外接円の領域（撮像領域）に配置されている。
【００４４】
本実施例においては、ステップＳ１４において、図６（ａ）に示すように、直線上に光学伝達関数を展開したがこれに限られない。例えば、撮影画像面内において、撮影画像の中心を通り互いに直交する直線を第１の直線（図６（ａ）のｙ）と第２の直線（図６（ａ）のｘ）とする。このとき、ステップＳ１４において生成された光学伝達関数のうち少なくとも２つの光学伝達関数が、第１の直線の直線上の位置（像高）に対応する光学伝達関数であればよい。即ち、再構成された光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸から所定の方向に互いに異なる距離で配列された複数の位置（撮影画像内の複数の位置）に配置されていれば、一方向に直線的に配列されていなくてもよい。なお、撮影画像の中心を含む画素がない場合、即ち、画素と画素の間に撮影画像の中心がある場合、ステップＳ１４において生成される光学伝達関数は、第１の直線を挟む画素の位置（像高）に対応する光学伝達関数であればよい。
【００４５】
また、光学伝達関数ＯＴＦを一方向に配列する場合には、垂直方向に限定されるものではなく水平方向など他の方向に配列してもよい。光学伝達関数ＯＴＦを垂直方向または水平方向のいずれかに直線的に配列すると、本実施例の画像処理がより容易に行えるため、より好ましい。
【００４６】
続いて、再構成された光学伝達関数ＯＴＦを回転させ、必要に応じて補間処理（回転後の画素配列に応じた各種処理）を行い、図６（ｂ）に示されるように光学伝達関数ＯＴＦを再配置する。補間処理は、放射方向の補間処理と回転に伴う補間処理を含み、光学伝達関数ＯＴＦを任意の位置に再配置することができる。次に、各位置の光学伝達関数ＯＴＦについて、例えば式（６）のように画像回復フィルタの周波数特性を計算して逆フーリエ変換を行うことで、図６（ｃ）に示されるように実空間の画像回復フィルタへの変換を行う。
【００４７】
本実施例の撮像光学系は回転対称の光学系である。このため、その対称性を利用し、光学伝達関数ＯＴＦを図６（ｄ）に示されるように反転して、画面全域（光学伝達関数の定義域全体）に展開することができる。即ち、撮影画像において、撮影画像の中心を通り互いに直交する直線を第１の直線（図６（ａ）中のｙ）と第２の直線（図６（ａ）中のｘ）とする。撮影画像の中心または撮像光学系の光軸に対して、撮影画像の第１領域（図６（ｃ）中の６３）と点対称な領域を第２領域（図６（ｃ）中の６１）、第１の領域と第１の直線に対して線対称な領域を第３領域（図６（ｃ）の６２）とする。このとき、第１領域の光学伝達関数を用いて、第２領域または第３領域の光学伝達関数を生成する。これにより、フーリエ変換処理が最終的に再配置する位置の略１／４に低減される。また、図６（ｂ）の光学伝達関数ＯＴＦおよび図６（ｃ）の画像回復フィルタを図６（ｅ）に示されるように回転および補間処理により再配置し、その対称性を用いて図６（ｄ）に示されるように展開すれば、さらにフーリエ変換処理を低減することができる。なお、図６（ａ）〜（ｅ）に示される配置（回復フィルタの配置密度）は一例であり、撮像光学系の光学伝達関数ＯＴＦの変動に応じて配置間隔を任意に設定することができる。
【００４８】
次に、図１中のステップＳ１７において、ステップＳ１６で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う（画像回復手段）。すなわち、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで、撮影画像の画像回復処理を行う。そしてステップＳ１８において、ステップＳ１７での画像回復処理の結果から、回復画像を取得する。
【００４９】
なお、画像回復フィルタのコンボリューションの際に、図６（ｄ）の画像回復フィルタが配置されている位置以外の画素は、近傍に配置された複数のフィルタを用いて補間生成することもできる。このとき、画像回復フィルタは、撮影画像の第１の位置における第１の画像回復フィルタ、および、撮影画像の第２の位置における第２の画像回復フィルタを有する。第１の画像回復フィルタは、展開された光学伝達関数を用いて生成される。第２の画像回復フィルタは、第１の画像回復フィルタを用いて補間することにより生成される。このような補間処理を行うことで、例えば１画素ごとに画像回復フィルタを変更することが可能となる。
【００５０】
次に、図７を参照して、上述の画像処理方法を行う画像処理装置を備えた画像処理システムについて説明する。図７は、本実施例における画像処理システム１００の説明図である。画像処理システム１００は、係数算出装置１０１、カメラ１１０（撮像装置）、および、画像回復処理装置１２０（画像処理装置）を備えて構成される。
【００５１】
係数算出装置１０１は、撮影画像の撮影条件に応じて、光学伝達関数ＯＴＦを再構成するための係数データを算出する。係数算出装置１０１は、撮像光学系の設計値または測定値から光学伝達関数ＯＴＦを算出する処理を行う。係数算出装置１０１は、光学伝達関数ＯＴＦを係数に変換し、その必要精度に応じて後に光学伝達関数ＯＴＦの再構成に用いられる係数の次数を決定する。係数算出装置１０１は、点像分布関数ＰＳＦの空間的分布の大きさから光学伝達関数ＯＴＦを再現する際に必要な像高ごとのタップ数を決定する。係数算出装置１０１は、種々の撮像レンズとカメラの撮像素子との組み合わせについて、必要次数までの係数データとタップ数に関する情報を算出して出力する。カメラ１１０は、撮像素子１１１および撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された画像に、撮像レンズ１１２のレンズＩＤと撮影条件に関する情報（絞り、ズーム、撮影距離等）、および、撮像素子１１１のナイキスト周波数を付加して出力する。
【００５２】
画像回復処理装置１２０（画像処理装置）は、画像回復情報保持部１２１、ＯＴＦ再構成部１２２、および、フィルタ処理部１２３（生成手段）を備えて構成される。画像回復処理装置１２０は、係数算出装置１０１およびカメラ１１０から出力された情報を保持し、これらの情報を用いて撮像レンズ１１２で撮影された劣化画像を補正する（撮影画像の画像回復処理を行う）。
【００５３】
画像回復情報保持部１２１は、係数算出装置１０１によって算出された種々の撮像レンズ１１２と撮像素子１１１の組み合わせのそれぞれについて、係数データ、タップ数、レンズＩＤ、撮影条件、撮像素子のナイキスト周波数の各情報を記憶する。このように画像回復情報保持部１２１は、撮影画像の撮影条件に応じた係数データを記憶する記憶手段である。
【００５４】
ＯＴＦ再構成部１２２は、カメラ１１０より撮像素子１１１の撮像素子のナイキスト周波数情報と撮影画像を取得し、撮像レンズ１１２のレンズＩＤと撮影条件に関する情報を取得する。ＯＴＦ再構成部１２２は、撮影者が撮影した際に用いたカメラ１１０のレンズＩＤと撮影条件から、画像回復情報保持部１２１内に保存されている係数データとタップ数をサーチして、対応する係数データとタップ数を取得する。ＯＴＦ再構成部１２２は、カメラ１１０の撮像素子のナイキスト周波数までの空間周波数領域において、フィルタ処理部１２３により用いられる光学伝達関数ＯＴＦを再構成する。すなわち、取得した係数データとタップ数を用いて、撮影画像の位置に応じた撮像光学系（撮像レンズ１１２）の光学伝達関数ＯＴＦを再構成する。このようにＯＴＦ再構成部１２２は、係数データを用いて撮影画像の位置に応じた撮像光学系の光学伝達関数ＯＴＦを再構成する再構成手段である。またＯＴＦ再構成部１２２は、光学伝達関数ＯＴＦを撮影画像の中心または撮像光学系の光軸の周りに回転させて光学伝達関数ＯＴＦを展開する展開手段である。以降、ＯＴＦ再構成部１２２で再構成された光学伝達関数ＯＴＦを再構成ＯＴＦと称する。
【００５５】
フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成した再構成ＯＴＦを用いて、撮影画像の劣化を補正する画像回復フィルタを作成し、画像の劣化を補正する。すなわちフィルタ処理部１２３は、展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する生成手段である。またフィルタ処理部１２３は、画像回復フィルタを用いて撮影画像に対する画像回復処理を行う処理手段である。ここで、係数算出装置１０１で予め算出した係数データやタップ数を画像回復情報保持部１２１に保持しておけば、係数算出装置１０１をユーザ（撮影者）に提供する必要はない。また、ユーザはネットワークや各種の記憶媒体を通して係数データなどの画像回復処理に必要な情報をダウンロードして用いることもできる。
【００５６】
次に、係数算出装置１０１での係数算出方法について詳述する。本実施例において、係数算出装置１０１は、撮像光学系（撮像レンズ１１２）の光学伝達関数ＯＴＦの設計値または測定値を所定の関数でフィッティングすることにより係数データを生成する。すなわち係数算出装置１０１は、撮像光学系の光学伝達関数ＯＴＦを所定の関数へのフィッティングによって近似することで係数データを生成する。本実施例では、Ｌｅｇｅｎｄｒｅ多項式を用いてフィッティングを行う。ただし本実施例はこれに限定されるものではなく、Ｃｈｅｂｕｓｈｅｖ多項式など他の関数を用いてフィッティングすることもできる。Ｌｅｇｅｎｄｒｅ多項式は、式（７）で表される。
【００５７】
【数２】
【００５８】
ここで、［ｘ］はｘを超えない最大の整数である。
【００５９】
また、ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、式（８）の係数ａｉｊを算出する必要がある。
【００６０】
【数３】
【００６１】
式（８）は直交関数であり、ａｉｊの値はフィッティング時の次数に依存せずに決定される。式（８）の直交関数の性質を利用することにより、光学伝達関数ＯＴＦのフィッティングが低次数でも十分高精度に行うことが可能な場合、装置内に保持すべき係数データに関する情報量を低減させることができる。
【００６２】
続いて、図８を参照して、係数算出装置１０１について詳述する。図８は、係数算出装置１０１の説明図であり、式（７）、（８）を用いて光学伝達関数ＯＴＦをフィッティングする具体的な方法を示している。図８に示されるｆｕｍ、ｆｖｍはそれぞれ、光学伝達関数ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数である。また、Ｎｘ、Ｎｙはそれぞれ、光学伝達関数ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向の奇数のタップ数である。係数算出装置１０１では、光学伝達関数ＯＴＦの実部および虚部のそれぞれに対し、上述のフィッティングを行って係数データを算出する。
【００６３】
光学伝達関数ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向とｓａｇｉｔｔａｌ方向に対称である。光学伝達関数ＯＴＦの虚部はｍｅｒｉｄｉｏｎａｌ方向に正負逆になるが対称であり、また、ｓａｇｉｔｔａｌ方向に対称である。このような対称性を利用すると、フィッティング対象とする光学伝達関数ＯＴＦのデータとして、定義域全体の１／４領域（定義域の一部）の情報があれば必要かつ十分である。すなわち、光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸に対する対称性を利用して定義域全体に展開することが可能である。上記理由により、本実施例では光学伝達関数ＯＴＦを高精度にフィッティングするため、光学伝達関数ＯＴＦから実部および虚部ともに定義域全体の１／４の領域をＤＣ成分が含まれるように切り出してフィッティングを行う。本実施例では、光学伝達関数ＯＴＦのデータがＮｘ（行）×Ｎｙ（列）タップの場合について説明しており、このデータから１〜［Ｎｘ／２］＋１行、１〜［Ｎｙ／２］＋１列のデータを切り出しているが、これに限定されるものではない。
【００６４】
図９は、上述の方法により算出された係数データの説明図である。図９では、各像高別に光学伝達関数ＯＴＦの実部および虚部の係数をｘｙともに１０次まで算出した場合の例を示している。像高別の係数群に、レンズＩＤ、絞り、ズーム、および、被写体距離情報を付加することで、１つの係数データ（係数情報）が完成する。本実施例では一例として、レンズＩＤ：Ｎｏ１２３、絞り：Ｆ２．８、ズーム：ＷＩＤＥ、撮影距離：至近、の撮影条件における１０像高分の係数情報を示している。この１０像高分の係数情報は、図６（ａ）中の１０箇所の光学伝達関数ＯＴＦを再構成するために用いられる。また、上述のように作成した係数データを次数別に像高間でさらに関数化してもよい。係数算出装置１０１は、この情報を全てのレンズＩＤ、絞り、ズーム、撮影距離情報の組み合わせに対して作成して、画像回復処理装置１２０に出力する。
【００６５】
次に、再構成ＯＴＦのタップ数の決定方法について詳述する。画像にフィルタ処理を行う際、処理時間はそのフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の画像回復の効果が得られ、リンギング等の弊害が生じなければ、フィルタのタップ数は小さいほうが好ましい。
【００６６】
画像回復処理装置１２０のフィルタ処理部１２３で用いられる画像回復フィルタは、実空間のフィルタである。従って、実空間でフィルタに必要なタップ数を決定すればよい。画像回復フィルタは、点像分布関数ＰＳＦによる画像劣化を補正するフィルタであるから、点像分布関数ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、画像回復フィルタに必要なタップ数は、上述の領域におけるタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定したタップ数を周波数空間で用いることができる。
【００６７】
図１０および図１１は、タップ数と周波数ピッチの説明図である。図１０は、タップ数を点像分布関数ＰＳＦの空間分布に比べて十分大きい領域でとった場合を示している。図１１は、図１０の場合と同一の点像分布関数ＰＳＦに対して、タップ数を点像分布関数ＰＳＦの空間分布とほぼ同等の領域でとった場合を示している。図１０では、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。図１１に示されるように実空間のタップ数を小さくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。
【００６８】
画像回復情報保持部１２１には、係数算出装置１０１から出力された係数情報（係数データ）、タップ数情報、レンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報が記憶される。ＯＴＦ再構成部１２２は、カメラ１１０から撮影時のレンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報を取得する。そして、画像回復情報保持部１２１から上述の各条件に対応するタップ数情報、レンズＩＤ、撮影条件、および、撮像素子のナイキスト周波数情報を読み出し、これらの情報を用いて画像回復フィルタを作成するために用いられる再構成ＯＴＦを生成する。
【００６９】
次に、図１２を参照して、再構成ＯＴＦの作成方法について詳述する。図１２は、ＯＴＦ再構成部１２２の説明図である。図１２において、再構成ＯＴＦの作成に必要なｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数をｆｕｃ＿ｒｍ、ｆｖｃ＿ｉｍとし、またｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のタップ数をＭｘ，Ｍｙとする。ただし、ｆｕｍ，ｆｖｍに対して０＜ｆｕｍ＿ｎ≦ｆｕｍ、０＜ｆｖｍ＿ｎ≦ｆｖｍ、０＜Ｍｘ≦Ｎｘ、０＜Ｍｙ≦Ｎｙであり、Ｍｘ，Ｍｙは奇数である。
【００７０】
ここで、式（７）、（８）中のｘ、ｙをｕ、ｍに置き換え、−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦１、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦１の定義域を［Ｍｘ／２］＋１、［Ｍｙ／２］＋１タップでサンプリングする。そして、前記係数を式（８）に代入すると、再構成ＯＴＦの１／４の領域が作成される。上述の手順は再構成ＯＴＦの実部１２２−１−１および虚部１２２−２−１の両方について行われる。
【００７１】
次に、上述の方法により作成された実部および虚部の１／４領域の再構成ＯＴＦから、定義域が−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦ｆｕｍ＿ｎ／ｆｕｍ、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦ｆｖｍ＿ｎ／ｆｖｍであり、タップ数がＭｘ、Ｍｙである再構成ＯＴＦを作成する。
【００７２】
まず、再構成ＯＴＦの実部作成方法について説明する。再構成ＯＴＦの実部を、再構成ＯＴＦの実部１２２−１−１を用いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域と、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に分離する。次に、実部１２２−１−２のように、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域の数値データを１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に対して線対称になるように、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する。
【００７３】
さらに実部１２２−１−３のように、実部１２２−１−２で作成した１／２領域の再構成ＯＴＦを１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に分離する。そして、１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行、１〜Ｍｙ列の領域に代入する。再構成ＯＴＦの虚部は、実部と同様の方法で作成可能であるが、虚部１２２−２−３において、正負を入れ替えて代入する必要がある。上記のような作成方法が可能なのは、光学伝達関数ＯＴＦの特徴による。
【００７４】
図１３は、再構成ＯＴＦのナイキスト周波数とタップ数の関係図（再構成ＯＴＦ）である。上述のように、ナイキスト周波数は撮像素子１１１の空間分解能から決定されるパラメータであり、タップ数は撮像レンズ１１２の点像分布関数ＰＳＦに依存するパラメータである。これら２つのパラメータと上述の係数データを用いて所望の再構成ＯＴＦを生成する。図１３において、ナイキスト周波数はｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２、タップ数はＮ＞Ｍ１＞Ｍ２であり、図１３に示されるようにナイキスト周波数とタップ数を所望の値に制御することが可能である。
【００７５】
以上のとおり、撮像素子とレンズの組合せ、および撮影条件に応じた光学伝達関数ＯＴＦを係数データ化し、画像回復処理装置１２０に記憶しておくことで、撮影時の撮影条件に応じた画像回復処理が可能になる。また図６に示されるように、少量の係数データから画像全域のデータを適切なタップ数で回復することができるため、保持データ量を低減することができる。
【００７６】
次に、図１４を参照して、本実施例における別の画像処理方法（変形例）について説明する。図１４は、本実施例における別の画像処理方法のフローチャートである。図１４の画像処理方法は、ステップＳ２６において、展開された光学伝達関数ＯＴＦに、画面中心または光軸に対して回転非対称な伝達関数を適用する工程が付加されている点で、図１の画像処理方法とは異なる。図１４中のステップＳ２１〜Ｓ２５およびステップＳ２７〜Ｓ２９は、図１中のステップＳ１１〜Ｓ１８とそれぞれ同一であるため、それらの説明は省略する。
【００７７】
図１４中のステップＳ２１〜Ｓ２５の工程を経ることにより、例えば図６（ｂ）に示されるように光学伝達関数ＯＴＦが再配置されていることになる。ここで、例えば光学ローパスフィルタの伝達関数や、撮像素子１１１の画素開口形状の伝達関数のように、回転非対称な伝達関数を考慮する場合、図６（ｂ）の状態で各光学伝達関数ＯＴＦに回転非対称な伝達関数を適用する（付加する）。また、図６（ｂ）では、光学伝達関数ＯＴＦを画像の１／４の領域に展開しているが、伝達関数の対称性に応じて、例えば、光学伝達関数ＯＴＦを画像全域に展開してから適用してもよい。図１４に示されるように、本実施例では、回転非対称な伝達関数が適用された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成することもできる。
【実施例２】
【００７８】
次に、図１５を参照して、本発明の実施例２における撮像装置について説明する。図１５は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の画像回復処理（実施例１と同様の画像処理方法）を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。
【００７９】
撮像装置２００は、撮像光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【００８０】
撮像素子２０２は、撮像光学系２０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。
【００８１】
画像処理部２０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。まず画像処理部２０４は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系２０１に関する撮像条件情報は、撮像光学系制御部２０６から取得することもできる。本実施例の画像回復処理の処理フロー（画像処理方法）は、図１または図１４を参照して説明した実施例１と同様であるため、その説明は省略する。
【００８２】
再構成ＯＴＦを生成するための係数データは、記憶部２０８に保持されている。画像処理部２０４で処理した出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。
【００８３】
本実施例における一連の制御はシステムコントローラ２１０により行われ、撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮像光学系制御部２０６により行われる。撮像光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また撮像光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。
【００８４】
撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。この場合、図１４を参照して説明したように、光学伝達関数（ＯＴＦ）を再配置した後に回転非対称な伝達関数を付加する。
【００８５】
本実施例においては、撮像装置の記憶部に記憶された係数データを用いたが、変形例として、例えばメモリーカード等の記憶媒体に記憶された係数データを、撮像装置が取得するように構成してもよい。
【実施例３】
【００８６】
次に、図１６を参照して、本発明の実施例３における画像処理装置および画像処理システムについて説明する。図１６は、本実施例における画像処理システム３００の構成図である。なお、本実施例の画像回復処理の処理フロー（画像処理方法）は、図１または図１４を参照して説明した実施例１と同様であるため、その説明は省略する。
【００８７】
図１６において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータ（情報処理装置）に実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【００８８】
画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。
【００８９】
画像処理装置３０１にはモニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、本実施例の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。
【００９０】
続いて、図１７を参照して、本実施例の画像処理方法を行うためのデータの内容と機器間でのデータ受け渡しについて説明する。図１７は情報セット（データの内容）の説明図である。本実施例において、情報セットは以下のような情報を有する。
［補正制御情報］
補正制御情報は、画像処理装置３０１、撮像機器３０２、または、出力機器３０５のいずれの機器にて補正処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報から構成される。例えば、撮像機器３０２内で回復画像を生成する場合、係数データを伝送する必要はない。一方、撮像機器３０２から補正前の画像を取得して画像処理装置３０１で回復画像を生成する場合、係数データ、タップ数情報、レンズＩＤ、撮像素子ナイキスト情報、および、撮影条件等を伝送する。または、撮影に使用された撮像機器３０２の撮像機器情報や撮像条件情報に基づいて、予め画像処理装置３０１に保持された係数データから選択し、必要に応じて補正して用いるように構成してもよい。
［撮像機器情報］
撮像機器情報は、撮像機器３０２の識別情報である。レンズがカメラ本体に対して交換可能に装着される場合、その組み合わせを含む識別情報である。例えば、上述のレンズＩＤがこれに相当する。
［撮像条件情報］
撮像条件情報は、撮影時の撮像機器３０２の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ＩＳＯ感度、または、ホワイトバランス設定などである。
［撮像機器個別情報］
撮像機器個別情報は、上述の撮像機器情報に対して、個々の撮像機器の識別情報である。製造誤差のばらつきにより撮像機器３０２の光学伝達関数（ＯＴＦ）には個体ばらつきがある。このため、撮像機器個別情報は、個々に最適な補正パラメータを設定するために有効な情報である。補正パラメータとは、係数データや画像回復フィルタの補正係数、エッジ強調のゲイン値、歪曲補正、または、シェーディング補正などの設定値である。予め製造誤差の状態が把握されている場合、画像回復フィルタ生成に用いられる初期データを補正することで、より高精度な画像回復処理を行うことができる。
［係数データ群］
係数データ群は、位相劣化の補正に用いられる係数データのセットである。画像回復処理を行う機器が係数データを有していない場合、別の機器から係数データを伝送する必要がある。
［ユーザ設定情報］
ユーザ設定情報は、ユーザの好みに応じた先鋭度（回復の度合）に補正するための補正パラメータまたは補正パラメータの補正値である。ユーザは、補正パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば常に初期値として好みの出力画像を得ることができる。またユーザ設定情報は、ユーザにより設定された補正パラメータの履歴に基づいて、学習機能を用いてユーザが最も好む先鋭度に更新されることが好ましい。さらに、撮像機器３０２の提供者（メーカ）がいくつかの先鋭度パターンに応じたプリセット値をネットワークや記憶媒体３０３を介して提供することもできる。
【００９１】
上述の情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば補正処理を行うことができる。また、情報セットの内容は必要に応じて、自動または手動で、適宜、取捨選択が可能である。
【００９２】
上記各実施例によれば、光学伝達関数の状態で画像内に再配置してから実空間の画像回復フィルタに変換するため、画像回復フィルタを回転および補間するよりも高精度に画像の位置に応じた画像回復フィルタを生成できる。また、高精度に画像回復フィルタが生成できることから、予め保持する必要のある光学伝達関数に関するデータ量を低減することができる。したがって、各実施例によれば、画像回復処理に用いられる情報量を低減しつつ、高精度に補正された回復画像の取得が可能な画像処理方法を提供することができる。
【００９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９４】
１２０：画像回復処理装置
１２１：画像回復情報保持部
１２２：ＯＴＦ再構成部
１２３：フィルタ処理部
【特許請求の範囲】
【請求項１】
撮影画像の画像回復処理を行う画像処理方法であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理方法。
【請求項２】
前記第１の光学伝達関数のうち、少なくとも２つの光学伝達関数は、前記撮影画像の中心を通る直線上の位置に応じた光学伝達関数であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の第１の光学伝達関数のうち、すべての光学伝達関数が、前記直線上の位置に応じた光学伝達関数であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像回復フィルタは、前記撮影画像の第１の位置における第１の画像回復フィルタ、および、該撮影画像の第２の位置における第２の画像回復フィルタを含み、
前記第１の画像回復フィルタは、前記第１と第２の光学伝達関数を用いて生成され、
前記第２の画像回復フィルタは、前記第１の画像回復フィルタに基づいて生成される、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記第２の光学伝達関数と前記撮影画像の中心または撮像光学系の光軸に対して回転非対称な伝達関数とを用いて、回転非対称な光学伝達関数を生成する工程を有し、
前記回転非対称な光学伝達関数を用いて前記画像回復フィルタを生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【請求項６】
前記回転非対称な伝達関数は、光学ローパスフィルタの伝達関数であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記回転非対称な伝達関数は、撮像素子の画素開口形状の伝達関数であることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記係数データは、前記撮像光学系の光学伝達関数の設計値または測定値を近似した関数の係数のデータであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
【請求項９】
前記撮影画像において、前記撮影画像の中心または撮像光学系の光軸に対して点対称な領域を第１領域と第２領域、前記第１の領域と前記撮影画像の中心を通る直線に対して線対称な領域を第３領域とするとき、
前記第１領域の光学伝達関数を用いて、前記第２領域または前記第３領域の光学伝達関数を生成する工程を有することを特徴とすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
【請求項１０】
撮影画像の画像回復処理を行う画像処理装置であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
【請求項１１】
撮影画像の画像回復処理を行う撮像装置であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
【請求項１２】
撮影画像の画像回復処理を行う画像処理プログラムであって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を情報処理装置に実行させることを特徴とする画像処理プログラム。
【請求項１】
撮影画像の画像回復処理を行う画像処理方法であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理方法。
【請求項２】
前記第１の光学伝達関数のうち、少なくとも２つの光学伝達関数は、前記撮影画像の中心を通る直線上の位置に応じた光学伝達関数であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の第１の光学伝達関数のうち、すべての光学伝達関数が、前記直線上の位置に応じた光学伝達関数であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像回復フィルタは、前記撮影画像の第１の位置における第１の画像回復フィルタ、および、該撮影画像の第２の位置における第２の画像回復フィルタを含み、
前記第１の画像回復フィルタは、前記第１と第２の光学伝達関数を用いて生成され、
前記第２の画像回復フィルタは、前記第１の画像回復フィルタに基づいて生成される、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記第２の光学伝達関数と前記撮影画像の中心または撮像光学系の光軸に対して回転非対称な伝達関数とを用いて、回転非対称な光学伝達関数を生成する工程を有し、
前記回転非対称な光学伝達関数を用いて前記画像回復フィルタを生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【請求項６】
前記回転非対称な伝達関数は、光学ローパスフィルタの伝達関数であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記回転非対称な伝達関数は、撮像素子の画素開口形状の伝達関数であることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記係数データは、前記撮像光学系の光学伝達関数の設計値または測定値を近似した関数の係数のデータであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
【請求項９】
前記撮影画像において、前記撮影画像の中心または撮像光学系の光軸に対して点対称な領域を第１領域と第２領域、前記第１の領域と前記撮影画像の中心を通る直線に対して線対称な領域を第３領域とするとき、
前記第１領域の光学伝達関数を用いて、前記第２領域または前記第３領域の光学伝達関数を生成する工程を有することを特徴とすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
【請求項１０】
撮影画像の画像回復処理を行う画像処理装置であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
【請求項１１】
撮影画像の画像回復処理を行う撮像装置であって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する第１の光学伝達関数生成手段と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する第２の光学伝達関数生成手段と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する画像回復フィルタ生成手段と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
【請求項１２】
撮影画像の画像回復処理を行う画像処理プログラムであって、
前記撮影画像の撮影条件に応じた係数データを用いて、前記撮影画像の位置に応じた複数の撮像光学系の第１の光学伝達関数を生成する工程と、
前記第１の光学伝達関数を前記撮影画像の中心または前記撮像光学系の光軸の周りに回転させて複数の第２の光学伝達関数を生成する工程と、
前記第１の光学伝達関数および前記第２の光学伝達関数に基づいて画像回復フィルタを生成する工程と、
前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を情報処理装置に実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３８５６３（Ｐ２０１３−３８５６３Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７２５０３（Ｐ２０１１−１７２５０３）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]