画像処理装置、撮像装置、画像処理方法、及び、プログラム
【課題】撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置を提供する。
【解決手段】撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする。
【解決手段】撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に撮像光学系による画像の劣化を高解像度かつ高品位に補正するものに関する。
【背景技術】
【０００２】
撮像光学系を介して撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されている。特許文献１には、画像劣化を補正するためのフィルタ係数を保持して画像処理を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５６９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像回復フィルタを用いたフィルタ処理による画像の劣化補正を行う場合、画像回復フィルタを作成するための光学伝達関数の情報（ＯＴＦ情報）を画素ごとに装置に保持しておく必要がある。しかしながら、ＯＴＦ情報は、撮像素子と撮像光学系のそれぞれの情報によって算出されるため、非常に膨大な量となり、装置の内部にそれらの全てを保持することは困難である。
【０００６】
そこで本発明は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及び、プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。
【０００８】
本発明の他の側面としての撮像装置は、撮像光学系を介した被写体像を撮像する撮像素子と、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。
【０００９】
本発明の他の側面としての画像処理方法は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理方法であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有する。
【００１０】
本発明の他の側面としてのプログラムは、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理プログラムであって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における画像処理装置の構成図である。
【図２】実施例１における係数算出装置による係数算出方法を示す図である。
【図３】実施例１における係数算出装置の出力データを示す図である。
【図４】実施例１において、ＰＳＦとタップ数の関係を示す図である（タップ数が多い場合）。
【図５】実施例１において、ＰＳＦとタップ数の関係を示す図である（タップ数が少ない場合）。
【図６】実施例１におけるＯＴＦ再構成部による再構成ＯＴＦの作成方法を示す図である。
【図７】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦパラメータを示す図である。
【図８Ａ】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦデータを示す図である。
【図８Ｂ】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦデータを示す図である。
【図９】実施例１において、タップ数とＰＳＦデータの関係を示す図である。
【図１０】実施例１における画像回復フィルタの概念図である。
【図１１】実施例１における画像回復フィルタにより補正された被写体画像を示す図である。
【図１２】実施例２における画像処理装置を備えた撮像装置の構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、一般的な画像回復処理方法について説明する。
【００１５】
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００１６】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
ここで、ｆ（ｘ，ｙ）は劣化を受ける前の画像、ｇ（ｘ，ｙ）は劣化した画像、ｈ（ｘ，ｙ）は点像強度分布関数（ＰＳＦ）である。前記の式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
【００１７】
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
【００１８】
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【００１９】
しかしながら実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、良好な画像を得ることはできない。
【００２０】
そこで、ノイズ増幅を抑制するための画像回復手法として、以下の式（４）で表されるウィーナーフィルタを用いることが知られている。
【００２１】
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。
【００２２】
上記の式（４）を、撮像光学系の周波数と位相情報を持つＯＴＦに積算すれば、光学系の回折や収差によって発生したＰＳＦの位相を０にし、周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。式（４）を効果的に用いるには、撮像光学系の正確なＯＴＦ情報を得る必要がある。ＯＴＦ情報を得る方法として、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。一般に、カメラに用いられる撮像光学系は、その光学性能（Ｆ値、収差等）が像高間で大きく変動する。このため、被写体画像の劣化を補正するには、上記の式（４）をそのままの形で周波数空間上での一括計算はできず、像高ごとに式（４）を実空間上のフィルタに変換して、劣化を補正する処理を行う。
【００２３】
撮像光学系により結像された光学像は、撮像素子により電気的にサンプリングされる。本来連続量である光学像が離散的な値に変換されるため、光学像は、周波数空間において、サンプリング周波数を周期にもつ周波数信号となる。この周期性により、周波数信号がサンプリング周波数の２分の１を超えて分布している場合、周波数信号が重なるため、正確な信号が再現できない。このサンプリング周波数の２分の１の値をナイキスト周波数という。ナイキスト周波数は、ｆｎ＝１／（２＊ｂ）（ただし、ｂは撮像素子の画素ピッチ）で表される。
【００２４】
撮像素子の直前における光学像の空間周波数特性は、撮像光学系のＯＴＦで表される。画像回復処理を行う場合、画像回復フィルタの１タップの大きさと撮像素子の１画素の大きさを一致させる必要があり、また、撮像素子の開口特性も反映させることが好ましい。前者はＯＴＦを撮像素子のナイキスト周波数を最大値とする空間周波数で切り出すことに相当し、後者は撮像素子によってＯＴＦにローパスフィルタがかかることに相当する。このため、画像回復フィルタの作成に用いられるＯＴＦ情報は、撮像光学系のみでは一意に決定されず、撮像素子に依存する。
【実施例１】
【００２５】
まず、本発明の実施例１における画像処理装置について説明する。図１は、本実施例における画像処理装置の一例としての構成図である。本実施例の画像処理装置は、劣化した画像を補正する機能を有し、例えばコンピュータにインストールされ、以下の画像処理方法をコンピュータに実行させるプログラム（ソフトウエア）として構成される。
【００２６】
図１において、画像処理装置は、光学伝達関数（以下、「ＯＴＦ」ともいう。）を再構成するための係数を算出する係数算出装置１００（係数算出部）を有する。係数算出装置１００は、撮像光学系（撮像レンズ１１２）の設計値又は測定値からＯＴＦを算出する。また係数算出装置１００（次数決定部）は、ＯＴＦを係数（係数データ）に変換し、その精度（フィッティング処理の精度）に応じて後にＯＴＦの再構成に用いられる係数の次数を決定する。更に係数算出装置１００は、点像強度分布関数（以下、「ＰＳＦ」ともいう。）の空間的な分布の大きさから、後にＯＴＦを再現する際に必要なタップ数を決定する。係数算出装置１００は、種々の撮像光学系（撮像レンズ１１２）と撮像素子１１１の組み合わせについて、決定された次数までの係数とＯＴＦのタップ数とを算出し、画像回復処理装置１２０へ出力する。
【００２７】
カメラ１１０は、撮像素子１１１及び撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された被写体画像に、撮像レンズ１１２を特定するＩＤ番号（レンズＩＤ）、撮影条件（絞り、ズーム、被写体距離等）、及び、撮像素子１１１による表現が可能な空間周波数のナイキスト周波数の値を付加して出力する。
【００２８】
画像回復処理装置１２０は、係数算出装置１００及びカメラ１１０から出力された種々の情報を保持し、これらの情報を用いて撮像レンズ１１２を介して得られた被写体画像（劣化画像）を補正する。以下、画像回復処理装置１２０の内部構成について詳述する。画像回復情報保持部１２１は、係数算出装置１００により算出された種々の撮像レンズ１１２と撮像素子１１１との組み合わせのそれぞれについて、係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数を記録して保持する。このように、画像回復情報保持部１２１は、撮像レンズ１１２の種類及び撮影条件などに応じて、撮像レンズ１１２のＯＴＦを再構成するための係数データなどを保持するデータ保持部である。
【００２９】
ＯＴＦ再構成部１２２（再構成部）は、カメラ１１０から撮像レンズ１１２のレンズＩＤ、撮影条件、及び、撮像素子１１１のナイキスト周波数を取得する。またＯＴＦ再構成部１２２は、撮影者が被写体画像の撮影に用いたカメラ１１０のレンズＩＤ及び撮影条件から、画像回復情報保持部１２１に保持されている係数及びタップ数のうち特定の係数及びタップ数を選択する。このようにＯＴＦ再構成部１２２は、各像高のＰＳＦの大きさ及び撮像素子１１１の画素ピッチに応じて、係数を用いて再構成されるＯＴＦのタップ数を決定するタップ数決定部である。なお、各像高のＰＳＦの大きさに応じていなくても、関数でフィッティングした係数を有することで、本実施例の効果を得ることができるが、各像高のＰＳＦの大きさに応じてタップ数を決定すると、余分な値を持たなくて良いためより好ましい。
【００３０】
またＯＴＦ再構成部１２２は、周波数空間において、撮像素子１１１のナイキスト周波数までをサンプリングし、選択された係数及びタップ数を用いてフィルタ処理部１２３で使用されるＯＴＦを再構成する。このようにＯＴＦ再構成部１２２は、撮像素子１１１のナイキスト周波数とタップ数とに応じて、ＯＴＦを再構成する。以下、ＯＴＦ再構成部１２２で作成されたＯＴＦを再構成ＯＴＦと称する場合がある。フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成された再構成ＯＴＦを用いて、撮影された被写体画像の劣化を補正するための画像回復フィルタを作成する。そして、この画像回復フィルタを用いて実空間上で被写体画像に対するフィルタ処理を行い、被写体画像を補正する。
【００３１】
次に、本実施例における係数算出方法について詳述する。本実施例では、撮像光学系（撮像レンズ１１２）のＯＴＦ（設計値又は測定値）を所定の関数へのフィッティング処理により近似することで、係数を作成する。フィッティング処理の際に用いられる関数として、本実施例ではＬｅｇｅｎｄｒｅ多項式が用いられる。ただし、本実施例はこれに限定されるものではなく、例えばＣｈｅｂｕｙｓｈｅｖ多項式などの他の式を用いてもよい。Ｌｅｇｅｎｄｒｅ多項式は、以下の式（５）のように表される。ここで、［ｘ］はｘを超えない最大の整数である。
【００３２】
【数１】
【００３３】
ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、本実施例では以下の式（６）中の係数ａｉｊを算出する必要がある。
【００３４】
【数２】
【００３５】
上記の式（６）は直交関数であり、係数ａｉｊの値はフィッティング処理の際の次数に依存しないで決定される。このように、撮像光学系のＯＴＦを所定の関数へのフィッティング処理により近似し、係数を作成することで、必要なデータの記憶量を低減させることができる。式（６）の直交関数の性質を利用することにより、ＯＴＦのフィッティング処理が低次数でも十分高精度に実行可能な場合、この次数で打ち切ることができ、装置内に保持すべき係数の情報量をより抑えることが可能となる。
【００３６】
図２は、係数算出装置１００による係数算出方法を示す図であり、上記の式（５）、（６）を用いて光学伝達関数（ＯＴＦ）のフィッティング処理を行う具体的な方法を示している。図２において、ｆｕｍ、ｆｖｍはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数である。また、Ｎｘ、Ｎｙはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向の奇数のタップ数である。係数算出装置１００では、ＯＴＦの実部及び虚部のそれぞれに対して、フィッティング処理により係数を算出する。
【００３７】
ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向とｓａｇｉｔｔａｌ方向のそれぞれにおいて対称である。ＯＴＦの虚部は、ｍｅｒｉｄｉｏｎａｌ方向において正負逆ではあるが対称であり、ｓａｇｉｔｔａｌ方向において対称である。このような対称性により、フィッティング対象のＯＴＦのデータとしては、定義域全体の少なくとも１／４の領域などの対称性を有する領域の情報があれば十分である。本実施例では、このような理由により、ＯＴＦから実部及び虚部ともに定義域全体の１／４の領域を対象として、ＤＣ成分が含まれるように切り出してＯＴＦの高精度なフィッティング処理を行う。
本実施例では、ＯＴＦデータがＮｘ（行）×Ｎｙ（列）タップの場合の例を示しており、このＯＴＦデータから、１〜［Ｎｘ／２］＋１行、１〜［Ｎｙ／２］＋１列のデータを切り出しているが、特にこれに限定されるものではない。
【００３８】
図３は、係数算出装置１００の出力データの一例であり、上記の係数算出方法で算出された係数を示している。図３に示されるように、本実施例では、像高（像高１〜１０）ごとに、ＯＴＦの実部及び虚部の係数をｘｙともに１０次まで算出している。像高ごとの係数を一まとめにし、更にレンズＩＤ、絞り、ズーム、及び、被写体距離の情報を付加することで、１つの係数データが完成する。本実施例では一例として、レンズＩＤ：Ｎｏ１２３、絞り：Ｆ２．８、ズーム：ＷＩＤＥ、被写体距離：至近、の各条件における１０像高分の係数が示されている。また、このように作成した係数を次数別に像高ごとに関数化してもよい。係数算出装置１００は、このような情報を全てのレンズＩＤ、絞り、ズーム、及び、被写体距離の組み合わせに対して作成して出力する。
【００３９】
続いて、本実施例における再構成ＯＴＦのタップ数決定方法について詳述する。画像にフィルタ処理を行う際、処理時間はそのフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の画像劣化補正効果が得られ、リンギング等の弊害が生じなければ、フィルタタップ数は小さいほうがより好ましい。
【００４０】
劣化画像の補正に用いられる画像回復フィルタは、実空間上のフィルタである。従って、実空間上でフィルタに必要なタップ数を決定すればよい。画像回復フィルタは、点像強度分布関数（ＰＳＦ）による画像の劣化を補正するフィルタであるから、ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、画像回復フィルタに必要なタップ数は、実空間上におけるＰＳＦ分布領域のタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定されたタップ数を周波数空間で用いることができる。
【００４１】
これについて、図４及び図５を参照して詳述する。図４は、タップ数をＰＳＦの空間分布に比べて十分大きい領域でとった場合を示している。図５は、図４と同じＰＳＦに対して、タップ数をＰＳＦの空間分布と略同一の領域でとった場合を示している。図４において、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。一方、図５のように実空間のタップ数を小さくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。このため、実空間上でＰＳＦの空間分布を削ってしまうほどタップ数を少なくすると、画像回復処理の際にリンキング等の上記弊害が発生しやすくなる。従って、フィルタタップ数は、ＰＳＦの空間分布と略同一の領域サイズに決定することが望ましい。
【００４２】
画像回復情報保持部１２１には、係数算出装置１００から出力された係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数が記憶される。ＯＴＦ再構成部１２２は、カメラ１１０からレンズＩＤ、撮影条件、及び、ナイキスト周波数を取得する。続いて、ＯＴＦ再構成部１２２は、画像回復情報保持部１２１から、選択されたタップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数の各情報を読み出し、これらの情報を用いて画像回復フィルタの作成に用いられる再構成ＯＴＦを作成する。
【００４３】
次に、図６を参照して、ＯＴＦ再構成部１２２による再構成ＯＴＦの作成方法について詳述する。再構成ＯＴＦの作成に必要なｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数を、それぞれｆｕｃ＿ｒｍ、ｆｖｃ＿ｉｍとする。また、ｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のタップ数を、それぞれＭｘ、Ｍｙとする。ここで、ナイキスト周波数ｆｕｍ，ｆｖｍに対して、０＜ｆｕｍ＿ｎ≦ｆｕｍ、０＜ｆｖｍ＿ｎ≦ｆｖｍ、０＜Ｍｘ≦Ｎｘ、０＜Ｍｙ≦Ｎｙが成立し、タップ数Ｍｘ、Ｍｙは奇数である。
【００４４】
ここで、前記の式（１）、（２）中のｘ、ｙをｕ、ｍに置き換え、−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦１、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦１の領域を［Ｍｘ／２］＋１、［Ｍｙ／２］＋１タップでサンプリングする。そして前記係数を式（２）に代入すると、再構成ＯＴＦの１／４の領域が作成される。このような手順は、再構成ＯＴＦの実部（１２２−１−１）及び虚部（１２２−２−１）の両方について同様に行われる。本実施例では、実部及び虚部ともに、定義域全体の１／４の領域の再構成ＯＴＦから、定義域−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦ｆｕｍ＿ｎ／ｆｕｍ、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦ｆｖｍ＿ｎ／ｆｖｍ、タップ数Ｍｘ、Ｍｙである再構成ＯＴＦの作成方法について説明する。
【００４５】
まず、再構成ＯＴＦの実部の作成方法について説明する。再構成ＯＴＦの実部（１２２−１−１）を用いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域と、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に分離する。続いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域の数値データを、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に対して線対称になるように、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する（実部（１２２−１−２））。
更に、実部（１２２−１−２）で作成された１／２領域の再構成ＯＴＦを、１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に分離する（実部（１２２−１−３））。前記１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行、１〜Ｍｙ列の領域に代入する。
【００４６】
次に、再構成ＯＴＦの虚部の作成方法について説明する。虚部（１２２−２−２）については実部（１２２−１−２）と同様の方法で作成することができる。また、虚部（１２２−２−３）については、正負を入れ替えて代入する必要がある。上述のような作成方法が可能なのは、ＯＴＦの特徴によるものである。
【００４７】
図７は、ＯＴＦ再構成部１２２の再構成ＯＴＦパラメータを示しており、再構成ＯＴＦのナイキスト周波数とタップ数の関係図（再構成ＯＴＦの断面図）である。前述のように、ナイキスト周波数は、撮像素子１１１の空間分解能から決定されるカメラボディ（カメラ１１０）に依存したパラメータである。またタップ数は、撮像レンズ１１２のＰＳＦに依存したパラメータである。これら２つのパラメータと前記係数より、所望の再構成ＯＴＦが作成される。図７において、ナイキスト周波数についてはｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２が成立し、タップ数についてはＮ＞Ｍ１＞Ｍ２が成立する。本実施例では、図７に示されるように、ナイキスト周波数とタップ数とを所望の値に制御することが可能である。
【００４８】
以上の方法により、被写体画像の劣化を補正するための画像処理を行った場合の一例を以下に示す。図８Ａは、ＯＴＦ再構成部１２２の再構成ＯＴＦデータの実部を示し、図８Ｂは再構成ＯＴＦデータの虚部を示す図である。図８Ａ、図８Ｂにおいて、２０１はナイキスト周波数２３８ｌｉｎｅｓ／ｍｍ、一辺のタップ数１９３において、撮像光学系の設計値情報から計算したＯＴＦを用いて、Ｌｅｇｅｎｄｒｅ多項式の１０次係数から作成した再構成ＯＴＦである。２０２、２０３は、ナイキスト周波数を変化させずタップ数のみを変化させた場合の再構成ＯＴＦである。２０４は、ナイキスト周波数とタップ数を同時に変化させた再構成ＯＴＦである。このように本実施例では、ナイキスト周波数やタップ数を制御可能である。このため、撮像レンズ１１２とカメラボディとの組み合わせが変わった場合でも、保持データを増加させることなく対応可能である。
【００４９】
図９は、本実施例において、タップ数とＰＳＦデータの関係を示す図である。図９は、図８Ａ、図８Ｂに対応するＰＳＦであり、図８Ａ、図８Ｂに対応してナイキスト周波数とタップ数が変化する。また、タップ数はＰＳＦの空間分布を削り取っていないため、後の画像回復フィルタによる被写体画像の劣化補正処理で所望の効果を得ることができる。
【００５０】
図１０は、本実施例における画像回復フィルタの概念図である。画像回復フィルタは、図１０の上段に示される形式の実空間の２次元データであり、そのタップ数は空間周波数上の情報であるＯＴＦのタップ数と等しい。図１１は、画像回復フィルタにより補正された被写体画像を示す。図１１は、図８Ａ、図８Ｂに示される係数再現ＯＴＦから作成した画像回復フィルタにより補正された被写体画像の一例である。図１１からわかるように、撮像レンズ１１２により劣化した被写体画像が高解像度かつ高品位に補正されている。
【００５１】
本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置を提供することができる。
【実施例２】
【００５２】
次に、図１２を参照して、本発明の実施例２について説明する。図１２は、本実施例における撮像装置の構成図である。実施例１では、画像処理装置は撮像装置とは別の装置（例えばパソコン）に画像処理方法を実行するためのプログラムをインストールして用いられるが、本実施例では、画像処理装置が撮像装置に含まれている。
【００５３】
撮像装置４００には、絞り４０１ａ及びフォーカスレンズ４０１ｂを備えた撮像光学系４０１（レンズ）が交換可能に装着される。ただし本実施例はこれに限定さえるものではなく、撮像光学系が一体化された撮像装置にも適用可能である。撮像光学系４０１を介して得られた被写体画像は、撮像素子４０２により光電変換が行われてアナログ信号に変換され、Ａ／Ｄ変換器４０３によりデジタル信号に変換される。画像処理部４０４は、このデジタル信号に対して、状態検知部４０７及び記憶部４０８の各情報を用いて所定の画像処理を行う。システムコントローラ４１０は、画像処理部４０４、表示部４０５、撮像光学系制御部４０６、状態検知部４０７、及び、画像記録媒体４０９の各部を制御する。撮像光学系制御部４０６は撮像光学系４０１の動作を制御し、状態検知部４０７は撮像光学系制御部４０６の情報から撮像光学系４０１の状態を検知する。
【００５４】
画像処理部４０４は、本実施例における画像処理装置を備えており、撮像光学系４０１の光学伝達関数（ＯＴＦ）を再構成して被写体画像を補正する機能を有する。記憶部４０８は、係数算出装置で算出された再構成ＯＴＦを作成するための係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数に関する情報を保持している。画像処理部４０４は、撮像光学系４０１と撮像素子４０２から得られた情報を記憶部４０８に記憶された情報と照合して、画像回復フィルタの作成に必要な情報を読み出し、画像回復フィルタを作成する。また画像処理部４０４は、作成された画像回復フィルタを用いて、画像記録媒体４０９に記録されている被写体画像を補正する。補正された被写体画像は、表示部４０５において表示される。本実施例における画像処理方法の詳細は、実施例１と同様であるため省略する。本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた撮像装置（画像処理装置）を提供することができる。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５６】
１１１ 撮像素子
１１２ 撮像レンズ
１２１ 画像回復情報保持部
１２２ ＯＴＦ再構成部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に撮像光学系による画像の劣化を高解像度かつ高品位に補正するものに関する。
【背景技術】
【０００２】
撮像光学系を介して撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されている。特許文献１には、画像劣化を補正するためのフィルタ係数を保持して画像処理を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５６９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像回復フィルタを用いたフィルタ処理による画像の劣化補正を行う場合、画像回復フィルタを作成するための光学伝達関数の情報（ＯＴＦ情報）を画素ごとに装置に保持しておく必要がある。しかしながら、ＯＴＦ情報は、撮像素子と撮像光学系のそれぞれの情報によって算出されるため、非常に膨大な量となり、装置の内部にそれらの全てを保持することは困難である。
【０００６】
そこで本発明は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及び、プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。
【０００８】
本発明の他の側面としての撮像装置は、撮像光学系を介した被写体像を撮像する撮像素子と、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。
【０００９】
本発明の他の側面としての画像処理方法は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理方法であって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有する。
【００１０】
本発明の他の側面としてのプログラムは、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理プログラムであって、前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における画像処理装置の構成図である。
【図２】実施例１における係数算出装置による係数算出方法を示す図である。
【図３】実施例１における係数算出装置の出力データを示す図である。
【図４】実施例１において、ＰＳＦとタップ数の関係を示す図である（タップ数が多い場合）。
【図５】実施例１において、ＰＳＦとタップ数の関係を示す図である（タップ数が少ない場合）。
【図６】実施例１におけるＯＴＦ再構成部による再構成ＯＴＦの作成方法を示す図である。
【図７】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦパラメータを示す図である。
【図８Ａ】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦデータを示す図である。
【図８Ｂ】実施例１におけるＯＴＦ再構成部の再構成ＯＴＦデータを示す図である。
【図９】実施例１において、タップ数とＰＳＦデータの関係を示す図である。
【図１０】実施例１における画像回復フィルタの概念図である。
【図１１】実施例１における画像回復フィルタにより補正された被写体画像を示す図である。
【図１２】実施例２における画像処理装置を備えた撮像装置の構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、一般的な画像回復処理方法について説明する。
【００１５】
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００１６】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
ここで、ｆ（ｘ，ｙ）は劣化を受ける前の画像、ｇ（ｘ，ｙ）は劣化した画像、ｈ（ｘ，ｙ）は点像強度分布関数（ＰＳＦ）である。前記の式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
【００１７】
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
【００１８】
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【００１９】
しかしながら実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、良好な画像を得ることはできない。
【００２０】
そこで、ノイズ増幅を抑制するための画像回復手法として、以下の式（４）で表されるウィーナーフィルタを用いることが知られている。
【００２１】
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。
【００２２】
上記の式（４）を、撮像光学系の周波数と位相情報を持つＯＴＦに積算すれば、光学系の回折や収差によって発生したＰＳＦの位相を０にし、周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。式（４）を効果的に用いるには、撮像光学系の正確なＯＴＦ情報を得る必要がある。ＯＴＦ情報を得る方法として、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。一般に、カメラに用いられる撮像光学系は、その光学性能（Ｆ値、収差等）が像高間で大きく変動する。このため、被写体画像の劣化を補正するには、上記の式（４）をそのままの形で周波数空間上での一括計算はできず、像高ごとに式（４）を実空間上のフィルタに変換して、劣化を補正する処理を行う。
【００２３】
撮像光学系により結像された光学像は、撮像素子により電気的にサンプリングされる。本来連続量である光学像が離散的な値に変換されるため、光学像は、周波数空間において、サンプリング周波数を周期にもつ周波数信号となる。この周期性により、周波数信号がサンプリング周波数の２分の１を超えて分布している場合、周波数信号が重なるため、正確な信号が再現できない。このサンプリング周波数の２分の１の値をナイキスト周波数という。ナイキスト周波数は、ｆｎ＝１／（２＊ｂ）（ただし、ｂは撮像素子の画素ピッチ）で表される。
【００２４】
撮像素子の直前における光学像の空間周波数特性は、撮像光学系のＯＴＦで表される。画像回復処理を行う場合、画像回復フィルタの１タップの大きさと撮像素子の１画素の大きさを一致させる必要があり、また、撮像素子の開口特性も反映させることが好ましい。前者はＯＴＦを撮像素子のナイキスト周波数を最大値とする空間周波数で切り出すことに相当し、後者は撮像素子によってＯＴＦにローパスフィルタがかかることに相当する。このため、画像回復フィルタの作成に用いられるＯＴＦ情報は、撮像光学系のみでは一意に決定されず、撮像素子に依存する。
【実施例１】
【００２５】
まず、本発明の実施例１における画像処理装置について説明する。図１は、本実施例における画像処理装置の一例としての構成図である。本実施例の画像処理装置は、劣化した画像を補正する機能を有し、例えばコンピュータにインストールされ、以下の画像処理方法をコンピュータに実行させるプログラム（ソフトウエア）として構成される。
【００２６】
図１において、画像処理装置は、光学伝達関数（以下、「ＯＴＦ」ともいう。）を再構成するための係数を算出する係数算出装置１００（係数算出部）を有する。係数算出装置１００は、撮像光学系（撮像レンズ１１２）の設計値又は測定値からＯＴＦを算出する。また係数算出装置１００（次数決定部）は、ＯＴＦを係数（係数データ）に変換し、その精度（フィッティング処理の精度）に応じて後にＯＴＦの再構成に用いられる係数の次数を決定する。更に係数算出装置１００は、点像強度分布関数（以下、「ＰＳＦ」ともいう。）の空間的な分布の大きさから、後にＯＴＦを再現する際に必要なタップ数を決定する。係数算出装置１００は、種々の撮像光学系（撮像レンズ１１２）と撮像素子１１１の組み合わせについて、決定された次数までの係数とＯＴＦのタップ数とを算出し、画像回復処理装置１２０へ出力する。
【００２７】
カメラ１１０は、撮像素子１１１及び撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された被写体画像に、撮像レンズ１１２を特定するＩＤ番号（レンズＩＤ）、撮影条件（絞り、ズーム、被写体距離等）、及び、撮像素子１１１による表現が可能な空間周波数のナイキスト周波数の値を付加して出力する。
【００２８】
画像回復処理装置１２０は、係数算出装置１００及びカメラ１１０から出力された種々の情報を保持し、これらの情報を用いて撮像レンズ１１２を介して得られた被写体画像（劣化画像）を補正する。以下、画像回復処理装置１２０の内部構成について詳述する。画像回復情報保持部１２１は、係数算出装置１００により算出された種々の撮像レンズ１１２と撮像素子１１１との組み合わせのそれぞれについて、係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数を記録して保持する。このように、画像回復情報保持部１２１は、撮像レンズ１１２の種類及び撮影条件などに応じて、撮像レンズ１１２のＯＴＦを再構成するための係数データなどを保持するデータ保持部である。
【００２９】
ＯＴＦ再構成部１２２（再構成部）は、カメラ１１０から撮像レンズ１１２のレンズＩＤ、撮影条件、及び、撮像素子１１１のナイキスト周波数を取得する。またＯＴＦ再構成部１２２は、撮影者が被写体画像の撮影に用いたカメラ１１０のレンズＩＤ及び撮影条件から、画像回復情報保持部１２１に保持されている係数及びタップ数のうち特定の係数及びタップ数を選択する。このようにＯＴＦ再構成部１２２は、各像高のＰＳＦの大きさ及び撮像素子１１１の画素ピッチに応じて、係数を用いて再構成されるＯＴＦのタップ数を決定するタップ数決定部である。なお、各像高のＰＳＦの大きさに応じていなくても、関数でフィッティングした係数を有することで、本実施例の効果を得ることができるが、各像高のＰＳＦの大きさに応じてタップ数を決定すると、余分な値を持たなくて良いためより好ましい。
【００３０】
またＯＴＦ再構成部１２２は、周波数空間において、撮像素子１１１のナイキスト周波数までをサンプリングし、選択された係数及びタップ数を用いてフィルタ処理部１２３で使用されるＯＴＦを再構成する。このようにＯＴＦ再構成部１２２は、撮像素子１１１のナイキスト周波数とタップ数とに応じて、ＯＴＦを再構成する。以下、ＯＴＦ再構成部１２２で作成されたＯＴＦを再構成ＯＴＦと称する場合がある。フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成された再構成ＯＴＦを用いて、撮影された被写体画像の劣化を補正するための画像回復フィルタを作成する。そして、この画像回復フィルタを用いて実空間上で被写体画像に対するフィルタ処理を行い、被写体画像を補正する。
【００３１】
次に、本実施例における係数算出方法について詳述する。本実施例では、撮像光学系（撮像レンズ１１２）のＯＴＦ（設計値又は測定値）を所定の関数へのフィッティング処理により近似することで、係数を作成する。フィッティング処理の際に用いられる関数として、本実施例ではＬｅｇｅｎｄｒｅ多項式が用いられる。ただし、本実施例はこれに限定されるものではなく、例えばＣｈｅｂｕｙｓｈｅｖ多項式などの他の式を用いてもよい。Ｌｅｇｅｎｄｒｅ多項式は、以下の式（５）のように表される。ここで、［ｘ］はｘを超えない最大の整数である。
【００３２】
【数１】
【００３３】
ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、本実施例では以下の式（６）中の係数ａｉｊを算出する必要がある。
【００３４】
【数２】
【００３５】
上記の式（６）は直交関数であり、係数ａｉｊの値はフィッティング処理の際の次数に依存しないで決定される。このように、撮像光学系のＯＴＦを所定の関数へのフィッティング処理により近似し、係数を作成することで、必要なデータの記憶量を低減させることができる。式（６）の直交関数の性質を利用することにより、ＯＴＦのフィッティング処理が低次数でも十分高精度に実行可能な場合、この次数で打ち切ることができ、装置内に保持すべき係数の情報量をより抑えることが可能となる。
【００３６】
図２は、係数算出装置１００による係数算出方法を示す図であり、上記の式（５）、（６）を用いて光学伝達関数（ＯＴＦ）のフィッティング処理を行う具体的な方法を示している。図２において、ｆｕｍ、ｆｖｍはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数である。また、Ｎｘ、Ｎｙはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向の奇数のタップ数である。係数算出装置１００では、ＯＴＦの実部及び虚部のそれぞれに対して、フィッティング処理により係数を算出する。
【００３７】
ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向とｓａｇｉｔｔａｌ方向のそれぞれにおいて対称である。ＯＴＦの虚部は、ｍｅｒｉｄｉｏｎａｌ方向において正負逆ではあるが対称であり、ｓａｇｉｔｔａｌ方向において対称である。このような対称性により、フィッティング対象のＯＴＦのデータとしては、定義域全体の少なくとも１／４の領域などの対称性を有する領域の情報があれば十分である。本実施例では、このような理由により、ＯＴＦから実部及び虚部ともに定義域全体の１／４の領域を対象として、ＤＣ成分が含まれるように切り出してＯＴＦの高精度なフィッティング処理を行う。
本実施例では、ＯＴＦデータがＮｘ（行）×Ｎｙ（列）タップの場合の例を示しており、このＯＴＦデータから、１〜［Ｎｘ／２］＋１行、１〜［Ｎｙ／２］＋１列のデータを切り出しているが、特にこれに限定されるものではない。
【００３８】
図３は、係数算出装置１００の出力データの一例であり、上記の係数算出方法で算出された係数を示している。図３に示されるように、本実施例では、像高（像高１〜１０）ごとに、ＯＴＦの実部及び虚部の係数をｘｙともに１０次まで算出している。像高ごとの係数を一まとめにし、更にレンズＩＤ、絞り、ズーム、及び、被写体距離の情報を付加することで、１つの係数データが完成する。本実施例では一例として、レンズＩＤ：Ｎｏ１２３、絞り：Ｆ２．８、ズーム：ＷＩＤＥ、被写体距離：至近、の各条件における１０像高分の係数が示されている。また、このように作成した係数を次数別に像高ごとに関数化してもよい。係数算出装置１００は、このような情報を全てのレンズＩＤ、絞り、ズーム、及び、被写体距離の組み合わせに対して作成して出力する。
【００３９】
続いて、本実施例における再構成ＯＴＦのタップ数決定方法について詳述する。画像にフィルタ処理を行う際、処理時間はそのフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の画像劣化補正効果が得られ、リンギング等の弊害が生じなければ、フィルタタップ数は小さいほうがより好ましい。
【００４０】
劣化画像の補正に用いられる画像回復フィルタは、実空間上のフィルタである。従って、実空間上でフィルタに必要なタップ数を決定すればよい。画像回復フィルタは、点像強度分布関数（ＰＳＦ）による画像の劣化を補正するフィルタであるから、ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、画像回復フィルタに必要なタップ数は、実空間上におけるＰＳＦ分布領域のタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定されたタップ数を周波数空間で用いることができる。
【００４１】
これについて、図４及び図５を参照して詳述する。図４は、タップ数をＰＳＦの空間分布に比べて十分大きい領域でとった場合を示している。図５は、図４と同じＰＳＦに対して、タップ数をＰＳＦの空間分布と略同一の領域でとった場合を示している。図４において、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。一方、図５のように実空間のタップ数を小さくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。このため、実空間上でＰＳＦの空間分布を削ってしまうほどタップ数を少なくすると、画像回復処理の際にリンキング等の上記弊害が発生しやすくなる。従って、フィルタタップ数は、ＰＳＦの空間分布と略同一の領域サイズに決定することが望ましい。
【００４２】
画像回復情報保持部１２１には、係数算出装置１００から出力された係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数が記憶される。ＯＴＦ再構成部１２２は、カメラ１１０からレンズＩＤ、撮影条件、及び、ナイキスト周波数を取得する。続いて、ＯＴＦ再構成部１２２は、画像回復情報保持部１２１から、選択されたタップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数の各情報を読み出し、これらの情報を用いて画像回復フィルタの作成に用いられる再構成ＯＴＦを作成する。
【００４３】
次に、図６を参照して、ＯＴＦ再構成部１２２による再構成ＯＴＦの作成方法について詳述する。再構成ＯＴＦの作成に必要なｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数を、それぞれｆｕｃ＿ｒｍ、ｆｖｃ＿ｉｍとする。また、ｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のタップ数を、それぞれＭｘ、Ｍｙとする。ここで、ナイキスト周波数ｆｕｍ，ｆｖｍに対して、０＜ｆｕｍ＿ｎ≦ｆｕｍ、０＜ｆｖｍ＿ｎ≦ｆｖｍ、０＜Ｍｘ≦Ｎｘ、０＜Ｍｙ≦Ｎｙが成立し、タップ数Ｍｘ、Ｍｙは奇数である。
【００４４】
ここで、前記の式（１）、（２）中のｘ、ｙをｕ、ｍに置き換え、−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦１、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦１の領域を［Ｍｘ／２］＋１、［Ｍｙ／２］＋１タップでサンプリングする。そして前記係数を式（２）に代入すると、再構成ＯＴＦの１／４の領域が作成される。このような手順は、再構成ＯＴＦの実部（１２２−１−１）及び虚部（１２２−２−１）の両方について同様に行われる。本実施例では、実部及び虚部ともに、定義域全体の１／４の領域の再構成ＯＴＦから、定義域−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦ｆｕｍ＿ｎ／ｆｕｍ、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦ｆｖｍ＿ｎ／ｆｖｍ、タップ数Ｍｘ、Ｍｙである再構成ＯＴＦの作成方法について説明する。
【００４５】
まず、再構成ＯＴＦの実部の作成方法について説明する。再構成ＯＴＦの実部（１２２−１−１）を用いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域と、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に分離する。続いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域の数値データを、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に対して線対称になるように、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する（実部（１２２−１−２））。
更に、実部（１２２−１−２）で作成された１／２領域の再構成ＯＴＦを、１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に分離する（実部（１２２−１−３））。前記１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行、１〜Ｍｙ列の領域に代入する。
【００４６】
次に、再構成ＯＴＦの虚部の作成方法について説明する。虚部（１２２−２−２）については実部（１２２−１−２）と同様の方法で作成することができる。また、虚部（１２２−２−３）については、正負を入れ替えて代入する必要がある。上述のような作成方法が可能なのは、ＯＴＦの特徴によるものである。
【００４７】
図７は、ＯＴＦ再構成部１２２の再構成ＯＴＦパラメータを示しており、再構成ＯＴＦのナイキスト周波数とタップ数の関係図（再構成ＯＴＦの断面図）である。前述のように、ナイキスト周波数は、撮像素子１１１の空間分解能から決定されるカメラボディ（カメラ１１０）に依存したパラメータである。またタップ数は、撮像レンズ１１２のＰＳＦに依存したパラメータである。これら２つのパラメータと前記係数より、所望の再構成ＯＴＦが作成される。図７において、ナイキスト周波数についてはｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２が成立し、タップ数についてはＮ＞Ｍ１＞Ｍ２が成立する。本実施例では、図７に示されるように、ナイキスト周波数とタップ数とを所望の値に制御することが可能である。
【００４８】
以上の方法により、被写体画像の劣化を補正するための画像処理を行った場合の一例を以下に示す。図８Ａは、ＯＴＦ再構成部１２２の再構成ＯＴＦデータの実部を示し、図８Ｂは再構成ＯＴＦデータの虚部を示す図である。図８Ａ、図８Ｂにおいて、２０１はナイキスト周波数２３８ｌｉｎｅｓ／ｍｍ、一辺のタップ数１９３において、撮像光学系の設計値情報から計算したＯＴＦを用いて、Ｌｅｇｅｎｄｒｅ多項式の１０次係数から作成した再構成ＯＴＦである。２０２、２０３は、ナイキスト周波数を変化させずタップ数のみを変化させた場合の再構成ＯＴＦである。２０４は、ナイキスト周波数とタップ数を同時に変化させた再構成ＯＴＦである。このように本実施例では、ナイキスト周波数やタップ数を制御可能である。このため、撮像レンズ１１２とカメラボディとの組み合わせが変わった場合でも、保持データを増加させることなく対応可能である。
【００４９】
図９は、本実施例において、タップ数とＰＳＦデータの関係を示す図である。図９は、図８Ａ、図８Ｂに対応するＰＳＦであり、図８Ａ、図８Ｂに対応してナイキスト周波数とタップ数が変化する。また、タップ数はＰＳＦの空間分布を削り取っていないため、後の画像回復フィルタによる被写体画像の劣化補正処理で所望の効果を得ることができる。
【００５０】
図１０は、本実施例における画像回復フィルタの概念図である。画像回復フィルタは、図１０の上段に示される形式の実空間の２次元データであり、そのタップ数は空間周波数上の情報であるＯＴＦのタップ数と等しい。図１１は、画像回復フィルタにより補正された被写体画像を示す。図１１は、図８Ａ、図８Ｂに示される係数再現ＯＴＦから作成した画像回復フィルタにより補正された被写体画像の一例である。図１１からわかるように、撮像レンズ１１２により劣化した被写体画像が高解像度かつ高品位に補正されている。
【００５１】
本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置を提供することができる。
【実施例２】
【００５２】
次に、図１２を参照して、本発明の実施例２について説明する。図１２は、本実施例における撮像装置の構成図である。実施例１では、画像処理装置は撮像装置とは別の装置（例えばパソコン）に画像処理方法を実行するためのプログラムをインストールして用いられるが、本実施例では、画像処理装置が撮像装置に含まれている。
【００５３】
撮像装置４００には、絞り４０１ａ及びフォーカスレンズ４０１ｂを備えた撮像光学系４０１（レンズ）が交換可能に装着される。ただし本実施例はこれに限定さえるものではなく、撮像光学系が一体化された撮像装置にも適用可能である。撮像光学系４０１を介して得られた被写体画像は、撮像素子４０２により光電変換が行われてアナログ信号に変換され、Ａ／Ｄ変換器４０３によりデジタル信号に変換される。画像処理部４０４は、このデジタル信号に対して、状態検知部４０７及び記憶部４０８の各情報を用いて所定の画像処理を行う。システムコントローラ４１０は、画像処理部４０４、表示部４０５、撮像光学系制御部４０６、状態検知部４０７、及び、画像記録媒体４０９の各部を制御する。撮像光学系制御部４０６は撮像光学系４０１の動作を制御し、状態検知部４０７は撮像光学系制御部４０６の情報から撮像光学系４０１の状態を検知する。
【００５４】
画像処理部４０４は、本実施例における画像処理装置を備えており、撮像光学系４０１の光学伝達関数（ＯＴＦ）を再構成して被写体画像を補正する機能を有する。記憶部４０８は、係数算出装置で算出された再構成ＯＴＦを作成するための係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数に関する情報を保持している。画像処理部４０４は、撮像光学系４０１と撮像素子４０２から得られた情報を記憶部４０８に記憶された情報と照合して、画像回復フィルタの作成に必要な情報を読み出し、画像回復フィルタを作成する。また画像処理部４０４は、作成された画像回復フィルタを用いて、画像記録媒体４０９に記録されている被写体画像を補正する。補正された被写体画像は、表示部４０５において表示される。本実施例における画像処理方法の詳細は、実施例１と同様であるため省略する。本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた撮像装置（画像処理装置）を提供することができる。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５６】
１１１ 撮像素子
１１２ 撮像レンズ
１２１ 画像回復情報保持部
１２２ ＯＴＦ再構成部
【特許請求の範囲】
【請求項１】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする画像処理装置。
【請求項２】
前記再構成部は、前記係数を、前記撮像光学系の種類及び撮影条件に応じて取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再構成部は、前記撮像素子のサンプリング周波数を用いて前記光学伝達関数を再構成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像回復処理部は、前記再構成された光学伝達関数を用いて生成された画像回復フィルタを用いて画像を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像回復フィルタのタップ数は、前記撮像光学系の点像強度分布関数の大きさに応じたタップ数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像回復フィルタのタップ数は、前記撮像素子の画素ピッチに応じたタップ数であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像回復フィルタのタップ数を決定するタップ数決定部を有することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記撮像光学系の光学伝達関数を所定の関数に近似することにより、係数を生成する係数算出部を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像光学系を介した被写体像を撮像する撮像素子と、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする撮像装置。
【請求項１０】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理方法であって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有することを特徴とする画像処理方法。
【請求項１１】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理プログラムであって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させることを特徴とする画像処理プログラム。
【請求項１】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする画像処理装置。
【請求項２】
前記再構成部は、前記係数を、前記撮像光学系の種類及び撮影条件に応じて取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再構成部は、前記撮像素子のサンプリング周波数を用いて前記光学伝達関数を再構成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像回復処理部は、前記再構成された光学伝達関数を用いて生成された画像回復フィルタを用いて画像を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像回復フィルタのタップ数は、前記撮像光学系の点像強度分布関数の大きさに応じたタップ数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像回復フィルタのタップ数は、前記撮像素子の画素ピッチに応じたタップ数であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像回復フィルタのタップ数を決定するタップ数決定部を有することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記撮像光学系の光学伝達関数を所定の関数に近似することにより、係数を生成する係数算出部を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像光学系を介した被写体像を撮像する撮像素子と、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする撮像装置。
【請求項１０】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理方法であって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有することを特徴とする画像処理方法。
【請求項１１】
撮像光学系と撮像素子とを介して取得された画像を補正する画像処理プログラムであって、
前記撮像光学系の光学伝達関数を所定の関数に近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させることを特徴とする画像処理プログラム。
【図７】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８Ａ】
【図８Ｂ】
【図９】
【図１１】
【図１２】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８Ａ】
【図８Ｂ】
【図９】
【図１１】
【図１２】
【公開番号】特開２０１３−３３４９６（Ｐ２０１３−３３４９６Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−２２３８３９（Ｐ２０１２−２２３８３９）
【出願日】平成２４年１０月９日（２０１２．１０．９）
【分割の表示】特願２０１０−２１６３２０（Ｐ２０１０−２１６３２０）の分割
【原出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年１０月９日（２０１２．１０．９）
【分割の表示】特願２０１０−２１６３２０（Ｐ２０１０−２１６３２０）の分割
【原出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]