画像処理方法、画像処理装置および画像処理プログラム
【課題】画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減する。
【解決手段】撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子の１つとを組み合わせた撮影により生成された入力画像に対して画像回復処理を行う画像処理プログラムは、撮影光学系のイメージサークル内での複数の特定点における光学伝達関数のデータを用意するステップと、イメージサークルと入力画像の生成に用いられた撮像素子の光電変換領域の大きさを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点での光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成し、これら画素のそれぞれの光学伝達関数から画素ごとの画像回復フィルタを生成するステップとを有する。
【解決手段】撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子の１つとを組み合わせた撮影により生成された入力画像に対して画像回復処理を行う画像処理プログラムは、撮影光学系のイメージサークル内での複数の特定点における光学伝達関数のデータを用意するステップと、イメージサークルと入力画像の生成に用いられた撮像素子の光電変換領域の大きさを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点での光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成し、これら画素のそれぞれの光学伝達関数から画素ごとの画像回復フィルタを生成するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により生成された画像に含まれる、撮影光学系による画像劣化成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により撮影光学系を通して被写体を撮像して生成された画像には、撮影光学系（以下、単に光学系ともいう）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系のＯＴＦの情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、ＯＴＦのフーリエペアであるＰＳＦをｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、以下の式で表されるウィナーフィルタ（Wiener filter）を用いて、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ） …（ａ）
ウィナーフィルタを効果的に用いるためには、光学系の正確なＯＴＦのデータを得る必要がある。ＯＴＦデータを得る方法としては、例えば光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布に対してフーリエ変換を行うことでも求めることが可能である。
【０００７】
一般に、撮像装置に用いられる光学系は、その光学特性（Ｆ値や収差等）が像高に応じて大きく変動する。このため、画像劣化成分を補正するためには、上記（ａ）式で表したウィナーフィルタをそのままの形で用いて周波数空間上で一括計算を行うことはできず、像高ごとに（ａ）式を実空間上のフィルタに変換して用いる必要がある。
【０００８】
ここで、データ量という観点から、ＯＴＦデータについて説明する。ＯＴＦデータは２次元データであり、実部と虚部を持つ。さらに、一般的な画像回復処理にＯＴＦデータを用いる場合、色成分をＲＧＢ３つの変数で持つことが多い。このため、１つの像高におけるＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となり、そのデータ量は多い。
【０００９】
さらに、大きさが一定のイメージサークルを有する光学系に対して、該光学系により形成された被写体像の光電変換を行う撮像素子として様々な大きさのものが組み合わせ可能な撮像システムがある。このような撮像システムでは、それぞれの撮像素子の光電変換領域（撮像領域）の大きさに対応したＯＴＦデータが別々に必要となる。これにより、保持すべきデータ量が膨大になる。
【００１０】
画像回復技術の分野において、特許文献１には、光学系においてそれぞれ変化するズーム状態、デフォーカス量および絞り値に応じた画像回復フィルタを生成する手法が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３２８５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来では、光学系に対して様々な大きさの撮像素子を組み合わせることができる場合において、各組み合わせで画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させる効果的な手法は提案されていない。
【００１３】
本発明は、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させることができる画像処理方法、画像処理装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１４】
本発明の一側面としての画像処理プログラムは、コンピュータに、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を実行させる。該画像処理プログラムは、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【００１５】
また、本発明の他の一側面としての画像処理方法は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【００１６】
さらに、本発明の他の一側面としての画像処理装置は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択する特定点選択部と、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成する関数生成部と、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するフィルタ生成部と、生成された画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。
【００１７】
なお、上記画像処理装置を内蔵した撮像装置も、本発明の他の一側面を構成する。
【発明の効果】
【００１８】
本発明によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点での光学伝達関数のデータを用意しておけば足りる。このため、画像回復処理を行うために予め用意（保持）すべき光学伝達関数のデータ量を低減させることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１である画像処理方法の手順を示すフローチャート。
【図２】実施例１における画像回復処理でのＯＴＦデータの展開方法を示す図。
【図３】実施例１における画像回復処理でのＯＴＦデータの回転処理を示す図。
【図４】実施例１における画像回復処理でのＯＴＦデータの補間処理を示す図。
【図５】本発明の実施例２である撮像装置の構成を示す図。
【発明を実施するための形態】
【００２０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２１】
図１には、本発明の実施例１である画像処理方法の手順を示している。この画像処理方法は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に搭載されたコンピュータやパーソナルコンピュータにより、コンピュータプログラムである画像処理プログラムに従って実行される。ここでは、動作の主体を「コンピュータ」とする。
【００２２】
ステップ１０１において、コンピュータは、撮像装置により撮影光学系と、該撮影光学系により形成された被写体像を光電変換する撮像素子とを用いた撮影により生成された撮影画像（入力画像）を取得する。本実施例は、撮影光学系を有する交換レンズと、互いに光電変換領域の大きさが異なる複数の撮像素子（つまりは機種が異なる複数の撮像装置）のうちいずれか１つとを組み合わせて撮影が行われる撮影システムを想定している。
【００２３】
また、このステップにおいて、コンピュータは、撮影光学系のイメージサークル内における複数の特定点のそれぞれにおける該撮影光学系の光学伝達関数（ＯＴＦ）のデータを含むデータベースを用意する。具体的には、複数の特定点のＯＴＦデータをメモリ（記憶部）に記憶させて保持しておく。複数の特定点は、後に詳しく説明するが、例えばイメージサークル内において撮影光学系の光軸位置から延びる直線に沿った位置に設定することが望ましい。
【００２４】
次にステップ１０２において、コンピュータは、取得した撮影画像に付加されている撮影光学系のイメージサークルの大きさ（例えば、直径）を示す情報と、撮像素子の光電変換領域の大きさ（例えば、対角長）を示す情報とを比較する。そして、ステップ１０３において、コンピュータは、これらの大きさの比較結果（大きさ比）に基づいて、ＯＴＦデータベースにＯＴＦデータが記憶されている複数の特定点のうち、第１の数の特定点を選択する。例えば、複数の特定点の数が１０個であり、大きさ比がほぼ１である（イメージサークルの直径と撮像素子の対角長とがほぼ一致する）場合は、全部である１０個（第１の数）の特定点を選択する。しかし、大きさ比がほぼ０．７である（イメージサークルの直径よりも撮像素子の対角長が３割ほど短い）場合は、１０の特定点のうち撮影光学系の光軸位置の側から７個（第１の数）の特定点を選択する。
【００２５】
また、このステップでは、コンピュータは、撮像素子の光電変換領域の大きさに基づいて、ＯＴＦ展開領域を決定する。ＯＴＦ展開領域とは、上述した第１の数の特定点におけるＯＴＦデータ（以下、特定ＯＴＦデータという）を用いて、撮影画像（光電変換領域）の全画素または一部の画素における画素ごとのＯＴＦデータを生成する領域を意味する。このＯＴＦ展開領域は、後述する画像回復フィルタを生成し、該画像回復フィルタを用いた画像回復処理を行う処理対象領域に相当する。
【００２６】
なお、撮影光学系（交換レンズ）の機種または個体を特定可能な光学系識別情報と、撮像素子の機種または個体を特定可能な撮像素子識別情報とから、撮影光学系のイメージサークルの大きさと撮像素子の光電変換領域の大きさとを知ることも可能である。
【００２７】
次にステップ１０４において、コンピュータは、ＯＴＦ展開領域内に２次元方向に離散的に設定された複数の代表点の光軸位置からの距離と方向に応じた変換処理を特定ＯＴＦデータに対して行い、該複数の代表点のそれぞれにおけるＯＴＦデータを生成する。言い換えれば、複数の代表点に特定ＯＴＦデータを展開する。
【００２８】
そして、ステップ１０５において、コンピュータは、該複数の代表点のそれぞれにおけるＯＴＦデータを用いて（変換して）、これら代表点のそれぞれにおける画像回復フィルタを生成する。ここで生成する画像回復フィルタは、ウィナーフィルタが望ましい。ただし、ウィナーフィルタ以外の画像回復フィルタであってもよい。
【００２９】
次に、ステップ１０６において、コンピュータは、複数の代表点の画像回復フィルタを用いて、ＯＴＦ展開領域内（つまりは処理対象領域内）の全画素、すなわち第１の数よりも多い第２の数の画素における画素ごとに画像回復フィルタを生成する。
【００３０】
そして、ステップ１０７において、コンピュータは、撮影画像におけるＯＴＦ展開領域（処理対象領域）の各画素に対して、画像回復フィルタを用いたコンボリューション処理を行う。これにより、ステップ１０８において、撮影画像（処理対象領域）に含まれる画像劣化成分であるぼけ成分が低減（補正）された回復画像が得られる。
【００３１】
以下、上述した画像処理においてＯＴＦ展開領域を決定した後にコンピュータが行う処理の概要について、図２を用いて説明する。
【００３２】
図２（ａ）において、２０１は撮影光学系のイメージサークルを示す。Ｏはイメージサークルにおける撮影光学系の光軸位置に対応する中心である。２０２はＯＴＦデータベースにＯＴＦデータが記憶される複数の特定点を示しており、ここではイメージサークルの中心からイメージサークルの外周における特定の方位（角度方向）の１点に向かって延びる直線に沿って、所定の像高間隔で設定されている。そして、図２（ａ）中に矢印で示すように、これら特定点のＯＴＦデータ（特定ＯＴＦデータ）を、イメージサークルの中心回りの各方位に回転処理するとともに、水平方向と垂直方向で像高を合わせるように補間処理する。これにより、特定ＯＴＦデータを、図２（ｂ）に示すようにイメージサークルの全体（実際には、ＯＴＦ展開領域）に展開することができる。
【００３３】
図２（ｂ）において、２０３は撮影光学系のイメージサークルであり、２０４は各方位および各像高に展開されたＯＴＦデータである。本実施例にて採用する回転処理を用いたＯＴＦデータ展開方法は、回転演算処理に加えて、像高方向での補間演算処理を必要とする。しかし、最初から図２（ｂ）に示すような多数のＯＴＦデータをデータベースとして保持する場合に比べて、保持すべきＯＴＦデータ（特定ＯＴＦデータ）のデータ量を低減することができる。
【００３４】
なお、回転処理によりＯＴＦデータが生成される画素はＯＴＦ展開領域の全画素であってもよいし、少なくとも一部の画素であってもよい。
【００３５】
ここで、本実施例では、特定ＯＴＦデータを回転処理する場合には、該回転処理によってナイキスト周波数内でのデータ欠落が生じないような方法を採る。これを、図３を用いて説明する。
【００３６】
図３（ａ）において、３０１はＯＴＦデータベースから選択された特定ＯＴＦデータを示しており、３０２は特定ＯＴＦデータの周波数帯域を示しており、Ｎ×Ｎタップ３０３により構成されている。なお、ＯＴＦデータは複素数であるため、そのプロファイルを図示することはできないが、説明のために実部の周波数空間プロファイルを図示している。
【００３７】
図３（ｂ）は、図３（ａ）に示した特定ＯＴＦデータ３０１をイメージサークルの中心回りでθ度だけ回転させて得られるＯＴＦデータ３０６を示している。この回転処理後のＯＴＦデータ３０６では、使用される周波数帯域３０５内の四隅３０４のデータが欠落する。このため、回転処理前の特定ＯＴＦデータ３０１の周波数帯域と等しい周波数帯域３０５を、等しいタップ数（Ｎ×Ｎタップ）で使用することができない。
【００３８】
そこで本実施例では、図３（ｃ）に示すように、回転処理前の周波数帯域として、回転処理後に使用される周波数帯域３０８内（ナイキスト周波数内）でのデータ欠落が生じない広い周波数帯域３０７を有するＯＴＦデータを、特定ＯＴＦデータとして使用する。
【００３９】
図２（ｃ）には、互いに大きさが異なるＯＴＦ展開領域の代表点にＯＴＦデータを展開する例を示している。２０５は撮影光学系のイメージサークルを示している。２０６は第１の撮像素子の光電変換領域の大きさに対応した第１のＯＴＦ展開領域を示している。また、２０７は第２の撮像素子の光電変換領域の大きさに対応した第２のＯＴＦ展開領域を示している。第２の撮像素子の光電変換領域は、第１の撮像素子の光電変換領域よりも大きさが小さく、これに対応して、第２のＯＴＦ展開領域２０７は第１のＯＴＦ展開領域２０６よりも狭い。
【００４０】
撮影光学系を有する交換レンズに、第１の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第１のＯＴＦ展開領域２０６内の代表点２０８にまず展開され、その後、第１のＯＴＦ展開領域２０６内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第１のＯＴＦ展開領域２０６内の画素ごとに画像回復フィルタが生成される。
【００４１】
また、上記交換レンズに、第２の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第２のＯＴＦ展開領域２０７内の代表点２０９にまず展開され、その後、第２のＯＴＦ展開領域２０７内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第２のＯＴＦ展開領域２０７内の画素ごとに画像回復フィルタが生成される。
【００４２】
図４には、本実施例において、撮影画像の全体に対して画像回復処理が行われる場合の処理の概要を示している。図４（ａ）において、４０１は撮影画像内の代表点に対して生成された（展開された）ＯＴＦデータである。
【００４３】
図４（ｂ）において、４０２は各代表点のＯＴＦデータから生成された画像回復フィルタである。図４（ｃ）において、４０３は代表点以外の各点（各画素）に対して生成された画像回復フィルタである。代表点以外の各点では、その近傍の代表点の画像回復フィルタをそのまま使用してもよいし、近傍の複数の代表点の画像回復フィルタを用いた補間処理等により生成した画像回復フィルタを使用してもよい。
【００４４】
以上説明したように、本実施例によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点でのＯＴＦデータを保持（用意）しておけば足りる。このため、画像回復処理を行うために予め保持すべきＯＴＦデータ量を低減させることができる。
【００４５】
なお、図４（ｂ）および図４（ｃ）において、代表点以外の各点（各画素）に対して生成された画像回復フィルタを用いて、代表点以外の各点の画像回復フィルタを作成したが、本発明はこれに限られない。図４（ａ）において、生成された（展開された）ＯＴＦデータを補間処理することにより代表点以外の各点のＯＴＦデータを生成し、そのＯＴＦデータをフーリエ変換することにより代表点以外の各点の画像回復フィルタとしてもよい。
【実施例２】
【００４６】
図５には、実施例１にて説明した画像処理方法（画像処理プログラム）を実行するコンピュータ、つまりは画像処理装置を内蔵した撮像装置を含む撮像システムを示している。
【００４７】
５０１は撮影光学系であり、複数のレンズ（変倍レンズやフォーカスレンズ）５０１ｂと絞り５０１ａとを含む。レンズ５０１ｂは、光学系制御部５０６により光軸方向に移動されて、変倍や焦点調節を行う。絞り５０１ａは、光学系制御部５０６により絞り開口径が変更されて光量調節を行う。
【００４８】
撮影光学系５０１および光学系制御部５０６を含む交換レンズは、撮像素子５０２を含む撮像装置に対して着脱可能に装着される。本実施例では、撮影光学系５０１に対して、光電変換領域の大きさが互いに異なる撮像素子を備えた複数の撮像装置（つまりは複数の撮像素子）のいずれか１つを組み合わせることができる。
【００４９】
撮像装置において、状態検出部５０７は、撮影光学系５０１の焦点距離（ズーム位置）、絞り開口径（絞り値）およびフォーカスレンズ位置（被写体距離）等の状態を検出し、検出した各状態を画像処理部５０４に送る。画像処理部５０４は、検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。
【００５０】
撮像素子５０２は、撮影光学系５０１により形成された被写体像を光電変換し、アナログ撮像信号（出力信号）を出力する。アナログ撮像信号は、Ａ／Ｄ変換部５０３にてデジタル撮像信号に変換され、画像処理部５０４に入力される。画像処理部５０４は、デジタル撮像信号に対して各種画像処理を行い、撮影画像を生成する。画像処理部５０４は、実施例１にて説明したコンピュータに相当し、生成された撮影画像に対して、実施例１にて説明した画像回復処理を行う。記憶部５０８は、撮影光学系５０１のイメージサークル内の複数の特定点における撮影光学系５０１のＯＴＦデータを記憶するメモリとして機能する。画像処理部５０４と記憶部５０８とにより画像処理装置が構成される。
【００５１】
画像処理部５０４には、特定点選択部５０４ａと、領域決定部５０４ｂと、関数生成部５０４ｃと、フィルタ生成部５０４ｄと、回復処理部５０４ｅとが設けられている。特定点選択部５０４ａは、イメージサークルの大きさと撮影画像の生成に用いられた撮像素子５０２の光電変換領域の大きさとを比較した結果から、第１の数の特定点を選択する。
【００５２】
また、領域決定部５０４ｂは、撮像素子５０２の光電変換領域の大きさに基づいてＯＴＦ展開領域（処理対象領域）を決定する。関数生成部５０４ｃは、第１の数の特定点におけるＯＴＦデータ（特定ＯＴＦデータ）を用いて、ＯＴＦ展開領域内における第１の数より多い第２の数の画素のそれぞれにおけるＯＴＦデータを生成する。すなわち、実施例１にいう、特定ＯＴＦデータを展開する。
【００５３】
なお、実施例１では、特定ＯＴＦデータをまずＯＴＦ展開領域内の代表点に展開し、さらに代表点のＯＴＦデータをＯＴＦ展開領域内の全画素に展開する場合について説明した。しかし、特定ＯＴＦデータを、代表点への展開を経ることなく、直接、ＯＴＦ展開領域内の全画素に展開するようにしてもよい。
【００５４】
フィルタ生成部５０４ｄは、ＯＴＦ展開領域内の全画素に対して、画素ごとにＯＴＦデータから画像回復フィルタを生成する。このとき、フィルタ生成部５０４ｄは、状態検出部５０７を通じて検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。
【００５５】
そして、回復処理部５０４ｅは、ＯＴＦ展開領域内の全画素に対して、画素ごとの画像回復フィルタを用いた画像回復処理を行う。
【００５６】
画像処理部５０４から出力された画像（回復画像）は、表示部５０５に表示されたり、画像記録媒体５０９に記録されたりする。
【００５７】
システムコントローラ５１０は、撮像装置における画像処理部５０４の動作、状態検出部５０７の動作、表示部５０５の画像表示および画像記録媒体５０９への画像記録を制御するとともに、光学系制御部５０６を介して撮影光学系５０１の動作を制御する。
【実施例３】
【００５８】
上記実施例２では、画像処理装置を内蔵した撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を取得し、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【００５９】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００６０】
撮影により生成された画像に対する画像回復処理を行う画像処理装置および撮像装置を提供できる。
【符号の説明】
【００６１】
５０１ 撮影光学系
５０２ 撮像素子
５０４ 画像処理部
【技術分野】
【０００１】
本発明は、撮影により生成された画像に含まれる、撮影光学系による画像劣化成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により撮影光学系を通して被写体を撮像して生成された画像には、撮影光学系（以下、単に光学系ともいう）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系のＯＴＦの情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、ＯＴＦのフーリエペアであるＰＳＦをｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、以下の式で表されるウィナーフィルタ（Wiener filter）を用いて、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ） …（ａ）
ウィナーフィルタを効果的に用いるためには、光学系の正確なＯＴＦのデータを得る必要がある。ＯＴＦデータを得る方法としては、例えば光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布に対してフーリエ変換を行うことでも求めることが可能である。
【０００７】
一般に、撮像装置に用いられる光学系は、その光学特性（Ｆ値や収差等）が像高に応じて大きく変動する。このため、画像劣化成分を補正するためには、上記（ａ）式で表したウィナーフィルタをそのままの形で用いて周波数空間上で一括計算を行うことはできず、像高ごとに（ａ）式を実空間上のフィルタに変換して用いる必要がある。
【０００８】
ここで、データ量という観点から、ＯＴＦデータについて説明する。ＯＴＦデータは２次元データであり、実部と虚部を持つ。さらに、一般的な画像回復処理にＯＴＦデータを用いる場合、色成分をＲＧＢ３つの変数で持つことが多い。このため、１つの像高におけるＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となり、そのデータ量は多い。
【０００９】
さらに、大きさが一定のイメージサークルを有する光学系に対して、該光学系により形成された被写体像の光電変換を行う撮像素子として様々な大きさのものが組み合わせ可能な撮像システムがある。このような撮像システムでは、それぞれの撮像素子の光電変換領域（撮像領域）の大きさに対応したＯＴＦデータが別々に必要となる。これにより、保持すべきデータ量が膨大になる。
【００１０】
画像回復技術の分野において、特許文献１には、光学系においてそれぞれ変化するズーム状態、デフォーカス量および絞り値に応じた画像回復フィルタを生成する手法が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３２８５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来では、光学系に対して様々な大きさの撮像素子を組み合わせることができる場合において、各組み合わせで画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させる効果的な手法は提案されていない。
【００１３】
本発明は、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させることができる画像処理方法、画像処理装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１４】
本発明の一側面としての画像処理プログラムは、コンピュータに、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を実行させる。該画像処理プログラムは、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【００１５】
また、本発明の他の一側面としての画像処理方法は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。
【００１６】
さらに、本発明の他の一側面としての画像処理装置は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択する特定点選択部と、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成する関数生成部と、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するフィルタ生成部と、生成された画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。
【００１７】
なお、上記画像処理装置を内蔵した撮像装置も、本発明の他の一側面を構成する。
【発明の効果】
【００１８】
本発明によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点での光学伝達関数のデータを用意しておけば足りる。このため、画像回復処理を行うために予め用意（保持）すべき光学伝達関数のデータ量を低減させることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１である画像処理方法の手順を示すフローチャート。
【図２】実施例１における画像回復処理でのＯＴＦデータの展開方法を示す図。
【図３】実施例１における画像回復処理でのＯＴＦデータの回転処理を示す図。
【図４】実施例１における画像回復処理でのＯＴＦデータの補間処理を示す図。
【図５】本発明の実施例２である撮像装置の構成を示す図。
【発明を実施するための形態】
【００２０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２１】
図１には、本発明の実施例１である画像処理方法の手順を示している。この画像処理方法は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に搭載されたコンピュータやパーソナルコンピュータにより、コンピュータプログラムである画像処理プログラムに従って実行される。ここでは、動作の主体を「コンピュータ」とする。
【００２２】
ステップ１０１において、コンピュータは、撮像装置により撮影光学系と、該撮影光学系により形成された被写体像を光電変換する撮像素子とを用いた撮影により生成された撮影画像（入力画像）を取得する。本実施例は、撮影光学系を有する交換レンズと、互いに光電変換領域の大きさが異なる複数の撮像素子（つまりは機種が異なる複数の撮像装置）のうちいずれか１つとを組み合わせて撮影が行われる撮影システムを想定している。
【００２３】
また、このステップにおいて、コンピュータは、撮影光学系のイメージサークル内における複数の特定点のそれぞれにおける該撮影光学系の光学伝達関数（ＯＴＦ）のデータを含むデータベースを用意する。具体的には、複数の特定点のＯＴＦデータをメモリ（記憶部）に記憶させて保持しておく。複数の特定点は、後に詳しく説明するが、例えばイメージサークル内において撮影光学系の光軸位置から延びる直線に沿った位置に設定することが望ましい。
【００２４】
次にステップ１０２において、コンピュータは、取得した撮影画像に付加されている撮影光学系のイメージサークルの大きさ（例えば、直径）を示す情報と、撮像素子の光電変換領域の大きさ（例えば、対角長）を示す情報とを比較する。そして、ステップ１０３において、コンピュータは、これらの大きさの比較結果（大きさ比）に基づいて、ＯＴＦデータベースにＯＴＦデータが記憶されている複数の特定点のうち、第１の数の特定点を選択する。例えば、複数の特定点の数が１０個であり、大きさ比がほぼ１である（イメージサークルの直径と撮像素子の対角長とがほぼ一致する）場合は、全部である１０個（第１の数）の特定点を選択する。しかし、大きさ比がほぼ０．７である（イメージサークルの直径よりも撮像素子の対角長が３割ほど短い）場合は、１０の特定点のうち撮影光学系の光軸位置の側から７個（第１の数）の特定点を選択する。
【００２５】
また、このステップでは、コンピュータは、撮像素子の光電変換領域の大きさに基づいて、ＯＴＦ展開領域を決定する。ＯＴＦ展開領域とは、上述した第１の数の特定点におけるＯＴＦデータ（以下、特定ＯＴＦデータという）を用いて、撮影画像（光電変換領域）の全画素または一部の画素における画素ごとのＯＴＦデータを生成する領域を意味する。このＯＴＦ展開領域は、後述する画像回復フィルタを生成し、該画像回復フィルタを用いた画像回復処理を行う処理対象領域に相当する。
【００２６】
なお、撮影光学系（交換レンズ）の機種または個体を特定可能な光学系識別情報と、撮像素子の機種または個体を特定可能な撮像素子識別情報とから、撮影光学系のイメージサークルの大きさと撮像素子の光電変換領域の大きさとを知ることも可能である。
【００２７】
次にステップ１０４において、コンピュータは、ＯＴＦ展開領域内に２次元方向に離散的に設定された複数の代表点の光軸位置からの距離と方向に応じた変換処理を特定ＯＴＦデータに対して行い、該複数の代表点のそれぞれにおけるＯＴＦデータを生成する。言い換えれば、複数の代表点に特定ＯＴＦデータを展開する。
【００２８】
そして、ステップ１０５において、コンピュータは、該複数の代表点のそれぞれにおけるＯＴＦデータを用いて（変換して）、これら代表点のそれぞれにおける画像回復フィルタを生成する。ここで生成する画像回復フィルタは、ウィナーフィルタが望ましい。ただし、ウィナーフィルタ以外の画像回復フィルタであってもよい。
【００２９】
次に、ステップ１０６において、コンピュータは、複数の代表点の画像回復フィルタを用いて、ＯＴＦ展開領域内（つまりは処理対象領域内）の全画素、すなわち第１の数よりも多い第２の数の画素における画素ごとに画像回復フィルタを生成する。
【００３０】
そして、ステップ１０７において、コンピュータは、撮影画像におけるＯＴＦ展開領域（処理対象領域）の各画素に対して、画像回復フィルタを用いたコンボリューション処理を行う。これにより、ステップ１０８において、撮影画像（処理対象領域）に含まれる画像劣化成分であるぼけ成分が低減（補正）された回復画像が得られる。
【００３１】
以下、上述した画像処理においてＯＴＦ展開領域を決定した後にコンピュータが行う処理の概要について、図２を用いて説明する。
【００３２】
図２（ａ）において、２０１は撮影光学系のイメージサークルを示す。Ｏはイメージサークルにおける撮影光学系の光軸位置に対応する中心である。２０２はＯＴＦデータベースにＯＴＦデータが記憶される複数の特定点を示しており、ここではイメージサークルの中心からイメージサークルの外周における特定の方位（角度方向）の１点に向かって延びる直線に沿って、所定の像高間隔で設定されている。そして、図２（ａ）中に矢印で示すように、これら特定点のＯＴＦデータ（特定ＯＴＦデータ）を、イメージサークルの中心回りの各方位に回転処理するとともに、水平方向と垂直方向で像高を合わせるように補間処理する。これにより、特定ＯＴＦデータを、図２（ｂ）に示すようにイメージサークルの全体（実際には、ＯＴＦ展開領域）に展開することができる。
【００３３】
図２（ｂ）において、２０３は撮影光学系のイメージサークルであり、２０４は各方位および各像高に展開されたＯＴＦデータである。本実施例にて採用する回転処理を用いたＯＴＦデータ展開方法は、回転演算処理に加えて、像高方向での補間演算処理を必要とする。しかし、最初から図２（ｂ）に示すような多数のＯＴＦデータをデータベースとして保持する場合に比べて、保持すべきＯＴＦデータ（特定ＯＴＦデータ）のデータ量を低減することができる。
【００３４】
なお、回転処理によりＯＴＦデータが生成される画素はＯＴＦ展開領域の全画素であってもよいし、少なくとも一部の画素であってもよい。
【００３５】
ここで、本実施例では、特定ＯＴＦデータを回転処理する場合には、該回転処理によってナイキスト周波数内でのデータ欠落が生じないような方法を採る。これを、図３を用いて説明する。
【００３６】
図３（ａ）において、３０１はＯＴＦデータベースから選択された特定ＯＴＦデータを示しており、３０２は特定ＯＴＦデータの周波数帯域を示しており、Ｎ×Ｎタップ３０３により構成されている。なお、ＯＴＦデータは複素数であるため、そのプロファイルを図示することはできないが、説明のために実部の周波数空間プロファイルを図示している。
【００３７】
図３（ｂ）は、図３（ａ）に示した特定ＯＴＦデータ３０１をイメージサークルの中心回りでθ度だけ回転させて得られるＯＴＦデータ３０６を示している。この回転処理後のＯＴＦデータ３０６では、使用される周波数帯域３０５内の四隅３０４のデータが欠落する。このため、回転処理前の特定ＯＴＦデータ３０１の周波数帯域と等しい周波数帯域３０５を、等しいタップ数（Ｎ×Ｎタップ）で使用することができない。
【００３８】
そこで本実施例では、図３（ｃ）に示すように、回転処理前の周波数帯域として、回転処理後に使用される周波数帯域３０８内（ナイキスト周波数内）でのデータ欠落が生じない広い周波数帯域３０７を有するＯＴＦデータを、特定ＯＴＦデータとして使用する。
【００３９】
図２（ｃ）には、互いに大きさが異なるＯＴＦ展開領域の代表点にＯＴＦデータを展開する例を示している。２０５は撮影光学系のイメージサークルを示している。２０６は第１の撮像素子の光電変換領域の大きさに対応した第１のＯＴＦ展開領域を示している。また、２０７は第２の撮像素子の光電変換領域の大きさに対応した第２のＯＴＦ展開領域を示している。第２の撮像素子の光電変換領域は、第１の撮像素子の光電変換領域よりも大きさが小さく、これに対応して、第２のＯＴＦ展開領域２０７は第１のＯＴＦ展開領域２０６よりも狭い。
【００４０】
撮影光学系を有する交換レンズに、第１の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第１のＯＴＦ展開領域２０６内の代表点２０８にまず展開され、その後、第１のＯＴＦ展開領域２０６内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第１のＯＴＦ展開領域２０６内の画素ごとに画像回復フィルタが生成される。
【００４１】
また、上記交換レンズに、第２の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第２のＯＴＦ展開領域２０７内の代表点２０９にまず展開され、その後、第２のＯＴＦ展開領域２０７内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第２のＯＴＦ展開領域２０７内の画素ごとに画像回復フィルタが生成される。
【００４２】
図４には、本実施例において、撮影画像の全体に対して画像回復処理が行われる場合の処理の概要を示している。図４（ａ）において、４０１は撮影画像内の代表点に対して生成された（展開された）ＯＴＦデータである。
【００４３】
図４（ｂ）において、４０２は各代表点のＯＴＦデータから生成された画像回復フィルタである。図４（ｃ）において、４０３は代表点以外の各点（各画素）に対して生成された画像回復フィルタである。代表点以外の各点では、その近傍の代表点の画像回復フィルタをそのまま使用してもよいし、近傍の複数の代表点の画像回復フィルタを用いた補間処理等により生成した画像回復フィルタを使用してもよい。
【００４４】
以上説明したように、本実施例によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点でのＯＴＦデータを保持（用意）しておけば足りる。このため、画像回復処理を行うために予め保持すべきＯＴＦデータ量を低減させることができる。
【００４５】
なお、図４（ｂ）および図４（ｃ）において、代表点以外の各点（各画素）に対して生成された画像回復フィルタを用いて、代表点以外の各点の画像回復フィルタを作成したが、本発明はこれに限られない。図４（ａ）において、生成された（展開された）ＯＴＦデータを補間処理することにより代表点以外の各点のＯＴＦデータを生成し、そのＯＴＦデータをフーリエ変換することにより代表点以外の各点の画像回復フィルタとしてもよい。
【実施例２】
【００４６】
図５には、実施例１にて説明した画像処理方法（画像処理プログラム）を実行するコンピュータ、つまりは画像処理装置を内蔵した撮像装置を含む撮像システムを示している。
【００４７】
５０１は撮影光学系であり、複数のレンズ（変倍レンズやフォーカスレンズ）５０１ｂと絞り５０１ａとを含む。レンズ５０１ｂは、光学系制御部５０６により光軸方向に移動されて、変倍や焦点調節を行う。絞り５０１ａは、光学系制御部５０６により絞り開口径が変更されて光量調節を行う。
【００４８】
撮影光学系５０１および光学系制御部５０６を含む交換レンズは、撮像素子５０２を含む撮像装置に対して着脱可能に装着される。本実施例では、撮影光学系５０１に対して、光電変換領域の大きさが互いに異なる撮像素子を備えた複数の撮像装置（つまりは複数の撮像素子）のいずれか１つを組み合わせることができる。
【００４９】
撮像装置において、状態検出部５０７は、撮影光学系５０１の焦点距離（ズーム位置）、絞り開口径（絞り値）およびフォーカスレンズ位置（被写体距離）等の状態を検出し、検出した各状態を画像処理部５０４に送る。画像処理部５０４は、検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。
【００５０】
撮像素子５０２は、撮影光学系５０１により形成された被写体像を光電変換し、アナログ撮像信号（出力信号）を出力する。アナログ撮像信号は、Ａ／Ｄ変換部５０３にてデジタル撮像信号に変換され、画像処理部５０４に入力される。画像処理部５０４は、デジタル撮像信号に対して各種画像処理を行い、撮影画像を生成する。画像処理部５０４は、実施例１にて説明したコンピュータに相当し、生成された撮影画像に対して、実施例１にて説明した画像回復処理を行う。記憶部５０８は、撮影光学系５０１のイメージサークル内の複数の特定点における撮影光学系５０１のＯＴＦデータを記憶するメモリとして機能する。画像処理部５０４と記憶部５０８とにより画像処理装置が構成される。
【００５１】
画像処理部５０４には、特定点選択部５０４ａと、領域決定部５０４ｂと、関数生成部５０４ｃと、フィルタ生成部５０４ｄと、回復処理部５０４ｅとが設けられている。特定点選択部５０４ａは、イメージサークルの大きさと撮影画像の生成に用いられた撮像素子５０２の光電変換領域の大きさとを比較した結果から、第１の数の特定点を選択する。
【００５２】
また、領域決定部５０４ｂは、撮像素子５０２の光電変換領域の大きさに基づいてＯＴＦ展開領域（処理対象領域）を決定する。関数生成部５０４ｃは、第１の数の特定点におけるＯＴＦデータ（特定ＯＴＦデータ）を用いて、ＯＴＦ展開領域内における第１の数より多い第２の数の画素のそれぞれにおけるＯＴＦデータを生成する。すなわち、実施例１にいう、特定ＯＴＦデータを展開する。
【００５３】
なお、実施例１では、特定ＯＴＦデータをまずＯＴＦ展開領域内の代表点に展開し、さらに代表点のＯＴＦデータをＯＴＦ展開領域内の全画素に展開する場合について説明した。しかし、特定ＯＴＦデータを、代表点への展開を経ることなく、直接、ＯＴＦ展開領域内の全画素に展開するようにしてもよい。
【００５４】
フィルタ生成部５０４ｄは、ＯＴＦ展開領域内の全画素に対して、画素ごとにＯＴＦデータから画像回復フィルタを生成する。このとき、フィルタ生成部５０４ｄは、状態検出部５０７を通じて検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。
【００５５】
そして、回復処理部５０４ｅは、ＯＴＦ展開領域内の全画素に対して、画素ごとの画像回復フィルタを用いた画像回復処理を行う。
【００５６】
画像処理部５０４から出力された画像（回復画像）は、表示部５０５に表示されたり、画像記録媒体５０９に記録されたりする。
【００５７】
システムコントローラ５１０は、撮像装置における画像処理部５０４の動作、状態検出部５０７の動作、表示部５０５の画像表示および画像記録媒体５０９への画像記録を制御するとともに、光学系制御部５０６を介して撮影光学系５０１の動作を制御する。
【実施例３】
【００５８】
上記実施例２では、画像処理装置を内蔵した撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を取得し、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【００５９】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００６０】
撮影により生成された画像に対する画像回復処理を行う画像処理装置および撮像装置を提供できる。
【符号の説明】
【００６１】
５０１ 撮影光学系
５０２ 撮像素子
５０４ 画像処理部
【特許請求の範囲】
【請求項１】
コンピュータに、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を実行させる画像処理プログラムであって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するステップと、
生成された前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。
【請求項２】
前記第２の数の画素における前記光学伝達関数のうち少なくとも一部は、前記第１の数の特定点における前記光学伝達関数に対して回転処理を行うことで生成され、
前記各特定点における前記光学伝達関数のデータは、該回転処理によってナイキスト周波数内でのデータ欠落が生じない周波数帯域を有するデータであることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記複数の特定点は、前記イメージサークル内において前記撮影光学系の光軸位置から延びる直線に沿った位置に設定されていることを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項４】
撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するステップと、
生成された前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。
【請求項５】
撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択する特定点選択部と、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成する関数生成部と、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するフィルタ生成部と、
生成された前記画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。
【請求項６】
撮影光学系により形成された被写体像を光電変換する撮像素子と、
該撮像素子からの出力信号を用いて生成された入力画像に対して画像回復処理を行う請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１】
コンピュータに、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を実行させる画像処理プログラムであって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するステップと、
生成された前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。
【請求項２】
前記第２の数の画素における前記光学伝達関数のうち少なくとも一部は、前記第１の数の特定点における前記光学伝達関数に対して回転処理を行うことで生成され、
前記各特定点における前記光学伝達関数のデータは、該回転処理によってナイキスト周波数内でのデータ欠落が生じない周波数帯域を有するデータであることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記複数の特定点は、前記イメージサークル内において前記撮影光学系の光軸位置から延びる直線に沿った位置に設定されていることを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項４】
撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するステップと、
生成された前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。
【請求項５】
撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、
前記イメージサークルの大きさと前記入力画像の生成に用いられた前記撮像素子の前記光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択する特定点選択部と、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、
前記第１の数の特定点における前記光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける前記光学伝達関数を生成する関数生成部と、
前記第２の数の画素のそれぞれにおける前記光学伝達関数から該画素ごとの前記画像回復フィルタを生成するフィルタ生成部と、
生成された前記画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。
【請求項６】
撮影光学系により形成された被写体像を光電変換する撮像素子と、
該撮像素子からの出力信号を用いて生成された入力画像に対して画像回復処理を行う請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３４０６８（Ｐ２０１３−３４０６８Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８４６８（Ｐ２０１１−１６８４６８）
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]