画像処理装置、撮像装置、画像処理方法およびプログラム。
【課題】 画像回復処理に必要なデータの容量の増加を抑えること
【解決手段】 本発明のプログラムは、画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とする。
【解決手段】 本発明のプログラムは、画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の回復（復元）処理を行うプログラム、画像処理装置、画像処理方法および撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置の撮像光学系の収差の影響があらわれた画像（劣化画像）に対する画像処理方法として、光学伝達関数（ＯＴＦ）を用いて画像を回復（復元）する処理がある。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像光学系、あるいはそれに準ずるシステムの光学伝達関数（ＯＴＦ）を用いて画像の劣化を補正あるいは低減する処理を画像回復処理と記す。
【０００３】
特許文献１は、複数の光学系による撮影画像の画像回復処理を１つの装置で行う撮像システムを開示している。
特許文献２は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１１４７２号公報
【特許文献２】特登録０４０２０２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１または２に開示された技術では、複数の撮像装置が使用される場合、各撮像装置に対応する回復フィルタ（以下、光学伝達特性フィルタ）を用意する必要がある。この為、撮像装置の数の増加に比例して、必要とされるデータ容量が増加してしまう。
【０００６】
そこで本発明は、画像回復処理に必要なデータ容量を抑えることができるプログラム、画像処理装置、画像処理方法および撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のプログラムは、
画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮像された第１、第２の画像に対して共通に使用される第１光学伝達特性と、第３の画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。
【発明の効果】
【０００８】
本発明は、光学伝達特性の類似性に着目することにより、画像回復処理に必要とされるデータ容量を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの概略構成図
【図２】撮像装置の概略構成図
【図３】情報処理装置の概略構成図
【図４】実施形態１の画像処理システムの説明図
【図５】光学伝達特性に関する説明図
【図６】画像処理手順を示したフローチャート
【図７】画像処理装置の概略構成図
【図８】光学伝達特性フィルタ（回復フィルタ）の説明図
【図９】変形例１の画像処理システムの説明図
【図１０】実施形態２の画像処理システムの説明図
【図１１】実施形態３の画像処理システムの説明図
【図１２】光学伝達特性表現空間の説明図
【図１３】アジムス方向とＰＳＦの対称性の説明図
【発明を実施するための形態】
【００１０】
まず各実施形態の説明を行う前に、光学伝達特性について説明する。光学伝達特性とは、光学系の結像に関する特性（結像特性）である。例えば、点像強度分布（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下ＰＳＦ）、光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、以下ＯＴＦ）、収差（例えば、波面収差）、瞳関数等である。本明細書では、画像回復処理に使用される光学伝達特性フィルタ（回復フィルタ）も結像特性が反映された光学伝達特性の１つとして定義する。以下に、本発明を実施するための形態を、添付の図面に基づいて詳細に説明する。
【００１１】
（実施形態１）
図１は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能（通信可能）な撮像装置を有する画像処理システムの概略構成図である。撮像光学系１０、１２および１４は被写体の像を撮像装置１１、１３、１５のＣＣＤやＣＭＯＳセンサのような撮像素子（受光素子）上に結像する。撮像素子は光学系あるいはそれに準ずるシステムの伝達特性による光学像を画像に変換できるものであればよい。撮像光学系は、カメラ本体（撮像装置本体）に対して一体的に構成された撮像レンズであっても良いし、カメラ本体に対して着脱可能な交換レンズであっても良いが、この実施形態１（図１）では交換レンズとして記載している。実施形態１では、撮像光学系と撮像装置本体を含めて撮像装置１００、１０１および１０２とする。情報処理装置２００は撮像装置１００、１０１および１０２と画像等のデータの送受信を行うことが可能であり、情報処理装置２００は受信（取得）した画像に対して画像回復処理を行い、回復画像を生成する。
【００１２】
次に、撮像装置の概略構成について図２を用いて説明する。この図２中の矢印は主な情報の伝達経路を表している。撮像光学系１０は絞り１０ａやフォーカスレンズ１０ｂを有し、被写体の像（光学像）を撮像素子に結像させる。撮像素子２０２（光電変換素子、受光素子）は被写体の像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等である。撮像素子２０２から出力されたアナログ信号の画像はＡ／Ｄ（アナログデジタル）コンバータ２０３によりデジタル信号の画像に変換される。
【００１３】
画像処理部２０４はＡ／Ｄコンバータ２０３により変換された画像の色づきを補正する処理や、ぼけを低減する処理等の画像処理を行う。表示部２０５は液晶ディスプレイや有機ＥＬディスプレイ等であり、画像処理部２０４で処理された画像、あるいは記憶部２０８、画像記録媒体２０９に記録された画像を表示することができる。撮像光学系制御部２０６は物体距離（被写体距離）に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構等であり、撮像光学系１０の絞り１０ａやフォーカスレンズ１０ｂを制御する。
【００１４】
状態検知部２０７はＦナンバー（絞り径）、焦点距離（ズーム位置）、物体距離等の撮影条件（撮影状態）を検知する。システムコントローラ２１０はこの撮像装置のシステム全体を制御し、記憶部２０８に書き込まれた画像をファイル化して、画像記録媒体２０９に記録する制御も行う。
【００１５】
次に、図１に示した情報処理装置２００の概略構成について図３を用いて説明する。情報処理装置２００のＣＰＵ３１０は、ＲＯＭ等に格納されるプログラムの指示に従って情報処理装置全体の制御や画像処理を行う。記憶手段３２０には画像や光学伝達特性等の各種データを記憶させ、ＣＰＵ３１０は適宜、記憶手段３２０に対して読み込みや書き込みを行う。入力手段３４０はキーボード、マウス等であり、外部からの入力を受け付け実行中のプログラム等に情報や指示を与えるための手段である。出力手段３５０はモニタやディスプレイ等であり、画像処理が行われた画像を適宜表示する。ＣＰＵ３１０、記憶手段３２０、入力手段３４０、出力手段３５０は互いにバス３６０を介して接続されている。尚、ＤＶＤ−Ｒ、ＣＤ−Ｒ等の記録媒体で提供される本発明のプログラムを記憶手段３２０に記憶させ、オペレータの指示によりＣＰＵ３１０がプログラムの指示に従って、情報処理装置２００に画像処理を実行させるように構成してもよい。あるいは、バス３６０に接続されているネットワークＩ／Ｆ３７０が遠隔地に存在する情報処理装置等と通信してプログラムやデータ等を授受しながら、ＣＰＵ３１０が画像処理を行ってもよい。
【００１６】
ここまでで、撮像装置と情報処理装置のそれぞれについて説明を行ってきたが、次に図１で示した画像処理システム全体の処理について図４を用いて説明する。情報処理装置２００と通信可能な撮像装置１００、１０１はポジティブリードタイプの撮像光学系（レンズ）を有する撮像装置であり、撮像装置１０２はネガティブリードタイプの撮像光学系を有する撮像装置である。
【００１７】
まず本発明のプログラムがインストールされた情報処理装置２００は、撮像装置１００が撮像した画像１１０（第１の画像）と、後の画像回復処理に用いられる光学伝達特性フィルタ（回復用光学伝達特性）を特定可能な特定情報１２０を取得する。特定情報とは例えばＥＸＩＦ情報であり、撮像光学系の焦点距離、Ｆナンバー、撮像装置の識別コード等が含まれる撮影条件（撮像装置の違いを含む）を示す情報である。
【００１８】
次に、情報処理装置のＣＰＵ３１０は特定情報１２０により特定される光学伝達特性フィルタＮｏ．１を取得し、画像１１０と光学伝達特性フィルタＮｏ．１の２次元畳み込み演算処理を行うことにより、画像１１０の回復画像１１０Ｒ（不図示）を生成する。この画像回復処理の詳細については後述する。以上の処理により、回復画像１１０Ｒは生成されるが、ＣＰＵ３１０は、上記回復画像１１０Ｒに対して信号処理を行って、該信号処理された画像を出力画像として出力手段３５０に出力してもよい。この信号処理とは例えば、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理、幾何学的な収差補正を行う歪曲収差補正、倍率色収差補正、シェーディング補正等である。
【００１９】
次に、撮像装置１０１と情報処理装置２００について説明する。ＣＰＵ３１０は撮像装置１００と同様に、撮像装置１０１で撮像された画像１１１（第２の画像）と特定情報１２１を取得する。そして、情報処理装置のＣＰＵ３１０は特定情報１２１により特定される光学伝達特性フィルタＮｏ．１を取得し、画像１１１と光学伝達特性フィルタＮｏ．１の２次元畳み込み演算処理を行うことにより、画像１１１の回復画像１１１Ｒ（不図示）を生成する。
【００２０】
従来、開示された技術では、記憶手段には撮像装置Ａ、撮像装置Ｂで撮像された画像を回復処理するために、それぞれの撮像装置Ａ、Ｂに対応する光学伝達特性フィルタＦＡ、ＦＢが記憶されている。一方、実施形態１では、記憶手段３２０に撮像装置１００、撮像装置１０１で撮像された画像１１０、画像１１１に対して共通に利用可能な光学伝達特性フィルタＮｏ．１（第１光学伝達特性）が記憶されている。これにより、画像回復に必要なデータ容量を削減することが可能となる。
【００２１】
本発明者は、光学設計を通して同じようなレンズタイプ、同じようなフォーカスタイプといった類似の構造の撮像装置は、同じ撮影条件で似通った光学伝達特性を示すことを見出した。例えば、ポジティブリードタイプの撮像装置１００、撮像装置１０１の点像強度分布を図５（ａ）、（ｂ）に示すが、これらは同じ傾向を示している。尚、撮影条件が同じでなくとも、同じズームタイプであれば似通った光学伝達特性を示すものもある。例えば、広角端の焦点距離が同じで、異なるズーム比を有する同じズームタイプの撮像光学系である。このような撮像装置は、望遠端の撮影条件が異なっていても似通った光学伝達特性を示す。
【００２２】
つまり実施形態１の発明は、上記光学伝達特性の類似性に着目して成された発明であり、画像を回復するための光学伝達特性を特定する特定情報を取得する。次に、異なる撮影条件により撮像された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する。そして、前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させる。これにより、個々の撮像装置に対応した別個の光学伝達特性フィルタを記憶させるよりも、回復画像の質を保ちつつ、データ容量を削減することを可能としている。
【００２３】
さらに好ましくは、記憶手段３２０に、ズームタイプ、フォーカスタイプ、防振タイプ等のタイプごとにパターン化された光学伝達フィルタを記憶させるのがよい。そうすれば、ネガティブリードタイプの撮像装置１０２が情報処理装置２００と接続された（通信可能になった）場合においても、新たに光学伝達フィルタを増やす必要がない。
【００２４】
以下に、ネガティブリードタイプの撮像装置１０２によって撮像された画像１１２（第３の画像）に対する情報処理装置２００の処理について説明する。
ＣＰＵ３１０は撮像装置１０２で撮像された画像１１２と特定情報１２２を取得する。次に、情報処理装置のＣＰＵ３１０は特定情報１２２により特定される光学伝達特性フィルタＮｏ．２（第２光学伝達特性）を取得する。そして、画像１１２と光学伝達特性フィルタＮｏ．２の２次元畳み込み演算処理を行うことにより、画像１１２の回復画像１１２Ｒ（不図示）を生成する。ここで、光学伝達特性フィルタＮｏ．２（第２光学伝達特性）は、光学伝達特性フィルタＮｏ．１（第１光学伝達特性）とは異なるフィルタ（光学伝達特性）である。
【００２５】
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、１つの画像に対して１つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群（セット）を１つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を１つの画像に対して用いる場合には、ＣＰＵ３１０は、例えば撮像装置１００、１０１で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
【００２６】
また、１つの画像に対して複数の光学伝達特性フィルタを用いる場合、ＣＰＵ３１０は光学伝達特性フィルタを画像の画素ごとに取得しても良い。画素ごとに光学伝達特性フィルタを取得する場合は、１つまたは複数の特定の画素を抽出して、その抽出した画素に対応する光学伝達特性フィルタを取得すれば、全ての画素ごとに光学伝達特性フィルタを取得するよりも処理速度が向上するので好ましい。
【００２７】
さらに、同じタイプのレンズは、同じ撮影条件では画素位置ごとに収差の傾向が似通っている。例えば、ネガティブリードのズームレンズの広角端では像面湾曲が発生するし、高倍率のズームレンズで使用されるポジティブリードのズームレンズの望遠端では軸上色収差が大きく発生する。このように、同じタイプのレンズでは１つの画像の各画素位置において同様な劣化特性を有している場合が多いので、同じタイプごとに使用する各画素位置の光学伝達特性フィルタ（回復フィルタ）のセット（群）を用意することも可能である。これにより、画素位置ごとにフィルタを取得する必要がなくなるので処理の高速化することができる。
【００２８】
また、記憶手段３２０には、プログラムが実行される前に光学伝達特性フィルタが記憶されていてもよいし、記憶されていなくてもよい。後者の場合は、例えば、プログラムが格納された記録媒体に、複数の撮像装置が共通に使用可能な光学伝達特性フィルタを記録しておく。そして、該プログラムがインストールされる情報処理装置あるいは画像処理装置の外部記憶装置に、それら光学伝達特性フィルタを記憶させればよい。
【００２９】
また、実施形態１では、光学伝達特性フィルタそのものが記憶手段３２０に記憶されている形態について説明したが、点像分布関数や光学伝達関数等が記憶されていてもよい。その場合は、点像分布関数や光学伝達関数に対してフーリエ変換や逆フーリエ変換をＣＰＵ３１０が実行し、光学伝達特性フィルタを生成すればよい。尚、本明細書において回復フィルタと光学伝達特性フィルタは同義であり、記述のとおり光学伝達特性は回復フィルタを含む。
【００３０】
では、ＣＰＵ３１０が情報処理装置２００に実行させるプログラムの処理フローについて図６を用いて説明する。まずステップＳ１０（特定情報取得ステップ）において、ＣＰＵ３１０は画像と光学伝達特性フィルタを特定するための特定情報を取得する。続いて、ステップＳ２０（光学伝達特性取得ステップ）において、ＣＰＵ３１０は特定情報が特定する光学伝達特性フィルタ（光学伝達特性）を取得する。続いて、ステップＳ３０（回復ステップ）において、ＣＰＵ３１０は光学伝達特性フィルタをステップＳ１０で取得した画像に対して実空間上で畳み込む処理を実行する。尚、必ずしもステップＳ１０において回復対象の画像を取得する必要はなく、ステップＳ３０において、あるいはステップＳ３０の前工程において回復対象の画像を取得してもよい。尚、先に説明した信号処理を実行するステップは、必要に応じて適宜実行されれば良いので、信号処理のステップは含めずに説明した。
【００３１】
また、実施形態１では情報処理装置のＣＰＵ３１０がプログラムの指示に従って各ステップを実行する形態について説明したが、各ステップ又はその一部をハードウェアで構成しても本発明の効果を得ることができる。図７に、画像処理装置を例にハードウェアで構成する場合の概略構成図を示す。画像処理装置７００と通信可能な撮像装置の説明は図４における説明と重複するので割愛する。
【００３２】
画像処理装置７００は、光学伝達特性取得手段７１０、画像回復手段７２０、信号処理手段７３０、記憶手段７５０を有する。まず、画像処理装置７００は、回復対象となる画像と光学伝達特性フィルタを特定可能な特定情報を取得する。光学伝達特性取得手段７１０は記憶手段７５０から特定情報が特定する光学伝達特性フィルタを記憶手段７５０から取得する。画像回復手段７２０は取得された光学伝達特性フィルタと画像を畳み込むことにより回復画像を生成する。信号処理手段７３０は、回復画像に対してデモザイキング等の画像処理を行う。以上の各手段により、所望の回復画像を得ることができる。
【００３３】
以上のような画像処理システムを使用するその他の例としては、情報処理装置２００のＣＰＵ３１０に替えてプリンタに搭載された演算処理部を使用することでプリント時に画像回復処理を実行することも可能である。
【００３４】
以上の説明のとおり発明者は、撮像装置の分類に応じて光学伝達特性にも類似性（似通った結像特性を示す）があることに着目した。その着眼点により成された発明によれば、類似した光学伝達特性を代表する光学伝達特性（代表光学伝達特性）を予め記憶手段に記憶させ、その光学伝達特性を用いて回復処理を行うことにより、データ容量を削減しつつ、良質な回復画像を得ることができる。
【００３５】
尚、特定情報は、回復処理で用いる光学伝達特性を特定することが可能な情報であれば良いため、撮影条件そのもの、或いは撮影条件の一部であっても構わない。撮影条件としては、焦点距離、Ｆｎｏ、物体距離、像高、撮像装置を識別可能な情報、光学系を識別可能な情報、ズーム位置、物体距離に対するフォーカス状態、絞りの状態、防振レンズのレンズ位置、レンズ群の数、レンズの構造に関する情報等が挙げられる。さらに、撮像装置の撮像素子の画素によって開口特性も変化するので、この撮像素子に関する情報を特定情報として使用しても良い。あるいは、撮像装置ごとに異なるローパスフィルタを使用している場合には、これに関する情報も光学伝達特性を特定する特定情報として使用することができる。
【００３６】
また、実施形態１では撮像装置が直接的に光学伝達特性を特定するための特定情報を出力したが、ＣＰＵ３１０が撮像装置の情報や撮影条件そのものの情報から光学伝達特性を特定できる情報を生成して特定情報として使用しても良い。この場合、特定情報は撮像装置側で生成してもよいし、画像処理装置側で生成しても良い。また、これらの特定情報は、画像の一部に付加しても良いし、別の機器やネットワーク上を介して特定情報を取得してもかまわない。
【００３７】
また、実施形態１はＣＰＵが記憶手段に記憶された光学伝達特性フィルタの中から、特定情報によって特定される光学伝達特性フィルタを取得する方法について記載したがこれに限られない。例えば、記憶手段に、特定情報と記憶手段に格納された光学伝達特性フィルタのアドレスを対応させるルックアップテーブル（ＬＵＴ）を記憶させる。そして、ＣＰＵがルックアップテーブルを参照し、特定情報に対応した光学伝達特性フィルタを取得してもよい。つまり、本明細書の特定情報とは直に光学伝達特性を特定する情報であってもよいし、間接的に光学伝達特性を特定する情報であってもよい。
【００３８】
また、実施形態１では撮像光学系と撮像装置本体が別体の場合について説明したが、レンズと撮像素子が一体のコンパクトカメラ等にであってもよい。
また、実施形態１では情報処理装置のＣＰＵ３１０が全てのステップを実行する形態について説明したが、撮像装置、情報処理装置のそれぞれのＣＰＵが一部のステップを実行しても、本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
【００３９】
ここで、本発明が扱う画像（画像データ）について簡単に説明する。本発明が扱う画像は、例えばＲＧＢの色成分や、色空間により表現される複数の成分を有している。色空間で表現される成分とは、例えば、ＬＣＨで表現される明度、色相、彩度や、あるいはＹＣｂＣｒで表現される輝度、色差信号等である。
【００４０】
画像は、各画素に１つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理（デモザイキング処理）して画素ごとに複数の色成分の信号値を有するデモザイク画像でも良い。このモザイク画像は色補間処理（デモザイキング処理）やガンマ変換と呼ばれる信号値変換やＪＰＥＧで知られる画像圧縮などの諸々の画像処理を行う前の画像として、ＲＡＷ画像とも呼ばれている。特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して上記のような各画素に１つの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。一方、多板、例えば３板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を得る。この場合、各撮像素子間で対応する画素ごとにそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
【００４１】
また画像には、レンズの焦点距離、絞り、物体距離などの撮影条件を付帯することができる。撮像から出力までの一連の処理を１つの閉じた撮像装置で行う場合には、画像に撮影条件を付帯しなくとも装置内で取得することができる。その場合は、例えば状態検知部２０７（図２）などから特定情報を取得することができる。しかし、撮像装置からＲＡＷ画像を取得し、別体の画像処理装置あるいは情報処理装置で所望の画像処理、信号処理を行う場合には、画像に撮影条件の情報を付帯することが好ましい。
【００４２】
では次に、既出の画像回復処理の概要について説明する。画像回復とは、画像に現れる収差を低減させる処理であり、収差とは、例えば撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等である。これら収差により、本来は一点に結像すべき像（点像）が、広がりのあるぼけた像として撮像素子（受光素子）上に形成されてしまう。この収差によるぼけは、光学的には点像分布関数（ＰＳＦ）あるいは点像強度分布により表わされる。
【００４３】
元の画像をｆ（ｘ，ｙ）、撮影画像（劣化画像）をｇ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、以下の式が成り立つ。ただし、＊は畳み込み積分を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（式１）
実施形態１では、元の画像ｆ（ｘ，ｙ）は回復画像、撮影画像ｇ（ｘ，ｙ）は撮像装置から出力される画像に対応する。式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように式１の右辺はそれぞれの周波数の積で表わされる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）
式２のＨ（ｕ，ｖ）は点像強度分布関数ｈ（ｘ，ｙ）をフーリエ変換したものであり、言い換えれば光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ），ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
撮影画像Ｇ（ｕ，ｖ）から回復画像Ｆ（ｕ，ｖ）を得るためには、式２の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間（実面）に戻すことで、回復画像ｆ（ｘ，ｙ）が得られる。
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）とすると、式３は式４に書き換えることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（式４）
つまり、式４で表わすように実空間の撮影画像にＲ（ｘ，ｙ）を畳み込み積分処理を行うことで回復画像を得ることができる。
【００４４】
このＲ（ｘ，ｙ）が回復フィルタ（光学伝達特性フィルタ）である。一般的にこの回復フィルタは画像が２次元のとき、図８（ａ）に示したように画像の各画素に対応したタップ（セル）を有する２次元のフィルタとなる。また、回復フィルタのタップ数は一般的に多いほど回復精度が向上するので、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数を設定すればよい。この回復フィルタは収差の特性を反映している必要があるため、従来の縦横３×３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは性質が異なる。
【００４５】
図８（ｂ）は（ａ）の回復フィルタの断面図であり、横軸はタップ、縦軸はタップの値である。この各タップが持つ値（係数値）の分布が、収差によって空間的に広がった信号値を元の１点に戻す役割を果たしている。この回復フィルタの作成する方法としては、例えば撮像光学系の光学伝達関数（ＯＴＦ）を計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得る方法がある。
【００４６】
尚、光学伝達特性には撮像光学系のみならず、撮像の過程で光学伝達特性に影響を与える要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタの特性や光源の撮像素子の開口形状や各種波長フィルタの分光特性が挙げられる。複屈折を有する光学ローパスフィルタは光学伝達特性の周波数特性に対して高周波成分を抑制するものであるし、撮像素子はその傾きにより撮像素子上でのぼけ像が変化するので伝達特性を変化させる要因の１つである。これらを含めた広義の光学伝達特性に基づいて、画像回復処理を行うことがより望ましい。
【００４７】
また、実空間において、回復フィルタを画像に対して畳み込み処理することの利点は、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行う必要がないのでより高速な処理が可能な点にある。図８（ａ）に示したフィルタは正方配列（縦と横のタップ数が同じ）のフィルタであるが、これに限られず、回復フィルタの縦横のタップ数は任意に変更することができる。
【００４８】
以上、理想的な回復フィルタについて式を用いて説明したが、実際の画像にはノイズ成分があるため上記のような光学伝達関数（ＯＴＦ）の逆関数に基づいた回復フィルタを用いると、回復とともにノイズ成分が増幅されてしまう。ノイズ成分の増幅を抑制するには、例えばウィナーフィルタのような応用的な回復フィルタを用いてもよい。
【００４９】
尚、画像回復処理を行う際に、回復の対象とする収差は特に限られないが、画像回復処理が回復の対象とする収差はザイデル収差（球面収差、コマ収差、非点収差、像面湾曲、歪曲収差）のうち、球面収差、コマ収差、非点収差、像面湾曲とする。歪曲収差のような幾何学的に大きな補正量を必要とする収差は対象としないことが好ましい。なぜならば、幾何学的な補正量が大きくなると、回復フィルタの係数値の変動が激しくなり、回復画像にリンギング等の好ましくないアーティファクトが現れやすくなるからである。
【００５０】
画像回復処理が行う回復の対象を球面収差、コマ収差、非点収差、像面湾曲とすることによるその他の効果は、２次元データである回復フィルタに歪曲収差補正を行う成分を含めるよりもデータ量を減らすことができるという効果が得られる。理由は、幾何学的な歪曲収差補正を行うのに必要なデータは画像の伸縮度合を表す１次元データであればよいので、２次元データである回復フィルタに歪曲収差を補正する成分を含めるよりもデータの容量を減らすことができるからである。実施形態１のように、様々な収差を持つ画像に対して、特定の画像処理装置で画像回復処理を行うような場合は、特に有効である。
【００５１】
また、以上説明した画像回復処理は撮像光学系を持たない装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置である。これらはレンズに代表される撮像光学系を有さないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は装置の伝達特性（伝達関数）であるので、撮像光学系によるものではないが、上記の光学伝達特性に相当するものである。したがって、撮像光学系を有さずとも、伝達特性に基づいて回復画像を生成することができる。
【００５２】
（変形例１）
実施形態１の変形例について図９を用いて説明する。変形例１では、光学伝達特性補正手段９５０が、光学伝達特性取得手段９３０により取得された光学伝達特性フィルタに対して演算を行うことにより、実際の撮影条件に対応した理想的な回復フィルタにより近い補正回復フィルタ（補正光学伝達特性）を生成する。変形例１では実施形態１と異なり、各処理の主体を異なる手段が行うものとして記載しているが、画像処理装置９９０内の演算部が各処理を行ってもよい。
【００５３】
光学伝達特性取得手段９３０は、撮像装置により取得された画像の画素ごとの補間演算処理を行う為に、画像の各画素の中から特定の画素を選択する。選択する画素数は複数であってもよいし、単数であってもよい。また。特定の画素は、各撮影条件で共通の画素位置を決めて、その画素位置を選択しても良いし、ＥＸＩＦ情報等の特定情報を元に選択する画素位置を変化させても良い。次に、光学伝達特性取得手段９３０は、選択された特定の画素に対応する光学伝達特性フィルタ（以下、回復フィルタ）を取得する。このように、特定の画素に対応する回復フィルタを取得することにより、１画素ごとに回復フィルタを取得するステップを全画素に対して繰り返す場合に比べ処理速度が向上させることができる。
【００５４】
次に光学伝達特性補正手段９５０は、特定の画素ごとに取得された回復フィルタを使用して任意の画素位置の回復フィルタをバイリニア補間により生成する。補間によって生成された補正回復フィルタを用いることにより、画像回復の精度を向上させることができる。なぜならば、一般的に、補間によって生成された補正回復フィルタは、補間前の特定の画素ごとに取得された回復フィルタよりも、実際の光学伝達特性に近い回復フィルタになるからである。
【００５５】
そして、画像回復手段９６０は、光学伝達特性補正手段９５０により補正された補正回復フィルタと画像との２次元畳み込み処理（演算）を行ことにより回復画像を生成する。信号処理手段９７０は、回復画像に対して各種信号処理を行い、出力画像を出力する。
上記のような処理を行うことにより、あらかじめ記憶しておくデータ量を少なくおさえつつ画像回復精度を向上させることができる。
【００５６】
既に、補間演算として、画像の特定の画素に対して回復フィルタを取得し、第１の特定の画素と第２の特定の画素との間の画素における補正回復フィルタを生成する処理について説明した。一般的に、光学系を介して取得された画像は、画像の中心から画像の周辺に向かって画像の劣化度合い（収差）が大きくなる。特に画像の周辺部では、コマ収差、非点収差や像面湾曲が大きく発生する。このため、補間演算に使用する回復フィルタは、画面内に均等に分布した特定の画素に対する回復フィルタを用意するよりも、画像の中央部よりも周辺部により細かく分布した特定の画素に対する回復フィルタを用意する。これにより、より精度の高い画像回復が可能となる。
【００５７】
１画面内の１／４領域における回復フィルタの数としては５から６０程度が好ましい。この下限値を下回ると、光学伝達特性補正手段による演算後の補正回復フィルタと理想的な回復フィルタの差異が大きくなり画像回復精度が低下してしまう。また、上限を上回ると演算手段が演算する量が増える（回復フィルタの取得回数が増える）ので処理速度が低下する。つまり、収差が大きく表れる（収差量が大きく変化する）領域には、より多くの回復フィルタが必要とされる。そこで本発明は、記憶領域にはあらかじめ記憶しておく回復フィルタとして、点像強度分布の広がりが大きいものを中心に用意する。この工夫により画像回復の回復精度と処理速度が向上される。上記説明では、撮像光学系の回転対称性（線対称性）を考慮して画像の１／４領域に対応する回復フィルタを用意したが、これに限られない。
【００５８】
上記補間演算としてはその他に、線形補間、バイリニア補間、バイキュービック補間等、処理速度と補間精度に応じて、任意の補間演算を用いることができる。補間演算の種類を決定する補間演算決定手段を設けてもよい。補間演算の種類は、補間処理の精度と演算に必要とされる時間の兼ね合いで決定される。例えば、補間処理の精度を優先させたい場合は、バイキュービック補間を選択し、処理速度を優先させたい場合はバイリニア補間を選択する。
【００５９】
また、既に第１の特定の画素と第２の特定の画素との間の画素における回復フィルタの値を補間処理により求める補間演算については説明したが、画素位置に限らず補間演算を行ってもよい。例えば、焦点距離、Ｆｎｏ、物体距離、防振状態（防振レンズ群のシフト、チルト状態）に関して補間演算を行ってもよい。例えば、焦点距離に関しては光学系のワイド端からテレ端までの離散的な焦点距離の中から特定の焦点距離を選択する。次に選択した焦点距離の光学伝達特性を取得する。撮影情報に含まれる焦点距離が上記の特定の焦点距離に含まれる場合には取得した光学伝達特性を使用して画像回復を行う。含まれない場合には、そのワイド側、テレ側にある特定の焦点距離の光学伝達特性を使用して補間によって撮影焦点距離の光学伝達関数を作成し、これを使用して画像回復を行う。
【００６０】
上記は焦点距離の１軸に関する補間であるが、離散的な焦点距離、Ｆｎｏ、物体距離、防振状態をそれぞれ軸とする空間において、特定の座標の光学伝達特性を使用して任意の座標の光学伝達特性を作成してもよい。例えは、３次元空間（焦点距離、Ｆｎｏ、物体距離）の場合には、任意の座標を取り囲む特定の座標の光学伝達特性を使用して平面補間することにより任意の座標の光学伝達特性を作成することが出来る。
【００６１】
また、補間演算以外に、光学伝達特性補正手段９５０が回復フィルタに対する演算を行う他の演算としては、光学伝達特性取得手段９３０が取得した各回復フィルタに補正を行う演算が挙げられる。例えば、回復フィルタの値を比例倍する演算が挙げられる。この演算は回復フィルタの回復後の画像の輝度レベルを変えることができるので、ホワイトバランスを調整したい場合等に利用することができる。
【００６２】
また、他の演算として、光学伝達特性取得手段９３０で取得された回復フィルタに、別の回復フィルタをコンボリューション（畳みこみ積分）すれば、両方の回復フィルタの作用を複合的に持つような回復フィルタを作成することも可能である。
【００６３】
また、他の演算として、特定の画素に対応した回復フィルタを使用して、補正回復フィルタを得る関数化演算が挙げられる。関数化演算は離散的な画素位置の回復フィルタを使用して、画素位置を変数として持つ関数の係数をフィッティングにより求める。この関数に任意の画素位置を代入することにより、その位置における回復フィルタを生成することができる。この演算は一度関数を作成してしまえば、それ以降変数代入するのみで回復フィルタが生成できるので、処理時間の短縮に有効である。
【００６４】
より具体的に関数化演算について説明する。光学伝達特性取得手段９３０により取得された回復フィルタを元に、各画素位置を変数とする関数化演算を実行する。まず、回復フィルタを複数の画素位置に対して取得する。これは各撮影条件で共通の画素位置を決めておいても良いし、特定情報を元に画素位置を変化させても良い。取得された回復フィルタは決められた画素位置ごとに取得されるので、これらの回復フィルタを使用して画素位置を変数として持つモデル関数でフィッティングする。以後、このモデル関数をフィッティング関数と記す。この関数に任意の画素位置を代入することにより、その位置における回復フィルタを生成することができる。任意の画素位置においてフィッティングされた回復フィルタは、記憶領域にあらかじめ記憶された離散的な回復フィルタの内、画素位置に最近傍の回復フィルタよりも実際の回復フィルタに近いものになる。その結果、画像回復処理の精度は向上する。フィッティング関数を用いれば、各画素の回復フィルタは関数に画素位置を代入することによって決定されるので、ＣＰＵ等の処理能力が高くない場合においても、高速に画像回復処理を行うことが可能となる。また、焦点距離、物体距離、Ｆｎｏ、防振レンズ位置に関してもこの処理を実行することも可能である。
【００６５】
上記の演算は一例であり、本発明の演算は、光学伝達特性取得手段９３０で取得された回復フィルタを理想的な回復フィルタに近づけたり、処理速度を向上させたりするため行うものであれば、上記演算に限られない。
【００６６】
（実施形態２）
以下図１０を参照して、実施形態２について説明する。実施形態２は一連の処理を撮像装置内で行う形態である。実施形態１と異なる点は、特定情報がフォーカスタイプを識別可能な情報である点と、フォーカスタイプごとに適当な光学伝達特性フィルタが記憶部に格納されている点である。
【００６７】
実施形態２の撮像装置に付けられた撮像光学系は不図示のネガティブリードタイプのリアフォーカスレンズ（第１の撮像光学系）である。撮像装置の記憶部２０８には、異なるネガティブリードタイプのリアフォーカスレンズ（第２の撮像光学系）が撮像装置に対して取り付けられても、良好に回復画像が生成可能な光学伝達特性フィルタ群Ｎｏ．１（第３の光学伝達特性）が記憶されている。加えて、複数のネガティブリードタイプのフロントフォーカスレンズ（第３の撮像光学系）に対応した光学伝達特性フィルタ群Ｎｏ．２が記憶されている。尚、この光学伝達特性フィルタ群Ｎｏ．１、Ｎｏ．２は複数のフィルタが１セットになったフィルタ群である。
【００６８】
フィルタは２次元のデータなので大量に保持することは困難である。もちろん、多くのフィルタを保持することができれば、回復の精度を向上させることは可能であるが、撮像装置など限られたメモリ容量に効率よくフィルタを記憶させるのには、工夫が必要である。そこで発明者は実施形態１と同様に、レンズのフォーカスタイプごとに光学伝達特性が類似しているという様々な光学設計を通しての知見を活かし、フォーカスタイプが同じなら、レンズの識別コード等が異なっていても同一のフィルタを利用する撮像装置を発明した。これにより、回復画像の画質の低下を抑えつつ、画像回復に必要なメモリの容量を削減することができる。特に、撮像装置の場合はメモリの容量が情報処理装置に比べて限られる場合が多いので有用である。
【００６９】
尚、好ましくは焦点距離、Ｆｎｏおよび撮影距離の撮影条件と、その撮影条件における像高ごとに複数のフィルタを記憶させておくのがよい。
【００７０】
以下に、図１０の撮像装置の動作について説明する。まず、撮像装置１００のネガティブリードタイプのリアフォーカスレンズにより撮像された画像ａ２と交換レンズのメモリに記憶された交換レンズのフォーカスタイプを識別する情報を特定情報ａ１として取得する。尚、実施形態２において、撮像装置がコンパクトカメラなどの光学系と一体のものであるならば、コンパクトカメラのメモリに予め記憶されたフォーカスタイプの情報を特定情報として用いてもよい。もちろん、実施形態１のようなシステムでは、画像に付帯されたＥＸＩＦ情報にレンズのフォーカスタイプの情報を撮像装置が書き込めばよい。
【００７１】
そして、撮像装置１００は画像処理部２０４において、特定情報ａ１を参照し記憶部２０８から光学伝達特性Ｎｏ．１を取得する。次に、撮像装置は画像ａ２に対して光学伝達特性フィルタＮｏ．１を畳み込むことにより回復画像を生成する。最後に、撮像装置はデモザイキング等のカメラ信号処理を回復画像に対して行うことにより出力画像ａ３を出力する。尚、回復処理、カメラ信号処理の順番は変えてもよい。
【００７２】
尚、記憶部２０８には、光学伝達特性フィルタ群Ｎｏ．１の中のフィルタは、複数のネガティブリードタイプでリアフォーカスタイプのレンズの光学伝達特性フィルタを平均したフィルタを記憶させるのが好ましい。これにより、様々なネガティブリードタイプのリアフォーカスレンズで撮像された画像を回復する場合において、理想的な光学伝達特性フィルタとのずれが小さくなるので、精度が向上する。
撮像装置１００にネガティブリードタイプのフロント（前玉）フォーカスレンズが上記リアフォーカスタイプの交換レンズに変えて付けられたとしても、処理は同じである。
【００７３】
また、撮像装置は、撮像装置内で取得された光学伝達特性フィルタに対して補正処理を実行してもよい。
【００７４】
尚、撮像装置の記憶部２０８に記憶させる光学伝達特性は、２次元の画素データを持つフィルタに限られず、光学伝達関数や点像強度分布関数、波面収差と瞳関数等であってもよい。ただし、撮像装置内のメインメモリの容量（ＲＡＭの容量）が小さい場合は、容量の大きい情報処理装置のような高速な処理が行えないため、記憶部２０８が記憶するデータは、光学伝達特性フィルタであることが好ましい。記憶されている光学伝達特性がフィルタであれば、画像回復処理を実行する際にフーリエ変換等の計算量の多い演算を行う必要がないので、高速な処理が可能となる。
【００７５】
尚、本明細書におけるフィルタ群とは１画像に対して適用される１セットのフィルタ群のことであり、複数のフィルタ群とはそのセットが複数セット、記憶部に記憶されているということである。
【００７６】
（実施形態３）
図１１を参照して、第３の実施形態として本発明のプログラムがインストールされた画像処理システムについて説明する。実施形態３の画像処理システムは、記憶手段８６０を外部装置８８０に有する点と、記憶手段８６０に記憶されている光学伝達特性が回復フィルタそのものではない点が実施形態１と異なる。
撮像装置１、２はネガティブリードタイプの撮像光学系を有する撮像装置である。撮像装置３はポジティブリードタイプの撮像光学系を有する撮像装置である。
【００７７】
記憶手段８６０にはあらかじめ光学伝達関数の類似性に基づいて撮像装置１と撮像装置２が共通に使用可能な光学伝達関数Ｎｏ．１（光学伝達特性）と撮像装置３に対応した光学伝達関数Ｎｏ．２（光学伝達特性）が記憶されている。
【００７８】
ここで、記憶手段８６０の光学伝達関数の保持の仕方について説明する。記憶手段８６０には、複数の光学伝達特性表現ベクトルを持った光学伝達特性表現空間の中に離散的に配置された光学伝達特性が記憶されている。ここで、光学伝達特性表現ベクトルとは光学伝達特性の性質を表現できるベクトルである。
【００７９】
光学伝達特性表現ベクトルとして、以下のような例が挙げられる。
【００８０】
収差的な観点から見ると、ある撮影条件における結像特性は、球面収差成分や非点収差成分、コマ収差成分等の足し算で表現できる。これを数式的に記述したものがツェルニケ多項式であり、直交座標空間により表現される波面収差として知られている。
【００８１】
また、収差を点像強度分布（ＰＳＦ）の観点で見ると、球面収差は点像強度分布の回転対称な広がり成分、非点収差は点像強度分布の直交する２つの方向（例えはメリジオナル方向とサジタル方向）のアスペクト比成分として表現できる。
【００８２】
また、コマ収差は線対称な点像強度分布の対称軸内の非対称成分として表現できる。非対称成分の基準点としては、例えば、光束の中心を通る光線と撮像面の交点、絞りの中心を通る光線と撮像面の交点、あるいは、点像強度分布の重心等が挙げられる。コマ収差が発生している点像強度分布の例を図１３に示す。コマ収差は、ｘ１軸に関して非対称、ｘ２軸に関して対称である。図１３中のｘ１、ｘ２は像面上の点像分布強度の中心を通り直交する座標軸を、θはｘ１軸を基準としたときのアジムス角を示している。点像強度分布の中心とは基準波長の主光線と像面の交点、あるいは基準波長の点像の重心である。
【００８３】
また、倍率色収差は異なる色成分の点像の重心ズレ成分として表現できる。成分とは例えばＲ、Ｇ、Ｂ等の色の成分である。
【００８４】
このような収差あるいは点像強度分布に基づいた表現を光学伝達特性表現ベクトルとして定義している。また、光学系が２倍の大きさになれば、点像の大きさも２倍になるので、点像の大きさを比例倍で規定する成分も光学伝達特性表現ベクトルの１つとして定義できる。
【００８５】
図１２に光学伝達特性表現空間を模式的に示す。図１２（ａ）は、球面収差成分、非点収差成分、コマ収差成分を各座標軸として、光学伝達特性を表現した空間の模式図である。非点収差がほぼ零に近いときの非点収差成分とコマ収差成分の軸に平行な断面の一部を示したのが図１２（ｂ）であり、横軸がコマ収差成分、縦軸が非点収差成分、そして離散的に配置された点像強度分布（ＰＳＦ）を示している。
【００８６】
記憶手段８６０には、光学伝達特性表現空間中の各点（黒丸）に対応する点像強度分布（光学伝達特性）が記憶されている。もちろん、格子点から外れた位置の状態に対応する光学伝達特性を記憶させても構わない。
【００８７】
このような光学伝達特性表現ベクトルを用いることにより、記憶手段８６０が、各撮像装置がとり得るすべての光学伝達特性に対応した回復フィルタを記憶しておかなくてもよい。つまり、代表点（特定の光学伝達特性）の中から近接点を選択し、その近接点の光学伝達特性から回復フィルタを生成すればよい。例えば、撮像装置の光学伝達特性が図１２の大きな白丸で示した点である場合、記憶領域に記憶された光学伝達特性のうち、実際の光学伝達特性の点から最小距離に位置する光学伝達特性（図１２（ａ）の小さい白丸）に基づいて回復フィルタを生成すればよい。あるいは、代表点と代表点を補間すればよい。これにより実際の光学伝達特性に対応する光学伝達特性を生成することが出来るので、各撮影条件に対応した回復フィルタを各々記憶する場合に比べ、データ量を削減できる。
【００８８】
尚、格子の分割数は、特定の座標軸に関して、その最小値（零）から最大値までを３分割から２０分割する程度が望ましい。分割数（離散値の数）が３を下回ると予め記憶する光学伝達特性と実際の撮影条件あるいは撮像装置の光学伝達特性の差異が大きくなり、画像回復の効果が低減してしまう。また、分割数が２０を超えると、予め記憶する光学伝達特性の数が多くなり、データ容量の削減効果が低くなってしまう。
【００８９】
尚、図１２（ａ）は３つのパラメータ（球面収差、コマ収差、非点収差、）により表わされる３次元の光学伝達特性表現空間としたが、例えば、倍率色収差成分等を加えた４つ以上の状態を表した４次元以上の光学伝達特性表現空間としてもよい。４つ以上の収差成分を軸として光学伝達特性を表現した空間とすることで、より高精度に画像回復を行うことができる。
【００９０】
以上説明したような、光学伝達特性表現空間を定義しておけば、同じ光学伝達特性の重複を抑制できるとともに、想定し得る光学伝達特性を網羅した光学伝達特性表現空間が構築できるため、効率的に画像処理システムのデータ容量を削減することができる。これにより、画像処理システムのデータ量を小さく抑えながらも、効率的に画像回復の効果を得ることが可能となる。
【００９１】
実施形態３においては、光学伝達特性として点像強度分布を用いる形態について説明したが、記憶手段８６０に記憶されている光学伝達特性は実施形態１のように回復フィルタそのものであっても良い。あるいは、撮像装置の撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであればよい。
【００９２】
再び図１１の説明に戻る。撮像装置１からの特定情報８０２ａは記憶手段８６０の光学伝達特性表現空間の座標として与えられる。光学伝達特性取得手段８１０はこの特定情報を外部装置８８０に渡し、記憶領域内の光学伝達関数から、指定の座標に対応する光学伝達関数を取得する。この際、外部装置に演算部があれば特定された光学伝達関数に対して補間処理を行った光学伝達関数を取得してもよい。
【００９３】
例えば、図１２（ａ）中の大きな白丸で示した状態が特定情報で指定された座標であるとする。特定情報で指定された座標またはその近傍の格子点に対応する光学伝達特性が存在する場合には、その格子点の光学伝達特性を取得して画像回復処理に用いることができる。
【００９４】
特定情報が指定する座標またはその近傍（または、最も近い）に光学伝達特性の存在する格子点が存在しない場合には、特定情報で指定した座標から最も近い位置に存在する光学伝達特性に対して補間処理を行って、上記の座標での光学伝達特性を取得する。補間処理を行うことで、撮像装置の実際の光学伝達特性と特定情報が指定した光学伝達特性の差異をより小さくでき、より精度の高い画像回復処理を行うことができる。
【００９５】
その他の方法として、特定情報で指定された座標と予め格納された光学伝達特性の光学伝達特性表現空間中の距離を算出し、最も距離の短いものを取得すればよい。
あるいは、光学伝達特性表現空間中の方向による重み付けを行い、光学伝達特性表現空間中の距離と方向ウェイトの積を評価関数として、その評価関数に基づいて補間処理のための光学伝達特性を取得することもできる。
【００９６】
その他の方法として例えば、記憶領域に格納される光学伝達特性に識別番号を割り振っておいて、特定情報として入力される識別番号と一致する光学伝達特性を取得する。あるいは、画像に付加（付帯）される特定情報を記憶領域上のアドレスと関連させ光学伝達特性を取得する方法も考えられる。あるいは複数の画像を解析して、光学伝達特性を取得してもよい。
【００９７】
このように光学伝達特性取得手段は、特定情報が特定する光学伝達特性を取得することであり、この目的を達成する方法であれば、上記の方法に限定されず種々の方法をとることが可能である。
【００９８】
そして、回復フィルタ生成手段８２０は光学伝達特性取得手段８１０が取得した光学伝達関数である場合、の逆フーリエ変換を行い、回復フィルタを生成する。光学伝達特性が点像強度分布や光学伝達関数、波面収差で与えられている場合には、フーリエ変換や逆フーリエ変換を行うことにより回復フィルタを生成することができる。
【００９９】
一方、撮像装置から得られた画像に対してカメラ信号処理８４０ａを行った画像に対して、回復フィルタ生成手段が生成した回復フィルタを使用して画像回復処理８３０が行われる。そして、画像処理装置８７０は、画像回復処理８３０により得られた回復画像に再びカメラ信号処理８４０ｂを行い、画像を出力する。
【０１００】
以上の処理が、撮像装置２、撮像装置３に対しても行われる。主要な処理のフローは図７に示したものと同じであるので説明は割愛する。
【０１０１】
本発明は、各撮像装置のレンズタイプ、あるいはフォーカスタイプにより各撮像装置の光学伝達特性に類似性（似通った結像特性を示す）があることに着目した。そして、類似した光学伝達特性を代表する回復フィルタを予め記憶手段に記憶させることにより、データ容量を削減することを可能としている。そして、光学伝達特性取得手段が、特定情報が特定する光学伝達特性を取得し、該取得された光学伝達特性に基づいて画像回復を行うことで、データ容量を削減しつつ、良質な回復画像を得ることを可能としている。
【０１０２】
実施形態３で説明したように、光学伝達特性が回復フィルタそのものではない場合には、回復フィルタ生成手段８２０によって、光学伝達特性の基づいた回復フィルタが生成される。この回復フィルタの生成にはフーリエ変換や逆フーリエ変換等の演算を使用しても良い。あるいは、光学伝達関数に対応する回復フィルタを一対一で記憶手段８６０、あるいは他の記憶領域に記憶しておき、その回復フィルタを使用してもよい。
【０１０３】
尚、予め記憶された光学伝達特性を補間して画像回復処理に使用する光学伝達特性とする場合は、点像強度分布や光学伝達関数を使用すると補間精度を向上させることができる。この理由について再度図８を用いて説明する。図８（ａ）は１１×１１タップの回復フィルタの模式図である。図８（ｂ）が示すように、回復フィルタは各タップ間の変動が激しいが、点像強度分布は図５（ａ）、（ｂ）に示したように強度の変動が滑らかである。光学伝達関数も同様に強度の変動が滑らかである。この理由にから、補間処理を行う場合には点像強度分布や光学伝達関数を使用すると、補間精度を向上させることができる。
【０１０４】
但し、補間処理に点像強度分布や光学伝達関数を使用する場合には、フーリエ変換や逆フーリエ変換を行って、回復フィルタに変換することが必要となる。このため処理に時間を要するが、フーリエ変換や逆フーリエ変換を行うことで、回復度合いに応じた回復フィルタを作成することが可能になる。一方、光学伝達特性として回復フィルタそのものを使用する場合は、フーリエ変換や逆フーリエ変換は行わなくて良いので高速な処理が可能であるが、前述のように画像回復処理の精度が落ちるので、精度と処理時間との兼ね合いが重要になる。
【０１０５】
また、光学伝達特性をベクトルではなく、Ｆ（ｘ，ｙ，ｚ）で光学伝達特性が表現できるような関数でもつことも考えられる。しかしながら、この場合に比べて、本実施形態で示したように光学伝達特性をベクトル（表現）として記憶する方が、データ量をより少なくすることができる場合が多いのでより好ましい。理由は、関数で作成した場合、精度によっては関数が複雑になり、データ量が多くなる場合があるからである。
【０１０６】
尚、外部の記憶手段としては外部装置のストレージ領域やネットワーク上の領域を使用することも可能である。
【０１０７】
その他の実施形態として、同じ撮像装置内であっても撮影条件によっては、その撮影条件における光学伝達特性に類似性を有する場合があるので、そのような場合は同じ光学伝達特性フィルタを用いて画像回復を行うという形態も可能である。この場合は、撮像装置内の記憶手段に、異なる撮影条件（特定情報）が同じ光学伝達特性を特定するような対応テーブルを記憶させると良い。また、互いに異なる複数の撮影条件の差（特定情報の差）がある範囲内であれば、同じ光学伝達特性を取得させるようにプログラムを構成してもよい。
【０１０８】
従来の技術では、撮像光学系の撮影条件によって変化する光学伝達特性に応じた画像回復を行うためには、予め各撮影条件に対応した大量のデータを記憶させておかなければならない。例えば、撮像光学系のズームポジション（焦点距離）、物体距離、絞り、画面内の各画素位置（像高）、防振レンズの位置等の撮影条件ごとに回復フィルタを大量に保持（記憶）しなければならない。しかし、この実施形態のように、異なる撮像条件であっても、その撮像条件における光学伝達特性に類似性があるならば、同じ光学伝達特性フィルタを使用して画像回復を行うことで、光学伝達特性フィルタに必要とされるデータ容量を削減することができる。
【０１０９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限
定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１１０】
１００、１０１、１０２ 撮像装置
２００ 画像処理装置
３１０ ＣＰＵ
３２０ 記憶手段
【技術分野】
【０００１】
本発明は、画像の回復（復元）処理を行うプログラム、画像処理装置、画像処理方法および撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置の撮像光学系の収差の影響があらわれた画像（劣化画像）に対する画像処理方法として、光学伝達関数（ＯＴＦ）を用いて画像を回復（復元）する処理がある。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像光学系、あるいはそれに準ずるシステムの光学伝達関数（ＯＴＦ）を用いて画像の劣化を補正あるいは低減する処理を画像回復処理と記す。
【０００３】
特許文献１は、複数の光学系による撮影画像の画像回復処理を１つの装置で行う撮像システムを開示している。
特許文献２は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１１４７２号公報
【特許文献２】特登録０４０２０２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１または２に開示された技術では、複数の撮像装置が使用される場合、各撮像装置に対応する回復フィルタ（以下、光学伝達特性フィルタ）を用意する必要がある。この為、撮像装置の数の増加に比例して、必要とされるデータ容量が増加してしまう。
【０００６】
そこで本発明は、画像回復処理に必要なデータ容量を抑えることができるプログラム、画像処理装置、画像処理方法および撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のプログラムは、
画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮像された第１、第２の画像に対して共通に使用される第１光学伝達特性と、第３の画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。
【発明の効果】
【０００８】
本発明は、光学伝達特性の類似性に着目することにより、画像回復処理に必要とされるデータ容量を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの概略構成図
【図２】撮像装置の概略構成図
【図３】情報処理装置の概略構成図
【図４】実施形態１の画像処理システムの説明図
【図５】光学伝達特性に関する説明図
【図６】画像処理手順を示したフローチャート
【図７】画像処理装置の概略構成図
【図８】光学伝達特性フィルタ（回復フィルタ）の説明図
【図９】変形例１の画像処理システムの説明図
【図１０】実施形態２の画像処理システムの説明図
【図１１】実施形態３の画像処理システムの説明図
【図１２】光学伝達特性表現空間の説明図
【図１３】アジムス方向とＰＳＦの対称性の説明図
【発明を実施するための形態】
【００１０】
まず各実施形態の説明を行う前に、光学伝達特性について説明する。光学伝達特性とは、光学系の結像に関する特性（結像特性）である。例えば、点像強度分布（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下ＰＳＦ）、光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、以下ＯＴＦ）、収差（例えば、波面収差）、瞳関数等である。本明細書では、画像回復処理に使用される光学伝達特性フィルタ（回復フィルタ）も結像特性が反映された光学伝達特性の１つとして定義する。以下に、本発明を実施するための形態を、添付の図面に基づいて詳細に説明する。
【００１１】
（実施形態１）
図１は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能（通信可能）な撮像装置を有する画像処理システムの概略構成図である。撮像光学系１０、１２および１４は被写体の像を撮像装置１１、１３、１５のＣＣＤやＣＭＯＳセンサのような撮像素子（受光素子）上に結像する。撮像素子は光学系あるいはそれに準ずるシステムの伝達特性による光学像を画像に変換できるものであればよい。撮像光学系は、カメラ本体（撮像装置本体）に対して一体的に構成された撮像レンズであっても良いし、カメラ本体に対して着脱可能な交換レンズであっても良いが、この実施形態１（図１）では交換レンズとして記載している。実施形態１では、撮像光学系と撮像装置本体を含めて撮像装置１００、１０１および１０２とする。情報処理装置２００は撮像装置１００、１０１および１０２と画像等のデータの送受信を行うことが可能であり、情報処理装置２００は受信（取得）した画像に対して画像回復処理を行い、回復画像を生成する。
【００１２】
次に、撮像装置の概略構成について図２を用いて説明する。この図２中の矢印は主な情報の伝達経路を表している。撮像光学系１０は絞り１０ａやフォーカスレンズ１０ｂを有し、被写体の像（光学像）を撮像素子に結像させる。撮像素子２０２（光電変換素子、受光素子）は被写体の像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等である。撮像素子２０２から出力されたアナログ信号の画像はＡ／Ｄ（アナログデジタル）コンバータ２０３によりデジタル信号の画像に変換される。
【００１３】
画像処理部２０４はＡ／Ｄコンバータ２０３により変換された画像の色づきを補正する処理や、ぼけを低減する処理等の画像処理を行う。表示部２０５は液晶ディスプレイや有機ＥＬディスプレイ等であり、画像処理部２０４で処理された画像、あるいは記憶部２０８、画像記録媒体２０９に記録された画像を表示することができる。撮像光学系制御部２０６は物体距離（被写体距離）に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構等であり、撮像光学系１０の絞り１０ａやフォーカスレンズ１０ｂを制御する。
【００１４】
状態検知部２０７はＦナンバー（絞り径）、焦点距離（ズーム位置）、物体距離等の撮影条件（撮影状態）を検知する。システムコントローラ２１０はこの撮像装置のシステム全体を制御し、記憶部２０８に書き込まれた画像をファイル化して、画像記録媒体２０９に記録する制御も行う。
【００１５】
次に、図１に示した情報処理装置２００の概略構成について図３を用いて説明する。情報処理装置２００のＣＰＵ３１０は、ＲＯＭ等に格納されるプログラムの指示に従って情報処理装置全体の制御や画像処理を行う。記憶手段３２０には画像や光学伝達特性等の各種データを記憶させ、ＣＰＵ３１０は適宜、記憶手段３２０に対して読み込みや書き込みを行う。入力手段３４０はキーボード、マウス等であり、外部からの入力を受け付け実行中のプログラム等に情報や指示を与えるための手段である。出力手段３５０はモニタやディスプレイ等であり、画像処理が行われた画像を適宜表示する。ＣＰＵ３１０、記憶手段３２０、入力手段３４０、出力手段３５０は互いにバス３６０を介して接続されている。尚、ＤＶＤ−Ｒ、ＣＤ−Ｒ等の記録媒体で提供される本発明のプログラムを記憶手段３２０に記憶させ、オペレータの指示によりＣＰＵ３１０がプログラムの指示に従って、情報処理装置２００に画像処理を実行させるように構成してもよい。あるいは、バス３６０に接続されているネットワークＩ／Ｆ３７０が遠隔地に存在する情報処理装置等と通信してプログラムやデータ等を授受しながら、ＣＰＵ３１０が画像処理を行ってもよい。
【００１６】
ここまでで、撮像装置と情報処理装置のそれぞれについて説明を行ってきたが、次に図１で示した画像処理システム全体の処理について図４を用いて説明する。情報処理装置２００と通信可能な撮像装置１００、１０１はポジティブリードタイプの撮像光学系（レンズ）を有する撮像装置であり、撮像装置１０２はネガティブリードタイプの撮像光学系を有する撮像装置である。
【００１７】
まず本発明のプログラムがインストールされた情報処理装置２００は、撮像装置１００が撮像した画像１１０（第１の画像）と、後の画像回復処理に用いられる光学伝達特性フィルタ（回復用光学伝達特性）を特定可能な特定情報１２０を取得する。特定情報とは例えばＥＸＩＦ情報であり、撮像光学系の焦点距離、Ｆナンバー、撮像装置の識別コード等が含まれる撮影条件（撮像装置の違いを含む）を示す情報である。
【００１８】
次に、情報処理装置のＣＰＵ３１０は特定情報１２０により特定される光学伝達特性フィルタＮｏ．１を取得し、画像１１０と光学伝達特性フィルタＮｏ．１の２次元畳み込み演算処理を行うことにより、画像１１０の回復画像１１０Ｒ（不図示）を生成する。この画像回復処理の詳細については後述する。以上の処理により、回復画像１１０Ｒは生成されるが、ＣＰＵ３１０は、上記回復画像１１０Ｒに対して信号処理を行って、該信号処理された画像を出力画像として出力手段３５０に出力してもよい。この信号処理とは例えば、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理、幾何学的な収差補正を行う歪曲収差補正、倍率色収差補正、シェーディング補正等である。
【００１９】
次に、撮像装置１０１と情報処理装置２００について説明する。ＣＰＵ３１０は撮像装置１００と同様に、撮像装置１０１で撮像された画像１１１（第２の画像）と特定情報１２１を取得する。そして、情報処理装置のＣＰＵ３１０は特定情報１２１により特定される光学伝達特性フィルタＮｏ．１を取得し、画像１１１と光学伝達特性フィルタＮｏ．１の２次元畳み込み演算処理を行うことにより、画像１１１の回復画像１１１Ｒ（不図示）を生成する。
【００２０】
従来、開示された技術では、記憶手段には撮像装置Ａ、撮像装置Ｂで撮像された画像を回復処理するために、それぞれの撮像装置Ａ、Ｂに対応する光学伝達特性フィルタＦＡ、ＦＢが記憶されている。一方、実施形態１では、記憶手段３２０に撮像装置１００、撮像装置１０１で撮像された画像１１０、画像１１１に対して共通に利用可能な光学伝達特性フィルタＮｏ．１（第１光学伝達特性）が記憶されている。これにより、画像回復に必要なデータ容量を削減することが可能となる。
【００２１】
本発明者は、光学設計を通して同じようなレンズタイプ、同じようなフォーカスタイプといった類似の構造の撮像装置は、同じ撮影条件で似通った光学伝達特性を示すことを見出した。例えば、ポジティブリードタイプの撮像装置１００、撮像装置１０１の点像強度分布を図５（ａ）、（ｂ）に示すが、これらは同じ傾向を示している。尚、撮影条件が同じでなくとも、同じズームタイプであれば似通った光学伝達特性を示すものもある。例えば、広角端の焦点距離が同じで、異なるズーム比を有する同じズームタイプの撮像光学系である。このような撮像装置は、望遠端の撮影条件が異なっていても似通った光学伝達特性を示す。
【００２２】
つまり実施形態１の発明は、上記光学伝達特性の類似性に着目して成された発明であり、画像を回復するための光学伝達特性を特定する特定情報を取得する。次に、異なる撮影条件により撮像された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する。そして、前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させる。これにより、個々の撮像装置に対応した別個の光学伝達特性フィルタを記憶させるよりも、回復画像の質を保ちつつ、データ容量を削減することを可能としている。
【００２３】
さらに好ましくは、記憶手段３２０に、ズームタイプ、フォーカスタイプ、防振タイプ等のタイプごとにパターン化された光学伝達フィルタを記憶させるのがよい。そうすれば、ネガティブリードタイプの撮像装置１０２が情報処理装置２００と接続された（通信可能になった）場合においても、新たに光学伝達フィルタを増やす必要がない。
【００２４】
以下に、ネガティブリードタイプの撮像装置１０２によって撮像された画像１１２（第３の画像）に対する情報処理装置２００の処理について説明する。
ＣＰＵ３１０は撮像装置１０２で撮像された画像１１２と特定情報１２２を取得する。次に、情報処理装置のＣＰＵ３１０は特定情報１２２により特定される光学伝達特性フィルタＮｏ．２（第２光学伝達特性）を取得する。そして、画像１１２と光学伝達特性フィルタＮｏ．２の２次元畳み込み演算処理を行うことにより、画像１１２の回復画像１１２Ｒ（不図示）を生成する。ここで、光学伝達特性フィルタＮｏ．２（第２光学伝達特性）は、光学伝達特性フィルタＮｏ．１（第１光学伝達特性）とは異なるフィルタ（光学伝達特性）である。
【００２５】
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、１つの画像に対して１つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群（セット）を１つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を１つの画像に対して用いる場合には、ＣＰＵ３１０は、例えば撮像装置１００、１０１で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
【００２６】
また、１つの画像に対して複数の光学伝達特性フィルタを用いる場合、ＣＰＵ３１０は光学伝達特性フィルタを画像の画素ごとに取得しても良い。画素ごとに光学伝達特性フィルタを取得する場合は、１つまたは複数の特定の画素を抽出して、その抽出した画素に対応する光学伝達特性フィルタを取得すれば、全ての画素ごとに光学伝達特性フィルタを取得するよりも処理速度が向上するので好ましい。
【００２７】
さらに、同じタイプのレンズは、同じ撮影条件では画素位置ごとに収差の傾向が似通っている。例えば、ネガティブリードのズームレンズの広角端では像面湾曲が発生するし、高倍率のズームレンズで使用されるポジティブリードのズームレンズの望遠端では軸上色収差が大きく発生する。このように、同じタイプのレンズでは１つの画像の各画素位置において同様な劣化特性を有している場合が多いので、同じタイプごとに使用する各画素位置の光学伝達特性フィルタ（回復フィルタ）のセット（群）を用意することも可能である。これにより、画素位置ごとにフィルタを取得する必要がなくなるので処理の高速化することができる。
【００２８】
また、記憶手段３２０には、プログラムが実行される前に光学伝達特性フィルタが記憶されていてもよいし、記憶されていなくてもよい。後者の場合は、例えば、プログラムが格納された記録媒体に、複数の撮像装置が共通に使用可能な光学伝達特性フィルタを記録しておく。そして、該プログラムがインストールされる情報処理装置あるいは画像処理装置の外部記憶装置に、それら光学伝達特性フィルタを記憶させればよい。
【００２９】
また、実施形態１では、光学伝達特性フィルタそのものが記憶手段３２０に記憶されている形態について説明したが、点像分布関数や光学伝達関数等が記憶されていてもよい。その場合は、点像分布関数や光学伝達関数に対してフーリエ変換や逆フーリエ変換をＣＰＵ３１０が実行し、光学伝達特性フィルタを生成すればよい。尚、本明細書において回復フィルタと光学伝達特性フィルタは同義であり、記述のとおり光学伝達特性は回復フィルタを含む。
【００３０】
では、ＣＰＵ３１０が情報処理装置２００に実行させるプログラムの処理フローについて図６を用いて説明する。まずステップＳ１０（特定情報取得ステップ）において、ＣＰＵ３１０は画像と光学伝達特性フィルタを特定するための特定情報を取得する。続いて、ステップＳ２０（光学伝達特性取得ステップ）において、ＣＰＵ３１０は特定情報が特定する光学伝達特性フィルタ（光学伝達特性）を取得する。続いて、ステップＳ３０（回復ステップ）において、ＣＰＵ３１０は光学伝達特性フィルタをステップＳ１０で取得した画像に対して実空間上で畳み込む処理を実行する。尚、必ずしもステップＳ１０において回復対象の画像を取得する必要はなく、ステップＳ３０において、あるいはステップＳ３０の前工程において回復対象の画像を取得してもよい。尚、先に説明した信号処理を実行するステップは、必要に応じて適宜実行されれば良いので、信号処理のステップは含めずに説明した。
【００３１】
また、実施形態１では情報処理装置のＣＰＵ３１０がプログラムの指示に従って各ステップを実行する形態について説明したが、各ステップ又はその一部をハードウェアで構成しても本発明の効果を得ることができる。図７に、画像処理装置を例にハードウェアで構成する場合の概略構成図を示す。画像処理装置７００と通信可能な撮像装置の説明は図４における説明と重複するので割愛する。
【００３２】
画像処理装置７００は、光学伝達特性取得手段７１０、画像回復手段７２０、信号処理手段７３０、記憶手段７５０を有する。まず、画像処理装置７００は、回復対象となる画像と光学伝達特性フィルタを特定可能な特定情報を取得する。光学伝達特性取得手段７１０は記憶手段７５０から特定情報が特定する光学伝達特性フィルタを記憶手段７５０から取得する。画像回復手段７２０は取得された光学伝達特性フィルタと画像を畳み込むことにより回復画像を生成する。信号処理手段７３０は、回復画像に対してデモザイキング等の画像処理を行う。以上の各手段により、所望の回復画像を得ることができる。
【００３３】
以上のような画像処理システムを使用するその他の例としては、情報処理装置２００のＣＰＵ３１０に替えてプリンタに搭載された演算処理部を使用することでプリント時に画像回復処理を実行することも可能である。
【００３４】
以上の説明のとおり発明者は、撮像装置の分類に応じて光学伝達特性にも類似性（似通った結像特性を示す）があることに着目した。その着眼点により成された発明によれば、類似した光学伝達特性を代表する光学伝達特性（代表光学伝達特性）を予め記憶手段に記憶させ、その光学伝達特性を用いて回復処理を行うことにより、データ容量を削減しつつ、良質な回復画像を得ることができる。
【００３５】
尚、特定情報は、回復処理で用いる光学伝達特性を特定することが可能な情報であれば良いため、撮影条件そのもの、或いは撮影条件の一部であっても構わない。撮影条件としては、焦点距離、Ｆｎｏ、物体距離、像高、撮像装置を識別可能な情報、光学系を識別可能な情報、ズーム位置、物体距離に対するフォーカス状態、絞りの状態、防振レンズのレンズ位置、レンズ群の数、レンズの構造に関する情報等が挙げられる。さらに、撮像装置の撮像素子の画素によって開口特性も変化するので、この撮像素子に関する情報を特定情報として使用しても良い。あるいは、撮像装置ごとに異なるローパスフィルタを使用している場合には、これに関する情報も光学伝達特性を特定する特定情報として使用することができる。
【００３６】
また、実施形態１では撮像装置が直接的に光学伝達特性を特定するための特定情報を出力したが、ＣＰＵ３１０が撮像装置の情報や撮影条件そのものの情報から光学伝達特性を特定できる情報を生成して特定情報として使用しても良い。この場合、特定情報は撮像装置側で生成してもよいし、画像処理装置側で生成しても良い。また、これらの特定情報は、画像の一部に付加しても良いし、別の機器やネットワーク上を介して特定情報を取得してもかまわない。
【００３７】
また、実施形態１はＣＰＵが記憶手段に記憶された光学伝達特性フィルタの中から、特定情報によって特定される光学伝達特性フィルタを取得する方法について記載したがこれに限られない。例えば、記憶手段に、特定情報と記憶手段に格納された光学伝達特性フィルタのアドレスを対応させるルックアップテーブル（ＬＵＴ）を記憶させる。そして、ＣＰＵがルックアップテーブルを参照し、特定情報に対応した光学伝達特性フィルタを取得してもよい。つまり、本明細書の特定情報とは直に光学伝達特性を特定する情報であってもよいし、間接的に光学伝達特性を特定する情報であってもよい。
【００３８】
また、実施形態１では撮像光学系と撮像装置本体が別体の場合について説明したが、レンズと撮像素子が一体のコンパクトカメラ等にであってもよい。
また、実施形態１では情報処理装置のＣＰＵ３１０が全てのステップを実行する形態について説明したが、撮像装置、情報処理装置のそれぞれのＣＰＵが一部のステップを実行しても、本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
【００３９】
ここで、本発明が扱う画像（画像データ）について簡単に説明する。本発明が扱う画像は、例えばＲＧＢの色成分や、色空間により表現される複数の成分を有している。色空間で表現される成分とは、例えば、ＬＣＨで表現される明度、色相、彩度や、あるいはＹＣｂＣｒで表現される輝度、色差信号等である。
【００４０】
画像は、各画素に１つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理（デモザイキング処理）して画素ごとに複数の色成分の信号値を有するデモザイク画像でも良い。このモザイク画像は色補間処理（デモザイキング処理）やガンマ変換と呼ばれる信号値変換やＪＰＥＧで知られる画像圧縮などの諸々の画像処理を行う前の画像として、ＲＡＷ画像とも呼ばれている。特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して上記のような各画素に１つの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。一方、多板、例えば３板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を得る。この場合、各撮像素子間で対応する画素ごとにそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
【００４１】
また画像には、レンズの焦点距離、絞り、物体距離などの撮影条件を付帯することができる。撮像から出力までの一連の処理を１つの閉じた撮像装置で行う場合には、画像に撮影条件を付帯しなくとも装置内で取得することができる。その場合は、例えば状態検知部２０７（図２）などから特定情報を取得することができる。しかし、撮像装置からＲＡＷ画像を取得し、別体の画像処理装置あるいは情報処理装置で所望の画像処理、信号処理を行う場合には、画像に撮影条件の情報を付帯することが好ましい。
【００４２】
では次に、既出の画像回復処理の概要について説明する。画像回復とは、画像に現れる収差を低減させる処理であり、収差とは、例えば撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等である。これら収差により、本来は一点に結像すべき像（点像）が、広がりのあるぼけた像として撮像素子（受光素子）上に形成されてしまう。この収差によるぼけは、光学的には点像分布関数（ＰＳＦ）あるいは点像強度分布により表わされる。
【００４３】
元の画像をｆ（ｘ，ｙ）、撮影画像（劣化画像）をｇ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、以下の式が成り立つ。ただし、＊は畳み込み積分を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（式１）
実施形態１では、元の画像ｆ（ｘ，ｙ）は回復画像、撮影画像ｇ（ｘ，ｙ）は撮像装置から出力される画像に対応する。式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように式１の右辺はそれぞれの周波数の積で表わされる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）
式２のＨ（ｕ，ｖ）は点像強度分布関数ｈ（ｘ，ｙ）をフーリエ変換したものであり、言い換えれば光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ），ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
撮影画像Ｇ（ｕ，ｖ）から回復画像Ｆ（ｕ，ｖ）を得るためには、式２の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間（実面）に戻すことで、回復画像ｆ（ｘ，ｙ）が得られる。
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）とすると、式３は式４に書き換えることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（式４）
つまり、式４で表わすように実空間の撮影画像にＲ（ｘ，ｙ）を畳み込み積分処理を行うことで回復画像を得ることができる。
【００４４】
このＲ（ｘ，ｙ）が回復フィルタ（光学伝達特性フィルタ）である。一般的にこの回復フィルタは画像が２次元のとき、図８（ａ）に示したように画像の各画素に対応したタップ（セル）を有する２次元のフィルタとなる。また、回復フィルタのタップ数は一般的に多いほど回復精度が向上するので、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数を設定すればよい。この回復フィルタは収差の特性を反映している必要があるため、従来の縦横３×３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは性質が異なる。
【００４５】
図８（ｂ）は（ａ）の回復フィルタの断面図であり、横軸はタップ、縦軸はタップの値である。この各タップが持つ値（係数値）の分布が、収差によって空間的に広がった信号値を元の１点に戻す役割を果たしている。この回復フィルタの作成する方法としては、例えば撮像光学系の光学伝達関数（ＯＴＦ）を計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得る方法がある。
【００４６】
尚、光学伝達特性には撮像光学系のみならず、撮像の過程で光学伝達特性に影響を与える要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタの特性や光源の撮像素子の開口形状や各種波長フィルタの分光特性が挙げられる。複屈折を有する光学ローパスフィルタは光学伝達特性の周波数特性に対して高周波成分を抑制するものであるし、撮像素子はその傾きにより撮像素子上でのぼけ像が変化するので伝達特性を変化させる要因の１つである。これらを含めた広義の光学伝達特性に基づいて、画像回復処理を行うことがより望ましい。
【００４７】
また、実空間において、回復フィルタを画像に対して畳み込み処理することの利点は、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行う必要がないのでより高速な処理が可能な点にある。図８（ａ）に示したフィルタは正方配列（縦と横のタップ数が同じ）のフィルタであるが、これに限られず、回復フィルタの縦横のタップ数は任意に変更することができる。
【００４８】
以上、理想的な回復フィルタについて式を用いて説明したが、実際の画像にはノイズ成分があるため上記のような光学伝達関数（ＯＴＦ）の逆関数に基づいた回復フィルタを用いると、回復とともにノイズ成分が増幅されてしまう。ノイズ成分の増幅を抑制するには、例えばウィナーフィルタのような応用的な回復フィルタを用いてもよい。
【００４９】
尚、画像回復処理を行う際に、回復の対象とする収差は特に限られないが、画像回復処理が回復の対象とする収差はザイデル収差（球面収差、コマ収差、非点収差、像面湾曲、歪曲収差）のうち、球面収差、コマ収差、非点収差、像面湾曲とする。歪曲収差のような幾何学的に大きな補正量を必要とする収差は対象としないことが好ましい。なぜならば、幾何学的な補正量が大きくなると、回復フィルタの係数値の変動が激しくなり、回復画像にリンギング等の好ましくないアーティファクトが現れやすくなるからである。
【００５０】
画像回復処理が行う回復の対象を球面収差、コマ収差、非点収差、像面湾曲とすることによるその他の効果は、２次元データである回復フィルタに歪曲収差補正を行う成分を含めるよりもデータ量を減らすことができるという効果が得られる。理由は、幾何学的な歪曲収差補正を行うのに必要なデータは画像の伸縮度合を表す１次元データであればよいので、２次元データである回復フィルタに歪曲収差を補正する成分を含めるよりもデータの容量を減らすことができるからである。実施形態１のように、様々な収差を持つ画像に対して、特定の画像処理装置で画像回復処理を行うような場合は、特に有効である。
【００５１】
また、以上説明した画像回復処理は撮像光学系を持たない装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置である。これらはレンズに代表される撮像光学系を有さないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は装置の伝達特性（伝達関数）であるので、撮像光学系によるものではないが、上記の光学伝達特性に相当するものである。したがって、撮像光学系を有さずとも、伝達特性に基づいて回復画像を生成することができる。
【００５２】
（変形例１）
実施形態１の変形例について図９を用いて説明する。変形例１では、光学伝達特性補正手段９５０が、光学伝達特性取得手段９３０により取得された光学伝達特性フィルタに対して演算を行うことにより、実際の撮影条件に対応した理想的な回復フィルタにより近い補正回復フィルタ（補正光学伝達特性）を生成する。変形例１では実施形態１と異なり、各処理の主体を異なる手段が行うものとして記載しているが、画像処理装置９９０内の演算部が各処理を行ってもよい。
【００５３】
光学伝達特性取得手段９３０は、撮像装置により取得された画像の画素ごとの補間演算処理を行う為に、画像の各画素の中から特定の画素を選択する。選択する画素数は複数であってもよいし、単数であってもよい。また。特定の画素は、各撮影条件で共通の画素位置を決めて、その画素位置を選択しても良いし、ＥＸＩＦ情報等の特定情報を元に選択する画素位置を変化させても良い。次に、光学伝達特性取得手段９３０は、選択された特定の画素に対応する光学伝達特性フィルタ（以下、回復フィルタ）を取得する。このように、特定の画素に対応する回復フィルタを取得することにより、１画素ごとに回復フィルタを取得するステップを全画素に対して繰り返す場合に比べ処理速度が向上させることができる。
【００５４】
次に光学伝達特性補正手段９５０は、特定の画素ごとに取得された回復フィルタを使用して任意の画素位置の回復フィルタをバイリニア補間により生成する。補間によって生成された補正回復フィルタを用いることにより、画像回復の精度を向上させることができる。なぜならば、一般的に、補間によって生成された補正回復フィルタは、補間前の特定の画素ごとに取得された回復フィルタよりも、実際の光学伝達特性に近い回復フィルタになるからである。
【００５５】
そして、画像回復手段９６０は、光学伝達特性補正手段９５０により補正された補正回復フィルタと画像との２次元畳み込み処理（演算）を行ことにより回復画像を生成する。信号処理手段９７０は、回復画像に対して各種信号処理を行い、出力画像を出力する。
上記のような処理を行うことにより、あらかじめ記憶しておくデータ量を少なくおさえつつ画像回復精度を向上させることができる。
【００５６】
既に、補間演算として、画像の特定の画素に対して回復フィルタを取得し、第１の特定の画素と第２の特定の画素との間の画素における補正回復フィルタを生成する処理について説明した。一般的に、光学系を介して取得された画像は、画像の中心から画像の周辺に向かって画像の劣化度合い（収差）が大きくなる。特に画像の周辺部では、コマ収差、非点収差や像面湾曲が大きく発生する。このため、補間演算に使用する回復フィルタは、画面内に均等に分布した特定の画素に対する回復フィルタを用意するよりも、画像の中央部よりも周辺部により細かく分布した特定の画素に対する回復フィルタを用意する。これにより、より精度の高い画像回復が可能となる。
【００５７】
１画面内の１／４領域における回復フィルタの数としては５から６０程度が好ましい。この下限値を下回ると、光学伝達特性補正手段による演算後の補正回復フィルタと理想的な回復フィルタの差異が大きくなり画像回復精度が低下してしまう。また、上限を上回ると演算手段が演算する量が増える（回復フィルタの取得回数が増える）ので処理速度が低下する。つまり、収差が大きく表れる（収差量が大きく変化する）領域には、より多くの回復フィルタが必要とされる。そこで本発明は、記憶領域にはあらかじめ記憶しておく回復フィルタとして、点像強度分布の広がりが大きいものを中心に用意する。この工夫により画像回復の回復精度と処理速度が向上される。上記説明では、撮像光学系の回転対称性（線対称性）を考慮して画像の１／４領域に対応する回復フィルタを用意したが、これに限られない。
【００５８】
上記補間演算としてはその他に、線形補間、バイリニア補間、バイキュービック補間等、処理速度と補間精度に応じて、任意の補間演算を用いることができる。補間演算の種類を決定する補間演算決定手段を設けてもよい。補間演算の種類は、補間処理の精度と演算に必要とされる時間の兼ね合いで決定される。例えば、補間処理の精度を優先させたい場合は、バイキュービック補間を選択し、処理速度を優先させたい場合はバイリニア補間を選択する。
【００５９】
また、既に第１の特定の画素と第２の特定の画素との間の画素における回復フィルタの値を補間処理により求める補間演算については説明したが、画素位置に限らず補間演算を行ってもよい。例えば、焦点距離、Ｆｎｏ、物体距離、防振状態（防振レンズ群のシフト、チルト状態）に関して補間演算を行ってもよい。例えば、焦点距離に関しては光学系のワイド端からテレ端までの離散的な焦点距離の中から特定の焦点距離を選択する。次に選択した焦点距離の光学伝達特性を取得する。撮影情報に含まれる焦点距離が上記の特定の焦点距離に含まれる場合には取得した光学伝達特性を使用して画像回復を行う。含まれない場合には、そのワイド側、テレ側にある特定の焦点距離の光学伝達特性を使用して補間によって撮影焦点距離の光学伝達関数を作成し、これを使用して画像回復を行う。
【００６０】
上記は焦点距離の１軸に関する補間であるが、離散的な焦点距離、Ｆｎｏ、物体距離、防振状態をそれぞれ軸とする空間において、特定の座標の光学伝達特性を使用して任意の座標の光学伝達特性を作成してもよい。例えは、３次元空間（焦点距離、Ｆｎｏ、物体距離）の場合には、任意の座標を取り囲む特定の座標の光学伝達特性を使用して平面補間することにより任意の座標の光学伝達特性を作成することが出来る。
【００６１】
また、補間演算以外に、光学伝達特性補正手段９５０が回復フィルタに対する演算を行う他の演算としては、光学伝達特性取得手段９３０が取得した各回復フィルタに補正を行う演算が挙げられる。例えば、回復フィルタの値を比例倍する演算が挙げられる。この演算は回復フィルタの回復後の画像の輝度レベルを変えることができるので、ホワイトバランスを調整したい場合等に利用することができる。
【００６２】
また、他の演算として、光学伝達特性取得手段９３０で取得された回復フィルタに、別の回復フィルタをコンボリューション（畳みこみ積分）すれば、両方の回復フィルタの作用を複合的に持つような回復フィルタを作成することも可能である。
【００６３】
また、他の演算として、特定の画素に対応した回復フィルタを使用して、補正回復フィルタを得る関数化演算が挙げられる。関数化演算は離散的な画素位置の回復フィルタを使用して、画素位置を変数として持つ関数の係数をフィッティングにより求める。この関数に任意の画素位置を代入することにより、その位置における回復フィルタを生成することができる。この演算は一度関数を作成してしまえば、それ以降変数代入するのみで回復フィルタが生成できるので、処理時間の短縮に有効である。
【００６４】
より具体的に関数化演算について説明する。光学伝達特性取得手段９３０により取得された回復フィルタを元に、各画素位置を変数とする関数化演算を実行する。まず、回復フィルタを複数の画素位置に対して取得する。これは各撮影条件で共通の画素位置を決めておいても良いし、特定情報を元に画素位置を変化させても良い。取得された回復フィルタは決められた画素位置ごとに取得されるので、これらの回復フィルタを使用して画素位置を変数として持つモデル関数でフィッティングする。以後、このモデル関数をフィッティング関数と記す。この関数に任意の画素位置を代入することにより、その位置における回復フィルタを生成することができる。任意の画素位置においてフィッティングされた回復フィルタは、記憶領域にあらかじめ記憶された離散的な回復フィルタの内、画素位置に最近傍の回復フィルタよりも実際の回復フィルタに近いものになる。その結果、画像回復処理の精度は向上する。フィッティング関数を用いれば、各画素の回復フィルタは関数に画素位置を代入することによって決定されるので、ＣＰＵ等の処理能力が高くない場合においても、高速に画像回復処理を行うことが可能となる。また、焦点距離、物体距離、Ｆｎｏ、防振レンズ位置に関してもこの処理を実行することも可能である。
【００６５】
上記の演算は一例であり、本発明の演算は、光学伝達特性取得手段９３０で取得された回復フィルタを理想的な回復フィルタに近づけたり、処理速度を向上させたりするため行うものであれば、上記演算に限られない。
【００６６】
（実施形態２）
以下図１０を参照して、実施形態２について説明する。実施形態２は一連の処理を撮像装置内で行う形態である。実施形態１と異なる点は、特定情報がフォーカスタイプを識別可能な情報である点と、フォーカスタイプごとに適当な光学伝達特性フィルタが記憶部に格納されている点である。
【００６７】
実施形態２の撮像装置に付けられた撮像光学系は不図示のネガティブリードタイプのリアフォーカスレンズ（第１の撮像光学系）である。撮像装置の記憶部２０８には、異なるネガティブリードタイプのリアフォーカスレンズ（第２の撮像光学系）が撮像装置に対して取り付けられても、良好に回復画像が生成可能な光学伝達特性フィルタ群Ｎｏ．１（第３の光学伝達特性）が記憶されている。加えて、複数のネガティブリードタイプのフロントフォーカスレンズ（第３の撮像光学系）に対応した光学伝達特性フィルタ群Ｎｏ．２が記憶されている。尚、この光学伝達特性フィルタ群Ｎｏ．１、Ｎｏ．２は複数のフィルタが１セットになったフィルタ群である。
【００６８】
フィルタは２次元のデータなので大量に保持することは困難である。もちろん、多くのフィルタを保持することができれば、回復の精度を向上させることは可能であるが、撮像装置など限られたメモリ容量に効率よくフィルタを記憶させるのには、工夫が必要である。そこで発明者は実施形態１と同様に、レンズのフォーカスタイプごとに光学伝達特性が類似しているという様々な光学設計を通しての知見を活かし、フォーカスタイプが同じなら、レンズの識別コード等が異なっていても同一のフィルタを利用する撮像装置を発明した。これにより、回復画像の画質の低下を抑えつつ、画像回復に必要なメモリの容量を削減することができる。特に、撮像装置の場合はメモリの容量が情報処理装置に比べて限られる場合が多いので有用である。
【００６９】
尚、好ましくは焦点距離、Ｆｎｏおよび撮影距離の撮影条件と、その撮影条件における像高ごとに複数のフィルタを記憶させておくのがよい。
【００７０】
以下に、図１０の撮像装置の動作について説明する。まず、撮像装置１００のネガティブリードタイプのリアフォーカスレンズにより撮像された画像ａ２と交換レンズのメモリに記憶された交換レンズのフォーカスタイプを識別する情報を特定情報ａ１として取得する。尚、実施形態２において、撮像装置がコンパクトカメラなどの光学系と一体のものであるならば、コンパクトカメラのメモリに予め記憶されたフォーカスタイプの情報を特定情報として用いてもよい。もちろん、実施形態１のようなシステムでは、画像に付帯されたＥＸＩＦ情報にレンズのフォーカスタイプの情報を撮像装置が書き込めばよい。
【００７１】
そして、撮像装置１００は画像処理部２０４において、特定情報ａ１を参照し記憶部２０８から光学伝達特性Ｎｏ．１を取得する。次に、撮像装置は画像ａ２に対して光学伝達特性フィルタＮｏ．１を畳み込むことにより回復画像を生成する。最後に、撮像装置はデモザイキング等のカメラ信号処理を回復画像に対して行うことにより出力画像ａ３を出力する。尚、回復処理、カメラ信号処理の順番は変えてもよい。
【００７２】
尚、記憶部２０８には、光学伝達特性フィルタ群Ｎｏ．１の中のフィルタは、複数のネガティブリードタイプでリアフォーカスタイプのレンズの光学伝達特性フィルタを平均したフィルタを記憶させるのが好ましい。これにより、様々なネガティブリードタイプのリアフォーカスレンズで撮像された画像を回復する場合において、理想的な光学伝達特性フィルタとのずれが小さくなるので、精度が向上する。
撮像装置１００にネガティブリードタイプのフロント（前玉）フォーカスレンズが上記リアフォーカスタイプの交換レンズに変えて付けられたとしても、処理は同じである。
【００７３】
また、撮像装置は、撮像装置内で取得された光学伝達特性フィルタに対して補正処理を実行してもよい。
【００７４】
尚、撮像装置の記憶部２０８に記憶させる光学伝達特性は、２次元の画素データを持つフィルタに限られず、光学伝達関数や点像強度分布関数、波面収差と瞳関数等であってもよい。ただし、撮像装置内のメインメモリの容量（ＲＡＭの容量）が小さい場合は、容量の大きい情報処理装置のような高速な処理が行えないため、記憶部２０８が記憶するデータは、光学伝達特性フィルタであることが好ましい。記憶されている光学伝達特性がフィルタであれば、画像回復処理を実行する際にフーリエ変換等の計算量の多い演算を行う必要がないので、高速な処理が可能となる。
【００７５】
尚、本明細書におけるフィルタ群とは１画像に対して適用される１セットのフィルタ群のことであり、複数のフィルタ群とはそのセットが複数セット、記憶部に記憶されているということである。
【００７６】
（実施形態３）
図１１を参照して、第３の実施形態として本発明のプログラムがインストールされた画像処理システムについて説明する。実施形態３の画像処理システムは、記憶手段８６０を外部装置８８０に有する点と、記憶手段８６０に記憶されている光学伝達特性が回復フィルタそのものではない点が実施形態１と異なる。
撮像装置１、２はネガティブリードタイプの撮像光学系を有する撮像装置である。撮像装置３はポジティブリードタイプの撮像光学系を有する撮像装置である。
【００７７】
記憶手段８６０にはあらかじめ光学伝達関数の類似性に基づいて撮像装置１と撮像装置２が共通に使用可能な光学伝達関数Ｎｏ．１（光学伝達特性）と撮像装置３に対応した光学伝達関数Ｎｏ．２（光学伝達特性）が記憶されている。
【００７８】
ここで、記憶手段８６０の光学伝達関数の保持の仕方について説明する。記憶手段８６０には、複数の光学伝達特性表現ベクトルを持った光学伝達特性表現空間の中に離散的に配置された光学伝達特性が記憶されている。ここで、光学伝達特性表現ベクトルとは光学伝達特性の性質を表現できるベクトルである。
【００７９】
光学伝達特性表現ベクトルとして、以下のような例が挙げられる。
【００８０】
収差的な観点から見ると、ある撮影条件における結像特性は、球面収差成分や非点収差成分、コマ収差成分等の足し算で表現できる。これを数式的に記述したものがツェルニケ多項式であり、直交座標空間により表現される波面収差として知られている。
【００８１】
また、収差を点像強度分布（ＰＳＦ）の観点で見ると、球面収差は点像強度分布の回転対称な広がり成分、非点収差は点像強度分布の直交する２つの方向（例えはメリジオナル方向とサジタル方向）のアスペクト比成分として表現できる。
【００８２】
また、コマ収差は線対称な点像強度分布の対称軸内の非対称成分として表現できる。非対称成分の基準点としては、例えば、光束の中心を通る光線と撮像面の交点、絞りの中心を通る光線と撮像面の交点、あるいは、点像強度分布の重心等が挙げられる。コマ収差が発生している点像強度分布の例を図１３に示す。コマ収差は、ｘ１軸に関して非対称、ｘ２軸に関して対称である。図１３中のｘ１、ｘ２は像面上の点像分布強度の中心を通り直交する座標軸を、θはｘ１軸を基準としたときのアジムス角を示している。点像強度分布の中心とは基準波長の主光線と像面の交点、あるいは基準波長の点像の重心である。
【００８３】
また、倍率色収差は異なる色成分の点像の重心ズレ成分として表現できる。成分とは例えばＲ、Ｇ、Ｂ等の色の成分である。
【００８４】
このような収差あるいは点像強度分布に基づいた表現を光学伝達特性表現ベクトルとして定義している。また、光学系が２倍の大きさになれば、点像の大きさも２倍になるので、点像の大きさを比例倍で規定する成分も光学伝達特性表現ベクトルの１つとして定義できる。
【００８５】
図１２に光学伝達特性表現空間を模式的に示す。図１２（ａ）は、球面収差成分、非点収差成分、コマ収差成分を各座標軸として、光学伝達特性を表現した空間の模式図である。非点収差がほぼ零に近いときの非点収差成分とコマ収差成分の軸に平行な断面の一部を示したのが図１２（ｂ）であり、横軸がコマ収差成分、縦軸が非点収差成分、そして離散的に配置された点像強度分布（ＰＳＦ）を示している。
【００８６】
記憶手段８６０には、光学伝達特性表現空間中の各点（黒丸）に対応する点像強度分布（光学伝達特性）が記憶されている。もちろん、格子点から外れた位置の状態に対応する光学伝達特性を記憶させても構わない。
【００８７】
このような光学伝達特性表現ベクトルを用いることにより、記憶手段８６０が、各撮像装置がとり得るすべての光学伝達特性に対応した回復フィルタを記憶しておかなくてもよい。つまり、代表点（特定の光学伝達特性）の中から近接点を選択し、その近接点の光学伝達特性から回復フィルタを生成すればよい。例えば、撮像装置の光学伝達特性が図１２の大きな白丸で示した点である場合、記憶領域に記憶された光学伝達特性のうち、実際の光学伝達特性の点から最小距離に位置する光学伝達特性（図１２（ａ）の小さい白丸）に基づいて回復フィルタを生成すればよい。あるいは、代表点と代表点を補間すればよい。これにより実際の光学伝達特性に対応する光学伝達特性を生成することが出来るので、各撮影条件に対応した回復フィルタを各々記憶する場合に比べ、データ量を削減できる。
【００８８】
尚、格子の分割数は、特定の座標軸に関して、その最小値（零）から最大値までを３分割から２０分割する程度が望ましい。分割数（離散値の数）が３を下回ると予め記憶する光学伝達特性と実際の撮影条件あるいは撮像装置の光学伝達特性の差異が大きくなり、画像回復の効果が低減してしまう。また、分割数が２０を超えると、予め記憶する光学伝達特性の数が多くなり、データ容量の削減効果が低くなってしまう。
【００８９】
尚、図１２（ａ）は３つのパラメータ（球面収差、コマ収差、非点収差、）により表わされる３次元の光学伝達特性表現空間としたが、例えば、倍率色収差成分等を加えた４つ以上の状態を表した４次元以上の光学伝達特性表現空間としてもよい。４つ以上の収差成分を軸として光学伝達特性を表現した空間とすることで、より高精度に画像回復を行うことができる。
【００９０】
以上説明したような、光学伝達特性表現空間を定義しておけば、同じ光学伝達特性の重複を抑制できるとともに、想定し得る光学伝達特性を網羅した光学伝達特性表現空間が構築できるため、効率的に画像処理システムのデータ容量を削減することができる。これにより、画像処理システムのデータ量を小さく抑えながらも、効率的に画像回復の効果を得ることが可能となる。
【００９１】
実施形態３においては、光学伝達特性として点像強度分布を用いる形態について説明したが、記憶手段８６０に記憶されている光学伝達特性は実施形態１のように回復フィルタそのものであっても良い。あるいは、撮像装置の撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであればよい。
【００９２】
再び図１１の説明に戻る。撮像装置１からの特定情報８０２ａは記憶手段８６０の光学伝達特性表現空間の座標として与えられる。光学伝達特性取得手段８１０はこの特定情報を外部装置８８０に渡し、記憶領域内の光学伝達関数から、指定の座標に対応する光学伝達関数を取得する。この際、外部装置に演算部があれば特定された光学伝達関数に対して補間処理を行った光学伝達関数を取得してもよい。
【００９３】
例えば、図１２（ａ）中の大きな白丸で示した状態が特定情報で指定された座標であるとする。特定情報で指定された座標またはその近傍の格子点に対応する光学伝達特性が存在する場合には、その格子点の光学伝達特性を取得して画像回復処理に用いることができる。
【００９４】
特定情報が指定する座標またはその近傍（または、最も近い）に光学伝達特性の存在する格子点が存在しない場合には、特定情報で指定した座標から最も近い位置に存在する光学伝達特性に対して補間処理を行って、上記の座標での光学伝達特性を取得する。補間処理を行うことで、撮像装置の実際の光学伝達特性と特定情報が指定した光学伝達特性の差異をより小さくでき、より精度の高い画像回復処理を行うことができる。
【００９５】
その他の方法として、特定情報で指定された座標と予め格納された光学伝達特性の光学伝達特性表現空間中の距離を算出し、最も距離の短いものを取得すればよい。
あるいは、光学伝達特性表現空間中の方向による重み付けを行い、光学伝達特性表現空間中の距離と方向ウェイトの積を評価関数として、その評価関数に基づいて補間処理のための光学伝達特性を取得することもできる。
【００９６】
その他の方法として例えば、記憶領域に格納される光学伝達特性に識別番号を割り振っておいて、特定情報として入力される識別番号と一致する光学伝達特性を取得する。あるいは、画像に付加（付帯）される特定情報を記憶領域上のアドレスと関連させ光学伝達特性を取得する方法も考えられる。あるいは複数の画像を解析して、光学伝達特性を取得してもよい。
【００９７】
このように光学伝達特性取得手段は、特定情報が特定する光学伝達特性を取得することであり、この目的を達成する方法であれば、上記の方法に限定されず種々の方法をとることが可能である。
【００９８】
そして、回復フィルタ生成手段８２０は光学伝達特性取得手段８１０が取得した光学伝達関数である場合、の逆フーリエ変換を行い、回復フィルタを生成する。光学伝達特性が点像強度分布や光学伝達関数、波面収差で与えられている場合には、フーリエ変換や逆フーリエ変換を行うことにより回復フィルタを生成することができる。
【００９９】
一方、撮像装置から得られた画像に対してカメラ信号処理８４０ａを行った画像に対して、回復フィルタ生成手段が生成した回復フィルタを使用して画像回復処理８３０が行われる。そして、画像処理装置８７０は、画像回復処理８３０により得られた回復画像に再びカメラ信号処理８４０ｂを行い、画像を出力する。
【０１００】
以上の処理が、撮像装置２、撮像装置３に対しても行われる。主要な処理のフローは図７に示したものと同じであるので説明は割愛する。
【０１０１】
本発明は、各撮像装置のレンズタイプ、あるいはフォーカスタイプにより各撮像装置の光学伝達特性に類似性（似通った結像特性を示す）があることに着目した。そして、類似した光学伝達特性を代表する回復フィルタを予め記憶手段に記憶させることにより、データ容量を削減することを可能としている。そして、光学伝達特性取得手段が、特定情報が特定する光学伝達特性を取得し、該取得された光学伝達特性に基づいて画像回復を行うことで、データ容量を削減しつつ、良質な回復画像を得ることを可能としている。
【０１０２】
実施形態３で説明したように、光学伝達特性が回復フィルタそのものではない場合には、回復フィルタ生成手段８２０によって、光学伝達特性の基づいた回復フィルタが生成される。この回復フィルタの生成にはフーリエ変換や逆フーリエ変換等の演算を使用しても良い。あるいは、光学伝達関数に対応する回復フィルタを一対一で記憶手段８６０、あるいは他の記憶領域に記憶しておき、その回復フィルタを使用してもよい。
【０１０３】
尚、予め記憶された光学伝達特性を補間して画像回復処理に使用する光学伝達特性とする場合は、点像強度分布や光学伝達関数を使用すると補間精度を向上させることができる。この理由について再度図８を用いて説明する。図８（ａ）は１１×１１タップの回復フィルタの模式図である。図８（ｂ）が示すように、回復フィルタは各タップ間の変動が激しいが、点像強度分布は図５（ａ）、（ｂ）に示したように強度の変動が滑らかである。光学伝達関数も同様に強度の変動が滑らかである。この理由にから、補間処理を行う場合には点像強度分布や光学伝達関数を使用すると、補間精度を向上させることができる。
【０１０４】
但し、補間処理に点像強度分布や光学伝達関数を使用する場合には、フーリエ変換や逆フーリエ変換を行って、回復フィルタに変換することが必要となる。このため処理に時間を要するが、フーリエ変換や逆フーリエ変換を行うことで、回復度合いに応じた回復フィルタを作成することが可能になる。一方、光学伝達特性として回復フィルタそのものを使用する場合は、フーリエ変換や逆フーリエ変換は行わなくて良いので高速な処理が可能であるが、前述のように画像回復処理の精度が落ちるので、精度と処理時間との兼ね合いが重要になる。
【０１０５】
また、光学伝達特性をベクトルではなく、Ｆ（ｘ，ｙ，ｚ）で光学伝達特性が表現できるような関数でもつことも考えられる。しかしながら、この場合に比べて、本実施形態で示したように光学伝達特性をベクトル（表現）として記憶する方が、データ量をより少なくすることができる場合が多いのでより好ましい。理由は、関数で作成した場合、精度によっては関数が複雑になり、データ量が多くなる場合があるからである。
【０１０６】
尚、外部の記憶手段としては外部装置のストレージ領域やネットワーク上の領域を使用することも可能である。
【０１０７】
その他の実施形態として、同じ撮像装置内であっても撮影条件によっては、その撮影条件における光学伝達特性に類似性を有する場合があるので、そのような場合は同じ光学伝達特性フィルタを用いて画像回復を行うという形態も可能である。この場合は、撮像装置内の記憶手段に、異なる撮影条件（特定情報）が同じ光学伝達特性を特定するような対応テーブルを記憶させると良い。また、互いに異なる複数の撮影条件の差（特定情報の差）がある範囲内であれば、同じ光学伝達特性を取得させるようにプログラムを構成してもよい。
【０１０８】
従来の技術では、撮像光学系の撮影条件によって変化する光学伝達特性に応じた画像回復を行うためには、予め各撮影条件に対応した大量のデータを記憶させておかなければならない。例えば、撮像光学系のズームポジション（焦点距離）、物体距離、絞り、画面内の各画素位置（像高）、防振レンズの位置等の撮影条件ごとに回復フィルタを大量に保持（記憶）しなければならない。しかし、この実施形態のように、異なる撮像条件であっても、その撮像条件における光学伝達特性に類似性があるならば、同じ光学伝達特性フィルタを使用して画像回復を行うことで、光学伝達特性フィルタに必要とされるデータ容量を削減することができる。
【０１０９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限
定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１１０】
１００、１０１、１０２ 撮像装置
２００ 画像処理装置
３１０ ＣＰＵ
３２０ 記憶手段
【特許請求の範囲】
【請求項１】
画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。
【請求項２】
ある撮影条件で撮影された撮影画像と、前記撮影条件に対応する特定情報とを取得する特定情報取得ステップと、
複数の光学伝達特性を記憶している記憶手段から、前記特定情報に基づいて特定の光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップで取得した前記特定の光学伝達特性を用いて、前記撮影画像を回復する回復ステップと、
を情報処理装置に実行させるプログラムであって、
前記記憶手段が記憶している前記複数の光学伝達特性の１つが、互いに異なる複数の前記特定情報に対応していることを特徴とするプログラム。
【請求項３】
前記第１、第２の撮影画像は、それぞれ異なる撮像装置で撮影された画像であることを特徴とする請求項１に記載のプログラム。
【請求項４】
前記第１、第２の撮影画像は、それぞれ異なる撮影条件で撮影された画像であることを特徴とする請求項１に記載のプログラム。
【請求項５】
前記光学伝達特性は、前記撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであることを特徴とする請求項１乃至４いずれか１項に記載のプログラム。
【請求項６】
前記光学伝達特性は、
実空間における、点像強度分布のアスペクト比成分、
実空間における、特定の方向に関して対称な点像強度分布の非対称な成分、
実空間における、点像強度分布の回転対称な広がり成分、
実空間における、点像強度分布の異なる色成分に関する重心ズレ成分、
実空間における、点像強度分布の大きさを比例倍で規定する成分、
のいずれかを軸とする光学伝達特性表現空間の座標に対応する光学伝達特性であることを特徴とする請求項１乃至５いずれか１項に記載のプログラム。
【請求項７】
前記特定情報は、前記光学伝達特性表現空間の座標であることを特徴とする請求項６に記載のプログラム。
【請求項８】
前記特定情報は、焦点距離、Ｆナンバー、物体距離、像高のうちいずれかを含むことを特徴とする請求項１乃至７いずれか１項に記載のプログラム。
【請求項９】
前記特定情報は、撮像装置あるいは撮像光学系を識別可能な情報を含むことを特徴とする請求項１乃至７いずれか１項に記載のプログラム。
【請求項１０】
前記特性取得ステップにより取得された光学伝達特性を補間する補間ステップを有し、
前記回復ステップは、前記補間ステップにより補間された光学伝達特性を用いて前記撮影画像を回復することを特徴とする請求項１乃至９いずれか１項に記載のプログラム。
【請求項１１】
前記特性取得ステップにより取得された光学伝達特性に基づいて前記撮影画像を回復する際に用いる回復フィルタを生成する回復フィルタ生成ステップを有することを特徴とする請求項１乃至１０いずれか１項に記載のプログラム。
【請求項１２】
前記記憶手段に前記光学伝達特性を記憶させる記憶ステップを有することを特徴とする請求項１乃至１１いずれか１項に記載のプログラム。
【請求項１３】
光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段と、
前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする撮像装置。
【請求項１４】
光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする画像処理装置。
【請求項１５】
光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復ステップを有する画像処理方法。
【請求項１６】
複数の撮像装置と、光学伝達特性を用いて画像回復処理を行う画像処理装置とを有する画像処理システムであって、
前記複数の撮像装置は、撮影条件から光学伝達特性を特定するための特定情報と画像データを前記画像処理装置に出力する出力手段を有し、
前記画像処理装置は、前記画像処理装置の記憶領域にあらかじめ記憶された複数の光学伝達特性の中から前記特定情報が特定する回復用光学伝達特性を取得する光学伝達特性取得手段と、
前記回復用光学伝達特性を用いて、前記画像データを回復処理して回復画像を生成する回復処理手段を有することを特徴とする画像処理システム。
【請求項１７】
互いに異なる撮像光学系の光学伝達特性が類似の特性を示す場合、前記光学伝達特性を代表する代表光学伝達特性を記憶装置に記憶させ、
前記光学伝達特性が類似の特性を示さない場合、前記光学伝達特性を記憶させる記憶ステップと、
前記記憶ステップにより記憶された代表光学伝達特性を用いて前記撮像光学系により撮影された撮影画像を回復処理する回復ステップを有することを特徴とする画像処理方法。
【請求項１】
画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。
【請求項２】
ある撮影条件で撮影された撮影画像と、前記撮影条件に対応する特定情報とを取得する特定情報取得ステップと、
複数の光学伝達特性を記憶している記憶手段から、前記特定情報に基づいて特定の光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップで取得した前記特定の光学伝達特性を用いて、前記撮影画像を回復する回復ステップと、
を情報処理装置に実行させるプログラムであって、
前記記憶手段が記憶している前記複数の光学伝達特性の１つが、互いに異なる複数の前記特定情報に対応していることを特徴とするプログラム。
【請求項３】
前記第１、第２の撮影画像は、それぞれ異なる撮像装置で撮影された画像であることを特徴とする請求項１に記載のプログラム。
【請求項４】
前記第１、第２の撮影画像は、それぞれ異なる撮影条件で撮影された画像であることを特徴とする請求項１に記載のプログラム。
【請求項５】
前記光学伝達特性は、前記撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであることを特徴とする請求項１乃至４いずれか１項に記載のプログラム。
【請求項６】
前記光学伝達特性は、
実空間における、点像強度分布のアスペクト比成分、
実空間における、特定の方向に関して対称な点像強度分布の非対称な成分、
実空間における、点像強度分布の回転対称な広がり成分、
実空間における、点像強度分布の異なる色成分に関する重心ズレ成分、
実空間における、点像強度分布の大きさを比例倍で規定する成分、
のいずれかを軸とする光学伝達特性表現空間の座標に対応する光学伝達特性であることを特徴とする請求項１乃至５いずれか１項に記載のプログラム。
【請求項７】
前記特定情報は、前記光学伝達特性表現空間の座標であることを特徴とする請求項６に記載のプログラム。
【請求項８】
前記特定情報は、焦点距離、Ｆナンバー、物体距離、像高のうちいずれかを含むことを特徴とする請求項１乃至７いずれか１項に記載のプログラム。
【請求項９】
前記特定情報は、撮像装置あるいは撮像光学系を識別可能な情報を含むことを特徴とする請求項１乃至７いずれか１項に記載のプログラム。
【請求項１０】
前記特性取得ステップにより取得された光学伝達特性を補間する補間ステップを有し、
前記回復ステップは、前記補間ステップにより補間された光学伝達特性を用いて前記撮影画像を回復することを特徴とする請求項１乃至９いずれか１項に記載のプログラム。
【請求項１１】
前記特性取得ステップにより取得された光学伝達特性に基づいて前記撮影画像を回復する際に用いる回復フィルタを生成する回復フィルタ生成ステップを有することを特徴とする請求項１乃至１０いずれか１項に記載のプログラム。
【請求項１２】
前記記憶手段に前記光学伝達特性を記憶させる記憶ステップを有することを特徴とする請求項１乃至１１いずれか１項に記載のプログラム。
【請求項１３】
光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段と、
前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする撮像装置。
【請求項１４】
光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする画像処理装置。
【請求項１５】
光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第１、第２の撮影画像に対して共通に使用される第１光学伝達特性と、第３の撮影画像に対して使用される第２光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復ステップを有する画像処理方法。
【請求項１６】
複数の撮像装置と、光学伝達特性を用いて画像回復処理を行う画像処理装置とを有する画像処理システムであって、
前記複数の撮像装置は、撮影条件から光学伝達特性を特定するための特定情報と画像データを前記画像処理装置に出力する出力手段を有し、
前記画像処理装置は、前記画像処理装置の記憶領域にあらかじめ記憶された複数の光学伝達特性の中から前記特定情報が特定する回復用光学伝達特性を取得する光学伝達特性取得手段と、
前記回復用光学伝達特性を用いて、前記画像データを回復処理して回復画像を生成する回復処理手段を有することを特徴とする画像処理システム。
【請求項１７】
互いに異なる撮像光学系の光学伝達特性が類似の特性を示す場合、前記光学伝達特性を代表する代表光学伝達特性を記憶装置に記憶させ、
前記光学伝達特性が類似の特性を示さない場合、前記光学伝達特性を記憶させる記憶ステップと、
前記記憶ステップにより記憶された代表光学伝達特性を用いて前記撮像光学系により撮影された撮影画像を回復処理する回復ステップを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５６７１６（Ｐ２０１２−１５６７１６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３２７５（Ｐ２０１１−１３２７５）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]