画像処理装置、画像処理方法、およびプログラム、および画像処理システム
【課題】 光学性能ばらつきによって生じる回復画像の画質の低下を低減させること。
【解決手段】 本発明の画像処理装置は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする。
【解決手段】 本発明の画像処理装置は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像回復処理を用いて撮影画像の補正を行う画像処理装置、画像処理方法、プログラム、および画像処理システムに関するものである。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は撮像光学系の収差によって少なからず劣化している。従来、光学系の収差によるぼけ画像を、光学伝達関数（ＯＴＦ）の情報を用いてデジタル処理により補正する方法が知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を回復処理と記すことにする。
【０００３】
また、実際の製造現場においては、レンズの製造誤差、レンズを保持する鏡筒の製造誤差等により光学系の性能にはばらつきが生じており、従来は、この製造ばらつきの影響を低減するために光学系の一部や撮像素子を偏心させていた。しかしながら、偏心調整をしたとしても、製造ばらつきの影響が無くなることは無い。このため、実際に撮影された状態で発生している収差特性と回復処理で想定している収差特性に相違が生じ、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。このように製造ばらつきは回復画像に弊害を与える懸念がある。
【０００４】
これに対し、特許文献１には撮像装置の光学系の調整時の評価基準に回復処理を含めることで、回復処理まで含めたトータル性能をみて光学系の調整を行う手法が開示されている。また、許文献２には、記憶手段に予め回復画像が所定の評価値を満足する複数の回復フィルタを記憶させることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−００９５９３号公報
【特許文献２】特開２００８−０８５６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されている方法では、撮像装置に製造ばらつきが生じた際に最終的に残存する性能ばらつきが、回復処理によって強調されてしまうため、高画質な画像を安定して出力できないという課題があった。これを回避するためには、回復フィルタ生成時のパラメータを変更して回復度合を低下させながら弊害量とのバランスを調整する必要がある。
【０００７】
また、撮像装置で使用する回復フィルタは、撮像装置の像高、焦点距離、物体距離、Ｆｎｏ、防振状態の少なくとも１つ以上のパラメータにより決定される。よって、特許文献２に開示されている方法では、製造ばらつきまで含んだ回復フィルタを記憶手段に記憶させると膨大なメモリ容量を必要とするという課題があった。
【０００８】
そこで、本発明の目的は、回復処理によって製造が原因の性能ばらつきが生じても、高画質な画像を安定して出力できる画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することである。また、フィルタのメモリ容量を抑えた画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明の画像処理装置は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする。
【００１０】
また、本発明の他の一側面を構成する画像処理方法は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成することを特徴とする。
【００１１】
また、本発明の他の一側面を構成するプログラムは、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得するステップと、
前記分類情報に基づいた回復フィルタを用いて回復画像を生成するステップを情報処理装置に実行させることを特徴とする。
【００１２】
また、上記画像処理装置を有する画像処理システムも本発明の他の一側面を構成する。
【発明の効果】
【００１３】
本発明によれば、製造が原因の性能ばらつきが生じても、回復処理によって高画質な画像を安定して出力でき、必要となるメモリ容量を抑えた画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の画像処理システムの説明図
【図２】本発明の第１の実施形態のフローチャート
【図３】本発明の回復フィルタの説明図
【図４】本発明の回復フィルタの断面図
【図５】本発明の回復画像の説明図
【図６】本発明の回復フィルタ選択の説明図
【図７】本発明の製造ばらつきと回復画像の説明図
【図８】本発明の第２の実施形態にかかる画像処理システムの説明図
【図９】本発明の第３の実施形態にかかる画像処理システムの説明図
【図１０】本発明の第４の実施形態にかかる画像処理システムの説明図
【図１１】本発明の第５の実施形態にかかる画像処理システムの説明図
【図１２】本発明の第６の実施形態にかかる画像処理システムの説明図
【図１３】本発明の第７の実施形態にかかる画像処理システムの説明図
【図１４】本発明の第８の実施形態にかかる画像処理システムの説明図
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１６】
（実施形態１）
図１は、本発明の第１の実施形態の画像処理装置を有する画像処理システムの構成を示すブロック図である。従来の方式では、撮像装置に製造ばらつきが生じた際に最終的に残存する性能ばらつきが、回復処理によって強調されてしまうため、高画質な画像を安定して出力できない。また、これを回避しようとすると膨大なフィルタ容量が必要となり、フィルタの製造コストが膨大になる。本発明では、画像を撮像した撮像装置の製造ばらつきによる性能ばらつきの分類情報に基づいて特定された回復フィルタを用いて回復処理を行うことで、高画質とメモリ容量を抑える方法を見出した。また、本発明の他の効果として、製造コストを低減させることができるという点が挙げられる。
【００１７】
本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、撮像装置１０の製造ばらつきによって生じた性能ばらつきの分類情報２１と、ＲＡＷデータの画像データ２２が、撮像装置１０から画像処理システム２０に送られる。分類情報２１は、回復フィルタ２４あるいは光学伝達関数を特定するための情報であり、具体的には、回復フィルタの識別番号、光学伝達関数の識別番号、撮像装置の識別番号などである。
【００１８】
画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定する。２次元畳み込み演算部２５では、この回復フィルタ２４と画像データ２２とを用いて２次元畳み込み演算を実行することで、回復処理を行っている。回復された画像は、カメラ信号処理部２６で、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行され、出力画像２７が出力される。なお、カメラ信号処理を２次元畳み込み演算の後に行っても、カメラ信号処理の一部を２次元畳み込み演算の前に行っても、いずれでも良い。画像処理システム２０は、回復された出力画像２７を不図示の表示部に表示する。
【００１９】
画像処理システムの記憶部（不図示）には、予め分類された性能ばらつきの分類情報に対応する回復フィルタあるいは光学伝達関数が記憶されている。例えば、製造ばらつきによって生じる収差の１パターンとして偏心コマ収差が挙げられるが、記憶部には、その偏心コマ収差を回復する回復フィルタや光学伝達関数が記憶されている。
【００２０】
以上のとおり、収差パターンに対応する回復フィルタを用いて回復処理が実行されるので、高画質な回復画像を提供できる。また、予め製造ばらつきによって生じる収差パターンに対応する回復フィルタを記憶部に記憶させておくことで、必要とされるメモリの容量を低減することができる。
【００２１】
図２に上記処理のフローチャートを示す。まずステップＳ００１において、撮像装置１０は、画像処理システム２０に分類情報２１を含む画像データ２２を送信する。言い換えれば、画像処理システム２０が、撮像装置１０から画像データ２２と分類情報２１を取得する。ステップＳ００２において、画像処理システムは、分類情報２１に対応する回復フィルタ２４を記憶部から取得する。ステップＳ００３において、画像処理システムは、画像データ２２と回復フィルタ２４とを用いて２次元畳み込み演算を行うことにより、回復画像を生成する。ステップＳ００４において、画像処理システムは、回復画像に対してカメラ信号処理を行うことにより、出力画像２７を生成する。上記各ステップの処理は、プログラムの指示に従って制御手段が、画像処理ＩＣやインターフェースなどを有する画像処理システムを制御することにより実行される。また、本発明をプログラムで実施する場合には、プログラムが製造誤差により画像に現れる収差を何パターンかに分類した分類情報を画像処理システム（例えば情報処理装置）に記憶させるステップを有していてもよい。
【００２２】
この方法では、分類情報と画像データが別々に送られることが特徴である。分類情報は撮像装置固有の情報であるため、撮像装置の購入時に分類情報を画像処理システムに記憶させ、この情報と通常撮影を行った画像データを下に画像処理を行うことができる。従って毎回分類情報のやり取りをする必要がなく、効率的である。
なお、ここで使用する回復フィルタ２４は、後述のばらつき調整における分類情報２１による分類に基づき、光学伝達関数の情報を用いて作成されたものを使用する。
【００２３】
本発明で用いる回復フィルタは、撮像系の光学伝達関数に基づいて作成される。光学伝達関数には撮像装置の撮像光学系のみならず、撮像の過程で光学伝達関数を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数の周波数特性に対して高周波成分を抑制するものである。他にも光源の受光素子の開口形状、分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数に基づいて、回復処理を行うことが望ましい。本明細書では、以後、撮像光学系単体および撮像光学系と受光素子やフィルタを含む系を撮像系と称する。
【００２４】
また、本発明の画像処理方法は撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置などである。これらの装置は、レンズ等の撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システムの伝達関数ではあるので、上記の光学伝達関数に相当するものである。したがって、撮像光学系を持たずとも、光学伝達関数の想到する撮像システムの伝達関数に基づいて回復フィルタを生成すれば、回復画像を生成することができる。本明細書では、システムの伝達関数も含めて光学伝達関数と称する。
【００２５】
実際の撮像装置では、製造誤差によるレンズの曲率、面間隔、屈折率、偏心、レンズ群の偏心や受光素子の偏心等により、光学伝達関数にもばらつきが生じている。本明細書では、この製造誤差により生じる個々の撮像装置の光学伝達関数のばらつきを光学性能のばらつきと称する。一般的に、撮像光学系に対して、レンズ（光学素子）またはレンズを保持した調整部を光学系の光軸と垂直な方向に偏心させることにより、製造ばらつきによる劣化特性を打ち消すような光学調整が行われる。
【００２６】
再び図１を用いて実施形態１の説明を行う。撮像装置１０の撮像により生成された画像データには、撮像光学系の焦点距離、絞り、撮影距離などの撮影条件や、この画像データを補正するための各種の補正情報を付帯させることができる。
【００２７】
分類情報２１は、回復フィルタ２４の識別番号等、回復フィルタを特定できる情報である。また、分類情報２１はフーリエ変換を行うことによって回復フィルタを生成することが可能な光学伝達関数を特定する情報であってもよい。この場合、画像処理システム側の記憶部には、製造ばらつきによって生じる収差を補正することができる光学伝達特性が記憶される。
【００２８】
画像処理システム２０は、画像データ２２と分類情報２１をケーブルなどを介して撮像装置１０から取得しても良いし、無線で受信してもよい。また、画像データまたは分類情報２１が記録されたメモリーカードなどの記録媒体からデータを受け取ってもよい。
【００２９】
以下に本発明の画像処理システム２０において実行される回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊は２次元畳み込み演算（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（式１）
式１をフーリエ変換して周波数面での表示形式に変換すると、以下の式２のように周波数ごとの積の形式になる。Ｈは点像分布関数ｈをフーリエ変換した光学伝達関数であり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）
撮影された劣化画像ｇ（ｘ，ｙ）からもとの画像ｆ（ｘ，ｙ）を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面（実空間）に戻すことによって、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。ここで、１／Ｈを逆フーリエ変換したものをＲとすると、以下の式４のように実面での画像に対する２次元畳み込み演算を行うことで同様にもとの画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（式４）
このＲ（ｘ，ｙ）が回復フィルタである。画像が２次元のとき、一般的にこの回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、回復フィルタのタップ数（セルの数）は一般的に多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。
【００３０】
この回復におけるフィルタは、収差の特性を反映している必要があるため、従来の収差の特性を反映していない水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは技術的な性質が異なる。
【００３１】
図３に、回復フィルタの例として、１１×１１タップの２次元フィルタを示す。回復フィルタの各タップが、画像の各画素に対応している。２次元畳み込み演算は、ある画素の信号値を改善するために、その画素を回復フィルタの中心と一致させ、その画素の信号値と対応する各タップの回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理として知られている。
【００３２】
図３では各タップ内の値を省略しているが、この回復フィルタの１断面を図４に示す。回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。この回復フィルタは、撮像光学系の光学伝達関数を計算若しくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。
【００３３】
実際の画像にはノイズ成分があるため、上記のように光学伝達関数の完全な逆数をとって作成した回復フィルタを用いると、劣化画像の回復とともにノイズ成分が増幅されてしまう。したがって、一般には良好な画像は得られない。この改善方法の１つとして、図５に示すような画像データとノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。この方法に使用される代表的な回復フィルタはウィナーフィルタと呼ばれている。この回復フィルタは、周波数ごとに、光学伝達関数の絶対値（ＭＴＦ）が小さいほど増幅を抑制し、光学伝達関数の絶対値（ＭＴＦ）が大きいほど増幅を強く行うものである。一般的に撮像光学系の光学伝達関数の絶対値（ＭＴＦ）は、高周波側が低くなる（図５（ａ））ため、ウィナーフィルタは、画像の高周波側の回復度合を抑制する（図５（ｂ））フィルタである。
【００３４】
回復フィルタは、画像が撮影された際の撮影条件に応じて最適なものを使用する必要がある。画像処理システム２０では、図１に不図示の記憶部に撮像条件に応じた複数の回復フィルタ、あるいは複数の光学伝達関数を記憶させておく。図６は、記憶部に記憶された複数の回復フィルタ群の模式図を示している。記憶部には、焦点距離、絞り値（Ｆｎｏ）、撮影距離の３つの撮影条件を軸とした空間中に離散的に配置されるような回復フィルタが記憶されている。言い換えれば、空間中の各点（黒丸）の座標に対応する撮影条件によって撮影された画像を精度良く回復可能な回復フィルタが記憶されている。記憶部に記憶させる回復フィルタは、図６の黒丸で示したように各撮影条件に対して直交した格子点に対応するものに限られず、格子点から外れた点に対応する回復フィルタを記憶させてもよい。また、撮像条件のパラメータとして、図示するために３つの条件を用いて３次元図としたが、４つ以上の撮影条件のパラメータを対象とした４次元以上の空間であっても良い。
【００３５】
回復フィルタの選択方法を説明する。図６において大きな白丸で示した撮影条件が、画像データの撮影条件であった場合、その極近傍の点に対応する回復フィルタが記憶されていた場合には、その回復フィルタを選択して回復処理に用いればよい。近傍の点に対応する回復フィルタが記憶されていなかった場合、一つの方法として、実際の撮像条件と記憶された撮影条件の空間中の距離を算出し、最も距離の短いものを選択する方法が挙げられる。例えば、図６では小さな白丸で示した位置の回復フィルタが選択される。また、別の方法として、回復フィルタを選択するにあたって、空間中の方向に応じて重み付けをすることができる。即ち、空間中の距離と重み付けの係数との積を評価関数として選択する方法が挙げられる。
【００３６】
次に、カメラ信号処理部２６が行うカメラ信号処理について説明する。カメラ信号処理とは、ＲＡＷ画像データに対するデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等の画像処理である。あるいは、光学伝達関数を使用する画像処理の中では、回復フィルタを使用せずに幾何学的な収差補正を行う、歪曲収差補正、倍率色収差補正、シェーディング補正等である。これらのカメラ信号処理は、２次元畳み込み演算の前後に必要に応じて挿入することができる。
【００３７】
ここで、回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理を施されていないことが好ましい。したがって、回復処理はＲＡＷ画像データに対して行うことが好ましい。ただし、カメラ信号処理が実行された画像でも、色補間処理による劣化過程が線形であれば、回復フィルタの生成において、この劣化関数を考慮することで精度良く回復処理を行うことができる。また、回復の要求精度が低い場合や諸々の画像処理を施された画像しか入手できない場合には、カメラ信号処理が実行された画像や画像圧縮処理が行われた画像に対して回復処理を行っても構わない。
【００３８】
次に撮像装置１０の製造工程における製造ばらつきの調整について説明する。製造ばらつきは、撮像装置の光学伝達関数のばらつきを同時に引き起こしている。製造ばらつきのある撮像系に対して、例えば設計値に基づく特定の光学伝達関数を用いて、一定の回復度合いで回復処理を実行すると、撮像装置の性能ばらつきも回復度合いに応じて増幅される。図７は製造ばらつきのある撮像系に対して（図７（ａ））、設計値に基づいた光学伝達関数をもとに回復フィルタを作成して、回復処理を行った結果（図７（ｂ））を表している。
【００３９】
この場合の回復フィルタはウィナーフィルタであるが、ＭＴＦの高周波の回復度合いが抑制されているため、中周波の回復度合いが最も大きく、この部分での性能ばらつきが大きくなっている。また、回復フィルタが光学伝達関数の逆数のフーリエ変換で与えられるので、撮像系の結像性能が低い、すなわちＭＴＦが小さい場合には、回復フィルタの回復度合いが大きくなる。このような撮像装置では、製造ばらつきによる性能ばらつきが大きくなってしまう。
【００４０】
この現象を解決するための方法としては、回復処理後の性能を評価しながら、回復フィルタにあった調整を行うことが考えられる。しかし、この方法では回復フィルタが特定のものである以上、根本的な性能ばらつきの改善は見込めない。根本的な解決のためには、製造される撮像装置の光学伝達関数を個別に測定し、それぞれの撮像装置にあった回復フィルタを作成することが考えられる。しかし、これを実現するためには、新しい製造ラインの構築と、製造コストの増大が予想され、現実的ではない。
【００４１】
そこで本発明では、複数のパターン化された回復フィルタを使用することにより、性能ばらつきの改善を実現させた（図７（ｃ））。従来の製造時における調整で残る性能ばらつきを見てみると、例えば画像の四隅で性能が異なる回転非対称な収差や画像の中心であるにもかかわらず発生する非対称な収差が目立つ。このように、調整で残る劣化特性は３〜１０パターンの収差に分類することができることが分かった。本発明はこの点に着目し、数種類の回復フィルタを用いることで、製造ばらつきの増幅と製造コストの増大を抑制している。また、このとき使用する回復フィルタは上記のように画像中心に対して非対称な収差を補正するためのものであり、数種類の回復フィルタのうち少なくとも１つは画像中心に対して非対称なものを用意するのが望ましい。
【００４２】
具体的な調整方法としては、以下に詳述する評価手段、分類手段、回復手段、調整手段を実行する。なお、これらの手段は前記の順番に限定されるものではなく、必要に応じて順番を入れ替えて実行することができる。
【００４３】
評価手段は、調整における撮像系の性能劣化具合を評価する手段である。例えば、撮像装置の受光素子側に光学系の結像性能を評価するためのチャートを配置し、受光素子側から光を照射して被写体物体位置にセンサを置いて光学系を評価する方法がある。また、通常の撮影と同じように、被写体物体側にチャートを用意し、このチャートを実際の受光素子位置にセンサを置いて撮影することで、撮像系の性能を評価する方法がある。どちらの評価においても、使用されるセンサは評価に合わせて用意されればよく、結像性能の一断面を評価する場合にはラインセンサで構わないし、実際の撮影同様、全てのアジムス方向が評価したい場合には、２次元センサを使用すればよい。また、評価される結像性能は、製造誤差の生じた撮像系の結像性能そのものでもよいし、回復手段により回復された像の評価でもよい。さらに、調整手段により調整された像を逐次評価することも可能であり、上記の方法に限定されるものではない。
【００４４】
分類手段は、調整における撮像装置の光学系の性能劣化具合を分類する手段である。上記の通り、撮像装置の劣化特性は最終的に数パターン（数種類）に分類することができる。分類手段では、光学系による性能劣化がどのパターンの劣化特性に最も近いのかを判断し、使用する回復フィルタに合わせた分類を行う。例えば、画像の四隅で性能が異なる回転非対称な収差が発生する場合には、四隅の結像スポットのサイズの最大値と最小値を比較することで分類の基準とすることができる。この分類手段は、評価手段により評価された結像性能に基づいて分類を行ってもよいし、調整手段により調整された像を元に分類を行ってもよく、これに限定されるものではない。撮像装置が最終的に出力する回復フィルタの分類情報は、この分類手段による分類に基づいて書き換えを行うことができる。これにより、撮像装置および画像処理システムで保持するフィルタ数を少なくすることができるので、撮像装置のメモリを効率的に使用することができる。
【００４５】
回復手段は、調整における撮像装置の撮像系の性能を回復する手段である。撮像系によるチャートの像は調整装置のセンサにより受光され電気的な信号に変換される。この信号を入力信号として、上述の回復処理と同様の画像処理を行うことができる。例えば被写体物体側におかれたチャートを受光素子面に配置されたセンサで受光する場合には、撮像装置に使用する回復フィルタが使用できる。また、受光素子側におかれたチャートを被写体物体面で受光する場合には、撮像装置に使用する回復フィルタに基づいて、調整用の回復フィルタを作成することで、回復処理を行うことができる。また、回復手段に使用される回復フィルタは、製造ばらつきの生じた撮像装置の光学伝達関数を平均したものを使用する。ただし、この場合には、平均の光学性能よりも高い性能のレンズに関しては、過剰な回復が行われることがある。このような場合には、製造ばらつきのある結像性能のうち最も性能の高い撮像系の光学伝達関数を基に回復フィルタを用いればよい。回復フィルタに関しては、製造ばらつきを調整した最終的な性能が最も高くなればよく、これらに限定されるものではない。この回復手段は、製造誤差の生じた撮像系の結像性能そのものを回復してもよいし、評価手段により評価された像に対して回復処理を行ってもよく、上記の方法に限定されるものではない。
【００４６】
調整手段は、撮像装置の撮像系の性能を調整する手段である。この調整手段によって撮像装置内の調整部を変化させることにより、光学伝達関数を連続的かつ微少に変化させることができる。設計値に対して製造誤差のある撮像装置との間の光学伝達関数のずれを打ち消す（低減する）ように調整部を変化させる。調整部とは、撮像装置の撮像系の一部、あるいは撮像系全体、あるいは受光素子である。具体的な調整部の変化方法としては、調整部のシフト（偏心、並進）、チルト（傾斜）を与えたり、調整部を光軸方向に段階的に移動させたりする方法がある。これらは機械的な変化により光学伝達関数を変化させているが、位相変調素子や液晶レンズのように電気的に光学伝達関数を変化させても構わない。
【００４７】
また、調整手段は、製造誤差の生じた撮像系の結像性能に基づいて調整を行っても良いし、回復手段により回復された像に基づいて（回復された像が所望の性能を得られるように）調整を行っても良い。
【００４８】
（実施形態２）
以下、図８を参照して、本発明の第２の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、分類情報２１が画像データ２２に付与されている点である。本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、撮像装置１０の製造ばらつきによる性能ばらつきの分類情報２１が記録されたＲＡＷデータの画像データ２２が送られる。画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定する。２次元畳み込み演算部２５において、この回復フィルタ２４を画像データ２２に対して２次元畳み込み演算をすることで、回復処理を行っている。回復画像は、カメラ信号処理部２６によってデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理を実行し、出力画像２７が出力される。
【００４９】
（実施形態３）
以下、図９を参照して、本発明の第３の実施形態による、画像処理システム２０について説明する。本実施形態が実施形態１と異なる点は、外部から分類情報２１が送られる点である。本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、すでに撮像装置内の画像処理ＩＣによってデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行された画像データ２２が送られる。一方で、分類情報２１は、撮像装置１０からの画像データ２２とは別に、インターネット経由で取得される。あるいは、分類情報２１を有する別の通信装置のとの間の赤外線通信や、ブルートゥース等による通信により、画像処理システム２０に送られる。画像処理システム２０では、回復処理部２３において、分類情報２１を元に不図示の記憶部に記憶された回復フィルタ２４を特定する。回復処理部２３において、この回復フィルタ２４と画像データ２２とを２次元畳み込み演算部２５が２次元畳み込み演算を行うことで回復処理を行い、出力画像２７を出力する。
【００５０】
（実施形態４）
以下、図１０を参照して、本発明の第４の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、画像処理システム２０が、記録媒体１０１から分類情報を取得する点である。本実施形態では撮像装置１０を画像処理システム２０に接続した際に、ＲＡＷデータの画像データ２２が送られる。一方で、ＵＳＢメモリ等の記録媒体１０１により記憶された分類情報２１が画像処理システム２０に送られる。画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定し、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行っている。カメラ信号処理部２６において、回復画像は、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理を実行し、出力画像が出力される。
【００５１】
（実施形態５）
以下、図１１を参照して、本発明の第５の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、撮像装置１０が分類情報２１を持っており、撮像装置１０の中で回復フィルタ２４が作成される。撮像装置１０を画像処理システム２０に接続した際に、この回復フィルタ２４と、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行された画像データ２２が送られる。画像処理システム２０では、回復処理部２３において、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行い、出力画像２７を出力する。
【００５２】
この方法では、回復フィルタと画像データが別々に送られることが特徴である。分類情報により特定される回復フィルタは撮像装置固有の情報である。このため、撮像装置の購入時のような特定のタイミングで回復フィルタを画像処理システムに記憶させ、この回復フィルタと通常撮影を行った画像データを下に画像処理を行うことができる。従って毎回、回復フィルタのやり取りをする必要がなく、効率的である。
【００５３】
（実施形態６）
以下、図１２を参照して、本発明の第６の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、撮像装置１０が分類情報２１を持っており、撮像装置１０の中で回復フィルタ２４が作成される。撮像装置１０を画像処理システム２０に接続した際に、回復フィルタ２４が記録されたＲＡＷデータの画像データ２２が送られる。画像処理システム２０では、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行っている。回復された画像は、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行され、出力画像２７が出力される。
【００５４】
この方法では、画像処理システムに送られる情報が１つにまとめられているため、データのやり取りが簡潔であることが特徴である。また、回復フィルタが記録されているので画像処理システムの演算が少なくすみ、画像処理に関する時間を短縮することができる。
【００５５】
（実施形態７）
以下、図１３を参照して、本発明の第７の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、外部から回復フィルタを取得する点である。インターネット経由で複数の回復フィルタの中から特定の回復フィルタを選んでダウンロードしたり、あるいは別機器からの通信を利用して特定の回復フィルタを取得したりすることができる。
【００５６】
（実施形態８）
以下、図１４を参照して、本発明の第８の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、記録媒体１０１から回復フィルタ２４を取得する点と、カメラ信号処理部２６によるカメラ信号処理が２次元畳み込み演算よりも前に行われる点である。
【符号の説明】
【００５７】
１０ 撮像装置
２０ 画像処理システム
２１ 分類情報
２２ 画像データ
２３ 回復処理
２４ 回復フィルタ
２５ ２次元畳み込み演算
【技術分野】
【０００１】
本発明は、画像回復処理を用いて撮影画像の補正を行う画像処理装置、画像処理方法、プログラム、および画像処理システムに関するものである。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は撮像光学系の収差によって少なからず劣化している。従来、光学系の収差によるぼけ画像を、光学伝達関数（ＯＴＦ）の情報を用いてデジタル処理により補正する方法が知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を回復処理と記すことにする。
【０００３】
また、実際の製造現場においては、レンズの製造誤差、レンズを保持する鏡筒の製造誤差等により光学系の性能にはばらつきが生じており、従来は、この製造ばらつきの影響を低減するために光学系の一部や撮像素子を偏心させていた。しかしながら、偏心調整をしたとしても、製造ばらつきの影響が無くなることは無い。このため、実際に撮影された状態で発生している収差特性と回復処理で想定している収差特性に相違が生じ、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。このように製造ばらつきは回復画像に弊害を与える懸念がある。
【０００４】
これに対し、特許文献１には撮像装置の光学系の調整時の評価基準に回復処理を含めることで、回復処理まで含めたトータル性能をみて光学系の調整を行う手法が開示されている。また、許文献２には、記憶手段に予め回復画像が所定の評価値を満足する複数の回復フィルタを記憶させることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−００９５９３号公報
【特許文献２】特開２００８−０８５６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されている方法では、撮像装置に製造ばらつきが生じた際に最終的に残存する性能ばらつきが、回復処理によって強調されてしまうため、高画質な画像を安定して出力できないという課題があった。これを回避するためには、回復フィルタ生成時のパラメータを変更して回復度合を低下させながら弊害量とのバランスを調整する必要がある。
【０００７】
また、撮像装置で使用する回復フィルタは、撮像装置の像高、焦点距離、物体距離、Ｆｎｏ、防振状態の少なくとも１つ以上のパラメータにより決定される。よって、特許文献２に開示されている方法では、製造ばらつきまで含んだ回復フィルタを記憶手段に記憶させると膨大なメモリ容量を必要とするという課題があった。
【０００８】
そこで、本発明の目的は、回復処理によって製造が原因の性能ばらつきが生じても、高画質な画像を安定して出力できる画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することである。また、フィルタのメモリ容量を抑えた画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明の画像処理装置は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする。
【００１０】
また、本発明の他の一側面を構成する画像処理方法は、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成することを特徴とする。
【００１１】
また、本発明の他の一側面を構成するプログラムは、画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得するステップと、
前記分類情報に基づいた回復フィルタを用いて回復画像を生成するステップを情報処理装置に実行させることを特徴とする。
【００１２】
また、上記画像処理装置を有する画像処理システムも本発明の他の一側面を構成する。
【発明の効果】
【００１３】
本発明によれば、製造が原因の性能ばらつきが生じても、回復処理によって高画質な画像を安定して出力でき、必要となるメモリ容量を抑えた画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の画像処理システムの説明図
【図２】本発明の第１の実施形態のフローチャート
【図３】本発明の回復フィルタの説明図
【図４】本発明の回復フィルタの断面図
【図５】本発明の回復画像の説明図
【図６】本発明の回復フィルタ選択の説明図
【図７】本発明の製造ばらつきと回復画像の説明図
【図８】本発明の第２の実施形態にかかる画像処理システムの説明図
【図９】本発明の第３の実施形態にかかる画像処理システムの説明図
【図１０】本発明の第４の実施形態にかかる画像処理システムの説明図
【図１１】本発明の第５の実施形態にかかる画像処理システムの説明図
【図１２】本発明の第６の実施形態にかかる画像処理システムの説明図
【図１３】本発明の第７の実施形態にかかる画像処理システムの説明図
【図１４】本発明の第８の実施形態にかかる画像処理システムの説明図
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１６】
（実施形態１）
図１は、本発明の第１の実施形態の画像処理装置を有する画像処理システムの構成を示すブロック図である。従来の方式では、撮像装置に製造ばらつきが生じた際に最終的に残存する性能ばらつきが、回復処理によって強調されてしまうため、高画質な画像を安定して出力できない。また、これを回避しようとすると膨大なフィルタ容量が必要となり、フィルタの製造コストが膨大になる。本発明では、画像を撮像した撮像装置の製造ばらつきによる性能ばらつきの分類情報に基づいて特定された回復フィルタを用いて回復処理を行うことで、高画質とメモリ容量を抑える方法を見出した。また、本発明の他の効果として、製造コストを低減させることができるという点が挙げられる。
【００１７】
本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、撮像装置１０の製造ばらつきによって生じた性能ばらつきの分類情報２１と、ＲＡＷデータの画像データ２２が、撮像装置１０から画像処理システム２０に送られる。分類情報２１は、回復フィルタ２４あるいは光学伝達関数を特定するための情報であり、具体的には、回復フィルタの識別番号、光学伝達関数の識別番号、撮像装置の識別番号などである。
【００１８】
画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定する。２次元畳み込み演算部２５では、この回復フィルタ２４と画像データ２２とを用いて２次元畳み込み演算を実行することで、回復処理を行っている。回復された画像は、カメラ信号処理部２６で、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行され、出力画像２７が出力される。なお、カメラ信号処理を２次元畳み込み演算の後に行っても、カメラ信号処理の一部を２次元畳み込み演算の前に行っても、いずれでも良い。画像処理システム２０は、回復された出力画像２７を不図示の表示部に表示する。
【００１９】
画像処理システムの記憶部（不図示）には、予め分類された性能ばらつきの分類情報に対応する回復フィルタあるいは光学伝達関数が記憶されている。例えば、製造ばらつきによって生じる収差の１パターンとして偏心コマ収差が挙げられるが、記憶部には、その偏心コマ収差を回復する回復フィルタや光学伝達関数が記憶されている。
【００２０】
以上のとおり、収差パターンに対応する回復フィルタを用いて回復処理が実行されるので、高画質な回復画像を提供できる。また、予め製造ばらつきによって生じる収差パターンに対応する回復フィルタを記憶部に記憶させておくことで、必要とされるメモリの容量を低減することができる。
【００２１】
図２に上記処理のフローチャートを示す。まずステップＳ００１において、撮像装置１０は、画像処理システム２０に分類情報２１を含む画像データ２２を送信する。言い換えれば、画像処理システム２０が、撮像装置１０から画像データ２２と分類情報２１を取得する。ステップＳ００２において、画像処理システムは、分類情報２１に対応する回復フィルタ２４を記憶部から取得する。ステップＳ００３において、画像処理システムは、画像データ２２と回復フィルタ２４とを用いて２次元畳み込み演算を行うことにより、回復画像を生成する。ステップＳ００４において、画像処理システムは、回復画像に対してカメラ信号処理を行うことにより、出力画像２７を生成する。上記各ステップの処理は、プログラムの指示に従って制御手段が、画像処理ＩＣやインターフェースなどを有する画像処理システムを制御することにより実行される。また、本発明をプログラムで実施する場合には、プログラムが製造誤差により画像に現れる収差を何パターンかに分類した分類情報を画像処理システム（例えば情報処理装置）に記憶させるステップを有していてもよい。
【００２２】
この方法では、分類情報と画像データが別々に送られることが特徴である。分類情報は撮像装置固有の情報であるため、撮像装置の購入時に分類情報を画像処理システムに記憶させ、この情報と通常撮影を行った画像データを下に画像処理を行うことができる。従って毎回分類情報のやり取りをする必要がなく、効率的である。
なお、ここで使用する回復フィルタ２４は、後述のばらつき調整における分類情報２１による分類に基づき、光学伝達関数の情報を用いて作成されたものを使用する。
【００２３】
本発明で用いる回復フィルタは、撮像系の光学伝達関数に基づいて作成される。光学伝達関数には撮像装置の撮像光学系のみならず、撮像の過程で光学伝達関数を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数の周波数特性に対して高周波成分を抑制するものである。他にも光源の受光素子の開口形状、分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数に基づいて、回復処理を行うことが望ましい。本明細書では、以後、撮像光学系単体および撮像光学系と受光素子やフィルタを含む系を撮像系と称する。
【００２４】
また、本発明の画像処理方法は撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置などである。これらの装置は、レンズ等の撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システムの伝達関数ではあるので、上記の光学伝達関数に相当するものである。したがって、撮像光学系を持たずとも、光学伝達関数の想到する撮像システムの伝達関数に基づいて回復フィルタを生成すれば、回復画像を生成することができる。本明細書では、システムの伝達関数も含めて光学伝達関数と称する。
【００２５】
実際の撮像装置では、製造誤差によるレンズの曲率、面間隔、屈折率、偏心、レンズ群の偏心や受光素子の偏心等により、光学伝達関数にもばらつきが生じている。本明細書では、この製造誤差により生じる個々の撮像装置の光学伝達関数のばらつきを光学性能のばらつきと称する。一般的に、撮像光学系に対して、レンズ（光学素子）またはレンズを保持した調整部を光学系の光軸と垂直な方向に偏心させることにより、製造ばらつきによる劣化特性を打ち消すような光学調整が行われる。
【００２６】
再び図１を用いて実施形態１の説明を行う。撮像装置１０の撮像により生成された画像データには、撮像光学系の焦点距離、絞り、撮影距離などの撮影条件や、この画像データを補正するための各種の補正情報を付帯させることができる。
【００２７】
分類情報２１は、回復フィルタ２４の識別番号等、回復フィルタを特定できる情報である。また、分類情報２１はフーリエ変換を行うことによって回復フィルタを生成することが可能な光学伝達関数を特定する情報であってもよい。この場合、画像処理システム側の記憶部には、製造ばらつきによって生じる収差を補正することができる光学伝達特性が記憶される。
【００２８】
画像処理システム２０は、画像データ２２と分類情報２１をケーブルなどを介して撮像装置１０から取得しても良いし、無線で受信してもよい。また、画像データまたは分類情報２１が記録されたメモリーカードなどの記録媒体からデータを受け取ってもよい。
【００２９】
以下に本発明の画像処理システム２０において実行される回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊は２次元畳み込み演算（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（式１）
式１をフーリエ変換して周波数面での表示形式に変換すると、以下の式２のように周波数ごとの積の形式になる。Ｈは点像分布関数ｈをフーリエ変換した光学伝達関数であり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）
撮影された劣化画像ｇ（ｘ，ｙ）からもとの画像ｆ（ｘ，ｙ）を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面（実空間）に戻すことによって、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。ここで、１／Ｈを逆フーリエ変換したものをＲとすると、以下の式４のように実面での画像に対する２次元畳み込み演算を行うことで同様にもとの画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（式４）
このＲ（ｘ，ｙ）が回復フィルタである。画像が２次元のとき、一般的にこの回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、回復フィルタのタップ数（セルの数）は一般的に多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。
【００３０】
この回復におけるフィルタは、収差の特性を反映している必要があるため、従来の収差の特性を反映していない水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは技術的な性質が異なる。
【００３１】
図３に、回復フィルタの例として、１１×１１タップの２次元フィルタを示す。回復フィルタの各タップが、画像の各画素に対応している。２次元畳み込み演算は、ある画素の信号値を改善するために、その画素を回復フィルタの中心と一致させ、その画素の信号値と対応する各タップの回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理として知られている。
【００３２】
図３では各タップ内の値を省略しているが、この回復フィルタの１断面を図４に示す。回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。この回復フィルタは、撮像光学系の光学伝達関数を計算若しくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。
【００３３】
実際の画像にはノイズ成分があるため、上記のように光学伝達関数の完全な逆数をとって作成した回復フィルタを用いると、劣化画像の回復とともにノイズ成分が増幅されてしまう。したがって、一般には良好な画像は得られない。この改善方法の１つとして、図５に示すような画像データとノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。この方法に使用される代表的な回復フィルタはウィナーフィルタと呼ばれている。この回復フィルタは、周波数ごとに、光学伝達関数の絶対値（ＭＴＦ）が小さいほど増幅を抑制し、光学伝達関数の絶対値（ＭＴＦ）が大きいほど増幅を強く行うものである。一般的に撮像光学系の光学伝達関数の絶対値（ＭＴＦ）は、高周波側が低くなる（図５（ａ））ため、ウィナーフィルタは、画像の高周波側の回復度合を抑制する（図５（ｂ））フィルタである。
【００３４】
回復フィルタは、画像が撮影された際の撮影条件に応じて最適なものを使用する必要がある。画像処理システム２０では、図１に不図示の記憶部に撮像条件に応じた複数の回復フィルタ、あるいは複数の光学伝達関数を記憶させておく。図６は、記憶部に記憶された複数の回復フィルタ群の模式図を示している。記憶部には、焦点距離、絞り値（Ｆｎｏ）、撮影距離の３つの撮影条件を軸とした空間中に離散的に配置されるような回復フィルタが記憶されている。言い換えれば、空間中の各点（黒丸）の座標に対応する撮影条件によって撮影された画像を精度良く回復可能な回復フィルタが記憶されている。記憶部に記憶させる回復フィルタは、図６の黒丸で示したように各撮影条件に対して直交した格子点に対応するものに限られず、格子点から外れた点に対応する回復フィルタを記憶させてもよい。また、撮像条件のパラメータとして、図示するために３つの条件を用いて３次元図としたが、４つ以上の撮影条件のパラメータを対象とした４次元以上の空間であっても良い。
【００３５】
回復フィルタの選択方法を説明する。図６において大きな白丸で示した撮影条件が、画像データの撮影条件であった場合、その極近傍の点に対応する回復フィルタが記憶されていた場合には、その回復フィルタを選択して回復処理に用いればよい。近傍の点に対応する回復フィルタが記憶されていなかった場合、一つの方法として、実際の撮像条件と記憶された撮影条件の空間中の距離を算出し、最も距離の短いものを選択する方法が挙げられる。例えば、図６では小さな白丸で示した位置の回復フィルタが選択される。また、別の方法として、回復フィルタを選択するにあたって、空間中の方向に応じて重み付けをすることができる。即ち、空間中の距離と重み付けの係数との積を評価関数として選択する方法が挙げられる。
【００３６】
次に、カメラ信号処理部２６が行うカメラ信号処理について説明する。カメラ信号処理とは、ＲＡＷ画像データに対するデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等の画像処理である。あるいは、光学伝達関数を使用する画像処理の中では、回復フィルタを使用せずに幾何学的な収差補正を行う、歪曲収差補正、倍率色収差補正、シェーディング補正等である。これらのカメラ信号処理は、２次元畳み込み演算の前後に必要に応じて挿入することができる。
【００３７】
ここで、回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理を施されていないことが好ましい。したがって、回復処理はＲＡＷ画像データに対して行うことが好ましい。ただし、カメラ信号処理が実行された画像でも、色補間処理による劣化過程が線形であれば、回復フィルタの生成において、この劣化関数を考慮することで精度良く回復処理を行うことができる。また、回復の要求精度が低い場合や諸々の画像処理を施された画像しか入手できない場合には、カメラ信号処理が実行された画像や画像圧縮処理が行われた画像に対して回復処理を行っても構わない。
【００３８】
次に撮像装置１０の製造工程における製造ばらつきの調整について説明する。製造ばらつきは、撮像装置の光学伝達関数のばらつきを同時に引き起こしている。製造ばらつきのある撮像系に対して、例えば設計値に基づく特定の光学伝達関数を用いて、一定の回復度合いで回復処理を実行すると、撮像装置の性能ばらつきも回復度合いに応じて増幅される。図７は製造ばらつきのある撮像系に対して（図７（ａ））、設計値に基づいた光学伝達関数をもとに回復フィルタを作成して、回復処理を行った結果（図７（ｂ））を表している。
【００３９】
この場合の回復フィルタはウィナーフィルタであるが、ＭＴＦの高周波の回復度合いが抑制されているため、中周波の回復度合いが最も大きく、この部分での性能ばらつきが大きくなっている。また、回復フィルタが光学伝達関数の逆数のフーリエ変換で与えられるので、撮像系の結像性能が低い、すなわちＭＴＦが小さい場合には、回復フィルタの回復度合いが大きくなる。このような撮像装置では、製造ばらつきによる性能ばらつきが大きくなってしまう。
【００４０】
この現象を解決するための方法としては、回復処理後の性能を評価しながら、回復フィルタにあった調整を行うことが考えられる。しかし、この方法では回復フィルタが特定のものである以上、根本的な性能ばらつきの改善は見込めない。根本的な解決のためには、製造される撮像装置の光学伝達関数を個別に測定し、それぞれの撮像装置にあった回復フィルタを作成することが考えられる。しかし、これを実現するためには、新しい製造ラインの構築と、製造コストの増大が予想され、現実的ではない。
【００４１】
そこで本発明では、複数のパターン化された回復フィルタを使用することにより、性能ばらつきの改善を実現させた（図７（ｃ））。従来の製造時における調整で残る性能ばらつきを見てみると、例えば画像の四隅で性能が異なる回転非対称な収差や画像の中心であるにもかかわらず発生する非対称な収差が目立つ。このように、調整で残る劣化特性は３〜１０パターンの収差に分類することができることが分かった。本発明はこの点に着目し、数種類の回復フィルタを用いることで、製造ばらつきの増幅と製造コストの増大を抑制している。また、このとき使用する回復フィルタは上記のように画像中心に対して非対称な収差を補正するためのものであり、数種類の回復フィルタのうち少なくとも１つは画像中心に対して非対称なものを用意するのが望ましい。
【００４２】
具体的な調整方法としては、以下に詳述する評価手段、分類手段、回復手段、調整手段を実行する。なお、これらの手段は前記の順番に限定されるものではなく、必要に応じて順番を入れ替えて実行することができる。
【００４３】
評価手段は、調整における撮像系の性能劣化具合を評価する手段である。例えば、撮像装置の受光素子側に光学系の結像性能を評価するためのチャートを配置し、受光素子側から光を照射して被写体物体位置にセンサを置いて光学系を評価する方法がある。また、通常の撮影と同じように、被写体物体側にチャートを用意し、このチャートを実際の受光素子位置にセンサを置いて撮影することで、撮像系の性能を評価する方法がある。どちらの評価においても、使用されるセンサは評価に合わせて用意されればよく、結像性能の一断面を評価する場合にはラインセンサで構わないし、実際の撮影同様、全てのアジムス方向が評価したい場合には、２次元センサを使用すればよい。また、評価される結像性能は、製造誤差の生じた撮像系の結像性能そのものでもよいし、回復手段により回復された像の評価でもよい。さらに、調整手段により調整された像を逐次評価することも可能であり、上記の方法に限定されるものではない。
【００４４】
分類手段は、調整における撮像装置の光学系の性能劣化具合を分類する手段である。上記の通り、撮像装置の劣化特性は最終的に数パターン（数種類）に分類することができる。分類手段では、光学系による性能劣化がどのパターンの劣化特性に最も近いのかを判断し、使用する回復フィルタに合わせた分類を行う。例えば、画像の四隅で性能が異なる回転非対称な収差が発生する場合には、四隅の結像スポットのサイズの最大値と最小値を比較することで分類の基準とすることができる。この分類手段は、評価手段により評価された結像性能に基づいて分類を行ってもよいし、調整手段により調整された像を元に分類を行ってもよく、これに限定されるものではない。撮像装置が最終的に出力する回復フィルタの分類情報は、この分類手段による分類に基づいて書き換えを行うことができる。これにより、撮像装置および画像処理システムで保持するフィルタ数を少なくすることができるので、撮像装置のメモリを効率的に使用することができる。
【００４５】
回復手段は、調整における撮像装置の撮像系の性能を回復する手段である。撮像系によるチャートの像は調整装置のセンサにより受光され電気的な信号に変換される。この信号を入力信号として、上述の回復処理と同様の画像処理を行うことができる。例えば被写体物体側におかれたチャートを受光素子面に配置されたセンサで受光する場合には、撮像装置に使用する回復フィルタが使用できる。また、受光素子側におかれたチャートを被写体物体面で受光する場合には、撮像装置に使用する回復フィルタに基づいて、調整用の回復フィルタを作成することで、回復処理を行うことができる。また、回復手段に使用される回復フィルタは、製造ばらつきの生じた撮像装置の光学伝達関数を平均したものを使用する。ただし、この場合には、平均の光学性能よりも高い性能のレンズに関しては、過剰な回復が行われることがある。このような場合には、製造ばらつきのある結像性能のうち最も性能の高い撮像系の光学伝達関数を基に回復フィルタを用いればよい。回復フィルタに関しては、製造ばらつきを調整した最終的な性能が最も高くなればよく、これらに限定されるものではない。この回復手段は、製造誤差の生じた撮像系の結像性能そのものを回復してもよいし、評価手段により評価された像に対して回復処理を行ってもよく、上記の方法に限定されるものではない。
【００４６】
調整手段は、撮像装置の撮像系の性能を調整する手段である。この調整手段によって撮像装置内の調整部を変化させることにより、光学伝達関数を連続的かつ微少に変化させることができる。設計値に対して製造誤差のある撮像装置との間の光学伝達関数のずれを打ち消す（低減する）ように調整部を変化させる。調整部とは、撮像装置の撮像系の一部、あるいは撮像系全体、あるいは受光素子である。具体的な調整部の変化方法としては、調整部のシフト（偏心、並進）、チルト（傾斜）を与えたり、調整部を光軸方向に段階的に移動させたりする方法がある。これらは機械的な変化により光学伝達関数を変化させているが、位相変調素子や液晶レンズのように電気的に光学伝達関数を変化させても構わない。
【００４７】
また、調整手段は、製造誤差の生じた撮像系の結像性能に基づいて調整を行っても良いし、回復手段により回復された像に基づいて（回復された像が所望の性能を得られるように）調整を行っても良い。
【００４８】
（実施形態２）
以下、図８を参照して、本発明の第２の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、分類情報２１が画像データ２２に付与されている点である。本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、撮像装置１０の製造ばらつきによる性能ばらつきの分類情報２１が記録されたＲＡＷデータの画像データ２２が送られる。画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定する。２次元畳み込み演算部２５において、この回復フィルタ２４を画像データ２２に対して２次元畳み込み演算をすることで、回復処理を行っている。回復画像は、カメラ信号処理部２６によってデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理を実行し、出力画像２７が出力される。
【００４９】
（実施形態３）
以下、図９を参照して、本発明の第３の実施形態による、画像処理システム２０について説明する。本実施形態が実施形態１と異なる点は、外部から分類情報２１が送られる点である。本実施形態では、撮像装置１０を画像処理システム２０に接続した際に、すでに撮像装置内の画像処理ＩＣによってデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行された画像データ２２が送られる。一方で、分類情報２１は、撮像装置１０からの画像データ２２とは別に、インターネット経由で取得される。あるいは、分類情報２１を有する別の通信装置のとの間の赤外線通信や、ブルートゥース等による通信により、画像処理システム２０に送られる。画像処理システム２０では、回復処理部２３において、分類情報２１を元に不図示の記憶部に記憶された回復フィルタ２４を特定する。回復処理部２３において、この回復フィルタ２４と画像データ２２とを２次元畳み込み演算部２５が２次元畳み込み演算を行うことで回復処理を行い、出力画像２７を出力する。
【００５０】
（実施形態４）
以下、図１０を参照して、本発明の第４の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、画像処理システム２０が、記録媒体１０１から分類情報を取得する点である。本実施形態では撮像装置１０を画像処理システム２０に接続した際に、ＲＡＷデータの画像データ２２が送られる。一方で、ＵＳＢメモリ等の記録媒体１０１により記憶された分類情報２１が画像処理システム２０に送られる。画像処理システム２０では、回復処理部２３において分類情報２１を元に回復フィルタ２４を特定し、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行っている。カメラ信号処理部２６において、回復画像は、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理を実行し、出力画像が出力される。
【００５１】
（実施形態５）
以下、図１１を参照して、本発明の第５の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、撮像装置１０が分類情報２１を持っており、撮像装置１０の中で回復フィルタ２４が作成される。撮像装置１０を画像処理システム２０に接続した際に、この回復フィルタ２４と、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行された画像データ２２が送られる。画像処理システム２０では、回復処理部２３において、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行い、出力画像２７を出力する。
【００５２】
この方法では、回復フィルタと画像データが別々に送られることが特徴である。分類情報により特定される回復フィルタは撮像装置固有の情報である。このため、撮像装置の購入時のような特定のタイミングで回復フィルタを画像処理システムに記憶させ、この回復フィルタと通常撮影を行った画像データを下に画像処理を行うことができる。従って毎回、回復フィルタのやり取りをする必要がなく、効率的である。
【００５３】
（実施形態６）
以下、図１２を参照して、本発明の第６の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、撮像装置１０が分類情報２１を持っており、撮像装置１０の中で回復フィルタ２４が作成される。撮像装置１０を画像処理システム２０に接続した際に、回復フィルタ２４が記録されたＲＡＷデータの画像データ２２が送られる。画像処理システム２０では、回復フィルタ２４を画像データ２２に２次元畳み込み演算することで回復処理を行っている。回復された画像は、デモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等のカメラ信号処理が実行され、出力画像２７が出力される。
【００５４】
この方法では、画像処理システムに送られる情報が１つにまとめられているため、データのやり取りが簡潔であることが特徴である。また、回復フィルタが記録されているので画像処理システムの演算が少なくすみ、画像処理に関する時間を短縮することができる。
【００５５】
（実施形態７）
以下、図１３を参照して、本発明の第７の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、外部から回復フィルタを取得する点である。インターネット経由で複数の回復フィルタの中から特定の回復フィルタを選んでダウンロードしたり、あるいは別機器からの通信を利用して特定の回復フィルタを取得したりすることができる。
【００５６】
（実施形態８）
以下、図１４を参照して、本発明の第８の実施形態による、画像処理システムについて説明する。実施形態１と異なる点は、記録媒体１０１から回復フィルタ２４を取得する点と、カメラ信号処理部２６によるカメラ信号処理が２次元畳み込み演算よりも前に行われる点である。
【符号の説明】
【００５７】
１０ 撮像装置
２０ 画像処理システム
２１ 分類情報
２２ 画像データ
２３ 回復処理
２４ 回復フィルタ
２５ ２次元畳み込み演算
【特許請求の範囲】
【請求項１】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする画像処理装置。
【請求項２】
前記画像データは、撮像系を介して取得され、
前記分類情報は、前記撮像系により生じた回転非対称な収差を補正する光学伝達関数または回復フィルタを特定する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光学伝達関数または前記回復フィルタを記憶する記憶手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記光学伝達関数または前記回復フィルタは、前記画像データの一部に記録されていることを特徴とする、請求項２または３に記載の画像処理装置。
【請求項５】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成することを特徴とする画像処理方法。
【請求項６】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得するステップと、
前記分類情報に基づいた回復フィルタを用いて回復画像を生成するステップを情報処理装置に実行させることを特徴とするプログラム。
【請求項７】
請求項１乃至４いずれか１項に記載の画像処理装置と、
前記画像処理装置により生成された前記回復画像を表示する表示部を有することを特徴とする画像処理システム。
【請求項１】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成する画像回復手段を有することを特徴とする画像処理装置。
【請求項２】
前記画像データは、撮像系を介して取得され、
前記分類情報は、前記撮像系により生じた回転非対称な収差を補正する光学伝達関数または回復フィルタを特定する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光学伝達関数または前記回復フィルタを記憶する記憶手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記光学伝達関数または前記回復フィルタは、前記画像データの一部に記録されていることを特徴とする、請求項２または３に記載の画像処理装置。
【請求項５】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得し、前記分類情報に基づいた回復フィルタを用いて回復画像を生成することを特徴とする画像処理方法。
【請求項６】
画像データを撮像した撮像装置の光学性能のばらつきを複数のパターンに分類した分類情報を取得するステップと、
前記分類情報に基づいた回復フィルタを用いて回復画像を生成するステップを情報処理装置に実行させることを特徴とするプログラム。
【請求項７】
請求項１乃至４いずれか１項に記載の画像処理装置と、
前記画像処理装置により生成された前記回復画像を表示する表示部を有することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１４６２８１（Ｐ２０１２−１４６２８１Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−２０１８２０（Ｐ２０１１−２０１８２０）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]