画像復元装置およびその方法
【課題】 撮像光学系の設計上の光学特性、および、撮像光学系の実際の光学特性を考慮した画像復元処理を実現する。
【解決手段】 画像復元装置は、撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する。そして、設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、設計データに基づく画像回復フィルタを再構成した補正フィルタを用いて画像復元処理を行う。
【解決手段】 画像復元装置は、撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する。そして、設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、設計データに基づく画像回復フィルタを再構成した補正フィルタを用いて画像復元処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像に対しぼけや収差の画像復元処理に関する。
【背景技術】
【０００２】
撮影された画像にはぼけ(Blur)が生じている。ぼけの要因には、収差、焦点ずれ、露光期間中の撮像装置の移動（手振れを含む）、露光期間中の被写体の移動、大気の揺らぎなどがある。このようなぼけが生じた画像を復元するための画像復元アルゴリズムが知られている。
【０００３】
画像復元アルゴリズムとして、画像の結像状態の特性を点像分布関数（PSF: point spread function）で表し、PSFに基づき、ぼけを補正した画像に復元する手法がある。例えば、特許文献1は、PSFの逆特性を有する補正関数を用いて、ぼけを補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭62-127976号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際の撮影に用いる撮像光学系は、レンズ製造段階でのレンズ形状の加工誤差や組み立て誤差、また、レンズの光軸に対する撮像素子の偏心や傾きなどにより、光学特性にばらつきが生じている。このため、撮像光学系の設計データに基づく光学特性と、実際の撮像光学系の光学特性とは異なる場合がある。その場合、撮像光学系の設計データより求まる収差特性に基づいて作成された画像復元フィルタを用いて、製造ばらつきが生じた撮像光学系で撮影された画像を復元処理すると、画質劣化や復元が発生するといった問題がある。
【０００６】
そこで、本発明は、撮像光学系の設計上の光学性能と、実際の撮像光学系の光学性能が異なる場合でも、画像復元による画質劣化や復元不足を抑えることを実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置であって、設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像回復フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像光学系の設計上の光学性能と、実際の撮像光学系の光学性能が異なる場合でも、画像復元による画質劣化や復元不足を抑えることを実現することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例1の画像処理装置を説明する構成図。
【図２】測距用エリアセンサから出力される二つの像信号であるA像とB像の相対的な位置関係を説明する図。
【図３】画像復元フィルタの概念図。
【図４】分割した復元領域の一例を説明する図。
【図５】設計上の光軸と、実際の撮影レンズの光軸のずれを示す図。
【図６】OTFの測定位置を説明する図。
【図７】MTFの一例を示す図。
【図８】実施例1の画像復元を説明するフローチャート。
【図９】実施例2の画像処理装置を説明する構成図。
【図１０】コントラスト方式のAFを説明する図。
【図１１】実施例2画像復元を説明するフローチャート。
【図１２】撮像デバイス上の色モザイクフィルタの配列を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明にかかる実施例の画像処理を詳細に説明する。
【実施例１】
【００１１】
［画像復元の原理］
撮像系の光軸をz軸として、z軸に垂直な方向にx軸とy軸をとる。被写体（対象物）を忠実に画像化したものを原画像と呼び、位置座標(x, y)を用いて原画像をf(x, y)で表す。また、撮像によって得られる画像は、画像上の座標(x, y)を用いてg(x, y)で表す。
【００１２】
画像f(x, y)は、無数の点光源によって構成されると考えることができる。二次元のデルタ関数δ(x, y)は輝度が「1」の点光源と考えることができる。つまり、画像f(x, y)は、xy平面上の位置(xo, yo)における輝度がf(xo, yo)の点光源の線形和として、次式のように示される。なお、「o」は被写体を示す添字である。
f(x, y) = ∬f(xo, yo)δ(xo-x, yo-y)dxodyo ...(1)
ここで、積分範囲はdxo、dyoともに-∞から+∞。
【００１３】
入力として点光源を与えた時、撮像系を通し出力として、点光源がどれだけぼけた像として現れるかを示す特性である点像分布関数PSFをh(x, y)とする。
【００１４】
この応答h(x, y)は、撮像システムLのインパルス応答に対応し、位置(xo, yo)にある点光源として、二次元デルタ関数δ(x-xo, y-yo)を与えた時の出力は、次式で表される。
h(x, y, xo, yo) = L{δ(xo-x, yo-y)} ...(2)
【００１５】
従って、f(x, y)、g(x, y)、h(x, y)の間には次式の関係がなり立つ。
g(x, y) = L{f(x, y)}
= L{∬f(xo, yo)δ(xo-x, yo-y)dxodyo}
= ∬f(xo, yo)L{δ(xo-x, yo-y)}dxodyo
= ∬h(x, y, xo, yo)f(xo, yo)dxodyo ...(3)
ここで、積分範囲はdxo、dyoともに-∞から+∞。
【００１６】
PSFは、一般に、入力および出力の位置に依存してその値が変る。しかし、二次元システムの応答が均一で入力の位置による応答が変らないと見做せる領域内では下式がなり立つ。
g(x, y) = ∬h(x-xo, y-yo)f(xo, yo)dxodyo
= f(x, y)＊h(x, y) ...(4)
ここで、積分範囲はdxo、dyoともに-∞から+∞、
＊は畳み込み積分(convolution integral)を表す。
【００１７】
式(4)をフーリエ変換して空間周波数領域で表現すると下式のようになる。
G(u, v) = H(u, v)F(u, v) ...(5)
ここで、u、vはそれぞれx方向、y方向の空間周波数、
F(u, v)はf(x, y)の二次元フーリエ変換、
G(u, v)はg(x, y)の二次元フーリエ変換、
H(u, v)はh(x, y)の二次元フーリエ変換。
【００１８】
H(u, v)は、システムの周波数応答特性を示す空間周波数伝達関数、つまり、二次元フィルタの周波数特性を示し、光学的伝達関数（OTF: optical transfer function）と呼ばれる。撮像された画像g(x, y)から画像復元を行うには、式(5)を変形した下式を利用する。
F(u, v) = G(u, v)/H(u, v) ...(6)
【００１９】
OTFの逆フィルタである1/H(u, v)の積算によって得られるF(u, v)を、逆フーリエ変換して実空間に戻すことで、原画像f(x, y)が得られる。また、(6)式を逆フーリエ変換した下式のように、1/H(u, v)を逆フーリエ変換した画像復元フィルタを、撮像された画像g(x, y)に対して畳み込み積分することにより、原画像f(x, y)を得ることができる。
f(x, y) = g(x, y)＊F-1{1/H(u, v)} ...(7)
ここで、F-1は逆フーリエ変換。
【００２０】
実際に画像を復元処理する際は、撮像された画像g(x, y)がノイズ成分が含まれるため、画像復元フィルタF-1{1/H(u, v)}をそのまま用いるとノイズが増幅された画像になる。この問題を解決するには、例えばWiener（ウィナー）フィルタのように、ノイズ成分の存在を考慮した方法を用いる。
【００２１】
また、PSF：h(x, y)は、ズーム、絞り、被写体位置、像高で変化する。
【００２２】
［装置の構成］
図1の構成図により実施例1の画像処理装置について説明する。実施例1では、画像を撮影したディジタルカメラ内で復元処理を施して、画像復元処理した画像データを含むデータファイルを記録媒体に格納する例を説明する。
【００２３】
撮影レンズ10は、焦点を調整するフォーカス用レンズ群12、光量を調整する絞り13、フォーカス用レンズ群以外のレンズ群11を有する。14は光学系の光軸である。撮影レンズ10は、ズームレンズで、撮像時のズーム位置が、ズーム位置制御部41を通して、検知可能な機能を有している。撮影時の絞り状態は、絞り制御部51を通して、検知可能な機能を有している。また、撮影レンズ10は交換可能であり、撮影時に使用したレンズの種類が、検知可能な機能を有しており、後述するフィルタ選択部73は、撮影時のレンズの種類を示す情報を取得する。
【００２４】
被写体からの光束は、撮影レンズ10を介してメインミラー21により上方に反射され、焦点板22に像を形成する。焦点板22に形成された像は、ペンタゴナルダハプリズム23による数回の反射を経て、接眼レンズ24を介して撮影者の眼に達し、撮影者は被写体を視認する。
【００２５】
一方、撮像レンズ10を介してメインミラー21に到達した光束の一部は、メインミラー21のハーフミラー部を透過し、サブミラー31により下方に反射されて自動焦点(AF)検出部32に導かれる。撮像時は、メインミラー21とサブミラー31を上方に跳ね上げて、メインミラー21とサブミラー31を撮影光束の外に退避させる。従って、撮影時、撮影レンズ10を介した光束は、光学ローパスフィルタ（光学LPF）61を経て、撮像デバイス62上に結像する。
【００２６】
光学LPF61は、撮像デバイス62の空間サンプリングによる折り返し成分を抑える役割を果たす。撮像デバイス62は、CCDやCMOSセンサなどから構成され、受光面上に結像した被写体像を光電変換したアナログ画像信号を出力する。撮像デバイス62から出力されるアナログ画像信号は、アナログ-ディジタル変換器（A/D変換器）63により、ディジタル画像信号に変換されたRAW画像データとして、バッファメモリ71に格納される。
【００２７】
本実施例のAF方式は、複数のAF測距領域をもつ、位相差検出方式である。AF検出部32は、サブミラー31からの光束を二つの光束に分離する瞳分割光学系、分離された二像を取り込む一対の測距用エリアセンサ、および、二像の相対的な位置関係を示す位置ずれ量である位相差を演算する位相差演算部で構成される。
【００２８】
図2により測距用エリアセンサから出力される二つの像信号であるA像とB像の相対的な位置関係を説明する。
【００２９】
二つの像は異なる瞳を通過した光束よりなるため、レンズの繰り出し量により、図2に示すように、像の相対位置が前ピン、合焦、後ピンの各状態で異なる。この二像の相対的なずれ量を、二つの像信号の相関演算を行うことにより計算し、位相差δを求める。位相差δは、前ピン時は負の値（図2(a)）、合焦時は零（図2(b)）、後ピン時は正の値（図2(c)）をとる。
【００３０】
位相差δと光学系のデフォーカスの関係は一意に決まるので、AF検出部32で検出した位相差δを、レンズ繰り出し制御部33に送る。レンズ繰り出し制御部33は、位相差δとAF測距時のフォーカス用レンズ群12の位置から、合焦を得るのに必要なレンズの繰り出し量を求め、フォーカス用レンズ群12を繰り出すことで合焦制御を行う。
【００３１】
図8は、画像復元を行うフローチャートである。図1と図8を用いて、画像復元を行う動作について説明する。撮影者がディジタルカメラのレリーズボタン（不図示）を一段階押す（半押状態）とAFシーケンスが開始され、AF検出部32の測距用エリアセンサからの二つの像信号（A像、B像）を検出する(S11)。そして、前述したように、AF検出部32の位相差演算部で二つの像信号の相関演算を行って位相差δを求める(S12)。焦点を合わせるAF測距領域の位相差が、レンズ繰り出し制御部33に送られ、合焦を得るのに必要なレンズ繰り出し量を算出する(S13)。次に、レンズ繰り出し制御部33はフォーカス用レンズ群12を繰り出して合焦を行う(S14)。
【００３２】
AF測距時および合焦時のフォーカス用レンズ群12の位置は、レンズ繰り出し制御部33を通して検知され、測距情報保持部34に送られ保持される。被写体距離演算部35は、AF測距領域の位相差と、AF測距時および合焦時のフォーカス用レンズ群12の位置から、被写体距離を演算する(S15)。なお、ステップS13でレンズ繰り出し量が算出された時点で合焦時のフォーカス用レンズ群12の位置が分かるので、フォーカス用レンズ群12の繰り出し中にステップS15の被写体距離を演算してもよい。
【００３３】
次に、図示しないレリーズボタンをもう一段押し下げ操作することにより、撮像シーケンスが開始される。撮像をするため、メインミラー21とサブミラー31が撮影光束に退避し、被写体からの光束は、撮影レンズ10、光学LPF61を介して、撮像デバイス62に結像する。撮像デバイス62上には、図12に示すようなR、G、Bで構成される色モザイクフィルタが配置され、R、G、Bの各色成分の信号が取得できるようになっている。撮像デバイス62上に結像した被写体像は、光電変換されて画像信号として出力され、A/D変換器63でデジタル画像信号に変換されて、バッファメモリ71に、RAW画像データとして格納される(S16)。ズーム位置制御部41は、撮像時のズーム位置を示す情報を出力する。絞り制御部51は、撮影時の絞り状態を示す情報を出力する。
【００３４】
次に、画像復元処理について説明する。図1の復元フィルタデータベース(DB)74に、画像復元処理に使用する復元フィルタが格納されている。本実施例では、復元フィルタは、撮像系の設計データから求まるPSFに基づき作成される。撮像系の設計データには、撮影レンズ10の設計データ、絞り13の大きさと形状、光学LPF61の空間周波数特性、撮像デバイス62の画素ピッチと画素開口形状、撮像デバイス62上の色モザイクフィルタの配列などが含まれる。
【００３５】
また、R、G、Bの各色成分に対してそれぞれの復元フィルタを用意される。この復元フィルタ作成のため、波長帯域ごとの透過率特性を考慮する必要がある。波長帯域ごとの透過率特性は、波長帯域ごとのPSFの重み付け係数に相当し、撮像レンズ10の分光透過率特性、撮像デバイス62上の色モザイクフィルタの分光透過特性、撮像デバイス62の分光感度特性などである。また、図1には示さないが、赤外カットフィルタを使用する場合は、その分光透過特性も考慮する必要がある。
【００３６】
図3により画像復元フィルタの構成例を説明する。実際に、復元フィルタDB74に格納されている復元フィルタは、レンズの種類ごとに、ズーム位置と絞りの各パラメータの範囲を分割して対応する形となっている。撮影レンズ10は交換可能なので、図3(a)に示すように、使用されているレンズの種類、撮影時のズーム位置、絞りのパラメータごとに復元フィルタリストが用意されている。
【００３７】
さらに、図3(b)に示すように、復元フィルタリストに記載されているフィルタリストNo.ごとに、撮影時の被写体距離dfに応じた復元フィルタが用意されており、これを用いて撮影された画像に対して復元処理が行われる。一つの撮影状態においても、撮像光学系の画角(像高)に応じてPSFは変化するので、撮像光学系の画角(像高)ごとに、復元フィルタが用意されている。図4に示すように、画像内を複数の領域に分割し、分割した各復元領域201〜235に対応する復元フィルタを用いて画像復元処理を行う。
【００３８】
ステップS16で取得されたRAW画像データの画像復元処理を、図1と図8を用いて説明する。フィルタ選択部73は、撮影レンズ10の種類を示す情報を検知し、ズーム位置制御部41からRAW画像データの撮影時のズーム位置を、絞り制御部51から撮影時の絞り状態を取得する。そして、レンズの種類、ズーム位置、絞り状態に対応するフィルタリストNo.を、復元フィルタDB74のフィルタ復元リスト（図3(a)）から選択する。次に、被写体距離演算部35で算出した被写体距離dfに対応する復元フィルタ表を図3(b)の中から選択する(S17)。
【００３９】
なお、復元フィルタ補間部75は、復元フィルタDBにない、ズーム位置、絞り状態、被写体距離の各パラメータの中間値に対応する復元フィルタを必要とする際に、隣接する条件の復元フィルタから補間演算を行い必要な復元フィルタを生成するものである。また、復元フィルタDB内の復元フィルタのデータ容量を低減するため、各パラメータの分割数を減らして格納しておき、必要な条件の画像復元フィルタを生成する際にも用いられる。
【００４０】
［設計データより求まる光学特性と、実際の光学特性が異なる場合の対処］
ステップS17で選択された各復元領域に対応する復元フィルタは、撮像光学系の設計データより求まる光学特性に基づいて作成されたもので、設計上の光学特性であるPSFの逆関数に基づく復元フィルタからなっている。次に、設計データより求まる光学特性と実際に撮影に使用する撮像光学系の光学特性が異なる時、どのようにして画像復元を行うかについて述べる。
【００４１】
一般に光軸に対して回転対象な撮像光学系は、光軸に対して回転対称な光学特性となっている。このため、設計どおり撮像光学系が作られていれば、撮像光学系の光軸と撮像デバイスの撮像面との交点は撮像デバイスの中心と一致し、撮像で得られる画像も、撮像デバイスの中心である画像中心に対して回転対称な特性となる。
【００４２】
しかし、実際に製造された撮像光学系は、レンズ形状や撮像光学系を構成する部品の加工誤差および組み立て誤差、撮像デバイスの貼り合せ位置の誤差等により、製造ばらつきが生じている。以下、製造ばらつきにより、図5のように、撮影レンズの光軸が偏心し、画像中心に対して、回転対称な光学特性の中心がシフトしている場合について述べる。
【００４３】
撮影レンズ10には、レンズ偏心ROM15が内蔵されており、撮影レンズ10の製造時に、設計データから求まる光学特性と実際の撮影レンズ10の光学特性との差異情報が、撮影レンズ10の個体識別するためのID番号（ID情報）とともに格納されている。例えば、撮影レンズ10の光軸14が偏心している場合がある。この場合、図5に示すように、設計上の光軸（画像中心）101から実際の撮影レンズの光軸（製造ばらつき要因）14がどれだけずれているかを表す光軸偏心ベクトル102の情報がレンズ偏心ROM15に格納される。なお、ズームやフォーカス用レンズ群12の移動により光軸偏心ベクトル102が変化する場合、ズームやフォーカス用レンズ群12の位置ごとの光軸偏心ベクトル102を示す情報がレンズ偏心ROM15に格納されている。
【００４４】
設計データより求まる光学特性と撮影レンズ10の光学特性との差異情報である、光軸偏心ベクトルは、製造時に書き込まれる。
【００４５】
図6に示すように、画像中心101から等距離にある画像上の四隅の点P1、P2、P3、P4におけるOTFを測定する。OTFの測定方法は、例えば、正弦波格子のテストチャートを検査対象のレンズで結像し、像のコントラストを測定するコントラスト測定法を用いる。また、検査対象のレンズによる点像（または線像）を正弦波状の透過率をもつ格子で走査し、透過光の振幅を測定する光学的フーリエ変換法を用いてもよい。あるいは、検査対象のレンズによる点像（または線像）の強度分布を測定し、その出力を電気的にフーリエ変換してOTFを得る電気的フーリエ変換法を用いてもよい。
【００４６】
以下では、画面上で点P1からP4に位置する4点のOTFを電気的フーリエ変換法で測定する例を説明する。本実施例では、撮影レンズ10は交換可能であるためレンズマウントの中心を基準にして、撮像デバイス62の撮像面にセンサを配置し、画面上の点P1からP4に位置する点像強度分布を測定する。そして、P1からP4での点像強度分布をフーリエ変換したOTFから、その絶対値であるMTF(modulation transfer function)を計算する。
【００４７】
図7により点P1からP4におけるMTFの一例を示す。図7において、空間周波数fnは、撮像デバイスの画素ピッチがpとした時のナイキスト周波数fn=1/pである。ここでは、fn/2よりやや高い空間周波数f1におけるMTFの応答を、点P1からP4の代表値とし、この4点の値を用いて重心計算を行い、重心位置を撮影レンズの光軸位置とする。P1、P2、P3、P4における各座標を(x1, y1)、(x2, y2)、(x3, y3)、(x4, y4)、空間周波数f1におけるMTFの応答をm1、m2、m3、m4とする。この場合、撮像レンズの光軸位置を示す座標(xG, yG)は次式で求まる。
xG = (x1m1 + x2m2 +x3m3 + x4m4)/ (m1 + m2 +m3 + m4)
yG = (y1m1 + y2m2 +y3m3 + y4m4)/ (m1 + m2 +m3 + m4) ...(8)
【００４８】
そして、画像中心からこの光軸位置までのベクトルを、光軸偏心ベクトル102として、撮影レンズ10の個体識別をするためのID番号と共に、レンズ偏心ROM15に書き込む。
【００４９】
前述したようにズームやフォーカス用レンズ群12の移動により光軸偏心ベクトル102が変化する場合は、その位置毎に光軸偏心ベクトルを書き込む。また、絞り値によっても撮像面に結像される画像の対称性が異なる場合は、絞り状態ごとに光軸偏心ベクトル102をレンズ偏心ROM15に格納する。
【００５０】
ここまでの説明では、設計上の光軸と画像中心が一致していることを前提にしたが、本実施例では、撮影レンズ10が交換できるので、ボディ側の偏心がある場合、設計上の光軸と、画像中心は一致しない。この場合、レンズ偏心ROM15に書き込む光軸偏心ベクトルは、レンズマウントの中心を基準とした、実際の撮影レンズの光軸偏心ベクトルとなる。
【００５１】
一方、カメラボディ側のボディ偏心ROM72には、レンズマウントの中心を基準として、撮像デバイス62の張り付け誤差、光学LPF61などの組立誤差など、カメラボディ側の製造誤差要因による、光軸偏心ベクトルを示す情報が格納される。カメラボディ側の光軸偏心ベクトルの測定は、例えば、レンズマウントの中心を通るレーザを照射し、撮像デバイス62の出力画像から、画像中心とレンズマウントの中心とのシフト量を測定する。そして、このシフト量をカメラボディ側の光軸偏心ベクトルとしてボディ偏心ROM72に格納する。
【００５２】
復元処理部76は、撮影レンズのレンズ偏心ROM15から、現在の撮影光学系のズームの位置、フォーカス用レンズ群の位置、絞り状態における、撮影レンズの光軸偏心ベクトルを復元処理部76内のレンズ偏心ベクトルメモリ81に読み出す(S18)。次に、カメラボディ内のボディ偏心ROM72から、カメラボディ側の光軸偏心ベクトルを復元処理部76内のボディ偏心ベクトルメモリ82に読み出す(S19)。そして、二つの光軸偏心ベクトルを加算（合成）して、撮影レンズ10とカメラボディを組み合せた時のトータルでの光軸偏心ベクトルを求め、復元処理部76内のトータル偏心ベクトルメモリ83に格納する(S20)。
【００５３】
ステップS17で取得した設計上の光学特性に基づく復元フィルタを、ステップS20で求めた取得した光学特性の差異情報である光軸偏心ベクトルを用いて、補正しながら画像復元演算を行う。前述したように、ステップS17で選択された画像復元フィルタは、撮像光学系の像高に応じて変化する光学特性に対応するよう、図4のように分割した各復元領域で異なる特性の画像復元フィルタが選択さている。しかし、この画像復元フィルタは、設計上の光学特性に基づいて作成されたものであるため、像高の基準となる光軸が画像中心にあることを前提としている。このため、本実施例のように、撮影レンズの光軸が偏心し、画像中心からシフトしている場合、設計上の光軸に対して回転対称な特性ではなく、図7のように、光軸偏心ベクトルの分だけずれた点に対して回転対称な特性となっている。
【００５４】
そこで、光軸偏心ベクトルの分を補正したフィルタを用いるため、各復元領域201〜235を復元処理は次のように行う。復元処理部76内の復元対象領域切り出し部84によりトータル偏心ベクトルメモリ83に格納された偏心ベクトルの分シフトしたRAW画像データをバッファメモリ71から読み出す。それとともに、畳み込み演算部85によりステップS17で取得した復元フィルタを畳み込み積分して画像復元処理を行う(S21)。つまり、画像復元フィルタと光学特性の差異情報を用いて、補正フィルタを再構成しながら画像復元処理を行う。
【００５５】
次に、RAW画像データで保存する場合は、復元処理されたRAW画像データを、着脱可能なメモリーカードからなる記録媒体78に保存する。
【００５６】
画像形式をJPEGなどで保存する場合は、後処理部77で、画像復元処理されたRAW画像データに対して、デモザイキング処理、ホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理などを含む現像処理を施して画像データを生成する。現像処理によって得られた画像データは、例えばメモリカードのような記録媒体78に所定の画像フォーマットのデータファイルとして保存される。
【００５７】
このように、撮像光学系の光学特性にばらつきが生じていても、設計データの光学特性に基づき作成された復元フィルタを適用する復元領域を、光学特性の差異情報に基づき補正することで、適切な画像復元を実行することができる。
【００５８】
なお、復元フィルタを撮像光学系の設計データから求まるPSFに基づき作成する例を説明したが、PSFはOTFを逆フーリエ変換したものなので、撮像光学系の設計データから求まるOTFに基づき復元フィルタを作成してもよい。
【実施例２】
【００５９】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６０】
［装置の構成］
図9の構成図により実施例2の画像処理装置の構成例を説明する。実施例2では、交換できない撮影レンズを使用するディジタルカメラで撮像した画像データに画像復元処理を施して、画像復元処理した画像データを含むデータファイルを記録媒体に格納する例を説明する。
【００６１】
実施例2のディジタルカメラは撮影レンズ10を交換することができない。そのため、撮影レンズ10に起因する光学特性の差異情報と、カメラボディに起因する光学特性の差異情報を別々に考慮し、撮影レンズとカメラボディの組合せによる光学特性の差異情報を考慮する必要がない。このため、撮影レンズ10とカメラボディに起因する光学特性の差異情報を一つのものとして扱うことができる。
【００６２】
CPU70は、RAM79をワークメモリとして、ROM80などに格納されたプログラムを実行して、実施例1で説明したフィルタ選択部73、復元処理部76、後処理部77などの機能を実行する。
【００６３】
また、実施例2のディジタルカメラは、位相差検出方式のAFではなく、コントラスト方式のAFを採用する。従って、実施例1とは異なり、撮影レンズ10からの光束をメインミラーで選択的に変更することなく撮像デバイス62上に結像し、A/D変換器63でディジタルデータに変換した信号を用いてAFを行う。
【００６４】
図10によりコントラスト方式のAFを説明する。コントラスト方式のAFは、フォーカス用レンズ群12を至近から無限遠までの範囲で動かし、図10に示すように、レンズの繰り出し位置に対するコントラストを検出する。そして、コントラストがピーク値を示す位置に対応するレンズ繰り出し位置を合焦位置とする。合焦被写体距離dfは、コントラストがピークとなるフォーカス用レンズ群の繰り出し位置から演算で求めることができる。
【００６５】
図11は本発明の実施例にかかわる画像復元のフローチャートである。
【００６６】
撮影者がレリーズボタンを半押状態にすると、AFシーケンスが開始される。AF検出部32は、レンズ繰り出し制御部33を介してフォーカス用レンズ群12を至近から無限遠までの範囲で移動してコントラストを検出する。フォーカス用レンズ群12の位置は、レンズ繰り出し制御部33を通して検知され、コントラストがピーク値となるレンズ繰り出し位置は、測距情報保持部34に送られ保持される(S31)。レンズ繰り出し制御部33は、コントラストがピークとなるレンズ繰り出し位置にフォーカス用レンズ群12を繰り出して合焦を行う(S32)。
【００６７】
被写体距離演算部35は、測距情報保持部34が保持するコントラストがピークとなるレンズ繰り出し位置から合焦被写体距離dfを演算する(S33)。
【００６８】
次に、撮影者が図示しないレリーズボタンをもう一段押し下げ操作することにより、撮像シーケンスが開始される。被写体からの光束は、撮像レンズ10、光学LPF61を介して、撮像デバイス62に結像する。撮像デバイス62に結像した被写体像は、光電変換されて画像信号として出力され、A/D変換器63でデジタル信号に変換されて、バッファメモリ71に、RAW画像データとして格納される(S34)。
【００６９】
図9で、74は復元フィルタDBで、撮像系の設計データより求まるPSFに基づいて作成された画像復元フィルタが格納されている。実施例1と異なり、本実施例では、撮影レンズ10が交換できないので、撮影レンズは１種類で固定である。このため、画像復元フィルタDBには、レンズの種類毎の復元フィルタリストではなく、固定された撮影レンズについてのみの、画像復元フィルタが格納されている。
【００７０】
復元フィルタDBより、現在の撮影光学系のズーム、フォーカス用レンズ群の位置、絞り状態、被写体距離における画像復元フィルタとして、設計データに基づく各復元領域の画像復元フィルタを取得する(S35)。
【００７１】
［設計データより求まる光学特性と、実際の光学特性が異なる場合の対処］
撮影レンズが交換できないディジタルカメラやカメラ付きモバイル機器の撮像光学系は、レンズ交換可能なデジタルカメラに比べ、一般に小型、安価の要求から、製造ばらつきにより画面の四隅で結像性能または劣化度合いが異なる所謂片ぼけが発生し易い。以下では、製造バラつきにより、撮影レンズ10の光軸14が、撮像デバイス62の撮像面に対して傾いていて、片ぼけが発生している場合を説明する。
【００７２】
設計通りに撮像光学系が作られていれば、光軸に対して回転対称な撮像光学系は、光軸14に対して回転対称な光学特性になる。設計データから求まる光学特性と、撮影レンズ10の光学特性の差異が、実施例1で説明した光軸偏心に起因すれば、偏心した光軸を中心に画像復元を行えばよい。
【００７３】
しかし、光軸14が傾いている場合、画面内において回転対称な光学特性にはならない。従って、設計データに基づく復元フィルタを用いて画像復元処理を行うと、設計データよりもMTFが低い領域では復元不足になり、MTFが高い領域では画像劣化が発生する。これを抑えるには、実際の撮影レンズ10の光学特性に合わせて復元フィルタの補正を行う必要がある。
【００７４】
ディジタルカメラ内には、図9のように差異情報ROM86が内蔵されており、設計データから求まる光学特性と、実際の撮像光学系の光学特性の差異情報が格納されている。撮影レンズ10が固定されていて外せないため、撮影レンズ10単体でOTFを測定することができない。そこで、ディジタルカメラの製造時に、MTF測定用の格子チャートを、図6に示す点P1からP4の四箇所で撮影されるように配置し、撮像デバイス62から出力される画像信号から点P1からP4の各位置におけるチャート画像のコントラストを測定する。
【００７５】
ここで、コントラスト値は、最大値100%の場合を1、最小値0%の場合を0とする。測定に用いる格子チャートは、図7に示す空間周波数f1となる格子ピッチを用いる。そして、測定した点Pi (i=1, 2, 3, 4)におけるコントラストを、光学特性の差異情報である空間周波数f1における点PiのMTFの応答miとして、設計データから求まるMTFの応答mdとともに、差異情報ROM86に格納する。
【００７６】
ズームやフォーカス用レンズ群12の移動によりMTFの応答が異なる場合は、その位置ごとにMTFの応答を差異情報ROM86に格納する。また、絞り値によっても、MTFの応答が異なる場合は、絞りごとに差異情報ROM86に格納する。
【００７７】
［画像復元処理］
復元処理部76は、撮影レンズ10の現在のズーム位置、フォーカス用レンズ群の位置、絞り状態における光学特性の差異情報として、実際の撮像光学系のMTFの応答miと設計データより求まるMTFの応答mdを差異情報ROM86から取得する(S36)。そして、差異情報を用いて、ステップS35で取得した設計データに基づく各復元領域の復元フィルタを補正した補正フィルタを求める(S37)。
【００７８】
復元処理部76は、点P1からP4の中から各復元領域の中心位置に近い三点を選択し、三点のMTFの応答と、三点から当該復元領域の中心位置までの距離の関係から、当該復元領域の中心位置におけるMTFの応答mcを内挿または外挿で算出する。次に、各復元領域のMTFの応答mcを用いて、復元フィルタのゲインが、MTFの応答の比mc/mdの逆数になるように補正した補正フィルタを演算する。そして、各復元領域のRAW画像データと、当該復元領域に対応する補正フィルタ(補正後の復元フィルタ)を畳み込み積分することで画像復元演算を行う(S38)。
【００７９】
以下の処理は、実施例1と同様なので省略する。
【００８０】
このように、光学特性にばらつきで片ぼけが生じていても、設計上の光学特性に基づく復元フィルタを、光学特性の差異情報で補正することで、適切な画像復元を行うことができる。
【００８１】
なお、MTFの測定位置は図6に示す四点に限らず、復元フィルタの補正に必要な光学特性の差異情報を取得することができれば任意である。例えば、各復元領域の中心位置すべてについてMTFを測定すれば補正精度を高めることができる。
【００８２】
［変形例］
上記の実施例においては、光学特性の差異情報を求める空間周波数特性として、周波数fn/2よりやや高い空間周波数f1でのMTFの応答を用いる例を説明した。しかし、撮像光学系の特性や、どの周波数帯を重視して画像復元を行うかにより、空間周波数f1を変更してもよい。あるいは、複数の空間周波数のMTFの応答を利用し、それらに重み付けを行って、復元フィルタを補正してもよい。
【００８３】
また、差異情報ROMに格納した光学特性の差異情報を用いて、復元フィルタを補正して画像復元する例を説明したが、予め、光学特性の差異情報を用いて補正した復元フィルタをROMに格納しておき、それを読み込んで画像復元を行ってもよい。
【００８４】
また、製造時のばらつきに起因して、撮像光学系の設計上の光学特性と、実際の撮像光学系の光学特性が異なる場合を説明した。しかし、撮影時の姿勢差、衝撃、環境（温度や湿度）、経時変化によっても光学特性が変化する。そこで、それらに起因する差異情報を取得し、復元フィルタを補正して画像復元処理を行えば、それら要因による、画像復元における画質劣化や復元不足を抑制することが可能になる。
【００８５】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像により得られた画像に対しぼけや収差の画像復元処理に関する。
【背景技術】
【０００２】
撮影された画像にはぼけ(Blur)が生じている。ぼけの要因には、収差、焦点ずれ、露光期間中の撮像装置の移動（手振れを含む）、露光期間中の被写体の移動、大気の揺らぎなどがある。このようなぼけが生じた画像を復元するための画像復元アルゴリズムが知られている。
【０００３】
画像復元アルゴリズムとして、画像の結像状態の特性を点像分布関数（PSF: point spread function）で表し、PSFに基づき、ぼけを補正した画像に復元する手法がある。例えば、特許文献1は、PSFの逆特性を有する補正関数を用いて、ぼけを補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭62-127976号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際の撮影に用いる撮像光学系は、レンズ製造段階でのレンズ形状の加工誤差や組み立て誤差、また、レンズの光軸に対する撮像素子の偏心や傾きなどにより、光学特性にばらつきが生じている。このため、撮像光学系の設計データに基づく光学特性と、実際の撮像光学系の光学特性とは異なる場合がある。その場合、撮像光学系の設計データより求まる収差特性に基づいて作成された画像復元フィルタを用いて、製造ばらつきが生じた撮像光学系で撮影された画像を復元処理すると、画質劣化や復元が発生するといった問題がある。
【０００６】
そこで、本発明は、撮像光学系の設計上の光学性能と、実際の撮像光学系の光学性能が異なる場合でも、画像復元による画質劣化や復元不足を抑えることを実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置であって、設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像回復フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像光学系の設計上の光学性能と、実際の撮像光学系の光学性能が異なる場合でも、画像復元による画質劣化や復元不足を抑えることを実現することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例1の画像処理装置を説明する構成図。
【図２】測距用エリアセンサから出力される二つの像信号であるA像とB像の相対的な位置関係を説明する図。
【図３】画像復元フィルタの概念図。
【図４】分割した復元領域の一例を説明する図。
【図５】設計上の光軸と、実際の撮影レンズの光軸のずれを示す図。
【図６】OTFの測定位置を説明する図。
【図７】MTFの一例を示す図。
【図８】実施例1の画像復元を説明するフローチャート。
【図９】実施例2の画像処理装置を説明する構成図。
【図１０】コントラスト方式のAFを説明する図。
【図１１】実施例2画像復元を説明するフローチャート。
【図１２】撮像デバイス上の色モザイクフィルタの配列を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明にかかる実施例の画像処理を詳細に説明する。
【実施例１】
【００１１】
［画像復元の原理］
撮像系の光軸をz軸として、z軸に垂直な方向にx軸とy軸をとる。被写体（対象物）を忠実に画像化したものを原画像と呼び、位置座標(x, y)を用いて原画像をf(x, y)で表す。また、撮像によって得られる画像は、画像上の座標(x, y)を用いてg(x, y)で表す。
【００１２】
画像f(x, y)は、無数の点光源によって構成されると考えることができる。二次元のデルタ関数δ(x, y)は輝度が「1」の点光源と考えることができる。つまり、画像f(x, y)は、xy平面上の位置(xo, yo)における輝度がf(xo, yo)の点光源の線形和として、次式のように示される。なお、「o」は被写体を示す添字である。
f(x, y) = ∬f(xo, yo)δ(xo-x, yo-y)dxodyo ...(1)
ここで、積分範囲はdxo、dyoともに-∞から+∞。
【００１３】
入力として点光源を与えた時、撮像系を通し出力として、点光源がどれだけぼけた像として現れるかを示す特性である点像分布関数PSFをh(x, y)とする。
【００１４】
この応答h(x, y)は、撮像システムLのインパルス応答に対応し、位置(xo, yo)にある点光源として、二次元デルタ関数δ(x-xo, y-yo)を与えた時の出力は、次式で表される。
h(x, y, xo, yo) = L{δ(xo-x, yo-y)} ...(2)
【００１５】
従って、f(x, y)、g(x, y)、h(x, y)の間には次式の関係がなり立つ。
g(x, y) = L{f(x, y)}
= L{∬f(xo, yo)δ(xo-x, yo-y)dxodyo}
= ∬f(xo, yo)L{δ(xo-x, yo-y)}dxodyo
= ∬h(x, y, xo, yo)f(xo, yo)dxodyo ...(3)
ここで、積分範囲はdxo、dyoともに-∞から+∞。
【００１６】
PSFは、一般に、入力および出力の位置に依存してその値が変る。しかし、二次元システムの応答が均一で入力の位置による応答が変らないと見做せる領域内では下式がなり立つ。
g(x, y) = ∬h(x-xo, y-yo)f(xo, yo)dxodyo
= f(x, y)＊h(x, y) ...(4)
ここで、積分範囲はdxo、dyoともに-∞から+∞、
＊は畳み込み積分(convolution integral)を表す。
【００１７】
式(4)をフーリエ変換して空間周波数領域で表現すると下式のようになる。
G(u, v) = H(u, v)F(u, v) ...(5)
ここで、u、vはそれぞれx方向、y方向の空間周波数、
F(u, v)はf(x, y)の二次元フーリエ変換、
G(u, v)はg(x, y)の二次元フーリエ変換、
H(u, v)はh(x, y)の二次元フーリエ変換。
【００１８】
H(u, v)は、システムの周波数応答特性を示す空間周波数伝達関数、つまり、二次元フィルタの周波数特性を示し、光学的伝達関数（OTF: optical transfer function）と呼ばれる。撮像された画像g(x, y)から画像復元を行うには、式(5)を変形した下式を利用する。
F(u, v) = G(u, v)/H(u, v) ...(6)
【００１９】
OTFの逆フィルタである1/H(u, v)の積算によって得られるF(u, v)を、逆フーリエ変換して実空間に戻すことで、原画像f(x, y)が得られる。また、(6)式を逆フーリエ変換した下式のように、1/H(u, v)を逆フーリエ変換した画像復元フィルタを、撮像された画像g(x, y)に対して畳み込み積分することにより、原画像f(x, y)を得ることができる。
f(x, y) = g(x, y)＊F-1{1/H(u, v)} ...(7)
ここで、F-1は逆フーリエ変換。
【００２０】
実際に画像を復元処理する際は、撮像された画像g(x, y)がノイズ成分が含まれるため、画像復元フィルタF-1{1/H(u, v)}をそのまま用いるとノイズが増幅された画像になる。この問題を解決するには、例えばWiener（ウィナー）フィルタのように、ノイズ成分の存在を考慮した方法を用いる。
【００２１】
また、PSF：h(x, y)は、ズーム、絞り、被写体位置、像高で変化する。
【００２２】
［装置の構成］
図1の構成図により実施例1の画像処理装置について説明する。実施例1では、画像を撮影したディジタルカメラ内で復元処理を施して、画像復元処理した画像データを含むデータファイルを記録媒体に格納する例を説明する。
【００２３】
撮影レンズ10は、焦点を調整するフォーカス用レンズ群12、光量を調整する絞り13、フォーカス用レンズ群以外のレンズ群11を有する。14は光学系の光軸である。撮影レンズ10は、ズームレンズで、撮像時のズーム位置が、ズーム位置制御部41を通して、検知可能な機能を有している。撮影時の絞り状態は、絞り制御部51を通して、検知可能な機能を有している。また、撮影レンズ10は交換可能であり、撮影時に使用したレンズの種類が、検知可能な機能を有しており、後述するフィルタ選択部73は、撮影時のレンズの種類を示す情報を取得する。
【００２４】
被写体からの光束は、撮影レンズ10を介してメインミラー21により上方に反射され、焦点板22に像を形成する。焦点板22に形成された像は、ペンタゴナルダハプリズム23による数回の反射を経て、接眼レンズ24を介して撮影者の眼に達し、撮影者は被写体を視認する。
【００２５】
一方、撮像レンズ10を介してメインミラー21に到達した光束の一部は、メインミラー21のハーフミラー部を透過し、サブミラー31により下方に反射されて自動焦点(AF)検出部32に導かれる。撮像時は、メインミラー21とサブミラー31を上方に跳ね上げて、メインミラー21とサブミラー31を撮影光束の外に退避させる。従って、撮影時、撮影レンズ10を介した光束は、光学ローパスフィルタ（光学LPF）61を経て、撮像デバイス62上に結像する。
【００２６】
光学LPF61は、撮像デバイス62の空間サンプリングによる折り返し成分を抑える役割を果たす。撮像デバイス62は、CCDやCMOSセンサなどから構成され、受光面上に結像した被写体像を光電変換したアナログ画像信号を出力する。撮像デバイス62から出力されるアナログ画像信号は、アナログ-ディジタル変換器（A/D変換器）63により、ディジタル画像信号に変換されたRAW画像データとして、バッファメモリ71に格納される。
【００２７】
本実施例のAF方式は、複数のAF測距領域をもつ、位相差検出方式である。AF検出部32は、サブミラー31からの光束を二つの光束に分離する瞳分割光学系、分離された二像を取り込む一対の測距用エリアセンサ、および、二像の相対的な位置関係を示す位置ずれ量である位相差を演算する位相差演算部で構成される。
【００２８】
図2により測距用エリアセンサから出力される二つの像信号であるA像とB像の相対的な位置関係を説明する。
【００２９】
二つの像は異なる瞳を通過した光束よりなるため、レンズの繰り出し量により、図2に示すように、像の相対位置が前ピン、合焦、後ピンの各状態で異なる。この二像の相対的なずれ量を、二つの像信号の相関演算を行うことにより計算し、位相差δを求める。位相差δは、前ピン時は負の値（図2(a)）、合焦時は零（図2(b)）、後ピン時は正の値（図2(c)）をとる。
【００３０】
位相差δと光学系のデフォーカスの関係は一意に決まるので、AF検出部32で検出した位相差δを、レンズ繰り出し制御部33に送る。レンズ繰り出し制御部33は、位相差δとAF測距時のフォーカス用レンズ群12の位置から、合焦を得るのに必要なレンズの繰り出し量を求め、フォーカス用レンズ群12を繰り出すことで合焦制御を行う。
【００３１】
図8は、画像復元を行うフローチャートである。図1と図8を用いて、画像復元を行う動作について説明する。撮影者がディジタルカメラのレリーズボタン（不図示）を一段階押す（半押状態）とAFシーケンスが開始され、AF検出部32の測距用エリアセンサからの二つの像信号（A像、B像）を検出する(S11)。そして、前述したように、AF検出部32の位相差演算部で二つの像信号の相関演算を行って位相差δを求める(S12)。焦点を合わせるAF測距領域の位相差が、レンズ繰り出し制御部33に送られ、合焦を得るのに必要なレンズ繰り出し量を算出する(S13)。次に、レンズ繰り出し制御部33はフォーカス用レンズ群12を繰り出して合焦を行う(S14)。
【００３２】
AF測距時および合焦時のフォーカス用レンズ群12の位置は、レンズ繰り出し制御部33を通して検知され、測距情報保持部34に送られ保持される。被写体距離演算部35は、AF測距領域の位相差と、AF測距時および合焦時のフォーカス用レンズ群12の位置から、被写体距離を演算する(S15)。なお、ステップS13でレンズ繰り出し量が算出された時点で合焦時のフォーカス用レンズ群12の位置が分かるので、フォーカス用レンズ群12の繰り出し中にステップS15の被写体距離を演算してもよい。
【００３３】
次に、図示しないレリーズボタンをもう一段押し下げ操作することにより、撮像シーケンスが開始される。撮像をするため、メインミラー21とサブミラー31が撮影光束に退避し、被写体からの光束は、撮影レンズ10、光学LPF61を介して、撮像デバイス62に結像する。撮像デバイス62上には、図12に示すようなR、G、Bで構成される色モザイクフィルタが配置され、R、G、Bの各色成分の信号が取得できるようになっている。撮像デバイス62上に結像した被写体像は、光電変換されて画像信号として出力され、A/D変換器63でデジタル画像信号に変換されて、バッファメモリ71に、RAW画像データとして格納される(S16)。ズーム位置制御部41は、撮像時のズーム位置を示す情報を出力する。絞り制御部51は、撮影時の絞り状態を示す情報を出力する。
【００３４】
次に、画像復元処理について説明する。図1の復元フィルタデータベース(DB)74に、画像復元処理に使用する復元フィルタが格納されている。本実施例では、復元フィルタは、撮像系の設計データから求まるPSFに基づき作成される。撮像系の設計データには、撮影レンズ10の設計データ、絞り13の大きさと形状、光学LPF61の空間周波数特性、撮像デバイス62の画素ピッチと画素開口形状、撮像デバイス62上の色モザイクフィルタの配列などが含まれる。
【００３５】
また、R、G、Bの各色成分に対してそれぞれの復元フィルタを用意される。この復元フィルタ作成のため、波長帯域ごとの透過率特性を考慮する必要がある。波長帯域ごとの透過率特性は、波長帯域ごとのPSFの重み付け係数に相当し、撮像レンズ10の分光透過率特性、撮像デバイス62上の色モザイクフィルタの分光透過特性、撮像デバイス62の分光感度特性などである。また、図1には示さないが、赤外カットフィルタを使用する場合は、その分光透過特性も考慮する必要がある。
【００３６】
図3により画像復元フィルタの構成例を説明する。実際に、復元フィルタDB74に格納されている復元フィルタは、レンズの種類ごとに、ズーム位置と絞りの各パラメータの範囲を分割して対応する形となっている。撮影レンズ10は交換可能なので、図3(a)に示すように、使用されているレンズの種類、撮影時のズーム位置、絞りのパラメータごとに復元フィルタリストが用意されている。
【００３７】
さらに、図3(b)に示すように、復元フィルタリストに記載されているフィルタリストNo.ごとに、撮影時の被写体距離dfに応じた復元フィルタが用意されており、これを用いて撮影された画像に対して復元処理が行われる。一つの撮影状態においても、撮像光学系の画角(像高)に応じてPSFは変化するので、撮像光学系の画角(像高)ごとに、復元フィルタが用意されている。図4に示すように、画像内を複数の領域に分割し、分割した各復元領域201〜235に対応する復元フィルタを用いて画像復元処理を行う。
【００３８】
ステップS16で取得されたRAW画像データの画像復元処理を、図1と図8を用いて説明する。フィルタ選択部73は、撮影レンズ10の種類を示す情報を検知し、ズーム位置制御部41からRAW画像データの撮影時のズーム位置を、絞り制御部51から撮影時の絞り状態を取得する。そして、レンズの種類、ズーム位置、絞り状態に対応するフィルタリストNo.を、復元フィルタDB74のフィルタ復元リスト（図3(a)）から選択する。次に、被写体距離演算部35で算出した被写体距離dfに対応する復元フィルタ表を図3(b)の中から選択する(S17)。
【００３９】
なお、復元フィルタ補間部75は、復元フィルタDBにない、ズーム位置、絞り状態、被写体距離の各パラメータの中間値に対応する復元フィルタを必要とする際に、隣接する条件の復元フィルタから補間演算を行い必要な復元フィルタを生成するものである。また、復元フィルタDB内の復元フィルタのデータ容量を低減するため、各パラメータの分割数を減らして格納しておき、必要な条件の画像復元フィルタを生成する際にも用いられる。
【００４０】
［設計データより求まる光学特性と、実際の光学特性が異なる場合の対処］
ステップS17で選択された各復元領域に対応する復元フィルタは、撮像光学系の設計データより求まる光学特性に基づいて作成されたもので、設計上の光学特性であるPSFの逆関数に基づく復元フィルタからなっている。次に、設計データより求まる光学特性と実際に撮影に使用する撮像光学系の光学特性が異なる時、どのようにして画像復元を行うかについて述べる。
【００４１】
一般に光軸に対して回転対象な撮像光学系は、光軸に対して回転対称な光学特性となっている。このため、設計どおり撮像光学系が作られていれば、撮像光学系の光軸と撮像デバイスの撮像面との交点は撮像デバイスの中心と一致し、撮像で得られる画像も、撮像デバイスの中心である画像中心に対して回転対称な特性となる。
【００４２】
しかし、実際に製造された撮像光学系は、レンズ形状や撮像光学系を構成する部品の加工誤差および組み立て誤差、撮像デバイスの貼り合せ位置の誤差等により、製造ばらつきが生じている。以下、製造ばらつきにより、図5のように、撮影レンズの光軸が偏心し、画像中心に対して、回転対称な光学特性の中心がシフトしている場合について述べる。
【００４３】
撮影レンズ10には、レンズ偏心ROM15が内蔵されており、撮影レンズ10の製造時に、設計データから求まる光学特性と実際の撮影レンズ10の光学特性との差異情報が、撮影レンズ10の個体識別するためのID番号（ID情報）とともに格納されている。例えば、撮影レンズ10の光軸14が偏心している場合がある。この場合、図5に示すように、設計上の光軸（画像中心）101から実際の撮影レンズの光軸（製造ばらつき要因）14がどれだけずれているかを表す光軸偏心ベクトル102の情報がレンズ偏心ROM15に格納される。なお、ズームやフォーカス用レンズ群12の移動により光軸偏心ベクトル102が変化する場合、ズームやフォーカス用レンズ群12の位置ごとの光軸偏心ベクトル102を示す情報がレンズ偏心ROM15に格納されている。
【００４４】
設計データより求まる光学特性と撮影レンズ10の光学特性との差異情報である、光軸偏心ベクトルは、製造時に書き込まれる。
【００４５】
図6に示すように、画像中心101から等距離にある画像上の四隅の点P1、P2、P3、P4におけるOTFを測定する。OTFの測定方法は、例えば、正弦波格子のテストチャートを検査対象のレンズで結像し、像のコントラストを測定するコントラスト測定法を用いる。また、検査対象のレンズによる点像（または線像）を正弦波状の透過率をもつ格子で走査し、透過光の振幅を測定する光学的フーリエ変換法を用いてもよい。あるいは、検査対象のレンズによる点像（または線像）の強度分布を測定し、その出力を電気的にフーリエ変換してOTFを得る電気的フーリエ変換法を用いてもよい。
【００４６】
以下では、画面上で点P1からP4に位置する4点のOTFを電気的フーリエ変換法で測定する例を説明する。本実施例では、撮影レンズ10は交換可能であるためレンズマウントの中心を基準にして、撮像デバイス62の撮像面にセンサを配置し、画面上の点P1からP4に位置する点像強度分布を測定する。そして、P1からP4での点像強度分布をフーリエ変換したOTFから、その絶対値であるMTF(modulation transfer function)を計算する。
【００４７】
図7により点P1からP4におけるMTFの一例を示す。図7において、空間周波数fnは、撮像デバイスの画素ピッチがpとした時のナイキスト周波数fn=1/pである。ここでは、fn/2よりやや高い空間周波数f1におけるMTFの応答を、点P1からP4の代表値とし、この4点の値を用いて重心計算を行い、重心位置を撮影レンズの光軸位置とする。P1、P2、P3、P4における各座標を(x1, y1)、(x2, y2)、(x3, y3)、(x4, y4)、空間周波数f1におけるMTFの応答をm1、m2、m3、m4とする。この場合、撮像レンズの光軸位置を示す座標(xG, yG)は次式で求まる。
xG = (x1m1 + x2m2 +x3m3 + x4m4)/ (m1 + m2 +m3 + m4)
yG = (y1m1 + y2m2 +y3m3 + y4m4)/ (m1 + m2 +m3 + m4) ...(8)
【００４８】
そして、画像中心からこの光軸位置までのベクトルを、光軸偏心ベクトル102として、撮影レンズ10の個体識別をするためのID番号と共に、レンズ偏心ROM15に書き込む。
【００４９】
前述したようにズームやフォーカス用レンズ群12の移動により光軸偏心ベクトル102が変化する場合は、その位置毎に光軸偏心ベクトルを書き込む。また、絞り値によっても撮像面に結像される画像の対称性が異なる場合は、絞り状態ごとに光軸偏心ベクトル102をレンズ偏心ROM15に格納する。
【００５０】
ここまでの説明では、設計上の光軸と画像中心が一致していることを前提にしたが、本実施例では、撮影レンズ10が交換できるので、ボディ側の偏心がある場合、設計上の光軸と、画像中心は一致しない。この場合、レンズ偏心ROM15に書き込む光軸偏心ベクトルは、レンズマウントの中心を基準とした、実際の撮影レンズの光軸偏心ベクトルとなる。
【００５１】
一方、カメラボディ側のボディ偏心ROM72には、レンズマウントの中心を基準として、撮像デバイス62の張り付け誤差、光学LPF61などの組立誤差など、カメラボディ側の製造誤差要因による、光軸偏心ベクトルを示す情報が格納される。カメラボディ側の光軸偏心ベクトルの測定は、例えば、レンズマウントの中心を通るレーザを照射し、撮像デバイス62の出力画像から、画像中心とレンズマウントの中心とのシフト量を測定する。そして、このシフト量をカメラボディ側の光軸偏心ベクトルとしてボディ偏心ROM72に格納する。
【００５２】
復元処理部76は、撮影レンズのレンズ偏心ROM15から、現在の撮影光学系のズームの位置、フォーカス用レンズ群の位置、絞り状態における、撮影レンズの光軸偏心ベクトルを復元処理部76内のレンズ偏心ベクトルメモリ81に読み出す(S18)。次に、カメラボディ内のボディ偏心ROM72から、カメラボディ側の光軸偏心ベクトルを復元処理部76内のボディ偏心ベクトルメモリ82に読み出す(S19)。そして、二つの光軸偏心ベクトルを加算（合成）して、撮影レンズ10とカメラボディを組み合せた時のトータルでの光軸偏心ベクトルを求め、復元処理部76内のトータル偏心ベクトルメモリ83に格納する(S20)。
【００５３】
ステップS17で取得した設計上の光学特性に基づく復元フィルタを、ステップS20で求めた取得した光学特性の差異情報である光軸偏心ベクトルを用いて、補正しながら画像復元演算を行う。前述したように、ステップS17で選択された画像復元フィルタは、撮像光学系の像高に応じて変化する光学特性に対応するよう、図4のように分割した各復元領域で異なる特性の画像復元フィルタが選択さている。しかし、この画像復元フィルタは、設計上の光学特性に基づいて作成されたものであるため、像高の基準となる光軸が画像中心にあることを前提としている。このため、本実施例のように、撮影レンズの光軸が偏心し、画像中心からシフトしている場合、設計上の光軸に対して回転対称な特性ではなく、図7のように、光軸偏心ベクトルの分だけずれた点に対して回転対称な特性となっている。
【００５４】
そこで、光軸偏心ベクトルの分を補正したフィルタを用いるため、各復元領域201〜235を復元処理は次のように行う。復元処理部76内の復元対象領域切り出し部84によりトータル偏心ベクトルメモリ83に格納された偏心ベクトルの分シフトしたRAW画像データをバッファメモリ71から読み出す。それとともに、畳み込み演算部85によりステップS17で取得した復元フィルタを畳み込み積分して画像復元処理を行う(S21)。つまり、画像復元フィルタと光学特性の差異情報を用いて、補正フィルタを再構成しながら画像復元処理を行う。
【００５５】
次に、RAW画像データで保存する場合は、復元処理されたRAW画像データを、着脱可能なメモリーカードからなる記録媒体78に保存する。
【００５６】
画像形式をJPEGなどで保存する場合は、後処理部77で、画像復元処理されたRAW画像データに対して、デモザイキング処理、ホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理などを含む現像処理を施して画像データを生成する。現像処理によって得られた画像データは、例えばメモリカードのような記録媒体78に所定の画像フォーマットのデータファイルとして保存される。
【００５７】
このように、撮像光学系の光学特性にばらつきが生じていても、設計データの光学特性に基づき作成された復元フィルタを適用する復元領域を、光学特性の差異情報に基づき補正することで、適切な画像復元を実行することができる。
【００５８】
なお、復元フィルタを撮像光学系の設計データから求まるPSFに基づき作成する例を説明したが、PSFはOTFを逆フーリエ変換したものなので、撮像光学系の設計データから求まるOTFに基づき復元フィルタを作成してもよい。
【実施例２】
【００５９】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６０】
［装置の構成］
図9の構成図により実施例2の画像処理装置の構成例を説明する。実施例2では、交換できない撮影レンズを使用するディジタルカメラで撮像した画像データに画像復元処理を施して、画像復元処理した画像データを含むデータファイルを記録媒体に格納する例を説明する。
【００６１】
実施例2のディジタルカメラは撮影レンズ10を交換することができない。そのため、撮影レンズ10に起因する光学特性の差異情報と、カメラボディに起因する光学特性の差異情報を別々に考慮し、撮影レンズとカメラボディの組合せによる光学特性の差異情報を考慮する必要がない。このため、撮影レンズ10とカメラボディに起因する光学特性の差異情報を一つのものとして扱うことができる。
【００６２】
CPU70は、RAM79をワークメモリとして、ROM80などに格納されたプログラムを実行して、実施例1で説明したフィルタ選択部73、復元処理部76、後処理部77などの機能を実行する。
【００６３】
また、実施例2のディジタルカメラは、位相差検出方式のAFではなく、コントラスト方式のAFを採用する。従って、実施例1とは異なり、撮影レンズ10からの光束をメインミラーで選択的に変更することなく撮像デバイス62上に結像し、A/D変換器63でディジタルデータに変換した信号を用いてAFを行う。
【００６４】
図10によりコントラスト方式のAFを説明する。コントラスト方式のAFは、フォーカス用レンズ群12を至近から無限遠までの範囲で動かし、図10に示すように、レンズの繰り出し位置に対するコントラストを検出する。そして、コントラストがピーク値を示す位置に対応するレンズ繰り出し位置を合焦位置とする。合焦被写体距離dfは、コントラストがピークとなるフォーカス用レンズ群の繰り出し位置から演算で求めることができる。
【００６５】
図11は本発明の実施例にかかわる画像復元のフローチャートである。
【００６６】
撮影者がレリーズボタンを半押状態にすると、AFシーケンスが開始される。AF検出部32は、レンズ繰り出し制御部33を介してフォーカス用レンズ群12を至近から無限遠までの範囲で移動してコントラストを検出する。フォーカス用レンズ群12の位置は、レンズ繰り出し制御部33を通して検知され、コントラストがピーク値となるレンズ繰り出し位置は、測距情報保持部34に送られ保持される(S31)。レンズ繰り出し制御部33は、コントラストがピークとなるレンズ繰り出し位置にフォーカス用レンズ群12を繰り出して合焦を行う(S32)。
【００６７】
被写体距離演算部35は、測距情報保持部34が保持するコントラストがピークとなるレンズ繰り出し位置から合焦被写体距離dfを演算する(S33)。
【００６８】
次に、撮影者が図示しないレリーズボタンをもう一段押し下げ操作することにより、撮像シーケンスが開始される。被写体からの光束は、撮像レンズ10、光学LPF61を介して、撮像デバイス62に結像する。撮像デバイス62に結像した被写体像は、光電変換されて画像信号として出力され、A/D変換器63でデジタル信号に変換されて、バッファメモリ71に、RAW画像データとして格納される(S34)。
【００６９】
図9で、74は復元フィルタDBで、撮像系の設計データより求まるPSFに基づいて作成された画像復元フィルタが格納されている。実施例1と異なり、本実施例では、撮影レンズ10が交換できないので、撮影レンズは１種類で固定である。このため、画像復元フィルタDBには、レンズの種類毎の復元フィルタリストではなく、固定された撮影レンズについてのみの、画像復元フィルタが格納されている。
【００７０】
復元フィルタDBより、現在の撮影光学系のズーム、フォーカス用レンズ群の位置、絞り状態、被写体距離における画像復元フィルタとして、設計データに基づく各復元領域の画像復元フィルタを取得する(S35)。
【００７１】
［設計データより求まる光学特性と、実際の光学特性が異なる場合の対処］
撮影レンズが交換できないディジタルカメラやカメラ付きモバイル機器の撮像光学系は、レンズ交換可能なデジタルカメラに比べ、一般に小型、安価の要求から、製造ばらつきにより画面の四隅で結像性能または劣化度合いが異なる所謂片ぼけが発生し易い。以下では、製造バラつきにより、撮影レンズ10の光軸14が、撮像デバイス62の撮像面に対して傾いていて、片ぼけが発生している場合を説明する。
【００７２】
設計通りに撮像光学系が作られていれば、光軸に対して回転対称な撮像光学系は、光軸14に対して回転対称な光学特性になる。設計データから求まる光学特性と、撮影レンズ10の光学特性の差異が、実施例1で説明した光軸偏心に起因すれば、偏心した光軸を中心に画像復元を行えばよい。
【００７３】
しかし、光軸14が傾いている場合、画面内において回転対称な光学特性にはならない。従って、設計データに基づく復元フィルタを用いて画像復元処理を行うと、設計データよりもMTFが低い領域では復元不足になり、MTFが高い領域では画像劣化が発生する。これを抑えるには、実際の撮影レンズ10の光学特性に合わせて復元フィルタの補正を行う必要がある。
【００７４】
ディジタルカメラ内には、図9のように差異情報ROM86が内蔵されており、設計データから求まる光学特性と、実際の撮像光学系の光学特性の差異情報が格納されている。撮影レンズ10が固定されていて外せないため、撮影レンズ10単体でOTFを測定することができない。そこで、ディジタルカメラの製造時に、MTF測定用の格子チャートを、図6に示す点P1からP4の四箇所で撮影されるように配置し、撮像デバイス62から出力される画像信号から点P1からP4の各位置におけるチャート画像のコントラストを測定する。
【００７５】
ここで、コントラスト値は、最大値100%の場合を1、最小値0%の場合を0とする。測定に用いる格子チャートは、図7に示す空間周波数f1となる格子ピッチを用いる。そして、測定した点Pi (i=1, 2, 3, 4)におけるコントラストを、光学特性の差異情報である空間周波数f1における点PiのMTFの応答miとして、設計データから求まるMTFの応答mdとともに、差異情報ROM86に格納する。
【００７６】
ズームやフォーカス用レンズ群12の移動によりMTFの応答が異なる場合は、その位置ごとにMTFの応答を差異情報ROM86に格納する。また、絞り値によっても、MTFの応答が異なる場合は、絞りごとに差異情報ROM86に格納する。
【００７７】
［画像復元処理］
復元処理部76は、撮影レンズ10の現在のズーム位置、フォーカス用レンズ群の位置、絞り状態における光学特性の差異情報として、実際の撮像光学系のMTFの応答miと設計データより求まるMTFの応答mdを差異情報ROM86から取得する(S36)。そして、差異情報を用いて、ステップS35で取得した設計データに基づく各復元領域の復元フィルタを補正した補正フィルタを求める(S37)。
【００７８】
復元処理部76は、点P1からP4の中から各復元領域の中心位置に近い三点を選択し、三点のMTFの応答と、三点から当該復元領域の中心位置までの距離の関係から、当該復元領域の中心位置におけるMTFの応答mcを内挿または外挿で算出する。次に、各復元領域のMTFの応答mcを用いて、復元フィルタのゲインが、MTFの応答の比mc/mdの逆数になるように補正した補正フィルタを演算する。そして、各復元領域のRAW画像データと、当該復元領域に対応する補正フィルタ(補正後の復元フィルタ)を畳み込み積分することで画像復元演算を行う(S38)。
【００７９】
以下の処理は、実施例1と同様なので省略する。
【００８０】
このように、光学特性にばらつきで片ぼけが生じていても、設計上の光学特性に基づく復元フィルタを、光学特性の差異情報で補正することで、適切な画像復元を行うことができる。
【００８１】
なお、MTFの測定位置は図6に示す四点に限らず、復元フィルタの補正に必要な光学特性の差異情報を取得することができれば任意である。例えば、各復元領域の中心位置すべてについてMTFを測定すれば補正精度を高めることができる。
【００８２】
［変形例］
上記の実施例においては、光学特性の差異情報を求める空間周波数特性として、周波数fn/2よりやや高い空間周波数f1でのMTFの応答を用いる例を説明した。しかし、撮像光学系の特性や、どの周波数帯を重視して画像復元を行うかにより、空間周波数f1を変更してもよい。あるいは、複数の空間周波数のMTFの応答を利用し、それらに重み付けを行って、復元フィルタを補正してもよい。
【００８３】
また、差異情報ROMに格納した光学特性の差異情報を用いて、復元フィルタを補正して画像復元する例を説明したが、予め、光学特性の差異情報を用いて補正した復元フィルタをROMに格納しておき、それを読み込んで画像復元を行ってもよい。
【００８４】
また、製造時のばらつきに起因して、撮像光学系の設計上の光学特性と、実際の撮像光学系の光学特性が異なる場合を説明した。しかし、撮影時の姿勢差、衝撃、環境（温度や湿度）、経時変化によっても光学特性が変化する。そこで、それらに起因する差異情報を取得し、復元フィルタを補正して画像復元処理を行えば、それら要因による、画像復元における画質劣化や復元不足を抑制することが可能になる。
【００８５】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置であって、
設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像復元フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする画像復元装置。
【請求項２】
前記補正フィルタを保持する保持手段を有することを特徴とする請求項１記載の画像復元装置。
【請求項３】
前記光学特性の差異情報を保持する保持手段を有し、前記画像復元フィルタと光学特性の差異情報を用いて、補正フィルタを再構成しながら画像復元処理を行うことを特徴とする請求項１記載の画像復元装置。
【請求項４】
前記光学特性の差異情報とともに、撮像光学系の個体識別をするためのID情報を保持する保持手段を有することを特徴とする請求項１乃至3の何れか１項に記載の画像復元装置。
【請求項５】
前記光学特性の差異情報とは、撮像光学系の光軸と画像の中心とのずれ量であることを特徴とする請求項１乃至4の何れか１項に記載の画像復元装置。
【請求項６】
前記光学特性の差異情報とは、撮像光学系の製造誤差により画像の四隅で結像性能が異なる片ぼけであることを特徴とする請求項１乃至4の何れか１項に記載の画像復元装置。
【請求項７】
撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置の画像復元方法であって、
設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像復元フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする画像復元方法。
【請求項１】
撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置であって、
設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像復元フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする画像復元装置。
【請求項２】
前記補正フィルタを保持する保持手段を有することを特徴とする請求項１記載の画像復元装置。
【請求項３】
前記光学特性の差異情報を保持する保持手段を有し、前記画像復元フィルタと光学特性の差異情報を用いて、補正フィルタを再構成しながら画像復元処理を行うことを特徴とする請求項１記載の画像復元装置。
【請求項４】
前記光学特性の差異情報とともに、撮像光学系の個体識別をするためのID情報を保持する保持手段を有することを特徴とする請求項１乃至3の何れか１項に記載の画像復元装置。
【請求項５】
前記光学特性の差異情報とは、撮像光学系の光軸と画像の中心とのずれ量であることを特徴とする請求項１乃至4の何れか１項に記載の画像復元装置。
【請求項６】
前記光学特性の差異情報とは、撮像光学系の製造誤差により画像の四隅で結像性能が異なる片ぼけであることを特徴とする請求項１乃至4の何れか１項に記載の画像復元装置。
【請求項７】
撮像光学系の設計データより求まる光学特性に基づいて作成された画像復元フィルタを保持する画像復元装置の画像復元方法であって、
設計データより求まる光学特性と実際の撮影に使用する撮像光学系の光学特性との差異情報から、前記設計データに基づく画像復元フィルタを再構成した補正フィルタを用いて画像復元処理を行うことを特徴とする画像復元方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１２】
【図８】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１２】
【図８】
【図１１】
【公開番号】特開２０１２−２５６１１８（Ｐ２０１２−２５６１１８Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７６５２（Ｐ２０１１−１２７６５２）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]