説明

画像処理装置、画像処理プログラム、画像処理方法及びそれを用いた撮像装置

【課題】製造ばらつきによって回転非対称に発生する像面湾曲を補正して高画質な画像を取得することが可能な画像処理装置および画像処理方法を提供する。
【解決手段】撮像画像に対して画像処理を行う画像処理装置20は、色ずれ量を検出する色ずれ検出部22と、画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する記憶部24と、前記記憶部に記憶された前記関係から、前記検出部が検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する非対称特性取得部23と、非対称特性取得部が取得した像面湾曲に関するぼけ量を補正するように原点に対して非対称に画像処理を行うフィルタリング処理部27と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理プログラム、画像処理方法及びそれを用いた撮像装置に関する。
【背景技術】
【0002】
光軸に関して回転対称な光学系においても、レンズやレンズ鏡筒の製造ばらつきにより倍率色収差が回転非対称に発生する場合がある。回転非対称な収差成分は片ボケと呼ばれるが、片ボケは画質劣化をもたらすため改善が求められている。従来から画像の色ずれ量を検出して画像処理を行うことで画質劣化を改善する方法が提案されている(特許文献1、2)。また、画像回復処理により画質劣化を改善する方法として特許文献3がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第06/093266号パンフレット
【特許文献2】米国特許第6870564号明細書
【特許文献3】特開2010−087672号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、回転非対称に発生する像面湾曲を画像処理によって効果的に補正する方法は従来提案されていなかった。そもそも像面湾曲の片ボケなどの色ずれとして検出できない収差成分の片ボケは画像から判別することができなかった。
【0005】
そこで、本発明は、製造ばらつきによって回転非対称に発生する像面湾曲を補正して高画質な画像を取得することが可能な画像処理装置および画像処理方法を提供することを例示的な目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、撮影部によって撮影された画像に対して画像処理を行う画像処理装置であって、画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する記憶部と、前記画像の原点に関して対称な位置における色ずれ量を検出する検出部と、前記記憶部に記憶された前記関係から、前記検出部が検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得部と、前記取得部が取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理部と、を有することを特徴とする。かかる画像処理装置を有する撮像装置も本発明の一側面を構成する。
【0007】
本発明の画像処理方法は、撮影部によって撮影された画像に対して画像処理を行う画像処理方法であって、画像の原点に関して対称な位置における色ずれ量を検出する検出ステップと、画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を保持する記憶部から、前記検出ステップが検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得ステップと、前記取得ステップが取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理ステップと、を有することを特徴とする。前記画像処理方法をコンピュータに実行させる画像処理プログラムも本発明の一側面を構成する。
【発明の効果】
【0008】
本発明によれば、製造ばらつきによって回転非対称に発生する像面湾曲を補正して高画質な画像を取得することが可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態の画像処理装置のブロック図である。
【図2】色ずれ量の非対称性と像面湾曲の非対称性の関係を示すグラフである。
【図3】図2の縦軸と横軸を説明するための図である。
【図4】図1に示す画像処理装置の動作を説明するためのフローチャートである。
【図5】図4に示すステップ40の詳細を説明するためのフローチャートである。
【図6】図1に示す画像処理装置の変形例のブロック図である。
【発明を実施するための形態】
【0010】
図1は、本実施形態の画像処理装置20のブロック図である。画像処理装置20は、不図示の撮影部の撮影光学系が形成した光学像を光電変換することによって生成された画像データ12と、撮影条件(撮影情報)14を保持する撮像画像生成部10に接続されている。画像処理装置20は、像面湾曲の片ボケを画像処理によって補正した画像データを出力画像30として出力する。
【0011】
なお、本実施例では画像処理装置20が補正する画質劣化成分(収差)は像面湾曲であるが、他の画質劣化成分(歪曲収差や周辺光量など)を補正することを妨げるものではない。周辺光量とは、撮像された画像の周辺部の光量である。
【0012】
撮像画像生成部10は、デジタルカメラなどの撮像装置、または撮像装置が生成した画像データ12と撮影条件14を保持した記憶部、記憶媒体、パーソナルコンピュータなどでもよい。
【0013】
画像処理装置20は、デモザイキング処理部21、色ずれ検出部22、非対称特性取得部23、記憶部24、OTF取得部25、フィルタ作成部26、フィルタリング処理部27、カメラ信号処理部28、を有する。OTFとは光学伝達関数(Optical Transfer Function)のことである。
【0014】
デモザイキング処理部21は、画像データ12に対してデモザイキング処理を施す。
【0015】
色ずれ検出部22は、画像から画面全体の色ずれ量を取得する。具体的には、色ずれ検出部22は、デモザイキング処理された画像データ12の原点に関して対称な位置における基準色成分(例えば、緑色)と前記基準色成分以外の色成分(例えば、青色)との色ずれ量を検出して非対称特性取得部23に出力する。
【0016】
色ずれ検出部22が行う色ずれ検出として例えば、デモザイキングした画像に対して微分フィルタを適用することで画像のエッジ部分を抽出し、各色成分のエッジのずれ量を色ずれ量として取得したりする。色ずれ検出部22は、色ずれ量を検出する前工程として、デモザイキングの際に基準色成分の画像構造を使って補正色成分の画像構造を補正し、色ずれ量を検出しやすくしてもよい。例えば、受光素子の画素配列として使用されるベイヤー配列では、Gch(緑チャンネル)のナイキスト周波数が、Rch(赤チャンネル)、Bch(青チャンネル)のナイキスト周波数に比べて大きいのでGchを基準色成分として設定する。そして、基準色成分以外の色成分であるRch、Bchの画像構造を補正することにより、より高周波までRch、Bchを再現することが可能になる。これらの技術に関しては、特許文献1で開示されているので詳細は割愛する。
【0017】
非対称特性取得部23は、撮影条件14に対応する倍率色収差によるずれ量と像面湾曲に関するぼけ量との関係(相関)から、検出部22が検出した色ずれ量から得られる倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を取得する。倍率色収差によるずれ量と像面湾曲に関するぼけ量の相関関係は、予め記憶部24に記憶されている。像面湾曲に関するぼけ量は、画像の原点に関して対称な位置における軸上のMTFピーク位置と軸外のMTFピーク位置の差分に対応する。MTFピーク位置は、予め記憶部に格納されており、撮像装置や撮像光学系のMTFのデフォーカスの特性を測定すれば取得することができる。あるいは、MTF特性を計算により求めることも可能である。
【0018】
画像の原点に関して対称な画角の結像特性の非対称性を画角非対称性と表現した場合、上述の倍率色収差によるずれ量と像面湾曲に関するぼけ量はそれぞれ倍率色収差の画角非対称性と像面湾曲の画角非対称性に対応する。なお、コマ収差のような1つの画角の中でアジムス方向に非対称な結像特性を表現する場合にはアジムス非対称性と表現する。
【0019】
画像に設定された原点は、回転対称な画像の回転軸を規定する点であり、画像の中心でもよいし、撮像光学系の光軸と受光素子が交わる点でもよい。後者の場合には、歪曲収差や周辺光量の対称性に基づいて画像から特定することができる。
【0020】
図2は、倍率色収差によるずれ量(画角非対称特性)と像面湾曲に関するぼけ量(画角非対称特性)の関係を表すグラフである。図2の縦軸は倍率色収差によるずれ量を定量的に評価したものであり、横軸は像面湾曲に関するぼけ量を定量的に評価したものである。
【0021】
図3は図2の縦軸と横軸についての説明図である。図3(a)は、軸上のMTFピーク位置に対する軸外のMTFピーク位置の差分を画像の原点を中心として対称な画角で引き算した量を表している。図3(b)は、BchとGchのスポット重心の差分を画像の原点を中心として対称な画角で引き算した量を表している。
【0022】
図2中に示されている点は、製造ばらつきが発生したレンズを示しており、100本のレンズに対して上記の計算を行った結果を示している。図2に示すように、倍率色収差によるずれ量と像面湾曲に関するぼけ量には関係がある。図2は、これらの点に対する近似曲線(直線)を記しているが、この曲線の傾きと画像から判別した色ずれ量の画角非対称性が分かれば、像面湾曲の画角非対称性を取得することができる。また、近似曲線の次数は限定されない。
【0023】
このように、本実施例では、色ずれ検出部22が画像の原点に関して対称な位置の色ずれ量(即ち、図3(b)に示すΔlat1やΔlat2)を非対称特性取得部23に出力している。そして、非対称特性取得部23がその差分(Δlat1−Δlat2)である倍率色収差によるずれ量を算出し、図2に示す関係から倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を取得している。しかし、色ずれ検出部22が倍率色収差によるずれ量である差分(Δlat1−Δlat2)を計算して、非対称特性取得部23に出力してもよい。
【0024】
本実施形態は、色ずれ量の画角非対称性から像面湾曲に関するぼけ量を取得しているが、原点に対称な画角の色ずれ量の差分や像面湾曲の差分を軸にとる必要はなく、原点を基準とした色ずれ量や像面湾曲に関するぼけ量を定義してもよい。また、取得する画角非対称性として、上述したように、像面湾曲の他にも、歪曲収差をはじめとするザイデルの5収差を取得してもよいし、周辺光量の画角非対称性を取得してもよい。
【0025】
倍率色収差によるずれ量と像面湾曲に関するぼけ量の関係は関数(数式)によって表わされてもよいしテーブル(データベース)によって表されてもよい。離散的なデータと補間処理を用いてもよい。
【0026】
本実施形態によれば、製造ばらつきによって不可避に発生する像面湾曲の片ボケを低減又は除去することができる。また、像面湾曲を補正する情報を画像から取得することができるので補正が単純になり、コストアップを防止することができる。
【0027】
記憶部24は、撮影条件に対応する画像の原点に対して対称な位置における色ずれ量と画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する。本実施例では、一例として、記憶部4は、倍率色収差によるずれ量と像面湾曲に関するぼけ量の関係を格納している。また、記憶部24は、それぞれが撮影条件14に対応付けられた、複数のフィルタ群を格納している。複数のフィルタは、ズーム位置、絞り径、被写体距離の3つの状態を軸とした撮像状態空間中に離散的に配置されており、例えば、特許文献3の図3に記載されているものと同様であるがこれに限定されない。
【0028】
なお、記憶部24が複数のフィルタ群(フィルタ係数)を格納していてもよいが、フィルタの代わりに、OTFやPSF(Point Spread Function)等フィルタが生成可能な関数を格納していてもよい。
【0029】
なお、記憶部24は不揮発性であってもよいし揮発性であってもよい。上記情報は記憶部24に予め格納されていてもよいし、インターネットなどのネットワークを通じて更新可能にまたは一時的に格納されてもよい。
【0030】
OTF取得部25は撮影条件14を取得してそれに対応するOTFを記憶部24の中から選択することによって取得してフィルタ作成部26にOTFを出力する。
【0031】
フィルタ作成部26は、像面湾曲に関するぼけ量を補正するように画像の原点に対して非対称な画像処理を行うフィルタを作成する。本実施例では、フィルタ作成部26は、像面湾曲に関するぼけ量が小さくなるように、OTF取得部25が取得したOTFと記憶部24に格納された複数のフィルタ群の中から最適な画像回復フィルタを選択する。
【0032】
フィルタリング処理部27は、原点に対して回転非対称なフィルタを使用したフィルタリング処理を行う。フィルタは複数のタップ数を有する2次元フィルタであり、エッジ強調フィルタや平滑化フィルタや画像回復フィルタのような種々のフィルタを使用することができる。
【0033】
画像回復処理においては、劣化した画像をg(x,y)、元の画像をf(x,y)、OTFのフーリエペアである点像分布関数(PSF)をh(x,y)とすると次式が成り立つ。ただし、*は畳み込み積分を示し、(x,y)は画像上の座標を示す。
【0034】
g(x,y)=h(x,y)*f(x,y)
これをフーリエ変換して周波数面での表示形式に変換すると、次式のように周波数ごとの積の形式になる。Hは点像分布関数(PSF)hをフーリエ変換したものであるのでOTFであり、G,Fはそれぞれg,fをフーリエ変換したものである。(u,v)は2次元周波数面での座標、即ち周波数である。
【0035】
G(u,v)=H(u,v)・F(u,v)
撮影された劣化画像から元の画像を得るためには次式のように両辺をHで除算すればよい。
【0036】
G(u,v)/H(u,v)=F(u,v)
F(u,v)、即ち、G(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことで元の画像f(x,y)が回復像として得られる。
【0037】
1/Hを逆フーリエ変換したものをRとすると、次式のように実面での画像に対する畳み込み処理を行うことで同様に共の画像を得ることができる。
【0038】
g(x,y)*R(x,y)=f(x,y)
R(x,y)は画像回復フィルタであり、画像が2次元のとき画像の各画素に対応したタップ(セル)を有する2次元フィルタとなる。2次元フィルタの例は特許文献3の図4、図5に記載されている。もちろん既知のウィナーフィルタやエッジ強調フィルタを使用してもよい。
【0039】
図4は、画像処理装置20の動作を説明するためのフローチャートであり、「S」はステップの略である。この画像処理方法は記憶部24に格納されている。画像処理方法は、画像処理装置20の不図示のマイクロコンピュータ(プロセッサ)によって実行可能なプログラムとして具現化可能である。
【0040】
不図示の撮像装置によって撮像された画像データ12が入力画像として画像処理装置20に入力される(S100)。画像データ12には撮像装置の光学系や撮影時のズーム状態、絞り状態を特定するEXIF情報である撮影条件14が記載されている。この結果、画像処理装置20は、画像データ12と撮影条件14の情報を取得する。
【0041】
画像データ中のRawデータが画像処理装置20に読み込まれると、画像データ12はデモザイキング処理部21によってデモザイキング処理が施される。次に、色ずれ検出部22が画像の各像高に対する色ずれ量(即ち、図3(b)に示すΔlat1やΔlat2)を検出する(S110)。
【0042】
次に、非対称特性取得部23は、色ずれ検出部22が検出した色ずれ量の差分(即ち、図2の縦軸に対応するΔlat1−Δlat2)である倍率色収差によるずれ量を算出する(S120)。次に、非対称特性取得部23は、撮影条件14に対応する記憶部24に格納された関係から取得した倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を算出する(S130)。
【0043】
図5は、S130の詳細を説明するためのフローチャートである。まず、非対称特性取得部23は、撮影条件14から決定されたレンズID(光学系の識別子)を取得し(S131)、それに基づいてレンズIDに対応した関数の係数を取得する(S132)。また、非対称特性取得部23は、この関数に色ずれ検出部22で検出した色ずれ量を取得する(S133)。次に、非対称特性取得部23は、上記関数と色ずれ量から得られる倍率色収差によるずれ量から像面湾曲に関するぼけ量を取得し(S134)、出力する(S135)。
【0044】
図2のような近似曲線から求められる像面湾曲に関するぼけ量は、原点に対称な2つの画角に対する像面ズレ量の差分である。実際の像面湾曲はこの像高の設計値のピーク位置を中心にして正負にばらつくので、概ね前記差分の半分が原点に対称な各画角における設計値からのズレ量の絶対値として計算できる。
【0045】
次に、フィルタ作成部26は、像面湾曲に関するぼけ量を小さくするようにOTF取得部25から供給されたOTFを使用して回復ゲインを変更することで画角非対称な画像回復フィルタを作成する(S140)。
【0046】
次に、作成した回復フィルタを用いてフィルタリング処理部27がフィルタリング処理を行い(S150)、次に、カメラ信号処理部28がホワイトバランス調整等のカメラ信号処理を行ったあとに出力画像が出力される。この結果、製造ばらつきによる回転非対称な像面湾曲の片ボケが補正された出力画像を得ることができる。
【0047】
画像処理装置20は撮像装置の一部であってもよい。図6は、かかる撮像装置50の示すブロック図である。撮像装置50は、撮像部60、画像処理部70、制御部80を有する。
【0048】
撮像部60は、被写体の光学像を形成する撮像光学系62と、光学像を光電変換して画像データ12を生成する撮像素子64を有している。
【0049】
画像処理部70は画像処理装置20として機能する。
【0050】
制御部80は撮像部60と画像処理部70の動作を制御する。撮影条件14は画像データ12に組み込まれてもよいし、制御部80が撮影条件14を画像処理部70に供給してもよい。また、画像処理部70による画像処理方法は制御部80を構成するマイクロコンピュータ(プロセッサ)の制御によって実行される。制御部80は、記憶部24として機能する記憶部82に接続されている。
【0051】
図6では、記憶部82は、倍率色収差の画角非対称特性と像面湾曲の画角非対称特性の関係を図2に示す関数ではなくルックアップテーブルとして格納している。また、記憶部82は、それぞれが撮影条件14ごとに最適な、複数のフィルタ群を格納している。あるいは、記憶部82は、それぞれが撮影条件14ごとに最適な、複数のOTFを格納している。また、画像処理を実行させる画像処理プログラムを格納している。
【0052】
更に、図6では、画像回復フィルタの代わりにエッジ強調フィルタを使用している。画像処理部70は、デモザイキング処理部21に対応するデモザイキング処理部71、色ずれ検出部22に対応する色ずれ検出部72、エッジ強調フィルタ作成部73を有する。また、画像処理部70は、フィルタリング処理部27に対応するフィルタリング処理部75、カメラ信号処理部28に対応するカメラ信号処理部76を経た画像を保存する画像保存領域77を更に有する。
【0053】
本実施例では、画像処理の負荷を低減するため、エッジ強調フィルタを用いてフィルタリング処理を行っている。通常、エッジ強調処理はノイズ増幅を伴うため、画像のエッジ部分を抽出してフィルタリング処理を実行したり、平滑化フィルタを併用して処理が行われる。本発明では非対称特性に応じて画角非対称なエッジ強調フィルタを作成し、フィルタリング処理を実行している。画像処理部70の各部の動作は画像処理装置20と同様であるので詳細な説明を省略する。
【0054】
本実施例において、記憶部24に記憶される関係について、より詳しく説明する。本実施例の図2に示した関係は、特定の種別の交換レンズ(例えばレンズA)を100本用いて計算したものである。実際には、収差の発生量が互いに異なる複数の種別の交換レンズがあるので、他の交換レンズ(例えばレンズB)に対しても、同様に、100本の交換レンズを用いて計算した関係を、記憶部24に記憶させれば良い。そして、画像処理部70は、レンズIDに対応する関係を取得し、該関係に基づく画像処理を実行すればよい。これにより、様々な交換レンズに対応して、適切な像面湾曲の補正を行うことができる。上述したレンズIDは、レンズA、レンズBを識別するための識別子である。
【0055】
また、記憶部24に記憶させる関係は、上記方法で取得されたものに限られない。例えば、類似した収差が発生する交換レンズ(例えばレンズA、レンズC)を適当な本数(例えば、100本)を用いて計算した関係から求められる近似曲線の係数を、記憶部24に記憶させてもよい。即ち、レンズ識別子(レンズA、レンズCを特定するための情報)が異なっていても、類似の収差が発生するレンズを介して撮像された画像であれば、上記係数を記憶部24から取得するように構成する。そして、その係数によって再構成された関係を用いて画像処理を実行すればよい。これにより、記憶部24の容量の増加を抑えることができる。
【0056】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【0057】
画像処理装置は撮像画像を処理する用途に適用することができる。
【符号の説明】
【0058】
20 画像処理装置
70 画像処理部
22、72 色ずれ検出部
23、73 非対称特性取得部
27、75 フィルタリング処理部

【特許請求の範囲】
【請求項1】
撮影部によって撮影された画像に対して画像処理を行う画像処理装置であって、
画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する記憶部と、
前記画像の原点に関して対称な位置における色ずれ量を検出する検出部と、
前記記憶部に記憶された前記関係から、前記検出部が検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得部と、
前記取得部が取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記色ずれ量は倍率色収差によるずれ量であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記検出部は、緑の色成分を基準色成分として、該基準色成分と他の色成分とのずれ量を検出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記関係は関数であることを特徴とする請求項1乃至3いずれか1項に記載の画像処理装置。
【請求項5】
前記関数の係数は前記撮影部の光学系の識別子によって決定されていることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記関係はテーブルであることを特徴とする請求項1乃至5いずれか1項に記載の画像処理装置。
【請求項7】
前記記憶部に記憶された関係は、撮影条件に対応することを特徴とする請求項1乃至6いずれか1項に記載の画像処理装置。
【請求項8】
請求項1乃至7いずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項9】
撮影部によって撮影された画像に対して画像処理を行う画像処理方法であって、
画像の原点に関して対称な位置における色ずれ量を検出する検出ステップと、
画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を保持する記憶部から、前記検出ステップが検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得ステップと、
前記取得ステップが取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理ステップと、
を有することを特徴とする画像処理方法。
【請求項10】
請求項9に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−195927(P2012−195927A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2011−265702(P2011−265702)
【出願日】平成23年12月5日(2011.12.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】