画像処理装置及び画像処理方法
【課題】画像に含まれる倍率色収差成分と軸上色収差成分の両方を良好に低減する。
【解決手段】画像処理装置1250は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該装置は、画像に含まれる倍率色収差成分を低減する第1の低減手段S101と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段S102とを有する。また、画像処理方法は、画像に含まれる倍率色収差成分を低減する第1のステップS101と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップS102とを有する。
【解決手段】画像処理装置1250は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該装置は、画像に含まれる倍率色収差成分を低減する第1の低減手段S101と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段S102とを有する。また、画像処理方法は、画像に含まれる倍率色収差成分を低減する第1のステップS101と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップS102とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置により生成された画像の画質を向上させる画像処理技術に関する。
【背景技術】
【0002】
レンズ等の屈折光学系により形成された光学像には収差が含まれており、該収差をいかに抑えるかが光学設計において重要である。特に近年では、イメージセンサ(撮像素子)の解像度が高くなり、さらに撮像装置により取得した画像をユーザが拡大表示して鑑賞することが多いため、ごく僅かな収差でも目立つ。
【0003】
収差を抑える方法としては、屈折率や曲率の異なる複数の凹凸レンズを組み合わせる方法や、特殊な光学特性を持つ蛍石やDOE(回折光学素子)等の光学素子を用いる方法がある。ただし、このような光学系による収差補正はコストや重量の増加につながり、撮像装置の小型化及び軽量化の要請に反する。
【0004】
このため、画像処理によって収差補正を行うことが望まれる。画像処理による収差補正は、例えば特許文献1にて開示されている。特許文献1にて開示された収差補正方法では、輝度及び色差データにより構成されるデジタル画像データに対して歪曲収差の補正を行い、続いて、輝度及び色差データをRGBデータに変換して倍率色収差を補正する。
【特許文献1】特開2000−003437号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1にて開示された収差補正方法では、歪曲収差と倍率色収差が補正されるものの、色収差に関しては倍率色収差が補正されるに留まっている。
【0006】
このため、さらに高画質なデジタル画像データを得るためには、より高精度な色収差の補正、すなわち軸上色収差を含めた色収差の補正が求められる。
【0007】
本発明は、画像に含まれる倍率色収差成分と軸上色収差成分の両方を低減することができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一側面としての画像処理装置は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該画像処理装置は、画像に含まれる倍率色収差成分を低減する第1の低減手段と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段とを有することを特徴とする。
【0009】
また、本発明の他の一側面としての画像処理方法は、撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する。該方法は、画像に含まれる倍率色収差成分を低減する第1のステップと、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップとを有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、画像に含まれる倍率色収差成分及び軸上色収差成分を低減して良好な画質の画像を得ることができる。そして、このような処理を行うことにより、撮像装置(光学系)の小型化、軽量化及び低コスト化を図ることができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例1】
【0012】
図12には、本発明の実施例1である画像処理装置を搭載したカラー撮像装置1200の基本的な構成を示す。
【0013】
カラー撮像装置1200は、結像光学系(撮像光学系)1210と、イメージセンサ(撮像素子)1220と、AD変換部1230、デモザイク部1240と、色滲み除去部1250と、視覚補正部1260と、圧縮部1270と、記録部1280とを有する。
【0014】
被写体からの光は、結像光学系1210を経てイメージセンサ1220上に結像する。一般に、カラー撮像装置に装着される結像光学系は、サイズやコスト等、種々の収差補正のトレードオフの中で一定の色収補正機能が持たされている。これに対し、本実施例の結像光学系1210では、R〜Gの波長域においてのみ縦色収差が良好に補正され、Bの波長域で縦色収差を残存させている。このようにB波長域の縦色収差を残存させることにより、その他の収差の補正や、小型化及び低コスト化をより高い水準で実現できる。
【0015】
イメージセンサ1220は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図13に示すように、それぞれ650nm,550nm,450nmの近傍に透過主波長帯を持つ3種類の色フィルタにより構成されている。これにより、イメージセンサ1220は、R,G,Bの波長域に対応する複数(3つ)の色プレーン(Rプレーン、Gプレーン及びBプレーン)を撮像する。単板カラーイメージセンサでは、色フィルタを図14に示すように画素毎に空間的に配列し、各画素に対して単一の色プレーンにおける強度を得ることしかできない。このため、イメージセンサからは色モザイク画像が出力される。
【0016】
なお、ここではイメージセンサ1220に設けられるカラーフィルタを、R,G,Bからなる原色系としてR,G,Bの色プレーンにより構成されるカラー画像を得る場合について説明する。ただし、イメージセンサに補色系カラーフィルタを設けた場合であっても、色変換処理によって、R,G,Bの色プレーンにより構成されるカラー画像が得られる。このため、イメージセンサ1220として、補色系カラーフィルタを有するイメージセンサを用いてもよい。
【0017】
AD変換部1230は、イメージセンサ1220からアナログ信号として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータへと変換する。
【0018】
デモザイク部1240は、色モザイク画像を補間することによって、全ての画素においてRGBの色情報を含むカラー画像を生成する。補間手法としては、単純な線形補間手法から複雑な補間手法まで様々な手法を用いることができる。
【0019】
デモザイク部1240で生成されたカラー画像は、結像光学系1210の色収差に対応した画像成分(以下、色収差成分という)を含み、RプレーンやGプレーンに比べて、Bプレーンの解像度が劣る画像となる。このため明暗の境界部では、図15に示すように、青がぼやけ、明部の周囲に青い縁取りのようなアーチファクトが生じる。
【0020】
色滲み除去部1250は、撮像装置内において画像処理装置として機能し、画像処理によってカラー画像に含まれる青色のアーチファクトを除去(低減)する。色滲み除去部1250は、後述するステップS101,S102の処理をそれぞれ行う倍率色収差補正部(第1の低減手段)1251と、軸上色収差補正部(第2の低減手段)1252とを有す。色滲み除去部1250での具体的な処理については後述する。なお、「低減する」とは、色滲みを完全に除去する場合と、多少の色滲みが残存する場合を含む。
【0021】
視覚補正部1260は、主として画像の見栄えを改善するための処理をカラー画像に対し行う。例えば、トーンカーブ(ガンマ)補正、彩度強調、色相補正、エッジ強調等の画像処理を行う。
【0022】
圧縮部1270は、視覚補正部1260で処理されたカラー画像を、JPEG等の方法で圧縮し、記録用のサイズを小さくする。圧縮部1270で圧縮されたデジタル画像は、記録部1280にてフラッシュメモリ等の記録媒体に記録される
AD変換部1230から記録部1280までの構成部は、別々のデバイスによって実現してもよいし、単一のマイクロプロセッサによって実現してもよい。
【0023】
次に、色滲み除去部1250での具体的な処理について説明する。
【0024】
図1には、色滲み除去部1250で行われる処理のフローチャートを示している。
【0025】
色滲み除去部1250は、まず、カラー画像に含まれる倍率色収差成分(以下、単に倍率色収差ともいう)を低減する倍率色収差補正処理を行う(ステップS101)。
【0026】
次に、倍率色収差補正処理を受けたカラー画像に含まれる軸上色収差成分(以下、単に軸上色収差ともいう)を低減する軸上色収差補正処理を行う(ステップS102)。
【0027】
結像光学系において色収差が発生する原因は、波長によるレンズの屈折率の違いである。色収差には、2種類の現れ方がある。1つは倍率色収差、もう1つは軸上色収差である。
【0028】
軸上と軸外では、色収差に起因する色滲みとしての出現のしかたが大きく異なるため、高精度に色滲みを補正するには、それぞれに適した画像処理アルゴリズムを適用することが望ましい。
【0029】
(軸上色収差)
まず、軸上色収差について説明する。軸上色収差とは、波長によるレンズの屈折率の違いにより、光軸上で像が結像する位置が異なり、結果として像に色滲みが発生する現象をいう。
【0030】
図2には、軸上色収差が発生する様子を示す。光源から出た光は、光学系により光軸上の焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長によって焦点距離(結像位置)が変化する。
【0031】
R,G,Bの代表波長(例えばそれぞれ、650nm、550nm、450nm)の結像位置を考えると、Bの代表波長はGの代表波長よりも物体側で、Rの代表波長はGの代表波長よりも光軸の進行方向側で結像する。通常、カメラ等の撮像装置の光学設計では、人間の視感度の高いGの代表波長でフォーカス位置を決めているため、Gの代表波長の像に比べて、BとRの代表波長の像は広がり、色滲みが発生する。
【0032】
図4には、軸上色収差を含む像の焦点面での強度分布の例を示す。401は高輝度な被写体の像における像面での強度分布を示している。この強度分布401では、Gプレーンでの像の広がりが最も小さく、Rプレーン及びBプレーンでの像の広がりがより大きい。ここでは、Bプレーンでの像の広がりが、Rプレーンでの像の広がりよりも大きいものとする。
【0033】
このような高輝度被写体像をイメージセンサで取得すると、強度分布402に示すように、照度が飽和する中心部では白飛びが生じ、その周囲に各色プレーンにおける像の広がりの差による色滲み(青滲み)を伴う回転対称な像が得られる。
(軸上色収差の出現のしかた)
高輝度な被写体に対するB及びGプレーンの典型的なプロファイルを図8に示す。図8において、横軸は画像上の断面であり、縦軸はB及びGプレーンの強度である。この図において、RはGと同じプロファイルとする。
【0034】
図8では、中心部に飽和輝度を超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体の周囲も、収差やフレアによって高輝度被写体から滲んだ光によって、プロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また、高輝度被写体から離れるに従って指数関数的に弱くなる。
【0035】
Gプレーンでは、滲みが全くないわけではなく、ある程度の滲み(拡がり)が存在するが、その滲みはBプレーンに比べると小さい。
【0036】
また、イメージセンサは、そのイメージセンサの飽和レベル以上の強度を測定することはできず、該飽和レベル以上の強度はカットされる。このため、画像としては、本来の高輝度被写体より大きい範囲でGとBが飽和し、飽和領域は白くなる。この白飽和領域から離れるに従ってGの強度は減衰していくが、Bの飽和領域の半径はさらに広いため、徐々にGとBの強度差が大きくなる。したがって、白飽和領域の外側の領域(1)(図には丸囲みの1として示す)では、水色の滲みが発生し、外側に向かって青みが増す。
【0037】
Bの飽和領域の外側の領域(2)(図には丸囲みの2として示す)では、Bの飽和領域から離れるに従ってBも減衰し始め、GとBの強度差が小さくなっていく。そして、Gの強度がほとんどなくなる領域(2)の端よりも外側では、Bのみが強度を持ち、真っ青の滲みとなる。
【0038】
上記の滲みのうち水色部分における青みが増した滲みと真っ青な滲みとが、青滲みとして不自然なものとなる。仮に、Bの滲みがGと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは、飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。
【0039】
(倍率色収差)
次に、倍率色収差について説明する。倍率色収差とは、レンズの波長による屈折率の違いにより、光学系による物体の結像倍率が異なり、結果として像に色滲みが発生する現象をいう。
【0040】
図3には、倍率色収差が発生する様子を示す。光学系の光軸から外れた位置にある光源から出た光は、光学系により焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長ごとに焦点面での像高が異なる。例えば、R,G,Bの代表波長の結像位置を考える場合、図3に示すように、光源の像の中心が異なる位置に出現する。
【0041】
図5には、倍率色収差を含む像の焦点面での強度分布の例を示す。なお、実際には、像の倍率が異なるため、R,G,Bの代表波長における強度分布の広がりは等しくはならないが、理解を容易にするために図5ではほぼ等しい広がりを持つものとして強度分布を示す。
【0042】
501は高輝度な被写体の像の像面での強度分布を示している。強度分布501において、R,G,Bの代表波長における光源の像の中心位置が異なっている。この像をイメージセンサで撮像すると、像面照度が高い領域では白飛びが発生し、ある方向ではRの広がりによる色滲みが、別の方向ではBの広がりによる色滲みが発生した光源の像が得られる。このように、倍率色収差による色滲みは、軸上色収差と異なり、回転対称にはならない。
【0043】
(画角による色滲みの違い)
次に、撮像により取得された画像中の画角による色滲みの違いについて説明する。図6には、画像中の位置による色滲みの違いを示す。601は撮像により取得された画像(撮影画像)を示す。602の図は撮影画像601における光学系の光軸位置に対応する(軸上の)A地点に高輝度の光源が写る場合の色滲みの出方を示している。602の図では、軸上色収差のみが発生し、光源を中心に同心円状に色滲みが発生している。
【0044】
一方、603の図は、撮影画像601における軸外に対応するB地点における色滲みの出方を示す。603の図では、倍率色収差と軸上色収差により、波長ごとに被写体像の大きさと中心位置が異なっている。
【0045】
以上説明したように、軸上色収差と倍率色収差では色の滲み方が異なる。このため、高精度に色滲みを除去するには、軸上色収差と倍率色収差のそれぞれに適した補正処理が必要である。以下、それぞれの色収差の補正アルゴリズムについて説明する。
(倍率色収差補正のアルゴリズム)
まず、倍率色収差補正のアルゴリズムについて説明する。図7には、図6のB地点における高輝度被写体像の倍率色収差を補正する前の画像702と補正した後の画像703を表している。図7に示すように、倍率色収差を補正した結果、各色プレーンでの高輝度被写体像の位置が揃い、色滲みが同心円状に出現するようになる。
【0046】
倍率色収差は、基準色プレーンとしてのGプレーン以外の色プレーン(Rプレーン及びBプレーンのうち少なくとも一方:以下、R又はBプレーンという)の像倍率の違いによって発生する。したがって、倍率色収差補正においては、基準色プレーン(G)に対しては画像処理を行わず、Rプレーン又はBプレーン、基準色プレーン(G)と同じ像倍率になるように画像処理する。
【0047】
倍率色収差補正の具体的なアルゴリズムの例について説明する。倍率色収差補正は、幾何変換マトリックス計算処理とその幾何変換マトリックスに基づく画像補正処理とを含む。
【0048】
幾何変換マトリックス計算処理は、R又はBプレーンにおける幾何的変換を基準色プレーン(G)に合わせるための幾何変換マトリックスを求める処理である。幾何変換マトリクスは、歪みのない複数の格子点の、Gの代表波長から求めた像と、Rの代表波長又はBの代表波長から求めた像をそれぞれ対応づけることで求められる。
【0049】
続いて、計算したR又はBプレーンにおける幾何変換マトリクスを使って、R又はBプレーンの画像を補正する。これにより、R又はBプレーンにおける倍率色収差を基準色プレーン(G)と同じ倍率色収差に合わせることができる。この処理は、一般にワーピング又はモーフィングと呼ばれる。
【0050】
ここで、幾何変換マトリックスは、撮像装置により画像を生成するとき(撮像時)の撮像条件、すなわち、撮像装置が用いる結像光学系(撮像レンズ)の機種や、ズーム位置、絞り値、フォーカス位置といった状態によって異なる。撮像レンズの設計データがあれば、該レンズの機種と撮影時の該レンズの状態が分かれば、光線追跡による解析からどのようなレンズの状態であっても幾何変換マトリックスを求められる。ただし、処理に時間がかかる。
【0051】
このため、予め、レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを計算して、撮像装置内のメモリ又はファームウェア内に参照テーブルの形で保存しておくとよい。そして、この参照テーブルから、撮像時のズーム位置、絞り値及びフォーカス位置をインデックスとして、幾何変換マトリックスを読み取る。これにより、処理の高速化が図れる。
【0052】
ところで、データ容量の観点から、全てのズーム位置、絞り値及びフォーカス位置に対応する幾何変換マトリクスを参照テーブルとして保存することは実用上困難である。このため、参照テーブルには、代表的なズーム位置、絞り値及びフォーカス位置での幾何変換マトリクスを格納しておくとよい。この場合、実際の撮像条件に最も近い代表撮像条件に対応する幾何変換マトリクスを参照テーブルから読み出して使用したり、複数の代表撮像条件に対応する複数の幾何変換マトリクスから補間演算によって使用する幾何変換マトリクスを生成したりする。
【0053】
(軸上色収差補正のアルゴリズム)
次に、軸上色収差補正のアルゴリズムについて説明する。軸上色収差補正における基本的な考え方は、R又はBプレーンの像の広がりを最も色滲みが少ないGプレーンにおける像の広がりと同等なレベルまで抑えることである。仮に、RとBの滲みがGと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。
【0054】
ここで、色収差によってG及びBプレーンに比べてRプレーンの解像度が劣り、3つの色プレーンを合成した状態で明暗の境界部で赤がぼやけ、明部の周囲に赤い縁取りのようなアーチファクトが生じている画像の軸上色収差補正について考える。
【0055】
図17には、赤滲みを伴う高輝度被写体像の強度分布プロファイルを示している。図17において、G及びBがともに飽和する領域に隣接し、Bのみが飽和する領域を領域(1)(図には丸囲みの1として示す)とし、領域(1)に隣接してBもGも飽和しない領域を領域(2)(図には丸囲みの2として示す)とする。
【0056】
このようなプロファイルを持つ色滲みを除去(低減)する方法として、種々の色滲み除去アルゴリズムが考えられる。
【0057】
ここでは、画素値の傾きに注目して色滲みを除去するアルゴリズムについて説明する。なお、以下に説明するアルゴリズムは例にすぎず、本発明で使用される色滲み除去アルゴリズムが以下に説明するアルゴリズムに限定されるわけではない。
【0058】
図18には、色滲み除去アルゴリズムにおける軸上色収差補正のアルゴリズムのフローチャートを示す。
【0059】
まず、空間演算ステップS1801では、R又はGプレーンに対する輝度傾斜マップ∇R,∇Gを以下の式により計算する。
【0060】
【数1】
【0061】
【0062】
ここで、G(x+1,y),R(x+1,y)はそれぞれ、G及びRプレーンにおける注目画素の右隣の画素の画素値を示す。G(x−1,y),R(x−1,y)はそれぞれ、G及びRプレーンにおける注目画素の左隣の画素の画素値を示す。
【0063】
G(x,y+1),R(x,y+1)はそれぞれ、G及びRプレーンにおける注目画素の下隣の画素の画素値を示す。G(x,y−1),R(x,y−1)はそれぞれ、G及びRプレーンにおける注目画素の上隣の画素の画素値とする。
【0064】
次に、推定ステップS1802では、カラー画像の各画素に対して、色滲みとなっている余計なRプレーンの強度を推定する。推定手法は、Bが飽和しているか否かによって異なる。すなわち、領域(2)(GもRも飽和しない領域)では、Rの画素値の傾きからRの滲み量を推定する。また、領域(2)(Rのみ飽和する領域)では、Gの滲み量からRの滲み量を推定する。
【0065】
領域(2)における推定滲み量E1は、Rの傾き∇Rの絶対値に係数k1を乗じて、
E1=k1|∇R|
とする。ここで、k1は正の値であり、3前後が好適である。
【0066】
一方、Rが飽和している領域(1)では、輝度傾斜は0になってしまい、飽和前の輝度傾斜が得られない。そこで、領域(1)における推定滲み量E2は、Gの傾き∇Gの絶対値に係数k2を乗じて、
E2=k2|∇G|
とする。ここで、k2は正の値であり、3前後が好適である。
【0067】
次に、領域判定ステップS1803では、まずRプレーンの強度に対する非線形変換を行い、飽和度Sを生成する。この非線形変換は、Rが飽和しているか否かを示すものであり、Bの強度が飽和している領域では1となり、Rの強度が小さい場合は0となる。飽和度Sは、0,1の2値でもよいが、図19のように、0〜1で連続的に変化する(ただし、図にはRの強度の中間点から変化する)値としてもよい。
【0068】
そして、この飽和度SによってステップS1802で算出したE1又はE2を選択する。すなわち、飽和度Sが0,1の2値であれば、新たな推定滲み量Eを、
【0069】
【数2】
【0070】
とする。飽和度Sが0〜1で連続的に変化する値であれば、新たな推定滲み量Eを、
E=(1−S)E1+SE2
とする。
【0071】
次に、過除去抑制ステップS1804では、推定滲み量Eを修正し、Rプレーンにおいて実際に除去する滲み量E’を決める。ここでは、除去による色相Hの変化を一定角度δ以内にする。色相−彩度面を図20に示す。
【0072】
図20において、Rの強度から推定滲み量Eを除去すると、点線矢印で示すように、色相が下方に移動する。色相の変化を角度δ以内にするには、まず除去前の色相、
Hori=H(R,G,B)
を求める。次に、除去前の色相と除去後の色相との間で角度δの変化を与えるRの滲み除去量Er,Elを以下の式により計算する。
【0073】
H(R−Er,G,B)=Hori−δ
H(R−El,G,B)=Hori+δ
ここで、角度δとしては、10〜45度程度が好適である
これらの滲み除去量Er,Elと領域判定ステップS1803で求めた推定滲み量Eを比較して、これらのうちの最小値としての滲み除去量E’を、
E’=min(E,max(Er,El,0))
とし、除去ステップS1804に移行する。図20においては、滲み除去量E’=Erとなる。
【0074】
次に、除去ステップS1804では、滲み除去量E’をRプレーンの強度Rから差し引き、新たなRプレーン強度Rを、
R=R−E’
により求める。
【0075】
このように、Rプレーンを修正したカラー画像を色滲み除去部1250の出力として視覚補正部1260に出力する。
【0076】
この方式では、滲み除去対象画素に対して上下左右に隣接する画素のみを参照している。このため、大きな容量のフレームメモリを必要とせず、2画素ライン分のバッファメモリがあれば、ラスタ走査によって画像全体を処理することができる。これにより、高速でコンパクトな回路として撮像装置に実装することが可能となる。
【0077】
上述した色滲み量の推定方法以外にも、以下のような推定方法を用いることもできる。
【0078】
例えば、輝度飽和領域を判定し、非線形に補正した輝度と補正対象である色プレーンの像の位置に応じたPSF(点像分布関数:point spread function)をコンボリューションすることにより色滲み量を推定(算出)してもよい。
【0079】
また、輝度飽和領域からの距離に応じて指数関数又はガウス関数でモデル化した関数を用いて、色滲み量と像の広がりを推定してもよい。
【0080】
ただし、色滲みを除去する前には、はじめに説明した方法と同様に、過除去による色相の変化を抑制する処理を導入することが好ましい。この処理により、処理の前後での色相の変化を一定の範囲内に抑えて、元の色(地の色)を残した形での自然な色滲み除去を行うことができる。
【0081】
(補正の順序)
上述したように、倍率色収差と軸上色収差をそれぞれ精度良く除去(低減)するには、それぞれ異なるアルゴリズムを用いる必要がある。
【0082】
先に説明した通り、軸外の色収差には、倍率色収差と軸上色収差の双方が含まれている。このため、倍率色収差補正を先に実行し、その後、画像全体に対して軸上色収差補正を実行すると、画像全体から色収差を良好に除去できる。
【0083】
この順序について、図9を用いてより詳細に説明する。まず、図9のステップ1において、軸外の高輝度被写体像(すなわち、撮影画像)901に対して倍率色収差を補正する。これにより、図7でも述べたように、軸上色収差は残るものの、倍率色収差は良好に補正される(902参照)。
【0084】
続いて、図9のステップ2において、倍率色収差が補正された高輝度被写体像903に対して、軸上色収差補正を実行する。倍率色収差が補正された高輝度被写体像903においては同心円状に色滲みが出現するため、軸上色収差補正により良好に色滲みを補正することができる(904参照)。
【0085】
次に、上記の順序とは逆の順序で色収差を補正する場合について、図10を用いて説明する。まず、図10のステップ1′において、軸外の高輝度被写体像に対して軸上色収差を補正する。しかし、軸外では倍率色収差による色滲みも含まれるため、軸上色収差補正アルゴリズムでは良好に色収差を補正できない。
【0086】
続いて、図10のステップ2′において、軸上色収差を補正した高輝度被写体像に対して倍率色収差補正を実行する。しかし、各色プレーン上での像位置が空間的に移動するため、ある程度除去した色滲みが再び顕在化し、新たな色滲みを生み出す結果となる。
【0087】
したがって、色滲み除去部1250では、倍率色収差補正を最初に行い、その後、軸上色収差補正を行うことで良好に色滲みを補正する。この処理順序は、高精度に色滲みを除去するために必須な順序である。
【実施例2】
【0088】
実施例1では、色収差補正のみについて説明したが、本実施例では、色収差補正に加えて、単色収差(ザイデルの5収差)の補正を行う場合について説明する。
【0089】
単色収差には、球面収差、非点収差、像面湾曲、コマ収差、歪曲収差がある。このうち、球面収差、非点収差、像面湾曲、コマ収差は、像のぼやけを生むが、歪曲収差は像の歪みを生む収差であり、画像処理による収差補正が比較的容易である。
【0090】
図11には、歪曲収差(幾何的歪)の出現のしかたを示す。1101は歪曲収差がない場合を示しており、1102は糸巻き型の歪曲収差を示している。また、1103は樽型の歪曲収差を示している。単色収差の場合、波長依存性がないため、どの色プレーンに対しても同じ補正値を用いて補正する。
【0091】
歪曲収差補正は、倍率色収差補正と同じくワーピングにより行えるため、倍率色収差と同じタイミングで歪曲収差を補正するとよい。歪曲収差補正も、実施例1(図12)に示した色滲み除去部1250で行う。
【0092】
図21は、本実施例における色滲み除去部1250の処理を示すフローチャートである。
【0093】
ステップS2101では、基準色プレーン(G)に対しては歪曲収差(理想像高からのずれ)のみを補正する。そして、基準色プレーン以外の色プレーン(R又はBプレーン)に対しては倍率色収差と歪曲収差(幾何的歪成分)を補正する。歪曲収差の補正には、倍率色収差の補正と同様、幾何変換マトリクスを用いる。
【0094】
幾何変換マトリクスは、各色プレーンにおいて理想結像する複数の格子点と各色プレーンの代表波長から求めた像とをそれぞれ対応づけることで求められる。幾何変換マトリクスの算出についても同様である。ここでも、実施例1と同様に、撮像レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを予め計算し、メモリ又はファームウェア等に参照テーブルのかたちで保存しておくとよい。
【0095】
次にステップS2102では、実施例1で説明したステップS102と同様に、倍率色収差補正処理(及び歪曲収差補正処理)を受けたカラー画像に含まれる軸上色収差を低減する軸上色収差補正処理を行う。
【0096】
上記実施例1,2では、単板イメージセンサにより取得した画像から色滲みを除去する場合について説明したが、3板式イメージセンサにより取得した画像に対しても、同様に色滲みの除去が可能である。この場合、図12に示したデモザイク部1240の処理が不要になる。ただし、イメージセンサで得られる解像度の倍の解像度の画像を生成する画素ずらし法を用いる場合には、デモザイク部1240の代わりに、高解像度化処理を行う処理部を入れるとよい。
【実施例3】
【0097】
図16には、実施例1にて説明した撮像装置のより具体的な構成を示す。撮像装置1は、結像光学系を有する撮像レンズ1601、露光制御ユニット1602、撮像素子1603、画像生成回路1604、メモリ制御回路1611、画像出力部1612及びフレームメモリ1613等を備えている。
【0098】
撮像レンズ1601は、露光制御ユニット1602を介して撮像素子1603に被写体からの光を導く。露光制御ユニット1602は、絞りやシャッタを含む。撮像素子1603は、CCDセンサやCMOSセンサ等のイメージセンサにより構成され、被写体像を電気信号に変換して出力する。
【0099】
画像生成回路1604は、撮像素子1603からのアナログ出力信号をデジタル化し、該デジタル信号から画像を生成する。画像生成回路1604は、A/D変換回路、オートゲイン制御回路(AGC)、オートホワイトバランス回路、画素補間処理回路、色変換処理回路等を含む。
【0100】
1605は撮像レンズ1601のフォーカシングを制御するフォーカス制御部である。1606は露光制御ユニット1602を制御する露光制御部である。フォーカス制御部1605及び露光制御部1606は、例えば、TTL方式を用いて制御される。また、1621は撮像レンズ1601のズームを制御するズーム制御回路であり、1622はズーム位置を検出するズーム位置検出回路である。
【0101】
1607は撮像装置1の全体の動作及び制御を司るシステム制御回路である。1608はシステム制御回路1607での動作制御用のデータや処理プログラム等を記録するメモリである。1609は各種調整値等の情報を記憶する不揮発性メモリである。
【0102】
1620は画像生成回路1604で生成された画像データから色滲みを除去(低減)する色滲み除去回路である。該色滲み除去回路1620には、図12に示した色滲み除去部1250が含まれる。色滲み除去回路1620の機能の有効/無効は、不図示の操作部から設定できる色滲み除去モードのON/OFFによって選択される。
【0103】
色滲み除去回路1620に入力される画像データは、必ずしも画像生成回路1604で全ての処理を終えたデータでなくてもよい。すなわち、画像生成回路1604の処理途中の画像データを色滲み除去回路1620に入力し、色滲み除去回路1620で処理された画像データを再び画像生成回路1604に入力してここでの処理を継続してもよい。
【0104】
フレームメモリ1613は、生成された画像データを1フレーム単位又は複数フレーム単位で一時的に保持する。
【0105】
メモリ制御回路1611は、フレームメモリ1613に対する画像データの入出力を制御する。
【0106】
画像出力部1612は、色滲み除去回路1620で色滲みが除去された画像データを、図示しないディスプレイに表示したり、記録媒体に記録したりする。
【実施例4】
【0107】
実施例3では、撮像装置内に画像処理装置として機能する色滲み除去回路を設けた場合について説明したが、本発明はこれに限らない。
【0108】
例えば図22に示すように、撮像装置1401により生成した画像をパーソナルコンピュータ1402に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやLANを介して送信してもよい。
【0109】
そして、パーソナルコンピュータ1402にインストールしたコンピュータプログラム(画像処理プログラム)に、実施例1で説明した色滲み除去部1250に相当する処理を実行させるようにしてもよい。この場合、パーソナルコンピュータが、本発明にいう画像処理装置として機能する。
【実施例5】
【0110】
上記実施例1,2では、幾何変換マトリクスの参照テーブルを撮像装置内に保持する場合について説明したが、参照テーブルをインターネット上のデータベースに格納し、インターネット経由で該参照テーブルをダウンロードして使用するようにしてもよい。
【0111】
また、撮像レンズが撮像装置に対して交換可能である場合に、撮像レンズ内のメモリに参照テーブルを保持させてもよい。この場合、撮像レンズが撮像装置に接続されたときに、参照テーブルを撮像装置に転送すればよい。また、撮像装置から撮像レンズ内のメモリに格納された参照テーブルを更新するようにしてもよい。
【0112】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【0113】
【図1】本発明の実施例1における色滲み除去部の処理を示すフローチャート。
【図2】軸上色収差が発生する様子を示す図。
【図3】倍率色収差が発生する様子を示す図。
【図4】軸上色収差を含む像の焦点面での強度分布の例を示す図。
【図5】倍率色収差を含む像の焦点面での強度分布の例を示す図。
【図6】撮影画像中の位置による色滲みの違いを示す図。
【図7】図6のB地点における光源の像に加わった倍率色収差を補正する様子を示す図。
【図8】高輝度被写体に対するB及びGプレーンの典型的なプロファイルを示す図。
【図9】軸上色収差補正の後に倍率色収差補正を実行した場合の高輝度被写体像を示す図。
【図10】軸上色収差補正アルゴリズムの原理を説明する図。
【図11】歪曲収差の出現のしかたを説明する図。
【図12】実施例1であるカラー撮像装置での処理を示すフローチャート。
【図13】原色系カラーフィルタの分光特性分布を示す図。
【図14】単板イメージセンサのカラーフィルタの配列を示す図。
【図15】明暗境界部に発生する色滲みの強度分布を示す図。
【図16】本発明の実施例3(実施例1)である撮像装置の構成を示すブロック図。
【図17】赤滲みを伴う高輝度被写体像の強度分布プロファイルを示す図。
【図18】軸上色収差補正アルゴリズムのフローチャート。
【図19】R強度に対する非線形変換を表す図。
【図20】過除去抑制処理を説明するための色相−彩度面を表す図。
【図21】本発明の実施例2における色滲み除去部での処理を示すフローチャート。
【図22】本発明の実施例4である画像処理装置を示す図。
【符号の説明】
【0114】
1210 結像光学系
1220 イメージセンサ
1250 色滲み除去部
S101 倍率色収差補正処理
S102,S2102 軸上色収差補正処理
S2101 倍率色収差+幾何的歪補正処理
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置により生成された画像の画質を向上させる画像処理技術に関する。
【背景技術】
【0002】
レンズ等の屈折光学系により形成された光学像には収差が含まれており、該収差をいかに抑えるかが光学設計において重要である。特に近年では、イメージセンサ(撮像素子)の解像度が高くなり、さらに撮像装置により取得した画像をユーザが拡大表示して鑑賞することが多いため、ごく僅かな収差でも目立つ。
【0003】
収差を抑える方法としては、屈折率や曲率の異なる複数の凹凸レンズを組み合わせる方法や、特殊な光学特性を持つ蛍石やDOE(回折光学素子)等の光学素子を用いる方法がある。ただし、このような光学系による収差補正はコストや重量の増加につながり、撮像装置の小型化及び軽量化の要請に反する。
【0004】
このため、画像処理によって収差補正を行うことが望まれる。画像処理による収差補正は、例えば特許文献1にて開示されている。特許文献1にて開示された収差補正方法では、輝度及び色差データにより構成されるデジタル画像データに対して歪曲収差の補正を行い、続いて、輝度及び色差データをRGBデータに変換して倍率色収差を補正する。
【特許文献1】特開2000−003437号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1にて開示された収差補正方法では、歪曲収差と倍率色収差が補正されるものの、色収差に関しては倍率色収差が補正されるに留まっている。
【0006】
このため、さらに高画質なデジタル画像データを得るためには、より高精度な色収差の補正、すなわち軸上色収差を含めた色収差の補正が求められる。
【0007】
本発明は、画像に含まれる倍率色収差成分と軸上色収差成分の両方を低減することができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一側面としての画像処理装置は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該画像処理装置は、画像に含まれる倍率色収差成分を低減する第1の低減手段と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段とを有することを特徴とする。
【0009】
また、本発明の他の一側面としての画像処理方法は、撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する。該方法は、画像に含まれる倍率色収差成分を低減する第1のステップと、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップとを有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、画像に含まれる倍率色収差成分及び軸上色収差成分を低減して良好な画質の画像を得ることができる。そして、このような処理を行うことにより、撮像装置(光学系)の小型化、軽量化及び低コスト化を図ることができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例1】
【0012】
図12には、本発明の実施例1である画像処理装置を搭載したカラー撮像装置1200の基本的な構成を示す。
【0013】
カラー撮像装置1200は、結像光学系(撮像光学系)1210と、イメージセンサ(撮像素子)1220と、AD変換部1230、デモザイク部1240と、色滲み除去部1250と、視覚補正部1260と、圧縮部1270と、記録部1280とを有する。
【0014】
被写体からの光は、結像光学系1210を経てイメージセンサ1220上に結像する。一般に、カラー撮像装置に装着される結像光学系は、サイズやコスト等、種々の収差補正のトレードオフの中で一定の色収補正機能が持たされている。これに対し、本実施例の結像光学系1210では、R〜Gの波長域においてのみ縦色収差が良好に補正され、Bの波長域で縦色収差を残存させている。このようにB波長域の縦色収差を残存させることにより、その他の収差の補正や、小型化及び低コスト化をより高い水準で実現できる。
【0015】
イメージセンサ1220は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図13に示すように、それぞれ650nm,550nm,450nmの近傍に透過主波長帯を持つ3種類の色フィルタにより構成されている。これにより、イメージセンサ1220は、R,G,Bの波長域に対応する複数(3つ)の色プレーン(Rプレーン、Gプレーン及びBプレーン)を撮像する。単板カラーイメージセンサでは、色フィルタを図14に示すように画素毎に空間的に配列し、各画素に対して単一の色プレーンにおける強度を得ることしかできない。このため、イメージセンサからは色モザイク画像が出力される。
【0016】
なお、ここではイメージセンサ1220に設けられるカラーフィルタを、R,G,Bからなる原色系としてR,G,Bの色プレーンにより構成されるカラー画像を得る場合について説明する。ただし、イメージセンサに補色系カラーフィルタを設けた場合であっても、色変換処理によって、R,G,Bの色プレーンにより構成されるカラー画像が得られる。このため、イメージセンサ1220として、補色系カラーフィルタを有するイメージセンサを用いてもよい。
【0017】
AD変換部1230は、イメージセンサ1220からアナログ信号として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータへと変換する。
【0018】
デモザイク部1240は、色モザイク画像を補間することによって、全ての画素においてRGBの色情報を含むカラー画像を生成する。補間手法としては、単純な線形補間手法から複雑な補間手法まで様々な手法を用いることができる。
【0019】
デモザイク部1240で生成されたカラー画像は、結像光学系1210の色収差に対応した画像成分(以下、色収差成分という)を含み、RプレーンやGプレーンに比べて、Bプレーンの解像度が劣る画像となる。このため明暗の境界部では、図15に示すように、青がぼやけ、明部の周囲に青い縁取りのようなアーチファクトが生じる。
【0020】
色滲み除去部1250は、撮像装置内において画像処理装置として機能し、画像処理によってカラー画像に含まれる青色のアーチファクトを除去(低減)する。色滲み除去部1250は、後述するステップS101,S102の処理をそれぞれ行う倍率色収差補正部(第1の低減手段)1251と、軸上色収差補正部(第2の低減手段)1252とを有す。色滲み除去部1250での具体的な処理については後述する。なお、「低減する」とは、色滲みを完全に除去する場合と、多少の色滲みが残存する場合を含む。
【0021】
視覚補正部1260は、主として画像の見栄えを改善するための処理をカラー画像に対し行う。例えば、トーンカーブ(ガンマ)補正、彩度強調、色相補正、エッジ強調等の画像処理を行う。
【0022】
圧縮部1270は、視覚補正部1260で処理されたカラー画像を、JPEG等の方法で圧縮し、記録用のサイズを小さくする。圧縮部1270で圧縮されたデジタル画像は、記録部1280にてフラッシュメモリ等の記録媒体に記録される
AD変換部1230から記録部1280までの構成部は、別々のデバイスによって実現してもよいし、単一のマイクロプロセッサによって実現してもよい。
【0023】
次に、色滲み除去部1250での具体的な処理について説明する。
【0024】
図1には、色滲み除去部1250で行われる処理のフローチャートを示している。
【0025】
色滲み除去部1250は、まず、カラー画像に含まれる倍率色収差成分(以下、単に倍率色収差ともいう)を低減する倍率色収差補正処理を行う(ステップS101)。
【0026】
次に、倍率色収差補正処理を受けたカラー画像に含まれる軸上色収差成分(以下、単に軸上色収差ともいう)を低減する軸上色収差補正処理を行う(ステップS102)。
【0027】
結像光学系において色収差が発生する原因は、波長によるレンズの屈折率の違いである。色収差には、2種類の現れ方がある。1つは倍率色収差、もう1つは軸上色収差である。
【0028】
軸上と軸外では、色収差に起因する色滲みとしての出現のしかたが大きく異なるため、高精度に色滲みを補正するには、それぞれに適した画像処理アルゴリズムを適用することが望ましい。
【0029】
(軸上色収差)
まず、軸上色収差について説明する。軸上色収差とは、波長によるレンズの屈折率の違いにより、光軸上で像が結像する位置が異なり、結果として像に色滲みが発生する現象をいう。
【0030】
図2には、軸上色収差が発生する様子を示す。光源から出た光は、光学系により光軸上の焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長によって焦点距離(結像位置)が変化する。
【0031】
R,G,Bの代表波長(例えばそれぞれ、650nm、550nm、450nm)の結像位置を考えると、Bの代表波長はGの代表波長よりも物体側で、Rの代表波長はGの代表波長よりも光軸の進行方向側で結像する。通常、カメラ等の撮像装置の光学設計では、人間の視感度の高いGの代表波長でフォーカス位置を決めているため、Gの代表波長の像に比べて、BとRの代表波長の像は広がり、色滲みが発生する。
【0032】
図4には、軸上色収差を含む像の焦点面での強度分布の例を示す。401は高輝度な被写体の像における像面での強度分布を示している。この強度分布401では、Gプレーンでの像の広がりが最も小さく、Rプレーン及びBプレーンでの像の広がりがより大きい。ここでは、Bプレーンでの像の広がりが、Rプレーンでの像の広がりよりも大きいものとする。
【0033】
このような高輝度被写体像をイメージセンサで取得すると、強度分布402に示すように、照度が飽和する中心部では白飛びが生じ、その周囲に各色プレーンにおける像の広がりの差による色滲み(青滲み)を伴う回転対称な像が得られる。
(軸上色収差の出現のしかた)
高輝度な被写体に対するB及びGプレーンの典型的なプロファイルを図8に示す。図8において、横軸は画像上の断面であり、縦軸はB及びGプレーンの強度である。この図において、RはGと同じプロファイルとする。
【0034】
図8では、中心部に飽和輝度を超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体の周囲も、収差やフレアによって高輝度被写体から滲んだ光によって、プロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また、高輝度被写体から離れるに従って指数関数的に弱くなる。
【0035】
Gプレーンでは、滲みが全くないわけではなく、ある程度の滲み(拡がり)が存在するが、その滲みはBプレーンに比べると小さい。
【0036】
また、イメージセンサは、そのイメージセンサの飽和レベル以上の強度を測定することはできず、該飽和レベル以上の強度はカットされる。このため、画像としては、本来の高輝度被写体より大きい範囲でGとBが飽和し、飽和領域は白くなる。この白飽和領域から離れるに従ってGの強度は減衰していくが、Bの飽和領域の半径はさらに広いため、徐々にGとBの強度差が大きくなる。したがって、白飽和領域の外側の領域(1)(図には丸囲みの1として示す)では、水色の滲みが発生し、外側に向かって青みが増す。
【0037】
Bの飽和領域の外側の領域(2)(図には丸囲みの2として示す)では、Bの飽和領域から離れるに従ってBも減衰し始め、GとBの強度差が小さくなっていく。そして、Gの強度がほとんどなくなる領域(2)の端よりも外側では、Bのみが強度を持ち、真っ青の滲みとなる。
【0038】
上記の滲みのうち水色部分における青みが増した滲みと真っ青な滲みとが、青滲みとして不自然なものとなる。仮に、Bの滲みがGと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは、飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。
【0039】
(倍率色収差)
次に、倍率色収差について説明する。倍率色収差とは、レンズの波長による屈折率の違いにより、光学系による物体の結像倍率が異なり、結果として像に色滲みが発生する現象をいう。
【0040】
図3には、倍率色収差が発生する様子を示す。光学系の光軸から外れた位置にある光源から出た光は、光学系により焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長ごとに焦点面での像高が異なる。例えば、R,G,Bの代表波長の結像位置を考える場合、図3に示すように、光源の像の中心が異なる位置に出現する。
【0041】
図5には、倍率色収差を含む像の焦点面での強度分布の例を示す。なお、実際には、像の倍率が異なるため、R,G,Bの代表波長における強度分布の広がりは等しくはならないが、理解を容易にするために図5ではほぼ等しい広がりを持つものとして強度分布を示す。
【0042】
501は高輝度な被写体の像の像面での強度分布を示している。強度分布501において、R,G,Bの代表波長における光源の像の中心位置が異なっている。この像をイメージセンサで撮像すると、像面照度が高い領域では白飛びが発生し、ある方向ではRの広がりによる色滲みが、別の方向ではBの広がりによる色滲みが発生した光源の像が得られる。このように、倍率色収差による色滲みは、軸上色収差と異なり、回転対称にはならない。
【0043】
(画角による色滲みの違い)
次に、撮像により取得された画像中の画角による色滲みの違いについて説明する。図6には、画像中の位置による色滲みの違いを示す。601は撮像により取得された画像(撮影画像)を示す。602の図は撮影画像601における光学系の光軸位置に対応する(軸上の)A地点に高輝度の光源が写る場合の色滲みの出方を示している。602の図では、軸上色収差のみが発生し、光源を中心に同心円状に色滲みが発生している。
【0044】
一方、603の図は、撮影画像601における軸外に対応するB地点における色滲みの出方を示す。603の図では、倍率色収差と軸上色収差により、波長ごとに被写体像の大きさと中心位置が異なっている。
【0045】
以上説明したように、軸上色収差と倍率色収差では色の滲み方が異なる。このため、高精度に色滲みを除去するには、軸上色収差と倍率色収差のそれぞれに適した補正処理が必要である。以下、それぞれの色収差の補正アルゴリズムについて説明する。
(倍率色収差補正のアルゴリズム)
まず、倍率色収差補正のアルゴリズムについて説明する。図7には、図6のB地点における高輝度被写体像の倍率色収差を補正する前の画像702と補正した後の画像703を表している。図7に示すように、倍率色収差を補正した結果、各色プレーンでの高輝度被写体像の位置が揃い、色滲みが同心円状に出現するようになる。
【0046】
倍率色収差は、基準色プレーンとしてのGプレーン以外の色プレーン(Rプレーン及びBプレーンのうち少なくとも一方:以下、R又はBプレーンという)の像倍率の違いによって発生する。したがって、倍率色収差補正においては、基準色プレーン(G)に対しては画像処理を行わず、Rプレーン又はBプレーン、基準色プレーン(G)と同じ像倍率になるように画像処理する。
【0047】
倍率色収差補正の具体的なアルゴリズムの例について説明する。倍率色収差補正は、幾何変換マトリックス計算処理とその幾何変換マトリックスに基づく画像補正処理とを含む。
【0048】
幾何変換マトリックス計算処理は、R又はBプレーンにおける幾何的変換を基準色プレーン(G)に合わせるための幾何変換マトリックスを求める処理である。幾何変換マトリクスは、歪みのない複数の格子点の、Gの代表波長から求めた像と、Rの代表波長又はBの代表波長から求めた像をそれぞれ対応づけることで求められる。
【0049】
続いて、計算したR又はBプレーンにおける幾何変換マトリクスを使って、R又はBプレーンの画像を補正する。これにより、R又はBプレーンにおける倍率色収差を基準色プレーン(G)と同じ倍率色収差に合わせることができる。この処理は、一般にワーピング又はモーフィングと呼ばれる。
【0050】
ここで、幾何変換マトリックスは、撮像装置により画像を生成するとき(撮像時)の撮像条件、すなわち、撮像装置が用いる結像光学系(撮像レンズ)の機種や、ズーム位置、絞り値、フォーカス位置といった状態によって異なる。撮像レンズの設計データがあれば、該レンズの機種と撮影時の該レンズの状態が分かれば、光線追跡による解析からどのようなレンズの状態であっても幾何変換マトリックスを求められる。ただし、処理に時間がかかる。
【0051】
このため、予め、レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを計算して、撮像装置内のメモリ又はファームウェア内に参照テーブルの形で保存しておくとよい。そして、この参照テーブルから、撮像時のズーム位置、絞り値及びフォーカス位置をインデックスとして、幾何変換マトリックスを読み取る。これにより、処理の高速化が図れる。
【0052】
ところで、データ容量の観点から、全てのズーム位置、絞り値及びフォーカス位置に対応する幾何変換マトリクスを参照テーブルとして保存することは実用上困難である。このため、参照テーブルには、代表的なズーム位置、絞り値及びフォーカス位置での幾何変換マトリクスを格納しておくとよい。この場合、実際の撮像条件に最も近い代表撮像条件に対応する幾何変換マトリクスを参照テーブルから読み出して使用したり、複数の代表撮像条件に対応する複数の幾何変換マトリクスから補間演算によって使用する幾何変換マトリクスを生成したりする。
【0053】
(軸上色収差補正のアルゴリズム)
次に、軸上色収差補正のアルゴリズムについて説明する。軸上色収差補正における基本的な考え方は、R又はBプレーンの像の広がりを最も色滲みが少ないGプレーンにおける像の広がりと同等なレベルまで抑えることである。仮に、RとBの滲みがGと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。
【0054】
ここで、色収差によってG及びBプレーンに比べてRプレーンの解像度が劣り、3つの色プレーンを合成した状態で明暗の境界部で赤がぼやけ、明部の周囲に赤い縁取りのようなアーチファクトが生じている画像の軸上色収差補正について考える。
【0055】
図17には、赤滲みを伴う高輝度被写体像の強度分布プロファイルを示している。図17において、G及びBがともに飽和する領域に隣接し、Bのみが飽和する領域を領域(1)(図には丸囲みの1として示す)とし、領域(1)に隣接してBもGも飽和しない領域を領域(2)(図には丸囲みの2として示す)とする。
【0056】
このようなプロファイルを持つ色滲みを除去(低減)する方法として、種々の色滲み除去アルゴリズムが考えられる。
【0057】
ここでは、画素値の傾きに注目して色滲みを除去するアルゴリズムについて説明する。なお、以下に説明するアルゴリズムは例にすぎず、本発明で使用される色滲み除去アルゴリズムが以下に説明するアルゴリズムに限定されるわけではない。
【0058】
図18には、色滲み除去アルゴリズムにおける軸上色収差補正のアルゴリズムのフローチャートを示す。
【0059】
まず、空間演算ステップS1801では、R又はGプレーンに対する輝度傾斜マップ∇R,∇Gを以下の式により計算する。
【0060】
【数1】
【0061】
【0062】
ここで、G(x+1,y),R(x+1,y)はそれぞれ、G及びRプレーンにおける注目画素の右隣の画素の画素値を示す。G(x−1,y),R(x−1,y)はそれぞれ、G及びRプレーンにおける注目画素の左隣の画素の画素値を示す。
【0063】
G(x,y+1),R(x,y+1)はそれぞれ、G及びRプレーンにおける注目画素の下隣の画素の画素値を示す。G(x,y−1),R(x,y−1)はそれぞれ、G及びRプレーンにおける注目画素の上隣の画素の画素値とする。
【0064】
次に、推定ステップS1802では、カラー画像の各画素に対して、色滲みとなっている余計なRプレーンの強度を推定する。推定手法は、Bが飽和しているか否かによって異なる。すなわち、領域(2)(GもRも飽和しない領域)では、Rの画素値の傾きからRの滲み量を推定する。また、領域(2)(Rのみ飽和する領域)では、Gの滲み量からRの滲み量を推定する。
【0065】
領域(2)における推定滲み量E1は、Rの傾き∇Rの絶対値に係数k1を乗じて、
E1=k1|∇R|
とする。ここで、k1は正の値であり、3前後が好適である。
【0066】
一方、Rが飽和している領域(1)では、輝度傾斜は0になってしまい、飽和前の輝度傾斜が得られない。そこで、領域(1)における推定滲み量E2は、Gの傾き∇Gの絶対値に係数k2を乗じて、
E2=k2|∇G|
とする。ここで、k2は正の値であり、3前後が好適である。
【0067】
次に、領域判定ステップS1803では、まずRプレーンの強度に対する非線形変換を行い、飽和度Sを生成する。この非線形変換は、Rが飽和しているか否かを示すものであり、Bの強度が飽和している領域では1となり、Rの強度が小さい場合は0となる。飽和度Sは、0,1の2値でもよいが、図19のように、0〜1で連続的に変化する(ただし、図にはRの強度の中間点から変化する)値としてもよい。
【0068】
そして、この飽和度SによってステップS1802で算出したE1又はE2を選択する。すなわち、飽和度Sが0,1の2値であれば、新たな推定滲み量Eを、
【0069】
【数2】
【0070】
とする。飽和度Sが0〜1で連続的に変化する値であれば、新たな推定滲み量Eを、
E=(1−S)E1+SE2
とする。
【0071】
次に、過除去抑制ステップS1804では、推定滲み量Eを修正し、Rプレーンにおいて実際に除去する滲み量E’を決める。ここでは、除去による色相Hの変化を一定角度δ以内にする。色相−彩度面を図20に示す。
【0072】
図20において、Rの強度から推定滲み量Eを除去すると、点線矢印で示すように、色相が下方に移動する。色相の変化を角度δ以内にするには、まず除去前の色相、
Hori=H(R,G,B)
を求める。次に、除去前の色相と除去後の色相との間で角度δの変化を与えるRの滲み除去量Er,Elを以下の式により計算する。
【0073】
H(R−Er,G,B)=Hori−δ
H(R−El,G,B)=Hori+δ
ここで、角度δとしては、10〜45度程度が好適である
これらの滲み除去量Er,Elと領域判定ステップS1803で求めた推定滲み量Eを比較して、これらのうちの最小値としての滲み除去量E’を、
E’=min(E,max(Er,El,0))
とし、除去ステップS1804に移行する。図20においては、滲み除去量E’=Erとなる。
【0074】
次に、除去ステップS1804では、滲み除去量E’をRプレーンの強度Rから差し引き、新たなRプレーン強度Rを、
R=R−E’
により求める。
【0075】
このように、Rプレーンを修正したカラー画像を色滲み除去部1250の出力として視覚補正部1260に出力する。
【0076】
この方式では、滲み除去対象画素に対して上下左右に隣接する画素のみを参照している。このため、大きな容量のフレームメモリを必要とせず、2画素ライン分のバッファメモリがあれば、ラスタ走査によって画像全体を処理することができる。これにより、高速でコンパクトな回路として撮像装置に実装することが可能となる。
【0077】
上述した色滲み量の推定方法以外にも、以下のような推定方法を用いることもできる。
【0078】
例えば、輝度飽和領域を判定し、非線形に補正した輝度と補正対象である色プレーンの像の位置に応じたPSF(点像分布関数:point spread function)をコンボリューションすることにより色滲み量を推定(算出)してもよい。
【0079】
また、輝度飽和領域からの距離に応じて指数関数又はガウス関数でモデル化した関数を用いて、色滲み量と像の広がりを推定してもよい。
【0080】
ただし、色滲みを除去する前には、はじめに説明した方法と同様に、過除去による色相の変化を抑制する処理を導入することが好ましい。この処理により、処理の前後での色相の変化を一定の範囲内に抑えて、元の色(地の色)を残した形での自然な色滲み除去を行うことができる。
【0081】
(補正の順序)
上述したように、倍率色収差と軸上色収差をそれぞれ精度良く除去(低減)するには、それぞれ異なるアルゴリズムを用いる必要がある。
【0082】
先に説明した通り、軸外の色収差には、倍率色収差と軸上色収差の双方が含まれている。このため、倍率色収差補正を先に実行し、その後、画像全体に対して軸上色収差補正を実行すると、画像全体から色収差を良好に除去できる。
【0083】
この順序について、図9を用いてより詳細に説明する。まず、図9のステップ1において、軸外の高輝度被写体像(すなわち、撮影画像)901に対して倍率色収差を補正する。これにより、図7でも述べたように、軸上色収差は残るものの、倍率色収差は良好に補正される(902参照)。
【0084】
続いて、図9のステップ2において、倍率色収差が補正された高輝度被写体像903に対して、軸上色収差補正を実行する。倍率色収差が補正された高輝度被写体像903においては同心円状に色滲みが出現するため、軸上色収差補正により良好に色滲みを補正することができる(904参照)。
【0085】
次に、上記の順序とは逆の順序で色収差を補正する場合について、図10を用いて説明する。まず、図10のステップ1′において、軸外の高輝度被写体像に対して軸上色収差を補正する。しかし、軸外では倍率色収差による色滲みも含まれるため、軸上色収差補正アルゴリズムでは良好に色収差を補正できない。
【0086】
続いて、図10のステップ2′において、軸上色収差を補正した高輝度被写体像に対して倍率色収差補正を実行する。しかし、各色プレーン上での像位置が空間的に移動するため、ある程度除去した色滲みが再び顕在化し、新たな色滲みを生み出す結果となる。
【0087】
したがって、色滲み除去部1250では、倍率色収差補正を最初に行い、その後、軸上色収差補正を行うことで良好に色滲みを補正する。この処理順序は、高精度に色滲みを除去するために必須な順序である。
【実施例2】
【0088】
実施例1では、色収差補正のみについて説明したが、本実施例では、色収差補正に加えて、単色収差(ザイデルの5収差)の補正を行う場合について説明する。
【0089】
単色収差には、球面収差、非点収差、像面湾曲、コマ収差、歪曲収差がある。このうち、球面収差、非点収差、像面湾曲、コマ収差は、像のぼやけを生むが、歪曲収差は像の歪みを生む収差であり、画像処理による収差補正が比較的容易である。
【0090】
図11には、歪曲収差(幾何的歪)の出現のしかたを示す。1101は歪曲収差がない場合を示しており、1102は糸巻き型の歪曲収差を示している。また、1103は樽型の歪曲収差を示している。単色収差の場合、波長依存性がないため、どの色プレーンに対しても同じ補正値を用いて補正する。
【0091】
歪曲収差補正は、倍率色収差補正と同じくワーピングにより行えるため、倍率色収差と同じタイミングで歪曲収差を補正するとよい。歪曲収差補正も、実施例1(図12)に示した色滲み除去部1250で行う。
【0092】
図21は、本実施例における色滲み除去部1250の処理を示すフローチャートである。
【0093】
ステップS2101では、基準色プレーン(G)に対しては歪曲収差(理想像高からのずれ)のみを補正する。そして、基準色プレーン以外の色プレーン(R又はBプレーン)に対しては倍率色収差と歪曲収差(幾何的歪成分)を補正する。歪曲収差の補正には、倍率色収差の補正と同様、幾何変換マトリクスを用いる。
【0094】
幾何変換マトリクスは、各色プレーンにおいて理想結像する複数の格子点と各色プレーンの代表波長から求めた像とをそれぞれ対応づけることで求められる。幾何変換マトリクスの算出についても同様である。ここでも、実施例1と同様に、撮像レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを予め計算し、メモリ又はファームウェア等に参照テーブルのかたちで保存しておくとよい。
【0095】
次にステップS2102では、実施例1で説明したステップS102と同様に、倍率色収差補正処理(及び歪曲収差補正処理)を受けたカラー画像に含まれる軸上色収差を低減する軸上色収差補正処理を行う。
【0096】
上記実施例1,2では、単板イメージセンサにより取得した画像から色滲みを除去する場合について説明したが、3板式イメージセンサにより取得した画像に対しても、同様に色滲みの除去が可能である。この場合、図12に示したデモザイク部1240の処理が不要になる。ただし、イメージセンサで得られる解像度の倍の解像度の画像を生成する画素ずらし法を用いる場合には、デモザイク部1240の代わりに、高解像度化処理を行う処理部を入れるとよい。
【実施例3】
【0097】
図16には、実施例1にて説明した撮像装置のより具体的な構成を示す。撮像装置1は、結像光学系を有する撮像レンズ1601、露光制御ユニット1602、撮像素子1603、画像生成回路1604、メモリ制御回路1611、画像出力部1612及びフレームメモリ1613等を備えている。
【0098】
撮像レンズ1601は、露光制御ユニット1602を介して撮像素子1603に被写体からの光を導く。露光制御ユニット1602は、絞りやシャッタを含む。撮像素子1603は、CCDセンサやCMOSセンサ等のイメージセンサにより構成され、被写体像を電気信号に変換して出力する。
【0099】
画像生成回路1604は、撮像素子1603からのアナログ出力信号をデジタル化し、該デジタル信号から画像を生成する。画像生成回路1604は、A/D変換回路、オートゲイン制御回路(AGC)、オートホワイトバランス回路、画素補間処理回路、色変換処理回路等を含む。
【0100】
1605は撮像レンズ1601のフォーカシングを制御するフォーカス制御部である。1606は露光制御ユニット1602を制御する露光制御部である。フォーカス制御部1605及び露光制御部1606は、例えば、TTL方式を用いて制御される。また、1621は撮像レンズ1601のズームを制御するズーム制御回路であり、1622はズーム位置を検出するズーム位置検出回路である。
【0101】
1607は撮像装置1の全体の動作及び制御を司るシステム制御回路である。1608はシステム制御回路1607での動作制御用のデータや処理プログラム等を記録するメモリである。1609は各種調整値等の情報を記憶する不揮発性メモリである。
【0102】
1620は画像生成回路1604で生成された画像データから色滲みを除去(低減)する色滲み除去回路である。該色滲み除去回路1620には、図12に示した色滲み除去部1250が含まれる。色滲み除去回路1620の機能の有効/無効は、不図示の操作部から設定できる色滲み除去モードのON/OFFによって選択される。
【0103】
色滲み除去回路1620に入力される画像データは、必ずしも画像生成回路1604で全ての処理を終えたデータでなくてもよい。すなわち、画像生成回路1604の処理途中の画像データを色滲み除去回路1620に入力し、色滲み除去回路1620で処理された画像データを再び画像生成回路1604に入力してここでの処理を継続してもよい。
【0104】
フレームメモリ1613は、生成された画像データを1フレーム単位又は複数フレーム単位で一時的に保持する。
【0105】
メモリ制御回路1611は、フレームメモリ1613に対する画像データの入出力を制御する。
【0106】
画像出力部1612は、色滲み除去回路1620で色滲みが除去された画像データを、図示しないディスプレイに表示したり、記録媒体に記録したりする。
【実施例4】
【0107】
実施例3では、撮像装置内に画像処理装置として機能する色滲み除去回路を設けた場合について説明したが、本発明はこれに限らない。
【0108】
例えば図22に示すように、撮像装置1401により生成した画像をパーソナルコンピュータ1402に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやLANを介して送信してもよい。
【0109】
そして、パーソナルコンピュータ1402にインストールしたコンピュータプログラム(画像処理プログラム)に、実施例1で説明した色滲み除去部1250に相当する処理を実行させるようにしてもよい。この場合、パーソナルコンピュータが、本発明にいう画像処理装置として機能する。
【実施例5】
【0110】
上記実施例1,2では、幾何変換マトリクスの参照テーブルを撮像装置内に保持する場合について説明したが、参照テーブルをインターネット上のデータベースに格納し、インターネット経由で該参照テーブルをダウンロードして使用するようにしてもよい。
【0111】
また、撮像レンズが撮像装置に対して交換可能である場合に、撮像レンズ内のメモリに参照テーブルを保持させてもよい。この場合、撮像レンズが撮像装置に接続されたときに、参照テーブルを撮像装置に転送すればよい。また、撮像装置から撮像レンズ内のメモリに格納された参照テーブルを更新するようにしてもよい。
【0112】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【0113】
【図1】本発明の実施例1における色滲み除去部の処理を示すフローチャート。
【図2】軸上色収差が発生する様子を示す図。
【図3】倍率色収差が発生する様子を示す図。
【図4】軸上色収差を含む像の焦点面での強度分布の例を示す図。
【図5】倍率色収差を含む像の焦点面での強度分布の例を示す図。
【図6】撮影画像中の位置による色滲みの違いを示す図。
【図7】図6のB地点における光源の像に加わった倍率色収差を補正する様子を示す図。
【図8】高輝度被写体に対するB及びGプレーンの典型的なプロファイルを示す図。
【図9】軸上色収差補正の後に倍率色収差補正を実行した場合の高輝度被写体像を示す図。
【図10】軸上色収差補正アルゴリズムの原理を説明する図。
【図11】歪曲収差の出現のしかたを説明する図。
【図12】実施例1であるカラー撮像装置での処理を示すフローチャート。
【図13】原色系カラーフィルタの分光特性分布を示す図。
【図14】単板イメージセンサのカラーフィルタの配列を示す図。
【図15】明暗境界部に発生する色滲みの強度分布を示す図。
【図16】本発明の実施例3(実施例1)である撮像装置の構成を示すブロック図。
【図17】赤滲みを伴う高輝度被写体像の強度分布プロファイルを示す図。
【図18】軸上色収差補正アルゴリズムのフローチャート。
【図19】R強度に対する非線形変換を表す図。
【図20】過除去抑制処理を説明するための色相−彩度面を表す図。
【図21】本発明の実施例2における色滲み除去部での処理を示すフローチャート。
【図22】本発明の実施例4である画像処理装置を示す図。
【符号の説明】
【0114】
1210 結像光学系
1220 イメージセンサ
1250 色滲み除去部
S101 倍率色収差補正処理
S102,S2102 軸上色収差補正処理
S2101 倍率色収差+幾何的歪補正処理
【特許請求の範囲】
【請求項1】
撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する画像処理装置であって、
前記画像に含まれる倍率色収差成分を低減する第1の低減手段と、
前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段とを有することを特徴とする画像処理装置。
【請求項2】
前記第1の低減手段は、前記複数の色プレーンのうち基準色プレーン以外の色プレーンに含まれる倍率色収差成分を低減することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第2の低減手段は、前記各色プレーンの画素値の傾きから算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第2の低減手段は、前記画像中の輝度飽和領域からの距離に基づいて算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記第2の低減手段は、前記色プレーンごとの像の位置に応じた点像分布関数をコンボリューションすることにより算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記第1の低減手段は、前記撮像装置により前記画像を生成するときの撮像条件に基づいて前記倍率色収差成分を算出することを特徴とする請求項1から5のいずれか1つに記載の画像処理装置。
【請求項7】
前記第1の低減手段は、前記倍率色収差成分を低減し、かつ前記各色プレーンに含まれる幾何的歪成分を低減することを特徴とする請求項1から6のいずれか1つに記載の画像処理装置。
【請求項8】
撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する画像処理方法であって、
前記画像に含まれる倍率色収差成分を低減する第1のステップと、
前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップとを有することを特徴とする画像処理方法。
【請求項1】
撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する画像処理装置であって、
前記画像に含まれる倍率色収差成分を低減する第1の低減手段と、
前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2の低減手段とを有することを特徴とする画像処理装置。
【請求項2】
前記第1の低減手段は、前記複数の色プレーンのうち基準色プレーン以外の色プレーンに含まれる倍率色収差成分を低減することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第2の低減手段は、前記各色プレーンの画素値の傾きから算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第2の低減手段は、前記画像中の輝度飽和領域からの距離に基づいて算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記第2の低減手段は、前記色プレーンごとの像の位置に応じた点像分布関数をコンボリューションすることにより算出した前記軸上色収差成分を低減することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記第1の低減手段は、前記撮像装置により前記画像を生成するときの撮像条件に基づいて前記倍率色収差成分を算出することを特徴とする請求項1から5のいずれか1つに記載の画像処理装置。
【請求項7】
前記第1の低減手段は、前記倍率色収差成分を低減し、かつ前記各色プレーンに含まれる幾何的歪成分を低減することを特徴とする請求項1から6のいずれか1つに記載の画像処理装置。
【請求項8】
撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する画像処理方法であって、
前記画像に含まれる倍率色収差成分を低減する第1のステップと、
前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第2のステップとを有することを特徴とする画像処理方法。
【図5】
【図6】
【図10】
【図18】
【図19】
【図1】
【図2】
【図3】
【図4】
【図7】
【図8】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図20】
【図21】
【図22】
【図6】
【図10】
【図18】
【図19】
【図1】
【図2】
【図3】
【図4】
【図7】
【図8】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図20】
【図21】
【図22】
【公開番号】特開2009−260620(P2009−260620A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−106820(P2008−106820)
【出願日】平成20年4月16日(2008.4.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願日】平成20年4月16日(2008.4.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]