撮像装置および画像処理方法
【課題】ＲＧＢ３バンドによる撮影を行う撮像装置において、解像度を落とさずに簡易な撮影を行うことによって、撮像センサ入射光の分光特性の特徴を検知・弁別することは困難であった。
【解決手段】ＲＧＢ画素からなる撮像センサ上に、ＢＧバンド間およびＲＧバンド間波長に分光感度ピークを有する追加バンド画素ＢＧ，ＯＧを配置する。そして、該撮像センサによる追加バンドの画素値とＲＧＢ各バンドの画素値により、センサ入射光の分光特性における特徴量を取得し、画像処理に適用する。なお、撮像センサにおいて追加バンド画素の画素数はＲＧＢの各画素数よりも極少であるため、撮影解像度は維持される。
【解決手段】ＲＧＢ画素からなる撮像センサ上に、ＢＧバンド間およびＲＧバンド間波長に分光感度ピークを有する追加バンド画素ＢＧ，ＯＧを配置する。そして、該撮像センサによる追加バンドの画素値とＲＧＢ各バンドの画素値により、センサ入射光の分光特性における特徴量を取得し、画像処理に適用する。なお、撮像センサにおいて追加バンド画素の画素数はＲＧＢの各画素数よりも極少であるため、撮影解像度は維持される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体からの入射光をＲＧＢの各バンド画素を備えた撮像センサで受光して撮影画像を取得する撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般に被写体光は、光源光そのもの、もしくは光源光と被写体反射率の総合としての分光特性を有する。感光フィルムを用いた銀塩カメラやデジタル画像データを取得するデジタルカメラを問わず、被写体の色を正確に再現するために、その分光特性に依存した光源光情報を把握する技術が広く開発されている。
【０００３】
例えば、カメラが存在する環境を測色するセンサを備え、該センサにより判定された光源情報を記録媒体上に記録する技術が開示されている（例えば、特許文献１参照）。さらに、透過波長域の異なる多種類のフィルタを通した撮影を行うマルチバンドカメラを用いることによって、被写体を分光分布もしくは分光反射率の画像として記録する技術が開示されている。（例えば、特許文献２参照）。
【０００４】
一方、デジタルカメラ等の撮像装置においては、撮影レンズにより発生する色収差が、画像の品質を低下させる要因となっている。この色収差を画像処理によって補正するために、以下のような技術が知られている。例えば、撮影レンズによる色収差が、該レンズの結像面である撮像素子の中心からの像高と入射した光の波長により決まることを利用して、色収差補正を行う技術が開示されている（例えば、特許文献３参照）。また、色収差補正を点像分布関数(PSF)の逆特性を持つフィルタもしくは逆特性PSFを生じるOTF特性を用いて行う技術が開示されている（例えば、特許文献４，５参照）。
【０００５】
以上のような色収差補正はより厳密には、撮像センサに入射する光線の分光特性に応じて行う必要がある。そこで、カメラの色温度もしくはホワイトバランス情報に基づいて、色収差補正を制御する技術が開示されている（例えば、特許文献６参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平05-197009号公報
【特許文献２】特開2007-278950号公報
【特許文献３】特開平06-292207号公報
【特許文献４】特開昭62-12976号公報
【特許文献５】特開平04-88765号公報
【特許文献６】特開2007-158628号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に、撮像センサへの入射光は、光源の分光特性と被写体の分光反射率、さらに、発光する被写体の発光分光特性によって決まる。このとき、撮像センサに入射する光線の特徴量把握を、ＲＧＢ各バンドの画素値、色温度、測色値やホワイトバランス情報に基いて行うと、正確性が確保できないという問題がある。例えば、緑色の人工物と植物を区別し、それぞれに最適な色処理を行いたい場合、それぞれの分光特性の違いに着目する必要がある。しかしながらこのような場合、それぞれのＲＧＢ画素値を取得しても、互いの測色値が近い場合には弁別不可能であり、目的の処理を行うことができない。
【０００８】
一方、マルチバンドカメラを用いる事で、撮像センサへの入射光の分光特性を推定することは可能である。例えば、モノクローム特性を有するカメラにおいて各バンドのフィルタを切り替えて複数枚数撮影する方法や、または全バンドが単板撮像センサに配置されたカメラを用いる方法が考えられる。しかしながら、前者の場合は撮影が極めて煩雑であり、さらに動く被写体を撮影することができないという問題がある。また後者の場合は、撮影解像度がＲＧＢ３バンドカメラに対して低下してしまうという問題がある。
【０００９】
また、上述したようなレンズの色収差補正を画像処理によって実現する場合には、隣り合ったバンド(ＲＧおよびＢＧ)間の波長に大きなパワーのピークを持つ入射光線と、ＲＧＢの各バンド内に平均的にパワーを持つ入射光線と、を弁別する必要がある。これら入射光線における分光特性の違いを把握できないと、色収差補正が正しく行われないばかりでなく、むしろ悪化させてしまう場合もあった。
【００１０】
本発明は上述した問題を解決するためになされたものであり、以下の機能を有する撮像装置および画像処理方法を提供することを目的とする。すなわち、ＲＧＢ３バンドによる撮影を行う撮像装置において、解像度を落とさずに簡易な撮影を可能とし、同時に入射光の分光特性における特徴量を検出し、該特徴量に応じた適切な画像処理を可能とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。
【００１２】
すなわち、ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素、が配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像手段と、前記撮像手段で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得手段と、前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析手段と、前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理手段、を有し、前記撮像センサにおいて、前記追加バンド画素の画素数は、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少ないことを特徴とする。
【発明の効果】
【００１３】
上記構成からなる本発明によれば、ＲＧＢ３バンドによる撮影を行う撮像装置において、解像度を落とさずに簡易な撮影を可能とし、入射光の分光特性における特徴量の検出と、該特徴量に応じた適切な画像処理が可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態におけるＲＧＢ画素と追加画素を有する撮像センサの画素配置図、
【図２】第１実施形態の撮像センサにおける各画素の分光感度特性を示す図、
【図３】第１実施形態における撮像装置の構成を示すブロック図、
【図４】第１実施形態における分光解析部の詳細構成を示す図、
【図５】第２実施形態における色収差補正処理を示すフローチャート、
【図６】第２実施形態における基本的な色収差補正処理を説明する図、
【図７】第２実施形態における輝線を含む光源に対する色収差補正結果を示す図、
【図８】第２実施形態における輝線を含まない光源に対する色収差補正結果を示す図、である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１６】
＜第１実施形態＞
本実施形態を説明するに先立ち、まず本実施形態の特徴である撮像センサにおける画素配置について説明する。
【００１７】
●撮像センサの画素配置
本実施形態の撮像装置においては、Ｒバンド画素、Ｇバンド画素、Ｂバンド画素を基準バンド画素として有する撮像センサ上に、隣り合う２バンド（ＲＧ，ＢＧ）の分光感度ピーク波長間に分光感度ピークを有する追加バンド画素を配置する。そして、該追加バンド画素によって検出された追加バンド画素値と、ＲＧＢの各基準バンド画素によって検出された基準バンド画素値とに基づき、撮像センサへの入射光における分光特性上の特徴量を取得することを特徴とする。
【００１８】
図１に、本実施形態における撮像センサの画素配置の一部を示す。その基本的な配列は、ＲＧＢ３つのそれぞれが異なる感度特性を持つ画素をベイヤー配置したものである。図１において、１はＧバンド内に分光感度ピークを有するＧバンド画素（Ｇ画素）であり、同様に２はＢバンド画素（Ｂ画素）、３はＲバンド画素（Ｒ画素）、の配置位置を示している。これらはベイヤー配列となっているため、左上の４画素のように、Ｇ画素２画素に対して、Ｂ画素Ｒ画素がそれぞれ１画素配置される。そして、４はＢＧバンド間、すなわちＢバンドおよびＧバンドの分光感度ピーク波長間（Blue Green相当）に分光感度ピークを有する第１の追加バンド画素であり、以下、ＢＧ画素と称する。また、５はＲＧバンド間、すなわちＲバンドおよびＧバンドの分光感度ピーク波長間（Orange相当）に分光感度ピークを有する第２の追加バンド画素であり、以下、ＯＧ画素と称する。このＢＧ画素とＯＧ画素は、ベイヤー配置におけるＧ画素位置に、ＲＧＢの各画素数よりも少ない数がまばらに配置される。
【００１９】
本実施形態においては、詳細は後述するが、これら追加バンド画素の信号を画像信号から取り除いた後に、周囲のＧ画素によって補間して再び画像信号に加える、すなわち追加バンド画素を置換する必要がある。例えば図１に示す配列の場合、ＢＧ画素４に対する置換は、Ｇ１〜Ｇ４で示す周囲の４画素のデータ平均によって行われる。また、Ｇ画素の変化方向に従って、Ｇ１とＧ４の平均またはＧ２とＧ３の平均から、置換対象となる値を選択しても良い。このように、追加バンド画素の信号は最終的に画像信号から取り除かれるため、撮像解像度に影響がある。そのため、撮像センサにおける追加バンド画素の配置頻度は、総画素数の0.1%以下程度であることが望ましい。
【００２０】
ここで図２に、図１で示した撮像センサにおける、各バンドの相対的な分光感度特性を示す。図２において、１０はＧ画素の分光感度特性、２０はＢ画素の分光感度特性、３０はＲ画素の分光感度特性をそれぞれ示す。また、４０、５０はそれぞれＢＧ画素、ＯＧ画素の分光感度特性を示す。図２によれば、ＢＧ画素の分光感度ピーク波長はＧ画素とＢ画素の分光感度ピークの間に設けられ、ＯＧ画素の分光感度ピークはＧ画素とＢ画素の分光感度ピークの間に設けられていることが分かる。
【００２１】
●装置構成
図３に、本実施形態における撮像装置の構成を示す。同図において、１０１は被写体の光量を検知する撮像部であり、撮像レンズ１０２、絞り１０３、シャッター１０４、ＣＭＯＳやＣＣＤ等の撮像センサ１０５、からなる。撮像センサ１０５は、上記図１，図２を用いて説明したように構成され、撮像部１０１では被写体からの入射光を撮像レンズ１０２、絞り１０３、シャッター１０４を介して撮像センサ１０５で受光することによって被写体像を撮影する。
【００２２】
１０６はＡ／Ｄ変換部であり、撮像センサ１０５の各画素に入射した光量に応じて発生するアナログ信号をデジタル値に変換する。１０７は分光解析部であり、その詳細については後述する。１０８は画像処理部であり、上記デジタル値に対してデモザイキング処理、ホワイトバランス処理、ガンマ処理等の画像処理を施し、デジタル画像を生成する。ここでの画像処理は、分光解析部１０７の解析結果に基づいて行うことができる。１０９はメディアインターフェースであり、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等）に接続し、デジタル画像を該メディアへ送出する。
【００２３】
１１０はＣＰＵであり、本実施形態の撮像装置の各構成における処理全てに関わり、ＲＯＭ１１１やＲＡＭ１１２に格納された命令を順次読み込んで解釈し、その結果に従って各処理を実行する。ＲＯＭ１１１とＲＡＭ１１２は、それらの処理に必要なプログラム、データ、作業領域等をＣＰＵ１１０に提供する。１１３は撮像系制御部であり、ＣＰＵ１１０の指示に基いて、フォーカス、シャッター、絞り等の撮像系の制御を行う。１１４は操作部であり、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。
【００２４】
なお、本実施形態の撮像装置におけるデジタル画像の撮像処理に関しては、通常のデジタルカメラにおける撮像と何ら変わるところが無いため、ここでは説明を省略する。
【００２５】
●分光特性推定処理
本実施形態の撮像装置においては、撮像センサ１０５のＲＧＢ画素により３バンドのデジタル画像を獲得するが、同時にＲＧＢ画素とＧＢ、ＯＧの追加バンド画素を利用して、撮像センサ１０５への入射光における分光特性を推定することを特徴とする。
【００２６】
図４は、図３に示した構成において、特に分光特性の推定に関連した部分を抜き出し、それらの関係を示した図である。同図において、撮像部１０１、Ａ／Ｄ変換部１０６、分光解析部１０７、ＲＯＭ１１１、ＲＡＭ１１２については、上記図３と同じ番号で示してある。ＲＯＭ１１１内において、１１５は推定行列保持部であり、Ｒ，Ｇ，ＢおよびＢＧ，ＯＧの５バンドの画像データを分光特性に変換するために予め作成された推定行列を保持している。ＲＡＭ１１２内において、１１６は、撮像センサ１０５のＲＧＢ画素で検出されたＲＧＢ画素値を記憶するＲＧＢ画素値記憶部である。１１７は、撮像センサ１０５のＲＢ，ＯＧの各追加バンド画素で検出された追加バンド画素値を記憶する追加バンド画素値記憶部である。１１８は、本実施形態で推定された分光特性データを記憶する分光画像データ記憶部である。
【００２７】
本実施形態においては、撮像センサ１０５に追加バンド画素は非常にまばらにしか存在しないため、以下のような処理によって、分光特性を推定する。まず、分光推定を行う処理単位として、少なくとも１つのＢＧ画素と１つのＯＧ画素を含む領域に着目する。例えば図１においては、これら追加バンド画素を１つずつ含む領域６が、該処理単位領域に相当する。そして、この処理単位領域内で読み取られたＲＧＢ、ＢＧ、ＯＧの各バンドの平均値のそれぞれを、当該領域におけるＲＧＢ画素値、および追加バンド画素値として、上記ＲＧＢ画素値記憶部１１６および追加バンド画素値記憶部１１７に記憶する。
【００２８】
すると分光解析部１０７においては、以上のように記憶されたＲＧＢ画素値および追加バンド画素値に基づき、推定行列記憶部１１５に記憶された推定行列を用いて、当該処理単位領域における中央座標の画素に対する分光特性を推定する。このように、推定された分光特性を処理単位領域の中央座標にしたがって配置することにより、撮像されたＲＧＢデジタル画像に対応する分光特性画像が得られる。この分光特性画像は、分光画像データ記憶部１１８に記憶される。
【００２９】
なお、分光解析部１０７における分光特性推定方法としては既知の手法が適用可能であり、例えばウィーナー推定法を用いることができる。この場合、推定行列は、入力バンド数である５次元を、分光データの次元数、例えば380nmから730nmのスペクトル情報を10nmごとに記録する３６次元に変換する。これにより、３６次元データからなる分光特性画像が得られる。
【００３０】
以上説明したように本実施形態によれば、撮像センサ上にＲＧバンド間およびＢＧバンド間波長に感度ピークを有する追加バンド画素を配置し、これらの画素値とＲＧＢの各画素値に基づき、撮像センサ入射光の分光特性を推定することができる。したがって、人間の肌と同色に見える肌色の塗料等、ＲＧＢデジタルデータのみでは分別できない画像を、分光特性に基づいて適切に分別することが可能となり、後段の画像処理部１０８において適切な画像処理を施すことができる。さらに、被写体の光源情報も分光特性に基いて取得できるため、撮像画像に対して高度なホワイトバランス処理を行うことも可能となる。
【００３１】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態の撮像装置における撮像センサを含む構成は、上述した第１実施形態の図１〜図３と同様であるため説明を省略するが、分光解析部１０７における処理が第１実施形態とは異なる。第２実施形態においては、分光解析部１０７で分光特性を解析し、該解析結果にしたがって、撮像レンズ１０２の色収差による画像劣化を除去することを特徴とする。
【００３２】
●基本的な色収差補正方法
ここで図６を用いて、第２実施形態における基本的な色収差補正方法としての、第１の色収差補正処理について説明する。
【００３３】
一般に、Ｇバンドにおける基本波長530nmで色ずれが発生しない、すなわち色ずれ量を０としたとき、Ｂバンドの波長460nm及びＲバンドの波長620nmでは色ずれが発生する。例えば図６に、画面中心を(0,0)とした場合の点Ｐ(x,y)における、Ｇバンドに対するＢバンドの波長の色ずれ距離Ｓを示す。すなわち、撮像レンズ１０２を透過する画像に対し、このＳに相当するずれ量だけ、Ｂバンドの画像を拡大（もしくは縮小）してＧバンドに重ねることにより、両者の間の色収差によるずれが補正される。なお、ＲバンドとＧバンドの間についても同様のずれ補正がなされる。
【００３４】
しかしながら、光源の色温度により、最適なずらし量は変化することが知られている。例えば高色温度の光源では、標準色温度の光源と比較して分光特性が短波長側にシフトするため、色ずれ量は青側で増加し、赤側で減少する。逆に、低色温度光源では分光特性が長波長側にシフトするため、色ずれ量は青側で減少し、赤側で増加する。このように、色ずれ量は光源の色温度により変化する。
【００３５】
第２実施形態ではこのような色温度による色ずれ量の変化に対応するために、図６に示すように、色ずれ距離Ｓに対して光源色温度に応じた色温度補正係数ｋを乗じることによって、光源の色温度を加味した色収差補正量ｋＳを得る。ここで色温度補正係数ｋは、光源の色温度ごとに予め求めておいた係数であり、例えばカラーフィルタの分光特性と光源の分光特性とから容易に算出することが可能である。
【００３６】
ここで、撮像素子の水平画素ピッチをpＨ、垂直画素ピッチをpＶとし、水平色ずれ画素数をdｘ、垂直色ずれ画素数をdｙとすると、任意の点Ｐでは以下の関係が成り立つ。なお、撮像素子の１画素未満である色ずれについては補正しないため、小数点以下については切り捨て等の丸め処理を行えば良い。
【００３７】
dｘ＝ｋＳcosθ／pＨ
dｙ＝ｋＳsinθ／pＶ
図６に示す例では、dｘ＝２及びdｙ＝２となるので、Ｂバンドについて垂直方向及び水平方向のいずれにおいても２画素分の補正を行うことにより、Ｇバンドに対する色収差が補正される。なお、色温度係数ｋは、像高又は光学特性（焦点距離及び合焦位置等）に応じて変化させても良い。
【００３８】
以上が、第２実施形態における第１の色収差補正処理である。なお、第２実施形態における第１の色収差補正方法は図６に示す第１の色収差補正処理に限らず、撮像レンズの特性に基づいて実空間上で画像を回復するフィルタを生成し、これを用いて画像を回復する手法を用いても良い。この場合の撮像レンズの特性としては、Point Spread Function（PSF）、またはOptical Transfer Function（OTF）、等が考えられる。
【００３９】
●色収差補正処理
以下、第２実施形態における色収差補正の全体処理について、図５のフローチャートを用いて詳細に説明する。第２実施形態では画像処理部１０８において、分光解析部１０７で解析された分光特性にしたがって、撮像レンズ１０２の色収差による画像劣化を除去する色収差補正の強度を変更する。
【００４０】
まず分光解析部１０７において、Ｓ２０１〜Ｓ２０３の処理を行う。Ｓ２０１では、所定の処理対象領域について、ＲＧＢ画素と、ＧＢ，ＯＧ画素の全画素値を画像Ｉとして取得する。そしてＳ２０２で、画像ＩにおけるＲＧＢ全画素値の平均値に基づき、ＲＧＢ画素置とＧＢ、ＯＧ画素値の比較を行うための閾値を設定する。例えば、該算出したＲＧＢ全画素値の平均値をそのまま閾値とすれば良い。
【００４１】
そしてＳ２０３で、画像ＩにおけるＧＢ画素値の平均とＯＧ画素値の平均を、それぞれ所定の閾値と比較する。それらのいずれもが閾値よりも小さい場合には、画像ＩにおいてＧＢ，ＯＧの追加バンドには輝度ピークが存在しないと判断し、Ｓ２０４に進む。Ｓ２０４では画像処理部１０８において、画像Ｉに対して上記図６で説明した第１の色収差補正方法による収差補正を行い、Ｓ２０６に進む。なお、分光解析部１０７におけるＳ２０３の比較結果は、例えばＲＡＭ１１２内の色収差補正／非補正を示す所定のフラグにセットして画像処理部１０８から参照可能なようにしておけば良い。
【００４２】
一方、Ｓ２０３において、画像ＩにおけるＧＢ画素の平均とＯＧ画素の平均値の少なくともいずれかが閾値以上である場合には、画像Ｉにおいて該閾値以上であるＧＢ，ＯＧの追加バンドに輝度ピークが存在すると判断し、Ｓ２０５に進む。Ｓ２０５では画像処理部１０８において画像Ｉに対し、Ｓ２０４の第１の色収差補正方法とは異なる、第２の色収差補正方法による収差補正処理（第２の色収差補正処理）を行う。これは、たとえ色温度の等しい光源であっても、撮像センサ１０５に入射する光線の分光特性が輝線を含んでいる、すなわち追加バンド内に離散的な輝度ピークが存在している場合には、第１の色収差補正方法では十分な補正が行えないためである。
【００４３】
Ｓ２０５ではすなわち、Ｓ２０３での比較結果に応じて、ＢＧ画素が閾値以上であればＢバンドについては収差補正を行わず（収差補正の無効化）、それ以外のバンド（Ｒ）の収差補正を行う。同様に、ＯＧ画素が閾値以上であればＲバンドについては収差補正を行わず、それ以外のバンド（Ｂ）の収差補正を行う。なお、ＢＧ，ＯＧ画素が両者共に閾値以上であれば、Ｂ，Ｒバンドのいずれについても収差補正を行わない。このＳ２０５における色収差補正処理は、上記図６の説明で用いた色温度補正係数ｋ＝０とするのと同等である。なお、この色温度補正係数ｋを必ずしも０とせず、１よりも小さい値に設定して、対応するバンドの補正量を抑制しても良い。
【００４４】
そしてＳ２０６において、画像処理部１０８は処理済みの画像ＩをメディアＩ／Ｆ１０９に送り、処理を終了する。
【００４５】
●色収差補正結果
ここで、第２実施形態における輝線を含む光源に対する処理結果を図７に示し、説明する。図７(a)は光源の分光特性を示しており、具体的には普通型蛍光灯（電灯光）の実測値である。この分光特性においては、図中丸で囲んで示すように、ＧバンドとＲバンドの中間波長に、輝線による大きなピークを持っていることが特徴的であり、このピーク位置は、図２に示すＯＧ画素の分光感度特性５０のピーク位置に相当している。このピーク部は単一色に近いため、撮像レンズ１０２では色収差は発生しない。したがって、該ピーク部に対応するＧバンドとＲバンド間での色収差補正は不要である。第２実施形態ではこのピーク部がＯＧバンドとして検出されるため、上記Ｓ２０５において、Ｒバンドの収差補正が無効化される。
【００４６】
図７(b)〜(d)は、白地に黒の細線をもつチャートの撮影画像およびその色収差補正結果を示しており、各図とも、縦方向をレンズの放射方向に、横方向を同心方向に、それぞれ一致させてある。
【００４７】
図７(b)は補正を行わない場合、すなわち補正前の撮影画像例であり、撮像レンズ１０２の色収差により、赤の色にじみ７０１と、緑の色にじみ７０２が生じた様子を示している。図７(c)は、図７(b)の画像に対し、上記Ｓ２０５による第２の色収差補正処理でなく、上記Ｓ２０４における第１の色収差補正処理（この場合、一般的なＤ６５光源データに基づく色収差補正）を行った結果である。図７(c)においては、Ｒバンドの補正量が不適切であることから、緑の色にじみ７０３と赤の色にじみ７０４が生じてしまい、図７(b)の画像に対して色にじみの方向が逆転した様子を示している。
【００４８】
図７(d)は、図７(b)の画像に対し、上記Ｓ２０５の第２の色収差補正処理を行った結果であり、この場合Ｒバンドの色収差補正が無効になっているため、色を伴ったにじみが生じていない様子を示している。
【００４９】
次に、第２実施形態における輝線を含まない光源に対する処理結果を図８に示し、説明する。図８(a)は光源の分光特性を示しており、具体的にはＤ６５光源の実測値であり、輝線が含まれていない。
【００５０】
図８(b)〜(d)は、黒地に白の矩形部をもつチャートの撮影画像およびその色収差補正結果を示しており、各図とも図７と同様に、縦方向がレンズの放射方向、横方向が同心方向を示す。
【００５１】
図８(b)は補正を行わない場合、すなわち補正前の撮影画像例であり、撮像レンズ１０２の色収差により、緑の色にじみ８０１と、赤の色にじみ８０２が生じた様子を示している。図８(c)は、図８(b)の画像に対し、上記Ｓ２０４による第１の色収差補正処理（Ｄ６５光源データに基づく色収差補正）を行った結果であり、色を伴ったにじみが生じていない様子を示している。
【００５２】
なお、図８(d)は、この輝線を含まない光源による図８(b)の画像に対し、仮に上記図７(d)と同様に、Ｓ２０５の第２の色収差補正処理によってＲバンドの色収差補正を無効とした場合の色収差補正結果を示す。図８(d)によれば、図８(b)に対して多少は改善されるものの、依然として緑の色にじみ８０３と、赤の色にじみ８０４が生じている様子が示されている。
【００５３】
以上、図７および図８の例からも分かるように、第２実施形態では光源が輝線を含んでいるか否かに応じて、色収差補正処理の強度を切り替えることによって、いずれの光源に対しても色にじみを抑えた適切な補正結果を得ることが可能となる。
【００５４】
以上説明したように第２実施形態によれば、撮影画像の分光特性に基づいて、撮像レンズ１０２の色収差を適切に補正することができる。
【００５５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、被写体からの入射光をＲＧＢの各バンド画素を備えた撮像センサで受光して撮影画像を取得する撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般に被写体光は、光源光そのもの、もしくは光源光と被写体反射率の総合としての分光特性を有する。感光フィルムを用いた銀塩カメラやデジタル画像データを取得するデジタルカメラを問わず、被写体の色を正確に再現するために、その分光特性に依存した光源光情報を把握する技術が広く開発されている。
【０００３】
例えば、カメラが存在する環境を測色するセンサを備え、該センサにより判定された光源情報を記録媒体上に記録する技術が開示されている（例えば、特許文献１参照）。さらに、透過波長域の異なる多種類のフィルタを通した撮影を行うマルチバンドカメラを用いることによって、被写体を分光分布もしくは分光反射率の画像として記録する技術が開示されている。（例えば、特許文献２参照）。
【０００４】
一方、デジタルカメラ等の撮像装置においては、撮影レンズにより発生する色収差が、画像の品質を低下させる要因となっている。この色収差を画像処理によって補正するために、以下のような技術が知られている。例えば、撮影レンズによる色収差が、該レンズの結像面である撮像素子の中心からの像高と入射した光の波長により決まることを利用して、色収差補正を行う技術が開示されている（例えば、特許文献３参照）。また、色収差補正を点像分布関数(PSF)の逆特性を持つフィルタもしくは逆特性PSFを生じるOTF特性を用いて行う技術が開示されている（例えば、特許文献４，５参照）。
【０００５】
以上のような色収差補正はより厳密には、撮像センサに入射する光線の分光特性に応じて行う必要がある。そこで、カメラの色温度もしくはホワイトバランス情報に基づいて、色収差補正を制御する技術が開示されている（例えば、特許文献６参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平05-197009号公報
【特許文献２】特開2007-278950号公報
【特許文献３】特開平06-292207号公報
【特許文献４】特開昭62-12976号公報
【特許文献５】特開平04-88765号公報
【特許文献６】特開2007-158628号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に、撮像センサへの入射光は、光源の分光特性と被写体の分光反射率、さらに、発光する被写体の発光分光特性によって決まる。このとき、撮像センサに入射する光線の特徴量把握を、ＲＧＢ各バンドの画素値、色温度、測色値やホワイトバランス情報に基いて行うと、正確性が確保できないという問題がある。例えば、緑色の人工物と植物を区別し、それぞれに最適な色処理を行いたい場合、それぞれの分光特性の違いに着目する必要がある。しかしながらこのような場合、それぞれのＲＧＢ画素値を取得しても、互いの測色値が近い場合には弁別不可能であり、目的の処理を行うことができない。
【０００８】
一方、マルチバンドカメラを用いる事で、撮像センサへの入射光の分光特性を推定することは可能である。例えば、モノクローム特性を有するカメラにおいて各バンドのフィルタを切り替えて複数枚数撮影する方法や、または全バンドが単板撮像センサに配置されたカメラを用いる方法が考えられる。しかしながら、前者の場合は撮影が極めて煩雑であり、さらに動く被写体を撮影することができないという問題がある。また後者の場合は、撮影解像度がＲＧＢ３バンドカメラに対して低下してしまうという問題がある。
【０００９】
また、上述したようなレンズの色収差補正を画像処理によって実現する場合には、隣り合ったバンド(ＲＧおよびＢＧ)間の波長に大きなパワーのピークを持つ入射光線と、ＲＧＢの各バンド内に平均的にパワーを持つ入射光線と、を弁別する必要がある。これら入射光線における分光特性の違いを把握できないと、色収差補正が正しく行われないばかりでなく、むしろ悪化させてしまう場合もあった。
【００１０】
本発明は上述した問題を解決するためになされたものであり、以下の機能を有する撮像装置および画像処理方法を提供することを目的とする。すなわち、ＲＧＢ３バンドによる撮影を行う撮像装置において、解像度を落とさずに簡易な撮影を可能とし、同時に入射光の分光特性における特徴量を検出し、該特徴量に応じた適切な画像処理を可能とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。
【００１２】
すなわち、ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素、が配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像手段と、前記撮像手段で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得手段と、前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析手段と、前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理手段、を有し、前記撮像センサにおいて、前記追加バンド画素の画素数は、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少ないことを特徴とする。
【発明の効果】
【００１３】
上記構成からなる本発明によれば、ＲＧＢ３バンドによる撮影を行う撮像装置において、解像度を落とさずに簡易な撮影を可能とし、入射光の分光特性における特徴量の検出と、該特徴量に応じた適切な画像処理が可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態におけるＲＧＢ画素と追加画素を有する撮像センサの画素配置図、
【図２】第１実施形態の撮像センサにおける各画素の分光感度特性を示す図、
【図３】第１実施形態における撮像装置の構成を示すブロック図、
【図４】第１実施形態における分光解析部の詳細構成を示す図、
【図５】第２実施形態における色収差補正処理を示すフローチャート、
【図６】第２実施形態における基本的な色収差補正処理を説明する図、
【図７】第２実施形態における輝線を含む光源に対する色収差補正結果を示す図、
【図８】第２実施形態における輝線を含まない光源に対する色収差補正結果を示す図、である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１６】
＜第１実施形態＞
本実施形態を説明するに先立ち、まず本実施形態の特徴である撮像センサにおける画素配置について説明する。
【００１７】
●撮像センサの画素配置
本実施形態の撮像装置においては、Ｒバンド画素、Ｇバンド画素、Ｂバンド画素を基準バンド画素として有する撮像センサ上に、隣り合う２バンド（ＲＧ，ＢＧ）の分光感度ピーク波長間に分光感度ピークを有する追加バンド画素を配置する。そして、該追加バンド画素によって検出された追加バンド画素値と、ＲＧＢの各基準バンド画素によって検出された基準バンド画素値とに基づき、撮像センサへの入射光における分光特性上の特徴量を取得することを特徴とする。
【００１８】
図１に、本実施形態における撮像センサの画素配置の一部を示す。その基本的な配列は、ＲＧＢ３つのそれぞれが異なる感度特性を持つ画素をベイヤー配置したものである。図１において、１はＧバンド内に分光感度ピークを有するＧバンド画素（Ｇ画素）であり、同様に２はＢバンド画素（Ｂ画素）、３はＲバンド画素（Ｒ画素）、の配置位置を示している。これらはベイヤー配列となっているため、左上の４画素のように、Ｇ画素２画素に対して、Ｂ画素Ｒ画素がそれぞれ１画素配置される。そして、４はＢＧバンド間、すなわちＢバンドおよびＧバンドの分光感度ピーク波長間（Blue Green相当）に分光感度ピークを有する第１の追加バンド画素であり、以下、ＢＧ画素と称する。また、５はＲＧバンド間、すなわちＲバンドおよびＧバンドの分光感度ピーク波長間（Orange相当）に分光感度ピークを有する第２の追加バンド画素であり、以下、ＯＧ画素と称する。このＢＧ画素とＯＧ画素は、ベイヤー配置におけるＧ画素位置に、ＲＧＢの各画素数よりも少ない数がまばらに配置される。
【００１９】
本実施形態においては、詳細は後述するが、これら追加バンド画素の信号を画像信号から取り除いた後に、周囲のＧ画素によって補間して再び画像信号に加える、すなわち追加バンド画素を置換する必要がある。例えば図１に示す配列の場合、ＢＧ画素４に対する置換は、Ｇ１〜Ｇ４で示す周囲の４画素のデータ平均によって行われる。また、Ｇ画素の変化方向に従って、Ｇ１とＧ４の平均またはＧ２とＧ３の平均から、置換対象となる値を選択しても良い。このように、追加バンド画素の信号は最終的に画像信号から取り除かれるため、撮像解像度に影響がある。そのため、撮像センサにおける追加バンド画素の配置頻度は、総画素数の0.1%以下程度であることが望ましい。
【００２０】
ここで図２に、図１で示した撮像センサにおける、各バンドの相対的な分光感度特性を示す。図２において、１０はＧ画素の分光感度特性、２０はＢ画素の分光感度特性、３０はＲ画素の分光感度特性をそれぞれ示す。また、４０、５０はそれぞれＢＧ画素、ＯＧ画素の分光感度特性を示す。図２によれば、ＢＧ画素の分光感度ピーク波長はＧ画素とＢ画素の分光感度ピークの間に設けられ、ＯＧ画素の分光感度ピークはＧ画素とＢ画素の分光感度ピークの間に設けられていることが分かる。
【００２１】
●装置構成
図３に、本実施形態における撮像装置の構成を示す。同図において、１０１は被写体の光量を検知する撮像部であり、撮像レンズ１０２、絞り１０３、シャッター１０４、ＣＭＯＳやＣＣＤ等の撮像センサ１０５、からなる。撮像センサ１０５は、上記図１，図２を用いて説明したように構成され、撮像部１０１では被写体からの入射光を撮像レンズ１０２、絞り１０３、シャッター１０４を介して撮像センサ１０５で受光することによって被写体像を撮影する。
【００２２】
１０６はＡ／Ｄ変換部であり、撮像センサ１０５の各画素に入射した光量に応じて発生するアナログ信号をデジタル値に変換する。１０７は分光解析部であり、その詳細については後述する。１０８は画像処理部であり、上記デジタル値に対してデモザイキング処理、ホワイトバランス処理、ガンマ処理等の画像処理を施し、デジタル画像を生成する。ここでの画像処理は、分光解析部１０７の解析結果に基づいて行うことができる。１０９はメディアインターフェースであり、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等）に接続し、デジタル画像を該メディアへ送出する。
【００２３】
１１０はＣＰＵであり、本実施形態の撮像装置の各構成における処理全てに関わり、ＲＯＭ１１１やＲＡＭ１１２に格納された命令を順次読み込んで解釈し、その結果に従って各処理を実行する。ＲＯＭ１１１とＲＡＭ１１２は、それらの処理に必要なプログラム、データ、作業領域等をＣＰＵ１１０に提供する。１１３は撮像系制御部であり、ＣＰＵ１１０の指示に基いて、フォーカス、シャッター、絞り等の撮像系の制御を行う。１１４は操作部であり、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。
【００２４】
なお、本実施形態の撮像装置におけるデジタル画像の撮像処理に関しては、通常のデジタルカメラにおける撮像と何ら変わるところが無いため、ここでは説明を省略する。
【００２５】
●分光特性推定処理
本実施形態の撮像装置においては、撮像センサ１０５のＲＧＢ画素により３バンドのデジタル画像を獲得するが、同時にＲＧＢ画素とＧＢ、ＯＧの追加バンド画素を利用して、撮像センサ１０５への入射光における分光特性を推定することを特徴とする。
【００２６】
図４は、図３に示した構成において、特に分光特性の推定に関連した部分を抜き出し、それらの関係を示した図である。同図において、撮像部１０１、Ａ／Ｄ変換部１０６、分光解析部１０７、ＲＯＭ１１１、ＲＡＭ１１２については、上記図３と同じ番号で示してある。ＲＯＭ１１１内において、１１５は推定行列保持部であり、Ｒ，Ｇ，ＢおよびＢＧ，ＯＧの５バンドの画像データを分光特性に変換するために予め作成された推定行列を保持している。ＲＡＭ１１２内において、１１６は、撮像センサ１０５のＲＧＢ画素で検出されたＲＧＢ画素値を記憶するＲＧＢ画素値記憶部である。１１７は、撮像センサ１０５のＲＢ，ＯＧの各追加バンド画素で検出された追加バンド画素値を記憶する追加バンド画素値記憶部である。１１８は、本実施形態で推定された分光特性データを記憶する分光画像データ記憶部である。
【００２７】
本実施形態においては、撮像センサ１０５に追加バンド画素は非常にまばらにしか存在しないため、以下のような処理によって、分光特性を推定する。まず、分光推定を行う処理単位として、少なくとも１つのＢＧ画素と１つのＯＧ画素を含む領域に着目する。例えば図１においては、これら追加バンド画素を１つずつ含む領域６が、該処理単位領域に相当する。そして、この処理単位領域内で読み取られたＲＧＢ、ＢＧ、ＯＧの各バンドの平均値のそれぞれを、当該領域におけるＲＧＢ画素値、および追加バンド画素値として、上記ＲＧＢ画素値記憶部１１６および追加バンド画素値記憶部１１７に記憶する。
【００２８】
すると分光解析部１０７においては、以上のように記憶されたＲＧＢ画素値および追加バンド画素値に基づき、推定行列記憶部１１５に記憶された推定行列を用いて、当該処理単位領域における中央座標の画素に対する分光特性を推定する。このように、推定された分光特性を処理単位領域の中央座標にしたがって配置することにより、撮像されたＲＧＢデジタル画像に対応する分光特性画像が得られる。この分光特性画像は、分光画像データ記憶部１１８に記憶される。
【００２９】
なお、分光解析部１０７における分光特性推定方法としては既知の手法が適用可能であり、例えばウィーナー推定法を用いることができる。この場合、推定行列は、入力バンド数である５次元を、分光データの次元数、例えば380nmから730nmのスペクトル情報を10nmごとに記録する３６次元に変換する。これにより、３６次元データからなる分光特性画像が得られる。
【００３０】
以上説明したように本実施形態によれば、撮像センサ上にＲＧバンド間およびＢＧバンド間波長に感度ピークを有する追加バンド画素を配置し、これらの画素値とＲＧＢの各画素値に基づき、撮像センサ入射光の分光特性を推定することができる。したがって、人間の肌と同色に見える肌色の塗料等、ＲＧＢデジタルデータのみでは分別できない画像を、分光特性に基づいて適切に分別することが可能となり、後段の画像処理部１０８において適切な画像処理を施すことができる。さらに、被写体の光源情報も分光特性に基いて取得できるため、撮像画像に対して高度なホワイトバランス処理を行うことも可能となる。
【００３１】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態の撮像装置における撮像センサを含む構成は、上述した第１実施形態の図１〜図３と同様であるため説明を省略するが、分光解析部１０７における処理が第１実施形態とは異なる。第２実施形態においては、分光解析部１０７で分光特性を解析し、該解析結果にしたがって、撮像レンズ１０２の色収差による画像劣化を除去することを特徴とする。
【００３２】
●基本的な色収差補正方法
ここで図６を用いて、第２実施形態における基本的な色収差補正方法としての、第１の色収差補正処理について説明する。
【００３３】
一般に、Ｇバンドにおける基本波長530nmで色ずれが発生しない、すなわち色ずれ量を０としたとき、Ｂバンドの波長460nm及びＲバンドの波長620nmでは色ずれが発生する。例えば図６に、画面中心を(0,0)とした場合の点Ｐ(x,y)における、Ｇバンドに対するＢバンドの波長の色ずれ距離Ｓを示す。すなわち、撮像レンズ１０２を透過する画像に対し、このＳに相当するずれ量だけ、Ｂバンドの画像を拡大（もしくは縮小）してＧバンドに重ねることにより、両者の間の色収差によるずれが補正される。なお、ＲバンドとＧバンドの間についても同様のずれ補正がなされる。
【００３４】
しかしながら、光源の色温度により、最適なずらし量は変化することが知られている。例えば高色温度の光源では、標準色温度の光源と比較して分光特性が短波長側にシフトするため、色ずれ量は青側で増加し、赤側で減少する。逆に、低色温度光源では分光特性が長波長側にシフトするため、色ずれ量は青側で減少し、赤側で増加する。このように、色ずれ量は光源の色温度により変化する。
【００３５】
第２実施形態ではこのような色温度による色ずれ量の変化に対応するために、図６に示すように、色ずれ距離Ｓに対して光源色温度に応じた色温度補正係数ｋを乗じることによって、光源の色温度を加味した色収差補正量ｋＳを得る。ここで色温度補正係数ｋは、光源の色温度ごとに予め求めておいた係数であり、例えばカラーフィルタの分光特性と光源の分光特性とから容易に算出することが可能である。
【００３６】
ここで、撮像素子の水平画素ピッチをpＨ、垂直画素ピッチをpＶとし、水平色ずれ画素数をdｘ、垂直色ずれ画素数をdｙとすると、任意の点Ｐでは以下の関係が成り立つ。なお、撮像素子の１画素未満である色ずれについては補正しないため、小数点以下については切り捨て等の丸め処理を行えば良い。
【００３７】
dｘ＝ｋＳcosθ／pＨ
dｙ＝ｋＳsinθ／pＶ
図６に示す例では、dｘ＝２及びdｙ＝２となるので、Ｂバンドについて垂直方向及び水平方向のいずれにおいても２画素分の補正を行うことにより、Ｇバンドに対する色収差が補正される。なお、色温度係数ｋは、像高又は光学特性（焦点距離及び合焦位置等）に応じて変化させても良い。
【００３８】
以上が、第２実施形態における第１の色収差補正処理である。なお、第２実施形態における第１の色収差補正方法は図６に示す第１の色収差補正処理に限らず、撮像レンズの特性に基づいて実空間上で画像を回復するフィルタを生成し、これを用いて画像を回復する手法を用いても良い。この場合の撮像レンズの特性としては、Point Spread Function（PSF）、またはOptical Transfer Function（OTF）、等が考えられる。
【００３９】
●色収差補正処理
以下、第２実施形態における色収差補正の全体処理について、図５のフローチャートを用いて詳細に説明する。第２実施形態では画像処理部１０８において、分光解析部１０７で解析された分光特性にしたがって、撮像レンズ１０２の色収差による画像劣化を除去する色収差補正の強度を変更する。
【００４０】
まず分光解析部１０７において、Ｓ２０１〜Ｓ２０３の処理を行う。Ｓ２０１では、所定の処理対象領域について、ＲＧＢ画素と、ＧＢ，ＯＧ画素の全画素値を画像Ｉとして取得する。そしてＳ２０２で、画像ＩにおけるＲＧＢ全画素値の平均値に基づき、ＲＧＢ画素置とＧＢ、ＯＧ画素値の比較を行うための閾値を設定する。例えば、該算出したＲＧＢ全画素値の平均値をそのまま閾値とすれば良い。
【００４１】
そしてＳ２０３で、画像ＩにおけるＧＢ画素値の平均とＯＧ画素値の平均を、それぞれ所定の閾値と比較する。それらのいずれもが閾値よりも小さい場合には、画像ＩにおいてＧＢ，ＯＧの追加バンドには輝度ピークが存在しないと判断し、Ｓ２０４に進む。Ｓ２０４では画像処理部１０８において、画像Ｉに対して上記図６で説明した第１の色収差補正方法による収差補正を行い、Ｓ２０６に進む。なお、分光解析部１０７におけるＳ２０３の比較結果は、例えばＲＡＭ１１２内の色収差補正／非補正を示す所定のフラグにセットして画像処理部１０８から参照可能なようにしておけば良い。
【００４２】
一方、Ｓ２０３において、画像ＩにおけるＧＢ画素の平均とＯＧ画素の平均値の少なくともいずれかが閾値以上である場合には、画像Ｉにおいて該閾値以上であるＧＢ，ＯＧの追加バンドに輝度ピークが存在すると判断し、Ｓ２０５に進む。Ｓ２０５では画像処理部１０８において画像Ｉに対し、Ｓ２０４の第１の色収差補正方法とは異なる、第２の色収差補正方法による収差補正処理（第２の色収差補正処理）を行う。これは、たとえ色温度の等しい光源であっても、撮像センサ１０５に入射する光線の分光特性が輝線を含んでいる、すなわち追加バンド内に離散的な輝度ピークが存在している場合には、第１の色収差補正方法では十分な補正が行えないためである。
【００４３】
Ｓ２０５ではすなわち、Ｓ２０３での比較結果に応じて、ＢＧ画素が閾値以上であればＢバンドについては収差補正を行わず（収差補正の無効化）、それ以外のバンド（Ｒ）の収差補正を行う。同様に、ＯＧ画素が閾値以上であればＲバンドについては収差補正を行わず、それ以外のバンド（Ｂ）の収差補正を行う。なお、ＢＧ，ＯＧ画素が両者共に閾値以上であれば、Ｂ，Ｒバンドのいずれについても収差補正を行わない。このＳ２０５における色収差補正処理は、上記図６の説明で用いた色温度補正係数ｋ＝０とするのと同等である。なお、この色温度補正係数ｋを必ずしも０とせず、１よりも小さい値に設定して、対応するバンドの補正量を抑制しても良い。
【００４４】
そしてＳ２０６において、画像処理部１０８は処理済みの画像ＩをメディアＩ／Ｆ１０９に送り、処理を終了する。
【００４５】
●色収差補正結果
ここで、第２実施形態における輝線を含む光源に対する処理結果を図７に示し、説明する。図７(a)は光源の分光特性を示しており、具体的には普通型蛍光灯（電灯光）の実測値である。この分光特性においては、図中丸で囲んで示すように、ＧバンドとＲバンドの中間波長に、輝線による大きなピークを持っていることが特徴的であり、このピーク位置は、図２に示すＯＧ画素の分光感度特性５０のピーク位置に相当している。このピーク部は単一色に近いため、撮像レンズ１０２では色収差は発生しない。したがって、該ピーク部に対応するＧバンドとＲバンド間での色収差補正は不要である。第２実施形態ではこのピーク部がＯＧバンドとして検出されるため、上記Ｓ２０５において、Ｒバンドの収差補正が無効化される。
【００４６】
図７(b)〜(d)は、白地に黒の細線をもつチャートの撮影画像およびその色収差補正結果を示しており、各図とも、縦方向をレンズの放射方向に、横方向を同心方向に、それぞれ一致させてある。
【００４７】
図７(b)は補正を行わない場合、すなわち補正前の撮影画像例であり、撮像レンズ１０２の色収差により、赤の色にじみ７０１と、緑の色にじみ７０２が生じた様子を示している。図７(c)は、図７(b)の画像に対し、上記Ｓ２０５による第２の色収差補正処理でなく、上記Ｓ２０４における第１の色収差補正処理（この場合、一般的なＤ６５光源データに基づく色収差補正）を行った結果である。図７(c)においては、Ｒバンドの補正量が不適切であることから、緑の色にじみ７０３と赤の色にじみ７０４が生じてしまい、図７(b)の画像に対して色にじみの方向が逆転した様子を示している。
【００４８】
図７(d)は、図７(b)の画像に対し、上記Ｓ２０５の第２の色収差補正処理を行った結果であり、この場合Ｒバンドの色収差補正が無効になっているため、色を伴ったにじみが生じていない様子を示している。
【００４９】
次に、第２実施形態における輝線を含まない光源に対する処理結果を図８に示し、説明する。図８(a)は光源の分光特性を示しており、具体的にはＤ６５光源の実測値であり、輝線が含まれていない。
【００５０】
図８(b)〜(d)は、黒地に白の矩形部をもつチャートの撮影画像およびその色収差補正結果を示しており、各図とも図７と同様に、縦方向がレンズの放射方向、横方向が同心方向を示す。
【００５１】
図８(b)は補正を行わない場合、すなわち補正前の撮影画像例であり、撮像レンズ１０２の色収差により、緑の色にじみ８０１と、赤の色にじみ８０２が生じた様子を示している。図８(c)は、図８(b)の画像に対し、上記Ｓ２０４による第１の色収差補正処理（Ｄ６５光源データに基づく色収差補正）を行った結果であり、色を伴ったにじみが生じていない様子を示している。
【００５２】
なお、図８(d)は、この輝線を含まない光源による図８(b)の画像に対し、仮に上記図７(d)と同様に、Ｓ２０５の第２の色収差補正処理によってＲバンドの色収差補正を無効とした場合の色収差補正結果を示す。図８(d)によれば、図８(b)に対して多少は改善されるものの、依然として緑の色にじみ８０３と、赤の色にじみ８０４が生じている様子が示されている。
【００５３】
以上、図７および図８の例からも分かるように、第２実施形態では光源が輝線を含んでいるか否かに応じて、色収差補正処理の強度を切り替えることによって、いずれの光源に対しても色にじみを抑えた適切な補正結果を得ることが可能となる。
【００５４】
以上説明したように第２実施形態によれば、撮影画像の分光特性に基づいて、撮像レンズ１０２の色収差を適切に補正することができる。
【００５５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素、が配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像手段と、
前記撮像手段で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得手段と、
前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析手段と、
前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理手段、を有し、
前記撮像センサにおいて、前記追加バンド画素の画素数は、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少ないことを特徴とする撮像装置。
【請求項２】
前記追加バンド画素の画素数は、前記撮像センサにおける総画素数の0.1%以下であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記追加バンド画素は、ベイヤー配列をなす前記基準バンド画素における前記Ｇバンド画素の位置に配置されることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記分光解析手段は、前記追加バンド画素値を前記基準バンド画素値と比較した結果を前記特徴量として取得し、
前記画像処理手段は、前記撮像手段で用いられる撮像レンズによる色収差補正の強度を前記特徴量に応じて変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記分光解析手段は、前記追加バンド画素値を前記基準バンド画素値に応じて設定した閾値と比較した結果を前記特徴量として取得し、
前記画像処理手段は、前記特徴量が、前記追加バンド画素値が前記閾値よりも小さいことを示す場合には第１の色収差補正処理を行い、前記追加バンド画素値が前記閾値以上であることを示す場合には、前記第１の色収差補正処理において、前記追加バンド画素に対応するとして予め定められたＲＧＢのいずれかのバンドについての色収差補正処理を無効とする第２の色収差補正処理を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記追加バンド画素は、ＲバンドとＧバンドの間に分光感度ピーク波長を有する第１の追加バンド画素と、ＢバンドとＧバンドの間に分光感度ピーク波長を有する第２の追加バンド画素と、の少なくとも一方からなり、
前記第２の色収差補正処理においては、前記第１の追加バンド画素に対する追加バンド画素値が前記閾値以上である場合には前記第１の色収差補正処理においてＲバンドに対する色収差補正を無効とし、前記第２の追加バンド画素に対する追加バンド画素値が前記閾値以上である場合には前記第１の色収差補正においてＢバンドに対する色収差補正を無効とすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記分光解析手段は、予め作成された推定行列に対し、前記基準バンド画素値と前記追加バンド画素値を入力することで推定される分光特性を、前記特徴量として取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項８】
前記追加バンド画素は、ＲバンドとＧバンドの間に分光感度ピーク波長を有する第１の追加バンド画素と、ＢバンドとＧバンドの間に分光感度ピーク波長を有する第２の追加バンド画素と、の少なくとも一方からなることを特徴とする請求項１乃至５のいずれか１項または請求項７に記載の撮像装置。
【請求項９】
ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素とが、該追加バンド画素の画素数が、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少なくなるように配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像装置における画像処理方法であって、
該撮像装置で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得ステップと、
前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析ステップと、
前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
撮像装置が備えるコンピュータに、請求項９に記載の画像処理方法の各ステップを実行させるためのプログラム。
【請求項１】
ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素、が配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像手段と、
前記撮像手段で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得手段と、
前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析手段と、
前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理手段、を有し、
前記撮像センサにおいて、前記追加バンド画素の画素数は、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少ないことを特徴とする撮像装置。
【請求項２】
前記追加バンド画素の画素数は、前記撮像センサにおける総画素数の0.1%以下であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記追加バンド画素は、ベイヤー配列をなす前記基準バンド画素における前記Ｇバンド画素の位置に配置されることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記分光解析手段は、前記追加バンド画素値を前記基準バンド画素値と比較した結果を前記特徴量として取得し、
前記画像処理手段は、前記撮像手段で用いられる撮像レンズによる色収差補正の強度を前記特徴量に応じて変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記分光解析手段は、前記追加バンド画素値を前記基準バンド画素値に応じて設定した閾値と比較した結果を前記特徴量として取得し、
前記画像処理手段は、前記特徴量が、前記追加バンド画素値が前記閾値よりも小さいことを示す場合には第１の色収差補正処理を行い、前記追加バンド画素値が前記閾値以上であることを示す場合には、前記第１の色収差補正処理において、前記追加バンド画素に対応するとして予め定められたＲＧＢのいずれかのバンドについての色収差補正処理を無効とする第２の色収差補正処理を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記追加バンド画素は、ＲバンドとＧバンドの間に分光感度ピーク波長を有する第１の追加バンド画素と、ＢバンドとＧバンドの間に分光感度ピーク波長を有する第２の追加バンド画素と、の少なくとも一方からなり、
前記第２の色収差補正処理においては、前記第１の追加バンド画素に対する追加バンド画素値が前記閾値以上である場合には前記第１の色収差補正処理においてＲバンドに対する色収差補正を無効とし、前記第２の追加バンド画素に対する追加バンド画素値が前記閾値以上である場合には前記第１の色収差補正においてＢバンドに対する色収差補正を無効とすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記分光解析手段は、予め作成された推定行列に対し、前記基準バンド画素値と前記追加バンド画素値を入力することで推定される分光特性を、前記特徴量として取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項８】
前記追加バンド画素は、ＲバンドとＧバンドの間に分光感度ピーク波長を有する第１の追加バンド画素と、ＢバンドとＧバンドの間に分光感度ピーク波長を有する第２の追加バンド画素と、の少なくとも一方からなることを特徴とする請求項１乃至５のいずれか１項または請求項７に記載の撮像装置。
【請求項９】
ＲＧＢの各バンド内にそれぞれ分光感度ピーク波長を有するＲバンド画素、Ｇバンド画素、Ｂバンド画素からなる基準バンド画素と、ＲＧＢの各バンドにおいて隣り合う２つのバンドの分光感度ピーク波長間に分光感度ピーク波長を有する追加バンド画素とが、該追加バンド画素の画素数が、前記Ｒバンド画素、前記Ｇバンド画素、前記Ｂバンド画素のいずれの画素数よりも少なくなるように配置された撮像センサを有し、被写体からの入射光を該撮像センサで受光することによって被写体像を撮影する撮像装置における画像処理方法であって、
該撮像装置で撮影した被写体像における、前記撮像センサの前記基準バンド画素で検出された基準バンド画素値と前記追加バンド画素で検出された追加バンド画素値とを取得する取得ステップと、
前記基準バンド画素値と前記追加バンド画素値とを解析することによって、前記入射光の分光特性における特徴量を取得する分光解析ステップと、
前記被写体像に対し前記特徴量に応じた画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
撮像装置が備えるコンピュータに、請求項９に記載の画像処理方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１０９６２０（Ｐ２０１１−１０９６２０Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６５５３３（Ｐ２００９−２６５５３３）
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]