画像信号処理装置及びプログラム
【課題】透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、カラー画像の色再現性を向上させる。
【解決手段】撮像装置１２が、Ｗフィルタ、Ｒ＋ＩＲフィルタ、Ｙｅ＋ＩＲフィルタ、及びＩＲフィルタがベイヤ配列されたカラーフィルタ１２ａを透過した光に応じた画像信号を出力する。色情報生成部２０で、各画素のＷ値、Ｒ＋ＩＲ値、Ｙｅ＋ＩＲ値、及びＩＲ値を算出し、各値を組み合わせて減算することにより、Ｒ値、Ｇ値、Ｂ値を生成する。色情報補間部２２で、注目画素の色情報に負の値を含むか否かを判定し、負の値を含む場合には、負の値を含まない周辺画素の色情報を用いて、注目画素の色情報を補間する。
【解決手段】撮像装置１２が、Ｗフィルタ、Ｒ＋ＩＲフィルタ、Ｙｅ＋ＩＲフィルタ、及びＩＲフィルタがベイヤ配列されたカラーフィルタ１２ａを透過した光に応じた画像信号を出力する。色情報生成部２０で、各画素のＷ値、Ｒ＋ＩＲ値、Ｙｅ＋ＩＲ値、及びＩＲ値を算出し、各値を組み合わせて減算することにより、Ｒ値、Ｇ値、Ｂ値を生成する。色情報補間部２２で、注目画素の色情報に負の値を含むか否かを判定し、負の値を含む場合には、負の値を含まない周辺画素の色情報を用いて、注目画素の色情報を補間する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置及びプログラムに係り、特に、撮像装置においてカラーフィルタを介して取得された画像信号を処理する画像信号処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、可視光成分及び赤外光成分を透過する全透過型（Ｗ）フィルタと、黄色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光成分を透過する赤外光透過型（ＩＲ）ロングパスフィルタとによって構成されるカラーフィルタを介する撮像素子の受光信号の処理を行う画像信号処理装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の画像信号処理装置では、（Ｗ）フィルタを介した受光量から（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより青色の色情報（Ｂ）を算出し、（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量から（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより緑色の色情報（Ｇ）を算出し、（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量から（ＩＲ）ロングパスフィルタを介した受光量を減算することにより赤色の色情報（Ｒ）を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８８６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された装置のように、青色から近赤外までの広範囲の波長の光を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した受光量に色収差を原因とする空間的なずれが生じる。通常のＲＧＢフィルタをベイヤ配列したカラーフィルタを備えた撮像装置であれば、上記のような空間的なずれは色情報のにじみを発生させるだけである。しかし、特許文献１に記載された画像信号処理装置のように、各受光量を適宜組み合わせて減算することにより色情報を生成する場合には、ある画素が負の色情報を持つという現象が生じ、正しい色情報を生成することができない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、カラー画像の色再現性を向上させることができる画像信号処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために第１の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、を含んで構成されている。
【０００７】
第１の発明の画像信号処理装置によれば、撮像手段は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子がカラーフィルタのフィルタ各々に対応するように配列された撮像部、及びカラーフィルタを透過した光を撮像素子に結像させる光学系を備えている。撮像手段は、撮像素子での受光量に応じた信号を出力する。そして、生成手段が、撮像手段から出力された注目画素の信号、及び注目画素の周辺の複数の周辺画素の信号各々を用いて、注目画素についてフィルタの種類毎の値各々を求め、値各々をフィルタの種類に応じて定めた組み合わせで減算することにより、注目画素について組み合わせ毎に異なる複数色の色情報を生成する。
【０００８】
生成手段では、減算により色情報を生成するため、生成された色情報は負の値を含んでいる場合がある。このような色情報の画素を用いてカラー画像を生成すると、色再現性が低下する。そこで、補間手段が、生成手段により生成された注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、注目画素の色情報を補間する。
【０００９】
このように、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。
【００１０】
また、第１の発明において、前記カラーフィルタの前記複数種類のフィルタを、可視光領域の一部の波長帯の光及び赤外光領域の波長帯の光を透過する複数種類の可視光透過型ロングパスフィルタ、または可視光領域の全域の波長帯の光及び赤外光領域の波長帯の光を透過する全透過型フィルタと、赤外光領域の波長の光を透過する赤外光透過型ロングパスフィルタとすることができる。
【００１１】
また、前記複数種類の可視光透過型ロングパスフィルタを、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第１可視光透過型ロングパスフィルタと、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第２可視光透過型ロングパスフィルとし、前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとすることができる。
【００１２】
また、前記生成手段は、前記赤外透過型ロングパスフィルタに対応する画素の信号を用いて、前記可視光透過型ロングパスフィルタまたは前記全透過型フィルタに対応する画素の信号から赤外成分を除去することができる。
【００１３】
また、前記補間手段は、前記色情報が正の周辺画素のうち、前記注目画素の最近傍の周辺画素の色情報で補間するか、または前記注目画素から所定範囲内に存在し、前記色情報が正の周辺画素の色情報、もしくは前記注目画素から前記色情報が正の周辺画素が所定個となるまで探索したときの該所定個の周辺画素の色情報の平均、最大値、最小値、最頻値、もしくは前記注目画素と前記周辺画素との距離に応じた重み付き平均で補間することができる。
【００１４】
また、第２の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、を含んで構成されている。
【００１５】
また、第３の発明の画像信号処理プログラムは、コンピュータを、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の画像信号処理装置及びプログラムによれば、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る画像信号処理装置の概略構成を示すブロック図である。
【図２】カラーフィルタの構成を示すイメージ図である。
【図３】カラーフィルタを構成する各フィルタの分光感度を示す図である。
【図４】各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値の算出を説明するための図である。
【図５】分光感度グラフにおける色情報を視覚的に表した図である。
【図６】色情報生成部で生成された色情報の解析結果の一例を示す図である。
【図７】本実施の形態に係る画像信号処理装置における画像信号処理ルーチンの内容を示すフローチャートである。
【図８】補間前の色情報を３×３の９画素分抜き出した図である。
【図９】補間前の色情報を用いた画像の一例を示すイメージ図である。
【図１０】参考例として、図８の画素に対して色情報全体にぼかし関数を畳み込んだ場合の色情報を９画素分抜き出した図である。
【図１１】参考例として、色情報全体にぼかし関数を畳み込んだ場合の色情報を用いた画像の一例を示すイメージ図である。
【図１２】図８の画素に対して、本実施の形態の色情報補間部の補間処理を行った場合の色情報を９画素分抜き出した図である。
【図１３】本実施の形態の色情報補間部の補間処理を行った場合の色情報を用いた画像の一例を示すイメージ図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ撮像された車両前方画像を夜間においても視認性が良好な画像として提供するカラーナイトビューシステムに用いられる画像信号処理装置に本発明を適用した場合を例に説明する。
【００１９】
図１に示すように、本実施の形態に係る画像信号処理装置１０は、対象領域を撮像する撮像装置１２と、撮像装置１２から出力される画像信号を処理するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。
【００２０】
撮像装置１２は、車両前方の対象領域を撮像し、後述するカラーフィルタ１２ａ、画素を構成する撮像素子が配列され、画像信号を生成する撮像部１２ｂ、カラーフィルタ１２ａを透過した光を撮像部１２ｂに結像させるレンズ１２ｃ、撮像部１２ｂで生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
【００２１】
本実施の形態のように、夜間でも視認性良好な画像を得るシステムを提供するためには、可視光領域の波長帯の光を用いて撮像される画像（以下、カラー画像という）、及び近赤外域の波長帯の光を用いて撮像される画像（以下、近赤外画像という）が同時に取得される必要がある。そのため、本実施の形態では、撮像装置１２として、１台でカラー画像及び近赤外画像の双方を取得可能なマルチバンドカメラを用いる。
【００２２】
撮像装置１２の撮像素子の前面には、異なる波長帯の光を透過する複数種類のフィルタがベイヤ配列されたカラーフィルタ１２ａが設けられている。各フィルタは各々１つの撮像素子に対応する。図２に、カラーフィルタ１２ａの構成を示す。複数種類のフィルタとして、可視光領域及び赤外光領域の波長帯の光を透過する全透過型フィルタ（以下、「Ｗフィルタ」という）、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｙｅ＋ＩＲ）透過型ロングパスフィルタ（以下、「Ｙｅ＋ＩＲフィルタ」という）、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｒ＋ＩＲ）透過型ロングパスフィル（以下、「Ｒ＋ＩＲフィルタ」という）、及び主に赤外光領域の波長帯の光を透過する赤外光透過型ロングパスフィルタ（以下、「ＩＲフィルタ」という）が用いられている。図３に、各フィルタの分光感度特性を示す。
【００２３】
上記のＹｅ＋ＩＲフィルタ、Ｒ＋ＩＲフィルタ、及びＩＲフィルタのようなロングパスフィルタは、あるカットオフ波長より短い波長の光を遮断して、それより長い波長の光を透過する。従って、可視光領域透過型ロングパスフィルタ（カットオフ波長が可視光領域の波長であるロングパスフィルタ）及び赤外光透過型ロングパスフィルタでは、長波長領域である赤外光領域の波長帯の光は透過する。このため、赤外光の波長毎の透過特性はフィルタの種類によらず略一定であり、各フィルタを介して得られた画像信号の線形演算によって、赤外光成分を容易に除去することができる。この特性を利用して、後述の色情報生成部２０の処理を考慮して、ロングパスフィルタのカットオフ波長は、通常のカラーフィルタであるＲＧＢフィルタの各両端の波長とあわせた波長となっている。
【００２４】
コンピュータ１６は、画像信号処理装置１０全体の制御を司るＣＰＵ、後述する画像信号処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２５】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力された画像信号を用いて各画素の色情報を生成する色情報生成部２０と、負の色情報を補間する色情報補間部２２と、擬似カラー画像を生成する擬似カラー画像生成部２４とを含んだ構成で表すことができる。
【００２６】
色情報生成部２０は、撮像装置１２から出力された画像信号に基づいて、各画素について、Ｗフィルタを透過した光に基づく画像信号（以下、「Ｗ値」という）、Ｙｅ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｙｅ＋ＩＲ値」という）、Ｒ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｒ＋ＩＲ値」という）、及びＩＲフィルタを透過した光に基づく画像信号（以下、「ＩＲ値」という）を取得する。各フィルタは各撮像素子に対応しているため、１画素にはＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値のいずれかが対応している。その画素に対応していない他の値は、周辺画素の値を混合して取得する。例えば、図４に示すように、各画素の画像信号が得られている場合において、注目画素Ｐ０については、Ｒ＋ＩＲ値は注目画素自体の値を用い、Ｗ値は周辺画素Ｐ４及びＰ５の値を用いて算出し、Ｙｅ＋ＩＲ値は周辺画素Ｐ１、Ｐ３、Ｐ６及びＰ８の値を用いて算出し、ＩＲ値は周辺画素Ｐ２及びＰ７の値を用いて算出することができる。
【００２７】
また、色情報生成部２０は、算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、下記（１）式によりＲＧＢ色情報であるＲ値、Ｇ値及びＢ値に変換する。（１）式は、Ｒ値がＲ＋ＩＲ値とＩＲ値との差、Ｇ値がＹｅ＋ＩＲ値とＲ＋ＩＲ値との差、Ｂ値がＷ値とＹｅ＋ＩＲ値との差であることを表している。図５に、分光感度グラフにおける色情報を視覚的に表した図を示す。
【００２８】
【数１】
【００２９】
また、色情報生成部２０は、各画素のＩＲ値を抽出して、後述する擬似カラー画像生成部２４へ出力する。
【００３０】
ここで、本実施の形態の原理について説明する。
【００３１】
上述のように、本実施の形態の画像信号処理装置１０で、青色から近赤外までの広範囲の波長帯の光に基づく画像を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した画像信号Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値に色収差を原因とする空間的なずれが生じる。このため、（１）式のように、Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を適宜組み合わせて減算することにより、ＲＧＢ色情報を生成する場合には、色情報が負の値になってしまう場合がある。負の値を持つ色情報をそのままカラー画像に使用すると、偽色と呼ばれる実際に肉眼で見た色とは異なる色を表現し、視認性に悪影響を与えることとなる。
【００３２】
図６に、色情報生成部２０で生成された色情報の解析結果の一例を示す。色情報が負の値になる現象は、高輝度領域周辺で顕著に現れる。このような現象は、先行車両のテールランプの色や信号灯火の色に影響を及ぼすため、カラーナイトビューシステムにおいては、非常に重要である。
【００３３】
この現象の対応策として、生成された色情報全体に対してぼかし関数（例えば、ガウス関数等）を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間する方法が考えられる。しかしながら、この手法を適用した場合、正確に色情報が生成できていた画素の情報までも周囲と平滑化されてしまい、画像全体の色味が低下し、色の視認性が低くなってしまう。
【００３４】
そこで、本実施の形態では、色情報が負の値となる画素のみに対して、周辺画素の色情報を用いて色情報を補間する。以下、色情報補間部２２で行われる具体的な処理について説明する。
【００３５】
色情報補間部２２は、各画素を順次注目画素に設定し、注目画素について色情報生成部２０で生成された色情報が負の値を含むか否かを判定する。注目画素が負の値を含む場合には、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均（例えば、下記（２）式のガウス関数のような重み）により、注目画素の色情報を補間する。なお、補間方法は、重み付き平均に限定されず、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値等を用いてもよい。
【００３６】
【数２】
【００３７】
ここで、ｋは注目画素から周辺画素までの正規化された距離を示す。
【００３８】
擬似カラー画像生成部２４は、色情報補間部２２で補間された色情報を用いたカラー画像と、色情報生成部２０で抽出されたＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示する。カラー画像と近赤外画像との合成方法は、例えば、ＩＲ値が所定値以上の領域は近赤外画像を用い、ＩＲ値が所定値未満の場合にはカラー画像を用いる等の周知の手法を適用することができる。
【００３９】
次に、本実施の形態の画像信号処理装置１０の作用について説明する。撮像装置１２によって、自車両の前方が連続して撮像されているときに、コンピュータ１６において、図７に示す画像信号処理ルーチンが実行される。
【００４０】
ステップ１００で、撮像装置１２で撮像された画像信号を取得する。次に、ステップ１０２で、各画素及びその画素の周辺画素の画像信号を用いて、画素毎のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を算出する。
【００４１】
次に、ステップ１０４で、上記ステップ１０２で算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、所定の組み合わせで減算して、ＲＧＢ色情報であるＲ値、Ｇ値及びＢ値を生成する。例えば、（１）式によりにＹｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値をＲ値、Ｇ値及びＢ値に変換する。
【００４２】
次に、ステップ１０６で、全画素の中から１つの画素を選択して注目画素に設定し、次に、ステップ１０８で、注目画素の色情報が負の値を含むか否かを判定する。色情報が負の値を含む場合には、ステップ１１０へ移行し、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均等により、注目画素の色情報を補間して、ステップ１１２へ移行する。一方、注目画素の色情報が負の値を含まないと判定された場合には、ステップ１１０をスキップして、ステップ１１２へ移行する。
【００４３】
ステップ１１２では、全画素について注目画素に設定されたか否かを判定する。未処理の画素が存在する場合には、ステップ１０６へ戻り、次の注目画素を設定して処理を繰り返す。全ての画素について処理が終了すると、ステップ１１４へ移行し、色情報が補間された、すなわち色情報に負の値を含まない各画素の色情報を用いたカラー画像と、上記ステップ１０２で算出された各画素のＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示して、処理を終了する。
【００４４】
ここで、図８に、本実施の形態の画像信号処理装置１０で撮像した画像について、色情報生成部２０で生成された色情報のうち、ある３×３の９画素分の領域の色情報を抜き出した結果を示す。この色情報は、色情報補間部２２による補間前の値である。従って、前述したように、レンズ１２ｃの色収差により各撮像素子が受光する波長には空間的なずれが発生し、結果として負の値を持つ色情報が生成されている。図９に、この補間前の色情報を用いた画像（実際にはカラー画像）の一例を示す。色情報に負の値を持つ画素が存在していることにより、特に高輝度領域周辺で色情報が欠損している部分が確認できる。
【００４５】
次に、参考例として、生成された色情報全体に対してぼかし関数を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間した場合について説明する。図１０に、図８に示す９画素分の領域に対して、色情報全体にぼかし関数を畳み込んだ結果を示す。また、図１１に、図９と同じ場面において、色情報全体にぼかし関数を畳み込んだ画像（実際にはカラー画像）の一例を示す。色情報全体にぼかし関数を畳み込む手法では、色情報に負の値を含む画素の色情報を復元することが可能となるが、全体に対してぼかし関数を畳み込んでいるため、正しく色情報を生成していた画素の色情報が変わってしまう。また、色情報が欠損する領域は、高輝度領域周辺では特に広範囲に及ぶため、正しく色情報を生成していた画素の色情報を欠損させ、結果として、視認性の大幅な向上には至っていないことが確認できる。
【００４６】
次に、図１２に、図８に示す９画素分の領域に対して、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った結果を示す。また、図１３に、図９と同じ場面において、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った色情報を用いた画像（実際にはカラー画像）の一例を示す。図９及び図１１と図１３とを比較すると、高輝度領域周辺において、明らかに図１３に示す画像の視認性が向上していることが確認できる。また、もともと正しい色情報を生成していた画素に対しては補間処理を行わないため、画像全体の色味を低下させることなく、欠損画素の色情報を補間して、画像全体の色再現性を向上することを可能にした。
【００４７】
以上説明したように、本実施の形態の画像信号処理装置によれば、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタを介して撮像装置により得られた画像信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。
【００４８】
なお、上記実施の形態では、本発明をカラーナイトビューシステムに適用した場合について説明したが、これに限定されない。従って、カラー画像と近赤外画像とを合成した擬似カラー画像を生成する場合に限らず、透過する光の波長帯が異なるフィルタを介して得られた画像信号を組み合わせて減算することにより色情報を生成する場合であれば、適用可能である。
【００４９】
また、撮像装置に用いられるカラーフィルタの構成も、上記実施の形態の構成に限定されない。フィルタを介して得られる画像信号を組み合わせて減算することにより所望の色情報が得られるように、各々のフィルタのカットオフ波長が定められていればよい。
【００５０】
また、上記実施の形態では、色情報を補間する際に、注目画素から所定範囲に存在する周辺画素であって、色情報に負の値を含まない周辺画素の色情報を用いる場合について説明したが、補間の手法は、これに限定されない。例えば、色情報に負の値を含まない周辺画素であって、注目画素の最近傍の周辺画素の色情報をそのまま用いてもよい。また、注目画素の近傍から色情報に負の値を含まない周辺画素を探索し、徐々に探索範囲を広げ、ある一定の数だけ周辺画素が抽出されたところで探索を終了し、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値、重み付き平均等を用いて補間してもよい。
【００５１】
また、本実施の形態の画像信号処理装置の各部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。
【００５２】
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【００５３】
１０ 画像信号処理装置
１２ 撮像装置
１２ａ カラーフィルタ
１２ｂ 撮像部
１２ｃ レンズ
１６ コンピュータ
１８ 表示装置
２０ 色情報生成部
２２ 色情報補間部
２４ 擬似カラー画像生成部
【技術分野】
【０００１】
本発明は、画像信号処理装置及びプログラムに係り、特に、撮像装置においてカラーフィルタを介して取得された画像信号を処理する画像信号処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、可視光成分及び赤外光成分を透過する全透過型（Ｗ）フィルタと、黄色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光成分を透過する赤外光透過型（ＩＲ）ロングパスフィルタとによって構成されるカラーフィルタを介する撮像素子の受光信号の処理を行う画像信号処理装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の画像信号処理装置では、（Ｗ）フィルタを介した受光量から（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより青色の色情報（Ｂ）を算出し、（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量から（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより緑色の色情報（Ｇ）を算出し、（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量から（ＩＲ）ロングパスフィルタを介した受光量を減算することにより赤色の色情報（Ｒ）を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８８６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された装置のように、青色から近赤外までの広範囲の波長の光を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した受光量に色収差を原因とする空間的なずれが生じる。通常のＲＧＢフィルタをベイヤ配列したカラーフィルタを備えた撮像装置であれば、上記のような空間的なずれは色情報のにじみを発生させるだけである。しかし、特許文献１に記載された画像信号処理装置のように、各受光量を適宜組み合わせて減算することにより色情報を生成する場合には、ある画素が負の色情報を持つという現象が生じ、正しい色情報を生成することができない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、カラー画像の色再現性を向上させることができる画像信号処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために第１の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、を含んで構成されている。
【０００７】
第１の発明の画像信号処理装置によれば、撮像手段は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子がカラーフィルタのフィルタ各々に対応するように配列された撮像部、及びカラーフィルタを透過した光を撮像素子に結像させる光学系を備えている。撮像手段は、撮像素子での受光量に応じた信号を出力する。そして、生成手段が、撮像手段から出力された注目画素の信号、及び注目画素の周辺の複数の周辺画素の信号各々を用いて、注目画素についてフィルタの種類毎の値各々を求め、値各々をフィルタの種類に応じて定めた組み合わせで減算することにより、注目画素について組み合わせ毎に異なる複数色の色情報を生成する。
【０００８】
生成手段では、減算により色情報を生成するため、生成された色情報は負の値を含んでいる場合がある。このような色情報の画素を用いてカラー画像を生成すると、色再現性が低下する。そこで、補間手段が、生成手段により生成された注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、注目画素の色情報を補間する。
【０００９】
このように、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。
【００１０】
また、第１の発明において、前記カラーフィルタの前記複数種類のフィルタを、可視光領域の一部の波長帯の光及び赤外光領域の波長帯の光を透過する複数種類の可視光透過型ロングパスフィルタ、または可視光領域の全域の波長帯の光及び赤外光領域の波長帯の光を透過する全透過型フィルタと、赤外光領域の波長の光を透過する赤外光透過型ロングパスフィルタとすることができる。
【００１１】
また、前記複数種類の可視光透過型ロングパスフィルタを、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第１可視光透過型ロングパスフィルタと、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第２可視光透過型ロングパスフィルとし、前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとすることができる。
【００１２】
また、前記生成手段は、前記赤外透過型ロングパスフィルタに対応する画素の信号を用いて、前記可視光透過型ロングパスフィルタまたは前記全透過型フィルタに対応する画素の信号から赤外成分を除去することができる。
【００１３】
また、前記補間手段は、前記色情報が正の周辺画素のうち、前記注目画素の最近傍の周辺画素の色情報で補間するか、または前記注目画素から所定範囲内に存在し、前記色情報が正の周辺画素の色情報、もしくは前記注目画素から前記色情報が正の周辺画素が所定個となるまで探索したときの該所定個の周辺画素の色情報の平均、最大値、最小値、最頻値、もしくは前記注目画素と前記周辺画素との距離に応じた重み付き平均で補間することができる。
【００１４】
また、第２の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、を含んで構成されている。
【００１５】
また、第３の発明の画像信号処理プログラムは、コンピュータを、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の画像信号処理装置及びプログラムによれば、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る画像信号処理装置の概略構成を示すブロック図である。
【図２】カラーフィルタの構成を示すイメージ図である。
【図３】カラーフィルタを構成する各フィルタの分光感度を示す図である。
【図４】各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値の算出を説明するための図である。
【図５】分光感度グラフにおける色情報を視覚的に表した図である。
【図６】色情報生成部で生成された色情報の解析結果の一例を示す図である。
【図７】本実施の形態に係る画像信号処理装置における画像信号処理ルーチンの内容を示すフローチャートである。
【図８】補間前の色情報を３×３の９画素分抜き出した図である。
【図９】補間前の色情報を用いた画像の一例を示すイメージ図である。
【図１０】参考例として、図８の画素に対して色情報全体にぼかし関数を畳み込んだ場合の色情報を９画素分抜き出した図である。
【図１１】参考例として、色情報全体にぼかし関数を畳み込んだ場合の色情報を用いた画像の一例を示すイメージ図である。
【図１２】図８の画素に対して、本実施の形態の色情報補間部の補間処理を行った場合の色情報を９画素分抜き出した図である。
【図１３】本実施の形態の色情報補間部の補間処理を行った場合の色情報を用いた画像の一例を示すイメージ図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ撮像された車両前方画像を夜間においても視認性が良好な画像として提供するカラーナイトビューシステムに用いられる画像信号処理装置に本発明を適用した場合を例に説明する。
【００１９】
図１に示すように、本実施の形態に係る画像信号処理装置１０は、対象領域を撮像する撮像装置１２と、撮像装置１２から出力される画像信号を処理するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。
【００２０】
撮像装置１２は、車両前方の対象領域を撮像し、後述するカラーフィルタ１２ａ、画素を構成する撮像素子が配列され、画像信号を生成する撮像部１２ｂ、カラーフィルタ１２ａを透過した光を撮像部１２ｂに結像させるレンズ１２ｃ、撮像部１２ｂで生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
【００２１】
本実施の形態のように、夜間でも視認性良好な画像を得るシステムを提供するためには、可視光領域の波長帯の光を用いて撮像される画像（以下、カラー画像という）、及び近赤外域の波長帯の光を用いて撮像される画像（以下、近赤外画像という）が同時に取得される必要がある。そのため、本実施の形態では、撮像装置１２として、１台でカラー画像及び近赤外画像の双方を取得可能なマルチバンドカメラを用いる。
【００２２】
撮像装置１２の撮像素子の前面には、異なる波長帯の光を透過する複数種類のフィルタがベイヤ配列されたカラーフィルタ１２ａが設けられている。各フィルタは各々１つの撮像素子に対応する。図２に、カラーフィルタ１２ａの構成を示す。複数種類のフィルタとして、可視光領域及び赤外光領域の波長帯の光を透過する全透過型フィルタ（以下、「Ｗフィルタ」という）、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｙｅ＋ＩＲ）透過型ロングパスフィルタ（以下、「Ｙｅ＋ＩＲフィルタ」という）、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｒ＋ＩＲ）透過型ロングパスフィル（以下、「Ｒ＋ＩＲフィルタ」という）、及び主に赤外光領域の波長帯の光を透過する赤外光透過型ロングパスフィルタ（以下、「ＩＲフィルタ」という）が用いられている。図３に、各フィルタの分光感度特性を示す。
【００２３】
上記のＹｅ＋ＩＲフィルタ、Ｒ＋ＩＲフィルタ、及びＩＲフィルタのようなロングパスフィルタは、あるカットオフ波長より短い波長の光を遮断して、それより長い波長の光を透過する。従って、可視光領域透過型ロングパスフィルタ（カットオフ波長が可視光領域の波長であるロングパスフィルタ）及び赤外光透過型ロングパスフィルタでは、長波長領域である赤外光領域の波長帯の光は透過する。このため、赤外光の波長毎の透過特性はフィルタの種類によらず略一定であり、各フィルタを介して得られた画像信号の線形演算によって、赤外光成分を容易に除去することができる。この特性を利用して、後述の色情報生成部２０の処理を考慮して、ロングパスフィルタのカットオフ波長は、通常のカラーフィルタであるＲＧＢフィルタの各両端の波長とあわせた波長となっている。
【００２４】
コンピュータ１６は、画像信号処理装置１０全体の制御を司るＣＰＵ、後述する画像信号処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２５】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力された画像信号を用いて各画素の色情報を生成する色情報生成部２０と、負の色情報を補間する色情報補間部２２と、擬似カラー画像を生成する擬似カラー画像生成部２４とを含んだ構成で表すことができる。
【００２６】
色情報生成部２０は、撮像装置１２から出力された画像信号に基づいて、各画素について、Ｗフィルタを透過した光に基づく画像信号（以下、「Ｗ値」という）、Ｙｅ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｙｅ＋ＩＲ値」という）、Ｒ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｒ＋ＩＲ値」という）、及びＩＲフィルタを透過した光に基づく画像信号（以下、「ＩＲ値」という）を取得する。各フィルタは各撮像素子に対応しているため、１画素にはＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値のいずれかが対応している。その画素に対応していない他の値は、周辺画素の値を混合して取得する。例えば、図４に示すように、各画素の画像信号が得られている場合において、注目画素Ｐ０については、Ｒ＋ＩＲ値は注目画素自体の値を用い、Ｗ値は周辺画素Ｐ４及びＰ５の値を用いて算出し、Ｙｅ＋ＩＲ値は周辺画素Ｐ１、Ｐ３、Ｐ６及びＰ８の値を用いて算出し、ＩＲ値は周辺画素Ｐ２及びＰ７の値を用いて算出することができる。
【００２７】
また、色情報生成部２０は、算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、下記（１）式によりＲＧＢ色情報であるＲ値、Ｇ値及びＢ値に変換する。（１）式は、Ｒ値がＲ＋ＩＲ値とＩＲ値との差、Ｇ値がＹｅ＋ＩＲ値とＲ＋ＩＲ値との差、Ｂ値がＷ値とＹｅ＋ＩＲ値との差であることを表している。図５に、分光感度グラフにおける色情報を視覚的に表した図を示す。
【００２８】
【数１】
【００２９】
また、色情報生成部２０は、各画素のＩＲ値を抽出して、後述する擬似カラー画像生成部２４へ出力する。
【００３０】
ここで、本実施の形態の原理について説明する。
【００３１】
上述のように、本実施の形態の画像信号処理装置１０で、青色から近赤外までの広範囲の波長帯の光に基づく画像を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した画像信号Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値に色収差を原因とする空間的なずれが生じる。このため、（１）式のように、Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を適宜組み合わせて減算することにより、ＲＧＢ色情報を生成する場合には、色情報が負の値になってしまう場合がある。負の値を持つ色情報をそのままカラー画像に使用すると、偽色と呼ばれる実際に肉眼で見た色とは異なる色を表現し、視認性に悪影響を与えることとなる。
【００３２】
図６に、色情報生成部２０で生成された色情報の解析結果の一例を示す。色情報が負の値になる現象は、高輝度領域周辺で顕著に現れる。このような現象は、先行車両のテールランプの色や信号灯火の色に影響を及ぼすため、カラーナイトビューシステムにおいては、非常に重要である。
【００３３】
この現象の対応策として、生成された色情報全体に対してぼかし関数（例えば、ガウス関数等）を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間する方法が考えられる。しかしながら、この手法を適用した場合、正確に色情報が生成できていた画素の情報までも周囲と平滑化されてしまい、画像全体の色味が低下し、色の視認性が低くなってしまう。
【００３４】
そこで、本実施の形態では、色情報が負の値となる画素のみに対して、周辺画素の色情報を用いて色情報を補間する。以下、色情報補間部２２で行われる具体的な処理について説明する。
【００３５】
色情報補間部２２は、各画素を順次注目画素に設定し、注目画素について色情報生成部２０で生成された色情報が負の値を含むか否かを判定する。注目画素が負の値を含む場合には、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均（例えば、下記（２）式のガウス関数のような重み）により、注目画素の色情報を補間する。なお、補間方法は、重み付き平均に限定されず、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値等を用いてもよい。
【００３６】
【数２】
【００３７】
ここで、ｋは注目画素から周辺画素までの正規化された距離を示す。
【００３８】
擬似カラー画像生成部２４は、色情報補間部２２で補間された色情報を用いたカラー画像と、色情報生成部２０で抽出されたＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示する。カラー画像と近赤外画像との合成方法は、例えば、ＩＲ値が所定値以上の領域は近赤外画像を用い、ＩＲ値が所定値未満の場合にはカラー画像を用いる等の周知の手法を適用することができる。
【００３９】
次に、本実施の形態の画像信号処理装置１０の作用について説明する。撮像装置１２によって、自車両の前方が連続して撮像されているときに、コンピュータ１６において、図７に示す画像信号処理ルーチンが実行される。
【００４０】
ステップ１００で、撮像装置１２で撮像された画像信号を取得する。次に、ステップ１０２で、各画素及びその画素の周辺画素の画像信号を用いて、画素毎のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を算出する。
【００４１】
次に、ステップ１０４で、上記ステップ１０２で算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、所定の組み合わせで減算して、ＲＧＢ色情報であるＲ値、Ｇ値及びＢ値を生成する。例えば、（１）式によりにＹｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値をＲ値、Ｇ値及びＢ値に変換する。
【００４２】
次に、ステップ１０６で、全画素の中から１つの画素を選択して注目画素に設定し、次に、ステップ１０８で、注目画素の色情報が負の値を含むか否かを判定する。色情報が負の値を含む場合には、ステップ１１０へ移行し、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均等により、注目画素の色情報を補間して、ステップ１１２へ移行する。一方、注目画素の色情報が負の値を含まないと判定された場合には、ステップ１１０をスキップして、ステップ１１２へ移行する。
【００４３】
ステップ１１２では、全画素について注目画素に設定されたか否かを判定する。未処理の画素が存在する場合には、ステップ１０６へ戻り、次の注目画素を設定して処理を繰り返す。全ての画素について処理が終了すると、ステップ１１４へ移行し、色情報が補間された、すなわち色情報に負の値を含まない各画素の色情報を用いたカラー画像と、上記ステップ１０２で算出された各画素のＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示して、処理を終了する。
【００４４】
ここで、図８に、本実施の形態の画像信号処理装置１０で撮像した画像について、色情報生成部２０で生成された色情報のうち、ある３×３の９画素分の領域の色情報を抜き出した結果を示す。この色情報は、色情報補間部２２による補間前の値である。従って、前述したように、レンズ１２ｃの色収差により各撮像素子が受光する波長には空間的なずれが発生し、結果として負の値を持つ色情報が生成されている。図９に、この補間前の色情報を用いた画像（実際にはカラー画像）の一例を示す。色情報に負の値を持つ画素が存在していることにより、特に高輝度領域周辺で色情報が欠損している部分が確認できる。
【００４５】
次に、参考例として、生成された色情報全体に対してぼかし関数を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間した場合について説明する。図１０に、図８に示す９画素分の領域に対して、色情報全体にぼかし関数を畳み込んだ結果を示す。また、図１１に、図９と同じ場面において、色情報全体にぼかし関数を畳み込んだ画像（実際にはカラー画像）の一例を示す。色情報全体にぼかし関数を畳み込む手法では、色情報に負の値を含む画素の色情報を復元することが可能となるが、全体に対してぼかし関数を畳み込んでいるため、正しく色情報を生成していた画素の色情報が変わってしまう。また、色情報が欠損する領域は、高輝度領域周辺では特に広範囲に及ぶため、正しく色情報を生成していた画素の色情報を欠損させ、結果として、視認性の大幅な向上には至っていないことが確認できる。
【００４６】
次に、図１２に、図８に示す９画素分の領域に対して、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った結果を示す。また、図１３に、図９と同じ場面において、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った色情報を用いた画像（実際にはカラー画像）の一例を示す。図９及び図１１と図１３とを比較すると、高輝度領域周辺において、明らかに図１３に示す画像の視認性が向上していることが確認できる。また、もともと正しい色情報を生成していた画素に対しては補間処理を行わないため、画像全体の色味を低下させることなく、欠損画素の色情報を補間して、画像全体の色再現性を向上することを可能にした。
【００４７】
以上説明したように、本実施の形態の画像信号処理装置によれば、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタを介して撮像装置により得られた画像信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。
【００４８】
なお、上記実施の形態では、本発明をカラーナイトビューシステムに適用した場合について説明したが、これに限定されない。従って、カラー画像と近赤外画像とを合成した擬似カラー画像を生成する場合に限らず、透過する光の波長帯が異なるフィルタを介して得られた画像信号を組み合わせて減算することにより色情報を生成する場合であれば、適用可能である。
【００４９】
また、撮像装置に用いられるカラーフィルタの構成も、上記実施の形態の構成に限定されない。フィルタを介して得られる画像信号を組み合わせて減算することにより所望の色情報が得られるように、各々のフィルタのカットオフ波長が定められていればよい。
【００５０】
また、上記実施の形態では、色情報を補間する際に、注目画素から所定範囲に存在する周辺画素であって、色情報に負の値を含まない周辺画素の色情報を用いる場合について説明したが、補間の手法は、これに限定されない。例えば、色情報に負の値を含まない周辺画素であって、注目画素の最近傍の周辺画素の色情報をそのまま用いてもよい。また、注目画素の近傍から色情報に負の値を含まない周辺画素を探索し、徐々に探索範囲を広げ、ある一定の数だけ周辺画素が抽出されたところで探索を終了し、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値、重み付き平均等を用いて補間してもよい。
【００５１】
また、本実施の形態の画像信号処理装置の各部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。
【００５２】
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【００５３】
１０ 画像信号処理装置
１２ 撮像装置
１２ａ カラーフィルタ
１２ｂ 撮像部
１２ｃ レンズ
１６ コンピュータ
１８ 表示装置
２０ 色情報生成部
２２ 色情報補間部
２４ 擬似カラー画像生成部
【特許請求の範囲】
【請求項１】
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、
を含む画像信号処理装置。
【請求項２】
前記カラーフィルタの前記複数種類のフィルタを、可視光領域の一部の波長帯の光及び赤外光領域の波長帯の光を透過する複数種類の可視光透過型ロングパスフィルタ、または可視光領域の全域の波長帯の光及び赤外光領域の波長帯の光を透過する全透過型フィルタと、赤外光領域の波長の光を透過する赤外光透過型ロングパスフィルタとした請求項１記載の画像信号処理装置。
【請求項３】
前記複数種類の可視光透過型ロングパスフィルタを、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第１可視光透過型ロングパスフィルタと、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第２可視光透過型ロングパスフィルとし、
前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとした請求項２記載の画像信号処理装置。
【請求項４】
前記生成手段は、前記赤外透過型ロングパスフィルタに対応する画素の信号を用いて、前記可視光透過型ロングパスフィルタまたは前記全透過型フィルタに対応する画素の信号から赤外成分を除去する請求項２または請求項３記載の画像信号処理装置。
【請求項５】
前記補間手段は、前記色情報が正の周辺画素のうち、前記注目画素の最近傍の周辺画素の色情報で補間するか、または前記注目画素から所定範囲内に存在し、前記色情報が正の周辺画素の色情報、もしくは前記注目画素から前記色情報が正の周辺画素が所定個となるまで探索したときの該所定個の周辺画素の色情報の平均、最大値、最小値、最頻値、もしくは前記注目画素と前記周辺画素との距離に応じた重み付き平均で補間する請求項１〜請求項４のいずれか１項記載の画像信号処理装置。
【請求項６】
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
を含む画像信号処理装置。
【請求項７】
コンピュータを、
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、
前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段
として機能させるための画像信号処理プログラム。
【請求項１】
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、
を含む画像信号処理装置。
【請求項２】
前記カラーフィルタの前記複数種類のフィルタを、可視光領域の一部の波長帯の光及び赤外光領域の波長帯の光を透過する複数種類の可視光透過型ロングパスフィルタ、または可視光領域の全域の波長帯の光及び赤外光領域の波長帯の光を透過する全透過型フィルタと、赤外光領域の波長の光を透過する赤外光透過型ロングパスフィルタとした請求項１記載の画像信号処理装置。
【請求項３】
前記複数種類の可視光透過型ロングパスフィルタを、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第１可視光透過型ロングパスフィルタと、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第２可視光透過型ロングパスフィルとし、
前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとした請求項２記載の画像信号処理装置。
【請求項４】
前記生成手段は、前記赤外透過型ロングパスフィルタに対応する画素の信号を用いて、前記可視光透過型ロングパスフィルタまたは前記全透過型フィルタに対応する画素の信号から赤外成分を除去する請求項２または請求項３記載の画像信号処理装置。
【請求項５】
前記補間手段は、前記色情報が正の周辺画素のうち、前記注目画素の最近傍の周辺画素の色情報で補間するか、または前記注目画素から所定範囲内に存在し、前記色情報が正の周辺画素の色情報、もしくは前記注目画素から前記色情報が正の周辺画素が所定個となるまで探索したときの該所定個の周辺画素の色情報の平均、最大値、最小値、最頻値、もしくは前記注目画素と前記周辺画素との距離に応じた重み付き平均で補間する請求項１〜請求項４のいずれか１項記載の画像信号処理装置。
【請求項６】
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
を含む画像信号処理装置。
【請求項７】
コンピュータを、
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、
前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段
として機能させるための画像信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１０】
【図１２】
【図６】
【図９】
【図１１】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１０】
【図１２】
【図６】
【図９】
【図１１】
【図１３】
【公開番号】特開２０１２−２２７７５８（Ｐ２０１２−２２７７５８Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９３９８５（Ｐ２０１１−９３９８５）
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]