擬似カラー画像生成装置、及びプログラム
【課題】より視認性のよい画像を得る。
【解決手段】可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する第１撮影装置１２からカラー可視画像を取得し（１００）、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いる（１７０、１１０、１１２）と共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて（１７０、１０８、１１２）、擬似カラー画像を生成する。
【解決手段】可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する第１撮影装置１２からカラー可視画像を取得し（１００）、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いる（１７０、１１０、１１２）と共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて（１７０、１０８、１１２）、擬似カラー画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、擬似カラー画像生成装置、及びプログラムに係り、特に、擬似カラー画像を生成する擬似カラー画像生成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来のカラー撮影装置として、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用可能なカラー撮影装置が知られている（特許文献１）。このカラー撮影装置では、通常のベイヤー配列の１ユニットを構成するＲＧＢＧ４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分けている。また、ＲＧＢの３画素には赤外カットフィルタをかけている。
【０００３】
また、従来のカラー画像生成装置として、色情報と輝度情報とが何れも最適なカラー画像を再生するカラー画像再生装置が知られている（特許文献２）。このカラー画像再生装置では、可視画像データから赤外成分を除去して色情報（色相、彩度）を抽出し、赤外の輝度情報、または可視の輝度情報と合成して擬似カラー画像を再生している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６０６６号公報
【特許文献２】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、ＲＧＢフィルタとＩＲフィルタとをモードにより切り替えて使用するため、夜間など周囲が暗い場合には、ＩＲフィルタのみを利用した、視認性が低いモノクロ画像しか提供できない、という問題がある。
【０００６】
また、上記特許文献２に記載の技術では、予めユーザ等が指定したモードに従って可視画像及び赤外画像の一方だけが選択されて、選択された画像の輝度情報が抽出される。これにより、カラーカメラと赤外カメラとで撮影した場合、照明などの明るさがあると、赤外の光量が可視の光量に比べて少なくなる場合があるが、赤外の明るさが選択された場合には、可視光の明るさに比べて暗くなり視認性が悪くなってしまう、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、より視認性のよい画像を得ることができる擬似カラー画像生成装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、第１の発明に係る擬似カラー画像生成装置によれば、生成手段によって、カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【０００９】
このように、第１の発明に係る擬似カラー画像生成装置によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、及び尾灯の色（これらの色は、例えば、赤などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が赤の色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって赤の色と比較した場合には格段の注意が必要とされない色の画素（すなわち、色情報が示す色が赤以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１０】
従って、第１の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００１１】
また、上記の目的を達成するために第２の発明に係る擬似カラー画像生成装置は、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段とを含んで構成されている。
【００１２】
第２の発明に係る擬似カラー画像生成装置によれば、生成手段によって、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が上記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１３】
このように、第２の発明に係る擬似カラー画像生成装置によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色（これらの色は、例えば、青、黄、緑、赤、橙などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって格段の注意が必要とされない色の画素（すなわち、色情報が示す色が上記少なくとも１つの色以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１４】
従って、第２の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００１５】
また、上記の目的を達成するために第３の発明に係る擬似カラー画像生成装置は、第１または第２の発明に係る擬似カラー画像生成装置において、前記撮影手段を、更に、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影するようにし、前記取得手段を、更に、前記撮影手段から前記赤外画像を取得するようにし、前記生成手段によって生成された擬似カラー画像を構成する画素であって、前記赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、前記対応画素の輝度で置換するか、または、前記擬似カラー画像を構成する画素の輝度と前記赤外画像の前記対応画素の輝度との加重平均の値で置換する置換手段を更に含み、前記生成手段を、前記置換手段で輝度が置換されている前記擬似カラー画像の画素については置換された輝度を表す輝度情報及び前記擬似カラー画像の対応する色情報を用い、前記置換手段で輝度が置換されていない前記擬似カラー画像の画素については撮影により得られた前記輝度情報及び前記擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成するようにしたものである。
【００１６】
第３の発明に係る擬似カラー画像生成装置によれば、置換手段によって、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度が、対応画素の輝度、または、擬似カラー画像を構成する画素の輝度と赤外画像の対応画素の輝度との加重平均の値で置換される。そして、生成手段によって、置換手段で輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報が用いられ、置換手段で輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報が用いられて、擬似カラー画像が更に生成される。
【００１７】
このように、第３の発明に係る擬似カラー画像生成装置によれば、擬似カラー画像の各画素の輝度と、この各画素に対応する赤外画像の各対応画素の輝度との比較によって、擬似カラー画像を構成する画素であって、赤外画像の対応画素の輝度より輝度が小さい画素の輝度が、より視認性が良好となるような輝度に置換されて、擬似カラー画像が更に生成される。
【００１８】
また、第３の発明の置換手段において、擬似カラー画像を構成する画素の輝度と赤外画像の対応画素の輝度との加重平均の値で置換された場合には、輝度の飽和を抑制することができる。
【００１９】
従って、第３の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００２０】
また、上記の目的を達成するために第４の発明に係るプログラムは、コンピュータを、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段として機能させるためのプログラムである。
【００２１】
第４の発明に係るプログラムによれば、第１の発明と同様の原理で、より視認性のよい画像を得ることができる。
【００２２】
また、上記の目的を達成するために第５の発明に係るプログラムは、コンピュータを、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段として機能させるためのプログラムである。
【００２３】
第５の発明に係るプログラムによれば、第２の発明と同様の原理で、より視認性のよい画像を得ることができる。
【発明の効果】
【００２４】
以上説明したように、本発明の擬似カラー画像生成装置及びプログラムによれば、より視認性のよい画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に係る擬似カラー画像生成装置の構成を示す図である。
【図２】本実施の形態に係る擬似カラー画像生成装置の機能ブロック図である。
【図３】本実施の形態に係る擬似カラー画像生成装置が実行する擬似カラー画像生成処理を示すフローチャートである。
【図４】本実施の形態に係る擬似カラー画像生成装置によって表示される画面の一例である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２７】
なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像から擬似カラー画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。なお、以下、この撮影システムを擬似カラー画像生成装置と称する。
【００２８】
図１に示すように、本実施の形態に係る擬似カラー画像生成装置１０は、第１撮影装置１２、第２撮影装置１４、赤外光源１６、コンピュータ１８、及び表示装置２０を備えている。
【００２９】
第１撮影装置１２は、自車両の前方を撮影してカラー可視画像（可視光画像）を出力するＣＣＤカメラを備えており、自車両の前方を撮影可能なように取り付けられている。第１撮影装置１２は２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像の画像データを生成して出力する。すなわち、第１撮影装置１２は、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影して出力する。なお、本実施の形態では、色情報には、例えば、彩度及び色相が含まれる。また、本実施の形態では、輝度情報には輝度（輝度値）が含まれ、この輝度情報によって、輝度が示される。
【００３０】
第２撮影装置１４は、入射される光のうち近赤外光の波長帯の光を透過させるフィルタとＣＣＤカメラとを備えており、自車両の前方を撮影可能なように取り付けられている。第２撮影装置１４のレンズ面に対向するように、近赤外光の波長帯の光を透過させるフィルタ（図示省略）が設置されている。第２撮影装置１４は、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、各々輝度情報（輝度、画素値）を含む複数の画素から構成された赤外画像の画像データを生成して出力する。すなわち、第２撮影装置１４は、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影して出力する。
【００３１】
なお、第１撮影装置１２及び第２撮影装置１４は、本発明の撮影手段に対応する。
【００３２】
赤外光源１６は、第２撮影装置１４による撮影を行う際に、自車両の前方に近赤外域の光（近赤外光を含む光）を照射する。
【００３３】
コンピュータ１８は、第１撮影装置１２によって撮影されたカラー可視画像及び第２撮影装置１４によって撮影された赤外画像に対して画像処理を行って擬似カラー画像を生成して、擬似カラー画像を表示するように表示装置２０を制御する。
【００３４】
コンピュータ１８は、擬似カラー画像生成装置１０全体を制御するためのものである。コンピュータ１８は、ＲＯＭ（Read Only Memory）１８ａ、ＲＡＭ（Random Access Memory）１８ｂ、ＣＰＵ（Central Processing Unit）１８ｃ、及びＩ／Ｏ（入出力）ポート１８ｄを備えている。これらＲＯＭ１８ａ、ＣＰＵ１８ｂ、ＲＡＭ１８ｃ、及びＩ／Ｏポート１８ｄは互いにバス１８ｅを介して接続されている。
【００３５】
記憶媒体としてのＲＯＭ１８ａには、ＯＳ等の基本プログラムが記憶されている。また、ＲＯＭ１８ａには、詳細を以下で説明する擬似カラー画像生成処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００３６】
ＣＰＵ１８ｃは、各プログラムをＲＯＭ１８ａから読み出して処理を実行する。ＲＡＭ１８ｂには、各種データが一時的に記憶される。
【００３７】
コンピュータ１８を以下で詳細を説明する擬似カラー画像生成処理に従って機能ブロックで表すと、図２に示すように、取得手段１８ｆ、生成手段１８ｇ、及び置換手段１８ｈで表すことができる。
【００３８】
取得手段１８ｆは、第１撮影装置１２及び第２撮影装置１４の撮影手段からカラー可視画像及び赤外画像を取得する。
【００３９】
生成手段１８ｇは、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。また、生成手段１８ｇは、置換手段１８ｈで輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報を用い、置換手段１８ｈで輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する。
【００４０】
置換手段１８ｈは、生成手段１８ｇによって生成された擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、対応画素の輝度で置換する。
【００４１】
表示装置２０は、入力されたデータに基づいた画像を表示するＬＣＤ（Liquid Crystal Display）を含んで構成されており、表示装置２０には、コンピュータ１８の制御によって画像が表示される。
【００４２】
次に、コンピュータ１８のＣＰＵ１８ｃが実行する擬似カラー画像生成処理の処理ルーチンについて図３を用いて説明する。なお、本実施の形態では、赤外光源１６によって近赤外域の光が前方に照射されると共に、第１撮影装置１２及び第２撮影装置１４の各々によって、自車両の前方が連続して撮影されているときに、ＣＰＵ１８ｃによって、図３に示す擬似カラー画像生成処理が実行される。
【００４３】
まず、ステップ１００では、第１撮影装置１２より撮影されたカラー可視画像の画像データを取得すると共に、第２撮影装置１４より撮影された赤外画像の画像データを取得する。これにより、第１撮影装置１２及び第２撮影装置１４の撮影手段からカラー可視画像及び赤外画像が取得される。また、ステップ１００は、本発明の取得手段に対応する。
【００４４】
次のステップ１０２では、上記ステップ１００で取得したカラー可視画像に対して、詳細を以下で説明するステップ１０４以降の処理が行われていない画素を、注目画素として設定する。
【００４５】
次のステップ１０４では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素の画像データをＲＧＢ空間からＨＳＶ空間に変換することにより、上記ステップ１０２で注目画素として設定されたカラー可視画像の画素の色情報（彩度、色相）及び輝度情報（明度（輝度）を含む）を抽出する。
【００４６】
次のステップ１７０では、上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、青、黄、緑、赤、及び橙の少なくとも１つの色（例えば、赤の色）であるか否かを判定する。ここで、青、黄、緑、赤、及び橙の色は、例えば車両のドライバが、特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色などである。また、これらの色のうち、赤の色が最も注意すべき色であると考えることができ、赤の色は、例えば、信号灯の色、標識の色、及び尾灯の色である。なお、ステップ１７０で判定に用いられる色は、「青、黄、緑、赤、及び橙の少なくとも１つの色」であればどのような色でもよく、例えば「赤の色」や、「赤の色、及び緑の色」、「緑の色、及び橙の色」など様々な組み合わせが考えられる。
【００４７】
ステップ１７０で、肯定判定された場合（上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、青、黄、緑、赤、及び橙の少なくとも１つの色であると判定された場合）には、次のステップ１１０へ進む。一方、ステップ１７０で、否定判定された場合（上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、当該少なくとも１つの色ではないと判定された場合）には、次のステップ１０８へ進む。ここで、「少なくとも１つの色ではないと判定された場合」とは、例えば、上記ステップ１７０での判定に用いられた色が「赤の色」である場合には、赤の色以外の色であると判定された場合を指す。
【００４８】
ステップ１０８では、今回上記ステップ１０２で設定されたカラー可視画像における注目画素を、濃淡表示画素として決定する。なお、濃淡表示画素として決定されたカラー可視画像における注目画素は、詳細を以下で説明するステップ１２８で濃淡表示される。そして、次のステップ１１２へ進む。
【００４９】
ステップ１１０では、今回上記ステップ１０２で設定されたカラー可視画像における注目画素を、カラー表示画素として決定する。なお、カラー表示画素として決定されたカラー可視画像における注目画素は、詳細を以下で説明するステップ１２８でカラー表示される。そして、次のステップ１１２へ進む。
【００５０】
ステップ１１２では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１１０でカラー表示画素として決定された画素については、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換すると共に、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１０８で濃淡表示画素として決定された画素については、この画素の明度をＲ、Ｇ、Ｂの各データとして設定することにより、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換する。これにより、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素のＲＧＢの画像データを得ることができる。なお、ステップ１１２では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１０８で濃淡表示画素として決定された画素については、この画素の彩度の値を０に変更し、色相の値を所定の色を示す値に変更して（明度は変更せず）から、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換するようにしてもよい。
【００５１】
次のステップ１１４では、全ての画素について上記の各ステップ（ステップ１０２、１０４、１０６、１０６で肯定判定された場合には１０８、１０６で否定判定された場合には１１０、及び１１２）の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１０２へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、ステップ１１４において、全ての画素について上記の各ステップの処理が終了したと判定された場合には、次のステップ１１６へ進む。
【００５２】
以上、説明したように、上記ステップ１０２、１０４、１０６、１７０、１１０、１１２、１１４の処理では、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報（上記ステップ１０４で抽出された輝度情報）及び撮影により得られた色情報（上記ステップ１０４で抽出された色情報）を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。なお、「擬似カラー画像を生成する」とは、「擬似カラー画像の画像データを生成すること」を意味する。
【００５３】
ステップ１１６では、生成された擬似カラー画像及び上記ステップ１００で取得した赤外画像の各々に対して、同じ位置の画素を注目画素として設定する。なお、ステップ１１６で注目画素として設定される画素は、詳細を以下で説明するステップ１１８以降の処理が行われていない画素とする。また、擬似カラー画像における注目画素に対応する赤外画像における注目画素を、対応画素と称する。
【００５４】
ステップ１１８では、今回上記ステップ１１６で注目画素として設定された擬似カラー画像の画素の画像データをＲＧＢ空間からＨＳＶ空間に変換することにより、上記ステップ１１６で注目画素として設定された擬似カラー画像の画素の色情報（彩度、色相）及び輝度情報（明度、輝度を含む）を抽出する。
【００５５】
次のステップ１２０では、今回上記ステップ１１６で設定された擬似カラー画像における注目画素の輝度Ｉｃと、今回上記ステップ１１６で設定された赤外画像における注目画素の輝度Ｉｒとを比較して、輝度Ｉｃが輝度Ｉｒより小さいか否かを判定する。
【００５６】
ステップ１２０で輝度Ｉｃが輝度Ｉｒより小さいと判定された場合には、次のステップ１２２へ進む。一方、ステップ１２０で輝度Ｉｃが輝度Ｉｒ以上であると判定された場合には、次のステップ１２４へ進む。
【００５７】
ステップ１２２では、擬似カラー画像における注目画素の輝度Ｉｃを、赤外画像の輝度Ｉｒとすることにより、輝度Ｉｃを輝度Ｉｒで置換する。そして、次のステップ１２４へ進む。
【００５８】
ステップ１２４では、全ての画素について上記各ステップ（ステップ１１６、１１８、１２０、１２０で肯定判定された場合には１２２）の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１１６へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、ステップ１２４において、全ての画素について上記各ステップの処理が終了したと判定された場合には、次のステップ１２６へ進む。
【００５９】
以上、説明したように、上記ステップ１１６、１１８、１２０、１２２、１２４の処理では、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、対応画素の輝度Ｉｒで置換する。
【００６０】
ステップ１２６では、上記ステップ１２２で輝度が置換されている擬似カラー画像の画素については、上記ステップ１２２で置換された輝度を表す輝度情報及び上記ステップ１１８で抽出された色情報（擬似カラー画像の対応する色情報）を用い、上記ステップ１２２で輝度が置換されていない擬似カラー画像の画素については上記ステップ１１８で抽出された輝度情報及び上記ステップ１１８で抽出された色情報を用いて、擬似カラー画像の各画素の画像データをＨＳＶ空間からＲＧＢ空間に変換する。これにより、擬似カラー画像のＲＧＢの画像データを再び得ることができ、擬似カラー画像のＲＧＢの画像データを再び得ることにより、擬似カラー画像が更に生成される。
【００６１】
ステップ１２８では、上記ステップ１２６で得られたＲＧＢの画像データを用いて生成された擬似カラー画像を表示するように表示装置２０の表示を制御する。そして、上記ステップ１００へ戻る。
【００６２】
以上、説明したように、上記ステップ１２６、１２８の処理では、上記ステップ１２２で輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報を用い、上記ステップ１２２で輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する。
【００６３】
以上、本実施の形態の擬似カラー画像生成処理について説明した。なお、ステップ１００は取得手段１８ｆによって実行され、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４、１２６、１２８は生成手段１８ｇによって実行され、ステップ１１６、１１８、１２０、１２２、１２４は置換手段１８ｈによって実行される。
【００６４】
以上説明したように、本実施の形態に係る擬似カラー画像生成装置１０によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色（これらの色は、例えば、青、黄、緑、赤、橙などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって格段の注意が必要とされない色の画素（すなわち、色情報が示す色が上記少なくとも１つの色以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００６５】
例えば、本実施の形態に係る擬似カラー画像生成装置１０によれば、図４（Ａ）に示すような赤外画像と、図４（Ｂ）に示すようなカラー可視画像とがステップ１００で取得された場合には、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４の処理によって、図４（Ｃ）に示すような一部モノクロ（濃淡）画像の擬似カラー画像が生成される。従って、本実施の形態に係る擬似カラー画像生成装置１０によれば、より視認性のよい画像を得ることができる。
【００６６】
また、ステップ１２６、１２８の処理によって、擬似カラー画像の各画素の輝度Ｉｃと、この各画素に対応する赤外画像の各対応画素の輝度Ｉｒとの比較によって、擬似カラー画像を構成する画素であって、赤外画像の対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃが、より視認性が良好となるような輝度に置換されて、擬似カラー画像が更に生成される。例えば、図４（Ｄ）に示すような、更に、より視認性のよい擬似カラー画像が生成されて表示装置２０に表示される。
【００６７】
なお、本実施の形態では、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４の処理によって生成された擬似カラー画像に対して、ステップ１１６、１１８、１２０、１２２、１２４の処理を施して、ステップ１２６、１２８で更に擬似カラー画像を生成して表示する例について説明したが、本発明はこれに限られない。例えば、ステップ１０２、１７０、１０６、１０８、１１０、１１２、１１４の処理によって生成された擬似カラー画像を表示装置２０に表示するように制御してもよい。
【００６８】
また、本実施の形態では、上記ステップ１１６、１１８、１２０、１２２、１２４の処理で、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、対応画素の輝度Ｉｒで置換する例について説明した。しかしながら、本発明はこれに限られない。例えば、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、擬似カラー画像を構成する画素の輝度Ｉｃと赤外画像の対応画素の輝度Ｉｒとの加重平均の値で置換するようにしてもよい。なお、この場合には、双方の画素に対して所定の重み付けがされていることとする。これにより、輝度Ｉｒが飽和している場合には、その輝度の飽和を抑制することができる。
【００６９】
なお、上記の実施の形態では、色情報が示す色が特定の色か否かを判定する判定単位となるブロックを、画素単位とした場合を例に説明したが、これに限定されるものではなく、複数の画素からなる領域を、ブロックとしてもよい。この場合には、例えば、各ブロックの色情報を平均して判定に用いればよい。
【００７０】
また、カラー可視画像と赤外画像とを用いて、擬似カラー画像を表示する場合を例に説明したが、これに限定されるものではなく、カラー可視画像と遠赤外画像とを用いて、擬似カラー画像を表示してもよい。この場合には、遠赤外カメラを用いて遠赤外画像を生成するか、又は、遠赤外光の波長帯を透過する遠赤外フィルタを用いて、自車両の前方を撮影するようにすればよい。また、赤外光源を用いずに、自車両の前方を撮影すればよい。
【００７１】
また、取得手段、生成手段、色情報演算手段、及び置換手段をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、取得手段、生成手段、色情報演算手段、及び置換手段を、各手段の機能を実現する複数のコンピュータ、もしくは１つまたは複数の電子回路で構成するようにしてもよい。
【００７２】
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【００７３】
１０ 擬似カラー画像生成装置
１２ 第１撮影装置
１４ 第２撮影装置
１６ 赤外光源
１８ コンピュータ
１８ａ ＲＯＭ
１８ｃ ＣＰＵ
１８ｆ 取得手段
１８ｇ 生成手段
１８ｈ 置換手段
２０ 表示装置
【技術分野】
【０００１】
本発明は、擬似カラー画像生成装置、及びプログラムに係り、特に、擬似カラー画像を生成する擬似カラー画像生成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来のカラー撮影装置として、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用可能なカラー撮影装置が知られている（特許文献１）。このカラー撮影装置では、通常のベイヤー配列の１ユニットを構成するＲＧＢＧ４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分けている。また、ＲＧＢの３画素には赤外カットフィルタをかけている。
【０００３】
また、従来のカラー画像生成装置として、色情報と輝度情報とが何れも最適なカラー画像を再生するカラー画像再生装置が知られている（特許文献２）。このカラー画像再生装置では、可視画像データから赤外成分を除去して色情報（色相、彩度）を抽出し、赤外の輝度情報、または可視の輝度情報と合成して擬似カラー画像を再生している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６０６６号公報
【特許文献２】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、ＲＧＢフィルタとＩＲフィルタとをモードにより切り替えて使用するため、夜間など周囲が暗い場合には、ＩＲフィルタのみを利用した、視認性が低いモノクロ画像しか提供できない、という問題がある。
【０００６】
また、上記特許文献２に記載の技術では、予めユーザ等が指定したモードに従って可視画像及び赤外画像の一方だけが選択されて、選択された画像の輝度情報が抽出される。これにより、カラーカメラと赤外カメラとで撮影した場合、照明などの明るさがあると、赤外の光量が可視の光量に比べて少なくなる場合があるが、赤外の明るさが選択された場合には、可視光の明るさに比べて暗くなり視認性が悪くなってしまう、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、より視認性のよい画像を得ることができる擬似カラー画像生成装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、第１の発明に係る擬似カラー画像生成装置によれば、生成手段によって、カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【０００９】
このように、第１の発明に係る擬似カラー画像生成装置によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、及び尾灯の色（これらの色は、例えば、赤などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が赤の色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって赤の色と比較した場合には格段の注意が必要とされない色の画素（すなわち、色情報が示す色が赤以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１０】
従って、第１の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００１１】
また、上記の目的を達成するために第２の発明に係る擬似カラー画像生成装置は、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段とを含んで構成されている。
【００１２】
第２の発明に係る擬似カラー画像生成装置によれば、生成手段によって、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が上記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１３】
このように、第２の発明に係る擬似カラー画像生成装置によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色（これらの色は、例えば、青、黄、緑、赤、橙などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって格段の注意が必要とされない色の画素（すなわち、色情報が示す色が上記少なくとも１つの色以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００１４】
従って、第２の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００１５】
また、上記の目的を達成するために第３の発明に係る擬似カラー画像生成装置は、第１または第２の発明に係る擬似カラー画像生成装置において、前記撮影手段を、更に、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影するようにし、前記取得手段を、更に、前記撮影手段から前記赤外画像を取得するようにし、前記生成手段によって生成された擬似カラー画像を構成する画素であって、前記赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、前記対応画素の輝度で置換するか、または、前記擬似カラー画像を構成する画素の輝度と前記赤外画像の前記対応画素の輝度との加重平均の値で置換する置換手段を更に含み、前記生成手段を、前記置換手段で輝度が置換されている前記擬似カラー画像の画素については置換された輝度を表す輝度情報及び前記擬似カラー画像の対応する色情報を用い、前記置換手段で輝度が置換されていない前記擬似カラー画像の画素については撮影により得られた前記輝度情報及び前記擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成するようにしたものである。
【００１６】
第３の発明に係る擬似カラー画像生成装置によれば、置換手段によって、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度が、対応画素の輝度、または、擬似カラー画像を構成する画素の輝度と赤外画像の対応画素の輝度との加重平均の値で置換される。そして、生成手段によって、置換手段で輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報が用いられ、置換手段で輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報が用いられて、擬似カラー画像が更に生成される。
【００１７】
このように、第３の発明に係る擬似カラー画像生成装置によれば、擬似カラー画像の各画素の輝度と、この各画素に対応する赤外画像の各対応画素の輝度との比較によって、擬似カラー画像を構成する画素であって、赤外画像の対応画素の輝度より輝度が小さい画素の輝度が、より視認性が良好となるような輝度に置換されて、擬似カラー画像が更に生成される。
【００１８】
また、第３の発明の置換手段において、擬似カラー画像を構成する画素の輝度と赤外画像の対応画素の輝度との加重平均の値で置換された場合には、輝度の飽和を抑制することができる。
【００１９】
従って、第３の発明に係る擬似カラー画像生成装置によれば、より視認性のよい画像を得ることができる。
【００２０】
また、上記の目的を達成するために第４の発明に係るプログラムは、コンピュータを、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段として機能させるためのプログラムである。
【００２１】
第４の発明に係るプログラムによれば、第１の発明と同様の原理で、より視認性のよい画像を得ることができる。
【００２２】
また、上記の目的を達成するために第５の発明に係るプログラムは、コンピュータを、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段として機能させるためのプログラムである。
【００２３】
第５の発明に係るプログラムによれば、第２の発明と同様の原理で、より視認性のよい画像を得ることができる。
【発明の効果】
【００２４】
以上説明したように、本発明の擬似カラー画像生成装置及びプログラムによれば、より視認性のよい画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に係る擬似カラー画像生成装置の構成を示す図である。
【図２】本実施の形態に係る擬似カラー画像生成装置の機能ブロック図である。
【図３】本実施の形態に係る擬似カラー画像生成装置が実行する擬似カラー画像生成処理を示すフローチャートである。
【図４】本実施の形態に係る擬似カラー画像生成装置によって表示される画面の一例である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２７】
なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像から擬似カラー画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。なお、以下、この撮影システムを擬似カラー画像生成装置と称する。
【００２８】
図１に示すように、本実施の形態に係る擬似カラー画像生成装置１０は、第１撮影装置１２、第２撮影装置１４、赤外光源１６、コンピュータ１８、及び表示装置２０を備えている。
【００２９】
第１撮影装置１２は、自車両の前方を撮影してカラー可視画像（可視光画像）を出力するＣＣＤカメラを備えており、自車両の前方を撮影可能なように取り付けられている。第１撮影装置１２は２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像の画像データを生成して出力する。すなわち、第１撮影装置１２は、可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影して出力する。なお、本実施の形態では、色情報には、例えば、彩度及び色相が含まれる。また、本実施の形態では、輝度情報には輝度（輝度値）が含まれ、この輝度情報によって、輝度が示される。
【００３０】
第２撮影装置１４は、入射される光のうち近赤外光の波長帯の光を透過させるフィルタとＣＣＤカメラとを備えており、自車両の前方を撮影可能なように取り付けられている。第２撮影装置１４のレンズ面に対向するように、近赤外光の波長帯の光を透過させるフィルタ（図示省略）が設置されている。第２撮影装置１４は、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、各々輝度情報（輝度、画素値）を含む複数の画素から構成された赤外画像の画像データを生成して出力する。すなわち、第２撮影装置１４は、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影して出力する。
【００３１】
なお、第１撮影装置１２及び第２撮影装置１４は、本発明の撮影手段に対応する。
【００３２】
赤外光源１６は、第２撮影装置１４による撮影を行う際に、自車両の前方に近赤外域の光（近赤外光を含む光）を照射する。
【００３３】
コンピュータ１８は、第１撮影装置１２によって撮影されたカラー可視画像及び第２撮影装置１４によって撮影された赤外画像に対して画像処理を行って擬似カラー画像を生成して、擬似カラー画像を表示するように表示装置２０を制御する。
【００３４】
コンピュータ１８は、擬似カラー画像生成装置１０全体を制御するためのものである。コンピュータ１８は、ＲＯＭ（Read Only Memory）１８ａ、ＲＡＭ（Random Access Memory）１８ｂ、ＣＰＵ（Central Processing Unit）１８ｃ、及びＩ／Ｏ（入出力）ポート１８ｄを備えている。これらＲＯＭ１８ａ、ＣＰＵ１８ｂ、ＲＡＭ１８ｃ、及びＩ／Ｏポート１８ｄは互いにバス１８ｅを介して接続されている。
【００３５】
記憶媒体としてのＲＯＭ１８ａには、ＯＳ等の基本プログラムが記憶されている。また、ＲＯＭ１８ａには、詳細を以下で説明する擬似カラー画像生成処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００３６】
ＣＰＵ１８ｃは、各プログラムをＲＯＭ１８ａから読み出して処理を実行する。ＲＡＭ１８ｂには、各種データが一時的に記憶される。
【００３７】
コンピュータ１８を以下で詳細を説明する擬似カラー画像生成処理に従って機能ブロックで表すと、図２に示すように、取得手段１８ｆ、生成手段１８ｇ、及び置換手段１８ｈで表すことができる。
【００３８】
取得手段１８ｆは、第１撮影装置１２及び第２撮影装置１４の撮影手段からカラー可視画像及び赤外画像を取得する。
【００３９】
生成手段１８ｇは、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。また、生成手段１８ｇは、置換手段１８ｈで輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報を用い、置換手段１８ｈで輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する。
【００４０】
置換手段１８ｈは、生成手段１８ｇによって生成された擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、対応画素の輝度で置換する。
【００４１】
表示装置２０は、入力されたデータに基づいた画像を表示するＬＣＤ（Liquid Crystal Display）を含んで構成されており、表示装置２０には、コンピュータ１８の制御によって画像が表示される。
【００４２】
次に、コンピュータ１８のＣＰＵ１８ｃが実行する擬似カラー画像生成処理の処理ルーチンについて図３を用いて説明する。なお、本実施の形態では、赤外光源１６によって近赤外域の光が前方に照射されると共に、第１撮影装置１２及び第２撮影装置１４の各々によって、自車両の前方が連続して撮影されているときに、ＣＰＵ１８ｃによって、図３に示す擬似カラー画像生成処理が実行される。
【００４３】
まず、ステップ１００では、第１撮影装置１２より撮影されたカラー可視画像の画像データを取得すると共に、第２撮影装置１４より撮影された赤外画像の画像データを取得する。これにより、第１撮影装置１２及び第２撮影装置１４の撮影手段からカラー可視画像及び赤外画像が取得される。また、ステップ１００は、本発明の取得手段に対応する。
【００４４】
次のステップ１０２では、上記ステップ１００で取得したカラー可視画像に対して、詳細を以下で説明するステップ１０４以降の処理が行われていない画素を、注目画素として設定する。
【００４５】
次のステップ１０４では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素の画像データをＲＧＢ空間からＨＳＶ空間に変換することにより、上記ステップ１０２で注目画素として設定されたカラー可視画像の画素の色情報（彩度、色相）及び輝度情報（明度（輝度）を含む）を抽出する。
【００４６】
次のステップ１７０では、上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、青、黄、緑、赤、及び橙の少なくとも１つの色（例えば、赤の色）であるか否かを判定する。ここで、青、黄、緑、赤、及び橙の色は、例えば車両のドライバが、特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色などである。また、これらの色のうち、赤の色が最も注意すべき色であると考えることができ、赤の色は、例えば、信号灯の色、標識の色、及び尾灯の色である。なお、ステップ１７０で判定に用いられる色は、「青、黄、緑、赤、及び橙の少なくとも１つの色」であればどのような色でもよく、例えば「赤の色」や、「赤の色、及び緑の色」、「緑の色、及び橙の色」など様々な組み合わせが考えられる。
【００４７】
ステップ１７０で、肯定判定された場合（上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、青、黄、緑、赤、及び橙の少なくとも１つの色であると判定された場合）には、次のステップ１１０へ進む。一方、ステップ１７０で、否定判定された場合（上記ステップ１０４で抽出されたカラー可視画像における注目画素の色情報が示す色が、当該少なくとも１つの色ではないと判定された場合）には、次のステップ１０８へ進む。ここで、「少なくとも１つの色ではないと判定された場合」とは、例えば、上記ステップ１７０での判定に用いられた色が「赤の色」である場合には、赤の色以外の色であると判定された場合を指す。
【００４８】
ステップ１０８では、今回上記ステップ１０２で設定されたカラー可視画像における注目画素を、濃淡表示画素として決定する。なお、濃淡表示画素として決定されたカラー可視画像における注目画素は、詳細を以下で説明するステップ１２８で濃淡表示される。そして、次のステップ１１２へ進む。
【００４９】
ステップ１１０では、今回上記ステップ１０２で設定されたカラー可視画像における注目画素を、カラー表示画素として決定する。なお、カラー表示画素として決定されたカラー可視画像における注目画素は、詳細を以下で説明するステップ１２８でカラー表示される。そして、次のステップ１１２へ進む。
【００５０】
ステップ１１２では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１１０でカラー表示画素として決定された画素については、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換すると共に、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１０８で濃淡表示画素として決定された画素については、この画素の明度をＲ、Ｇ、Ｂの各データとして設定することにより、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換する。これにより、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素のＲＧＢの画像データを得ることができる。なお、ステップ１１２では、今回上記ステップ１０２で注目画素として設定されたカラー可視画像の画素であって、上記ステップ１０８で濃淡表示画素として決定された画素については、この画素の彩度の値を０に変更し、色相の値を所定の色を示す値に変更して（明度は変更せず）から、この画素の画像データをＨＳＶ空間からＲＧＢ空間に変換するようにしてもよい。
【００５１】
次のステップ１１４では、全ての画素について上記の各ステップ（ステップ１０２、１０４、１０６、１０６で肯定判定された場合には１０８、１０６で否定判定された場合には１１０、及び１１２）の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１０２へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、ステップ１１４において、全ての画素について上記の各ステップの処理が終了したと判定された場合には、次のステップ１１６へ進む。
【００５２】
以上、説明したように、上記ステップ１０２、１０４、１０６、１７０、１１０、１１２、１１４の処理では、カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた輝度情報（上記ステップ１０４で抽出された輝度情報）及び撮影により得られた色情報（上記ステップ１０４で抽出された色情報）を用いると共に、カラー可視画像を構成し、かつ色情報が示す色が当該少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。なお、「擬似カラー画像を生成する」とは、「擬似カラー画像の画像データを生成すること」を意味する。
【００５３】
ステップ１１６では、生成された擬似カラー画像及び上記ステップ１００で取得した赤外画像の各々に対して、同じ位置の画素を注目画素として設定する。なお、ステップ１１６で注目画素として設定される画素は、詳細を以下で説明するステップ１１８以降の処理が行われていない画素とする。また、擬似カラー画像における注目画素に対応する赤外画像における注目画素を、対応画素と称する。
【００５４】
ステップ１１８では、今回上記ステップ１１６で注目画素として設定された擬似カラー画像の画素の画像データをＲＧＢ空間からＨＳＶ空間に変換することにより、上記ステップ１１６で注目画素として設定された擬似カラー画像の画素の色情報（彩度、色相）及び輝度情報（明度、輝度を含む）を抽出する。
【００５５】
次のステップ１２０では、今回上記ステップ１１６で設定された擬似カラー画像における注目画素の輝度Ｉｃと、今回上記ステップ１１６で設定された赤外画像における注目画素の輝度Ｉｒとを比較して、輝度Ｉｃが輝度Ｉｒより小さいか否かを判定する。
【００５６】
ステップ１２０で輝度Ｉｃが輝度Ｉｒより小さいと判定された場合には、次のステップ１２２へ進む。一方、ステップ１２０で輝度Ｉｃが輝度Ｉｒ以上であると判定された場合には、次のステップ１２４へ進む。
【００５７】
ステップ１２２では、擬似カラー画像における注目画素の輝度Ｉｃを、赤外画像の輝度Ｉｒとすることにより、輝度Ｉｃを輝度Ｉｒで置換する。そして、次のステップ１２４へ進む。
【００５８】
ステップ１２４では、全ての画素について上記各ステップ（ステップ１１６、１１８、１２０、１２０で肯定判定された場合には１２２）の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１１６へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、ステップ１２４において、全ての画素について上記各ステップの処理が終了したと判定された場合には、次のステップ１２６へ進む。
【００５９】
以上、説明したように、上記ステップ１１６、１１８、１２０、１２２、１２４の処理では、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、対応画素の輝度Ｉｒで置換する。
【００６０】
ステップ１２６では、上記ステップ１２２で輝度が置換されている擬似カラー画像の画素については、上記ステップ１２２で置換された輝度を表す輝度情報及び上記ステップ１１８で抽出された色情報（擬似カラー画像の対応する色情報）を用い、上記ステップ１２２で輝度が置換されていない擬似カラー画像の画素については上記ステップ１１８で抽出された輝度情報及び上記ステップ１１８で抽出された色情報を用いて、擬似カラー画像の各画素の画像データをＨＳＶ空間からＲＧＢ空間に変換する。これにより、擬似カラー画像のＲＧＢの画像データを再び得ることができ、擬似カラー画像のＲＧＢの画像データを再び得ることにより、擬似カラー画像が更に生成される。
【００６１】
ステップ１２８では、上記ステップ１２６で得られたＲＧＢの画像データを用いて生成された擬似カラー画像を表示するように表示装置２０の表示を制御する。そして、上記ステップ１００へ戻る。
【００６２】
以上、説明したように、上記ステップ１２６、１２８の処理では、上記ステップ１２２で輝度が置換されている擬似カラー画像の画素については置換された輝度を表す輝度情報及び擬似カラー画像の対応する色情報を用い、上記ステップ１２２で輝度が置換されていない擬似カラー画像の画素については撮影により得られた輝度情報及び擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する。
【００６３】
以上、本実施の形態の擬似カラー画像生成処理について説明した。なお、ステップ１００は取得手段１８ｆによって実行され、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４、１２６、１２８は生成手段１８ｇによって実行され、ステップ１１６、１１８、１２０、１２２、１２４は置換手段１８ｈによって実行される。
【００６４】
以上説明したように、本実施の形態に係る擬似カラー画像生成装置１０によれば、より視認性が良好となるように、色情報が示す色が、例えば車両のドライバが特に夜間などに注意すべき信号灯の色、標識の色、尾灯の色、及び街路灯の色（これらの色は、例えば、青、黄、緑、赤、橙などがある）であるカラー可視画像の画素（すなわち、色情報が示す色が青、黄、緑、赤、及び橙の色の少なくとも１つの色の画素）については、カラー表示されるように、撮影により得られた輝度情報及び撮影により得られた色情報を用い、色情報が示す色が、例えば車両のドライバにとって格段の注意が必要とされない色の画素（すなわち、色情報が示す色が上記少なくとも１つの色以外の色の画素）については、濃淡表示されるように、撮影により得られた輝度情報を用いて、擬似カラー画像を生成する。
【００６５】
例えば、本実施の形態に係る擬似カラー画像生成装置１０によれば、図４（Ａ）に示すような赤外画像と、図４（Ｂ）に示すようなカラー可視画像とがステップ１００で取得された場合には、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４の処理によって、図４（Ｃ）に示すような一部モノクロ（濃淡）画像の擬似カラー画像が生成される。従って、本実施の形態に係る擬似カラー画像生成装置１０によれば、より視認性のよい画像を得ることができる。
【００６６】
また、ステップ１２６、１２８の処理によって、擬似カラー画像の各画素の輝度Ｉｃと、この各画素に対応する赤外画像の各対応画素の輝度Ｉｒとの比較によって、擬似カラー画像を構成する画素であって、赤外画像の対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃが、より視認性が良好となるような輝度に置換されて、擬似カラー画像が更に生成される。例えば、図４（Ｄ）に示すような、更に、より視認性のよい擬似カラー画像が生成されて表示装置２０に表示される。
【００６７】
なお、本実施の形態では、ステップ１０２、１０４、１７０、１０８、１１０、１１２、１１４の処理によって生成された擬似カラー画像に対して、ステップ１１６、１１８、１２０、１２２、１２４の処理を施して、ステップ１２６、１２８で更に擬似カラー画像を生成して表示する例について説明したが、本発明はこれに限られない。例えば、ステップ１０２、１７０、１０６、１０８、１１０、１１２、１１４の処理によって生成された擬似カラー画像を表示装置２０に表示するように制御してもよい。
【００６８】
また、本実施の形態では、上記ステップ１１６、１１８、１２０、１２２、１２４の処理で、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、対応画素の輝度Ｉｒで置換する例について説明した。しかしながら、本発明はこれに限られない。例えば、擬似カラー画像を構成する画素であって、赤外画像の対応する画素である対応画素の輝度Ｉｒより輝度が小さい画素の輝度Ｉｃを、擬似カラー画像を構成する画素の輝度Ｉｃと赤外画像の対応画素の輝度Ｉｒとの加重平均の値で置換するようにしてもよい。なお、この場合には、双方の画素に対して所定の重み付けがされていることとする。これにより、輝度Ｉｒが飽和している場合には、その輝度の飽和を抑制することができる。
【００６９】
なお、上記の実施の形態では、色情報が示す色が特定の色か否かを判定する判定単位となるブロックを、画素単位とした場合を例に説明したが、これに限定されるものではなく、複数の画素からなる領域を、ブロックとしてもよい。この場合には、例えば、各ブロックの色情報を平均して判定に用いればよい。
【００７０】
また、カラー可視画像と赤外画像とを用いて、擬似カラー画像を表示する場合を例に説明したが、これに限定されるものではなく、カラー可視画像と遠赤外画像とを用いて、擬似カラー画像を表示してもよい。この場合には、遠赤外カメラを用いて遠赤外画像を生成するか、又は、遠赤外光の波長帯を透過する遠赤外フィルタを用いて、自車両の前方を撮影するようにすればよい。また、赤外光源を用いずに、自車両の前方を撮影すればよい。
【００７１】
また、取得手段、生成手段、色情報演算手段、及び置換手段をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、取得手段、生成手段、色情報演算手段、及び置換手段を、各手段の機能を実現する複数のコンピュータ、もしくは１つまたは複数の電子回路で構成するようにしてもよい。
【００７２】
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【００７３】
１０ 擬似カラー画像生成装置
１２ 第１撮影装置
１４ 第２撮影装置
１６ 赤外光源
１８ コンピュータ
１８ａ ＲＯＭ
１８ｃ ＣＰＵ
１８ｆ 取得手段
１８ｇ 生成手段
１８ｈ 置換手段
２０ 表示装置
【特許請求の範囲】
【請求項１】
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、
前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段と、
を含む擬似カラー画像生成装置。
【請求項２】
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、
前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段と、
を含む擬似カラー画像生成装置。
【請求項３】
前記撮影手段は、更に、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影し、
前記取得手段は、更に、前記撮影手段から前記赤外画像を取得し、
前記生成手段によって生成された擬似カラー画像を構成する画素であって、前記赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、前記対応画素の輝度で置換するか、または、前記擬似カラー画像を構成する画素の輝度と前記赤外画像の前記対応画素の輝度との加重平均の値で置換する置換手段を更に含み、
前記生成手段は、前記置換手段で輝度が置換されている前記擬似カラー画像の画素については置換された輝度を表す輝度情報及び前記擬似カラー画像の対応する色情報を用い、前記置換手段で輝度が置換されていない前記擬似カラー画像の画素については撮影により得られた前記輝度情報及び前記擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する請求項１または請求項２記載の擬似カラー画像生成装置。
【請求項４】
コンピュータを、
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び
前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段
として機能させるためのプログラム。
【請求項５】
コンピュータを、
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び
前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段
として機能させるためのプログラム。
【請求項６】
コンピュータを、請求項３記載の擬似カラー画像生成装置を構成する各手段として機能させるためのプログラム。
【請求項１】
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、
前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段と、
を含む擬似カラー画像生成装置。
【請求項２】
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段と、
前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段と、
を含む擬似カラー画像生成装置。
【請求項３】
前記撮影手段は、更に、近赤外域の光に基づいて、各々輝度情報を含む複数の画素から構成された赤外画像を撮影し、
前記取得手段は、更に、前記撮影手段から前記赤外画像を取得し、
前記生成手段によって生成された擬似カラー画像を構成する画素であって、前記赤外画像の対応する画素である対応画素の輝度より輝度が小さい画素の輝度を、前記対応画素の輝度で置換するか、または、前記擬似カラー画像を構成する画素の輝度と前記赤外画像の前記対応画素の輝度との加重平均の値で置換する置換手段を更に含み、
前記生成手段は、前記置換手段で輝度が置換されている前記擬似カラー画像の画素については置換された輝度を表す輝度情報及び前記擬似カラー画像の対応する色情報を用い、前記置換手段で輝度が置換されていない前記擬似カラー画像の画素については撮影により得られた前記輝度情報及び前記擬似カラー画像の対応する色情報を用いて、擬似カラー画像を更に生成する請求項１または請求項２記載の擬似カラー画像生成装置。
【請求項４】
コンピュータを、
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び
前記カラー可視画像を構成し、かつ色情報が示す色が赤の色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が赤の色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段
として機能させるためのプログラム。
【請求項５】
コンピュータを、
可視光域の光に基づいて、各々色情報及び輝度情報を含む複数の画素から構成されたカラー可視画像を撮影する撮影手段から前記カラー可視画像を取得する取得手段、及び
前記カラー可視画像を構成し、かつ色情報が示す色が青、黄、緑、赤、及び橙の少なくとも１つの色の画素については、カラー表示されるように、撮影により得られた前記輝度情報及び撮影により得られた前記色情報を用いると共に、前記カラー可視画像を構成し、かつ色情報が示す色が前記少なくとも１つの色以外の色の画素については、濃淡表示されるように、撮影により得られた前記輝度情報を用いて、擬似カラー画像を生成する生成手段
として機能させるためのプログラム。
【請求項６】
コンピュータを、請求項３記載の擬似カラー画像生成装置を構成する各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−１３９５４６（Ｐ２０１１−１３９５４６Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１１−９１２５５（Ｐ２０１１−９１２５５）
【出願日】平成２３年４月１５日（２０１１．４．１５）
【分割の表示】特願２００９−３３６７４（Ｐ２００９−３３６７４）の分割
【原出願日】平成２１年２月１７日（２００９．２．１７）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２３年４月１５日（２０１１．４．１５）
【分割の表示】特願２００９−３３６７４（Ｐ２００９−３３６７４）の分割
【原出願日】平成２１年２月１７日（２００９．２．１７）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]