車両用表示装置
【課題】車両の周辺領域に存在する実際の検出対象物を、視認者が知覚し易いように報知することができる車両用表示装置の提供。
【解決手段】近赤外線カメラ１０によって生成された車両の前方画像５０から、歩行者の画像５１を検出し、外形線画像５３を前方画像５０に重畳して表示するナイトビュー装置１００である。ナイトビュー装置１００の画像処理回路２０は、前方画像５０を近赤外線カメラ１０から取得する画像取得部３１と、前方画像５０の各画素について輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像５１の輪郭５１ａを検出する輪郭検出部３５と、輪郭５１ａに沿うように外形線画像５３を生成する外形線画像生成部３７と、外形線画像５３と輪郭５１ａとが重なるように、外形線画像５３を前方画像５０に重畳して出力する合成処理部３９と、を備える。
【解決手段】近赤外線カメラ１０によって生成された車両の前方画像５０から、歩行者の画像５１を検出し、外形線画像５３を前方画像５０に重畳して表示するナイトビュー装置１００である。ナイトビュー装置１００の画像処理回路２０は、前方画像５０を近赤外線カメラ１０から取得する画像取得部３１と、前方画像５０の各画素について輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像５１の輪郭５１ａを検出する輪郭検出部３５と、輪郭５１ａに沿うように外形線画像５３を生成する外形線画像生成部３７と、外形線画像５３と輪郭５１ａとが重なるように、外形線画像５３を前方画像５０に重畳して出力する合成処理部３９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
車両の周辺領域を撮影した周辺画像から当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両の周辺領域に存在する検出対象物を視認者に分り易く報知するために、当該周辺領域を撮影した周辺画像に画像処理等の加工を施して、表示手段に表示する装置が知られている。このような装置の一種として、例えば特許文献１には、赤外線カメラから取得した車両外部の画像について、予め設定された閾値よりも高い輝度の画素と当該閾値よりも低い画素とに分離する輝度分離手段と、輝度の高い画素群からなる画像の輪郭を強調するエッジ強調手段と、を備える車両用視認装置が開示されている。赤外線カメラによる車両外部の画像では、歩行者等の検出対象物の画像は、背景の画像よりも輝度が高くなる。故に、予め設定された閾値よりも輝度の高い画素を、輝度の低い画素から分離することにより、歩行者等の検出対象物の画像が、車両外部の画像から抽出される。そして、歩行者の画像の輪郭をエッジ強調手段によって強調することにより、車両用視認装置は、周辺領域に存在する歩行者の形状が分り易く示された画像（特許文献１ 図１５等参照）を、表示手段に表示することができる。
【０００３】
また、特許文献２には、赤外線カメラから取得した周辺画像から、周辺領域に存在する歩行者等の警告対象物を抽出し、警告対象物の画像を強調するための矩形の強調画像を周辺画像に重畳したうえで、表示手段に表示させる車両周辺表示装置が開示されている。周辺画像に映る歩行者等の画像が矩形の強調画像によって強調されることにより、車両周辺表示装置は、周辺領域に存在する歩行者の位置を分り易く示すことができる（特許文献２ 図６（ａ）参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２４３５３８号公報
【特許文献２】特開２００４−３６４１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、特許文献１に開示の車両用視認装置では、赤外線カメラによって撮影された車両外部の画像には、輝度に基づく分離と輪郭を強調する処理によって、歩行者等の検出対象物等の輪郭のみが残される。そのため、表示手段に表示される画像は、検出対象物の形状を視認者に分り易く示すことができるものの、輪郭のみの画像と周辺領域に存在する実際の検出対象物との対応が視認者にとって分り難いものとなっていた。故に、車両用視認装置は、表示手段に表示させる画像から、検出対象物の位置を視認者に分り易く示すことができなかった。
【０００６】
また、特許文献２に開示の車両周辺表示装置では、検出対象物の画像に矩形の強調画像が重畳されている。故に、検出対象物の画像が周辺画像中に小さく表示されている場合、検出対象物の画像に強調画像が重ねられてしまうと、この強調画像は、検出対象物の画像を覆う。このとき、検出対象物に重ねられた強調画像は、検出対象物の形状を分かり難くしてしまうことがあった。
【０００７】
本発明は、上記問題点に鑑みてなされたものであって、その目的は、車両の周辺領域に存在する実際の検出対象物を、視認者が知覚し易いように報知することができる車両用表示装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載の発明では、車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置であって、赤外線を検知することにより周辺領域を撮影する撮像手段から、周辺画像を取得する画像取得手段と、画像取得手段によって取得された周辺画像の各画素について、各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、検出対象物の画像の輪郭を検出する輪郭検出手段と、輪郭検出手段によって検出された輪郭に沿うように、強調画像としての外形線画像を生成する外形線画像生成手段と、外形線画像生成手段によって生成された外形線画像と輪郭とが重なるように、外形線画像を周辺画像に重畳して表示する表示手段と、を備えることを特徴とする。
【０００９】
この発明のように、周辺領域を撮影した周辺画像では、検出対象物の画像と背景となる周辺領域の画像との間において、輝度の差分が拡大し易い。これは、周辺領域により放射及び反射される赤外線の量と検出対象物により放射及び反射される赤外線の量とが異なることに起因する。故に、周辺画像の各画素について、各画素とそれら各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出した場合、この輝度勾配の強度は、検出対象物の画像の輪郭となる画素において、大きな値を示す。故に、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、輪郭検出手段は、検出対象物の画像の輪郭を検出することができる。以上のようにして輪郭が検出されることにより、外形線画像生成手段は、輪郭に沿うような形状の外形線画像を生成できる。そして、外形線画像は、検出対象物の画像の輪郭と重なるように周辺画像に重畳され、周辺画像と共に表示手段に表示される。
【００１０】
以上のようにして表示される外形線画像は、検出対象物の形状に対応している。故に、周辺画像中に小さく表示された検出対象物の画像に外形線画像が重ねられた場合であっても、外形線画像は、検出対象物の形状を視認者に分り易く示すことに貢献し得る。加えて、表示手段には、外形線画像と共に周辺画像も表示される。故に、表示手段に表示される周辺画像と実際の周辺領域とを視認者が対応させ易くなることにより、外形線画像は、存在を強調したい検出対象物の周辺領域における位置を、当該視認者に分り易く示すことに貢献し得る。これらにより、車両用表示装置は、検出対象物の画像に外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者が知覚し易いように、報知を行うことができる。
【００１１】
請求項２に記載の発明では、車両用表示装置は、周辺画像から予め設定されたサイズの検出用画像を順に切り出し、各検出用画像に検出対象物の画像が含まれているか否かを判定することにより、周辺画像から検出対象物の画像を検出する対象物検出手段、をさらに備え、輪郭検出手段は、周辺画像から切り出された複数の検出用画像のうち、対象物検出手段によって検出対象物の画像が含まれていると判定された検出用画像について、検出対象物の画像の輪郭を検出することを特徴とする。
【００１２】
この発明によれば、周辺画像から順に切り出された複数の検出用画像のうち、検出対象物の画像が含まれていると判定された検出用画像について、輪郭検出手段は、検出対象物の画像の輪郭を検出する。検出対象物の画像近傍の画素に絞って輪郭の検出が行われることにより、輪郭検出手段は、検出対象物以外の画像の輪郭を誤って検出し難くなる。以上により、周辺画像に映る検出対象物の画像に外形線画像が正確に重畳されるようになるので、視認者は、表示手段に表示された検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、実際の検出対象物の存在を視認者にさらに分り易く報知できる。
【００１３】
請求項３に記載の発明では、対象物検出手段は、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて各検出用画像に検出対象物の画像が含まれているか否かを判定し、輪郭検出手段は、対象物検出手段によって算出された輝度勾配の強度を取得し、この輝度勾配の強度を用いることにより、検出対象物の画像の輪郭を検出することを特徴とする。
【００１４】
切り出された各検出用画像に検出対象物の画像が含まれているか否かを判定するための様々な手法が、一般には知られている。その中には、この発明のように、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて、各検出用画像に検出対象物の画像が含まれているか否かを判定する、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いた手法がある（参考文献：三井相和、外２名、「Ｊｏｉｎｔ ＨＯＧ特徴を用いた２段階ＡｄａＢｏｏｓｔによる人検出」、第１４回画像センシングシンポジウム、２００８）。
【００１５】
この発明では、対象物検出手段が既に各画素の輝度勾配の算出処理をしているので、輪郭検出手段は、輝度勾配の強度を対象物検出手段から取得することにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出手段における処理の省略により、外形線画像は、周辺画像に映る検出対象物の画像にすみやかに重畳されるようになる。検出対象物の画像に外形線画像が即座に重畳されるので、視認者は、外形線画像及び検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、周辺領域の検出対象物の存在を視認者にさらに分り易く報知できる。
【００１６】
請求項４に記載の発明では、外形線画像生成手段は、周辺画像に映る検出対象物の画像が小さくなるほど、検出対象物の画像に沿う外形線画像を細く生成することを特徴とする。
【００１７】
この発明において、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像に外形線画像を重畳する場合、外形線画像は、線が潰れてしまうことにより、検出対象物の仔細な形状を示せなくなるおそれがある。そこで、検出対象物の画像が小さくなるほど外形線画像の線を細くすることにより、外形線画像は、線の潰れを回避でき、検出対象物の形状を視認者に確実に示すことができる。したがって、車両用表示装置は、外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者がさらに知覚し易いように、報知を行うことができる。
【００１８】
請求項５に記載の発明では、外形線画像生成手段は、外形線画像によって囲まれた領域を塗り潰す、強調画像としての塗潰し画像をさらに生成し、表示手段は、外形線画像及び塗潰し画像が検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を周辺画像に重畳して表示することを特徴とする。
【００１９】
上述したように、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像は、外形線画像が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで、外形線画像によって囲まれた領域を塗り潰す塗潰し画像が、外形線画像と共に検出対象物の画像に重ねられる。塗潰し画像によって周辺画像に重畳される画像の面積が拡大するので、外形線画像及び塗潰し画像によって覆われた検出対象物の画像は、さらに強調され、視認者に見逃され難くなる。したがって、車両用表示装置は、車両からの距離が離れているうちに、検出対象物の存在を視認者に分り易く且つ確実に報知することができるようになる。
【００２０】
請求項６に記載の発明では、画像取得手段は、近赤外線を検知することにより周辺領域を撮影する撮像手段としての近赤外線カメラから、周辺画像を取得することを特徴とする。
【００２１】
赤外線のうちで波長が短い（０．７〜２．５マイクロメートル程度）近赤外線を検知する近赤外線カメラによる周辺画像では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる周辺画像よりも、検出対象物の画像の輪郭が曖昧になり易い。故に、近赤外線カメラを用いて周辺画像を撮像する形態では、検出対象物の輪郭に沿う外形線画像によって検出対象物の形状が視認者に分り易く示される作用は、顕著に発揮される。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、近赤外線カメラを備えた車両用表示装置による報知を分り易くするために、特に有効なのである。
【００２２】
請求項７に記載の発明では、輪郭検出手段は、検出対象物である人間の画像の輪郭を検出することを特徴とする。
【００２３】
この発明によれば、赤外線を検知する撮像手段によって生成された周辺画像において、熱を放射している人間の画像は、背景の画像と比較して、輝度が高くなる傾向にある。故に、検出対象物である人間の画像の輪郭は、輪郭検出手段によって正確に検出され易い。以上により、外形線画像は、人間の画像に正確に重ねられて、検出対象物としての人間の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、検出対象物として人間を検出する形態の車両用表示装置に、特に好適なのである。
【図面の簡単な説明】
【００２４】
【図１】本発明の第一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図２】歩行者画像に外形線画像が重畳された前方画像を説明するための図であって、（ａ）は車両近傍に歩行者が存在する場合の図であり、（ｂ）は（ａ）よりも車両から離間した位置に歩行者が存在する場合の図である。
【図３】外形線画像が重畳された人物画像を説明するための図であって、図２（ａ）の領域ＩＩＩを模式的に拡大した図である。
【図４】前方画像に外形線画像を重畳して表示するための処理が示されるフローチャートである。
【図５】本発明の第二実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図６】歩行者画像に外形線画像及び塗潰し画像が重畳された前方画像を説明するための図である。
【図７】前方画像に外形線画像及び塗潰し画像を重畳して表示するための処理が示されるフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【００２６】
（第一実施形態）
図１には、本発明の第一実施形態によるナイトビュー装置１００の構成が示されている。ナイトビュー装置１００は、図２（ａ）及び（ｂ）に示されるような車両の前方領域を撮影した前方画像５０から、当該前方領域に存在する歩行者等の検出対象物の画像５１（以下、歩行者画像 図３参照）を検出する。そして、ナイトビュー装置１００は、歩行者画像５１を強調するための強調画像５２を、当該歩行者画像５１に重畳して表示する。以下、図１〜図３に基づいて、ナイトビュー装置１００の構成及びナイトビュー装置１００によって表示される画像について説明する。
【００２７】
ナイトビュー装置１００は、近赤外線カメラ１０と接続されている。ナイトビュー装置１００は、近赤外線カメラ１０から前方画像５０を取得する画像処理回路２０、及び画像処理回路２０によって生成された画像を表示する液晶ディスプレイ４０を備えている。
【００２８】
近赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の周辺領域のうち、特に車両の前方領域を撮影する。近赤外線カメラ１０は、波長が０．７〜２．５マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。近赤外線カメラ１０が搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域に向けて近赤外線を投光する近赤外線投光器１１が設置されている。近赤外線カメラ１０は、近赤外線投光器１１と接続されており、前方領域の撮影を開始すると共に、近赤外線投光器１１に投光を開始させる。近赤外線カメラ１０は、前方領域の物体により反射された近赤外線を検知することにより、周辺画像としての前方画像５０を生成する。近赤外線カメラ１０は、生成した前方画像５０を、画像処理回路２０に向けて逐次出力する。
【００２９】
画像処理回路２０は、近赤外線カメラ１０及び液晶ディスプレイ４０と接続されている。画像処理回路２０は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。加えて画像処理回路２０は、接続された種々の車載装置との間で情報をやりとりするためのインターフェースを備えている。
【００３０】
以上の構成による画像処理回路２０は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして画像取得部３１、対象物検出部３３、輪郭検出部３５、外形線画像生成部３７、及び合成処理部３９を有する。画像取得部３１は、近赤外線カメラ１０から前方画像５０を取得し、対象物検出部３３に出力する。
【００３１】
対象物検出部３３は、歩行者画像５１の形状の特徴と統計的手法とを組み合わせて用いることにより、取得した前方画像５０から歩行者画像５１を検出する。対象物検出部３３は、画像取得部３１によって取得された前方画像５０の各画素について、輝度勾配を算出する。輝度勾配は、各画素と、その画素に鉛直方向及び水平方向に隣接する四つの画素との間における輝度Ｉの差分に基づいており、具体的には、以下の数式（１）によって勾配の強度が算出され、数式（２）によって勾配の方向が算出される。
【数１】
【数２】
【数３】
【００３２】
尚、上式において、Ｉ（ｘ，ｙ）は、前方画像５０における座標（ｘ，ｙ）の輝度値である。これらｘ及びｙは、それぞれ、１≦ｘ≦（水平方向における前方画像の画素数−２），１≦ｙ≦（鉛直方向における前方画像の画素数−２）である。また、ｘ≦０又はｘ≧（水平方向における前方画像の画素数−１）、或いはｙ≦０又はｙ≧（鉛直方向における前方画像の画素数−１）のとき、輝度強度ｍ（ｘ，ｙ）＝０となる。
【００３３】
次に対象物検出部３３は、算出した輝度勾配に基づいて、歩行者画像５１を検出する検出処理を行う。対象物検出部３３は、探索ウィンドウ５５を用いて、予め設定されたサイズの検出用画像５６を前方画像５０から順に切り出す。対象物検出部３３は、探索ウィンドウ５５を前方画像５０の水平方向及び鉛直方向に徐々に移動させつつ（図２（ａ）破線の矢印を参照）、当該探索ウィンドウ５５によって囲まれた範囲の画像を検出用画像５６として切り出していく。探索ウィンドウ５５が右下まで到達した場合、対象物検出部３３は、探索ウィンドウ５５のサイズを縮小させ、再び前方画像５０からの検出用画像５６の切り出しを行う。尚、前方画像５０において主に空が撮影される領域は、探索ウィンドウ５５の移動範囲から除かれている。
【００３４】
次に対象物検出部３３は、切り出した各検出用画像５６のＨＯＧ特徴量を抽出する。ＨＯＧ特徴量は、各検出用画像５６において水平方向及び垂直方向にそれぞれ例えば５画素分の領域を一つのセル５９と規定し（図３参照）、一つのセル５９に含まれる画素の輝度勾配の方向（数式（２）参照）をヒストグラム化したものである。加えて対象物検出部３３は、互いに隣接する複数のセル５９をまとめたものを１ブロックとし、ブロック毎に各セル５９のＨＯＧ特徴量を正規化する。そして対象物検出部３３は、抽出及び正規化した各セル５９のＨＯＧ特徴量を、ＡｄａＢｏｏｓｔによって予め構築された識別器に入力し、各検出用画像５６に歩行者画像５１が含まれているか否かを判定する。
【００３５】
ここで、上述した検出処理において対象物検出部３３が判定に用いる識別器は、学習用に予め用意された多数のサンプル画像から、歩行者画像５１の形状の特徴を学習することによって構築されている。以下、二段階のＡｄａＢｏｏｓｔによって、識別器に歩行者画像５１の形状の特徴を学習させる方法を詳しく説明する。
【００３６】
一段階目のＡｄａＢｏｏｓｔでは、各サンプル画像において、位置の異なる二つのセル５９のＨＯＧ特徴量を組み合わせたＪｏｉｎｔ ＨＯＧ特徴量をまず生成する。そして、各組み合わせにおけるＪｏｉｎｔ ＨＯＧ特徴量の中から、一段階目のＡｄａＢｏｏｓｔによって、歩行者画像５１の識別に有効な特徴量に重み付けがなされる。具体的には、歩行者画像５１特有の頭部から肩部にかけてのΩ状の輪郭形状及び左右の対称性等を反映したようなＪｏｉｎｔ ＨＯＧ特徴量について、重み付けが大きくされる。この一段階目のＡｄａＢｏｏｓｔによって、サンプル画像のセル５９の組み合わせ数に対応した複数の識別器が構築される。
【００３７】
二段階目のＡｄａＢｏｏｓｔでは、一段階目のＡｄａＢｏｏｓｔによって構築された複数の識別器の重み付けがなされる。具体的には、複数の識別器のうち、歩行者画像５１の識別に適したセル５９の組み合わせから構築された識別器について、重み付けが大きくされる。以上により、対象物検出部３３によって歩行者画像５１の検出に用いられる最終的な識別器は構築される。
【００３８】
対象物検出部３３は、歩行者画像５１が含まれていると判定した検出用画像５６について、各画素の輝度勾配の強度を輪郭検出部３５に出力する。さらに対象物検出部３３は、歩行者画像５１が含まれていると判定した検出用画像５６のサイズを外形線画像生成部３７に出力すると共に、前方画像５０における当該検出用画像５６の位置を合成処理部３９に出力する。
【００３９】
輪郭検出部３５は、対象物検出部３３から取得した検出用画像５６であって、複数の検出用画像５６のうちで対象物検出部３３によって歩行者画像５１が含まれていると判定された検出用画像５６について、歩行者画像５１の輪郭５１ａを検出する。輪郭検出部３５は、まず各画素の輝度勾配の強度（数式（１）参照）を算出する。本実施形態における輪郭検出部３５は、実際の輝度勾配の強度を算出する算出処理に替えて、対象物検出部３３によって既に計算された輝度勾配を取得する取得処理を行う。輪郭検出部３５は、対象物検出部３３から取得した輝度勾配の強度を用いることにより、検出用画像５６の各画素から、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出する。
【００４０】
ここで、前方領域により反射される近赤外線の量と、人物により反射される近赤外線の量とが異なることに起因して、前方画像５０では、歩行者画像５１と背景となる画像との間において、輝度の差分が拡大し易い。故に、検出用画像５６の各画素について輝度勾配を算出した場合、輝度勾配の強度は、歩行者画像５１の輪郭となる画素において、大きな値を示す。故に、輪郭検出部３５は、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像５１の輪郭５１ａを検出することができる。
【００４１】
外形線画像生成部３７は、前方画像５０が描画されるレイヤとは別のレイヤに、外形線画像５３を描画する。外形線画像５３は、前方画像５０に映る歩行者画像５１を強調するための強調画像５２である。外形線画像５３は、輪郭検出部３５によって検出された歩行者画像５１の輪郭５１ａに沿うように生成される。外形線画像５３は、視認者によって近くされ易いよう、彩度及び明度の高い例えば赤色又は黄色によって描画される。外形線画像生成部３７は、対象物検出部３３から取得した検出用画像５６のサイズに基づき、外形線画像５３の線の太さを調整する調整処理を実施する。外形線画像生成部３７は、輪郭５１ａが検出された検出用画像５６のサイズが小さくなるほど、外形線画像５３を細く生成する。これにより、車両からの距離が離れており、前方画像５０に小さく映る歩行者画像５１ほど、重ねられる外形線画像５３は、細い線によって描画されるようになる。尚、外形線画像５３を太くする場合、外形線画像５３の線は、当該外形線画像５３によって囲まれた領域の内周側に拡大される。
【００４２】
合成処理部３９は、対象物検出部３３によって歩行者画像５１が検出された場合に、前方画像５０に外形線画像５３を重畳する合成処理を行う。具体的に、合成処理部３９は、対象物検出部３３から取得した検出用画像５６の位置情報に基づき、外形線画像５３と歩行者画像５１の輪郭５１ａとが重なるように、外形線画像５３が描画されたレイヤを、前方画像５０が描画されたレイヤに、重畳する。合成処理部３９は、外形線画像５３が重畳された前方画像５０を、液晶ディスプレイ４０に向けて逐次出力する。尚、対象物検出部３３によって歩行者画像５１が検出されていない場合には、合成処理部３９は、前方画像５０を液晶ディスプレイ４０に向けて逐次出力する。
【００４３】
液晶ディスプレイ４０は、表示面に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ４０は、図２に示される正面側を運転席側に向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。液晶ディスプレイ４０は、表示面に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ４０は、画像処理回路２０の合成処理部３９から逐次取得した前方画像５０を連続的に表示することにより、前方領域の様子を動画により視認者に提供することができる。
【００４４】
ここまで説明したナイトビュー装置１００が、外形線画像５３の重畳された前方画像５０を液晶ディスプレイ４０に表示する処理を、図４に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置１００の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置１００の作動の開始と共に、画像処理回路２０によって実施される。画像処理回路２０による処理は、ユーザの操作に基づいてナイトビュー装置１００の作動が停止されるまで、繰り返される。
【００４５】
Ｓ１０１では、近赤外線カメラ１０から前方画像５０を取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得した前方画像５０の各画素について、輝度勾配を算出し、Ｓ１０３に進む。Ｓ１０３では、前方画像５０から歩行者画像５１を検出する検出処理を実施し、Ｓ１０４に進む。
【００４６】
Ｓ１０４では、Ｓ１０３にて実施した検出処理により、前方画像５０から歩行者画像５１を検出したか否かを判定する。Ｓ１０４おいて、歩行者画像５１を検出した場合、Ｓ１０５に進む。一方、Ｓ１０４において、歩行者画像５１を検出しなかった場合、Ｓ１１１に進む。
【００４７】
Ｓ１０５では、歩行者画像５１が含まれていると判定した検出用画像５６について、Ｓ１０２において算出された各画素の輝度勾配の強度と、予め設定された閾値との比較を開始し、Ｓ１０６に進む。Ｓ１０６では、歩行者画像５１を含む検出用画像５６うちの一つの画素について、算出された輝度勾配の強度が、閾値以上であるか否かを判定する。Ｓ１０６において、一つの画素の輝度勾配の強度が、閾値以上であると判定した場合、Ｓ１０７に進む。一方、Ｓ１０６において、一つの画素の輝度勾配の強度が、閾値未満であると判定した場合、Ｓ１０８に進む。
【００４８】
Ｓ１０７では、閾値以上であると判定された画素が着色されて液晶ディスプレイ４０に表示されるよう、外形線画像５３が描画されるレイヤにおいて、当該画素に対応する位置の画素の階調情報を更新し、Ｓ１０８に進む。これにより、外形線画像５３が描画されるレイヤにおいて、歩行者画像５１の輪郭５１ａに重畳される画素は、外形線画像５３の色によって着色される。
【００４９】
Ｓ１０８では、Ｓ１０５において比較を開始した一つ又は複数の検出用画像５６について、全ての画素の輝度勾配の強度と、閾値との比較が終了したか否かを判定する。Ｓ１０８において、全ての画素について比較を終了したと判定した場合、Ｓ１０９に進む。一方、比較が終了していない画素があると判定した場合、Ｓ１０６に戻り、他の画素について、輝度勾配の強度と閾値との比較を繰り返す。以上のＳ１０６〜Ｓ１０８の処理が繰り返されることにより、外形線画像５３は描画される。
【００５０】
Ｓ１０９では、Ｓ１０６〜Ｓ１０８の処理によって描画された外形線画像５３の太さを調整する調整処理を行い、Ｓ１１０に進む。Ｓ１１０では、Ｓ１０９までの処理によって外形線画像５３が描画されたレイヤを、前方画像５０が描画されたレイヤに重畳し、Ｓ１１１に進む。Ｓ１１１では、外形線画像５３が重畳された前方画像５０又は前方画像５０のみを液晶ディスプレイ４０に出力し、Ｓ１０１に戻る。Ｓ１０１〜Ｓ１１１の処理が繰り返されることにより、液晶ディスプレイ４０には前方画像５０が連続的に出力される。これにより液晶ディスプレイ４０には、前方領域の様子が動画として映し出される。
【００５１】
ここまで説明した第一実施形態によれば、前方画像５０の各画素間における輝度差に基づいて、画像処理回路２０は、歩行者画像５１の輪郭５１ａに沿うような形状の外形線画像５３を生成できる。この外形線画像５３は、歩行者の形状に対応しているので、前方画像５０中に小さく表示された歩行者画像５１に外形線画像５３が重ねられた場合であっても、歩行者の形状を視認者に分り易く示すことができる。
【００５２】
加えて、液晶ディスプレイ４０には、外形線画像５３と共に、近赤外線カメラ１０によって撮影されたままの前方画像５０が表示される。故に、液晶ディスプレイ４０に表示される前方画像５０と、視認者の視界に映る実際の前方領域とを、視認者は対応させ易くなる。これにより、外形線画像５３は、重畳される歩行者画像５１に対応する歩行者であって、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができるようになる。したがって、ナイトビュー装置１００は、歩行者画像５１に外形線画像５３が重畳された前方画像５０によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
【００５３】
加えて第一実施形態では、画像処理回路２０は、前方画像５０から順に切り出された複数の検出用画像５６のうち、歩行者画像５１が含まれていると判定された検出用画像５６について、輪郭５１ａの検出を行う。歩行者画像５１近傍の画素に絞って輪郭５１ａの検出が行われることにより、画像処理回路２０は、歩行者画像５１以外の輪郭を誤って検出し難くなる。加えて、輪郭５１ａを検出する対象となる画素を低減できるので、歩行者画像５１の輪郭５１ａを検出する処理は、高速化される。
【００５４】
以上により、歩行者画像５１に外形線画像５３が正確且つ高速に重畳されるようになるので、視認者は、液晶ディスプレイ４０に表示された歩行者画像５１から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置１００は、実際の歩行者等の存在を、視認者にさらに分り易く報知できる。
【００５５】
また第一実施形態では、画像処理回路２０は、対象物検出部３３によって各画素の輝度勾配の算出処理をしているので、輪郭検出部３５に輝度勾配の強度を対象物検出部３３から取得させることにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出部３５における処理の省略により、外形線画像５３は、前方画像５０に映る歩行者画像５１にすみやかに重畳されるようになる。歩行者画像５１に外形線画像５３が即座に重ねられるので、視認者は、これら歩行者画像５１及び外形線画像５３から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置１００は、前方領域の歩行者等の存在を視認者にさらに分り易く報知できる。
【００５６】
さらに第一実施形態のように、近赤外線カメラ１０によって撮影された前方画像５０では、車両からの距離が離れるほど、歩行者画像５１は小さく映るようになる。故に、前方画像５０に小さく映る歩行者画像５１に外形線画像５３を重畳する場合、当該外形線画像５３は、線が潰れてしまうことにより、人物の仔細な形状を示せなくなるおそれがある。そこで、歩行者画像５１が小さくなるほど外形線画像５３を細く描画することにより、当該外形線画像５３は、線の潰れを回避でき、人物の形状を視認者に確実に示すことができる。したがって、ナイトビュー装置１００は、外形線画像５３が重畳された前方画像５０によって、実際の歩行者等を視認者がさらに知覚し易いように、報知を行うことができる。
【００５７】
また加えて第一実施形態のように、赤外線のうちで波長が短い近赤外線を検知する近赤外線カメラ１０による前方画像５０では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる前方画像よりも、歩行者画像５１の輪郭５１ａが曖昧になり易い。故に、近赤外線カメラ１０を用いて前方画像５０を撮像する第一実施形態では、歩行者画像５１の輪郭５１ａに沿う外形線画像５３によって人物の形状が視認者に分り易く示される作用は、顕著に発揮される。このように、歩行者等の形状に対応した外形線画像５３を前方画像５０に重畳する構成は、近赤外線カメラ１０を備えたナイトビュー装置１００による報知を分り易くするために、特に有効なのである。
【００５８】
さらに加えて、前方画像５０では、複数の歩行者画像５１が重なることがある（図２（ａ）の中央部分の歩行者画像５１を参照）。多くの場合において、各歩行者の着ている衣服の色の明るさが互いに異なっていたり、又は各歩行者が互いに離れていたりしているので、前方画像５０において重なる二つの歩行者画像５１の間には、輝度の差が生じ得る。ここで、第一実施形態による画像処理回路２０は、各画素間における輝度差に基づいて、歩行者画像５１の輪郭５１ａに沿うような形状の外形線画像５３を生成できる。故に、画像処理回路２０は、多くの場合において、互いに重なる歩行者画像５１のそれぞれに対して、輪郭５１ａに沿う外形線画像５３を生成することができる。以上により、前方画像５０に重なって表示されるために、複数の歩行者の存在が分り辛い場合あっても、ナイトビュー装置１００は、前方領域に複数の歩行者が存在していることを、視認者に分り易く報知できる。
【００５９】
またさらに第一実施形態では、近赤外線を検知する近赤外線カメラ１０によって生成された前方画像５０において、熱を放射している歩行者を映した歩行者画像５１は、背景の画像と比較して、輝度が高くなる。故に、歩行者画像５１の輪郭５１ａは、画像処理回路２０によって正確に検出され易い。以上により、外形線画像５３は、歩行者画像５１に正確に重ねられて、当該歩行者画像５１に対応する実際の歩行者の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像５３を前方画像５０に重畳する構成は、検出対象物として歩行者等の人間を検出する形態のナイトビュー装置１００に、特に好適なのである。
【００６０】
尚、第一実施形態において、近赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部３１が特許請求の範囲に記載の「画像取得手段」に相当し、対象物検出部３３が特許請求の範囲に記載の「対象物検出手段」に相当し、輪郭検出部３５が特許請求の範囲に記載の「輪郭検出手段」に相当し、外形線画像生成部３７が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部３９及び液晶ディスプレイ４０が特許請求の範囲に記載の「表示手段」に相当し、前方画像５０が特許請求の範囲に記載の「周辺画像」に相当し、歩行者画像５１が特許請求の範囲に記載の「検出対象物の画像」及び「人間の画像」に相当し、ナイトビュー装置１００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００６１】
（第二実施形態）
図５〜図７に示される本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態によるナイトビュー装置２００は、第一実施形態の近赤外線カメラ１０（図１参照）に相当する撮像手段として、遠赤外線カメラ２１０と接続されている。加えてナイトビュー装置２００は、第一実施形態の液晶ディスプレイ４０（図１参照）に相当する表示手段として、ヘッドアップディスプレイ２４０を備えている。以下、図５〜図７に基づいて、第二実施形態によるナイトビュー装置２００について詳細に説明する。
【００６２】
遠赤外線カメラ２１０は、波長が２０〜１００マイクロメートル程度の遠赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。一般に遠赤外線カメラ２１０は、検出対象物である歩行者等から放射される赤外線のエネルギーを検知して前方画像２５０を生成する。故に、撮影のための赤外線を投光する近赤外線投光器１１（図１参照）に相当する構成は、省略され得る。遠赤外線カメラ２１０は、生成した前方画像２５０を、画像処理回路２２０に向けて逐次出力する。
【００６３】
ヘッドアップディスプレイ２４０は、車両のウィンドスクリーンに予め規定された投影範囲に、前方画像２５０を投影する。この投影範囲は、ウィンドスクリーンにおいて、例えば運転席に着座した視認者と前後方向に相対する位置に規定される。ヘッドアップディスプレイ２４０は、前方画像２５０の投影方向をウィンドスクリーンに向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。ヘッドアップディスプレイ２４０は、画像処理回路２２０から逐次取得した前方画像２５０を連続的に投影することにより、前方領域の様子を動画により表示することができる。
【００６４】
第二実施形態による前方画像２５０には、強調画像２５２として、外形線画像５３に加えて、塗潰し画像２５４が重畳される。塗潰し画像２５４は、外形線画像５３によって囲まれた領域を、当該外形線画像５３と同じ色（例えば赤色又は黄色）によって塗り潰す画像である。これら外形線画像５３及び塗潰し画像２５４は、歩行者画像５１に重なるように前方画像２５０に重畳されて、ウィンドスクリーンに投影される。
【００６５】
以上のような表示を実現するため、第二実施形態による画像処理回路２２０は、図７に示されるような処理を行う。図７に示される処理において、Ｓ２０１〜Ｓ２０８は、第一実施形態におけるＳ１０１〜Ｓ１０８と実質的に同一である。
【００６６】
Ｓ２０９では、外形線画像生成部２３７によって、外形線画像５３が描画されるレイヤに、外形線画像５３によって囲まれた領域を塗り潰す塗潰し画像２５４を描画し、Ｓ２１０に進む。Ｓ２１０では、合成処理部２３９によって、外形線画像５３及び塗潰し画像２５４が描画されたレイヤを、前方画像２５０が描画されたレイヤに重畳し、Ｓ２１１に進む。Ｓ２１１では、外形線画像５３及び塗潰し画像２５４が重畳された前方画像２５０又は前方画像２５０のみをヘッドアップディスプレイ２４０に出力し、Ｓ２０１に戻る。以上のより、ヘッドアップディスプレイ２４０によって、ウィンドウシールドには前方領域の様子が動画として投影される。
【００６７】
ここまで説明した第二実施形態でも、外形線画像５３は、歩行者の形状に対応している。故に、塗潰し画像２５４と共に前方画像２５０に重畳される外形線画像５３であっても、歩行者の形状は、視認者に分り易く示され得る。加えて、塗潰し画像２５４によって覆われた領域を除けば、遠赤外線カメラ２１０によって撮影されたままの前方画像２５０が、投影によりウィンドウシールドに表示される。故に、視認者は、ウィンドウシールドに投影される前方画像２５０と、視界に映る実際の前方領域とを対応させ易くなる。これにより、外形線画像５３は、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができる。したがって、ナイトビュー装置２００は、歩行者画像５１に外形線画像５３が重畳された前方画像２５０によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
【００６８】
加えて、歩行者は、車両からの距離が離れるほど、前方画像２５０に小さく映るようになる。故に、前方画像２５０に小さく映る歩行者画像５１は、外形線画像５３が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで第二実施形態では、外形線画像５３と共に塗潰し画像２５４が前方画像２５０に重ねられることにより、前方画像２５０に重畳される強調画像２５２の面積が、拡大される。これにより、外形線画像５３及び塗潰し画像２５４によって覆われた歩行者画像５１は、さらに強調され、視認者に見逃され難くなる。したがって、ナイトビュー装置２００は、車両からの距離が離れているうちに、歩行者の存在を視認者に分り易く且つ確実に報知することができるようになる。
【００６９】
また第二実施形態のように、遠赤外線カメラ２１０によって撮影された前方画像２５０においては、歩行者画像５１の輪郭５１ａは、明確になり易い。故に、画像処理回路２２０は、歩行者画像５１の輪郭５１ａを正確に検出し、歩行者画像５１に外形線画像５３及び塗潰し画像２５４を正確に重畳し得る。以上により、ナイトビュー装置２００は、実際の歩行者の存在を、正確且つ確実に視認者に報知することができる。
【００７０】
さらに第二実施形態では、前方画像２５０は、ヘッドアップディスプレイ２４０によってウィンドウシールドに投影される。これにより、前方画像２５０と実際の前方領域との間における視認者の視点移動は低減される。故に、視認者は、前方画像２５０と視界に映る実際の前方領域とを、さらに対応させ易くなる。このように、ナイトビュー装置２００は、表示手段としてヘッドアップディスプレイ２４０を備えることにより、視認者による歩行者等の知覚を、さらに効果的に補助することができる。
【００７１】
尚、第二実施形態において、遠赤外線カメラ２１０が特許請求の範囲に記載の「撮像手段」に相当し、外形線画像生成部２３７が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部２３９及びヘッドアップディスプレイ２４０が特許請求の範囲に記載の「表示手段」に相当し、前方画像２５０が特許請求の範囲に記載の「周辺画像」に相当し、ナイトビュー装置２００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００７２】
（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００７３】
上記実施形態において、画像処理回路２０は、歩行者画像５１が含まれた検出用画像５６について、歩行者画像５１の輪郭５１ａを検出する処理をしていた。しかし、画像処理回路は、歩行者が含まれていると判定された検出用画像５６に限らず、前方画像５０の全域について、歩行者画像の輪郭を検出する処理を行ってもよい。
【００７４】
上記実施形態において、対象物検出部３３は、Ｊｏｉｎｔ ＨＯＧ特徴量を用いた二段階ＡｄａＢｏｏｓｔによって構築された識別器に基づいて、前方画像５０から歩行者画像５１を検出していた。しかし、ナイトビュー装置が歩行者画像５１を検出するための識別器は、上記実施形態によるものに限定されない。例えば、対象物検出部は、単一のＨＯＧ特徴量を用いたＡｄａＢｏｏｓｔによって構築された識別器に基づいて、前方画像から歩行者画像を検出してもよい。又は、ＨＯＧ特徴量のような輝度勾配ではなく、平均輝度に基づくＨａａｒ‐Ｌｉｋｅ特徴量を用いて歩行者画像の特徴的な形状を学習させる、Ｖｉｏｌａ＆Ｊｏｎｅｓ法によって、歩行者画像を検出するための識別器が構築されていてもよい。
【００７５】
上記実施形態において、輪郭検出部３５の機能の一部は、対象物検出部３３によって兼ねられていた。具体的には、輪郭検出部３５は、対象物検出部３３によって算出された輝度勾配の強度を取得することにより、輝度勾配の強度を算出するための算出処理を省略していた。しかし、上述したようにＶｉｏｌａ＆Ｊｏｎｅｓ法によって構築された識別器に基づいて対象物検出部が検出処理を行う形態では、輪郭検出部が、輝度勾配の強度を算出してもよい。又は、対象物検出部によって輝度勾配の強度が算出される形態であっても、輪郭検出部は、輝度勾配の強度を自ら算出してもよい。
【００７６】
上記第一実施形態において、外形線画像５３の太さは、前方画像５０における歩行者画像５１の大きさに応じて調整されていた。しかし、歩行者画像の大きさにかかわらず、同じ太さの外形線画像、歩行者画像に重畳される形態であってもよい。また、上記第二実施形態では、外形線画像５３によって囲まれた領域は、塗潰し画像２５４によって塗り潰されていた。しかし、例えば、塗潰し画像は、歩行者画像が小さく、視認者によって視認され難い場合に限り、歩行者画像に重畳される形態であってもよい。さらに、外形線画像及び塗潰し画像の色は、視認者に知覚され易ければ、上記実施形態のものに限定されない。
【００７７】
上記実施形態において、画像処理回路２０は、前方画像５０と外形線画像５３とを、一旦異なるレイヤに描画したうえで、これらのレイヤを重ねる処理を行うことにより、外形線画像を前方画像に重畳していた。しかし、画像処理回路は、前方画像において歩行者画像の輪郭として抽出された画素の階調データを直接的に更新することにより、外形線画像を前方画像に重畳する形態であってもよい。
【００７８】
上記実施形態において、ナイトビュー装置は、表示手段の一部として、液晶ディスプレイ又はヘッドアップディスプレイを備えていた。しかし、ナイトビュー装置の表示手段は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
【００７９】
上記実施形態では、画像処理回路２０によってプログラムが実行されることにより、機能ブロックとしての対象物検出部３３及び輪郭検出部３５等が構成される形態であった。しかし、これら対象物検出部３３及び輪郭検出部３５等の機能が、それぞれ別の回路によって果たされる形態であってもよい。これら対象物検出部３３及び輪郭検出部３５等として機能する回路は、画像処理回路２０のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
【００８０】
上記実施形態において、ナイトビュー装置は、前方領域を撮影する撮像手段から前方画像を取得していた。しかし、ナイトビュー装置は、車両の周辺領域であれば、車両の後方領域又は側方領域の画像から、歩行者等の検出対象物の画像を検出してもよい。また、上記実施形態では、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として設定されていてもよい。
【符号の説明】
【００８１】
１０ 近赤外線カメラ（撮像手段）、２１０ 遠赤外線カメラ（撮像手段）、１１ 近赤外線投光器、２０，２２０ 画像処理回路、３１ 画像取得部（画像取得手段）、３３ 対象物検出部（対象物検出手段）、３５ 輪郭検出部（輪郭検出手段）、３７，２３７ 外形線画像生成部（外形線画像生成手段）、３９，２３９ 合成処理部（表示手段）、４０ 液晶ディスプレイ（表示手段）、２４０ ヘッドアップディスプレイ（表示手段）、５０ 前方画像（周辺画像）、５１ 歩行者画像（検出対象物の画像，人間の画像）、５１ａ 輪郭、５２ 強調画像、５３ 外形線画像、５５ 探索ウィンドウ、２５４ 塗潰し画像、５６ 検出用画像、５９ セル、１００，２００ ナイトビュー装置（車両用表示装置）
【技術分野】
【０００１】
車両の周辺領域を撮影した周辺画像から当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両の周辺領域に存在する検出対象物を視認者に分り易く報知するために、当該周辺領域を撮影した周辺画像に画像処理等の加工を施して、表示手段に表示する装置が知られている。このような装置の一種として、例えば特許文献１には、赤外線カメラから取得した車両外部の画像について、予め設定された閾値よりも高い輝度の画素と当該閾値よりも低い画素とに分離する輝度分離手段と、輝度の高い画素群からなる画像の輪郭を強調するエッジ強調手段と、を備える車両用視認装置が開示されている。赤外線カメラによる車両外部の画像では、歩行者等の検出対象物の画像は、背景の画像よりも輝度が高くなる。故に、予め設定された閾値よりも輝度の高い画素を、輝度の低い画素から分離することにより、歩行者等の検出対象物の画像が、車両外部の画像から抽出される。そして、歩行者の画像の輪郭をエッジ強調手段によって強調することにより、車両用視認装置は、周辺領域に存在する歩行者の形状が分り易く示された画像（特許文献１ 図１５等参照）を、表示手段に表示することができる。
【０００３】
また、特許文献２には、赤外線カメラから取得した周辺画像から、周辺領域に存在する歩行者等の警告対象物を抽出し、警告対象物の画像を強調するための矩形の強調画像を周辺画像に重畳したうえで、表示手段に表示させる車両周辺表示装置が開示されている。周辺画像に映る歩行者等の画像が矩形の強調画像によって強調されることにより、車両周辺表示装置は、周辺領域に存在する歩行者の位置を分り易く示すことができる（特許文献２ 図６（ａ）参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２４３５３８号公報
【特許文献２】特開２００４−３６４１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、特許文献１に開示の車両用視認装置では、赤外線カメラによって撮影された車両外部の画像には、輝度に基づく分離と輪郭を強調する処理によって、歩行者等の検出対象物等の輪郭のみが残される。そのため、表示手段に表示される画像は、検出対象物の形状を視認者に分り易く示すことができるものの、輪郭のみの画像と周辺領域に存在する実際の検出対象物との対応が視認者にとって分り難いものとなっていた。故に、車両用視認装置は、表示手段に表示させる画像から、検出対象物の位置を視認者に分り易く示すことができなかった。
【０００６】
また、特許文献２に開示の車両周辺表示装置では、検出対象物の画像に矩形の強調画像が重畳されている。故に、検出対象物の画像が周辺画像中に小さく表示されている場合、検出対象物の画像に強調画像が重ねられてしまうと、この強調画像は、検出対象物の画像を覆う。このとき、検出対象物に重ねられた強調画像は、検出対象物の形状を分かり難くしてしまうことがあった。
【０００７】
本発明は、上記問題点に鑑みてなされたものであって、その目的は、車両の周辺領域に存在する実際の検出対象物を、視認者が知覚し易いように報知することができる車両用表示装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載の発明では、車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置であって、赤外線を検知することにより周辺領域を撮影する撮像手段から、周辺画像を取得する画像取得手段と、画像取得手段によって取得された周辺画像の各画素について、各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、検出対象物の画像の輪郭を検出する輪郭検出手段と、輪郭検出手段によって検出された輪郭に沿うように、強調画像としての外形線画像を生成する外形線画像生成手段と、外形線画像生成手段によって生成された外形線画像と輪郭とが重なるように、外形線画像を周辺画像に重畳して表示する表示手段と、を備えることを特徴とする。
【０００９】
この発明のように、周辺領域を撮影した周辺画像では、検出対象物の画像と背景となる周辺領域の画像との間において、輝度の差分が拡大し易い。これは、周辺領域により放射及び反射される赤外線の量と検出対象物により放射及び反射される赤外線の量とが異なることに起因する。故に、周辺画像の各画素について、各画素とそれら各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出した場合、この輝度勾配の強度は、検出対象物の画像の輪郭となる画素において、大きな値を示す。故に、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、輪郭検出手段は、検出対象物の画像の輪郭を検出することができる。以上のようにして輪郭が検出されることにより、外形線画像生成手段は、輪郭に沿うような形状の外形線画像を生成できる。そして、外形線画像は、検出対象物の画像の輪郭と重なるように周辺画像に重畳され、周辺画像と共に表示手段に表示される。
【００１０】
以上のようにして表示される外形線画像は、検出対象物の形状に対応している。故に、周辺画像中に小さく表示された検出対象物の画像に外形線画像が重ねられた場合であっても、外形線画像は、検出対象物の形状を視認者に分り易く示すことに貢献し得る。加えて、表示手段には、外形線画像と共に周辺画像も表示される。故に、表示手段に表示される周辺画像と実際の周辺領域とを視認者が対応させ易くなることにより、外形線画像は、存在を強調したい検出対象物の周辺領域における位置を、当該視認者に分り易く示すことに貢献し得る。これらにより、車両用表示装置は、検出対象物の画像に外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者が知覚し易いように、報知を行うことができる。
【００１１】
請求項２に記載の発明では、車両用表示装置は、周辺画像から予め設定されたサイズの検出用画像を順に切り出し、各検出用画像に検出対象物の画像が含まれているか否かを判定することにより、周辺画像から検出対象物の画像を検出する対象物検出手段、をさらに備え、輪郭検出手段は、周辺画像から切り出された複数の検出用画像のうち、対象物検出手段によって検出対象物の画像が含まれていると判定された検出用画像について、検出対象物の画像の輪郭を検出することを特徴とする。
【００１２】
この発明によれば、周辺画像から順に切り出された複数の検出用画像のうち、検出対象物の画像が含まれていると判定された検出用画像について、輪郭検出手段は、検出対象物の画像の輪郭を検出する。検出対象物の画像近傍の画素に絞って輪郭の検出が行われることにより、輪郭検出手段は、検出対象物以外の画像の輪郭を誤って検出し難くなる。以上により、周辺画像に映る検出対象物の画像に外形線画像が正確に重畳されるようになるので、視認者は、表示手段に表示された検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、実際の検出対象物の存在を視認者にさらに分り易く報知できる。
【００１３】
請求項３に記載の発明では、対象物検出手段は、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて各検出用画像に検出対象物の画像が含まれているか否かを判定し、輪郭検出手段は、対象物検出手段によって算出された輝度勾配の強度を取得し、この輝度勾配の強度を用いることにより、検出対象物の画像の輪郭を検出することを特徴とする。
【００１４】
切り出された各検出用画像に検出対象物の画像が含まれているか否かを判定するための様々な手法が、一般には知られている。その中には、この発明のように、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて、各検出用画像に検出対象物の画像が含まれているか否かを判定する、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いた手法がある（参考文献：三井相和、外２名、「Ｊｏｉｎｔ ＨＯＧ特徴を用いた２段階ＡｄａＢｏｏｓｔによる人検出」、第１４回画像センシングシンポジウム、２００８）。
【００１５】
この発明では、対象物検出手段が既に各画素の輝度勾配の算出処理をしているので、輪郭検出手段は、輝度勾配の強度を対象物検出手段から取得することにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出手段における処理の省略により、外形線画像は、周辺画像に映る検出対象物の画像にすみやかに重畳されるようになる。検出対象物の画像に外形線画像が即座に重畳されるので、視認者は、外形線画像及び検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、周辺領域の検出対象物の存在を視認者にさらに分り易く報知できる。
【００１６】
請求項４に記載の発明では、外形線画像生成手段は、周辺画像に映る検出対象物の画像が小さくなるほど、検出対象物の画像に沿う外形線画像を細く生成することを特徴とする。
【００１７】
この発明において、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像に外形線画像を重畳する場合、外形線画像は、線が潰れてしまうことにより、検出対象物の仔細な形状を示せなくなるおそれがある。そこで、検出対象物の画像が小さくなるほど外形線画像の線を細くすることにより、外形線画像は、線の潰れを回避でき、検出対象物の形状を視認者に確実に示すことができる。したがって、車両用表示装置は、外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者がさらに知覚し易いように、報知を行うことができる。
【００１８】
請求項５に記載の発明では、外形線画像生成手段は、外形線画像によって囲まれた領域を塗り潰す、強調画像としての塗潰し画像をさらに生成し、表示手段は、外形線画像及び塗潰し画像が検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を周辺画像に重畳して表示することを特徴とする。
【００１９】
上述したように、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像は、外形線画像が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで、外形線画像によって囲まれた領域を塗り潰す塗潰し画像が、外形線画像と共に検出対象物の画像に重ねられる。塗潰し画像によって周辺画像に重畳される画像の面積が拡大するので、外形線画像及び塗潰し画像によって覆われた検出対象物の画像は、さらに強調され、視認者に見逃され難くなる。したがって、車両用表示装置は、車両からの距離が離れているうちに、検出対象物の存在を視認者に分り易く且つ確実に報知することができるようになる。
【００２０】
請求項６に記載の発明では、画像取得手段は、近赤外線を検知することにより周辺領域を撮影する撮像手段としての近赤外線カメラから、周辺画像を取得することを特徴とする。
【００２１】
赤外線のうちで波長が短い（０．７〜２．５マイクロメートル程度）近赤外線を検知する近赤外線カメラによる周辺画像では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる周辺画像よりも、検出対象物の画像の輪郭が曖昧になり易い。故に、近赤外線カメラを用いて周辺画像を撮像する形態では、検出対象物の輪郭に沿う外形線画像によって検出対象物の形状が視認者に分り易く示される作用は、顕著に発揮される。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、近赤外線カメラを備えた車両用表示装置による報知を分り易くするために、特に有効なのである。
【００２２】
請求項７に記載の発明では、輪郭検出手段は、検出対象物である人間の画像の輪郭を検出することを特徴とする。
【００２３】
この発明によれば、赤外線を検知する撮像手段によって生成された周辺画像において、熱を放射している人間の画像は、背景の画像と比較して、輝度が高くなる傾向にある。故に、検出対象物である人間の画像の輪郭は、輪郭検出手段によって正確に検出され易い。以上により、外形線画像は、人間の画像に正確に重ねられて、検出対象物としての人間の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、検出対象物として人間を検出する形態の車両用表示装置に、特に好適なのである。
【図面の簡単な説明】
【００２４】
【図１】本発明の第一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図２】歩行者画像に外形線画像が重畳された前方画像を説明するための図であって、（ａ）は車両近傍に歩行者が存在する場合の図であり、（ｂ）は（ａ）よりも車両から離間した位置に歩行者が存在する場合の図である。
【図３】外形線画像が重畳された人物画像を説明するための図であって、図２（ａ）の領域ＩＩＩを模式的に拡大した図である。
【図４】前方画像に外形線画像を重畳して表示するための処理が示されるフローチャートである。
【図５】本発明の第二実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図６】歩行者画像に外形線画像及び塗潰し画像が重畳された前方画像を説明するための図である。
【図７】前方画像に外形線画像及び塗潰し画像を重畳して表示するための処理が示されるフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【００２６】
（第一実施形態）
図１には、本発明の第一実施形態によるナイトビュー装置１００の構成が示されている。ナイトビュー装置１００は、図２（ａ）及び（ｂ）に示されるような車両の前方領域を撮影した前方画像５０から、当該前方領域に存在する歩行者等の検出対象物の画像５１（以下、歩行者画像 図３参照）を検出する。そして、ナイトビュー装置１００は、歩行者画像５１を強調するための強調画像５２を、当該歩行者画像５１に重畳して表示する。以下、図１〜図３に基づいて、ナイトビュー装置１００の構成及びナイトビュー装置１００によって表示される画像について説明する。
【００２７】
ナイトビュー装置１００は、近赤外線カメラ１０と接続されている。ナイトビュー装置１００は、近赤外線カメラ１０から前方画像５０を取得する画像処理回路２０、及び画像処理回路２０によって生成された画像を表示する液晶ディスプレイ４０を備えている。
【００２８】
近赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の周辺領域のうち、特に車両の前方領域を撮影する。近赤外線カメラ１０は、波長が０．７〜２．５マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。近赤外線カメラ１０が搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域に向けて近赤外線を投光する近赤外線投光器１１が設置されている。近赤外線カメラ１０は、近赤外線投光器１１と接続されており、前方領域の撮影を開始すると共に、近赤外線投光器１１に投光を開始させる。近赤外線カメラ１０は、前方領域の物体により反射された近赤外線を検知することにより、周辺画像としての前方画像５０を生成する。近赤外線カメラ１０は、生成した前方画像５０を、画像処理回路２０に向けて逐次出力する。
【００２９】
画像処理回路２０は、近赤外線カメラ１０及び液晶ディスプレイ４０と接続されている。画像処理回路２０は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。加えて画像処理回路２０は、接続された種々の車載装置との間で情報をやりとりするためのインターフェースを備えている。
【００３０】
以上の構成による画像処理回路２０は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして画像取得部３１、対象物検出部３３、輪郭検出部３５、外形線画像生成部３７、及び合成処理部３９を有する。画像取得部３１は、近赤外線カメラ１０から前方画像５０を取得し、対象物検出部３３に出力する。
【００３１】
対象物検出部３３は、歩行者画像５１の形状の特徴と統計的手法とを組み合わせて用いることにより、取得した前方画像５０から歩行者画像５１を検出する。対象物検出部３３は、画像取得部３１によって取得された前方画像５０の各画素について、輝度勾配を算出する。輝度勾配は、各画素と、その画素に鉛直方向及び水平方向に隣接する四つの画素との間における輝度Ｉの差分に基づいており、具体的には、以下の数式（１）によって勾配の強度が算出され、数式（２）によって勾配の方向が算出される。
【数１】
【数２】
【数３】
【００３２】
尚、上式において、Ｉ（ｘ，ｙ）は、前方画像５０における座標（ｘ，ｙ）の輝度値である。これらｘ及びｙは、それぞれ、１≦ｘ≦（水平方向における前方画像の画素数−２），１≦ｙ≦（鉛直方向における前方画像の画素数−２）である。また、ｘ≦０又はｘ≧（水平方向における前方画像の画素数−１）、或いはｙ≦０又はｙ≧（鉛直方向における前方画像の画素数−１）のとき、輝度強度ｍ（ｘ，ｙ）＝０となる。
【００３３】
次に対象物検出部３３は、算出した輝度勾配に基づいて、歩行者画像５１を検出する検出処理を行う。対象物検出部３３は、探索ウィンドウ５５を用いて、予め設定されたサイズの検出用画像５６を前方画像５０から順に切り出す。対象物検出部３３は、探索ウィンドウ５５を前方画像５０の水平方向及び鉛直方向に徐々に移動させつつ（図２（ａ）破線の矢印を参照）、当該探索ウィンドウ５５によって囲まれた範囲の画像を検出用画像５６として切り出していく。探索ウィンドウ５５が右下まで到達した場合、対象物検出部３３は、探索ウィンドウ５５のサイズを縮小させ、再び前方画像５０からの検出用画像５６の切り出しを行う。尚、前方画像５０において主に空が撮影される領域は、探索ウィンドウ５５の移動範囲から除かれている。
【００３４】
次に対象物検出部３３は、切り出した各検出用画像５６のＨＯＧ特徴量を抽出する。ＨＯＧ特徴量は、各検出用画像５６において水平方向及び垂直方向にそれぞれ例えば５画素分の領域を一つのセル５９と規定し（図３参照）、一つのセル５９に含まれる画素の輝度勾配の方向（数式（２）参照）をヒストグラム化したものである。加えて対象物検出部３３は、互いに隣接する複数のセル５９をまとめたものを１ブロックとし、ブロック毎に各セル５９のＨＯＧ特徴量を正規化する。そして対象物検出部３３は、抽出及び正規化した各セル５９のＨＯＧ特徴量を、ＡｄａＢｏｏｓｔによって予め構築された識別器に入力し、各検出用画像５６に歩行者画像５１が含まれているか否かを判定する。
【００３５】
ここで、上述した検出処理において対象物検出部３３が判定に用いる識別器は、学習用に予め用意された多数のサンプル画像から、歩行者画像５１の形状の特徴を学習することによって構築されている。以下、二段階のＡｄａＢｏｏｓｔによって、識別器に歩行者画像５１の形状の特徴を学習させる方法を詳しく説明する。
【００３６】
一段階目のＡｄａＢｏｏｓｔでは、各サンプル画像において、位置の異なる二つのセル５９のＨＯＧ特徴量を組み合わせたＪｏｉｎｔ ＨＯＧ特徴量をまず生成する。そして、各組み合わせにおけるＪｏｉｎｔ ＨＯＧ特徴量の中から、一段階目のＡｄａＢｏｏｓｔによって、歩行者画像５１の識別に有効な特徴量に重み付けがなされる。具体的には、歩行者画像５１特有の頭部から肩部にかけてのΩ状の輪郭形状及び左右の対称性等を反映したようなＪｏｉｎｔ ＨＯＧ特徴量について、重み付けが大きくされる。この一段階目のＡｄａＢｏｏｓｔによって、サンプル画像のセル５９の組み合わせ数に対応した複数の識別器が構築される。
【００３７】
二段階目のＡｄａＢｏｏｓｔでは、一段階目のＡｄａＢｏｏｓｔによって構築された複数の識別器の重み付けがなされる。具体的には、複数の識別器のうち、歩行者画像５１の識別に適したセル５９の組み合わせから構築された識別器について、重み付けが大きくされる。以上により、対象物検出部３３によって歩行者画像５１の検出に用いられる最終的な識別器は構築される。
【００３８】
対象物検出部３３は、歩行者画像５１が含まれていると判定した検出用画像５６について、各画素の輝度勾配の強度を輪郭検出部３５に出力する。さらに対象物検出部３３は、歩行者画像５１が含まれていると判定した検出用画像５６のサイズを外形線画像生成部３７に出力すると共に、前方画像５０における当該検出用画像５６の位置を合成処理部３９に出力する。
【００３９】
輪郭検出部３５は、対象物検出部３３から取得した検出用画像５６であって、複数の検出用画像５６のうちで対象物検出部３３によって歩行者画像５１が含まれていると判定された検出用画像５６について、歩行者画像５１の輪郭５１ａを検出する。輪郭検出部３５は、まず各画素の輝度勾配の強度（数式（１）参照）を算出する。本実施形態における輪郭検出部３５は、実際の輝度勾配の強度を算出する算出処理に替えて、対象物検出部３３によって既に計算された輝度勾配を取得する取得処理を行う。輪郭検出部３５は、対象物検出部３３から取得した輝度勾配の強度を用いることにより、検出用画像５６の各画素から、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出する。
【００４０】
ここで、前方領域により反射される近赤外線の量と、人物により反射される近赤外線の量とが異なることに起因して、前方画像５０では、歩行者画像５１と背景となる画像との間において、輝度の差分が拡大し易い。故に、検出用画像５６の各画素について輝度勾配を算出した場合、輝度勾配の強度は、歩行者画像５１の輪郭となる画素において、大きな値を示す。故に、輪郭検出部３５は、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像５１の輪郭５１ａを検出することができる。
【００４１】
外形線画像生成部３７は、前方画像５０が描画されるレイヤとは別のレイヤに、外形線画像５３を描画する。外形線画像５３は、前方画像５０に映る歩行者画像５１を強調するための強調画像５２である。外形線画像５３は、輪郭検出部３５によって検出された歩行者画像５１の輪郭５１ａに沿うように生成される。外形線画像５３は、視認者によって近くされ易いよう、彩度及び明度の高い例えば赤色又は黄色によって描画される。外形線画像生成部３７は、対象物検出部３３から取得した検出用画像５６のサイズに基づき、外形線画像５３の線の太さを調整する調整処理を実施する。外形線画像生成部３７は、輪郭５１ａが検出された検出用画像５６のサイズが小さくなるほど、外形線画像５３を細く生成する。これにより、車両からの距離が離れており、前方画像５０に小さく映る歩行者画像５１ほど、重ねられる外形線画像５３は、細い線によって描画されるようになる。尚、外形線画像５３を太くする場合、外形線画像５３の線は、当該外形線画像５３によって囲まれた領域の内周側に拡大される。
【００４２】
合成処理部３９は、対象物検出部３３によって歩行者画像５１が検出された場合に、前方画像５０に外形線画像５３を重畳する合成処理を行う。具体的に、合成処理部３９は、対象物検出部３３から取得した検出用画像５６の位置情報に基づき、外形線画像５３と歩行者画像５１の輪郭５１ａとが重なるように、外形線画像５３が描画されたレイヤを、前方画像５０が描画されたレイヤに、重畳する。合成処理部３９は、外形線画像５３が重畳された前方画像５０を、液晶ディスプレイ４０に向けて逐次出力する。尚、対象物検出部３３によって歩行者画像５１が検出されていない場合には、合成処理部３９は、前方画像５０を液晶ディスプレイ４０に向けて逐次出力する。
【００４３】
液晶ディスプレイ４０は、表示面に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ４０は、図２に示される正面側を運転席側に向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。液晶ディスプレイ４０は、表示面に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ４０は、画像処理回路２０の合成処理部３９から逐次取得した前方画像５０を連続的に表示することにより、前方領域の様子を動画により視認者に提供することができる。
【００４４】
ここまで説明したナイトビュー装置１００が、外形線画像５３の重畳された前方画像５０を液晶ディスプレイ４０に表示する処理を、図４に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置１００の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置１００の作動の開始と共に、画像処理回路２０によって実施される。画像処理回路２０による処理は、ユーザの操作に基づいてナイトビュー装置１００の作動が停止されるまで、繰り返される。
【００４５】
Ｓ１０１では、近赤外線カメラ１０から前方画像５０を取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得した前方画像５０の各画素について、輝度勾配を算出し、Ｓ１０３に進む。Ｓ１０３では、前方画像５０から歩行者画像５１を検出する検出処理を実施し、Ｓ１０４に進む。
【００４６】
Ｓ１０４では、Ｓ１０３にて実施した検出処理により、前方画像５０から歩行者画像５１を検出したか否かを判定する。Ｓ１０４おいて、歩行者画像５１を検出した場合、Ｓ１０５に進む。一方、Ｓ１０４において、歩行者画像５１を検出しなかった場合、Ｓ１１１に進む。
【００４７】
Ｓ１０５では、歩行者画像５１が含まれていると判定した検出用画像５６について、Ｓ１０２において算出された各画素の輝度勾配の強度と、予め設定された閾値との比較を開始し、Ｓ１０６に進む。Ｓ１０６では、歩行者画像５１を含む検出用画像５６うちの一つの画素について、算出された輝度勾配の強度が、閾値以上であるか否かを判定する。Ｓ１０６において、一つの画素の輝度勾配の強度が、閾値以上であると判定した場合、Ｓ１０７に進む。一方、Ｓ１０６において、一つの画素の輝度勾配の強度が、閾値未満であると判定した場合、Ｓ１０８に進む。
【００４８】
Ｓ１０７では、閾値以上であると判定された画素が着色されて液晶ディスプレイ４０に表示されるよう、外形線画像５３が描画されるレイヤにおいて、当該画素に対応する位置の画素の階調情報を更新し、Ｓ１０８に進む。これにより、外形線画像５３が描画されるレイヤにおいて、歩行者画像５１の輪郭５１ａに重畳される画素は、外形線画像５３の色によって着色される。
【００４９】
Ｓ１０８では、Ｓ１０５において比較を開始した一つ又は複数の検出用画像５６について、全ての画素の輝度勾配の強度と、閾値との比較が終了したか否かを判定する。Ｓ１０８において、全ての画素について比較を終了したと判定した場合、Ｓ１０９に進む。一方、比較が終了していない画素があると判定した場合、Ｓ１０６に戻り、他の画素について、輝度勾配の強度と閾値との比較を繰り返す。以上のＳ１０６〜Ｓ１０８の処理が繰り返されることにより、外形線画像５３は描画される。
【００５０】
Ｓ１０９では、Ｓ１０６〜Ｓ１０８の処理によって描画された外形線画像５３の太さを調整する調整処理を行い、Ｓ１１０に進む。Ｓ１１０では、Ｓ１０９までの処理によって外形線画像５３が描画されたレイヤを、前方画像５０が描画されたレイヤに重畳し、Ｓ１１１に進む。Ｓ１１１では、外形線画像５３が重畳された前方画像５０又は前方画像５０のみを液晶ディスプレイ４０に出力し、Ｓ１０１に戻る。Ｓ１０１〜Ｓ１１１の処理が繰り返されることにより、液晶ディスプレイ４０には前方画像５０が連続的に出力される。これにより液晶ディスプレイ４０には、前方領域の様子が動画として映し出される。
【００５１】
ここまで説明した第一実施形態によれば、前方画像５０の各画素間における輝度差に基づいて、画像処理回路２０は、歩行者画像５１の輪郭５１ａに沿うような形状の外形線画像５３を生成できる。この外形線画像５３は、歩行者の形状に対応しているので、前方画像５０中に小さく表示された歩行者画像５１に外形線画像５３が重ねられた場合であっても、歩行者の形状を視認者に分り易く示すことができる。
【００５２】
加えて、液晶ディスプレイ４０には、外形線画像５３と共に、近赤外線カメラ１０によって撮影されたままの前方画像５０が表示される。故に、液晶ディスプレイ４０に表示される前方画像５０と、視認者の視界に映る実際の前方領域とを、視認者は対応させ易くなる。これにより、外形線画像５３は、重畳される歩行者画像５１に対応する歩行者であって、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができるようになる。したがって、ナイトビュー装置１００は、歩行者画像５１に外形線画像５３が重畳された前方画像５０によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
【００５３】
加えて第一実施形態では、画像処理回路２０は、前方画像５０から順に切り出された複数の検出用画像５６のうち、歩行者画像５１が含まれていると判定された検出用画像５６について、輪郭５１ａの検出を行う。歩行者画像５１近傍の画素に絞って輪郭５１ａの検出が行われることにより、画像処理回路２０は、歩行者画像５１以外の輪郭を誤って検出し難くなる。加えて、輪郭５１ａを検出する対象となる画素を低減できるので、歩行者画像５１の輪郭５１ａを検出する処理は、高速化される。
【００５４】
以上により、歩行者画像５１に外形線画像５３が正確且つ高速に重畳されるようになるので、視認者は、液晶ディスプレイ４０に表示された歩行者画像５１から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置１００は、実際の歩行者等の存在を、視認者にさらに分り易く報知できる。
【００５５】
また第一実施形態では、画像処理回路２０は、対象物検出部３３によって各画素の輝度勾配の算出処理をしているので、輪郭検出部３５に輝度勾配の強度を対象物検出部３３から取得させることにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出部３５における処理の省略により、外形線画像５３は、前方画像５０に映る歩行者画像５１にすみやかに重畳されるようになる。歩行者画像５１に外形線画像５３が即座に重ねられるので、視認者は、これら歩行者画像５１及び外形線画像５３から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置１００は、前方領域の歩行者等の存在を視認者にさらに分り易く報知できる。
【００５６】
さらに第一実施形態のように、近赤外線カメラ１０によって撮影された前方画像５０では、車両からの距離が離れるほど、歩行者画像５１は小さく映るようになる。故に、前方画像５０に小さく映る歩行者画像５１に外形線画像５３を重畳する場合、当該外形線画像５３は、線が潰れてしまうことにより、人物の仔細な形状を示せなくなるおそれがある。そこで、歩行者画像５１が小さくなるほど外形線画像５３を細く描画することにより、当該外形線画像５３は、線の潰れを回避でき、人物の形状を視認者に確実に示すことができる。したがって、ナイトビュー装置１００は、外形線画像５３が重畳された前方画像５０によって、実際の歩行者等を視認者がさらに知覚し易いように、報知を行うことができる。
【００５７】
また加えて第一実施形態のように、赤外線のうちで波長が短い近赤外線を検知する近赤外線カメラ１０による前方画像５０では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる前方画像よりも、歩行者画像５１の輪郭５１ａが曖昧になり易い。故に、近赤外線カメラ１０を用いて前方画像５０を撮像する第一実施形態では、歩行者画像５１の輪郭５１ａに沿う外形線画像５３によって人物の形状が視認者に分り易く示される作用は、顕著に発揮される。このように、歩行者等の形状に対応した外形線画像５３を前方画像５０に重畳する構成は、近赤外線カメラ１０を備えたナイトビュー装置１００による報知を分り易くするために、特に有効なのである。
【００５８】
さらに加えて、前方画像５０では、複数の歩行者画像５１が重なることがある（図２（ａ）の中央部分の歩行者画像５１を参照）。多くの場合において、各歩行者の着ている衣服の色の明るさが互いに異なっていたり、又は各歩行者が互いに離れていたりしているので、前方画像５０において重なる二つの歩行者画像５１の間には、輝度の差が生じ得る。ここで、第一実施形態による画像処理回路２０は、各画素間における輝度差に基づいて、歩行者画像５１の輪郭５１ａに沿うような形状の外形線画像５３を生成できる。故に、画像処理回路２０は、多くの場合において、互いに重なる歩行者画像５１のそれぞれに対して、輪郭５１ａに沿う外形線画像５３を生成することができる。以上により、前方画像５０に重なって表示されるために、複数の歩行者の存在が分り辛い場合あっても、ナイトビュー装置１００は、前方領域に複数の歩行者が存在していることを、視認者に分り易く報知できる。
【００５９】
またさらに第一実施形態では、近赤外線を検知する近赤外線カメラ１０によって生成された前方画像５０において、熱を放射している歩行者を映した歩行者画像５１は、背景の画像と比較して、輝度が高くなる。故に、歩行者画像５１の輪郭５１ａは、画像処理回路２０によって正確に検出され易い。以上により、外形線画像５３は、歩行者画像５１に正確に重ねられて、当該歩行者画像５１に対応する実際の歩行者の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像５３を前方画像５０に重畳する構成は、検出対象物として歩行者等の人間を検出する形態のナイトビュー装置１００に、特に好適なのである。
【００６０】
尚、第一実施形態において、近赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部３１が特許請求の範囲に記載の「画像取得手段」に相当し、対象物検出部３３が特許請求の範囲に記載の「対象物検出手段」に相当し、輪郭検出部３５が特許請求の範囲に記載の「輪郭検出手段」に相当し、外形線画像生成部３７が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部３９及び液晶ディスプレイ４０が特許請求の範囲に記載の「表示手段」に相当し、前方画像５０が特許請求の範囲に記載の「周辺画像」に相当し、歩行者画像５１が特許請求の範囲に記載の「検出対象物の画像」及び「人間の画像」に相当し、ナイトビュー装置１００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００６１】
（第二実施形態）
図５〜図７に示される本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態によるナイトビュー装置２００は、第一実施形態の近赤外線カメラ１０（図１参照）に相当する撮像手段として、遠赤外線カメラ２１０と接続されている。加えてナイトビュー装置２００は、第一実施形態の液晶ディスプレイ４０（図１参照）に相当する表示手段として、ヘッドアップディスプレイ２４０を備えている。以下、図５〜図７に基づいて、第二実施形態によるナイトビュー装置２００について詳細に説明する。
【００６２】
遠赤外線カメラ２１０は、波長が２０〜１００マイクロメートル程度の遠赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。一般に遠赤外線カメラ２１０は、検出対象物である歩行者等から放射される赤外線のエネルギーを検知して前方画像２５０を生成する。故に、撮影のための赤外線を投光する近赤外線投光器１１（図１参照）に相当する構成は、省略され得る。遠赤外線カメラ２１０は、生成した前方画像２５０を、画像処理回路２２０に向けて逐次出力する。
【００６３】
ヘッドアップディスプレイ２４０は、車両のウィンドスクリーンに予め規定された投影範囲に、前方画像２５０を投影する。この投影範囲は、ウィンドスクリーンにおいて、例えば運転席に着座した視認者と前後方向に相対する位置に規定される。ヘッドアップディスプレイ２４０は、前方画像２５０の投影方向をウィンドスクリーンに向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。ヘッドアップディスプレイ２４０は、画像処理回路２２０から逐次取得した前方画像２５０を連続的に投影することにより、前方領域の様子を動画により表示することができる。
【００６４】
第二実施形態による前方画像２５０には、強調画像２５２として、外形線画像５３に加えて、塗潰し画像２５４が重畳される。塗潰し画像２５４は、外形線画像５３によって囲まれた領域を、当該外形線画像５３と同じ色（例えば赤色又は黄色）によって塗り潰す画像である。これら外形線画像５３及び塗潰し画像２５４は、歩行者画像５１に重なるように前方画像２５０に重畳されて、ウィンドスクリーンに投影される。
【００６５】
以上のような表示を実現するため、第二実施形態による画像処理回路２２０は、図７に示されるような処理を行う。図７に示される処理において、Ｓ２０１〜Ｓ２０８は、第一実施形態におけるＳ１０１〜Ｓ１０８と実質的に同一である。
【００６６】
Ｓ２０９では、外形線画像生成部２３７によって、外形線画像５３が描画されるレイヤに、外形線画像５３によって囲まれた領域を塗り潰す塗潰し画像２５４を描画し、Ｓ２１０に進む。Ｓ２１０では、合成処理部２３９によって、外形線画像５３及び塗潰し画像２５４が描画されたレイヤを、前方画像２５０が描画されたレイヤに重畳し、Ｓ２１１に進む。Ｓ２１１では、外形線画像５３及び塗潰し画像２５４が重畳された前方画像２５０又は前方画像２５０のみをヘッドアップディスプレイ２４０に出力し、Ｓ２０１に戻る。以上のより、ヘッドアップディスプレイ２４０によって、ウィンドウシールドには前方領域の様子が動画として投影される。
【００６７】
ここまで説明した第二実施形態でも、外形線画像５３は、歩行者の形状に対応している。故に、塗潰し画像２５４と共に前方画像２５０に重畳される外形線画像５３であっても、歩行者の形状は、視認者に分り易く示され得る。加えて、塗潰し画像２５４によって覆われた領域を除けば、遠赤外線カメラ２１０によって撮影されたままの前方画像２５０が、投影によりウィンドウシールドに表示される。故に、視認者は、ウィンドウシールドに投影される前方画像２５０と、視界に映る実際の前方領域とを対応させ易くなる。これにより、外形線画像５３は、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができる。したがって、ナイトビュー装置２００は、歩行者画像５１に外形線画像５３が重畳された前方画像２５０によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
【００６８】
加えて、歩行者は、車両からの距離が離れるほど、前方画像２５０に小さく映るようになる。故に、前方画像２５０に小さく映る歩行者画像５１は、外形線画像５３が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで第二実施形態では、外形線画像５３と共に塗潰し画像２５４が前方画像２５０に重ねられることにより、前方画像２５０に重畳される強調画像２５２の面積が、拡大される。これにより、外形線画像５３及び塗潰し画像２５４によって覆われた歩行者画像５１は、さらに強調され、視認者に見逃され難くなる。したがって、ナイトビュー装置２００は、車両からの距離が離れているうちに、歩行者の存在を視認者に分り易く且つ確実に報知することができるようになる。
【００６９】
また第二実施形態のように、遠赤外線カメラ２１０によって撮影された前方画像２５０においては、歩行者画像５１の輪郭５１ａは、明確になり易い。故に、画像処理回路２２０は、歩行者画像５１の輪郭５１ａを正確に検出し、歩行者画像５１に外形線画像５３及び塗潰し画像２５４を正確に重畳し得る。以上により、ナイトビュー装置２００は、実際の歩行者の存在を、正確且つ確実に視認者に報知することができる。
【００７０】
さらに第二実施形態では、前方画像２５０は、ヘッドアップディスプレイ２４０によってウィンドウシールドに投影される。これにより、前方画像２５０と実際の前方領域との間における視認者の視点移動は低減される。故に、視認者は、前方画像２５０と視界に映る実際の前方領域とを、さらに対応させ易くなる。このように、ナイトビュー装置２００は、表示手段としてヘッドアップディスプレイ２４０を備えることにより、視認者による歩行者等の知覚を、さらに効果的に補助することができる。
【００７１】
尚、第二実施形態において、遠赤外線カメラ２１０が特許請求の範囲に記載の「撮像手段」に相当し、外形線画像生成部２３７が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部２３９及びヘッドアップディスプレイ２４０が特許請求の範囲に記載の「表示手段」に相当し、前方画像２５０が特許請求の範囲に記載の「周辺画像」に相当し、ナイトビュー装置２００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００７２】
（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００７３】
上記実施形態において、画像処理回路２０は、歩行者画像５１が含まれた検出用画像５６について、歩行者画像５１の輪郭５１ａを検出する処理をしていた。しかし、画像処理回路は、歩行者が含まれていると判定された検出用画像５６に限らず、前方画像５０の全域について、歩行者画像の輪郭を検出する処理を行ってもよい。
【００７４】
上記実施形態において、対象物検出部３３は、Ｊｏｉｎｔ ＨＯＧ特徴量を用いた二段階ＡｄａＢｏｏｓｔによって構築された識別器に基づいて、前方画像５０から歩行者画像５１を検出していた。しかし、ナイトビュー装置が歩行者画像５１を検出するための識別器は、上記実施形態によるものに限定されない。例えば、対象物検出部は、単一のＨＯＧ特徴量を用いたＡｄａＢｏｏｓｔによって構築された識別器に基づいて、前方画像から歩行者画像を検出してもよい。又は、ＨＯＧ特徴量のような輝度勾配ではなく、平均輝度に基づくＨａａｒ‐Ｌｉｋｅ特徴量を用いて歩行者画像の特徴的な形状を学習させる、Ｖｉｏｌａ＆Ｊｏｎｅｓ法によって、歩行者画像を検出するための識別器が構築されていてもよい。
【００７５】
上記実施形態において、輪郭検出部３５の機能の一部は、対象物検出部３３によって兼ねられていた。具体的には、輪郭検出部３５は、対象物検出部３３によって算出された輝度勾配の強度を取得することにより、輝度勾配の強度を算出するための算出処理を省略していた。しかし、上述したようにＶｉｏｌａ＆Ｊｏｎｅｓ法によって構築された識別器に基づいて対象物検出部が検出処理を行う形態では、輪郭検出部が、輝度勾配の強度を算出してもよい。又は、対象物検出部によって輝度勾配の強度が算出される形態であっても、輪郭検出部は、輝度勾配の強度を自ら算出してもよい。
【００７６】
上記第一実施形態において、外形線画像５３の太さは、前方画像５０における歩行者画像５１の大きさに応じて調整されていた。しかし、歩行者画像の大きさにかかわらず、同じ太さの外形線画像、歩行者画像に重畳される形態であってもよい。また、上記第二実施形態では、外形線画像５３によって囲まれた領域は、塗潰し画像２５４によって塗り潰されていた。しかし、例えば、塗潰し画像は、歩行者画像が小さく、視認者によって視認され難い場合に限り、歩行者画像に重畳される形態であってもよい。さらに、外形線画像及び塗潰し画像の色は、視認者に知覚され易ければ、上記実施形態のものに限定されない。
【００７７】
上記実施形態において、画像処理回路２０は、前方画像５０と外形線画像５３とを、一旦異なるレイヤに描画したうえで、これらのレイヤを重ねる処理を行うことにより、外形線画像を前方画像に重畳していた。しかし、画像処理回路は、前方画像において歩行者画像の輪郭として抽出された画素の階調データを直接的に更新することにより、外形線画像を前方画像に重畳する形態であってもよい。
【００７８】
上記実施形態において、ナイトビュー装置は、表示手段の一部として、液晶ディスプレイ又はヘッドアップディスプレイを備えていた。しかし、ナイトビュー装置の表示手段は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
【００７９】
上記実施形態では、画像処理回路２０によってプログラムが実行されることにより、機能ブロックとしての対象物検出部３３及び輪郭検出部３５等が構成される形態であった。しかし、これら対象物検出部３３及び輪郭検出部３５等の機能が、それぞれ別の回路によって果たされる形態であってもよい。これら対象物検出部３３及び輪郭検出部３５等として機能する回路は、画像処理回路２０のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
【００８０】
上記実施形態において、ナイトビュー装置は、前方領域を撮影する撮像手段から前方画像を取得していた。しかし、ナイトビュー装置は、車両の周辺領域であれば、車両の後方領域又は側方領域の画像から、歩行者等の検出対象物の画像を検出してもよい。また、上記実施形態では、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として設定されていてもよい。
【符号の説明】
【００８１】
１０ 近赤外線カメラ（撮像手段）、２１０ 遠赤外線カメラ（撮像手段）、１１ 近赤外線投光器、２０，２２０ 画像処理回路、３１ 画像取得部（画像取得手段）、３３ 対象物検出部（対象物検出手段）、３５ 輪郭検出部（輪郭検出手段）、３７，２３７ 外形線画像生成部（外形線画像生成手段）、３９，２３９ 合成処理部（表示手段）、４０ 液晶ディスプレイ（表示手段）、２４０ ヘッドアップディスプレイ（表示手段）、５０ 前方画像（周辺画像）、５１ 歩行者画像（検出対象物の画像，人間の画像）、５１ａ 輪郭、５２ 強調画像、５３ 外形線画像、５５ 探索ウィンドウ、２５４ 塗潰し画像、５６ 検出用画像、５９ セル、１００，２００ ナイトビュー装置（車両用表示装置）
【特許請求の範囲】
【請求項１】
車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前記周辺画像に重畳して表示する車両用表示装置であって、
赤外線を検知することにより前記周辺領域を撮影する前記撮像手段から、前記周辺画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記周辺画像の各画素について、前記各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、前記輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、前記検出対象物の画像の輪郭を検出する輪郭検出手段と、
前記輪郭検出手段によって検出された前記輪郭に沿うように、前記強調画像としての外形線画像を生成する外形線画像生成手段と、
前記外形線画像生成手段によって生成された前記外形線画像と前記輪郭とが重なるように、前記外形線画像を前記周辺画像に重畳して表示する表示手段と、
を備えることを特徴とする車両用表示装置。
【請求項２】
予め設定されたサイズの検出用画像を前記周辺画像から順に切り出し、前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定することにより、前記周辺画像から前記検出対象物の画像を検出する対象物検出手段、をさらに備え、
前記輪郭検出手段は、前記周辺画像から切り出された複数の前記検出用画像のうち、前記対象物検出手段によって前記検出対象物の画像が含まれていると判定された前記検出用画像について、前記検出対象物の画像の輪郭を検出することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記対象物検出手段は、前記周辺画像の各画素について前記輝度勾配を算出し、前記各画素の前記輝度勾配に基づいて前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定し、
前記輪郭検出手段は、前記対象物検出手段によって算出された前記輝度勾配の強度を取得し、当該輝度勾配の強度を用いることにより、前記検出対象物の画像の前記輪郭を検出することを特徴とする請求項２に記載の車両用表示装置。
【請求項４】
前記外形線画像生成手段は、前記周辺画像に映る前記検出対象物の画像が小さくなるほど、前記検出対象物の画像に沿う前記外形線画像を細く生成することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項５】
前記外形線画像生成手段は、前記外形線画像によって囲まれた領域を塗り潰す、前記強調画像としての塗潰し画像をさらに生成し、
前記表示手段は、前記外形線画像及び前記塗潰し画像が前記検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を前記周辺画像に重畳して表示することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項６】
前記画像取得手段は、近赤外線を検知することにより前記周辺領域を撮影する前記撮像手段としての近赤外線カメラから、前記周辺画像を取得することを特徴とする請求項１〜５のいずれか一項に記載の車両用表示装置。
【請求項７】
前記輪郭検出手段は、前記検出対象物である人間の画像の前記輪郭を検出することを特徴とする請求項１〜６のいずれか一項に記載の車両用表示装置。
【請求項１】
車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前記周辺画像に重畳して表示する車両用表示装置であって、
赤外線を検知することにより前記周辺領域を撮影する前記撮像手段から、前記周辺画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記周辺画像の各画素について、前記各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、前記輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、前記検出対象物の画像の輪郭を検出する輪郭検出手段と、
前記輪郭検出手段によって検出された前記輪郭に沿うように、前記強調画像としての外形線画像を生成する外形線画像生成手段と、
前記外形線画像生成手段によって生成された前記外形線画像と前記輪郭とが重なるように、前記外形線画像を前記周辺画像に重畳して表示する表示手段と、
を備えることを特徴とする車両用表示装置。
【請求項２】
予め設定されたサイズの検出用画像を前記周辺画像から順に切り出し、前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定することにより、前記周辺画像から前記検出対象物の画像を検出する対象物検出手段、をさらに備え、
前記輪郭検出手段は、前記周辺画像から切り出された複数の前記検出用画像のうち、前記対象物検出手段によって前記検出対象物の画像が含まれていると判定された前記検出用画像について、前記検出対象物の画像の輪郭を検出することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記対象物検出手段は、前記周辺画像の各画素について前記輝度勾配を算出し、前記各画素の前記輝度勾配に基づいて前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定し、
前記輪郭検出手段は、前記対象物検出手段によって算出された前記輝度勾配の強度を取得し、当該輝度勾配の強度を用いることにより、前記検出対象物の画像の前記輪郭を検出することを特徴とする請求項２に記載の車両用表示装置。
【請求項４】
前記外形線画像生成手段は、前記周辺画像に映る前記検出対象物の画像が小さくなるほど、前記検出対象物の画像に沿う前記外形線画像を細く生成することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項５】
前記外形線画像生成手段は、前記外形線画像によって囲まれた領域を塗り潰す、前記強調画像としての塗潰し画像をさらに生成し、
前記表示手段は、前記外形線画像及び前記塗潰し画像が前記検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を前記周辺画像に重畳して表示することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項６】
前記画像取得手段は、近赤外線を検知することにより前記周辺領域を撮影する前記撮像手段としての近赤外線カメラから、前記周辺画像を取得することを特徴とする請求項１〜５のいずれか一項に記載の車両用表示装置。
【請求項７】
前記輪郭検出手段は、前記検出対象物である人間の画像の前記輪郭を検出することを特徴とする請求項１〜６のいずれか一項に記載の車両用表示装置。
【図１】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【公開番号】特開２０１２−１２００４７（Ｐ２０１２−１２００４７Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６９６４２（Ｐ２０１０−２６９６４２）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]