車両用表示装置
【課題】簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させられる車両用表示装置の提供。
【解決手段】車両の前方領域９０を撮影する近赤外線カメラ１０によって順次生成される前方画像５０から、歩行者画像７０像を検出し、前方領域９０を前方画像５０に重畳して順次表示する車両用表示装置１００である。車両用表示装置１００は、近赤外線カメラ１０から画像取得部２１によって前方画像５０を順次取得し、歩行者検出部２３によって前方画像５０から歩行者画像７０の位置情報及び大きさ情報を抽出する。そして、速度情報取得部２５によって取得する車両の走行速度が速くなるに従って、強調画像６０のサイズは、大きさ情報に対応する基準サイズに対して大きく拡大される。拡大して描画された強調画像６０は、現在の前方画像５０ｎおいて位置情報に対応する位置ＣＰに、重畳される。
【解決手段】車両の前方領域９０を撮影する近赤外線カメラ１０によって順次生成される前方画像５０から、歩行者画像７０像を検出し、前方領域９０を前方画像５０に重畳して順次表示する車両用表示装置１００である。車両用表示装置１００は、近赤外線カメラ１０から画像取得部２１によって前方画像５０を順次取得し、歩行者検出部２３によって前方画像５０から歩行者画像７０の位置情報及び大きさ情報を抽出する。そして、速度情報取得部２５によって取得する車両の走行速度が速くなるに従って、強調画像６０のサイズは、大きさ情報に対応する基準サイズに対して大きく拡大される。拡大して描画された強調画像６０は、現在の前方画像５０ｎおいて位置情報に対応する位置ＣＰに、重畳される。
【発明の詳細な説明】
【技術分野】
【０００１】
車両の前方領域を撮影した前方画像を表示する車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両の前方領域に存在する検出対象物を視認者に分り易く示すために、この前方領域を撮影した前方画像に、検出対象物の画像を強調する強調画像を重畳して表示する、例えば特許文献１及び特許文献２に開示されているような車両用表示装置が知られている。
【０００３】
特許文献１に開示の車両用表示装置は、前方領域を撮影する赤外線暗視カメラと、人間等の画像の前方画像における位置座標を算出する特定画像抽出手段と、を備えている。特許文献１の車両用表示装置は、赤外線暗視カメラによって現在撮影されている前方画像において、特定画像抽出手段によって過去の前方画像から算出された座標位置に、強調画像としてのマークをマーク貼り付け手段によって貼り付けて、表示装置に順次表示する。
【０００４】
特許文献２に開示の車両用表示装置は、前方領域を撮影する撮影装置と、検出対象物の画像の位置を特定する解析を行う画像解析部と、を備えている。さらに、特許文献２の車両用表示装置は、前方画像における検出対象物の画像と、前方画像に重畳される強調画像としてのマーカ画像とがずれないように、前方画像をバッファリングする画像バッファリング部を備えている。特許文献２の車両用表示装置は、画像バッファリング部に記憶される前方画像について、検出対象物の画像の位置を特定する解析を画像解析部によって行う。そして、車両用表示装置は、画像バッファリング部に記憶された前方画像において、画像解析部によって特定された検出対象物の画像の位置に、マーカ画像を重畳し、画像出力部から出力する。以上のように、特許文献２の車両用表示装置では、位置を特定する解析が行われる前方画像と、解析結果に基づいてマーカ画像が重畳される前方画像とは、一致している。故に、検出対象物の画像とマーカ画像とのずれは、抑制される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−４６５２１号公報
【特許文献２】特開２００９−２５５６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、特許文献２の車両用表示装置では、前方画像をバッファリングする画像バッファリング部が必要なため、装置の構成は複雑化する。一方で、特許文献１の車両用表示装置は、赤外線暗視カメラによって撮影される現在の前方画像を順次表示するので、特許文献２の車両用表示装置よりも構成を簡素化し得る。しかし、特許文献１の車両用表示装置では、人物の画像に的確にマークを貼り付けることが、困難である。その理由を、以下に説明する。
【０００７】
特許文献１の車両用表示装置では、特定画像抽出手段が前方画像から人間の画像の位置座標を算出している時間に、車両は、前方領域に存在する実際の人間に接近する。故に、赤外線暗視カメラによって撮影されている現在の前方画像における人間の画像は、位置座標の算出された過去の前方画像における人間の画像よりも、前方画像に大きく映るようになる。そのため、過去の前方画像における人間の画像に対応するマークは、現在の前方画像に貼り付けられても、現在の前方画像に映る人間等の検出対象物の画像に的確に対応できない場合が生じたのである。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その目的は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させられる車両用表示装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の発明では、車両の前方領域を撮影する撮像手段によって順次生成される前方画像から、当該前方領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前方画像に重畳して順次表示する車両用表示装置であって、撮像手段から前方画像を順次取得する画像取得手段と、画像取得手段によって取得された前方画像から検出対象物の画像を検出することにより、前方画像における検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、車両の走行速度の情報を取得する速度情報取得手段と、対象物情報抽出手段によって抽出された大きさ情報に対応する強調画像のサイズを基準サイズとし、速度情報取得手段によって取得された情報による走行速度が速くなるに従って、強調画像を基準サイズに対して大きく拡大して描画する描画手段と、画像取得手段によって順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳して順次表示する表示手段と、を備える車両用表示装置とする。
【００１０】
この発明によれば、描画手段は、描画する強調画像のサイズを、走行速度取得手段によって取得された車両の走行速度が速くなるに従って、対象物情報抽出手段によって抽出された大きさ情報に対応する基準サイズに対して、大きく拡大する。そして、表示手段は、画像取得手段によって時系列的に順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳し、順次表示する。
【００１１】
以上の処理において、対象物情報抽出手段が前方画像から検出対象物の画像を検出し、位置情報及び大きさ情報を抽出している時間に、車両は、前方領域に存在する実際の検出対象物に接近する。故に、画像取得手段によって順次取得されている現在の前方画像における検出対象物の画像は、位置情報及び大きさ情報の抽出された過去の前方画像における検出対象物の画像よりも、前方画像に大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像における検出対象物の画像は、過去の前方画像における検出対象物の画像に対して、大きく拡大されて前方画像に映るようになる。以上により、車両の走行速度が高くなるに従って強調画像が大きく拡大されることにより、強調画像のサイズは、画像取得手段によって取得されている現在の前方画像に映る検出対象物の画像の大きさに、的確に対応し得る。
【００１２】
加えて、表示手段は、画像取得手段によって順次取得されている現在の前方画像を、順次表示する。故に、車両用表示装置の複雑化は、回避され得る。以上により、車両用表示装置は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させることにより、当該検出対象物の画像を強調することができる。
【００１３】
請求項２に記載の発明では、速度情報取得手段は、対象物情報抽出手段によって位置情報及び大きさ情報が取得されることより、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付け、描画手段は、走行速度が速くなるに従って、当該走行速度の情報に速度情報取得手段によって関連付けられた大きさ情報に対応する基準サイズに対して、強調画像を大きく拡大して描画することを特徴とする。
【００１４】
この発明によれば、対象物情報抽出手段が検出対象物の画像の位置情報及び大きさ情報を取得することによって、速度情報取得手段は、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付ける。故に、位置情報及び大きさ情報が抽出されるタイミングと、車両の走行速度の情報が取得されるタイミングとの差は、低減される。
【００１５】
ここで、過去の前方画像における検出対象物の画像の大きさに対する、現在の前方画像における検出対象物の画像の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、走行速度の情報の取得されるタイミングとの差を低減することにより、描画手段は、強調画像の拡大に車両の走行速度を正確に反映し得る。以上により、描画手段は、現在の前方画像における検出対象物の画像の大きさに的確に対応する強調画像を描画できる。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００１６】
請求項３に記載の発明では、描画手段は、基準サイズに対して拡大される強調画像の拡大率を、車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される描画サイズにて、強調画像を描画する描画部と、を有することを特徴とする。
【００１７】
この発明において、車両の走行速度が速くなるに従って、基準サイズに対して拡大される強調画像の拡大率は、拡大率設定部によって大きく設定される。そして、描画部によって描画される強調画像の描画サイズは、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される。以上の形態では、強調画像の描画サイズは、車両の走行速度が速くなるに従って、確実に大きくなるので、現在の前方画像における検出対象物の画像の大きさに対応し得る。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００１８】
請求項４に記載の発明では、描画手段は、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、水平方向に沿って前方画像の右方向に強調画像を拡大して描画し、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも左側の領域にある場合に、水平方向に沿って前方画像の左方向に強調画像を拡大して描画することを特徴とする。
【００１９】
この発明において、水平方向において前方画像の中央よりも右側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の右方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の右方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。
【００２０】
同様に、水平方向において前方画像の中央よりも左側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の左方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の左方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。
【００２１】
これらにより、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００２２】
請求項５に記載の発明では、描画手段は、検出対象物の画像を囲む形状の強調画像を描画することを特徴とする。
【００２３】
この発明のように、検出対象物の画像を囲む形状の強調画像は、検出対象物の画像を確実に強調し得る一方で、仮に検出対象物の画像の大きさに強調画像のサイズが対応しない場合には、検出対象物の画像と重なってしまい、検出対象物の画像を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像を拡大して描画する描画手段によって、強調画像の描画サイズは、表示手段によって表示される前方画像において、検出対象物の画像の大きさに的確に対応し得る。故に、検出対象物の画像を囲む形状の強調画像であっても、検出対象物の画像を見難くしてしまう事態は回避され、さらに検出対象物の画像を強調する効果が、確実に発揮されるようになる。したがって、検出対象物の画像を囲む形状の強調画像を前方画像に重畳する車両用表示装置は、走行速度に従って強調画像が大きく拡大されることにより、検出対象物の画像をいっそう強調することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図２】歩行者画像を含む前方画像の例を示す図であって、（ａ）は、位置情報及び大きさ情報の抽出される前方画像が示される図であり、（ｂ）は、車両の走行速度が毎時３０キロメートルのときに、（ａ）の前方画像から抽出された位置情報及び大きさ情報を用いて、強調画像の重畳される現在の前方画像が示される図であり、（ｃ）は、車両の走行速度が毎時６０キロメートルのときに、（ａ）の前方画像から抽出された位置情報及び大きさ情報を用いて、強調画像の重畳される現在の前方画像が示される図である。
【図３】前方画像から歩行者画像を検出し、各情報を描画部に出力するための処理が示されるフローチャートである。
【図４】前方画像に強調画像を重畳して表示するための処理が示されるフローチャートである。
【図５】強調画像の変形例が示される図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を図面に基づいて説明する。
【００２６】
図１には、本発明の一実施形態によるナイトビュー装置１００の構成が示されている。ナイトビュー装置１００は、図２に示されるような車両の前方領域９０を撮影した前方画像５０から、当該前方領域９０に存在する歩行者等の検出対象物の画像（以下、歩行者画像）７０を検出する。そして、ナイトビュー装置１００は、車両の室内において運転席に向けて設置されている表示画面４１に、前方画像５０を強調するための強調画像６０が重畳された前方画像５０を表示する。以下、図１及び図２に基づいて、ナイトビュー装置１００の構成及びナイトビュー装置１００によって表示される画像について説明する。
【００２７】
ナイトビュー装置１００は、近赤外線カメラ１０と接続されている。ナイトビュー装置１００は、近赤外線カメラ１０から前方画像５０を取得する画像処理回路２０、及び表示画面４１を有する液晶ディスプレイ４０を備えている。
【００２８】
近赤外線カメラ１０は、撮像素子により近赤外線光の強度を電気信号に変換して出力するイメージセンサである。近赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の前方領域９０を撮影する。近赤外線カメラ１０は、波長が０．７〜２．５マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域９０の様子を撮影することができる。近赤外線カメラ１０の搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域９０に向けて近赤外線を投光する近赤外線投光器１１が設置されている。近赤外線カメラ１０は、近赤外線投光器１１と接続されており、前方領域９０の撮影を開始すると共に、近赤外線投光器１１に投光を開始させる。近赤外線カメラ１０は、前方領域９０の物体により反射された近赤外線を検知することにより、前方画像５０を時系列に沿って順次生成する。近赤外線カメラ１０は、生成した前方画像５０の画像データを、ＮＴＳＣ規格等のアナログ方式の電気信号によって、画像処理回路２０に向けて順次出力する。
【００２９】
画像処理回路２０は、近赤外線カメラ１０、液晶ディスプレイ４０、及び車内local area network（ＬＡＮ）３０と接続されている。画像処理回路２０は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム及び強調画像６０の画像データ等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。加えて画像処理回路２０は、車内ＬＡＮ３０を通じて、当該車内ＬＡＮ３０に接続された種々の車載装置との間で情報をやりとりするための通信インターフェースを備えている。
【００３０】
以上の構成による画像処理回路２０は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして、画像取得部２１、歩行者検出部２３、速度情報取得部２５、及び描画部２７を有する。
【００３１】
画像取得部２１は、近赤外線カメラ１０から前方画像５０の画像データを時系列に順次取得する。画像取得部２１は、アナログ方式で取得した前方画像５０の画像データを、画像処理に適したデジタル方式の画像データに変換する。画像取得部２１は、変換された前方画像５０の画像データを、歩行者検出部２３及び描画部２７に順次出力する。
【００３２】
歩行者検出部２３は、画像取得部２１から取得した前方画像５０から歩行者画像７０を検出する検出処理を実施する。この検出処理では、取得した一つの前方画像５０から、予め設定された大きさの切出画像が順に切り出される。そして、各切出画像について、例えばHistograms of Oriented Gradients（ＨＯＧ）特徴量を抽出する。画像処理回路２０には、歩行者画像７０を識別するための識別器であって、学習用に用意された多数のサンプル画像を用いて予め構築された識別器が記憶されている。歩行者検出部２３は、各切出画像のＨＯＧ特徴量を識別器を用いて精査することにより、各切出画像に歩行者画像７０が含まれているか否かを判定する。以上の判定処理を各切出画像に対して繰り返すことにより、歩行者検出部２３は、前方画像５０から歩行者画像７０を検出する。
【００３３】
さらに歩行者検出部２３は、前方画像５０から歩行者画像７０が検出された場合に、前方画像５０における歩行者画像７０の位置情報及び大きさ情報を抽出する。具体的には、前方画像５０に対して、ピクセル単位でのｘｙ座標系が予め設定されている。位置情報は、例えば、歩行者画像７０が含まれていると判定された切出画像の左下の角の位置ＣＰを示すｘｙ座標系における座標データである。大きさ情報は、例えば、歩行者画像７０が含まれていると判定された切出画像のｘ方向及びｙ方向におけるピクセル単位の寸法データである。歩行者検出部２３は、これらの位置情報及び大きさ情報を抽出して、速度情報取得部２５に順次出力する。
【００３４】
速度情報取得部２５は、車載された車内ＬＡＮ３０を通じて、車両の走行速度の情報（以下、速度情報）を取得する。車内ＬＡＮ３０には、車速情報を出力可能な装置として、例えば横滑り防止装置又はアンチロック・ブレーキ・システム（ＡＢＳ）制御装置等が一般に接続されている。歩行者検出部２３によって取得された位置情報及び大きさ情報が当該歩行者検出部２３から入力されることにより、速度情報取得部２５は、横滑り防止装置等によって出力されている現在の車両の速度情報を、車内ＬＡＮ３０を通じて取得する。加えて、速度情報取得部２５は、歩行者検出部２３から取得した位置情報及び大きさ情報に、車内ＬＡＮ３０を通じて取得した速度情報を関連付ける。そして、速度情報取得部２５は、互いに関連付けられた位置情報、大きさ情報、及び速度情報を、描画部２７に順次出力する。
【００３５】
描画部２７は、歩行者検出部２３によって前方画像５０から歩行者画像７０が検出されていない場合には、前方画像５０を描画して、液晶ディスプレイ４０に順次出力する。一方、歩行者検出部２３によって前方画像５０から歩行者画像７０が検出されている場合には、描画部２７は、前方画像５０に強調画像６０を重畳して、液晶ディスプレイ４０に順次出力する。本実施形態において、描画部２７によって描画される強調画像６０は、歩行者画像７０を全周に亘って囲む矩形形状である。この強調画像６０は、例えば視認性に優れる橙色にて描画される。
【００３６】
描画部２７は、強調画像６０の重畳された前方画像５０を生成する画像処理のために、複数のレイヤを有している。描画部２７は、複数のレイヤのうちの一つ（以下、レイヤ１）に、前方画像５０を描画する。また、描画部２７は、複数のレイヤのうちの別の一つ（以下、レイヤ２）に、強調画像６０を描画する。
【００３７】
描画部２７は、速度情報取得部２５から入力される大きさ情報に対応する強調画像６０のサイズを、当該強調画像６０の基準サイズＢＳとしてまず設定する（図２において破線にて示される基準サイズＢＳは、便宜的に図示されたものであって、実際の表示画面４１には表示されない）。尚、本実施形態では、強調画像６０の基準サイズＢＳは、大きさ情報としての寸法データの値と一致している。また描画部２７には、速度情報による車両の走行速度と、基準サイズＢＳに対する強調画像６０の拡大率との相関を規定する関数が予め記憶されている。この関数に基づくことにより、描画部２７は、基準サイズＢＳに対して拡大される強調画像６０の拡大率を、車両の走行速度が速くなるに従って大きく設定する。そして、描画部２７は、設定した拡大率を基準サイズＢＳに乗算することにより算出される描画サイズにて、強調画像６０を描画する。以上により、描画部２７は、速度情報による車両の走行速度が速くなるに従って、強調画像６０を基準サイズＢＳに対して大きく拡大して、レイヤ２に描画する。例えば、車速情報が毎時３０キロメートル（ｋｍ／ｈ）を示すものである場合、描画部２７は、基準サイズＢＳに対して１．１倍の大きさに拡大された強調画像６０を描画する（図２（ｂ）参照）。また、例えば、車速情報が６０ｋｍ／ｈを示すものである場合、描画部２７は、基準サイズＢＳに対して１．３倍の大きさに拡大された強調画像６０を描画する（図２（ｃ）参照）。
【００３８】
さらに、歩行者画像７０の前方画像５０における位置ＣＰが、水平方向において当該前方画像５０の中央よりも右側の領域５０ｒにある場合に、描画部２７は、水平方向に沿って前方画像５０の右方向に強調画像６０を拡大する。同様に、歩行者画像７０の前方画像５０における位置ＣＰが、水平方向において当該前方画像５０の中央よりも左側の領域５０ｌにある場合に、描画部２７は、水平方向に沿って前方画像５０の左方向に強調画像６０を拡大して描画する。尚、前方画像５０の水平方向は、ｘ軸方向に沿っている。
【００３９】
描画部２７は、画像取得部２１から順次入力される現在の前方画像５０ｎ（図２（ｂ）等参照）において、歩行者検出部２３によって抽出された位置情報に対応する位置ＣＰに、強調画像６０が重畳されるように、レイヤ１とレイヤ２を合成する。以上の合成処理によって生成される前方画像５０の画像データは、描画部２７から液晶ディスプレイ４０に順次出力される。これにより描画部２７は、表示画面４１に強調画像６０の重畳された前方画像５０を順次表示する。
【００４０】
液晶ディスプレイ４０は、表示画面４１に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ４０は、表示画面４１に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ４０は、表示画面４１を運転席側に向けた状態で、インスツルメントパネルの内部に配置されている。液晶ディスプレイ４０は、画像処理回路２０の描画部２７から取得する前方画像５０を順次表示することによりなる映像によって、前方領域９０の様子を視認者に示すことができる。
【００４１】
ここまで説明したナイトビュー装置１００が、強調画像６０の重畳された前方画像５０を液晶ディスプレイ４０に順次表示する処理を、図３及び図４に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置１００の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置１００の作動の開始と共に、画像処理回路２０によって実施される。これらの処理は、ユーザの操作に基づいてナイトビュー装置１００の作動が停止されるまで、繰り返される。
【００４２】
まず、図３に基づいて前方画像５０から歩行者画像７０を検出する処理を説明する。図３に示される処理は、歩行者検出部２３及び速度情報取得部２５の協働によって実施される。
【００４３】
Ｓ１０１では、歩行者検出部２３は、画像取得部２１を通じての、近赤外線カメラ１０からの前方画像５０の入力が有るか否かを判定する。Ｓ１０１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されている場合、前方画像５０の入力が有ると判定し、Ｓ１０２に進む。一方、Ｓ１０１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されていない場合、前方画像５０の入力が無いと判定し、Ｓ１０１を繰り返す。これにより、前方画像５０の出力が開始されるまで、待機状態を維持する。
【００４４】
Ｓ１０２では、歩行者検出部２３は、画像取得部２１から前方画像５０を取得し、Ｓ１０３に進む。Ｓ１０３では、Ｓ１０２において取得した前方画像５０から歩行者画像７０を検出する検出処理を実施する。Ｓ１０３において、前方画像５０から歩行者画像７０を検出できない場合、再びＳ１０２に戻る。一方、Ｓ１０３において、前方画像５０から強調画像６０を検出した場合、Ｓ１０４に進む。Ｓ１０４では、前方画像５０から検出した歩行者画像７０の位置情報及び大きさ情報を抽出し、速度情報取得部２５に出力して、Ｓ１０５に進む。
【００４５】
Ｓ１０５では、速度情報取得部２５が、Ｓ１０４にて歩行者検出部２３から出力された位置情報及び大きさ情報を取得することにより、車内ＬＡＮ３０を通じて車速情報を取得し、Ｓ１０６に進む。Ｓ１０６では、Ｓ１０４にて抽出された位置情報及び大きさ情報に、Ｓ１０５にて取得された車速情報を関連付ける。そして、これらの情報を描画部２７に出力して、再びＳ１０２に戻る。以上のＳ１０２〜Ｓ１０６の処理が歩行者検出部２３及び速度情報取得部２５によって繰り返されることにより、前方画像５０に歩行者画像７０が映る場合には、当該歩行者画像７０の位置情報及び大きさ情報と車両の速度情報とが、描画部２７に順次出力される。
【００４６】
次に、図４に基づいて前方画像５０を描画する処理を説明する。図４に示される処理は、描画部２７によって実施される。
【００４７】
Ｓ１１１では、画像取得部２１を通じての、近赤外線カメラ１０からの前方画像５０の入力が有るか否かを判定する。Ｓ１１１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されている場合、前方画像５０の入力が有ると判定し、Ｓ１１２に進む。一方、Ｓ１１１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されていない場合、前方画像５０の入力が無いと判定し、Ｓ１１１を繰り返す。これにより、前方画像５０の入力が開始されるまで、待機状態を維持する。
【００４８】
Ｓ１１２では、画像取得部２１から前方画像５０を取得し、Ｓ１１３に進む。Ｓ１１３では、図３に示されるＳ１０５によって速度情報取得部２５から出力される各種の情報の入力が、現在有るか否かを判定する。Ｓ１１３において、速度情報取得部２５からの情報の入力が無いと判定した場合、Ｓ１１９に進む。一方、Ｓ１１３において、速度情報取得部２５からの情報の入力が有ると判定した場合、Ｓ１１４に進む。Ｓ１１４では、速度情報取得部２５からの出力されている、位置情報、大きさ情報、及び速度情報を取得し、Ｓ１１５に進む。ここで、Ｓ１１４にて取得される位置情報及び大きさ情報が抽出された前方画像５０と、Ｓ１１２にて取得される前方画像５０とは、異なっている。
【００４９】
Ｓ１１５では、Ｓ１１４にて取得した大きさ情報によって、強調画像６０の基準サイズＢＳを設定する。加えて、Ｓ１１５では、Ｓ１１４にて取得した車速情報によって、強調画像６０の拡大率を設定し、Ｓ１１６に進む。Ｓ１１６では、Ｓ１１５にて設定された基準サイズＢＳに、Ｓ１１５にて設定された拡大率を乗算することにより、強調画像６０の描画サイズを決定し、Ｓ１１７に進む。これらＳ１１５及びＳ１１６の処理によれば、強調画像６０の描画サイズは、車両の走行速度が速くなるに従って、大きさ情報に対応する基準サイズＢＳに対して、大きく拡大されるようになる。
【００５０】
Ｓ１１７では、Ｓ１１２にて取得した前方画像５０をレイヤ１に描画する。加えて、Ｓ１１７では、Ｓ１１６において設定された描画サイズにて、強調画像６０をレイヤ２に描画し、Ｓ１１８に進む。このＳ１１７では、Ｓ１１５にて取得した位置情報による歩行者画像７０の位置ＣＰが前方画像５０の右側の領域５０ｒにある場合、強調画像６０は、位置ＣＰを基点として水平方向に沿って前方画像５０の右方向に拡大される（図２（ｂ）等参照）。加えて、強調画像６０は、位置ＣＰを基点として鉛直方向に沿って前方画像５０の上方に拡大される。
【００５１】
Ｓ１１８では、前方画像５０の描画されたレイヤ１に、強調画像６０の描画されたレイヤ２を合成することにより、Ｓ１１４にて取得した位置情報に対応する位置ＣＰに強調画像６０の重畳された前方画像５０の画像データを生成する。そして、Ｓ１２０に進む。一方、歩行者検出部２３からの各種の情報の入力が無い場合に実施されるＳ１１９では、Ｓ１１２にて取得された前方画像５０をレイヤ１に描画することにより、当該前方画像５０の画像データを生成し、Ｓ１２０に進む。Ｓ１２０では、Ｓ１１８及びＳ１１９のうちのいずれか一方の処理により生成された前方画像５０の画像データを、液晶ディスプレイ４０に出力して、再びＳ１１２に戻る。
【００５２】
以上のＳ１１２〜Ｓ１２０の繰り返しにより、前方画像５０に歩行者画像７０が映る場合には、画像取得部２１によって順次取得されている現在の前方画像５０において位置情報に対応する位置ＣＰに、拡大して描画された強調画像６０が重畳される。そして、現在の前方画像５０ｎは、液晶ディスプレイ４０に連続的に出力される。これにより、液晶ディスプレイ４０には、前方領域９０の様子が、順次表示される前方画像５０によって動画として映し出される。
【００５３】
ここまで説明した本実施形態において、歩行者画像７０の位置情報及び大きさ情報を抽出する処理には、時間が必要となる。故に、強調画像６０の重畳される前方画像５０ｎ（図２（ｂ）及び（ｃ）参照）に対して、位置情報及び大きさ情報の抽出される前方画像５０ｐ（図２（ａ）参照）は、過去のものとなる。歩行者検出部２３が歩行者画像７０の位置情報及び大きさ情報を抽出している時間にも、車両は、前方領域９０に存在する実際の検出対象物に接近している。故に、画像取得部２１によって順次取得されている現在の前方画像５０ｎにおける歩行者画像７０は、歩行者検出部２３によって位置情報及び大きさ情報の抽出された過去の前方画像５０ｐにおける歩行者画像７０よりも、前方画像５０ｎに大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像５０ｎにおける歩行者画像７０は、過去の前方画像５０ｐにおける歩行者画像７０に対して、大きく拡大されて前方画像５０ｎに映るようになる。
【００５４】
そこで本実施形態では、車両の走行速度が高くなるに従って、強調画像６０は、大きく拡大される。これにより、強調画像６０のサイズは、現在の前方画像５０ｎに映る歩行者画像７０の大きさに、的確に対応し得る。加えて、描画部２７は、画像取得部２１によって順次取得されている現在の前方画像５０ｎを順次出力することにより、液晶ディスプレイ４０に順次表示させる。故に、前方画像５０をバッファリングするための構成を省略できるので、ナイトビュー装置１００の複雑化は、回避される。加えて、前方画像５０をバッファリングする形態と比較して、表示画面４１の表示の遅延が低減される。以上により、ナイトビュー装置１００は、簡素な構成を維持しつつ、前方画像５０の表示の遅延を抑制したうえで、前方画像５０に強調画像６０を的確に重畳させることにより、当該歩行者画像７０を強調することができる。
【００５５】
加えて本実施形態によれば、速度情報取得部２５は、歩行者検出部２３から位置情報及び大きさ情報を取得することにより、速度情報を取得する。故に、位置情報及び大きさ情報が歩行者検出部２３によって抽出されるタイミングと、これらの情報に関連付けられる速度情報が速度情報取得部２５によって取得されるタイミングとの差は、低減される。ここで、過去の前方画像５０ｐにおける歩行者画像７０の大きさに対する、現在の前方画像５０ｎにおける歩行者画像７０の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、速度情報の取得されるタイミングとの差を低減することにより、描画部２７は、強調画像６０の拡大に車両の走行速度を正確に反映し得る。以上により、描画部２７は、現在の前方画像５０ｎにおける歩行者画像７０の大きさに的確に対応する強調画像６０を描画できる。したがって、ナイトビュー装置１００は、強調画像６０に歩行者画像７０をさらに的確に重畳させて、当該歩行者画像７０を強調することができる。
【００５６】
また本実施形態によれば、車両の走行速度が速くなるに従って大きく設定される拡大率に基準サイズＢＳを乗算することにより、強調画像６０の描画サイズは、算出される。以上の形態では、車両の走行速度が速くなるに従って、強調画像６０の描画サイズは、確実に大きくになるので、現在の前方画像５０ｎにおける歩行者画像７０の大きさにさらに的確に対応し得る。したがって、ナイトビュー装置１００は、歩行者画像７０に強調画像６０をさらに的確に重畳させることにより、当該歩行者画像７０を強調することができる。
【００５７】
さらに本実施形態では、前方画像５０の右側の領域５０ｒに歩行者画像７０が映る場合、前方領域９０に存在する実際の歩行者と車両との接近によって、歩行者画像７０は、水平方向に沿って前方画像５０の右方向に移動しつつ、大きくなる（図２（ｃ）等参照）。故に、強調画像６０は、前方画像５０の右方向に拡大して描画されることにより、現在の前方画像５０ｎにおける歩行者画像７０の位置及び大きさに的確に対応し得る。
【００５８】
同様に、水平方向において前方画像５０の中央よりも左側の領域５０ｌに歩行者画像７０が映る場合、前方領域９０に存在する実際の歩行者と車両との接近によって、歩行者画像７０は、水平方向に沿って前方画像５０の左方向に移動しつつ、大きくなる。故に、強調画像６０は、前方画像５０の左方向に拡大して描画されることにより、現在の前方画像５０ｎにおける歩行者画像７０の位置及び大きさに的確に対応し得る。
【００５９】
これらにより、ナイトビュー装置１００は、歩行者画像７０に強調画像６０をさらに的確に重畳させて、当該歩行者画像７０を強調することができる。
【００６０】
また、上述したように、過去の歩行者画像７０の大きさに対する現在の歩行者画像７０の大きさの比は、車両の走行速度に対応する。故に、本実施形態のように、車両の走行速度と強調画像６０の拡大率との相関を関数によって予め規定することによれば、拡大率は、車両の走行速度毎に細かく設定され得る。以上により、関数を的確に調整することで、拡大された強調画像６０の描画サイズと現在の歩行者画像７０の大きさとを確実に対応させられるようになるので、ナイトビュー装置１００は、強調画像６０によって歩行者画像７０をさらに強調することができる。
【００６１】
さらに加えて本実施形態によれば、歩行者画像７０を囲む形状の強調画像６０は、仮に歩行者画像７０の大きさにその描画サイズが対応しない場合には、歩行者画像７０と重なることにより、歩行者画像７０を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像６０を拡大して描画する描画部２７より、強調画像６０の描画サイズは、表示画面４１表示される現在の前方画像５０ｎにおける歩行者画像７０の大きさに的確に対応し得る。故に、歩行者画像７０を囲む形状の強調画像６０であっても、歩行者画像７０を見難くしてしまう事態は回避され、さらに歩行者画像７０を強調する効果が、確実に発揮されるようになる。以上により、歩行者画像７０を囲む形状の強調画像６０を前方画像５０に重畳するナイトビュー装置１００は、走行速度に従った強調画像６０の拡大により、歩行者画像７０をいっそう強調することができる。
【００６２】
尚、本実施形態において、近赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部２１が特許請求の範囲に記載の「画像取得手段」に相当し、歩行者検出部２３が特許請求の範囲に記載の「対象物情報抽出手段」に相当し、速度情報取得部２５が特許請求の範囲に記載の「速度情報取得手段」に相当し、描画部２７が特許請求の範囲に記載の「描画手段」，「拡大率設定部」，及び「描画部」に相当し、描画部２７及び液晶ディスプレイ４０が協働で特許請求の範囲に記載の「表示手段」に相当し、歩行者画像７０が特許請求の範囲に記載の「検出対象物の画像」に相当し、ナイトビュー装置１００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００６３】
（他の実施形態）
以上、本発明による一実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【００６４】
上記実施形態において、速度情報取得部２５は、歩行者検出部２３から出力された位置情報及び大きさ情報を取得することにより、車内ＬＡＮ３０から速度情報を取得していた。しかし、速度情報取得部が速度情報を取得するタイミングは、上記実施形態のように、歩行者検出部から情報を受け取った直後でなくてもよい。例えば、歩行者検出部は、予め設定された時間毎に現在の速度情報を取得及び記憶することにより、歩行者検出部から取得する位置情報及び大きさ情報に、記憶している現在の速度情報を関連付けてもよい。また、ナイトビュー装置は、車内ＬＡＮ３０から速度情報を取得する速度情報取得部２５のような構成に換えて、例えばタイヤの回転速度を計測するセンサ等を「速度情報取得手段」として備えていてもよい。
【００６５】
上記実施形態において、描画部２７は、強調画像６０の描画サイズを、基準サイズＢＳに拡大率を乗算することにより設定していた。そしてこの拡大率は、予め規定された関数に車両の走行速度を入力することにより、算出されていた。このような描画部２７によって用いられる関数は、入力としての走行速度に対して、出力としての拡大率を離散値で出力するものであってもよく、又は拡大率を連続値で出力するものであってもよい。加えて、入力としての走行速度が低い範囲では、例えば走行速度にかかわらず、１倍の拡大率が維持されてもよい。さらに、描画部によって描画サイズが設定される方法は、基準サイズＢＳに拡大率を乗算する上記の方法に限定されない。例えば、車両の走行速度と基準サイズＢＳとに基づいて描画サイズを決定するテーブルを予め規定しておく。そして、このテーブルに基づいて、描画部は、強調画像の描画サイズを決定してもよい。
【００６６】
上記実施形態において、強調画像６０の基準サイズＢＳは、切出画像の寸法データと一致しするように決定されていた。しかし、大きさ情報に対応する強調画像の基準サイズは、切出画像の寸法データと一致していなくてもよい。例えば、切出画像の寸法データに、所定の値を加算又は減算した値が、強調画像の基準サイズとして決定されてもよい。又は、切出画像の寸法データに、所定の値を乗算した値が、強調画像の基準サイズとして決定されてもよい。
【００６７】
上記実施形態において、強調画像６０を拡大する拡大率は、３０ｋｍ／ｈにおいて１．１倍に、６０ｋｍ／ｈにおいて１．３倍になるように設定されていた。しかし、拡大率の具体的な値は、例えば前方画像を生成する近赤外線カメラの備えるレンズの画角、及び近赤外線カメラの車両への取り付け位置等に応じて、強調画像が歩行者画像を的確に強調できるように、適宜調整されてよい。
【００６８】
上記実施形態では、強調画像６０は、歩行者画像７０が前方画像５０の右側の領域５０ｒに映る場合には前方画像５０の右方向に拡大され、歩行者画像７０が前方画像５０の左側の領域５０ｌに映る場合には前方画像５０の左方向に拡大されていた。また、歩行者画像の左下の角が、拡大の基点となる位置ＣＰとされていた。しかし、強調画像を拡大する基点の位置及び拡大する方向は、前方画像における歩行者画像の水平方向及び鉛直方向の位置、並びに車両の走行速度等に応じて、適宜変更されてよい。例えば、歩行者画像が前方画像の左側の領域に映る場合には、歩行者画像の右下の角を、拡大の基点の位置とするのがよい。又は、強調画像は、歩行者画像の中心を拡大の基点の位置として、水平方向及び鉛直方向に拡大されてもよい。
【００６９】
上記実施形態において、強調画像６０は、歩行者画像７０を実線にて全周に亘って囲む矩形形状の画像であった。しかし、強調画像の形状は、上記の形状に限定されない。例えば、図５（ａ）に示されるように、強調画像２６０は、歩行者画像７０を破線にて全周に亘って囲む矩形形状の画像であってもよい。又は、図５（ｂ）に示されるように、強調画像３６０は、歩行者画像７０を水平方向において挟むような矩形枠状の画像であってもよい。さらに、図５（ｃ）に示されるように、強調画像４６０は、歩行者画像７０を鉛直方向において挟むような矩形枠状の画像であってもよい。或いは、図５（ｄ）に示されるように、強調画像４６０は、歩行者等の検出対象物の形状を模しており、検出対象物の画像７０に重ねられる画像であってもよい。さらには、強調画像は、歩行者画像を囲んでいなくてもよい。例えば、強調画像は、検出対象物の画像に隣接して重畳され、検出対象物の画像に沿って鉛直方向又は水平方向に伸びる棒状の画像であってもよい。
【００７０】
上記実施形態において、強調画像６０は、例えば視認性に優れる橙色の画像であった。しかし、強調画像の色相、明度、彩度等は、適宜変更されてよい。加えて、強調画像は、視認者による歩行者画像の視認を妨げないように、半透明な画像であってもよい。又は、強調画像は、視認者の注意を惹きやすいように、表示及び非表示を繰り返す点滅する画像とされていてもよい。
【００７１】
上記実施形態において、ナイトビュー装置１００は、「撮像手段」として近赤外線カメラ１０と接続されていた。しかし、ナイトビュー装置に前方画像を出力する「撮像手段」は、車両の前方領域の画像を撮影できれば、上記実施形態のものに限定されない。例えば、「撮像手段」は、可視光線を検知することにより、前方画像を撮影する可視光カメラであってもよい。又は、遠赤外線を検知することにより、前方画像を撮影する遠赤外線カメラであってもよい。さらには、ナイトビュー装置は、「撮像手段」に相当する構成を備えていてもよい。
【００７２】
上記実施形態において、ナイトビュー装置１００は、「表示手段」の一部として、液晶ディスプレイを備えていた。しかし、ナイトビュー装置は、液晶ディスプレイに換えて、例えば車両のウィンドウシールドに前方画像を投影し、当該ウィンドウシールドの前方に結像させる所謂ヘッドアップディスプレイ装置を備えていてもよい。又は、ナイトビュー装置の「表示手段」は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
【００７３】
上記実施形態において、描画部２７は、前方画像５０及び強調画像６０を互いに異なるレイヤに描画したうえで、これらのレイヤを合成する合成処理を行うことにより、強調画像６０を前方画像５０に重畳していた。しかし、描画部は、前方画像において、強調画像の重畳部分にあたる画素の階調データを直接的に更新することにより、強調画像を前方画像に重畳する形態であってもよい。
【００７４】
上記実施形態では、画像処理回路２０によってプログラムが実行されることにより、機能ブロックとしての歩行者検出部２３及び描画部２７等が構成される形態であった。しかし、各機能ブロックの機能は、それぞれ別の回路によって果たされてもよい。また、各機能ブロックとして機能する回路は、画像処理回路のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
【００７５】
上記実施形態において、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として予め設定されていてもよい。
【符号の説明】
【００７６】
ＢＳ 強調画像の基準サイズ、ＣＰ 歩行者画像の位置、１０ 近赤外線カメラ（撮像手段）、１１ 近赤外線投光器、２０ 画像処理回路、２１ 画像取得部（画像取得手段）、２３ 歩行者検出部（対象物情報抽出手段）、２５ 速度情報取得部（速度情報取得手段）、２７ 描画部（描画手段，拡大率設定部，描画部，表示手段）、３０ 車内ＬＡＮ、４０ 液晶ディスプレイ（表示手段）、４１ 表示画面、５０ 前方画像、５０ｒ 右側の領域、５０ｌ 左側の領域、５０ｎ 現在の前方画像、５０ｐ 過去の前方画像、６０ 強調画像、７０ 歩行者画像（検出対象物の画像）、９０ 前方領域、１００ ナイトビュー装置（車両用表示装置）
【技術分野】
【０００１】
車両の前方領域を撮影した前方画像を表示する車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両の前方領域に存在する検出対象物を視認者に分り易く示すために、この前方領域を撮影した前方画像に、検出対象物の画像を強調する強調画像を重畳して表示する、例えば特許文献１及び特許文献２に開示されているような車両用表示装置が知られている。
【０００３】
特許文献１に開示の車両用表示装置は、前方領域を撮影する赤外線暗視カメラと、人間等の画像の前方画像における位置座標を算出する特定画像抽出手段と、を備えている。特許文献１の車両用表示装置は、赤外線暗視カメラによって現在撮影されている前方画像において、特定画像抽出手段によって過去の前方画像から算出された座標位置に、強調画像としてのマークをマーク貼り付け手段によって貼り付けて、表示装置に順次表示する。
【０００４】
特許文献２に開示の車両用表示装置は、前方領域を撮影する撮影装置と、検出対象物の画像の位置を特定する解析を行う画像解析部と、を備えている。さらに、特許文献２の車両用表示装置は、前方画像における検出対象物の画像と、前方画像に重畳される強調画像としてのマーカ画像とがずれないように、前方画像をバッファリングする画像バッファリング部を備えている。特許文献２の車両用表示装置は、画像バッファリング部に記憶される前方画像について、検出対象物の画像の位置を特定する解析を画像解析部によって行う。そして、車両用表示装置は、画像バッファリング部に記憶された前方画像において、画像解析部によって特定された検出対象物の画像の位置に、マーカ画像を重畳し、画像出力部から出力する。以上のように、特許文献２の車両用表示装置では、位置を特定する解析が行われる前方画像と、解析結果に基づいてマーカ画像が重畳される前方画像とは、一致している。故に、検出対象物の画像とマーカ画像とのずれは、抑制される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−４６５２１号公報
【特許文献２】特開２００９−２５５６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、特許文献２の車両用表示装置では、前方画像をバッファリングする画像バッファリング部が必要なため、装置の構成は複雑化する。一方で、特許文献１の車両用表示装置は、赤外線暗視カメラによって撮影される現在の前方画像を順次表示するので、特許文献２の車両用表示装置よりも構成を簡素化し得る。しかし、特許文献１の車両用表示装置では、人物の画像に的確にマークを貼り付けることが、困難である。その理由を、以下に説明する。
【０００７】
特許文献１の車両用表示装置では、特定画像抽出手段が前方画像から人間の画像の位置座標を算出している時間に、車両は、前方領域に存在する実際の人間に接近する。故に、赤外線暗視カメラによって撮影されている現在の前方画像における人間の画像は、位置座標の算出された過去の前方画像における人間の画像よりも、前方画像に大きく映るようになる。そのため、過去の前方画像における人間の画像に対応するマークは、現在の前方画像に貼り付けられても、現在の前方画像に映る人間等の検出対象物の画像に的確に対応できない場合が生じたのである。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その目的は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させられる車両用表示装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の発明では、車両の前方領域を撮影する撮像手段によって順次生成される前方画像から、当該前方領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前方画像に重畳して順次表示する車両用表示装置であって、撮像手段から前方画像を順次取得する画像取得手段と、画像取得手段によって取得された前方画像から検出対象物の画像を検出することにより、前方画像における検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、車両の走行速度の情報を取得する速度情報取得手段と、対象物情報抽出手段によって抽出された大きさ情報に対応する強調画像のサイズを基準サイズとし、速度情報取得手段によって取得された情報による走行速度が速くなるに従って、強調画像を基準サイズに対して大きく拡大して描画する描画手段と、画像取得手段によって順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳して順次表示する表示手段と、を備える車両用表示装置とする。
【００１０】
この発明によれば、描画手段は、描画する強調画像のサイズを、走行速度取得手段によって取得された車両の走行速度が速くなるに従って、対象物情報抽出手段によって抽出された大きさ情報に対応する基準サイズに対して、大きく拡大する。そして、表示手段は、画像取得手段によって時系列的に順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳し、順次表示する。
【００１１】
以上の処理において、対象物情報抽出手段が前方画像から検出対象物の画像を検出し、位置情報及び大きさ情報を抽出している時間に、車両は、前方領域に存在する実際の検出対象物に接近する。故に、画像取得手段によって順次取得されている現在の前方画像における検出対象物の画像は、位置情報及び大きさ情報の抽出された過去の前方画像における検出対象物の画像よりも、前方画像に大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像における検出対象物の画像は、過去の前方画像における検出対象物の画像に対して、大きく拡大されて前方画像に映るようになる。以上により、車両の走行速度が高くなるに従って強調画像が大きく拡大されることにより、強調画像のサイズは、画像取得手段によって取得されている現在の前方画像に映る検出対象物の画像の大きさに、的確に対応し得る。
【００１２】
加えて、表示手段は、画像取得手段によって順次取得されている現在の前方画像を、順次表示する。故に、車両用表示装置の複雑化は、回避され得る。以上により、車両用表示装置は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させることにより、当該検出対象物の画像を強調することができる。
【００１３】
請求項２に記載の発明では、速度情報取得手段は、対象物情報抽出手段によって位置情報及び大きさ情報が取得されることより、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付け、描画手段は、走行速度が速くなるに従って、当該走行速度の情報に速度情報取得手段によって関連付けられた大きさ情報に対応する基準サイズに対して、強調画像を大きく拡大して描画することを特徴とする。
【００１４】
この発明によれば、対象物情報抽出手段が検出対象物の画像の位置情報及び大きさ情報を取得することによって、速度情報取得手段は、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付ける。故に、位置情報及び大きさ情報が抽出されるタイミングと、車両の走行速度の情報が取得されるタイミングとの差は、低減される。
【００１５】
ここで、過去の前方画像における検出対象物の画像の大きさに対する、現在の前方画像における検出対象物の画像の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、走行速度の情報の取得されるタイミングとの差を低減することにより、描画手段は、強調画像の拡大に車両の走行速度を正確に反映し得る。以上により、描画手段は、現在の前方画像における検出対象物の画像の大きさに的確に対応する強調画像を描画できる。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００１６】
請求項３に記載の発明では、描画手段は、基準サイズに対して拡大される強調画像の拡大率を、車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される描画サイズにて、強調画像を描画する描画部と、を有することを特徴とする。
【００１７】
この発明において、車両の走行速度が速くなるに従って、基準サイズに対して拡大される強調画像の拡大率は、拡大率設定部によって大きく設定される。そして、描画部によって描画される強調画像の描画サイズは、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される。以上の形態では、強調画像の描画サイズは、車両の走行速度が速くなるに従って、確実に大きくなるので、現在の前方画像における検出対象物の画像の大きさに対応し得る。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００１８】
請求項４に記載の発明では、描画手段は、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、水平方向に沿って前方画像の右方向に強調画像を拡大して描画し、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも左側の領域にある場合に、水平方向に沿って前方画像の左方向に強調画像を拡大して描画することを特徴とする。
【００１９】
この発明において、水平方向において前方画像の中央よりも右側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の右方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の右方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。
【００２０】
同様に、水平方向において前方画像の中央よりも左側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の左方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の左方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。
【００２１】
これらにより、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。
【００２２】
請求項５に記載の発明では、描画手段は、検出対象物の画像を囲む形状の強調画像を描画することを特徴とする。
【００２３】
この発明のように、検出対象物の画像を囲む形状の強調画像は、検出対象物の画像を確実に強調し得る一方で、仮に検出対象物の画像の大きさに強調画像のサイズが対応しない場合には、検出対象物の画像と重なってしまい、検出対象物の画像を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像を拡大して描画する描画手段によって、強調画像の描画サイズは、表示手段によって表示される前方画像において、検出対象物の画像の大きさに的確に対応し得る。故に、検出対象物の画像を囲む形状の強調画像であっても、検出対象物の画像を見難くしてしまう事態は回避され、さらに検出対象物の画像を強調する効果が、確実に発揮されるようになる。したがって、検出対象物の画像を囲む形状の強調画像を前方画像に重畳する車両用表示装置は、走行速度に従って強調画像が大きく拡大されることにより、検出対象物の画像をいっそう強調することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。
【図２】歩行者画像を含む前方画像の例を示す図であって、（ａ）は、位置情報及び大きさ情報の抽出される前方画像が示される図であり、（ｂ）は、車両の走行速度が毎時３０キロメートルのときに、（ａ）の前方画像から抽出された位置情報及び大きさ情報を用いて、強調画像の重畳される現在の前方画像が示される図であり、（ｃ）は、車両の走行速度が毎時６０キロメートルのときに、（ａ）の前方画像から抽出された位置情報及び大きさ情報を用いて、強調画像の重畳される現在の前方画像が示される図である。
【図３】前方画像から歩行者画像を検出し、各情報を描画部に出力するための処理が示されるフローチャートである。
【図４】前方画像に強調画像を重畳して表示するための処理が示されるフローチャートである。
【図５】強調画像の変形例が示される図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を図面に基づいて説明する。
【００２６】
図１には、本発明の一実施形態によるナイトビュー装置１００の構成が示されている。ナイトビュー装置１００は、図２に示されるような車両の前方領域９０を撮影した前方画像５０から、当該前方領域９０に存在する歩行者等の検出対象物の画像（以下、歩行者画像）７０を検出する。そして、ナイトビュー装置１００は、車両の室内において運転席に向けて設置されている表示画面４１に、前方画像５０を強調するための強調画像６０が重畳された前方画像５０を表示する。以下、図１及び図２に基づいて、ナイトビュー装置１００の構成及びナイトビュー装置１００によって表示される画像について説明する。
【００２７】
ナイトビュー装置１００は、近赤外線カメラ１０と接続されている。ナイトビュー装置１００は、近赤外線カメラ１０から前方画像５０を取得する画像処理回路２０、及び表示画面４１を有する液晶ディスプレイ４０を備えている。
【００２８】
近赤外線カメラ１０は、撮像素子により近赤外線光の強度を電気信号に変換して出力するイメージセンサである。近赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の前方領域９０を撮影する。近赤外線カメラ１０は、波長が０．７〜２．５マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域９０の様子を撮影することができる。近赤外線カメラ１０の搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域９０に向けて近赤外線を投光する近赤外線投光器１１が設置されている。近赤外線カメラ１０は、近赤外線投光器１１と接続されており、前方領域９０の撮影を開始すると共に、近赤外線投光器１１に投光を開始させる。近赤外線カメラ１０は、前方領域９０の物体により反射された近赤外線を検知することにより、前方画像５０を時系列に沿って順次生成する。近赤外線カメラ１０は、生成した前方画像５０の画像データを、ＮＴＳＣ規格等のアナログ方式の電気信号によって、画像処理回路２０に向けて順次出力する。
【００２９】
画像処理回路２０は、近赤外線カメラ１０、液晶ディスプレイ４０、及び車内local area network（ＬＡＮ）３０と接続されている。画像処理回路２０は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム及び強調画像６０の画像データ等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。加えて画像処理回路２０は、車内ＬＡＮ３０を通じて、当該車内ＬＡＮ３０に接続された種々の車載装置との間で情報をやりとりするための通信インターフェースを備えている。
【００３０】
以上の構成による画像処理回路２０は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして、画像取得部２１、歩行者検出部２３、速度情報取得部２５、及び描画部２７を有する。
【００３１】
画像取得部２１は、近赤外線カメラ１０から前方画像５０の画像データを時系列に順次取得する。画像取得部２１は、アナログ方式で取得した前方画像５０の画像データを、画像処理に適したデジタル方式の画像データに変換する。画像取得部２１は、変換された前方画像５０の画像データを、歩行者検出部２３及び描画部２７に順次出力する。
【００３２】
歩行者検出部２３は、画像取得部２１から取得した前方画像５０から歩行者画像７０を検出する検出処理を実施する。この検出処理では、取得した一つの前方画像５０から、予め設定された大きさの切出画像が順に切り出される。そして、各切出画像について、例えばHistograms of Oriented Gradients（ＨＯＧ）特徴量を抽出する。画像処理回路２０には、歩行者画像７０を識別するための識別器であって、学習用に用意された多数のサンプル画像を用いて予め構築された識別器が記憶されている。歩行者検出部２３は、各切出画像のＨＯＧ特徴量を識別器を用いて精査することにより、各切出画像に歩行者画像７０が含まれているか否かを判定する。以上の判定処理を各切出画像に対して繰り返すことにより、歩行者検出部２３は、前方画像５０から歩行者画像７０を検出する。
【００３３】
さらに歩行者検出部２３は、前方画像５０から歩行者画像７０が検出された場合に、前方画像５０における歩行者画像７０の位置情報及び大きさ情報を抽出する。具体的には、前方画像５０に対して、ピクセル単位でのｘｙ座標系が予め設定されている。位置情報は、例えば、歩行者画像７０が含まれていると判定された切出画像の左下の角の位置ＣＰを示すｘｙ座標系における座標データである。大きさ情報は、例えば、歩行者画像７０が含まれていると判定された切出画像のｘ方向及びｙ方向におけるピクセル単位の寸法データである。歩行者検出部２３は、これらの位置情報及び大きさ情報を抽出して、速度情報取得部２５に順次出力する。
【００３４】
速度情報取得部２５は、車載された車内ＬＡＮ３０を通じて、車両の走行速度の情報（以下、速度情報）を取得する。車内ＬＡＮ３０には、車速情報を出力可能な装置として、例えば横滑り防止装置又はアンチロック・ブレーキ・システム（ＡＢＳ）制御装置等が一般に接続されている。歩行者検出部２３によって取得された位置情報及び大きさ情報が当該歩行者検出部２３から入力されることにより、速度情報取得部２５は、横滑り防止装置等によって出力されている現在の車両の速度情報を、車内ＬＡＮ３０を通じて取得する。加えて、速度情報取得部２５は、歩行者検出部２３から取得した位置情報及び大きさ情報に、車内ＬＡＮ３０を通じて取得した速度情報を関連付ける。そして、速度情報取得部２５は、互いに関連付けられた位置情報、大きさ情報、及び速度情報を、描画部２７に順次出力する。
【００３５】
描画部２７は、歩行者検出部２３によって前方画像５０から歩行者画像７０が検出されていない場合には、前方画像５０を描画して、液晶ディスプレイ４０に順次出力する。一方、歩行者検出部２３によって前方画像５０から歩行者画像７０が検出されている場合には、描画部２７は、前方画像５０に強調画像６０を重畳して、液晶ディスプレイ４０に順次出力する。本実施形態において、描画部２７によって描画される強調画像６０は、歩行者画像７０を全周に亘って囲む矩形形状である。この強調画像６０は、例えば視認性に優れる橙色にて描画される。
【００３６】
描画部２７は、強調画像６０の重畳された前方画像５０を生成する画像処理のために、複数のレイヤを有している。描画部２７は、複数のレイヤのうちの一つ（以下、レイヤ１）に、前方画像５０を描画する。また、描画部２７は、複数のレイヤのうちの別の一つ（以下、レイヤ２）に、強調画像６０を描画する。
【００３７】
描画部２７は、速度情報取得部２５から入力される大きさ情報に対応する強調画像６０のサイズを、当該強調画像６０の基準サイズＢＳとしてまず設定する（図２において破線にて示される基準サイズＢＳは、便宜的に図示されたものであって、実際の表示画面４１には表示されない）。尚、本実施形態では、強調画像６０の基準サイズＢＳは、大きさ情報としての寸法データの値と一致している。また描画部２７には、速度情報による車両の走行速度と、基準サイズＢＳに対する強調画像６０の拡大率との相関を規定する関数が予め記憶されている。この関数に基づくことにより、描画部２７は、基準サイズＢＳに対して拡大される強調画像６０の拡大率を、車両の走行速度が速くなるに従って大きく設定する。そして、描画部２７は、設定した拡大率を基準サイズＢＳに乗算することにより算出される描画サイズにて、強調画像６０を描画する。以上により、描画部２７は、速度情報による車両の走行速度が速くなるに従って、強調画像６０を基準サイズＢＳに対して大きく拡大して、レイヤ２に描画する。例えば、車速情報が毎時３０キロメートル（ｋｍ／ｈ）を示すものである場合、描画部２７は、基準サイズＢＳに対して１．１倍の大きさに拡大された強調画像６０を描画する（図２（ｂ）参照）。また、例えば、車速情報が６０ｋｍ／ｈを示すものである場合、描画部２７は、基準サイズＢＳに対して１．３倍の大きさに拡大された強調画像６０を描画する（図２（ｃ）参照）。
【００３８】
さらに、歩行者画像７０の前方画像５０における位置ＣＰが、水平方向において当該前方画像５０の中央よりも右側の領域５０ｒにある場合に、描画部２７は、水平方向に沿って前方画像５０の右方向に強調画像６０を拡大する。同様に、歩行者画像７０の前方画像５０における位置ＣＰが、水平方向において当該前方画像５０の中央よりも左側の領域５０ｌにある場合に、描画部２７は、水平方向に沿って前方画像５０の左方向に強調画像６０を拡大して描画する。尚、前方画像５０の水平方向は、ｘ軸方向に沿っている。
【００３９】
描画部２７は、画像取得部２１から順次入力される現在の前方画像５０ｎ（図２（ｂ）等参照）において、歩行者検出部２３によって抽出された位置情報に対応する位置ＣＰに、強調画像６０が重畳されるように、レイヤ１とレイヤ２を合成する。以上の合成処理によって生成される前方画像５０の画像データは、描画部２７から液晶ディスプレイ４０に順次出力される。これにより描画部２７は、表示画面４１に強調画像６０の重畳された前方画像５０を順次表示する。
【００４０】
液晶ディスプレイ４０は、表示画面４１に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ４０は、表示画面４１に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ４０は、表示画面４１を運転席側に向けた状態で、インスツルメントパネルの内部に配置されている。液晶ディスプレイ４０は、画像処理回路２０の描画部２７から取得する前方画像５０を順次表示することによりなる映像によって、前方領域９０の様子を視認者に示すことができる。
【００４１】
ここまで説明したナイトビュー装置１００が、強調画像６０の重畳された前方画像５０を液晶ディスプレイ４０に順次表示する処理を、図３及び図４に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置１００の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置１００の作動の開始と共に、画像処理回路２０によって実施される。これらの処理は、ユーザの操作に基づいてナイトビュー装置１００の作動が停止されるまで、繰り返される。
【００４２】
まず、図３に基づいて前方画像５０から歩行者画像７０を検出する処理を説明する。図３に示される処理は、歩行者検出部２３及び速度情報取得部２５の協働によって実施される。
【００４３】
Ｓ１０１では、歩行者検出部２３は、画像取得部２１を通じての、近赤外線カメラ１０からの前方画像５０の入力が有るか否かを判定する。Ｓ１０１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されている場合、前方画像５０の入力が有ると判定し、Ｓ１０２に進む。一方、Ｓ１０１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されていない場合、前方画像５０の入力が無いと判定し、Ｓ１０１を繰り返す。これにより、前方画像５０の出力が開始されるまで、待機状態を維持する。
【００４４】
Ｓ１０２では、歩行者検出部２３は、画像取得部２１から前方画像５０を取得し、Ｓ１０３に進む。Ｓ１０３では、Ｓ１０２において取得した前方画像５０から歩行者画像７０を検出する検出処理を実施する。Ｓ１０３において、前方画像５０から歩行者画像７０を検出できない場合、再びＳ１０２に戻る。一方、Ｓ１０３において、前方画像５０から強調画像６０を検出した場合、Ｓ１０４に進む。Ｓ１０４では、前方画像５０から検出した歩行者画像７０の位置情報及び大きさ情報を抽出し、速度情報取得部２５に出力して、Ｓ１０５に進む。
【００４５】
Ｓ１０５では、速度情報取得部２５が、Ｓ１０４にて歩行者検出部２３から出力された位置情報及び大きさ情報を取得することにより、車内ＬＡＮ３０を通じて車速情報を取得し、Ｓ１０６に進む。Ｓ１０６では、Ｓ１０４にて抽出された位置情報及び大きさ情報に、Ｓ１０５にて取得された車速情報を関連付ける。そして、これらの情報を描画部２７に出力して、再びＳ１０２に戻る。以上のＳ１０２〜Ｓ１０６の処理が歩行者検出部２３及び速度情報取得部２５によって繰り返されることにより、前方画像５０に歩行者画像７０が映る場合には、当該歩行者画像７０の位置情報及び大きさ情報と車両の速度情報とが、描画部２７に順次出力される。
【００４６】
次に、図４に基づいて前方画像５０を描画する処理を説明する。図４に示される処理は、描画部２７によって実施される。
【００４７】
Ｓ１１１では、画像取得部２１を通じての、近赤外線カメラ１０からの前方画像５０の入力が有るか否かを判定する。Ｓ１１１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されている場合、前方画像５０の入力が有ると判定し、Ｓ１１２に進む。一方、Ｓ１１１において、近赤外線カメラ１０から画像取得部２１への前方画像５０の出力が開始されていない場合、前方画像５０の入力が無いと判定し、Ｓ１１１を繰り返す。これにより、前方画像５０の入力が開始されるまで、待機状態を維持する。
【００４８】
Ｓ１１２では、画像取得部２１から前方画像５０を取得し、Ｓ１１３に進む。Ｓ１１３では、図３に示されるＳ１０５によって速度情報取得部２５から出力される各種の情報の入力が、現在有るか否かを判定する。Ｓ１１３において、速度情報取得部２５からの情報の入力が無いと判定した場合、Ｓ１１９に進む。一方、Ｓ１１３において、速度情報取得部２５からの情報の入力が有ると判定した場合、Ｓ１１４に進む。Ｓ１１４では、速度情報取得部２５からの出力されている、位置情報、大きさ情報、及び速度情報を取得し、Ｓ１１５に進む。ここで、Ｓ１１４にて取得される位置情報及び大きさ情報が抽出された前方画像５０と、Ｓ１１２にて取得される前方画像５０とは、異なっている。
【００４９】
Ｓ１１５では、Ｓ１１４にて取得した大きさ情報によって、強調画像６０の基準サイズＢＳを設定する。加えて、Ｓ１１５では、Ｓ１１４にて取得した車速情報によって、強調画像６０の拡大率を設定し、Ｓ１１６に進む。Ｓ１１６では、Ｓ１１５にて設定された基準サイズＢＳに、Ｓ１１５にて設定された拡大率を乗算することにより、強調画像６０の描画サイズを決定し、Ｓ１１７に進む。これらＳ１１５及びＳ１１６の処理によれば、強調画像６０の描画サイズは、車両の走行速度が速くなるに従って、大きさ情報に対応する基準サイズＢＳに対して、大きく拡大されるようになる。
【００５０】
Ｓ１１７では、Ｓ１１２にて取得した前方画像５０をレイヤ１に描画する。加えて、Ｓ１１７では、Ｓ１１６において設定された描画サイズにて、強調画像６０をレイヤ２に描画し、Ｓ１１８に進む。このＳ１１７では、Ｓ１１５にて取得した位置情報による歩行者画像７０の位置ＣＰが前方画像５０の右側の領域５０ｒにある場合、強調画像６０は、位置ＣＰを基点として水平方向に沿って前方画像５０の右方向に拡大される（図２（ｂ）等参照）。加えて、強調画像６０は、位置ＣＰを基点として鉛直方向に沿って前方画像５０の上方に拡大される。
【００５１】
Ｓ１１８では、前方画像５０の描画されたレイヤ１に、強調画像６０の描画されたレイヤ２を合成することにより、Ｓ１１４にて取得した位置情報に対応する位置ＣＰに強調画像６０の重畳された前方画像５０の画像データを生成する。そして、Ｓ１２０に進む。一方、歩行者検出部２３からの各種の情報の入力が無い場合に実施されるＳ１１９では、Ｓ１１２にて取得された前方画像５０をレイヤ１に描画することにより、当該前方画像５０の画像データを生成し、Ｓ１２０に進む。Ｓ１２０では、Ｓ１１８及びＳ１１９のうちのいずれか一方の処理により生成された前方画像５０の画像データを、液晶ディスプレイ４０に出力して、再びＳ１１２に戻る。
【００５２】
以上のＳ１１２〜Ｓ１２０の繰り返しにより、前方画像５０に歩行者画像７０が映る場合には、画像取得部２１によって順次取得されている現在の前方画像５０において位置情報に対応する位置ＣＰに、拡大して描画された強調画像６０が重畳される。そして、現在の前方画像５０ｎは、液晶ディスプレイ４０に連続的に出力される。これにより、液晶ディスプレイ４０には、前方領域９０の様子が、順次表示される前方画像５０によって動画として映し出される。
【００５３】
ここまで説明した本実施形態において、歩行者画像７０の位置情報及び大きさ情報を抽出する処理には、時間が必要となる。故に、強調画像６０の重畳される前方画像５０ｎ（図２（ｂ）及び（ｃ）参照）に対して、位置情報及び大きさ情報の抽出される前方画像５０ｐ（図２（ａ）参照）は、過去のものとなる。歩行者検出部２３が歩行者画像７０の位置情報及び大きさ情報を抽出している時間にも、車両は、前方領域９０に存在する実際の検出対象物に接近している。故に、画像取得部２１によって順次取得されている現在の前方画像５０ｎにおける歩行者画像７０は、歩行者検出部２３によって位置情報及び大きさ情報の抽出された過去の前方画像５０ｐにおける歩行者画像７０よりも、前方画像５０ｎに大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像５０ｎにおける歩行者画像７０は、過去の前方画像５０ｐにおける歩行者画像７０に対して、大きく拡大されて前方画像５０ｎに映るようになる。
【００５４】
そこで本実施形態では、車両の走行速度が高くなるに従って、強調画像６０は、大きく拡大される。これにより、強調画像６０のサイズは、現在の前方画像５０ｎに映る歩行者画像７０の大きさに、的確に対応し得る。加えて、描画部２７は、画像取得部２１によって順次取得されている現在の前方画像５０ｎを順次出力することにより、液晶ディスプレイ４０に順次表示させる。故に、前方画像５０をバッファリングするための構成を省略できるので、ナイトビュー装置１００の複雑化は、回避される。加えて、前方画像５０をバッファリングする形態と比較して、表示画面４１の表示の遅延が低減される。以上により、ナイトビュー装置１００は、簡素な構成を維持しつつ、前方画像５０の表示の遅延を抑制したうえで、前方画像５０に強調画像６０を的確に重畳させることにより、当該歩行者画像７０を強調することができる。
【００５５】
加えて本実施形態によれば、速度情報取得部２５は、歩行者検出部２３から位置情報及び大きさ情報を取得することにより、速度情報を取得する。故に、位置情報及び大きさ情報が歩行者検出部２３によって抽出されるタイミングと、これらの情報に関連付けられる速度情報が速度情報取得部２５によって取得されるタイミングとの差は、低減される。ここで、過去の前方画像５０ｐにおける歩行者画像７０の大きさに対する、現在の前方画像５０ｎにおける歩行者画像７０の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、速度情報の取得されるタイミングとの差を低減することにより、描画部２７は、強調画像６０の拡大に車両の走行速度を正確に反映し得る。以上により、描画部２７は、現在の前方画像５０ｎにおける歩行者画像７０の大きさに的確に対応する強調画像６０を描画できる。したがって、ナイトビュー装置１００は、強調画像６０に歩行者画像７０をさらに的確に重畳させて、当該歩行者画像７０を強調することができる。
【００５６】
また本実施形態によれば、車両の走行速度が速くなるに従って大きく設定される拡大率に基準サイズＢＳを乗算することにより、強調画像６０の描画サイズは、算出される。以上の形態では、車両の走行速度が速くなるに従って、強調画像６０の描画サイズは、確実に大きくになるので、現在の前方画像５０ｎにおける歩行者画像７０の大きさにさらに的確に対応し得る。したがって、ナイトビュー装置１００は、歩行者画像７０に強調画像６０をさらに的確に重畳させることにより、当該歩行者画像７０を強調することができる。
【００５７】
さらに本実施形態では、前方画像５０の右側の領域５０ｒに歩行者画像７０が映る場合、前方領域９０に存在する実際の歩行者と車両との接近によって、歩行者画像７０は、水平方向に沿って前方画像５０の右方向に移動しつつ、大きくなる（図２（ｃ）等参照）。故に、強調画像６０は、前方画像５０の右方向に拡大して描画されることにより、現在の前方画像５０ｎにおける歩行者画像７０の位置及び大きさに的確に対応し得る。
【００５８】
同様に、水平方向において前方画像５０の中央よりも左側の領域５０ｌに歩行者画像７０が映る場合、前方領域９０に存在する実際の歩行者と車両との接近によって、歩行者画像７０は、水平方向に沿って前方画像５０の左方向に移動しつつ、大きくなる。故に、強調画像６０は、前方画像５０の左方向に拡大して描画されることにより、現在の前方画像５０ｎにおける歩行者画像７０の位置及び大きさに的確に対応し得る。
【００５９】
これらにより、ナイトビュー装置１００は、歩行者画像７０に強調画像６０をさらに的確に重畳させて、当該歩行者画像７０を強調することができる。
【００６０】
また、上述したように、過去の歩行者画像７０の大きさに対する現在の歩行者画像７０の大きさの比は、車両の走行速度に対応する。故に、本実施形態のように、車両の走行速度と強調画像６０の拡大率との相関を関数によって予め規定することによれば、拡大率は、車両の走行速度毎に細かく設定され得る。以上により、関数を的確に調整することで、拡大された強調画像６０の描画サイズと現在の歩行者画像７０の大きさとを確実に対応させられるようになるので、ナイトビュー装置１００は、強調画像６０によって歩行者画像７０をさらに強調することができる。
【００６１】
さらに加えて本実施形態によれば、歩行者画像７０を囲む形状の強調画像６０は、仮に歩行者画像７０の大きさにその描画サイズが対応しない場合には、歩行者画像７０と重なることにより、歩行者画像７０を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像６０を拡大して描画する描画部２７より、強調画像６０の描画サイズは、表示画面４１表示される現在の前方画像５０ｎにおける歩行者画像７０の大きさに的確に対応し得る。故に、歩行者画像７０を囲む形状の強調画像６０であっても、歩行者画像７０を見難くしてしまう事態は回避され、さらに歩行者画像７０を強調する効果が、確実に発揮されるようになる。以上により、歩行者画像７０を囲む形状の強調画像６０を前方画像５０に重畳するナイトビュー装置１００は、走行速度に従った強調画像６０の拡大により、歩行者画像７０をいっそう強調することができる。
【００６２】
尚、本実施形態において、近赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部２１が特許請求の範囲に記載の「画像取得手段」に相当し、歩行者検出部２３が特許請求の範囲に記載の「対象物情報抽出手段」に相当し、速度情報取得部２５が特許請求の範囲に記載の「速度情報取得手段」に相当し、描画部２７が特許請求の範囲に記載の「描画手段」，「拡大率設定部」，及び「描画部」に相当し、描画部２７及び液晶ディスプレイ４０が協働で特許請求の範囲に記載の「表示手段」に相当し、歩行者画像７０が特許請求の範囲に記載の「検出対象物の画像」に相当し、ナイトビュー装置１００が特許請求の範囲に記載の「車両用表示装置」に相当する。
【００６３】
（他の実施形態）
以上、本発明による一実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【００６４】
上記実施形態において、速度情報取得部２５は、歩行者検出部２３から出力された位置情報及び大きさ情報を取得することにより、車内ＬＡＮ３０から速度情報を取得していた。しかし、速度情報取得部が速度情報を取得するタイミングは、上記実施形態のように、歩行者検出部から情報を受け取った直後でなくてもよい。例えば、歩行者検出部は、予め設定された時間毎に現在の速度情報を取得及び記憶することにより、歩行者検出部から取得する位置情報及び大きさ情報に、記憶している現在の速度情報を関連付けてもよい。また、ナイトビュー装置は、車内ＬＡＮ３０から速度情報を取得する速度情報取得部２５のような構成に換えて、例えばタイヤの回転速度を計測するセンサ等を「速度情報取得手段」として備えていてもよい。
【００６５】
上記実施形態において、描画部２７は、強調画像６０の描画サイズを、基準サイズＢＳに拡大率を乗算することにより設定していた。そしてこの拡大率は、予め規定された関数に車両の走行速度を入力することにより、算出されていた。このような描画部２７によって用いられる関数は、入力としての走行速度に対して、出力としての拡大率を離散値で出力するものであってもよく、又は拡大率を連続値で出力するものであってもよい。加えて、入力としての走行速度が低い範囲では、例えば走行速度にかかわらず、１倍の拡大率が維持されてもよい。さらに、描画部によって描画サイズが設定される方法は、基準サイズＢＳに拡大率を乗算する上記の方法に限定されない。例えば、車両の走行速度と基準サイズＢＳとに基づいて描画サイズを決定するテーブルを予め規定しておく。そして、このテーブルに基づいて、描画部は、強調画像の描画サイズを決定してもよい。
【００６６】
上記実施形態において、強調画像６０の基準サイズＢＳは、切出画像の寸法データと一致しするように決定されていた。しかし、大きさ情報に対応する強調画像の基準サイズは、切出画像の寸法データと一致していなくてもよい。例えば、切出画像の寸法データに、所定の値を加算又は減算した値が、強調画像の基準サイズとして決定されてもよい。又は、切出画像の寸法データに、所定の値を乗算した値が、強調画像の基準サイズとして決定されてもよい。
【００６７】
上記実施形態において、強調画像６０を拡大する拡大率は、３０ｋｍ／ｈにおいて１．１倍に、６０ｋｍ／ｈにおいて１．３倍になるように設定されていた。しかし、拡大率の具体的な値は、例えば前方画像を生成する近赤外線カメラの備えるレンズの画角、及び近赤外線カメラの車両への取り付け位置等に応じて、強調画像が歩行者画像を的確に強調できるように、適宜調整されてよい。
【００６８】
上記実施形態では、強調画像６０は、歩行者画像７０が前方画像５０の右側の領域５０ｒに映る場合には前方画像５０の右方向に拡大され、歩行者画像７０が前方画像５０の左側の領域５０ｌに映る場合には前方画像５０の左方向に拡大されていた。また、歩行者画像の左下の角が、拡大の基点となる位置ＣＰとされていた。しかし、強調画像を拡大する基点の位置及び拡大する方向は、前方画像における歩行者画像の水平方向及び鉛直方向の位置、並びに車両の走行速度等に応じて、適宜変更されてよい。例えば、歩行者画像が前方画像の左側の領域に映る場合には、歩行者画像の右下の角を、拡大の基点の位置とするのがよい。又は、強調画像は、歩行者画像の中心を拡大の基点の位置として、水平方向及び鉛直方向に拡大されてもよい。
【００６９】
上記実施形態において、強調画像６０は、歩行者画像７０を実線にて全周に亘って囲む矩形形状の画像であった。しかし、強調画像の形状は、上記の形状に限定されない。例えば、図５（ａ）に示されるように、強調画像２６０は、歩行者画像７０を破線にて全周に亘って囲む矩形形状の画像であってもよい。又は、図５（ｂ）に示されるように、強調画像３６０は、歩行者画像７０を水平方向において挟むような矩形枠状の画像であってもよい。さらに、図５（ｃ）に示されるように、強調画像４６０は、歩行者画像７０を鉛直方向において挟むような矩形枠状の画像であってもよい。或いは、図５（ｄ）に示されるように、強調画像４６０は、歩行者等の検出対象物の形状を模しており、検出対象物の画像７０に重ねられる画像であってもよい。さらには、強調画像は、歩行者画像を囲んでいなくてもよい。例えば、強調画像は、検出対象物の画像に隣接して重畳され、検出対象物の画像に沿って鉛直方向又は水平方向に伸びる棒状の画像であってもよい。
【００７０】
上記実施形態において、強調画像６０は、例えば視認性に優れる橙色の画像であった。しかし、強調画像の色相、明度、彩度等は、適宜変更されてよい。加えて、強調画像は、視認者による歩行者画像の視認を妨げないように、半透明な画像であってもよい。又は、強調画像は、視認者の注意を惹きやすいように、表示及び非表示を繰り返す点滅する画像とされていてもよい。
【００７１】
上記実施形態において、ナイトビュー装置１００は、「撮像手段」として近赤外線カメラ１０と接続されていた。しかし、ナイトビュー装置に前方画像を出力する「撮像手段」は、車両の前方領域の画像を撮影できれば、上記実施形態のものに限定されない。例えば、「撮像手段」は、可視光線を検知することにより、前方画像を撮影する可視光カメラであってもよい。又は、遠赤外線を検知することにより、前方画像を撮影する遠赤外線カメラであってもよい。さらには、ナイトビュー装置は、「撮像手段」に相当する構成を備えていてもよい。
【００７２】
上記実施形態において、ナイトビュー装置１００は、「表示手段」の一部として、液晶ディスプレイを備えていた。しかし、ナイトビュー装置は、液晶ディスプレイに換えて、例えば車両のウィンドウシールドに前方画像を投影し、当該ウィンドウシールドの前方に結像させる所謂ヘッドアップディスプレイ装置を備えていてもよい。又は、ナイトビュー装置の「表示手段」は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
【００７３】
上記実施形態において、描画部２７は、前方画像５０及び強調画像６０を互いに異なるレイヤに描画したうえで、これらのレイヤを合成する合成処理を行うことにより、強調画像６０を前方画像５０に重畳していた。しかし、描画部は、前方画像において、強調画像の重畳部分にあたる画素の階調データを直接的に更新することにより、強調画像を前方画像に重畳する形態であってもよい。
【００７４】
上記実施形態では、画像処理回路２０によってプログラムが実行されることにより、機能ブロックとしての歩行者検出部２３及び描画部２７等が構成される形態であった。しかし、各機能ブロックの機能は、それぞれ別の回路によって果たされてもよい。また、各機能ブロックとして機能する回路は、画像処理回路のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
【００７５】
上記実施形態において、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として予め設定されていてもよい。
【符号の説明】
【００７６】
ＢＳ 強調画像の基準サイズ、ＣＰ 歩行者画像の位置、１０ 近赤外線カメラ（撮像手段）、１１ 近赤外線投光器、２０ 画像処理回路、２１ 画像取得部（画像取得手段）、２３ 歩行者検出部（対象物情報抽出手段）、２５ 速度情報取得部（速度情報取得手段）、２７ 描画部（描画手段，拡大率設定部，描画部，表示手段）、３０ 車内ＬＡＮ、４０ 液晶ディスプレイ（表示手段）、４１ 表示画面、５０ 前方画像、５０ｒ 右側の領域、５０ｌ 左側の領域、５０ｎ 現在の前方画像、５０ｐ 過去の前方画像、６０ 強調画像、７０ 歩行者画像（検出対象物の画像）、９０ 前方領域、１００ ナイトビュー装置（車両用表示装置）
【特許請求の範囲】
【請求項１】
車両の前方領域を撮影する撮像手段によって順次生成される前方画像から、当該前方領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前記前方画像に重畳して順次表示する車両用表示装置であって、
前記撮像手段から前記前方画像を順次取得する画像取得手段と、
前記画像取得手段によって取得された前記前方画像から前記検出対象物の画像を検出することにより、当該前方画像における当該検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、
前記車両の走行速度の情報を取得する速度情報取得手段と、
前記対象物情報抽出手段によって抽出された前記大きさ情報に対応する前記強調画像のサイズを基準サイズとし、前記速度情報取得手段によって取得された情報による前記走行速度が速くなるに従って、前記強調画像を前記基準サイズに対して大きく拡大して描画する描画手段と、
前記画像取得手段によって順次取得されている現在の前記前方画像において、前記対象物情報抽出手段によって抽出された前記位置情報に対応する位置に、前記描画手段によって拡大して描画された前記強調画像を重畳して順次表示する表示手段と、
を備えることを特徴とする車両用表示装置。
【請求項２】
前記速度情報取得手段は、前記対象物情報抽出手段によって前記位置情報及び前記大きさ情報が取得されることより、前記走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付け、
前記描画手段は、前記走行速度が速くなるに従って、当該走行速度の情報に前記速度情報取得手段によって関連付けられた前記大きさ情報に対応する前記基準サイズに対して、前記強調画像を大きく拡大して描画することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記描画手段は、
前記基準サイズに対して拡大される前記強調画像の拡大率を、前記車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、
前記拡大率設定部によって設定された前記拡大率を、前記基準サイズに乗算することにより算出される描画サイズにて、前記強調画像を描画する描画部と、
を有することを特徴とする請求項１又は２に記載の車両用表示装置。
【請求項４】
前記描画手段は、
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、前記水平方向に沿って前記前方画像の右方向に前記強調画像を拡大して描画し、
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、前記水平方向において当該前方画像の中央よりも左側の領域にある場合に、前記水平方向に沿って前記前方画像の左方向に前記強調画像を拡大して描画することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項５】
前記描画手段は、前記検出対象物の画像を囲む形状の前記強調画像を描画することを特徴とする請求項１〜４のいずれか一項に記載の車両用表示装置。
【請求項１】
車両の前方領域を撮影する撮像手段によって順次生成される前方画像から、当該前方領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前記前方画像に重畳して順次表示する車両用表示装置であって、
前記撮像手段から前記前方画像を順次取得する画像取得手段と、
前記画像取得手段によって取得された前記前方画像から前記検出対象物の画像を検出することにより、当該前方画像における当該検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、
前記車両の走行速度の情報を取得する速度情報取得手段と、
前記対象物情報抽出手段によって抽出された前記大きさ情報に対応する前記強調画像のサイズを基準サイズとし、前記速度情報取得手段によって取得された情報による前記走行速度が速くなるに従って、前記強調画像を前記基準サイズに対して大きく拡大して描画する描画手段と、
前記画像取得手段によって順次取得されている現在の前記前方画像において、前記対象物情報抽出手段によって抽出された前記位置情報に対応する位置に、前記描画手段によって拡大して描画された前記強調画像を重畳して順次表示する表示手段と、
を備えることを特徴とする車両用表示装置。
【請求項２】
前記速度情報取得手段は、前記対象物情報抽出手段によって前記位置情報及び前記大きさ情報が取得されることより、前記走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付け、
前記描画手段は、前記走行速度が速くなるに従って、当該走行速度の情報に前記速度情報取得手段によって関連付けられた前記大きさ情報に対応する前記基準サイズに対して、前記強調画像を大きく拡大して描画することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記描画手段は、
前記基準サイズに対して拡大される前記強調画像の拡大率を、前記車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、
前記拡大率設定部によって設定された前記拡大率を、前記基準サイズに乗算することにより算出される描画サイズにて、前記強調画像を描画する描画部と、
を有することを特徴とする請求項１又は２に記載の車両用表示装置。
【請求項４】
前記描画手段は、
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、前記水平方向に沿って前記前方画像の右方向に前記強調画像を拡大して描画し、
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、前記水平方向において当該前方画像の中央よりも左側の領域にある場合に、前記水平方向に沿って前記前方画像の左方向に前記強調画像を拡大して描画することを特徴とする請求項１〜３のいずれか一項に記載の車両用表示装置。
【請求項５】
前記描画手段は、前記検出対象物の画像を囲む形状の前記強調画像を描画することを特徴とする請求項１〜４のいずれか一項に記載の車両用表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２１８５０５（Ｐ２０１２−２１８５０５Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４０００（Ｐ２０１１−８４０００）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]