車両用表示装置
【課題】運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避する。
【解決手段】カメラ部２で逐次撮像した近赤外光画像から歩行者を検知するとともに、近赤外光画像中での当該歩行者の位置である対象物位置を検知する画像認識部４４と、カメラ部２で逐次撮像した近赤外光画像を表示する表示器３と、画像認識部４４で検知した対象物位置に基づいて、表示器３で表示する近赤外光画像中に歩行者検知枠の表示を行う描画部４７と、走行関連情報を取得する走行関連情報取得部４５と、走行関連情報取得部で取得した走行関連情報をもとに、近赤外光画像中における対象物位置の変化を予測する枠表示位置決定部４６とを備え、描画部４７は、枠表示位置決定部４６での予測結果に応じて歩行者検知枠の表示の範囲を拡大する。
【解決手段】カメラ部２で逐次撮像した近赤外光画像から歩行者を検知するとともに、近赤外光画像中での当該歩行者の位置である対象物位置を検知する画像認識部４４と、カメラ部２で逐次撮像した近赤外光画像を表示する表示器３と、画像認識部４４で検知した対象物位置に基づいて、表示器３で表示する近赤外光画像中に歩行者検知枠の表示を行う描画部４７と、走行関連情報を取得する走行関連情報取得部４５と、走行関連情報取得部で取得した走行関連情報をもとに、近赤外光画像中における対象物位置の変化を予測する枠表示位置決定部４６とを備え、描画部４７は、枠表示位置決定部４６での予測結果に応じて歩行者検知枠の表示の範囲を拡大する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載して用いられる車両用表示装置に関するものである。
【背景技術】
【０００２】
従来から、車載用の表示装置として、赤外線カメラによって撮像された画像を表示して、夜間走行時に運転者の視覚をサポートするナイトビューモニター装置が知られている。例えば、特許文献１〜３には、赤外線カメラにて車両前方を撮像した画像から、走行に影響を与える可能性のある対象物を判定し、当該対象物をディスプレイの画面上において枠で囲って表示する強調表示を行う車両周辺表示装置が開示されている。
【０００３】
なお、撮像した画像から対象物を判定するのには、若干の時間（例えば１００ｍｓ程度）が必要となる。従って、対象物の判定を行っている間に車両の移動等があると、リアルタイムの画像中の対象物に対しては枠の位置がずれてしまうことなる。
【０００４】
そこで、この問題を解決する手段として、ディスプレイに表示する画像を遅延させる遅延処理を行い、その遅延させた画像において枠の表示を行わせることによって、画像中の対象物に対して枠の位置がずれないようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０６６８２号公報
【特許文献２】特開２００４−３６４１１２号公報
【特許文献３】特開２００６−２４０３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、実視界の像と遅延させた画像との間にずれが存在するので、運転者が違和感を受けるなど、運転者にとっての快適性が損なわれる問題点を有していた。また、従来の技術では、遅延処理によるコストアップという問題点も有していた。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することを可能にする車両用表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
車両に搭載された撮像部では車両の走行に伴って撮像位置や撮像方向が変化するため、車両に搭載された撮像部によって車両周辺を逐次撮像して得られる撮像画像中の対象物は、車両の走行に大きく影響されて撮像画像中での位置が変化する。
【０００９】
請求項１の構成によれば、この車両の走行に関連する情報である走行関連情報をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００１０】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の範囲を拡大するので、撮像画像中における対象物位置の変化に合わせて強調表示の範囲を拡大することによって、変化後の対象物位置にも合う（例えば重なる）ように強調表示を行うことが可能になる。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となる。
【００１１】
従って、以上の構成によれば、遅延処理を行わなくても表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となり、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００１２】
なお、撮像画像の中央から離れた位置に存在する対象物ほど車両の走行の影響によってずれが生じやすい。請求項２の構成によれば、走行関連情報に加え、撮像画像中での対象物の位置である対象物位置をもとに、撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をさらに精度良く予測できる可能性が高い。
【００１３】
従って、以上の構成によれば、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うようにさらに精度良く強調表示を行うことが可能となる。
【００１４】
なお、撮像画像中での対象物位置は、車両の走行に伴う対象物位置の変化方向に大きく影響するため、撮像画像中での対象物位置をもとに上記変化方向を推定することが可能である。また、走行関連情報は、車両の走行に伴う対象物位置の変化量に大きく影響するため、走行関連情報をもとに上記変化量を推定することが可能である。ここで、請求項３の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに強調表示の範囲を拡大するので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００１５】
また、請求項４の構成によれば、走行関連情報をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００１６】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の位置をずらすので、撮像画像中における対象物位置の変化に合わせて強調表示の位置をずらすことによって、変化後の対象物位置に合う（例えば重なる）ように強調表示を行うことが可能になる。よって、以上の構成によれば、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００１７】
また、請求項５の構成によれば、走行関連情報に加え、対象物位置をもとに、撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。以上の構成によれば、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うようにさらに精度良く強調表示を行うことが可能となる。
【００１８】
また、請求項６の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の位置をずらすとともに、予測した対象物位置の変化量に応じた量だけ強調表示の位置をずらすので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００１９】
なお、車両の車速が速くなるほど、撮像画像中における対象物位置の変化量が増大しやすい傾向にある。よって、請求項７のように、少なくとも車速をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２０】
また、車両の旋回状態は、車両の走行に伴う対象物位置の変化に大きく影響する。例えば、車両の旋回方向は車両の走行に伴う対象物位置の変化方向に大きく影響し、車両の旋回量は車両の走行に伴う対象物位置の変化量に大きく影響する。よって、請求項８のように、少なくとも旋回状態に関する情報をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２１】
なお、車両の操舵角からは、車両の実舵角を求めることが可能である。また、車両の実舵角からは、車両の旋回方向と車両の旋回量を知ることができる。そして、車両の旋回方向および旋回量は、前述したように、車両の走行に伴う対象物位置の変化方向および変化量に大きく影響する。よって、請求項９のように、車両の操舵角をもとに車両の実舵角を求め、求めた実舵角をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２２】
なお、車両の進路前方のカーブ情報からは、今後の車両の旋回状態を予測することが可能である。また、前述したように、車両の旋回状態をもとに、車両の旋回方向と車両の旋回量を知ることができる。そして、車両の旋回方向および旋回量は、前述したように、車両の走行に伴う対象物位置の変化方向および変化量に大きく影響する。よって、請求項１０のように、少なくとも車両の進路前方のカーブ情報をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２３】
前述したように、撮像画像の中央から離れた位置に存在する対象物ほど車両の走行の影響によってずれが生じやすい。請求項１１の構成によれば、この撮像画像中での当該対象物の位置である対象物位置をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００２４】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の範囲を拡大するので、撮像画像中における対象物位置の変化に合わせて強調表示の範囲を拡大することによって、変化後の対象物位置にも合う（例えば重なる）ように強調表示を行うことが可能になる。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となる。
【００２５】
従って、以上の構成によれば、遅延処理を行わなくても表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となり、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００２６】
また、請求項１２の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに強調表示の範囲を拡大するので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００２７】
また、請求項１３の構成によれば、対象物位置をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００２８】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の位置をずらすので、撮像画像中における対象物位置の変化に合わせて強調表示の位置をずらすことによって、変化後の対象物位置に合う（例えば重なる）ように強調表示を行うことが可能になる。よって、以上の構成によれば、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００２９】
また、請求項１４の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の位置をずらすとともに、予測した対象物位置の変化量に応じた量だけ強調表示の位置をずらすので、対象物により的確に合うように強調表示を行わせることが可能になる。
【図面の簡単な説明】
【００３０】
【図１】ナイトビューモニター装置１００の概略的な構成を示すブロック図である。
【図２】近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。
【図３】ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。
【図４】歩行者検知ロジックの概略を説明する模式図である。
【図５】車両の走行に伴う対象物位置の変化について説明を行うための図である。
【図６】（ａ）〜（ｃ）は、歩行者検知枠のＸ座標方向における補正について説明を行うための図である。
【図７】表示画像の表示の一例を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用されたナイトビューモニター装置１００の概略的な構成を示すブロック図である。図１に示すナイトビューモニター装置１００は、車両に搭載されるものであり、近赤外光投光器１、カメラ部２、表示器３、およびナイトビューＥＣＵ４を含んでいる。また、近赤外光投光器１、カメラ部２、および表示器３とナイトビューＥＣＵ４とは、例えばＣＡＮ（Controller AreaNetwork）などの通信プロトコルに準拠した車内ＬＡＮで各々接続されている。なお、ナイトビューモニター装置１００を搭載している車両を以降では自車両と呼ぶ。また、ナイトビューモニター装置１００は、請求項の車両用表示装置に相当する。
【００３２】
近赤外光投光器１は、自車両の車体前部に設置されている。また、近赤外光投光器１は、近赤外光を発光するＬＥＤ、すなわち、近赤外領域（例えば約８００ｎｍ〜約１２００ｎｍ）にピーク波長帯域を有する単波長ＬＥＤを、１つまたは複数備えており、自車両前方に近赤外光を照射する。
【００３３】
ここで、図２を用いて、近赤外光投光器１から照射される近赤外光の照射範囲について説明を行う。図２は、近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。可視光を照射する自車両のヘッドライトは、図２に示すように、ロービーム時には自車両前方の約５０ｍまでが可視光の照射範囲となる。これに対して、近赤外光投光器１から照射される近赤外光は、ロービーム時の可視光の照射範囲よりも前方の、自車両前方の例えば約１００ｍまでが照射範囲となる。なお、近赤外光投光器１から照射される近赤外光の投光角度範囲は例えば約１５°とする。
【００３４】
ロービーム時の可視光の照射範囲が約５０ｍまでなので、街灯などからの外光がなければ自車両の運転者は自車両前方の５０ｍより先を目視することは困難である。よって、自車両前方の５０ｍよりも先の自車両の予想進路に歩行者が存在した場合には、ロービーム時のヘッドライトから照射される可視光だけではこの歩行者を目視できない可能性が高い。これに対して、ナイトビューモニター装置１００では、近赤外光投光器１から近赤外光をロービーム時のヘッドライトの照射距離よりも遠い自車両前方の約１００ｍまで照射し、その反射光をカメラ部２で撮像するので、ロービーム時のヘッドライトから照射される可視光だけでは目視できない歩行者も撮像画像中に捉えることができる。
【００３５】
カメラ部２は、ウィンドシールド（フロントガラス）の内側に設けられており、自車両の車体前部に撮像方向を固定して設置され、自車両前方に所定角範囲で広がる領域（つまり、画角の範囲内の領域）を逐次撮像するものである。よって、カメラ部２が請求項の撮像部に相当する。また、カメラ部２は、近赤外領域に感度を持つＣＣＤもしくはＣＭＯＳ等の画像撮像素子などから構成されており、近赤外光投光器１から照射される近赤外光の反射光を映像信号に変換する。そして、カメラ部２が撮像した自車両前方周辺の画像情報（つまり、映像信号）は、ナイトビューＥＣＵ４に逐次供給される。なお、カメラ部２は、ウィンドシールド（フロントガラス）の内側に設けられる構成であってもよいし、ウィンドシールド５の外側に設けられる構成としてもよい。なお、本実施形態では、画角が例えば１５°であるものとして以降の説明を続ける。
【００３６】
表示器３は、自車両の車室内における運転者が視認可能な位置に設けられており、ナイトビューＥＣＵ４から出力される画像を逐次表示する。例えば表示器３は、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、表示器３は、例えばメーターパネルに設けられるものとする。
【００３７】
また、本実施形態では、表示器３がメーターパネルに設けられる構成を示したが、必ずしもこれに限らない。例えば、車載ナビゲーション装置に設けられたディスプレイを表示器３として利用する構成としてもよい。また、ウィンドシールドに画像を投影するヘッドアップディスプレイ（ＨＵＤ）を表示器３とする構成としてもよい。
【００３８】
ナイトビューＥＣＵ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メインタイマ、バックアップＲＡＭ、入出力インターフェース等を備えて構成され、カメラ部２や各種センサ等から入力された各種情報に基づき、ＲＯＭに記憶された各種の制御プログラムを実行することで各種の処理を実行する。
【００３９】
ここで、図３を用いて、ナイトビューＥＣＵ４の概略的な構成について説明を行う。図３は、ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。図３に示すようにナイトビューＥＣＵ４は、映像信号取得部４１、Ａ／Ｄ変換部４２、分配処理部４３、画像認識部４４、走行関連情報取得部４５、枠表示位置決定部４６、描画部４７、および制御部４８を備えている。
【００４０】
映像信号取得部４１は、カメラ部２から送られてきた映像信号を逐次取得し、Ａ／Ｄ変換部４２に送る。Ａ／Ｄ変換部４２は、アナログ信号である映像信号をデジタル画像（以下、近赤外光画像と呼ぶ）に変換し、分配処理部４３に逐次出力する。分配処理部４３は、Ａ／Ｄ変換部４２から出力された近赤外光画像を、画像認識部４４と描画部４７とにそれぞれ逐次出力する。なお、近赤外光画像が請求項の撮像画像に相当する。
【００４１】
画像認識部４４は、分配処理部４３から出力された近赤外光画像から、認識対象とする物体である対象物を画像認識によって検知するとともに、撮像画像中での当該対象物の位置（以下、対象物位置）を検知する。なお、本実施形態では、対象物を歩行者とした場合を例に挙げて以降の説明を行う。ここで、図４を用いて、画像認識部４４において近赤外光画像から歩行者を画像認識によって検知する歩行者検知ロジックについての説明を行う。なお、図４は、歩行者検知ロジックの概略を説明する模式図である。
【００４２】
ここで、以降の説明の便宜上、概略辞書、詳細辞書、および誤りフィルターについての説明を行う。概略辞書および詳細辞書は、歩行者の複数の近赤外光画像例をもとに歩行者の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書である。なお、概略辞書および詳細辞書は、機械学習手法の１つであるアダブースト（Adaboost）学習法によって生成することが可能である。
【００４３】
また、例えば概略辞書は歩行者の全体（例えば歩行者の全身や半身など）の特徴を学習して構築された辞書であるのに対して、詳細辞書は歩行者の細部（例えば頭や腕や脚など）の特徴を学習して構築された辞書であって、概略辞書よりも詳細辞書の方が歩行者の判断基準が厳しくなるように設定されている。
【００４４】
さらに、誤りフィルターは、歩行者以外の物体（つまり、ノイズとなる物体）の複数の近赤外光画像例をもとに歩行者以外の物体の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書であって、アダブースト学習法によって生成することが可能である。なお、概略辞書および詳細辞書は、歩行者が含まれる画像を選別するのに用いられ、誤りフィルターは、歩行者以外の物体が含まれる画像を選別するのに用いられる。
【００４５】
画像認識部４４では、まず、近赤外光画像から歩行者らしき物体を含む所定の領域の画像（つまり、候補画像）を抽出する。なお、近赤外光画像から切り出す候補画像の大きさは、予め決められた一定の大きさであってもよいし、歩行者らしき物体までの推定または計測された距離に応じた大きさであってもよい。続いて、候補画像と概略辞書中のパターンとを照合することによって、歩行者を含む可能性の高い候補画像（つまり、抽出候補画像）を絞り込む。さらに、抽出候補画像と誤りフィルター中のパターンとを照合することによって、抽出候補画像のうちから明らかに歩行者以外の物体が含まれるものを除外し、明らかな誤検知を却下する。
【００４６】
そして、誤りフィルターによって誤検知分を除いた抽出候補画像と詳細辞書中のパターンとを照合することによって、歩行者を含む画像（つまり、歩行者画像）を確定し、歩行者の検知および検知した歩行者の近赤外光画像中での位置、高さの検知を行う。また、画像認識部４４は、検知した歩行者の近赤外光画像中での位置（以下、対象物位置）および高さを枠表示位置決定部４６に出力する。なお、検知した歩行者の対象物位置および高さを以降では歩行者検知情報と呼ぶものとする。
【００４７】
なお、ここで言うところの対象物位置とは、例えば近赤外光画像中での歩行者の座標（Ｘ座標・Ｙ座標）である。また、歩行者の座標は、例えば歩行者画像の重心の座標であってもよいし、歩行者画像の縦幅および横幅の中心の座標であってもよいし、歩行者画像の外接四角形の重心の座標であってもよいし、歩行者画像の外接四角形の四隅の座標であってもよい。以降の例では、近赤外光画像が６４０×４８０ドットの画像である場合を例に挙げて説明を続ける。なお、この場合、ドライバから見た左右方向に相当するｘ座標方向のドット数が６４０ドット、上下方向に相当するｙ座標方向のドット数が４８０ドットとし、近赤外光画像の中央の座標は、（Ｘ，Ｙ）＝（３２０，２４０）であるものとする。
【００４８】
図３に戻って、走行関連情報取得部４５は、車両の走行に関連する情報（以下、走行関連情報）を、車両に設けられた各種センサや車載ナビゲーション装置から逐次取得する。そして、走行関連情報取得部４５は、取得した走行関連情報を枠表示位置決定部４６に送る。
【００４９】
例えば、走行関連情報取得部４５は、車速センサ（もしくは車輪速センサ）から出力される自車両の車速を取得したり、加速度センサから出力される自車両の加減速度を取得したり、ステアリングセンサから出力される操舵角を取得したり、ヨーレートセンサから出力されるヨーレートを取得したりする。なお、走行関連情報取得部４５は、各種センサから出力される走行関連情報を直接に取得する構成であってもよいし、各種センサから走行関連情報を取得したＥＣＵから取得する構成であってもよい。
【００５０】
また、例えば、走行関連情報取得部４５は、自車両の進路前方の右左折の情報やカーブの曲率半径（カーブＲ）などのカーブ情報を車載ナビゲーション装置から取得したりする。なお、走行関連情報取得部４５が、路車間通信や車車間通信を行う無線通信装置を介して、路側機や他車両から自車両の進路前方のカーブ情報を取得する構成としてもよい。
【００５１】
枠表示位置決定部４６は、画像認識部４４から得られた歩行者検知情報に基づいて、歩行者検知枠を近赤外光画像中で表示させる位置および大きさを決定する。具体的には、歩行者検知情報のうちの対象物位置をもとに、歩行者検知枠を表示させる位置を決定し、歩行者検知情報のうちの歩行者の高さをもとに、歩行者検知枠の縦・横の大きさを決定する。
【００５２】
なお、歩行者の高さと歩行者検知枠の縦・横の大きさとが予め対応付けられたテーブル等を用いて、歩行者検知情報のうちの歩行者の高さをもとに、歩行者検知枠の縦・横の大きさを決定する構成とすればよい。また、このテーブルでは、歩行者の高さごとに、歩行者を覆うことができる程度の縦・横の大きさが対応付けられているものとすればよい。
【００５３】
また、ここで言うところの歩行者検知枠とは、歩行者を近赤外光画像中において強調表示させるための枠であって、例えば歩行者を囲む方形の枠や円形の枠等とすればよい。また、本実施形態では、歩行者を近赤外光画像中において強調表示させる方法として、近赤外光画像中の歩行者を枠で囲む構成を示したが、必ずしもこれに限らない。例えば、近赤外光画像中の歩行者を矢印で示す等、他の方法によるものであってもよい。
【００５４】
なお、ここまで説明を行なった歩行者検知枠の位置や縦・横の大きさの決定は仮決定である。枠表示位置決定部４６は、さらに、走行関連情報取得部４５で得られる走行関連情報や歩行者検知情報のうちの対象物位置をもとに、車両の走行に伴う対象物位置の変化を予測することによって、変化後の対象物位置に合った歩行者検知枠の位置や縦・横の大きさを本決定する。以下では、この本決定の処理について説明を行なう。
【００５５】
まず、図５を用いて、車両の走行に伴う対象物位置の変化についての説明を行う。なお、図５に示す例では、自車両は６０ｋｍ／ｈで走行しており、自車両は１００ｍｓの間にＴ１の位置からＴ２の位置まで前進するものとする。また、カメラ部２の画角は１５°であり、カメラ部２では、自車両から５０ｍ先の左右方向１３．２ｍの範囲までの画像が撮像されるものとする。なお、ここでは、便宜上、対象物位置の左右方向への変化についての説明を行なう。
【００５６】
自車両が前進を続ける場合には、近赤外光画像中の対象物位置は、対象物位置が近赤外光画像の中央である場合を除き、近赤外光画像のＸ座標方向の端へとずれていく傾向にある。図５の例のように、自車両がＡの位置にあるときに、近赤外光画像の中央から右方向にずれた場所に歩行者が見えている場合には、自車両がＴ２の位置まで前進することにより、近赤外光画像中のさらに右方向に歩行者がずれて見えることになる。例えば、図５の例で、近赤外光画像の右端に存在する、自車両から５０ｍ先の歩行者は、１００ｍｓの走行において、０．２２ｍ相当右方向に移動して見えることになる。従って、カメラ部２で撮像した近赤外光画像から歩行者や対象物位置を検知する処理に時間を要しているうちに、検知した対象物位置とリアルタイムの近赤外光画像中の対象物位置との間に検知遅れによるずれが生じてしまうことなる。
【００５７】
なお、歩行者の移動速度に対して、自車両の通常走行時（例えば、徐行以外の走行時）の速度は著しく大きいので、ここでは、例えば１００ｍｓのような短時間における歩行者の移動については、対象物位置の変化への影響を考慮しないものとする。
【００５８】
枠表示位置決定部４６は、走行関連情報取得部４５で得られる走行関連情報や歩行者検知情報のうちの対象物位置をもとに、上述のずれを予測し、変化後の対象物位置に合った歩行者検知枠の位置や縦・横の大きさに補正する処理を行い、歩行者検知枠の位置や縦・横の大きさを本決定する。よって、枠表示位置決定部４６が請求項の位置変化予測部に相当する。
【００５９】
ここで、歩行者検知枠の補正について図６（ａ）〜図６（ｃ）を用いて説明を行なう。図６（ａ）〜図６（ｃ）は、歩行者検知枠のＸ座標方向における補正について説明を行うための図である。なお、ここでは、自車両の車速と対象物位置とをもとに歩行者検知枠の横の大きさを補正する場合を一例として挙げて説明を行う。
【００６０】
検知遅れによるずれが生じない場合には、歩行者検知情報のうちの歩行者の高さをもとに仮決定された歩行者検知枠の縦・横の大きさのままでも、図６（ａ）に示すように歩行者検知枠によって歩行者を中心として囲う事ができる。なお、歩行者の高さをもとに仮決定された歩行者検知枠の横の大きさをａとする。
【００６１】
一方、検知遅れによるずれが生じる場合には、歩行者検知情報のうちの歩行者の高さをもとに仮決定された歩行者検知枠の縦・横の大きさのままでは、図６（ｂ）に示すように歩行者と歩行者検知枠とがずれてしまい、見苦しい表示となる。また、この場合には、運転者は、歩行者検知枠が何を囲っているのか判らなくなる可能性もある。
【００６２】
そこで、図６（ｃ）に示すように歩行者検知枠の横の大きさを対象物位置および車速を考慮した量（ここではｂとする）だけ大きくして表示する事により、ずれが生じた後の歩行者も歩行者検知枠によって囲い、運転者に判りやすい表示を達成する。
【００６３】
ｂについては、検知遅れによるずれ量を考慮することによって求めることが可能である。具体的には、直線走行を前提とする場合には、枠表示位置決定部４６は、以下の（１）式からｂを算出する。なお、（１）式において、自車両の車速はＶ、対象物のＸ座標方向の位置はＸと表している。また、枠表示位置決定部４６は、近赤外光画像中での歩行者のＸ座標をもとに、近赤外光画像のＸ座標方向における画角のうちの何度に相当する場所に歩行者が存在するかを求め、求めた度数を対象物のＸ座標方向の位置として扱うものとする。
【００６４】
例えば、近赤外光画像中での歩行者のＸ座標と近赤外光画像の画角のうちの度数とを予め対応付けておき、これらの対応関係をもとに枠表示位置決定部４６で対象物のＸ座標方向の位置を求める構成とすればよい。一例としては、ドット数０を−７．５°、ドット数３２０を０°、ドット数６４０を＋７．５°といったように対応させるものとする。
【００６５】
また、（１）式において、Ｃ１は正の定数であり、適宜、設定されるものである。例えば、Ｃ１は、Ｘ＝＋７．５°でＶ＝６０ｋｍ／ｈのときにb＝０．２２ｍ相当（例えば０．２２ｍ相当のドット数など）となる値を設定する構成とすればよい。なお、ｂが正の値であった場合には歩行者検知枠の横の大きさを右方向にｂだけ大きくする一方、ｂが負の値であった場合には歩行者検知枠の横の大きさを左方向にｂだけ大きくするものとする。
【００６６】
【数１】
【００６７】
（１）式によれば、対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、Ｘは正の値なのでｂも正の値となり、歩行者検知枠の横の大きさを右方向に大きくする補正を行うことになる。対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、自車両の前進により、近赤外光画像中のさらに右方向に歩行者がずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００６８】
一方、対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、Ｘは負の値なのでｂも負の値となり、歩行者検知枠の横の大きさを左方向に大きくする補正を行うことになる。対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、自車両の前進により、近赤外光画像中のさらに左方向に歩行者がずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００６９】
さらに、対象物位置が近赤外光画像の中央である場合には、Ｘは０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。よって、対象物位置が近赤外光画像の中央にあってずれが生じず、歩行者検知枠の横の大きさの補正を行う必要のない場合には補正を行わずに済む。
【００７０】
つまり、枠表示位置決定部４６は、（１）式を用いることによって、対象物位置をもとに対象物位置の変化方向が左右方向のいずれであるかを求めるともに、対象物位置および車速をもとに対象物位置の変化量を求めているということが言える。
【００７１】
なお、前述の実施形態では、直線走行を前提とする場合の一例について説明を行ったが、走行関連情報のうちの操舵角やヨーレートから自車両の旋回状態を枠表示位置決定部４６が把握したり、走行関連情報のうちのカーブ情報から自車両の今後の旋回状態を枠表示位置決定部４６が予測したりすることにより、さらにｂの値を調整する構成としてもよい。
【００７２】
この場合には、枠表示位置決定部４６は、以下の（２）式からｂを算出する。なお、（２）式において、自車両の実舵角はδと表している。また、枠表示位置決定部４６は、走行関連情報のうちの操舵角をもとに、自車両の実舵角を求めて扱うものとする。例えば、操舵角と実舵角とを予め対応付けておき、これらの対応関係をもとに枠表示位置決定部４６で実舵角を求める構成とすればよい。
【００７３】
なお、ここで言うところの実舵角は、自車両の右前輪の実舵角であってもよいし、左前輪の実舵角であってもよいし、左右輪の実舵角の平均値であってもよい。また、実舵角δは右操舵を正方向とする。よって、右方向に実舵角が付いている場合にはδは正の値となり、左方向に実舵角が付いている場合にはδは負の値となる。
【００７４】
【数２】
【００７５】
（２）式によれば、自車両が右方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が小さくなるので、自車両が右方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを左方向に向けて調整することになる。例えば、Ｘが負の値であれば、歩行者検知枠の横の大きさを左方向に大きくする補正をより強めるように調整することになる。また、Ｘが正の値であれば、Ｘ＞δの場合には、歩行者検知枠の横の大きさを右方向に大きくする補正を弱めるように調整し、Ｘ＜δの場合には、歩行者検知枠の横の大きさを左方向に大きくするよう調整することになる。
【００７６】
自車両が右方向に旋回していく場合には、近赤外光画像中の歩行者は左方向にずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００７７】
一方、（２）式によれば、自車両が左方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が大きくなるので、自車両が左方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを右方向に向けて調整することになる。例えば、Ｘが正の値であれば、歩行者検知枠の横の大きさを右方向に大きくする補正をより強めるように調整することになる。また、Ｘが負の値であれば、Ｘ＞δの場合には、歩行者検知枠の横の大きさを左方向に大きくするよう調整し、Ｘ＜δの場合には、歩行者検知枠の横の大きさを左方向に大きくする補正を弱めるように調整することになる。
【００７８】
自車両が左方向に旋回していく場合には、近赤外光画像中の歩行者は右方向にずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００７９】
さらに、対象物位置が近赤外光画像の中央であって、自車両が直進状態の場合には、Ｘは０°であってδも０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。よって、対象物位置が近赤外光画像の中央にあるとともに自車両が直進状態であってずれが生じず、歩行者検知枠の横の大きさの補正を行う必要のない場合には補正を行わずに済む。
【００８０】
つまり、枠表示位置決定部４６は、（２）式を用いることによって、対象物位置および実舵角をもとに対象物の位置の変化方向が左右方向にいずれであるかを求めるともに、対象物位置および車速をもとに対象物位置の変化量を求めているということが言える。
【００８１】
なお、ここでは、操舵角を用いて実舵角を求め、歩行者検知枠の補正を行う構成を示したが、必ずしもこれに限らない。例えば、操舵角と同様にしてヨーレートを用いて実舵角を求め、歩行者検知枠の補正を行う構成としてもよい。
【００８２】
また、カーブ情報をもとに自車両が今後取り得る実舵角を予測し、歩行者検知枠の補正を行う構成としてもよい。例えば、自車両の進路前方の右左折の情報を用いる場合には、右折時に取り得る実舵角のデータおよび左折時に取り得る実舵角のデータを予めナイトビューＥＣＵ４で保持しておき、これらのデータを枠表示位置決定部４６が右折時、左折時に応じて利用することによって自車両が今後取り得る実舵角を予測する構成とすればよい。
【００８３】
また、カーブＲを用いる場合には、カーブＲごとに取り得る実舵角のデータを予めナイトビューＥＣＵ４で保持しておき、これらのデータを枠表示位置決定部４６がカーブＲに応じて利用することによって自車両が今後取り得る実舵角を予測する構成とすればよい。
【００８４】
なお、枠表示位置決定部４６が（１）式を用いてｂを求める場合と（２）式を用いてｂを求める場合とを示したが、一方のみを用いる構成としてもよいし、両方を併用する構成としてもよい。なお、両方を併用する場合には、例えば操舵角をもとに自車両が直進状態か否かを枠表示位置決定部４６が判断し、直進状態であると判断した場合には（１）式を用いてｂを求め、直進状態であると判断しなかった場合には（２）式を用いてｂを求める構成とすればよい。
【００８５】
また、枠表示位置決定部４６は、ｂが正の値であった場合には、仮決定した歩行者検知枠の横の大きさを右方向にｂだけ大きく設定し直して本決定とする。また、枠表示位置決定部４６は、ｂが負の値であった場合には、仮決定した歩行者検知枠の横の大きさを左方向にｂだけ大きく設定し直して本決定とする。さらに、ｂが０であった場合には、仮決定した歩行者検知枠の横の大きさを本決定とする。なお、歩行者検知枠の位置および歩行者検知枠の縦の大きさについては、仮決定したものをそのまま本決定とする。
【００８６】
そして、枠表示位置決定部４６は、本決定した歩行者検知枠の位置および縦・横の大きさ（以下、枠生成情報）を描画部４７に送る。なお、枠表示位置決定部４６において１００ｍｓの間での対象物位置の変化を予測する構成である場合には、枠生成情報を得るのに用いた近赤外光画像から１００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成とすればよい。枠表示位置決定部４６は、新たな近赤外光画像をもとに枠生成情報が本決定されるたびにこの枠生成情報を描画部４７に逐次出力することになる。
【００８７】
なお、ここでは、枠生成情報を得るのに用いた近赤外光画像から１００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成を示したが、必ずしもこれに限らない。例えば、枠生成情報を得るのに用いた近赤外光画像から２００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成などとしてもよい。
【００８８】
描画部４７は、分配処理部４３から逐次出力される近赤外光画像と枠表示位置決定部４６から逐次出力される枠生成情報とをもとに、当該近赤外光画像中の当該枠生成情報が示す位置に、当該枠生成情報が示す大きさの歩行者検知枠を合成した表示画像を逐次生成し、生成した表示画像を表示器３に逐次出力する。よって、描画部４７が請求項の表示制御部に相当する。
【００８９】
なお、上記合成では、分配処理部４３と枠表示位置決定部４６とから前述したように同期して出力された近赤外光画像および枠生成情報を用いるものとする。そして、表示器３では、描画部４７から入力された表示画像を逐次表示する。また、制御部４８は、近赤外光投光器１からの近赤外光の照射やカメラ部２での画像の撮像を制御する。
【００９０】
ここで、図７を用いて、表示画像の表示例について説明を行う。なお、図７は、表示画像の表示の一例を示す図である。図７中のＡが表示画像を示しており、Ｂが表示画像周囲の注意喚起枠を示しており、Ｃが表示画像中の歩行者検知枠を示している。図７に示すように、近赤外光の反射光を用いて撮像された画像が表示されるとともに、表示画像中の歩行者が歩行者検知枠によって強調表示される。
【００９１】
さらに、運転者に歩行者の存在を確実に伝達するために、歩行者が表示画像中に存在する場合には、表示画像の外周部に注意喚起枠を発光表示させる。なお、注意喚起枠を発光表示させる以外にも、図示しないスピーカから案内音声やブザー音を出力することによって表示画像中に歩行者が存在することを運転者に知らせる構成としてもよい。
【００９２】
また、ナイトビューＥＣＵ４には、ナイトビューＥＣＵ４の起動／停止を切り替える操作スイッチ（以下、ナイトビュースイッチと呼ぶ）が接続されており、このナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止されるものとする。
【００９３】
なお、本実施形態では、ナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止される構成を示したが、必ずしもこれに限らない。例えば、ナイトビューＥＣＵ４には、自車両のヘッドライトの点消灯を切り替える図示しないヘッドライトスイッチが接続されており、このヘッドライトスイッチのＯＮ／ＯＦＦに連動してナイトビューＥＣＵ４が起動／停止される構成としてもよい。この場合、ヘッドライトスイッチがＯＮになってヘッドライトが点灯された場合には、ナイトビューＥＣＵ４が起動され、ヘッドライトスイッチがＯＦＦになってヘッドライトが消灯された場合には、ナイトビューＥＣＵ４が停止される。
【００９４】
以上の構成によれば、車両の走行に伴う対象物位置の変化量に大きく影響する車速をもとに近赤外光画像中における対象物位置の変化を予測するので近赤外光画像中における対象物位置の変化をより精度良く予測できる可能性が高い。また、上記変化量および車両の走行に伴う対象物位置の変化方向に大きく影響する対象物位置や実舵角をもとに近赤外光画像中における対象物位置の変化を予測するので、近赤外光画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。よって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００９５】
また、以上の構成によれば、対象物位置の変化方向および変化量を予測し、予測した対象物位置の変化方向に応じた方向に歩行者検知枠の表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに歩行者検知枠の表示の範囲を拡大することになる。よって、以上の構成によれば、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【００９６】
従って、以上の構成によれば、遅延処理を行わなくても表示器３にリアルタイムに表示している近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行うことが可能となり、近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行いながらも、実視界の像と表示器３に表示する近赤外光画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００９７】
なお、前述の実施形態では、枠表示位置決定部４６が、車速および対象物位置、もしくは車速、対象物、およびカーブ情報をもとに歩行者検知枠を補正する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの車速のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（３）式からｂを算出し、歩行者検知枠の横の大きさを左右方向にそれぞれｂだけ大きくする構成とすればよい。なお、（３）式におけるＶは前述の（１）式および（２）式のＶと同様のものである。また、（３）式において、Ｃ２は正の定数であり、適宜、設定されるものである。例えば、Ｃ２としてＣ１と同じ値を用いてもよい。
【００９８】
【数３】
【００９９】
自車両の車速が速くなるほど車両の走行に伴う対象物位置の変化量も大きくなる。（３）式によれば、自車両の車速が速くなるほどｂの値も大きくなり、歩行者検知枠の横の大きさを左右方向に大きくする補正を行うことになる。よって、以上の構成によれば、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【０１００】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの対象物位置情報のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（４）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（４）式におけるＸは、前述した（１）式および（２）式のＸと同様のものである。また、（４）式において、Ｃ３は正の定数であり、適宜、設定されるものである。
【０１０１】
【数４】
【０１０２】
なお、検知遅れによるずれは、自車両の車速が速くなるほど大きくなる一方、車速が遅くなるほど小さくなるので、歩行者検知枠の大きさを大きくする本実施形態の構成においては、一般道での原則的な法定最高速度である６０ｋｍ／ｈの走行に対応できるＣ３を設定すれば、６０ｋｍ／ｈ以下の走行にも対応することが可能である。従って、例えば、Ｃ１は、Ｘ＝＋７．５°でb＝０．２２ｍ相当（例えば０．２２ｍ相当のドット数など）となる値を設定する構成とすればよい。
【０１０３】
以上の構成によれば、対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、Ｘは正の値なのでｂも正の値となり、歩行者検知枠の横の大きさを右方向に大きくする補正を行うことになる。また、対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、Ｘは負の値なのでｂも負の値となり、歩行者検知枠の横の大きさを左方向に大きくする補正を行うことになる。さらに、対象物位置が近赤外光画像の中央である場合には、Ｘは０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。
【０１０４】
よって、以上の構成によって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【０１０５】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの対象物位置情報とカーブ情報とのみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（５）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（５）式におけるＸは、前述した（４）式のＸと同様のものであり、Ｃ３も前述した（４）式のＣ３と同様のものである。また、（５）式におけるδは、前述した（２）式のδと同様のものである。
【０１０６】
【数５】
【０１０７】
以上の構成によれば、自車両が右方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が小さくなるので、自車両が右方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを左方向に向けて調整することになる。また、自車両が左方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が大きくなるので、自車両が左方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを右方向に向けて調整することになる。さらに、対象物位置が近赤外光画像の中央であって、自車両が直進状態の場合には、Ｘは０°であってδも０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。
【０１０８】
よって、以上の構成によって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【０１０９】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちのカーブ情報のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（６）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（６）式におけるδは、前述した（２）式および（５）式のδと同様のものである。また、（６）式において、Ｃ４は正の定数であり、適宜、設定されるものである。例えば、Ｃ４としてＣ３と同じ値を用いてもよい。
【０１１０】
【数６】
【０１１１】
さらに、前述の実施形態では、枠表示位置決定部４６において歩行者検知枠の横の大きさを補正する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６において歩行者検知枠の縦の大きさを補正する構成としてもよい。なお、枠表示位置決定部４６において歩行者検知枠の縦の大きさを補正する構成とする場合には、歩行者検知枠の横の大きさの補正量ｂを求めたのと同様にして、歩行者検知枠の縦の大きさの補正量（ｃとする）を求めればよい。
【０１１２】
具体的には、前述のＸの代わりに、対象物のＹ座標方向の位置Ｙを用いる。なお、枠表示位置決定部４６は、近赤外光画像中での歩行者のＹ座標をもとに、近赤外光画像のＹ座標方向における画角のうちの何度に相当する場所に歩行者が存在するかを求め、求めた度数を対象物のＹ座標方向の位置として扱うものとする。また、前述のδの代わりに、水平面に対する自車両の傾斜度θを用いる。なお、枠表示位置決定部４６は、走行関連情報取得部４５が３軸加速度センサから得た３軸方向についての加減速度をもとに水平面に対する自車両の傾斜度θを算出して扱うものとする。また、３軸加速度センサに限らず、傾斜計として用いることのできる２軸加速度センサを用いる構成としてもよい。
【０１１３】
また、枠表示位置決定部４６において歩行者検知枠の縦横のうち縦の大きさのみを補正する構成としてもよいし、横の大きさのみを補正する構成としてもよい。さらに、前述の実施形態を組み合わせ、枠表示位置決定部４６において歩行者検知枠の縦横両方の大きさを補正する構成としてもよい。
【０１１４】
また、前述の実施形態では、枠表示位置決定部４６での対象物位置の変化の予測結果に応じて歩行者検知枠の表示の範囲を拡大する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６での対象物位置の変化の予測結果に応じて歩行者検知枠の表示の位置をずらす構成としてもよい。具体的には、枠表示位置決定部４６で算出される前述のｂだけ歩行者検知枠の表示の位置を横方向にずらす構成としたり、前述のｃだけ歩行者検知枠の表示の位置を縦方向にずらす構成としたりすればよい。
【０１１５】
以上の構成によれば、近赤外光画像中における対象物位置の変化に合わせて歩行者検知枠の表示の位置をずらし、変化後の対象物位置の歩行者を囲うように歩行者検知枠の表示を行うことが可能になる。よって、以上の構成によっても、近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行いながらも、実視界の像と表示器３に表示する近赤外光画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【０１１６】
なお、前述の実施形態では、ナイトビューモニター装置１００にカメラ部２を１つ設ける構成を示したが、必ずしもこれに限らない。例えば、対象物までの距離の検知等の位置精度を向上させるために、２つのカメラ部２からなるステレオカメラを用いる構成としてもよい。例えば対象物までの距離の情報は、画像認識部４４での候補画像の抽出時における所定の領域の切り出しの大きさを決めるのに用いる構成とすることも可能である。
【０１１７】
また、前述の実施形態では、可視光の照射範囲外の対象物を検知するために近赤外光を利用する構成を示したが、必ずしもこれに限らない。可視光の照射範囲外の対象物を検知するためには、不可視光を利用する構成とすればよく、例えば、遠赤外光を利用する構成としてもよい。なお、遠赤外光を用いる場合には、物体が発する熱を感知することが可能であるので、近赤外光を用いる場合のような投光器が不要となる。また、ここで言うところの不可視光とは、前述した可視光の範囲外の波長の光を示している。さらに、遠赤外光とは、例えば約４μｍ〜約１ｍｍの波長の光を示している。
【０１１８】
なお、前述の実施形態では、対象物を歩行者とした場合の構成を示したが、必ずしもこれに限らない。例えば、対象物を歩行者以外の移動体とする構成としてもよい。
【０１１９】
また、前述の実施形態では、夜間に近赤外光の反射光を用いて撮像された近赤外光画像中の対象物を検知して当該対象物を示す強調表示を行う構成に本発明を適用する場合の一例について説明を行ったが、必ずしもこれに限らない。例えば、昼間に可視光の反射光を用いて撮像された撮像画像中の対象物を検知して当該対象物を示す強調表示を行う構成に本発明を適用してもよい。
【０１２０】
さらに、前述の実施形態では、自車両前方に所定角範囲で広がる領域を撮像して得られた撮像画像を用いて、自車両の前進時の予想進路に存在する対象物を検知する構成に本発明を適用する場合を一例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、自車両後方に所定角範囲で広がる領域を撮像して得られた撮像画像を用いて、自車両の後退時の予想進路に存在する対象物を検知する構成に本発明を適用してもよい。
【０１２１】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１２２】
１ 近赤外光投光器、２ カメラ部（撮像部）、３ 表示器、４ ナイトビューＥＣＵ、４１ 映像信号取得部、４２ Ａ／Ｄ変換部、４３ 分配処理部、４４ 画像認識部、４５ 走行関連情報取得部、４６ 枠表示位置決定部（位置変化予測部）、４７ 描画部（表示制御部）、４８ 制御部、１００ ナイトビューモニター装置（車両用表示装置）
【技術分野】
【０００１】
本発明は、車両に搭載して用いられる車両用表示装置に関するものである。
【背景技術】
【０００２】
従来から、車載用の表示装置として、赤外線カメラによって撮像された画像を表示して、夜間走行時に運転者の視覚をサポートするナイトビューモニター装置が知られている。例えば、特許文献１〜３には、赤外線カメラにて車両前方を撮像した画像から、走行に影響を与える可能性のある対象物を判定し、当該対象物をディスプレイの画面上において枠で囲って表示する強調表示を行う車両周辺表示装置が開示されている。
【０００３】
なお、撮像した画像から対象物を判定するのには、若干の時間（例えば１００ｍｓ程度）が必要となる。従って、対象物の判定を行っている間に車両の移動等があると、リアルタイムの画像中の対象物に対しては枠の位置がずれてしまうことなる。
【０００４】
そこで、この問題を解決する手段として、ディスプレイに表示する画像を遅延させる遅延処理を行い、その遅延させた画像において枠の表示を行わせることによって、画像中の対象物に対して枠の位置がずれないようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０６６８２号公報
【特許文献２】特開２００４−３６４１１２号公報
【特許文献３】特開２００６−２４０３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、実視界の像と遅延させた画像との間にずれが存在するので、運転者が違和感を受けるなど、運転者にとっての快適性が損なわれる問題点を有していた。また、従来の技術では、遅延処理によるコストアップという問題点も有していた。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することを可能にする車両用表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
車両に搭載された撮像部では車両の走行に伴って撮像位置や撮像方向が変化するため、車両に搭載された撮像部によって車両周辺を逐次撮像して得られる撮像画像中の対象物は、車両の走行に大きく影響されて撮像画像中での位置が変化する。
【０００９】
請求項１の構成によれば、この車両の走行に関連する情報である走行関連情報をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００１０】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の範囲を拡大するので、撮像画像中における対象物位置の変化に合わせて強調表示の範囲を拡大することによって、変化後の対象物位置にも合う（例えば重なる）ように強調表示を行うことが可能になる。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となる。
【００１１】
従って、以上の構成によれば、遅延処理を行わなくても表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となり、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００１２】
なお、撮像画像の中央から離れた位置に存在する対象物ほど車両の走行の影響によってずれが生じやすい。請求項２の構成によれば、走行関連情報に加え、撮像画像中での対象物の位置である対象物位置をもとに、撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をさらに精度良く予測できる可能性が高い。
【００１３】
従って、以上の構成によれば、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うようにさらに精度良く強調表示を行うことが可能となる。
【００１４】
なお、撮像画像中での対象物位置は、車両の走行に伴う対象物位置の変化方向に大きく影響するため、撮像画像中での対象物位置をもとに上記変化方向を推定することが可能である。また、走行関連情報は、車両の走行に伴う対象物位置の変化量に大きく影響するため、走行関連情報をもとに上記変化量を推定することが可能である。ここで、請求項３の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに強調表示の範囲を拡大するので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００１５】
また、請求項４の構成によれば、走行関連情報をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００１６】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の位置をずらすので、撮像画像中における対象物位置の変化に合わせて強調表示の位置をずらすことによって、変化後の対象物位置に合う（例えば重なる）ように強調表示を行うことが可能になる。よって、以上の構成によれば、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００１７】
また、請求項５の構成によれば、走行関連情報に加え、対象物位置をもとに、撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。以上の構成によれば、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うようにさらに精度良く強調表示を行うことが可能となる。
【００１８】
また、請求項６の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の位置をずらすとともに、予測した対象物位置の変化量に応じた量だけ強調表示の位置をずらすので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００１９】
なお、車両の車速が速くなるほど、撮像画像中における対象物位置の変化量が増大しやすい傾向にある。よって、請求項７のように、少なくとも車速をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２０】
また、車両の旋回状態は、車両の走行に伴う対象物位置の変化に大きく影響する。例えば、車両の旋回方向は車両の走行に伴う対象物位置の変化方向に大きく影響し、車両の旋回量は車両の走行に伴う対象物位置の変化量に大きく影響する。よって、請求項８のように、少なくとも旋回状態に関する情報をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２１】
なお、車両の操舵角からは、車両の実舵角を求めることが可能である。また、車両の実舵角からは、車両の旋回方向と車両の旋回量を知ることができる。そして、車両の旋回方向および旋回量は、前述したように、車両の走行に伴う対象物位置の変化方向および変化量に大きく影響する。よって、請求項９のように、車両の操舵角をもとに車両の実舵角を求め、求めた実舵角をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２２】
なお、車両の進路前方のカーブ情報からは、今後の車両の旋回状態を予測することが可能である。また、前述したように、車両の旋回状態をもとに、車両の旋回方向と車両の旋回量を知ることができる。そして、車両の旋回方向および旋回量は、前述したように、車両の走行に伴う対象物位置の変化方向および変化量に大きく影響する。よって、請求項１０のように、少なくとも車両の進路前方のカーブ情報をもとに、撮像画像中における対象物位置の変化を予測する態様としてもよい。
【００２３】
前述したように、撮像画像の中央から離れた位置に存在する対象物ほど車両の走行の影響によってずれが生じやすい。請求項１１の構成によれば、この撮像画像中での当該対象物の位置である対象物位置をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００２４】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の範囲を拡大するので、撮像画像中における対象物位置の変化に合わせて強調表示の範囲を拡大することによって、変化後の対象物位置にも合う（例えば重なる）ように強調表示を行うことが可能になる。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となる。
【００２５】
従って、以上の構成によれば、遅延処理を行わなくても表示器にリアルタイムに表示している撮像画像中の対象物に合うように強調表示を行うことが可能となり、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００２６】
また、請求項１２の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに強調表示の範囲を拡大するので、対象物により的確に合うように強調表示を行わせることが可能になる。
【００２７】
また、請求項１３の構成によれば、対象物位置をもとに撮像画像中における対象物位置の変化を位置変化予測部によって予測するので、撮像画像中における対象物位置の変化をより精度良く予測できる可能性が高い。よって、撮像画像から対象物および対象物位置を画像認識部で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００２８】
また、以上の構成によれば、位置変化予測部での予測結果に応じて、対象物を示す強調表示の位置をずらすので、撮像画像中における対象物位置の変化に合わせて強調表示の位置をずらすことによって、変化後の対象物位置に合う（例えば重なる）ように強調表示を行うことが可能になる。よって、以上の構成によれば、撮像画像中の対象物に合うように強調表示を行いながらも、実視界の像と表示器に表示する撮像画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００２９】
また、請求項１４の構成によれば、対象物位置の変化方向および変化量を位置変化予測部で予測し、予測した対象物位置の変化方向に応じた方向に強調表示の位置をずらすとともに、予測した対象物位置の変化量に応じた量だけ強調表示の位置をずらすので、対象物により的確に合うように強調表示を行わせることが可能になる。
【図面の簡単な説明】
【００３０】
【図１】ナイトビューモニター装置１００の概略的な構成を示すブロック図である。
【図２】近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。
【図３】ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。
【図４】歩行者検知ロジックの概略を説明する模式図である。
【図５】車両の走行に伴う対象物位置の変化について説明を行うための図である。
【図６】（ａ）〜（ｃ）は、歩行者検知枠のＸ座標方向における補正について説明を行うための図である。
【図７】表示画像の表示の一例を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用されたナイトビューモニター装置１００の概略的な構成を示すブロック図である。図１に示すナイトビューモニター装置１００は、車両に搭載されるものであり、近赤外光投光器１、カメラ部２、表示器３、およびナイトビューＥＣＵ４を含んでいる。また、近赤外光投光器１、カメラ部２、および表示器３とナイトビューＥＣＵ４とは、例えばＣＡＮ（Controller AreaNetwork）などの通信プロトコルに準拠した車内ＬＡＮで各々接続されている。なお、ナイトビューモニター装置１００を搭載している車両を以降では自車両と呼ぶ。また、ナイトビューモニター装置１００は、請求項の車両用表示装置に相当する。
【００３２】
近赤外光投光器１は、自車両の車体前部に設置されている。また、近赤外光投光器１は、近赤外光を発光するＬＥＤ、すなわち、近赤外領域（例えば約８００ｎｍ〜約１２００ｎｍ）にピーク波長帯域を有する単波長ＬＥＤを、１つまたは複数備えており、自車両前方に近赤外光を照射する。
【００３３】
ここで、図２を用いて、近赤外光投光器１から照射される近赤外光の照射範囲について説明を行う。図２は、近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。可視光を照射する自車両のヘッドライトは、図２に示すように、ロービーム時には自車両前方の約５０ｍまでが可視光の照射範囲となる。これに対して、近赤外光投光器１から照射される近赤外光は、ロービーム時の可視光の照射範囲よりも前方の、自車両前方の例えば約１００ｍまでが照射範囲となる。なお、近赤外光投光器１から照射される近赤外光の投光角度範囲は例えば約１５°とする。
【００３４】
ロービーム時の可視光の照射範囲が約５０ｍまでなので、街灯などからの外光がなければ自車両の運転者は自車両前方の５０ｍより先を目視することは困難である。よって、自車両前方の５０ｍよりも先の自車両の予想進路に歩行者が存在した場合には、ロービーム時のヘッドライトから照射される可視光だけではこの歩行者を目視できない可能性が高い。これに対して、ナイトビューモニター装置１００では、近赤外光投光器１から近赤外光をロービーム時のヘッドライトの照射距離よりも遠い自車両前方の約１００ｍまで照射し、その反射光をカメラ部２で撮像するので、ロービーム時のヘッドライトから照射される可視光だけでは目視できない歩行者も撮像画像中に捉えることができる。
【００３５】
カメラ部２は、ウィンドシールド（フロントガラス）の内側に設けられており、自車両の車体前部に撮像方向を固定して設置され、自車両前方に所定角範囲で広がる領域（つまり、画角の範囲内の領域）を逐次撮像するものである。よって、カメラ部２が請求項の撮像部に相当する。また、カメラ部２は、近赤外領域に感度を持つＣＣＤもしくはＣＭＯＳ等の画像撮像素子などから構成されており、近赤外光投光器１から照射される近赤外光の反射光を映像信号に変換する。そして、カメラ部２が撮像した自車両前方周辺の画像情報（つまり、映像信号）は、ナイトビューＥＣＵ４に逐次供給される。なお、カメラ部２は、ウィンドシールド（フロントガラス）の内側に設けられる構成であってもよいし、ウィンドシールド５の外側に設けられる構成としてもよい。なお、本実施形態では、画角が例えば１５°であるものとして以降の説明を続ける。
【００３６】
表示器３は、自車両の車室内における運転者が視認可能な位置に設けられており、ナイトビューＥＣＵ４から出力される画像を逐次表示する。例えば表示器３は、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、表示器３は、例えばメーターパネルに設けられるものとする。
【００３７】
また、本実施形態では、表示器３がメーターパネルに設けられる構成を示したが、必ずしもこれに限らない。例えば、車載ナビゲーション装置に設けられたディスプレイを表示器３として利用する構成としてもよい。また、ウィンドシールドに画像を投影するヘッドアップディスプレイ（ＨＵＤ）を表示器３とする構成としてもよい。
【００３８】
ナイトビューＥＣＵ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メインタイマ、バックアップＲＡＭ、入出力インターフェース等を備えて構成され、カメラ部２や各種センサ等から入力された各種情報に基づき、ＲＯＭに記憶された各種の制御プログラムを実行することで各種の処理を実行する。
【００３９】
ここで、図３を用いて、ナイトビューＥＣＵ４の概略的な構成について説明を行う。図３は、ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。図３に示すようにナイトビューＥＣＵ４は、映像信号取得部４１、Ａ／Ｄ変換部４２、分配処理部４３、画像認識部４４、走行関連情報取得部４５、枠表示位置決定部４６、描画部４７、および制御部４８を備えている。
【００４０】
映像信号取得部４１は、カメラ部２から送られてきた映像信号を逐次取得し、Ａ／Ｄ変換部４２に送る。Ａ／Ｄ変換部４２は、アナログ信号である映像信号をデジタル画像（以下、近赤外光画像と呼ぶ）に変換し、分配処理部４３に逐次出力する。分配処理部４３は、Ａ／Ｄ変換部４２から出力された近赤外光画像を、画像認識部４４と描画部４７とにそれぞれ逐次出力する。なお、近赤外光画像が請求項の撮像画像に相当する。
【００４１】
画像認識部４４は、分配処理部４３から出力された近赤外光画像から、認識対象とする物体である対象物を画像認識によって検知するとともに、撮像画像中での当該対象物の位置（以下、対象物位置）を検知する。なお、本実施形態では、対象物を歩行者とした場合を例に挙げて以降の説明を行う。ここで、図４を用いて、画像認識部４４において近赤外光画像から歩行者を画像認識によって検知する歩行者検知ロジックについての説明を行う。なお、図４は、歩行者検知ロジックの概略を説明する模式図である。
【００４２】
ここで、以降の説明の便宜上、概略辞書、詳細辞書、および誤りフィルターについての説明を行う。概略辞書および詳細辞書は、歩行者の複数の近赤外光画像例をもとに歩行者の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書である。なお、概略辞書および詳細辞書は、機械学習手法の１つであるアダブースト（Adaboost）学習法によって生成することが可能である。
【００４３】
また、例えば概略辞書は歩行者の全体（例えば歩行者の全身や半身など）の特徴を学習して構築された辞書であるのに対して、詳細辞書は歩行者の細部（例えば頭や腕や脚など）の特徴を学習して構築された辞書であって、概略辞書よりも詳細辞書の方が歩行者の判断基準が厳しくなるように設定されている。
【００４４】
さらに、誤りフィルターは、歩行者以外の物体（つまり、ノイズとなる物体）の複数の近赤外光画像例をもとに歩行者以外の物体の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書であって、アダブースト学習法によって生成することが可能である。なお、概略辞書および詳細辞書は、歩行者が含まれる画像を選別するのに用いられ、誤りフィルターは、歩行者以外の物体が含まれる画像を選別するのに用いられる。
【００４５】
画像認識部４４では、まず、近赤外光画像から歩行者らしき物体を含む所定の領域の画像（つまり、候補画像）を抽出する。なお、近赤外光画像から切り出す候補画像の大きさは、予め決められた一定の大きさであってもよいし、歩行者らしき物体までの推定または計測された距離に応じた大きさであってもよい。続いて、候補画像と概略辞書中のパターンとを照合することによって、歩行者を含む可能性の高い候補画像（つまり、抽出候補画像）を絞り込む。さらに、抽出候補画像と誤りフィルター中のパターンとを照合することによって、抽出候補画像のうちから明らかに歩行者以外の物体が含まれるものを除外し、明らかな誤検知を却下する。
【００４６】
そして、誤りフィルターによって誤検知分を除いた抽出候補画像と詳細辞書中のパターンとを照合することによって、歩行者を含む画像（つまり、歩行者画像）を確定し、歩行者の検知および検知した歩行者の近赤外光画像中での位置、高さの検知を行う。また、画像認識部４４は、検知した歩行者の近赤外光画像中での位置（以下、対象物位置）および高さを枠表示位置決定部４６に出力する。なお、検知した歩行者の対象物位置および高さを以降では歩行者検知情報と呼ぶものとする。
【００４７】
なお、ここで言うところの対象物位置とは、例えば近赤外光画像中での歩行者の座標（Ｘ座標・Ｙ座標）である。また、歩行者の座標は、例えば歩行者画像の重心の座標であってもよいし、歩行者画像の縦幅および横幅の中心の座標であってもよいし、歩行者画像の外接四角形の重心の座標であってもよいし、歩行者画像の外接四角形の四隅の座標であってもよい。以降の例では、近赤外光画像が６４０×４８０ドットの画像である場合を例に挙げて説明を続ける。なお、この場合、ドライバから見た左右方向に相当するｘ座標方向のドット数が６４０ドット、上下方向に相当するｙ座標方向のドット数が４８０ドットとし、近赤外光画像の中央の座標は、（Ｘ，Ｙ）＝（３２０，２４０）であるものとする。
【００４８】
図３に戻って、走行関連情報取得部４５は、車両の走行に関連する情報（以下、走行関連情報）を、車両に設けられた各種センサや車載ナビゲーション装置から逐次取得する。そして、走行関連情報取得部４５は、取得した走行関連情報を枠表示位置決定部４６に送る。
【００４９】
例えば、走行関連情報取得部４５は、車速センサ（もしくは車輪速センサ）から出力される自車両の車速を取得したり、加速度センサから出力される自車両の加減速度を取得したり、ステアリングセンサから出力される操舵角を取得したり、ヨーレートセンサから出力されるヨーレートを取得したりする。なお、走行関連情報取得部４５は、各種センサから出力される走行関連情報を直接に取得する構成であってもよいし、各種センサから走行関連情報を取得したＥＣＵから取得する構成であってもよい。
【００５０】
また、例えば、走行関連情報取得部４５は、自車両の進路前方の右左折の情報やカーブの曲率半径（カーブＲ）などのカーブ情報を車載ナビゲーション装置から取得したりする。なお、走行関連情報取得部４５が、路車間通信や車車間通信を行う無線通信装置を介して、路側機や他車両から自車両の進路前方のカーブ情報を取得する構成としてもよい。
【００５１】
枠表示位置決定部４６は、画像認識部４４から得られた歩行者検知情報に基づいて、歩行者検知枠を近赤外光画像中で表示させる位置および大きさを決定する。具体的には、歩行者検知情報のうちの対象物位置をもとに、歩行者検知枠を表示させる位置を決定し、歩行者検知情報のうちの歩行者の高さをもとに、歩行者検知枠の縦・横の大きさを決定する。
【００５２】
なお、歩行者の高さと歩行者検知枠の縦・横の大きさとが予め対応付けられたテーブル等を用いて、歩行者検知情報のうちの歩行者の高さをもとに、歩行者検知枠の縦・横の大きさを決定する構成とすればよい。また、このテーブルでは、歩行者の高さごとに、歩行者を覆うことができる程度の縦・横の大きさが対応付けられているものとすればよい。
【００５３】
また、ここで言うところの歩行者検知枠とは、歩行者を近赤外光画像中において強調表示させるための枠であって、例えば歩行者を囲む方形の枠や円形の枠等とすればよい。また、本実施形態では、歩行者を近赤外光画像中において強調表示させる方法として、近赤外光画像中の歩行者を枠で囲む構成を示したが、必ずしもこれに限らない。例えば、近赤外光画像中の歩行者を矢印で示す等、他の方法によるものであってもよい。
【００５４】
なお、ここまで説明を行なった歩行者検知枠の位置や縦・横の大きさの決定は仮決定である。枠表示位置決定部４６は、さらに、走行関連情報取得部４５で得られる走行関連情報や歩行者検知情報のうちの対象物位置をもとに、車両の走行に伴う対象物位置の変化を予測することによって、変化後の対象物位置に合った歩行者検知枠の位置や縦・横の大きさを本決定する。以下では、この本決定の処理について説明を行なう。
【００５５】
まず、図５を用いて、車両の走行に伴う対象物位置の変化についての説明を行う。なお、図５に示す例では、自車両は６０ｋｍ／ｈで走行しており、自車両は１００ｍｓの間にＴ１の位置からＴ２の位置まで前進するものとする。また、カメラ部２の画角は１５°であり、カメラ部２では、自車両から５０ｍ先の左右方向１３．２ｍの範囲までの画像が撮像されるものとする。なお、ここでは、便宜上、対象物位置の左右方向への変化についての説明を行なう。
【００５６】
自車両が前進を続ける場合には、近赤外光画像中の対象物位置は、対象物位置が近赤外光画像の中央である場合を除き、近赤外光画像のＸ座標方向の端へとずれていく傾向にある。図５の例のように、自車両がＡの位置にあるときに、近赤外光画像の中央から右方向にずれた場所に歩行者が見えている場合には、自車両がＴ２の位置まで前進することにより、近赤外光画像中のさらに右方向に歩行者がずれて見えることになる。例えば、図５の例で、近赤外光画像の右端に存在する、自車両から５０ｍ先の歩行者は、１００ｍｓの走行において、０．２２ｍ相当右方向に移動して見えることになる。従って、カメラ部２で撮像した近赤外光画像から歩行者や対象物位置を検知する処理に時間を要しているうちに、検知した対象物位置とリアルタイムの近赤外光画像中の対象物位置との間に検知遅れによるずれが生じてしまうことなる。
【００５７】
なお、歩行者の移動速度に対して、自車両の通常走行時（例えば、徐行以外の走行時）の速度は著しく大きいので、ここでは、例えば１００ｍｓのような短時間における歩行者の移動については、対象物位置の変化への影響を考慮しないものとする。
【００５８】
枠表示位置決定部４６は、走行関連情報取得部４５で得られる走行関連情報や歩行者検知情報のうちの対象物位置をもとに、上述のずれを予測し、変化後の対象物位置に合った歩行者検知枠の位置や縦・横の大きさに補正する処理を行い、歩行者検知枠の位置や縦・横の大きさを本決定する。よって、枠表示位置決定部４６が請求項の位置変化予測部に相当する。
【００５９】
ここで、歩行者検知枠の補正について図６（ａ）〜図６（ｃ）を用いて説明を行なう。図６（ａ）〜図６（ｃ）は、歩行者検知枠のＸ座標方向における補正について説明を行うための図である。なお、ここでは、自車両の車速と対象物位置とをもとに歩行者検知枠の横の大きさを補正する場合を一例として挙げて説明を行う。
【００６０】
検知遅れによるずれが生じない場合には、歩行者検知情報のうちの歩行者の高さをもとに仮決定された歩行者検知枠の縦・横の大きさのままでも、図６（ａ）に示すように歩行者検知枠によって歩行者を中心として囲う事ができる。なお、歩行者の高さをもとに仮決定された歩行者検知枠の横の大きさをａとする。
【００６１】
一方、検知遅れによるずれが生じる場合には、歩行者検知情報のうちの歩行者の高さをもとに仮決定された歩行者検知枠の縦・横の大きさのままでは、図６（ｂ）に示すように歩行者と歩行者検知枠とがずれてしまい、見苦しい表示となる。また、この場合には、運転者は、歩行者検知枠が何を囲っているのか判らなくなる可能性もある。
【００６２】
そこで、図６（ｃ）に示すように歩行者検知枠の横の大きさを対象物位置および車速を考慮した量（ここではｂとする）だけ大きくして表示する事により、ずれが生じた後の歩行者も歩行者検知枠によって囲い、運転者に判りやすい表示を達成する。
【００６３】
ｂについては、検知遅れによるずれ量を考慮することによって求めることが可能である。具体的には、直線走行を前提とする場合には、枠表示位置決定部４６は、以下の（１）式からｂを算出する。なお、（１）式において、自車両の車速はＶ、対象物のＸ座標方向の位置はＸと表している。また、枠表示位置決定部４６は、近赤外光画像中での歩行者のＸ座標をもとに、近赤外光画像のＸ座標方向における画角のうちの何度に相当する場所に歩行者が存在するかを求め、求めた度数を対象物のＸ座標方向の位置として扱うものとする。
【００６４】
例えば、近赤外光画像中での歩行者のＸ座標と近赤外光画像の画角のうちの度数とを予め対応付けておき、これらの対応関係をもとに枠表示位置決定部４６で対象物のＸ座標方向の位置を求める構成とすればよい。一例としては、ドット数０を−７．５°、ドット数３２０を０°、ドット数６４０を＋７．５°といったように対応させるものとする。
【００６５】
また、（１）式において、Ｃ１は正の定数であり、適宜、設定されるものである。例えば、Ｃ１は、Ｘ＝＋７．５°でＶ＝６０ｋｍ／ｈのときにb＝０．２２ｍ相当（例えば０．２２ｍ相当のドット数など）となる値を設定する構成とすればよい。なお、ｂが正の値であった場合には歩行者検知枠の横の大きさを右方向にｂだけ大きくする一方、ｂが負の値であった場合には歩行者検知枠の横の大きさを左方向にｂだけ大きくするものとする。
【００６６】
【数１】
【００６７】
（１）式によれば、対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、Ｘは正の値なのでｂも正の値となり、歩行者検知枠の横の大きさを右方向に大きくする補正を行うことになる。対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、自車両の前進により、近赤外光画像中のさらに右方向に歩行者がずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００６８】
一方、対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、Ｘは負の値なのでｂも負の値となり、歩行者検知枠の横の大きさを左方向に大きくする補正を行うことになる。対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、自車両の前進により、近赤外光画像中のさらに左方向に歩行者がずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００６９】
さらに、対象物位置が近赤外光画像の中央である場合には、Ｘは０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。よって、対象物位置が近赤外光画像の中央にあってずれが生じず、歩行者検知枠の横の大きさの補正を行う必要のない場合には補正を行わずに済む。
【００７０】
つまり、枠表示位置決定部４６は、（１）式を用いることによって、対象物位置をもとに対象物位置の変化方向が左右方向のいずれであるかを求めるともに、対象物位置および車速をもとに対象物位置の変化量を求めているということが言える。
【００７１】
なお、前述の実施形態では、直線走行を前提とする場合の一例について説明を行ったが、走行関連情報のうちの操舵角やヨーレートから自車両の旋回状態を枠表示位置決定部４６が把握したり、走行関連情報のうちのカーブ情報から自車両の今後の旋回状態を枠表示位置決定部４６が予測したりすることにより、さらにｂの値を調整する構成としてもよい。
【００７２】
この場合には、枠表示位置決定部４６は、以下の（２）式からｂを算出する。なお、（２）式において、自車両の実舵角はδと表している。また、枠表示位置決定部４６は、走行関連情報のうちの操舵角をもとに、自車両の実舵角を求めて扱うものとする。例えば、操舵角と実舵角とを予め対応付けておき、これらの対応関係をもとに枠表示位置決定部４６で実舵角を求める構成とすればよい。
【００７３】
なお、ここで言うところの実舵角は、自車両の右前輪の実舵角であってもよいし、左前輪の実舵角であってもよいし、左右輪の実舵角の平均値であってもよい。また、実舵角δは右操舵を正方向とする。よって、右方向に実舵角が付いている場合にはδは正の値となり、左方向に実舵角が付いている場合にはδは負の値となる。
【００７４】
【数２】
【００７５】
（２）式によれば、自車両が右方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が小さくなるので、自車両が右方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを左方向に向けて調整することになる。例えば、Ｘが負の値であれば、歩行者検知枠の横の大きさを左方向に大きくする補正をより強めるように調整することになる。また、Ｘが正の値であれば、Ｘ＞δの場合には、歩行者検知枠の横の大きさを右方向に大きくする補正を弱めるように調整し、Ｘ＜δの場合には、歩行者検知枠の横の大きさを左方向に大きくするよう調整することになる。
【００７６】
自車両が右方向に旋回していく場合には、近赤外光画像中の歩行者は左方向にずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００７７】
一方、（２）式によれば、自車両が左方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が大きくなるので、自車両が左方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを右方向に向けて調整することになる。例えば、Ｘが正の値であれば、歩行者検知枠の横の大きさを右方向に大きくする補正をより強めるように調整することになる。また、Ｘが負の値であれば、Ｘ＞δの場合には、歩行者検知枠の横の大きさを左方向に大きくするよう調整し、Ｘ＜δの場合には、歩行者検知枠の横の大きさを左方向に大きくする補正を弱めるように調整することになる。
【００７８】
自車両が左方向に旋回していく場合には、近赤外光画像中の歩行者は右方向にずれていく傾向があることから、この補正によって、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【００７９】
さらに、対象物位置が近赤外光画像の中央であって、自車両が直進状態の場合には、Ｘは０°であってδも０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。よって、対象物位置が近赤外光画像の中央にあるとともに自車両が直進状態であってずれが生じず、歩行者検知枠の横の大きさの補正を行う必要のない場合には補正を行わずに済む。
【００８０】
つまり、枠表示位置決定部４６は、（２）式を用いることによって、対象物位置および実舵角をもとに対象物の位置の変化方向が左右方向にいずれであるかを求めるともに、対象物位置および車速をもとに対象物位置の変化量を求めているということが言える。
【００８１】
なお、ここでは、操舵角を用いて実舵角を求め、歩行者検知枠の補正を行う構成を示したが、必ずしもこれに限らない。例えば、操舵角と同様にしてヨーレートを用いて実舵角を求め、歩行者検知枠の補正を行う構成としてもよい。
【００８２】
また、カーブ情報をもとに自車両が今後取り得る実舵角を予測し、歩行者検知枠の補正を行う構成としてもよい。例えば、自車両の進路前方の右左折の情報を用いる場合には、右折時に取り得る実舵角のデータおよび左折時に取り得る実舵角のデータを予めナイトビューＥＣＵ４で保持しておき、これらのデータを枠表示位置決定部４６が右折時、左折時に応じて利用することによって自車両が今後取り得る実舵角を予測する構成とすればよい。
【００８３】
また、カーブＲを用いる場合には、カーブＲごとに取り得る実舵角のデータを予めナイトビューＥＣＵ４で保持しておき、これらのデータを枠表示位置決定部４６がカーブＲに応じて利用することによって自車両が今後取り得る実舵角を予測する構成とすればよい。
【００８４】
なお、枠表示位置決定部４６が（１）式を用いてｂを求める場合と（２）式を用いてｂを求める場合とを示したが、一方のみを用いる構成としてもよいし、両方を併用する構成としてもよい。なお、両方を併用する場合には、例えば操舵角をもとに自車両が直進状態か否かを枠表示位置決定部４６が判断し、直進状態であると判断した場合には（１）式を用いてｂを求め、直進状態であると判断しなかった場合には（２）式を用いてｂを求める構成とすればよい。
【００８５】
また、枠表示位置決定部４６は、ｂが正の値であった場合には、仮決定した歩行者検知枠の横の大きさを右方向にｂだけ大きく設定し直して本決定とする。また、枠表示位置決定部４６は、ｂが負の値であった場合には、仮決定した歩行者検知枠の横の大きさを左方向にｂだけ大きく設定し直して本決定とする。さらに、ｂが０であった場合には、仮決定した歩行者検知枠の横の大きさを本決定とする。なお、歩行者検知枠の位置および歩行者検知枠の縦の大きさについては、仮決定したものをそのまま本決定とする。
【００８６】
そして、枠表示位置決定部４６は、本決定した歩行者検知枠の位置および縦・横の大きさ（以下、枠生成情報）を描画部４７に送る。なお、枠表示位置決定部４６において１００ｍｓの間での対象物位置の変化を予測する構成である場合には、枠生成情報を得るのに用いた近赤外光画像から１００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成とすればよい。枠表示位置決定部４６は、新たな近赤外光画像をもとに枠生成情報が本決定されるたびにこの枠生成情報を描画部４７に逐次出力することになる。
【００８７】
なお、ここでは、枠生成情報を得るのに用いた近赤外光画像から１００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成を示したが、必ずしもこれに限らない。例えば、枠生成情報を得るのに用いた近赤外光画像から２００ｍｓ後の近赤外光画像を分配処理部４３が描画部４７に出力するのに同期させて、当該枠生成情報を枠表示位置決定部４６から描画部４７に出力する構成などとしてもよい。
【００８８】
描画部４７は、分配処理部４３から逐次出力される近赤外光画像と枠表示位置決定部４６から逐次出力される枠生成情報とをもとに、当該近赤外光画像中の当該枠生成情報が示す位置に、当該枠生成情報が示す大きさの歩行者検知枠を合成した表示画像を逐次生成し、生成した表示画像を表示器３に逐次出力する。よって、描画部４７が請求項の表示制御部に相当する。
【００８９】
なお、上記合成では、分配処理部４３と枠表示位置決定部４６とから前述したように同期して出力された近赤外光画像および枠生成情報を用いるものとする。そして、表示器３では、描画部４７から入力された表示画像を逐次表示する。また、制御部４８は、近赤外光投光器１からの近赤外光の照射やカメラ部２での画像の撮像を制御する。
【００９０】
ここで、図７を用いて、表示画像の表示例について説明を行う。なお、図７は、表示画像の表示の一例を示す図である。図７中のＡが表示画像を示しており、Ｂが表示画像周囲の注意喚起枠を示しており、Ｃが表示画像中の歩行者検知枠を示している。図７に示すように、近赤外光の反射光を用いて撮像された画像が表示されるとともに、表示画像中の歩行者が歩行者検知枠によって強調表示される。
【００９１】
さらに、運転者に歩行者の存在を確実に伝達するために、歩行者が表示画像中に存在する場合には、表示画像の外周部に注意喚起枠を発光表示させる。なお、注意喚起枠を発光表示させる以外にも、図示しないスピーカから案内音声やブザー音を出力することによって表示画像中に歩行者が存在することを運転者に知らせる構成としてもよい。
【００９２】
また、ナイトビューＥＣＵ４には、ナイトビューＥＣＵ４の起動／停止を切り替える操作スイッチ（以下、ナイトビュースイッチと呼ぶ）が接続されており、このナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止されるものとする。
【００９３】
なお、本実施形態では、ナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止される構成を示したが、必ずしもこれに限らない。例えば、ナイトビューＥＣＵ４には、自車両のヘッドライトの点消灯を切り替える図示しないヘッドライトスイッチが接続されており、このヘッドライトスイッチのＯＮ／ＯＦＦに連動してナイトビューＥＣＵ４が起動／停止される構成としてもよい。この場合、ヘッドライトスイッチがＯＮになってヘッドライトが点灯された場合には、ナイトビューＥＣＵ４が起動され、ヘッドライトスイッチがＯＦＦになってヘッドライトが消灯された場合には、ナイトビューＥＣＵ４が停止される。
【００９４】
以上の構成によれば、車両の走行に伴う対象物位置の変化量に大きく影響する車速をもとに近赤外光画像中における対象物位置の変化を予測するので近赤外光画像中における対象物位置の変化をより精度良く予測できる可能性が高い。また、上記変化量および車両の走行に伴う対象物位置の変化方向に大きく影響する対象物位置や実舵角をもとに近赤外光画像中における対象物位置の変化を予測するので、近赤外光画像中における対象物位置の変化をさらに精度良く予測できる可能性が高い。よって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に変化した対象物位置をより精度良く予測できる可能性が高い。
【００９５】
また、以上の構成によれば、対象物位置の変化方向および変化量を予測し、予測した対象物位置の変化方向に応じた方向に歩行者検知枠の表示の範囲を拡大するとともに、予測した対象物位置の変化量に応じた大きさに歩行者検知枠の表示の範囲を拡大することになる。よって、以上の構成によれば、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【００９６】
従って、以上の構成によれば、遅延処理を行わなくても表示器３にリアルタイムに表示している近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行うことが可能となり、近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行いながらも、実視界の像と表示器３に表示する近赤外光画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【００９７】
なお、前述の実施形態では、枠表示位置決定部４６が、車速および対象物位置、もしくは車速、対象物、およびカーブ情報をもとに歩行者検知枠を補正する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの車速のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（３）式からｂを算出し、歩行者検知枠の横の大きさを左右方向にそれぞれｂだけ大きくする構成とすればよい。なお、（３）式におけるＶは前述の（１）式および（２）式のＶと同様のものである。また、（３）式において、Ｃ２は正の定数であり、適宜、設定されるものである。例えば、Ｃ２としてＣ１と同じ値を用いてもよい。
【００９８】
【数３】
【００９９】
自車両の車速が速くなるほど車両の走行に伴う対象物位置の変化量も大きくなる。（３）式によれば、自車両の車速が速くなるほどｂの値も大きくなり、歩行者検知枠の横の大きさを左右方向に大きくする補正を行うことになる。よって、以上の構成によれば、検知遅れによるずれが生じた後の歩行者も歩行者検知枠によって囲うことが可能になる。
【０１００】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの対象物位置情報のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（４）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（４）式におけるＸは、前述した（１）式および（２）式のＸと同様のものである。また、（４）式において、Ｃ３は正の定数であり、適宜、設定されるものである。
【０１０１】
【数４】
【０１０２】
なお、検知遅れによるずれは、自車両の車速が速くなるほど大きくなる一方、車速が遅くなるほど小さくなるので、歩行者検知枠の大きさを大きくする本実施形態の構成においては、一般道での原則的な法定最高速度である６０ｋｍ／ｈの走行に対応できるＣ３を設定すれば、６０ｋｍ／ｈ以下の走行にも対応することが可能である。従って、例えば、Ｃ１は、Ｘ＝＋７．５°でb＝０．２２ｍ相当（例えば０．２２ｍ相当のドット数など）となる値を設定する構成とすればよい。
【０１０３】
以上の構成によれば、対象物位置が近赤外光画像の中央よりも右方向に存在している場合には、Ｘは正の値なのでｂも正の値となり、歩行者検知枠の横の大きさを右方向に大きくする補正を行うことになる。また、対象物位置が近赤外光画像の中央よりも左方向に存在している場合には、Ｘは負の値なのでｂも負の値となり、歩行者検知枠の横の大きさを左方向に大きくする補正を行うことになる。さらに、対象物位置が近赤外光画像の中央である場合には、Ｘは０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。
【０１０４】
よって、以上の構成によって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【０１０５】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちの対象物位置情報とカーブ情報とのみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（５）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（５）式におけるＸは、前述した（４）式のＸと同様のものであり、Ｃ３も前述した（４）式のＣ３と同様のものである。また、（５）式におけるδは、前述した（２）式のδと同様のものである。
【０１０６】
【数５】
【０１０７】
以上の構成によれば、自車両が右方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が小さくなるので、自車両が右方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを左方向に向けて調整することになる。また、自車両が左方向に旋回する度合いが強くなるほど（Ｘ−δ）の値が大きくなるので、自車両が左方向に旋回する度合いが強くなるほど、歩行者検知枠の横の大きさを右方向に向けて調整することになる。さらに、対象物位置が近赤外光画像の中央であって、自車両が直進状態の場合には、Ｘは０°であってδも０°なのでｂ＝０となり、歩行者検知枠の横の大きさの補正を行わない。
【０１０８】
よって、以上の構成によって、近赤外光画像から歩行者および対象物位置を画像認識部４４で検知するのに時間を要している間に対象物位置が変化してしまう場合でも、表示器３にリアルタイムに表示している近赤外光画像中の歩行者により的確に合うように歩行者検知枠の表示を行わせることが可能になる。
【０１０９】
また、枠表示位置決定部４６が、走行関連情報および対象物位置情報のうちのカーブ情報のみをもとに歩行者検知枠を補正する構成としてもよい。具体的には、枠表示位置決定部４６は、以下の（６）式からｂを算出し、歩行者検知枠の横の大きさを左方向もしくは右方向にｂだけ大きくする構成とすればよい。なお、（６）式におけるδは、前述した（２）式および（５）式のδと同様のものである。また、（６）式において、Ｃ４は正の定数であり、適宜、設定されるものである。例えば、Ｃ４としてＣ３と同じ値を用いてもよい。
【０１１０】
【数６】
【０１１１】
さらに、前述の実施形態では、枠表示位置決定部４６において歩行者検知枠の横の大きさを補正する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６において歩行者検知枠の縦の大きさを補正する構成としてもよい。なお、枠表示位置決定部４６において歩行者検知枠の縦の大きさを補正する構成とする場合には、歩行者検知枠の横の大きさの補正量ｂを求めたのと同様にして、歩行者検知枠の縦の大きさの補正量（ｃとする）を求めればよい。
【０１１２】
具体的には、前述のＸの代わりに、対象物のＹ座標方向の位置Ｙを用いる。なお、枠表示位置決定部４６は、近赤外光画像中での歩行者のＹ座標をもとに、近赤外光画像のＹ座標方向における画角のうちの何度に相当する場所に歩行者が存在するかを求め、求めた度数を対象物のＹ座標方向の位置として扱うものとする。また、前述のδの代わりに、水平面に対する自車両の傾斜度θを用いる。なお、枠表示位置決定部４６は、走行関連情報取得部４５が３軸加速度センサから得た３軸方向についての加減速度をもとに水平面に対する自車両の傾斜度θを算出して扱うものとする。また、３軸加速度センサに限らず、傾斜計として用いることのできる２軸加速度センサを用いる構成としてもよい。
【０１１３】
また、枠表示位置決定部４６において歩行者検知枠の縦横のうち縦の大きさのみを補正する構成としてもよいし、横の大きさのみを補正する構成としてもよい。さらに、前述の実施形態を組み合わせ、枠表示位置決定部４６において歩行者検知枠の縦横両方の大きさを補正する構成としてもよい。
【０１１４】
また、前述の実施形態では、枠表示位置決定部４６での対象物位置の変化の予測結果に応じて歩行者検知枠の表示の範囲を拡大する構成を示したが、必ずしもこれに限らない。例えば、枠表示位置決定部４６での対象物位置の変化の予測結果に応じて歩行者検知枠の表示の位置をずらす構成としてもよい。具体的には、枠表示位置決定部４６で算出される前述のｂだけ歩行者検知枠の表示の位置を横方向にずらす構成としたり、前述のｃだけ歩行者検知枠の表示の位置を縦方向にずらす構成としたりすればよい。
【０１１５】
以上の構成によれば、近赤外光画像中における対象物位置の変化に合わせて歩行者検知枠の表示の位置をずらし、変化後の対象物位置の歩行者を囲うように歩行者検知枠の表示を行うことが可能になる。よって、以上の構成によっても、近赤外光画像中の歩行者に合うように歩行者検知枠の表示を行いながらも、実視界の像と表示器３に表示する近赤外光画像との間にずれを生じさせないようにすることが可能となる。その結果、運転者にとっての快適性をより損ないにくくするとともに、遅延処理によるコストアップを回避することが可能になる。
【０１１６】
なお、前述の実施形態では、ナイトビューモニター装置１００にカメラ部２を１つ設ける構成を示したが、必ずしもこれに限らない。例えば、対象物までの距離の検知等の位置精度を向上させるために、２つのカメラ部２からなるステレオカメラを用いる構成としてもよい。例えば対象物までの距離の情報は、画像認識部４４での候補画像の抽出時における所定の領域の切り出しの大きさを決めるのに用いる構成とすることも可能である。
【０１１７】
また、前述の実施形態では、可視光の照射範囲外の対象物を検知するために近赤外光を利用する構成を示したが、必ずしもこれに限らない。可視光の照射範囲外の対象物を検知するためには、不可視光を利用する構成とすればよく、例えば、遠赤外光を利用する構成としてもよい。なお、遠赤外光を用いる場合には、物体が発する熱を感知することが可能であるので、近赤外光を用いる場合のような投光器が不要となる。また、ここで言うところの不可視光とは、前述した可視光の範囲外の波長の光を示している。さらに、遠赤外光とは、例えば約４μｍ〜約１ｍｍの波長の光を示している。
【０１１８】
なお、前述の実施形態では、対象物を歩行者とした場合の構成を示したが、必ずしもこれに限らない。例えば、対象物を歩行者以外の移動体とする構成としてもよい。
【０１１９】
また、前述の実施形態では、夜間に近赤外光の反射光を用いて撮像された近赤外光画像中の対象物を検知して当該対象物を示す強調表示を行う構成に本発明を適用する場合の一例について説明を行ったが、必ずしもこれに限らない。例えば、昼間に可視光の反射光を用いて撮像された撮像画像中の対象物を検知して当該対象物を示す強調表示を行う構成に本発明を適用してもよい。
【０１２０】
さらに、前述の実施形態では、自車両前方に所定角範囲で広がる領域を撮像して得られた撮像画像を用いて、自車両の前進時の予想進路に存在する対象物を検知する構成に本発明を適用する場合を一例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、自車両後方に所定角範囲で広がる領域を撮像して得られた撮像画像を用いて、自車両の後退時の予想進路に存在する対象物を検知する構成に本発明を適用してもよい。
【０１２１】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１２２】
１ 近赤外光投光器、２ カメラ部（撮像部）、３ 表示器、４ ナイトビューＥＣＵ、４１ 映像信号取得部、４２ Ａ／Ｄ変換部、４３ 分配処理部、４４ 画像認識部、４５ 走行関連情報取得部、４６ 枠表示位置決定部（位置変化予測部）、４７ 描画部（表示制御部）、４８ 制御部、１００ ナイトビューモニター装置（車両用表示装置）
【特許請求の範囲】
【請求項１】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記車両の走行に関連する情報である走行関連情報を取得する走行関連情報取得部と、
前記走行関連情報取得部で取得した走行関連情報をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項２】
請求項１において、
前記位置変化予測部は、前記走行関連情報取得部で取得した走行関連情報に加え、前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項３】
請求項２において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に前記強調表示の範囲を拡大するとともに、前記位置変化予測部で予測した前記対象物位置の変化量に応じた大きさに前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項４】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記車両の走行に関連する情報である走行関連情報を取得する走行関連情報取得部と、
前記走行関連情報取得部で取得した走行関連情報をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項５】
請求項４において、
前記位置変化予測部は、前記走行関連情報取得部で取得した走行関連情報に加え、前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項６】
請求項５において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に、前記位置変化予測部で予測した前記対象物位置の変化量に応じた量だけ前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項７】
請求項１〜６のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の車速を取得し、
前記位置変化予測部は、少なくとも前記車速をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項８】
請求項１〜７のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の旋回状態に関する情報を取得し、
前記位置変化予測部は、少なくとも前記旋回状態に関する情報をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項９】
請求項８において、
前記旋回状態に関する情報は前記車両の操舵角であって、
前記位置変化予測部は、前記操舵角から求めた前記車両の実舵角をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項１０】
請求項１〜７のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の進路前方のカーブ情報を取得し、
前記位置変化予測部は、少なくとも前記カーブ情報をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項１１】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物の位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項１２】
請求項１１において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に前記強調表示の範囲を拡大するとともに、前記位置変化予測部で予測した前記対象物位置の変化量に応じた大きさに前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項１３】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項１４】
請求項１３において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に、前記位置変化予測部で予測した前記対象物位置の変化量に応じた量だけ前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項１】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記車両の走行に関連する情報である走行関連情報を取得する走行関連情報取得部と、
前記走行関連情報取得部で取得した走行関連情報をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項２】
請求項１において、
前記位置変化予測部は、前記走行関連情報取得部で取得した走行関連情報に加え、前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項３】
請求項２において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に前記強調表示の範囲を拡大するとともに、前記位置変化予測部で予測した前記対象物位置の変化量に応じた大きさに前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項４】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記車両の走行に関連する情報である走行関連情報を取得する走行関連情報取得部と、
前記走行関連情報取得部で取得した走行関連情報をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項５】
請求項４において、
前記位置変化予測部は、前記走行関連情報取得部で取得した走行関連情報に加え、前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項６】
請求項５において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に、前記位置変化予測部で予測した前記対象物位置の変化量に応じた量だけ前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項７】
請求項１〜６のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の車速を取得し、
前記位置変化予測部は、少なくとも前記車速をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項８】
請求項１〜７のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の旋回状態に関する情報を取得し、
前記位置変化予測部は、少なくとも前記旋回状態に関する情報をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項９】
請求項８において、
前記旋回状態に関する情報は前記車両の操舵角であって、
前記位置変化予測部は、前記操舵角から求めた前記車両の実舵角をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項１０】
請求項１〜７のいずれか１項において、
走行関連情報取得部は、前記走行関連情報として少なくとも前記車両の進路前方のカーブ情報を取得し、
前記位置変化予測部は、少なくとも前記カーブ情報をもとに、前記撮像画像中における前記対象物位置の変化を予測することを特徴とする車両用表示装置。
【請求項１１】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物の位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項１２】
請求項１１において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に前記強調表示の範囲を拡大するとともに、前記位置変化予測部で予測した前記対象物位置の変化量に応じた大きさに前記強調表示の範囲を拡大することを特徴とする車両用表示装置。
【請求項１３】
車両に搭載されて前記車両の周辺を逐次撮像する撮像部と、
前記撮像部で逐次撮像した撮像画像から対象物を検知するとともに、前記撮像画像中での当該対象物の位置である対象物位置を検知する画像認識部と、
前記撮像部で逐次撮像した撮像画像を表示する表示器と
前記画像認識部で検知した前記対象物位置に基づいて、前記表示器で表示する撮像画像中に前記対象物を示す強調表示を行う表示制御部と、
前記画像認識部で検知した前記対象物位置をもとに、前記撮像画像中における前記対象物位置の変化を予測する位置変化予測部と、を備え、
前記表示制御部は、前記位置変化予測部での予測結果に応じて前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【請求項１４】
請求項１３において、
前記位置変化予測部は、前記対象物位置の変化として前記対象物位置の変化方向および変化量を予測するとともに、
前記表示制御部は、前記位置変化予測部で予測した前記対象物位置の変化方向に応じた方向に、前記位置変化予測部で予測した前記対象物位置の変化量に応じた量だけ前記強調表示の位置をずらすことを特徴とする車両用表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１９９１７（Ｐ２０１１−１１９９１７Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４７０７（Ｐ２００９−２７４７０７）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]