車両用周囲監視装置
【課題】死角領域の画像内の移動体の移動状況を把握し易い車両用周囲監視装置を提供する。
【解決手段】本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段２、４、６と、この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段３２と、この移動体検出手段で検出された移動体の仮想画像を生成する仮想画像生成手段３８と、この仮想画像生成手段により生成された移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定する仮想画像規定手段３８と、移動体の仮想画像を仮想画像規定手段により規定される位置及び大きさで実画像に重畳して表示する表示手段２６と、を有する。
【解決手段】本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段２、４、６と、この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段３２と、この移動体検出手段で検出された移動体の仮想画像を生成する仮想画像生成手段３８と、この仮想画像生成手段により生成された移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定する仮想画像規定手段３８と、移動体の仮想画像を仮想画像規定手段により規定される位置及び大きさで実画像に重畳して表示する表示手段２６と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）。
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものである。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、例えば左右方向から接近してくる車両などの移動体がある場合などに、静止物との区別が付きにくい上、どの程度の距離でどの程度の速さで存在する車両であるのかが分かりにくいものであった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の移動体の移動状況を把握し易い車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段と、この移動体検出手段で検出された移動体の移動状態を表すような所定の仮想画像を表示するためにその所定の仮想画像の表示態様を規定する仮想画像規定手段と、移動体の仮想画像を仮想画像規定手段により規定される表示態様で実画像に重畳して表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、移動体の仮想画像が、その移動状態を表すような表示態様で実画像に重畳して表示されるので、ドライバーが移動体の移動状態を認識し易くなり、静止物との区別が容易であると共に死角領域の画像内の移動体の移動状況を把握し易い。
【０００８】
また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、衝突事故が多発する交差点周囲の左右領域の移動状況を容易に把握することが出来る。
【０００９】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が表示されるように移動体の仮想画像を表示する表示態様を規定する。
このように構成された本発明においては、仮想画像規定手段により移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が規定され、これが、表示手段により実画像に重畳して表示されるので、所定時間後の移動体の位置を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００１０】
また、本発明において、好ましくは、さらに、所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示を移動体の仮想画像に合わせて表示する第２表示手段を有する。
このように構成された本発明においては、所定時間後の移動体の位置を数値による時間表示により、より直感的に把握することが出来る。
【００１１】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態として、その移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する表示態様を規定する。
このように構成された本発明においては、仮想画像規定手段により、移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する表示態様が規定され、これが、表示手段により実画像に重畳して表示されるので、移動体の現在までの移動状況を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００１２】
また、本発明において、好ましくは、さらに、等時間間隔の残像に合わせてベクトル表示を行う。
このように構成された本発明においては、等時間間隔の残像に合わせたベクトル表示により、移動体の現在までの移動状況を、より直感的に把握することが出来る。
【００１３】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像を、移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示する。
このように構成された本発明においては、遠距離にある移動体の移動状態を容易に把握することが出来る。
【００１４】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像の表示を、移動体の自車両からの距離が所定距離範囲内であるか、或いは、移動体の自車両への到達時間が所定時間範囲内にあるときに行う。
このように構成された本発明においては、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
【００１５】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像を上記移動体の実体および実状と識別可能に表示する。
このように構成された本発明においては、ドライバーにとって移動体としての視認が容易である。
【００１６】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出されたとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、表示手段は、その規定された仮想画像を実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００１７】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出され、表示手段が複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、表示手段は、その規定された仮想画像を実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在し、それらの移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、ドライバーが画像を見て複数の移動体の仮想画像をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００１８】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態を表すために、移動体の進行方向前方側の路面上に移動体の移動状態を示す仮想路面画像を表示するようにその表示態様を規定する。
このように構成された本発明においては、移動体が進行している路面に、移動体の移動状態を示すように仮想路面画像が仮想表示されるので、より確実に、移動体の存在する方向や移動状態を把握することが出来る。
【００１９】
また、本発明において、好ましくは、仮想画像規定手段は、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて、或いは、自車両及び移動体が向かう交差路の交差点での自車両の通過時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面画像を表示するようにその表示態様を規定する。
このように構成された本発明においては、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示が重畳して表示されるので、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。
【００２０】
また、本発明において、好ましくは、仮想画像規定手段は、仮想路面表示を、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面画像を変更するようにその表示態様を規定する。
このように構成された本発明においては、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面表示が変更して表示されるので、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。なお、確信度としては、例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが出来る。
【００２１】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出されたとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面画像の表示態様を規定し、表示手段は、その規定された仮想路面画像のみを仮想画像として実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００２２】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出され、表示手段が複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面画像の表示態様を規定し、表示手段は、その規定された仮想路面画像のみを仮想画像として実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在し、それらの移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、複数の仮想が表示されることによりドライバーがそれらの仮想画像を混同することを防止することが出来、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００２３】
また、本発明において、好ましくは、表示手段は、仮想画像を移動体の実画像と識別可能に表示する。
このように構成された本発明においては、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【００２４】
また、本発明において、好ましくは、表示手段は、移動体の現時点での背景及び現時点での移動体の実画像に重畳して移動体の仮想画像又は仮想路面画像を表示する。
このように構成された本発明においては、ドライバーとしては実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【発明の効果】
【００２５】
本発明の車両用周囲監視装置によれば、死角領域の画像内の移動体の移動状況を把握し易い。
【発明を実施するための最良の形態】
【００２６】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の第１乃至第３実施形態に共通の各実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の第１乃至第３実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の第１乃至第３実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００２７】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００２８】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３、画像表示モニタ１４及びスピーカ１５を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示し、また、所定の音をスピーカ１５で発する。
【００２９】
さらに、車両１は、他車両との距離を検出するためのレーザレーダ７を有する。なお、レーザレーダ７の代わりに、車車間通信により他車両との距離を把握するようにしたり、路車間通信により他車両との距離を把握するようにしても良い。
【００３０】
次に、図３により、ドライバーによる交差路進入時における運転行動を説明する。図３は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。ここで、鼻出し位置、カメラ出し位置及び頭出し位置について説明する。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【００３１】
先ず、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。カメラ出し位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。頭出し位置は、図４に示すように、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。
【００３２】
本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に後述する仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させ、そして、頭出し位置を通過後には、仮想画像の表示を中止する。
【００３３】
次に、図５により、本発明第１乃至第３実施形態に共通の各実施形態による車両用周囲監視装置の仮想画像表示処理を行うか否かを決定するための制御フローを説明する。図５は、本発明の第１乃至第３実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
図５に示すように、Ｓ１において、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３４】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、Ｓ３において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ４に進み、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ５の、距離把握用仮想画像表示処理に進む。上述したＳ１において交差点近傍ではなく、Ｓ２において車速がＶ１以上であり、Ｓ４において車速がＶ２以上である、とそれぞれ判定された場合には、Ｓ５の距離把握用仮想画像表示処理には進まない。
【００３５】
次に、図６により、本発明の第１実施形態による車両用周囲監視装置の構成を説明する。図６は、本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。
【００３６】
この第１実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）の実映像に重畳して、その移動体が所定時間後にどのような位置にいるかを仮想車両を表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【００３７】
図６に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００３８】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。合成画像作成部２６で作成される合成画像は、モニタ１４で表示される。
【００３９】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【００４０】
また、移動体の所定時間後の移動位置推定部３４では、所定時間（本実施形態では、１０秒毎）の後の移動体の位置を推定する。
そして、仮想画像作成部３８では、移動体の所定時間後の移動位置推定部３４で推定された位置に移動体が表示されるように仮想画像が作成される。作成された仮想画像は、合成画像作成部２６で各カメラ２、４、６で得られる実画像に重畳され、モニタ１４に表示する。
【００４１】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想画像の作成を中止するように所定の信号を送り、モニタ１４に仮想表示がされないようにする。
【００４２】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００４３】
次に、図７及び図８により、本発明の第１実施形態による車両用周囲監視装置の制御内容を説明する。図７は、本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。図７において、Ｓは各ステップを示す。
【００４４】
図７に示すように、先ず、Ｓ１１において、画像取得部２２（図６参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【００４５】
次に、Ｓ１３において、移動体検出部３０により、Ｓ１１及びＳ１２で取得された実画像から、移動体を検出する。このＳ１３における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。移動体が検出されないときは、Ｓ１４に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図６参照）に入力されるＳ１１及びＳ１２で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００４６】
Ｓ１３において、移動体が検出されたときには、Ｓ１５に進み、移動体移動状態検出部３２により、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。一方、後述するように、複数の移動体について仮想画像を表示しても、それらが各々重ならない場合には、後続する移動体（後続車など）について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【００４７】
次に、Ｓ１６において、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であるかを判定する。所定距離としては例えば、１０〜３０ｍであり、所定時間としては例えば、２〜３．５秒である。
【００４８】
移動体の自車両からの距離が所定距離内でなく、或いは、移動体の自車両への到達時間が所定時間内でない場合には、仮想表示が不必要であるとして、Ｓ１４に進み、実画像をそのまま表示する。これは、移動体が、例えば、移動体の自車両からの距離が例えば１０ｍ以下であるような近い場合や、移動体の自車両への到達時間が２秒以内といった近い場合には、仮想表示をしなくても移動体の移動状態が良く分かるので、仮想表示をしないのである。
【００４９】
Ｓ１６において、移動体の自車両からの距離が所定距離内であり、或いは、移動体の自車両への到達時間が所定時間内である場合には、Ｓ１７に進む。Ｓ１７では、移動体の所定時間後の移動位置推定部３４において、所定時間（本実施形態では、１０秒毎）の後の移動体の位置を推定する。移動体が複数存在するときには、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、所定時間後の移動体の位置を推定する。
【００５０】
次に、Ｓ１８において、現在の移動体の位置からの移動体の仮想表示がされる位置までの時間を規定する。即ち、仮想表示するために、何秒後に何秒毎に（所定時間）に移動体の状態を表示するかを規定する。なお、この規定と共に、どの程度の距離毎（所定距離）に移動体の状態を表示するかを規定しても良い。
次に、Ｓ１９では、Ｓ１８で規定された所定時間（何秒後、何秒毎）における移動体の仮想的な移動の状態として、移動体の進行方向延長線上に表示する位置及び大きさを規定する。
【００５１】
次に、Ｓ２０において、図８（ｂ）に示すように、Ｓ１８で規定した所定時間（何秒後）Ｔ１０、Ｔ１１、Ｔ１２を実画像に重畳して表示すると共に、Ｓ１９で規定した移動体の進行方向延長線上に表示する位置及び大きさによる移動体の仮想表示Ｖ１１、Ｖ１２を実画像に重畳してモニタ１４に表示する。図８（ｂ）では、実画像として、現在の位置に存在する車両（移動体）Ｃ１１、Ｃ１２や現在見えている路面の状況がモニタ１４に表示される。
このＳ２０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想画像を表示する。
【００５２】
図８（ｂ）に示すように、複数の移動体Ｃ１１、Ｃ１２が存在する場合、本実施形態では、自車両から最短距離に存在する移動体（Ｃ１１）或いは自車両への到達時間が最も短い移動体（Ｃ１１）に対してのみ、仮想表示Ｖ１１、Ｖ１２、Ｔ１０、Ｔ１１、Ｔ１２が表示される。なお、図８（ｂ）において、移動体Ｃ１２に対して仮想表示をしても移動体Ｃ１１自体及びその仮想表示と重ならない場合には、移動体Ｃ１２に対しても仮想表示をしても良い。言い換えると、移動体Ｃ１２に対して仮想表示をすると移動体Ｃ１１自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
仮想表示（Ｖ１１、Ｖ１２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。また、仮想表示（Ｖ１１、Ｖ１２）は、等時間間隔で表示される。
【００５３】
次に、Ｓ２１に進み、頭出し位置判定部（図６参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。頭出し位置を判定するには、いくつか手法がある。例えば、ＧＰＳ装置１２により得られる自車両の位置とナビゲーション装置１３の地図データから判定する手法、カメラ２、４、６により得られる停止線の位置と、移動距離センサ（図示せず）による移動距離から、停止線からどれだけ移動したかで判定する手法、左右のカメラ２、６による映像から、左右の見通し具合が良くなるとき（近距離に見通しを遮断するものがないとき）が頭出し位置と判定する手法、カメラ２、４、６により得られる停止線の位置及び交差点周囲の画像により判定する手法などである。
【００５４】
自車両が頭出しをしているときには、Ｓ２２に進み、合成画像作成部２６（図６参照）により、Ｓ２０で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。仮想画像の点滅により、ドライバーは、モニタ１４による表示ではなくドライバー自身で目視が可能であることや、実際に目視で見えるものと異なるものであることを知ることが出来る。一方、頭出しをしていないときには、Ｓ２０による仮想画像と実画像との表示を続ける。
【００５５】
次に、本発明の第１実施形態による作用効果を説明する。
本発明の第１実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の所定時間後の移動位置推定部３４により移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定される。そして、仮想画像生成部３８により移動体の仮想画像が生成され、合成画像作成部２６により、移動体の仮想画像を、移動体の所定時間後の移動位置推定部３４により規定された位置及び大きさで実画像に重畳してモニタ１４に表示する。
【００５６】
従って、移動体の仮想画像が、その移動状態を表すような位置及び大きさで実画像に重畳して表示されるので、ドライバーが移動体の移動状態を認識し易くなり、静止物との区別が容易であると共に死角領域の画像内の移動体の移動状況を把握し易い。
【００５７】
次に、第１実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、カメラ２、４、６は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、衝突事故が多発する交差点周囲の左右領域の移動状況を容易に把握することが出来る。
【００５８】
次に、第１実施形態によれば、移動体の所定時間後の移動位置推定部３４は、移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が表示されるように移動体の仮想画像を表示する位置及び大きさが規定され、これが、表示手段により実画像に重畳して表示されるので、所定時間後の移動体の位置を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００５９】
次に、第１実施形態によれば、所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示が移動体の仮想画像に合わせて表示されるので、そのような数値による時間表示により、移動体の移動状態をより直感的に把握することが出来る。
【００６０】
次に、第１実施形態によれば、合成画像作成部２６は、移動体の仮想画像の表示を移動体の自車両からの距離が所定距離内にあるとき、或いは、移動体の自車両への到達時間が所定時間内であるときに行うので、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
次に、第１実施形態によれば、合成画像作成部２６は、移動体の仮想画像を移動体の実際の車両の実体及び実状と識別可能に表示するので、ドライバーにとって移動体としての視認が容易である。
【００６１】
次に、第１実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像生成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００６２】
次に、第１実施形態によれば、合成画像作成部２６により複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像生成部３８は、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、画像を見て各移動体の移動状態をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００６３】
次に、第１実施形態によれば、合成画像作成部２６は、仮想表示を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【００６４】
次に、第１実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想表示又は仮想路面表示を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【００６５】
次に、図９により、本発明の第２実施形態による車両用周囲監視装置の構成を説明する。図９は、本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。
【００６６】
この第２実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）の実映像に重畳して、その移動体が現時点の位置に来るまで、所定時間前にどのような位置にいたのかを残像画像として仮想的に表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【００６７】
図９に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００６８】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【００６９】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【００７０】
また、移動体情報蓄積部３３では、移動体検出部３０により検出された移動体の位置情報を移動体移動状態検出部３２から得て蓄積する。移動体残像画像規定部３５では、移動体情報蓄積部３３で蓄積された過去の移動体の位置と、移動体移動状態検出部３２から得られる現在の位置とに基づいて、移動体の残像画像を規定する。具体的には、所定の時間間隔で、過去の所定時間の移動体の位置及び大きさを規定する。
また、この移動体残像画像規定部３５では、移動体情報蓄積部３３で蓄積された過去の移動体の位置と、移動体移動状態検出部３２から得られる現在の位置とに基づいて移動体の移動方向を表すベクトルを算出する。
【００７１】
そして、仮想画像作成部３８では、移動体残像画像規定部３５により規定された移動体の過去の位置及び大きさの仮想画像（残像画像）を生成する。そして、作成された仮想画像は、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳され、モニタ１４により表示される。また、スピーカ１５により、仮想画像が更新されることを示す所定の音が発せられる。
【００７２】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における移動体の仮想表示を中止するように、所定の信号を送るようになっている。
【００７３】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００７４】
次に、図１０乃至図１２により、本発明の第２実施形態による車両用周囲監視装置の制御内容を説明する。図１０は、本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図１１は、本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図１２は、本発明の第２実施形態による仮想画像が実画像に重畳された映像の一例である。図１０において、Ｓは各ステップを示す。
【００７５】
図１０に示すように、先ず、Ｓ３０において、画像取得部２２（図９参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ３１において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【００７６】
次に、Ｓ３２において、移動体検出部３０では、Ｓ３０及びＳ３１で取得された実画像から、移動体を検出する。このＳ３２における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
移動体が検出されないときは、Ｓ３３に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図９参照）に入力されるＳ３０及びＳ３１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００７７】
Ｓ３２において、移動体が検出されたときには、Ｓ３４に進み、移動体情報蓄積部３３（図９参照）により、移動体の情報として、移動体が存在している或いは存在していた位置及び各位置での移動体の大きさの情報を蓄積する。
【００７８】
次に、Ｓ３５に進み、移動体移動状態検出部３２により、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。一方、後述するように、複数の移動体について仮想画像を表示しても、それらが各々重ならない場合には、後続する移動体（後続車など）について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【００７９】
次に、Ｓ３６において、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であるかを判定する。Ｓ３６における所定距離としては例えば、０〜１０ｍであり、所定時間としては例えば、０〜１秒である。
Ｓ３６で、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であると判定された場合、即ち、本実施形態では、移動体が近距離に存在するときには、Ｓ３３に進み、合成画像作成部２６（図９参照）に入力されるＳ３０及びＳ３１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。つまり、近距離であれば、ドライバーは、移動体の存在が分かれば良く、注意を払って発進待機及び通過待ちすれば良い。
【００８０】
Ｓ３６で、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であると判定されない場合には、Ｓ３７に進む。
Ｓ３７では、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上であるかを判定する。Ｓ３７における所定距離としては例えば、３０ｍであり、所定時間としては例えば、３秒である。
【００８１】
Ｓ３７では、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上ではないと判定されたときは、自車両と移動体との間が１０〜３０ｍの距離にあり、或いは、移動体の自車両への到達時間が１〜３秒であり、本実施形態では、移動体が中距離に存在する場合として、Ｓ３８に進む。このように移動体が自車両から中距離に存在するときは、ドライバーは、移動体の通過待ちをするか自車両が先に発進するか迷うような距離或いは時間であり、移動体の存在を確実に認識し、移動体の距離、速度及び進行方向を出来るだけ正確に把握したい場合である。
【００８２】
このような場合、Ｓ３８において、移動体を残像表示する位置及び大きさを規定すると共に残像表示を更新するタイミングに合わせた音の出力を規定する。これらの規定には、何秒毎に残像表示をするか、また、何秒毎に残像表示するかの規定も含まれる。本実施形態では、０．５秒〜２秒の間で残像表示を更新し、表示する時間間隔は等間隔である。
次に、Ｓ３９では、残像をつなぐベクトル表示を規定する。ベクトル表示は、各移動体の２次元画像の重心点、又は、移動体の３次元座標から得られる移動体の重心点をつなぐように規定される。これにより、進行方向が確かなものになる。
【００８３】
Ｓ４０では、例えば図１１（ｂ）に示すように、Ｓ３８で規定された位置及び大きさで移動体の残像表示である仮想画像Ｖ２１、Ｖ２２を実画像に重畳してモニタ１４に表示する。また、図１１（ｂ）に示すように、Ｓ３９で規定されたベクトルＶｅを実画像に重畳してモニタ１４に表示する。さらに、図１１（ｂ）に示すように、仮想画像Ｖ１、Ｖ２が何秒前のものかを示すＴ２０、Ｔ２１、Ｔ２２を実画像に重畳してモニタ１４に表示する。図１１（ｂ）では、実画像として、現在の位置に存在する車両（移動体）Ｃ２１、Ｃ２２や現在見えている路面の状況がモニタ１４に表示される。
【００８４】
このＳ４０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想画像を表示する。
【００８５】
図１１（ｂ）に示すように、複数の移動体Ｃ２１、Ｃ２２が存在する場合、本実施形態では、自車両から最短距離に存在する移動体（Ｃ２１）或いは自車両への到達時間が最も短い移動体（Ｃ２１）に対してのみ、仮想表示Ｖ２１、Ｖ２２、Ｔ２０、Ｔ２１、Ｔ２２が表示される。なお、図１１（ｂ）において、移動体Ｃ２２に対して仮想表示をしても移動体Ｃ２１自体及びその仮想表示と重ならない場合には、移動体Ｃ２２に対しても仮想表示をしても良い。言い換えると、移動体Ｃ２２に対して仮想表示をすると移動体Ｃ１自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
また、後続の移動体（後続車）が存在する場合には、図１１（ｂ）に符号Ｎで示すように、後続する移動体の数を表示するようになっている。
【００８６】
なお、仮想表示（Ｖ２１、Ｖ２２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。また、Ｓ４０では、残像表示が更新するタイミングに合わせて「ピッピッピッ」というような音をスピーカ１５から出力する。更新のタイミングは、例えば、ドライバーが移動物体を注視する時間が含まれるように０．５秒〜２秒程度である。ドライバーはモニタ１４を見続けて更新タイミングを学習しないと速度感をつかめないため、このような音を出力するようにしている。
【００８７】
次に、Ｓ３７において、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上であると判定された場合は、自車両と移動体との間が３０ｍ以上の距離にあり、或いは、移動体の自車両への到達時間が３秒以上であり、本実施形態では、移動体が遠距離に存在する場合として、Ｓ４１に進む。このように移動体が自車両から遠距離に存在する場合、ドライバーは、衝突の危険性がないことに自信を持ちたい場合であり、移動体の速度変化及び進行方向変化を正確につかみたい場合である。
【００８８】
このような場合、先ず、Ｓ４１において、移動体の残像表示する位置及び大きさを規定する。本実施形態では、移動体が遠距離に存在するときには、移動体及び残像表示をモニタ１４上に拡大して表示するので、そのような移動体及び残像表示の拡大表示における位置及び大きさも規定する。また、残像表示を更新するタイミングに合わせた音の出力を規定する。さらに、何秒毎に残像表示をするか、また、何秒毎に残像表示するかも規定する。
【００８９】
次に、Ｓ４２では、残像をつなぐベクトル表示を規定する。ベクトル表示は、各移動体の２次元画像の重心点、又は、移動体の３次元座標から得られる移動体の重心点をつなぐように規定される。これにより、進行方向が確かなものになる。
【００９０】
次に、Ｓ４０では、例えば図１２に示すように、Ｃ２３という移動体の車両を、モニタ１４の画面左上に拡大して表示する。なお、拡大する位置は、実画像内における移動体Ｃ２３の表示を妨げなければどこでも良い。この場合も、Ｓ４０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想表示又は仮想路面表示を表示する。
この図１２に示す例では、Ｓ４１で規定された位置及び大きさで移動体の残像表示である仮想画像Ｖ２３、Ｖ２４を実画像に重畳してモニタ１４に表示する。
【００９１】
また、図１１（ｂ）と同様に、ベクトルＶｅ、時間Ｔ２０、Ｔ２１、Ｔ２２も表示される。また、図１１（ｂ）について説明したのと同様に、複数の移動体が存在する場合は、自車両から最短距離に存在する移動体或いは自車両への到達時間が最も短い移動体に対してのみ、仮想表示が表示される。なお、最前方の移動体に対して仮想表示をすると後続する移動体自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
【００９２】
なお、仮想表示（Ｖ２１、Ｖ２２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。
また、Ｓ４０では、残像表示が更新するタイミングに合わせて「ピッピッピッ」というような音をスピーカ１５から出力する。更新のタイミングは、例えば、０．５秒〜２秒程度である。
【００９３】
次に、Ｓ４３に進み、頭出し位置判定部（図９参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。自車両が頭出しをしているときには、Ｓ４４に進み、合成画像作成部２６（図９参照）により、Ｓ４０で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。
【００９４】
次に、本発明の第２実施形態による作用効果を説明する。
本発明の第２実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の所定時間前の移動体残像画像規定部３５により移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定される。そして、仮想画像作成部３８により移動体の仮想画像が生成され、合成画像作成部２６により、移動体の仮想画像を、移動体の所定時間前の移動体残像画像規定部３５により規定された位置及び大きさで実画像に重畳してモニタ１４に表示する。
【００９５】
次に、第２実施形態によれば、移動体残像画像規定部３５は、移動体の移動状態として、その移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する位置及び大きさを規定し、これが等時間間隔で残像として表示されるので、移動体の現在までの移動状況を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００９６】
次に、第２実施形態によれば、等時間間隔の残像に合わせたベクトル表示により、移動体の現在までの移動状況を、より直感的に把握することが出来る。
次に、第２実施形態によれば、移動体の仮想画像が、移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示するので、遠距離にある移動体の移動状態を容易に把握することが出来る。
【００９７】
次に、第２実施形態によれば、合成画像作成部２６は、移動体の仮想画像の表示を移動体の自車両からの距離が所定距離内にあるとき、或いは、移動体の自車両への到達時間が所定時間内であるときに行うので、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
次に、第２実施形態によれば、合成画像作成部２６は、移動体の仮想画像を移動体の実際の車両の実体及び実状と識別可能に表示するので、ドライバーにとって移動体としての視認が容易である。
【００９８】
次に、第２実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像作成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
次に、第２実施形態によれば、合成画像作成部２６により複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像作成部３８は、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、画像を見て混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００９９】
次に、第２実施形態によれば、合成画像作成部２６は、仮想表示を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【０１００】
次に、第２実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想画像を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【０１０１】
次に、図１３により、本発明の第３実施形態による車両用周囲監視装置の構成を説明する。図１３は、本発明の第３実施形態による車両用周囲監視装置の構成を示すブロック図である。
図１３に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【０１０２】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【０１０３】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両或いは交差点までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【０１０４】
また、カメラ２、４、６による撮像された画像を画像処理することにより、例えばウインカーの状態を検出して、移動体が右左折するか或いは直進するかの結果を検出する。なお、車車間通信或いは路車間通信により、移動体の右左折を検出しても良い。
【０１０５】
また、移動体の到達時間ｔ２算出部３６では、移動体移動状態検出部３２により検出された自車両に接近してくる移動体の自車両からの距離、速度及び進行方向から、移動体が自車両に到達する時間ｔ２を算出する。自車両の位置は、ナビゲーション装置１３或いはＧＰＳ装置１２により決定する。なお、移動体が自車両に到達する時間ｔ２ではなく、移動体が交差点に到達する時間を算出しても良い。その場合、交差点の位置は、ナビゲーション装置により決定する。
【０１０６】
また、自車両の交差点通過に要する時間ｔ１算出部５４では、ナビゲーション装置１３、ＧＰＳ装置１２及び車速センサ１０の各情報を受けて、自車両が交差点通過に要する時間（あるいは、自車両が交差点に到達する時間とする）ｔ１を算出する。
【０１０７】
そして、仮想画像作成部３８では、後述するように、移動体が右左折するか否かの判定結果と、自車両が交差点を通過するのに要する時間、或いは、自車両が交差点に到達する時間ｔ１及び移動体が自車両に到達する時間ｔ２に応じて決定される危険度と、に応じて、路面上に仮想路面画像を生成する。仮想画像作成部３８では、仮想路面画像として、その位置及び大きさを規定する。例えば、仮想路面画像は、実画像により得られる路面幅、或いは車線幅、或いは走行レーンと同じ幅で、移動体の前方に延びるように、位置及び大きさを規定する。
そして、作成された仮想路面画像は、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳され、モニタ１４により表示される。
【０１０８】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想路面画像の仮想表示を中止するように、所定の信号を送るようになっている。
【０１０９】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【０１１０】
次に、図１４乃至図１６により、本発明の第３実施形態による車両用周囲監視装置の制御内容を説明する。図１４は、本発明の第３実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図１５は、本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）であり、図１６は、本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）、仮想画像が実画像に重畳された映像の一例（ｂ）及び仮想画像が実画像に重畳された映像の一例（ｃ）を示す図である。図１４において、Ｓは各ステップを示す。
【０１１１】
この第３実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）を含む周辺の実映像に重畳して、その移動体が自車両或いは交差点にどの程の時間或いは距離で到達するかの危険度に応じて、路面に仮想路面画像を仮想的に重畳して表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【０１１２】
図１４に示すように、先ず、Ｓ５０において、画像取得部２２（図１３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ５１において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【０１１３】
次に、Ｓ５２において、ＥＣＵ１８では、Ｓ５０及びＳ５１で取得された実画像から、移動体を検出する。このＳ５２における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
移動体が検出されないときは、Ｓ５３に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図１３参照）に入力されるＳ５０及びＳ５１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【０１１４】
Ｓ５２において、移動体が検出されたときには、Ｓ５４に進み、移動体移動状態検出部３２及び移動体の到達時間ｔ２算出部３６（図１３参照）により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間ｔ２を算出する。自車両までの到達時間ｔ２は、交差点までの到達時間としても良い。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【０１１５】
次に、Ｓ５５において、自車両の交差点通過に要する時間ｔ１算出部５４（図１３参照）により、自車両が交差点通過に要する時間ｔ１を算出する。
次に、Ｓ５６に進み、移動体移動状態検出部３２（図１３参照）により得られた、移動体が直進するか右左折するかの検出結果から、移動体が交差点にて右左折するか否かを判定する。
【０１１６】
移動体が右左折する場合には、Ｓ５７に進み、移動体の進行方向が交差点を右左折するものと決定し、危険度が小として、仮想画像作成部３８により、移動体の進行方向である交差点までの直線部分の路面と、左折後の進行方向の路面とのそれぞれの実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が小なので、仮想路面表示を青色とする。色を付けない場合は、濃淡を付けて、例えば、薄く表示する。
【０１１７】
そして、Ｓ５８に進み、Ｓ５７で作成した仮想路面表示を、例えば図１５（ｂ）にＲ１で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が左折することを即座に認識することが出来、例えば自車両を発進させて良いかの判断が容易になる。
【０１１８】
次に、Ｓ５６において、移動体が直進すると判定された場合、先ずＳ５９に進む。このＳ５９では、及び移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ０未満であるか否かを判定する。
【０１１９】
所定値ｋ０未満である場合は、Ｓ６０に進み、移動体も自車両もほぼ同じような時間で交差点に到達するので、危険度大として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が大なので、仮想路面表示を赤色とする。色を付けない場合は、濃淡を付けて、例えば、濃くする。
【０１２０】
そして、Ｓ５８に進み、Ｓ６０で作成した仮想路面表示を、例えば図１６（ｂ）にＲ２で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、非常に近い位置にいることを即座に認識することが出来、例えば自車両を待機するための判断が容易になる。
【０１２１】
Ｓ５９で、ｔ２−ｔ１がｋ０以上である場合には、Ｓ６１に進み、移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ０以上であり且つ所定値ｋ１未満であるか否かを判定する。
所定値ｋ０以上であり且つ所定値ｋ１未満である場合には、Ｓ６２に進み、移動体が到達する時間と自車両が到達する時間に或る程度の時間差があるので、危険度中として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が中なので、仮想路面表示を黄色とする。色を付けない場合は、濃淡を付けて、例えば、中程度の濃さとする。
【０１２２】
そして、Ｓ５８に進み、Ｓ６２で作成した仮想路面表示を、例えば図１６（ｃ）にＲ３で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、何秒か後に移動体が近づくことを即座に認識することが出来、例えば自車両を発進させて良いか待機するかの判断が容易になる。
【０１２３】
Ｓ６１で、移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ１以上である場合には、Ｓ６３に進み、移動体が到達する時間と自車両が到達する時間に大きな時間差があるので、危険度小として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が小なので、仮想路面表示を青色とする。色を付けない場合は、濃淡を付けて、例えば、薄くする。
【０１２４】
そして、Ｓ５８に進み、Ｓ６３で作成した仮想路面表示を、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、かなり後に移動体が近づくことを即座に認識することが出来、例えば自車両を発進させて良いとの判断が容易になる。
【０１２５】
なお、Ｓ５８においては、上述したように、仮想路面表示を、交差点までの到達時間ｔ１、ｔ２により異なるようにしているが、移動体の到達時間の算出の確信度に応じて変更して表示するようにしても良い。確信度とは、情報源である自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報などの情報の精度のことである。例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが出来る。そして、確信度が高い場合には、仮想路面表示を点滅させたり、点滅の間隔を変えたりして、ドライバーが確信度を判断することが出来るようにしても良い。
【０１２６】
Ｓ５８の次には、Ｓ６４に進み、頭出し位置判定部（図１３参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。自車両が頭出しをしているときには、Ｓ６５に進み、合成画像作成部２６（図参照）により、Ｓ５８で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。
【０１２７】
次に、本発明の第３実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の到達時間ｔ２算出部３６により移動体の到達時間が算出さる。また、自車両の交差点通過に要する時間ｔ１算出部５４により自車両の交差点通過に要する時間が算出され、それらを基に仮想画像作成部３８により仮想路面画像を表示する表示態様が規定される。そして、仮想画像作成部３８により仮想路面画像が生成され、合成画像作成部２６により、仮想路面画像を規定された表示態様で実画像に重畳してモニタ１４に表示する。
【０１２８】
次に、第３実施形態によれば、移動体の移動状態に応じて移動体の進行方向前方側の路面上に所定の仮想路面画像を重畳して表示するので、移動体の仮想表示に加えて、その移動体が進行している路面も仮想表示され、より確実に、移動体の存在する方向や移動状態を把握することが出来る。
【０１２９】
次に、第３実施形態によれば、車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示を重畳して表示するので、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示が重畳して表示され、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。
【０１３０】
次に、第３実施形態によれば、仮想路面表示が、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて変更して表示されるので、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面表示が変更して表示され、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。なお、確信度としては、例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが好ましい。
【０１３１】
次に、第３実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像生成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面表示を生成するので、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成され、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【０１３２】
次に、第３実施形態によれば、複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、複数の仮想画像をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【０１３３】
次に、第３実施形態によれば、合成画像作成部２６は、仮想画像を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【０１３４】
次に、第３実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想画像又は仮想路面画像を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【０１３５】
なお、上述した第１乃至第３実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１乃至第３実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の第１乃至第３実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図４】自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図５】本発明の第１乃至第３実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
【図６】本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図７】本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図８】本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図９】本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図１０】本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図１１】本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１２】本発明の第２実施形態による仮想画像が実画像に重畳された映像の一例である。
【図１３】本発明の第３実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図１４】本発明の第３実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図１５】本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）、仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１６】本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）及び仮想画像が実画像に重畳された映像の一例（ｃ）である。
【符号の説明】
【０１３７】
１ 車両
２、４、６ 監視カメラ
７ レーザレーダ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１５ スピーカ
１８ ＥＣＵ
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）。
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものである。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、例えば左右方向から接近してくる車両などの移動体がある場合などに、静止物との区別が付きにくい上、どの程度の距離でどの程度の速さで存在する車両であるのかが分かりにくいものであった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の移動体の移動状況を把握し易い車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段と、この移動体検出手段で検出された移動体の移動状態を表すような所定の仮想画像を表示するためにその所定の仮想画像の表示態様を規定する仮想画像規定手段と、移動体の仮想画像を仮想画像規定手段により規定される表示態様で実画像に重畳して表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、移動体の仮想画像が、その移動状態を表すような表示態様で実画像に重畳して表示されるので、ドライバーが移動体の移動状態を認識し易くなり、静止物との区別が容易であると共に死角領域の画像内の移動体の移動状況を把握し易い。
【０００８】
また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、衝突事故が多発する交差点周囲の左右領域の移動状況を容易に把握することが出来る。
【０００９】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が表示されるように移動体の仮想画像を表示する表示態様を規定する。
このように構成された本発明においては、仮想画像規定手段により移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が規定され、これが、表示手段により実画像に重畳して表示されるので、所定時間後の移動体の位置を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００１０】
また、本発明において、好ましくは、さらに、所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示を移動体の仮想画像に合わせて表示する第２表示手段を有する。
このように構成された本発明においては、所定時間後の移動体の位置を数値による時間表示により、より直感的に把握することが出来る。
【００１１】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態として、その移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する表示態様を規定する。
このように構成された本発明においては、仮想画像規定手段により、移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する表示態様が規定され、これが、表示手段により実画像に重畳して表示されるので、移動体の現在までの移動状況を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００１２】
また、本発明において、好ましくは、さらに、等時間間隔の残像に合わせてベクトル表示を行う。
このように構成された本発明においては、等時間間隔の残像に合わせたベクトル表示により、移動体の現在までの移動状況を、より直感的に把握することが出来る。
【００１３】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像を、移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示する。
このように構成された本発明においては、遠距離にある移動体の移動状態を容易に把握することが出来る。
【００１４】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像の表示を、移動体の自車両からの距離が所定距離範囲内であるか、或いは、移動体の自車両への到達時間が所定時間範囲内にあるときに行う。
このように構成された本発明においては、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
【００１５】
また、本発明において、好ましくは、表示手段は、移動体の仮想画像を上記移動体の実体および実状と識別可能に表示する。
このように構成された本発明においては、ドライバーにとって移動体としての視認が容易である。
【００１６】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出されたとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、表示手段は、その規定された仮想画像を実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００１７】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出され、表示手段が複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、表示手段は、その規定された仮想画像を実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在し、それらの移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、ドライバーが画像を見て複数の移動体の仮想画像をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００１８】
また、本発明において、好ましくは、仮想画像規定手段は、移動体の移動状態を表すために、移動体の進行方向前方側の路面上に移動体の移動状態を示す仮想路面画像を表示するようにその表示態様を規定する。
このように構成された本発明においては、移動体が進行している路面に、移動体の移動状態を示すように仮想路面画像が仮想表示されるので、より確実に、移動体の存在する方向や移動状態を把握することが出来る。
【００１９】
また、本発明において、好ましくは、仮想画像規定手段は、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて、或いは、自車両及び移動体が向かう交差路の交差点での自車両の通過時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面画像を表示するようにその表示態様を規定する。
このように構成された本発明においては、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示が重畳して表示されるので、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。
【００２０】
また、本発明において、好ましくは、仮想画像規定手段は、仮想路面表示を、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面画像を変更するようにその表示態様を規定する。
このように構成された本発明においては、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面表示が変更して表示されるので、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。なお、確信度としては、例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが出来る。
【００２１】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出されたとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面画像の表示態様を規定し、表示手段は、その規定された仮想路面画像のみを仮想画像として実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００２２】
また、本発明において、好ましくは、移動体検出手段により複数の移動体が検出され、表示手段が複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面画像の表示態様を規定し、表示手段は、その規定された仮想路面画像のみを仮想画像として実画像に重畳して表示する。
このように構成された本発明においては、複数の移動体が存在し、それらの移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、複数の仮想が表示されることによりドライバーがそれらの仮想画像を混同することを防止することが出来、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００２３】
また、本発明において、好ましくは、表示手段は、仮想画像を移動体の実画像と識別可能に表示する。
このように構成された本発明においては、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【００２４】
また、本発明において、好ましくは、表示手段は、移動体の現時点での背景及び現時点での移動体の実画像に重畳して移動体の仮想画像又は仮想路面画像を表示する。
このように構成された本発明においては、ドライバーとしては実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【発明の効果】
【００２５】
本発明の車両用周囲監視装置によれば、死角領域の画像内の移動体の移動状況を把握し易い。
【発明を実施するための最良の形態】
【００２６】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の第１乃至第３実施形態に共通の各実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の第１乃至第３実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の第１乃至第３実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００２７】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００２８】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３、画像表示モニタ１４及びスピーカ１５を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示し、また、所定の音をスピーカ１５で発する。
【００２９】
さらに、車両１は、他車両との距離を検出するためのレーザレーダ７を有する。なお、レーザレーダ７の代わりに、車車間通信により他車両との距離を把握するようにしたり、路車間通信により他車両との距離を把握するようにしても良い。
【００３０】
次に、図３により、ドライバーによる交差路進入時における運転行動を説明する。図３は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。ここで、鼻出し位置、カメラ出し位置及び頭出し位置について説明する。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【００３１】
先ず、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。カメラ出し位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。頭出し位置は、図４に示すように、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。
【００３２】
本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に後述する仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させ、そして、頭出し位置を通過後には、仮想画像の表示を中止する。
【００３３】
次に、図５により、本発明第１乃至第３実施形態に共通の各実施形態による車両用周囲監視装置の仮想画像表示処理を行うか否かを決定するための制御フローを説明する。図５は、本発明の第１乃至第３実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
図５に示すように、Ｓ１において、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３４】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、Ｓ３において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ４に進み、仮想画像処理実施判定部５２（図６、図９、図１３参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ５の、距離把握用仮想画像表示処理に進む。上述したＳ１において交差点近傍ではなく、Ｓ２において車速がＶ１以上であり、Ｓ４において車速がＶ２以上である、とそれぞれ判定された場合には、Ｓ５の距離把握用仮想画像表示処理には進まない。
【００３５】
次に、図６により、本発明の第１実施形態による車両用周囲監視装置の構成を説明する。図６は、本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。
【００３６】
この第１実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）の実映像に重畳して、その移動体が所定時間後にどのような位置にいるかを仮想車両を表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【００３７】
図６に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００３８】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。合成画像作成部２６で作成される合成画像は、モニタ１４で表示される。
【００３９】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【００４０】
また、移動体の所定時間後の移動位置推定部３４では、所定時間（本実施形態では、１０秒毎）の後の移動体の位置を推定する。
そして、仮想画像作成部３８では、移動体の所定時間後の移動位置推定部３４で推定された位置に移動体が表示されるように仮想画像が作成される。作成された仮想画像は、合成画像作成部２６で各カメラ２、４、６で得られる実画像に重畳され、モニタ１４に表示する。
【００４１】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想画像の作成を中止するように所定の信号を送り、モニタ１４に仮想表示がされないようにする。
【００４２】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００４３】
次に、図７及び図８により、本発明の第１実施形態による車両用周囲監視装置の制御内容を説明する。図７は、本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。図７において、Ｓは各ステップを示す。
【００４４】
図７に示すように、先ず、Ｓ１１において、画像取得部２２（図６参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【００４５】
次に、Ｓ１３において、移動体検出部３０により、Ｓ１１及びＳ１２で取得された実画像から、移動体を検出する。このＳ１３における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。移動体が検出されないときは、Ｓ１４に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図６参照）に入力されるＳ１１及びＳ１２で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００４６】
Ｓ１３において、移動体が検出されたときには、Ｓ１５に進み、移動体移動状態検出部３２により、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。一方、後述するように、複数の移動体について仮想画像を表示しても、それらが各々重ならない場合には、後続する移動体（後続車など）について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【００４７】
次に、Ｓ１６において、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であるかを判定する。所定距離としては例えば、１０〜３０ｍであり、所定時間としては例えば、２〜３．５秒である。
【００４８】
移動体の自車両からの距離が所定距離内でなく、或いは、移動体の自車両への到達時間が所定時間内でない場合には、仮想表示が不必要であるとして、Ｓ１４に進み、実画像をそのまま表示する。これは、移動体が、例えば、移動体の自車両からの距離が例えば１０ｍ以下であるような近い場合や、移動体の自車両への到達時間が２秒以内といった近い場合には、仮想表示をしなくても移動体の移動状態が良く分かるので、仮想表示をしないのである。
【００４９】
Ｓ１６において、移動体の自車両からの距離が所定距離内であり、或いは、移動体の自車両への到達時間が所定時間内である場合には、Ｓ１７に進む。Ｓ１７では、移動体の所定時間後の移動位置推定部３４において、所定時間（本実施形態では、１０秒毎）の後の移動体の位置を推定する。移動体が複数存在するときには、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、所定時間後の移動体の位置を推定する。
【００５０】
次に、Ｓ１８において、現在の移動体の位置からの移動体の仮想表示がされる位置までの時間を規定する。即ち、仮想表示するために、何秒後に何秒毎に（所定時間）に移動体の状態を表示するかを規定する。なお、この規定と共に、どの程度の距離毎（所定距離）に移動体の状態を表示するかを規定しても良い。
次に、Ｓ１９では、Ｓ１８で規定された所定時間（何秒後、何秒毎）における移動体の仮想的な移動の状態として、移動体の進行方向延長線上に表示する位置及び大きさを規定する。
【００５１】
次に、Ｓ２０において、図８（ｂ）に示すように、Ｓ１８で規定した所定時間（何秒後）Ｔ１０、Ｔ１１、Ｔ１２を実画像に重畳して表示すると共に、Ｓ１９で規定した移動体の進行方向延長線上に表示する位置及び大きさによる移動体の仮想表示Ｖ１１、Ｖ１２を実画像に重畳してモニタ１４に表示する。図８（ｂ）では、実画像として、現在の位置に存在する車両（移動体）Ｃ１１、Ｃ１２や現在見えている路面の状況がモニタ１４に表示される。
このＳ２０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想画像を表示する。
【００５２】
図８（ｂ）に示すように、複数の移動体Ｃ１１、Ｃ１２が存在する場合、本実施形態では、自車両から最短距離に存在する移動体（Ｃ１１）或いは自車両への到達時間が最も短い移動体（Ｃ１１）に対してのみ、仮想表示Ｖ１１、Ｖ１２、Ｔ１０、Ｔ１１、Ｔ１２が表示される。なお、図８（ｂ）において、移動体Ｃ１２に対して仮想表示をしても移動体Ｃ１１自体及びその仮想表示と重ならない場合には、移動体Ｃ１２に対しても仮想表示をしても良い。言い換えると、移動体Ｃ１２に対して仮想表示をすると移動体Ｃ１１自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
仮想表示（Ｖ１１、Ｖ１２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。また、仮想表示（Ｖ１１、Ｖ１２）は、等時間間隔で表示される。
【００５３】
次に、Ｓ２１に進み、頭出し位置判定部（図６参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。頭出し位置を判定するには、いくつか手法がある。例えば、ＧＰＳ装置１２により得られる自車両の位置とナビゲーション装置１３の地図データから判定する手法、カメラ２、４、６により得られる停止線の位置と、移動距離センサ（図示せず）による移動距離から、停止線からどれだけ移動したかで判定する手法、左右のカメラ２、６による映像から、左右の見通し具合が良くなるとき（近距離に見通しを遮断するものがないとき）が頭出し位置と判定する手法、カメラ２、４、６により得られる停止線の位置及び交差点周囲の画像により判定する手法などである。
【００５４】
自車両が頭出しをしているときには、Ｓ２２に進み、合成画像作成部２６（図６参照）により、Ｓ２０で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。仮想画像の点滅により、ドライバーは、モニタ１４による表示ではなくドライバー自身で目視が可能であることや、実際に目視で見えるものと異なるものであることを知ることが出来る。一方、頭出しをしていないときには、Ｓ２０による仮想画像と実画像との表示を続ける。
【００５５】
次に、本発明の第１実施形態による作用効果を説明する。
本発明の第１実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の所定時間後の移動位置推定部３４により移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定される。そして、仮想画像生成部３８により移動体の仮想画像が生成され、合成画像作成部２６により、移動体の仮想画像を、移動体の所定時間後の移動位置推定部３４により規定された位置及び大きさで実画像に重畳してモニタ１４に表示する。
【００５６】
従って、移動体の仮想画像が、その移動状態を表すような位置及び大きさで実画像に重畳して表示されるので、ドライバーが移動体の移動状態を認識し易くなり、静止物との区別が容易であると共に死角領域の画像内の移動体の移動状況を把握し易い。
【００５７】
次に、第１実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、カメラ２、４、６は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、衝突事故が多発する交差点周囲の左右領域の移動状況を容易に把握することが出来る。
【００５８】
次に、第１実施形態によれば、移動体の所定時間後の移動位置推定部３４は、移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に移動体の仮想画像が表示されるように移動体の仮想画像を表示する位置及び大きさが規定され、これが、表示手段により実画像に重畳して表示されるので、所定時間後の移動体の位置を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００５９】
次に、第１実施形態によれば、所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示が移動体の仮想画像に合わせて表示されるので、そのような数値による時間表示により、移動体の移動状態をより直感的に把握することが出来る。
【００６０】
次に、第１実施形態によれば、合成画像作成部２６は、移動体の仮想画像の表示を移動体の自車両からの距離が所定距離内にあるとき、或いは、移動体の自車両への到達時間が所定時間内であるときに行うので、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
次に、第１実施形態によれば、合成画像作成部２６は、移動体の仮想画像を移動体の実際の車両の実体及び実状と識別可能に表示するので、ドライバーにとって移動体としての視認が容易である。
【００６１】
次に、第１実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像生成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００６２】
次に、第１実施形態によれば、合成画像作成部２６により複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像生成部３８は、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、画像を見て各移動体の移動状態をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００６３】
次に、第１実施形態によれば、合成画像作成部２６は、仮想表示を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【００６４】
次に、第１実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想表示又は仮想路面表示を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【００６５】
次に、図９により、本発明の第２実施形態による車両用周囲監視装置の構成を説明する。図９は、本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。
【００６６】
この第２実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）の実映像に重畳して、その移動体が現時点の位置に来るまで、所定時間前にどのような位置にいたのかを残像画像として仮想的に表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【００６７】
図９に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００６８】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【００６９】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【００７０】
また、移動体情報蓄積部３３では、移動体検出部３０により検出された移動体の位置情報を移動体移動状態検出部３２から得て蓄積する。移動体残像画像規定部３５では、移動体情報蓄積部３３で蓄積された過去の移動体の位置と、移動体移動状態検出部３２から得られる現在の位置とに基づいて、移動体の残像画像を規定する。具体的には、所定の時間間隔で、過去の所定時間の移動体の位置及び大きさを規定する。
また、この移動体残像画像規定部３５では、移動体情報蓄積部３３で蓄積された過去の移動体の位置と、移動体移動状態検出部３２から得られる現在の位置とに基づいて移動体の移動方向を表すベクトルを算出する。
【００７１】
そして、仮想画像作成部３８では、移動体残像画像規定部３５により規定された移動体の過去の位置及び大きさの仮想画像（残像画像）を生成する。そして、作成された仮想画像は、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳され、モニタ１４により表示される。また、スピーカ１５により、仮想画像が更新されることを示す所定の音が発せられる。
【００７２】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における移動体の仮想表示を中止するように、所定の信号を送るようになっている。
【００７３】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００７４】
次に、図１０乃至図１２により、本発明の第２実施形態による車両用周囲監視装置の制御内容を説明する。図１０は、本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図１１は、本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図１２は、本発明の第２実施形態による仮想画像が実画像に重畳された映像の一例である。図１０において、Ｓは各ステップを示す。
【００７５】
図１０に示すように、先ず、Ｓ３０において、画像取得部２２（図９参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ３１において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【００７６】
次に、Ｓ３２において、移動体検出部３０では、Ｓ３０及びＳ３１で取得された実画像から、移動体を検出する。このＳ３２における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
移動体が検出されないときは、Ｓ３３に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図９参照）に入力されるＳ３０及びＳ３１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００７７】
Ｓ３２において、移動体が検出されたときには、Ｓ３４に進み、移動体情報蓄積部３３（図９参照）により、移動体の情報として、移動体が存在している或いは存在していた位置及び各位置での移動体の大きさの情報を蓄積する。
【００７８】
次に、Ｓ３５に進み、移動体移動状態検出部３２により、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。一方、後述するように、複数の移動体について仮想画像を表示しても、それらが各々重ならない場合には、後続する移動体（後続車など）について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【００７９】
次に、Ｓ３６において、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であるかを判定する。Ｓ３６における所定距離としては例えば、０〜１０ｍであり、所定時間としては例えば、０〜１秒である。
Ｓ３６で、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であると判定された場合、即ち、本実施形態では、移動体が近距離に存在するときには、Ｓ３３に進み、合成画像作成部２６（図９参照）に入力されるＳ３０及びＳ３１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。つまり、近距離であれば、ドライバーは、移動体の存在が分かれば良く、注意を払って発進待機及び通過待ちすれば良い。
【００８０】
Ｓ３６で、移動体の自車両からの距離が所定距離内であるか、或いは、移動体の自車両への到達時間が所定時間内であると判定されない場合には、Ｓ３７に進む。
Ｓ３７では、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上であるかを判定する。Ｓ３７における所定距離としては例えば、３０ｍであり、所定時間としては例えば、３秒である。
【００８１】
Ｓ３７では、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上ではないと判定されたときは、自車両と移動体との間が１０〜３０ｍの距離にあり、或いは、移動体の自車両への到達時間が１〜３秒であり、本実施形態では、移動体が中距離に存在する場合として、Ｓ３８に進む。このように移動体が自車両から中距離に存在するときは、ドライバーは、移動体の通過待ちをするか自車両が先に発進するか迷うような距離或いは時間であり、移動体の存在を確実に認識し、移動体の距離、速度及び進行方向を出来るだけ正確に把握したい場合である。
【００８２】
このような場合、Ｓ３８において、移動体を残像表示する位置及び大きさを規定すると共に残像表示を更新するタイミングに合わせた音の出力を規定する。これらの規定には、何秒毎に残像表示をするか、また、何秒毎に残像表示するかの規定も含まれる。本実施形態では、０．５秒〜２秒の間で残像表示を更新し、表示する時間間隔は等間隔である。
次に、Ｓ３９では、残像をつなぐベクトル表示を規定する。ベクトル表示は、各移動体の２次元画像の重心点、又は、移動体の３次元座標から得られる移動体の重心点をつなぐように規定される。これにより、進行方向が確かなものになる。
【００８３】
Ｓ４０では、例えば図１１（ｂ）に示すように、Ｓ３８で規定された位置及び大きさで移動体の残像表示である仮想画像Ｖ２１、Ｖ２２を実画像に重畳してモニタ１４に表示する。また、図１１（ｂ）に示すように、Ｓ３９で規定されたベクトルＶｅを実画像に重畳してモニタ１４に表示する。さらに、図１１（ｂ）に示すように、仮想画像Ｖ１、Ｖ２が何秒前のものかを示すＴ２０、Ｔ２１、Ｔ２２を実画像に重畳してモニタ１４に表示する。図１１（ｂ）では、実画像として、現在の位置に存在する車両（移動体）Ｃ２１、Ｃ２２や現在見えている路面の状況がモニタ１４に表示される。
【００８４】
このＳ４０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想画像を表示する。
【００８５】
図１１（ｂ）に示すように、複数の移動体Ｃ２１、Ｃ２２が存在する場合、本実施形態では、自車両から最短距離に存在する移動体（Ｃ２１）或いは自車両への到達時間が最も短い移動体（Ｃ２１）に対してのみ、仮想表示Ｖ２１、Ｖ２２、Ｔ２０、Ｔ２１、Ｔ２２が表示される。なお、図１１（ｂ）において、移動体Ｃ２２に対して仮想表示をしても移動体Ｃ２１自体及びその仮想表示と重ならない場合には、移動体Ｃ２２に対しても仮想表示をしても良い。言い換えると、移動体Ｃ２２に対して仮想表示をすると移動体Ｃ１自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
また、後続の移動体（後続車）が存在する場合には、図１１（ｂ）に符号Ｎで示すように、後続する移動体の数を表示するようになっている。
【００８６】
なお、仮想表示（Ｖ２１、Ｖ２２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。また、Ｓ４０では、残像表示が更新するタイミングに合わせて「ピッピッピッ」というような音をスピーカ１５から出力する。更新のタイミングは、例えば、ドライバーが移動物体を注視する時間が含まれるように０．５秒〜２秒程度である。ドライバーはモニタ１４を見続けて更新タイミングを学習しないと速度感をつかめないため、このような音を出力するようにしている。
【００８７】
次に、Ｓ３７において、移動体の自車両からの距離が所定距離以上であるか、或いは、移動体の自車両への到達時間が所定時間以上であると判定された場合は、自車両と移動体との間が３０ｍ以上の距離にあり、或いは、移動体の自車両への到達時間が３秒以上であり、本実施形態では、移動体が遠距離に存在する場合として、Ｓ４１に進む。このように移動体が自車両から遠距離に存在する場合、ドライバーは、衝突の危険性がないことに自信を持ちたい場合であり、移動体の速度変化及び進行方向変化を正確につかみたい場合である。
【００８８】
このような場合、先ず、Ｓ４１において、移動体の残像表示する位置及び大きさを規定する。本実施形態では、移動体が遠距離に存在するときには、移動体及び残像表示をモニタ１４上に拡大して表示するので、そのような移動体及び残像表示の拡大表示における位置及び大きさも規定する。また、残像表示を更新するタイミングに合わせた音の出力を規定する。さらに、何秒毎に残像表示をするか、また、何秒毎に残像表示するかも規定する。
【００８９】
次に、Ｓ４２では、残像をつなぐベクトル表示を規定する。ベクトル表示は、各移動体の２次元画像の重心点、又は、移動体の３次元座標から得られる移動体の重心点をつなぐように規定される。これにより、進行方向が確かなものになる。
【００９０】
次に、Ｓ４０では、例えば図１２に示すように、Ｃ２３という移動体の車両を、モニタ１４の画面左上に拡大して表示する。なお、拡大する位置は、実画像内における移動体Ｃ２３の表示を妨げなければどこでも良い。この場合も、Ｓ４０においては、ドライバーが実画像としては最新の現時点での映像を見ることが出来るように、常に現時点（最新）での背景及び移動体に重畳して移動体の仮想表示又は仮想路面表示を表示する。
この図１２に示す例では、Ｓ４１で規定された位置及び大きさで移動体の残像表示である仮想画像Ｖ２３、Ｖ２４を実画像に重畳してモニタ１４に表示する。
【００９１】
また、図１１（ｂ）と同様に、ベクトルＶｅ、時間Ｔ２０、Ｔ２１、Ｔ２２も表示される。また、図１１（ｂ）について説明したのと同様に、複数の移動体が存在する場合は、自車両から最短距離に存在する移動体或いは自車両への到達時間が最も短い移動体に対してのみ、仮想表示が表示される。なお、最前方の移動体に対して仮想表示をすると後続する移動体自体及びその仮想表示と重なる場合には、後続車の仮想画像の表示を禁止する。
【００９２】
なお、仮想表示（Ｖ２１、Ｖ２２）は、実画像と区別がつくように、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示をするのが好ましい。
また、Ｓ４０では、残像表示が更新するタイミングに合わせて「ピッピッピッ」というような音をスピーカ１５から出力する。更新のタイミングは、例えば、０．５秒〜２秒程度である。
【００９３】
次に、Ｓ４３に進み、頭出し位置判定部（図９参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。自車両が頭出しをしているときには、Ｓ４４に進み、合成画像作成部２６（図９参照）により、Ｓ４０で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。
【００９４】
次に、本発明の第２実施形態による作用効果を説明する。
本発明の第２実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の所定時間前の移動体残像画像規定部３５により移動体の仮想画像を表示する位置及び大きさをその移動体の移動状態を表すように規定される。そして、仮想画像作成部３８により移動体の仮想画像が生成され、合成画像作成部２６により、移動体の仮想画像を、移動体の所定時間前の移動体残像画像規定部３５により規定された位置及び大きさで実画像に重畳してモニタ１４に表示する。
【００９５】
次に、第２実施形態によれば、移動体残像画像規定部３５は、移動体の移動状態として、その移動体が移動してきた過去の位置に移動体の仮想画像が等時間間隔で残像として表示されるように移動体の仮想画像を表示する位置及び大きさを規定し、これが等時間間隔で残像として表示されるので、移動体の現在までの移動状況を直感的に把握することが出来、ドライバーにとって、例えば自車両を発進させて良いかの判断をより容易にすることが出来る。
【００９６】
次に、第２実施形態によれば、等時間間隔の残像に合わせたベクトル表示により、移動体の現在までの移動状況を、より直感的に把握することが出来る。
次に、第２実施形態によれば、移動体の仮想画像が、移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示するので、遠距離にある移動体の移動状態を容易に把握することが出来る。
【００９７】
次に、第２実施形態によれば、合成画像作成部２６は、移動体の仮想画像の表示を移動体の自車両からの距離が所定距離内にあるとき、或いは、移動体の自車両への到達時間が所定時間内であるときに行うので、例えば自車両を発進させるか停止したままにするかの判断を迷うような所定距離内に移動体が存在する場合に、ドライバーにより確実に移動体の移動状態を把握させることが出来る。
次に、第２実施形態によれば、合成画像作成部２６は、移動体の仮想画像を移動体の実際の車両の実体及び実状と識別可能に表示するので、ドライバーにとって移動体としての視認が容易である。
【００９８】
次に、第２実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像作成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
次に、第２実施形態によれば、合成画像作成部２６により複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、仮想画像作成部３８は、それらの移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像を生成するので、画像を見て混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【００９９】
次に、第２実施形態によれば、合成画像作成部２６は、仮想表示を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【０１００】
次に、第２実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想画像を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【０１０１】
次に、図１３により、本発明の第３実施形態による車両用周囲監視装置の構成を説明する。図１３は、本発明の第３実施形態による車両用周囲監視装置の構成を示すブロック図である。
図１３に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【０１０２】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【０１０３】
また、移動体移動状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両或いは交差点までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出するようにしても良い。
【０１０４】
また、カメラ２、４、６による撮像された画像を画像処理することにより、例えばウインカーの状態を検出して、移動体が右左折するか或いは直進するかの結果を検出する。なお、車車間通信或いは路車間通信により、移動体の右左折を検出しても良い。
【０１０５】
また、移動体の到達時間ｔ２算出部３６では、移動体移動状態検出部３２により検出された自車両に接近してくる移動体の自車両からの距離、速度及び進行方向から、移動体が自車両に到達する時間ｔ２を算出する。自車両の位置は、ナビゲーション装置１３或いはＧＰＳ装置１２により決定する。なお、移動体が自車両に到達する時間ｔ２ではなく、移動体が交差点に到達する時間を算出しても良い。その場合、交差点の位置は、ナビゲーション装置により決定する。
【０１０６】
また、自車両の交差点通過に要する時間ｔ１算出部５４では、ナビゲーション装置１３、ＧＰＳ装置１２及び車速センサ１０の各情報を受けて、自車両が交差点通過に要する時間（あるいは、自車両が交差点に到達する時間とする）ｔ１を算出する。
【０１０７】
そして、仮想画像作成部３８では、後述するように、移動体が右左折するか否かの判定結果と、自車両が交差点を通過するのに要する時間、或いは、自車両が交差点に到達する時間ｔ１及び移動体が自車両に到達する時間ｔ２に応じて決定される危険度と、に応じて、路面上に仮想路面画像を生成する。仮想画像作成部３８では、仮想路面画像として、その位置及び大きさを規定する。例えば、仮想路面画像は、実画像により得られる路面幅、或いは車線幅、或いは走行レーンと同じ幅で、移動体の前方に延びるように、位置及び大きさを規定する。
そして、作成された仮想路面画像は、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳され、モニタ１４により表示される。
【０１０８】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。頭出し位置判定部５０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想路面画像の仮想表示を中止するように、所定の信号を送るようになっている。
【０１０９】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【０１１０】
次に、図１４乃至図１６により、本発明の第３実施形態による車両用周囲監視装置の制御内容を説明する。図１４は、本発明の第３実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図１５は、本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）であり、図１６は、本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）、仮想画像が実画像に重畳された映像の一例（ｂ）及び仮想画像が実画像に重畳された映像の一例（ｃ）を示す図である。図１４において、Ｓは各ステップを示す。
【０１１１】
この第３実施形態では、実際に存在する移動体（交差点に向かってくる他車両など）を含む周辺の実映像に重畳して、その移動体が自車両或いは交差点にどの程の時間或いは距離で到達するかの危険度に応じて、路面に仮想路面画像を仮想的に重畳して表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。
【０１１２】
図１４に示すように、先ず、Ｓ５０において、画像取得部２２（図１３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ５１において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【０１１３】
次に、Ｓ５２において、ＥＣＵ１８では、Ｓ５０及びＳ５１で取得された実画像から、移動体を検出する。このＳ５２における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
移動体が検出されないときは、Ｓ５３に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図１３参照）に入力されるＳ５０及びＳ５１で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【０１１４】
Ｓ５２において、移動体が検出されたときには、Ｓ５４に進み、移動体移動状態検出部３２及び移動体の到達時間ｔ２算出部３６（図１３参照）により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間ｔ２を算出する。自車両までの到達時間ｔ２は、交差点までの到達時間としても良い。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出すると共に、移動体の自車両への到達時間を算出する。
【０１１５】
次に、Ｓ５５において、自車両の交差点通過に要する時間ｔ１算出部５４（図１３参照）により、自車両が交差点通過に要する時間ｔ１を算出する。
次に、Ｓ５６に進み、移動体移動状態検出部３２（図１３参照）により得られた、移動体が直進するか右左折するかの検出結果から、移動体が交差点にて右左折するか否かを判定する。
【０１１６】
移動体が右左折する場合には、Ｓ５７に進み、移動体の進行方向が交差点を右左折するものと決定し、危険度が小として、仮想画像作成部３８により、移動体の進行方向である交差点までの直線部分の路面と、左折後の進行方向の路面とのそれぞれの実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が小なので、仮想路面表示を青色とする。色を付けない場合は、濃淡を付けて、例えば、薄く表示する。
【０１１７】
そして、Ｓ５８に進み、Ｓ５７で作成した仮想路面表示を、例えば図１５（ｂ）にＲ１で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が左折することを即座に認識することが出来、例えば自車両を発進させて良いかの判断が容易になる。
【０１１８】
次に、Ｓ５６において、移動体が直進すると判定された場合、先ずＳ５９に進む。このＳ５９では、及び移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ０未満であるか否かを判定する。
【０１１９】
所定値ｋ０未満である場合は、Ｓ６０に進み、移動体も自車両もほぼ同じような時間で交差点に到達するので、危険度大として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が大なので、仮想路面表示を赤色とする。色を付けない場合は、濃淡を付けて、例えば、濃くする。
【０１２０】
そして、Ｓ５８に進み、Ｓ６０で作成した仮想路面表示を、例えば図１６（ｂ）にＲ２で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、非常に近い位置にいることを即座に認識することが出来、例えば自車両を待機するための判断が容易になる。
【０１２１】
Ｓ５９で、ｔ２−ｔ１がｋ０以上である場合には、Ｓ６１に進み、移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ０以上であり且つ所定値ｋ１未満であるか否かを判定する。
所定値ｋ０以上であり且つ所定値ｋ１未満である場合には、Ｓ６２に進み、移動体が到達する時間と自車両が到達する時間に或る程度の時間差があるので、危険度中として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が中なので、仮想路面表示を黄色とする。色を付けない場合は、濃淡を付けて、例えば、中程度の濃さとする。
【０１２２】
そして、Ｓ５８に進み、Ｓ６２で作成した仮想路面表示を、例えば図１６（ｃ）にＲ３で示すように、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、何秒か後に移動体が近づくことを即座に認識することが出来、例えば自車両を発進させて良いか待機するかの判断が容易になる。
【０１２３】
Ｓ６１で、移動体が自車両に到達する時間ｔ２と自車両が交差点に到達する時間ｔ１との差が所定値ｋ１以上である場合には、Ｓ６３に進み、移動体が到達する時間と自車両が到達する時間に大きな時間差があるので、危険度小として、仮想画像作成部３８により、移動体の進行方向である交差点を含む直線部分の路面の実画像上に重畳して表示する仮想路面表示を作成する。ここでは、危険度が小なので、仮想路面表示を青色とする。色を付けない場合は、濃淡を付けて、例えば、薄くする。
【０１２４】
そして、Ｓ５８に進み、Ｓ６３で作成した仮想路面表示を、実画像に重畳して表示する。ドライバーは、この仮想路面表示により、移動体が直進してくること、及び、かなり後に移動体が近づくことを即座に認識することが出来、例えば自車両を発進させて良いとの判断が容易になる。
【０１２５】
なお、Ｓ５８においては、上述したように、仮想路面表示を、交差点までの到達時間ｔ１、ｔ２により異なるようにしているが、移動体の到達時間の算出の確信度に応じて変更して表示するようにしても良い。確信度とは、情報源である自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報などの情報の精度のことである。例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが出来る。そして、確信度が高い場合には、仮想路面表示を点滅させたり、点滅の間隔を変えたりして、ドライバーが確信度を判断することが出来るようにしても良い。
【０１２６】
Ｓ５８の次には、Ｓ６４に進み、頭出し位置判定部（図１３参照）５０により、自車両が頭出し位置（図４参照）を通過したか否かを判定する。自車両が頭出しをしているときには、Ｓ６５に進み、合成画像作成部２６（図参照）により、Ｓ５８で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。
【０１２７】
次に、本発明の第３実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視することが出来る。本実施形態では、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、移動体検出部３０により、これらのカメラ２、４、６により撮像された実画像内から移動体が抽出される。さらに、移動体移動状態検出部３２により移動体の移動状態が検出され、移動体の到達時間ｔ２算出部３６により移動体の到達時間が算出さる。また、自車両の交差点通過に要する時間ｔ１算出部５４により自車両の交差点通過に要する時間が算出され、それらを基に仮想画像作成部３８により仮想路面画像を表示する表示態様が規定される。そして、仮想画像作成部３８により仮想路面画像が生成され、合成画像作成部２６により、仮想路面画像を規定された表示態様で実画像に重畳してモニタ１４に表示する。
【０１２８】
次に、第３実施形態によれば、移動体の移動状態に応じて移動体の進行方向前方側の路面上に所定の仮想路面画像を重畳して表示するので、移動体の仮想表示に加えて、その移動体が進行している路面も仮想表示され、より確実に、移動体の存在する方向や移動状態を把握することが出来る。
【０１２９】
次に、第３実施形態によれば、車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示を重畳して表示するので、自車両及び移動体が向かう交差路の交差点までの自車両の到達時間及び移動体の到達時間に応じて移動体の進行方向前方側の路面上に所定の仮想路面表示が重畳して表示され、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。
【０１３０】
次に、第３実施形態によれば、仮想路面表示が、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて変更して表示されるので、交差点までの自車両の到達時間及び移動体の到達時間の算出の確信度に応じて仮想路面表示が変更して表示され、より確実且つ正確に、移動体の存在する方向や移動状態を把握することが出来る。なお、確信度としては、例えば、自律センサ情報、車車間通信情報、路車間通信情報、情報センター配信情報の順で確信度が高い等と決定することが好ましい。
【０１３１】
次に、第３実施形態によれば、移動体検出部３０により複数の移動体が検出されたとき、仮想画像生成部３８は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して仮想路面表示を生成するので、複数の移動体が存在するとき、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成され、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【０１３２】
次に、第３実施形態によれば、複数の移動体の仮想画像を全て表示すると複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、移動体の全ての仮想画像を生成するのではなく、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像が生成されるので、複数の仮想画像をそれぞれ混同することなく、より確実に自車両と衝突する恐れのある移動体の移動状態を把握することが出来る。
【０１３３】
次に、第３実施形態によれば、合成画像作成部２６は、仮想画像を移動体の実画像と識別可能に、例えば、輪郭線のみ表示したり、透過した淡色表示をしたり、点滅表示したりして表示するので、ドライバーは仮想画像を仮想の画像として認識することが出来、実画像と仮想画像とを混同することがない。
【０１３４】
次に、第３実施形態によれば、合成画像作成部２６は、移動体の現時点での背景及び現時点での移動体に重畳して移動体の仮想画像又は仮想路面画像を表示するので、ドライバーは、実画像としては最新の現時点での映像を見ることが出来、それに対して仮想画像が表示されるので、より確実に周囲の状況と共に移動体の移動状態を把握することが出来る。
【０１３５】
なお、上述した第１乃至第３実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１乃至第３実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の第１乃至第３実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図４】自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図５】本発明の第１乃至第３実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
【図６】本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図７】本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図８】本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図９】本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図１０】本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図１１】本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１２】本発明の第２実施形態による仮想画像が実画像に重畳された映像の一例である。
【図１３】本発明の第３実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図１４】本発明の第３実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図１５】本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）、仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１６】本発明の第３実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）及び仮想画像が実画像に重畳された映像の一例（ｃ）である。
【符号の説明】
【０１３７】
１ 車両
２、４、６ 監視カメラ
７ レーザレーダ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１５ スピーカ
１８ ＥＣＵ
【特許請求の範囲】
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段と、
この移動体検出手段で検出された移動体の移動状態を表すような所定の仮想画像を表示するためにその所定の仮想画像の表示態様を規定する仮想画像規定手段と、
上記移動体の仮想画像を上記仮想画像規定手段により規定される表示態様で上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１に記載の車両用周囲監視装置。
【請求項３】
上記仮想画像規定手段は、上記移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に上記移動体の仮想画像が表示されるように上記移動体の仮想画像を表示する表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
さらに、上記所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示を上記移動体の仮想画像に合わせて表示する第２表示手段を有する請求項３に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像規定手段は、上記移動体の移動状態として、その移動体が移動してきた過去の位置に上記移動体の仮想画像が等時間間隔で残像として表示されるように上記移動体の仮想画像を表示する表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項６】
さらに、上記等時間間隔の残像に合わせてベクトル表示を行う第３表示手段を有する請求項５に記載の車両用周囲監視装置。
【請求項７】
上記表示手段は、上記移動体の仮想画像を、上記移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示する請求項５又は請求項６に記載の車両用周囲監視装置。
【請求項８】
上記表示手段は、上記移動体の仮想画像の表示を上記移動体の自車両からの距離が所定距離範囲内であるか、或いは、移動体の自車両への到達時間が所定時間範囲内にあるときに行う請求項１乃至７のいずれか１項に記載の車両用周囲監視装置。
【請求項９】
上記表示手段は、上記移動体の仮想画像を上記移動体の実体および実状と識別可能に表示する請求項１乃至８のいずれか１項に記載の車両用周囲監視装置。
【請求項１０】
上記移動体検出手段により複数の移動体が検出されたとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、上記表示手段は、その規定された仮想画像を実画像に重畳して表示する請求項１乃至９のいずれか１項に記載の車両用周囲監視装置。
【請求項１１】
上記移動体検出手段により複数の移動体が検出され、上記表示手段が上記複数の移動体の仮想画像を全て表示すると上記複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、上記表示手段は、その規定された仮想画像を実画像に重畳して表示する請求項１乃至９のいずれか１項に記載の車両用周囲監視装置。
【請求項１２】
上記仮想画像規定手段は、上記移動体の移動状態を表すために、上記移動体の進行方向前方側の路面上に上記移動体の移動状態を示す仮想路面画像を表示するようにその表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項１３】
上記仮想画像規定手段は、自車両及び上記移動体が向かう交差路の交差点までの自車両の到達時間及び上記移動体の到達時間に応じて異なる、或いは、自車両及び上記移動体が向かう交差路の交差点での自車両の通過時間及び上記移動体の到達時間に応じて異なる仮想路面画像を上記移動体の進行方向前方側の路面上に表示するように上記仮想路面画像の表示態様を規定する請求項１２に記載の車両用周囲監視装置。
【請求項１４】
上記仮想画像規定手段は、上記仮想路面表示を、上記交差点までの上記自車両の到達時間及び上記移動体の到達時間の算出の確信度に応じて仮想路面画像を変更するようにその表示態様を規定する請求項１２又は請求項１３に記載の車両用周囲監視装置。
【請求項１５】
上記移動体検出手段により複数の移動体が検出されたとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して上記仮想路面画像の表示態様を規定し、上記表示手段は、その規定された仮想路面画像のみを仮想画像として上記実画像に重畳して表示する請求項１２乃至１４のいずれか１項に記載の車両用周囲監視装置。
【請求項１６】
上記移動体検出手段により複数の移動体が検出され、上記表示手段が上記複数の移動体の仮想画像を全て表示すると上記複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して上記仮想路面画像の表示態様を規定し、上記表示手段は、その規定された仮想路面画像のみを仮想画像として上記実画像に重畳して表示する請求項１２乃至１４のいずれか１項に記載の車両用周囲監視装置。
【請求項１７】
上記表示手段は、上記仮想画像を上記移動体の実画像と識別可能に表示する請求項１乃至１６のいずれか１項に記載の車両用周囲監視装置。
【請求項１８】
上記表示手段は、上記移動体の現時点での背景及び現時点での移動体の実画像に重畳して上記移動体の仮想画像又は仮想路面画像を表示する請求項１乃至１７のいずれか１項に記載の車両用周囲監視装置。
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
この実画像撮像手段により撮像された実画像内から移動体を抽出し、この移動体の移動状態を検出する移動体検出手段と、
この移動体検出手段で検出された移動体の移動状態を表すような所定の仮想画像を表示するためにその所定の仮想画像の表示態様を規定する仮想画像規定手段と、
上記移動体の仮想画像を上記仮想画像規定手段により規定される表示態様で上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１に記載の車両用周囲監視装置。
【請求項３】
上記仮想画像規定手段は、上記移動体の移動状態として、その移動体の進行方向延長線上の所定時間後の推定到達位置に上記移動体の仮想画像が表示されるように上記移動体の仮想画像を表示する表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
さらに、上記所定時間に基づいてその表示された移動体の現在の位置からの到達予測時間の数値表示を上記移動体の仮想画像に合わせて表示する第２表示手段を有する請求項３に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像規定手段は、上記移動体の移動状態として、その移動体が移動してきた過去の位置に上記移動体の仮想画像が等時間間隔で残像として表示されるように上記移動体の仮想画像を表示する表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項６】
さらに、上記等時間間隔の残像に合わせてベクトル表示を行う第３表示手段を有する請求項５に記載の車両用周囲監視装置。
【請求項７】
上記表示手段は、上記移動体の仮想画像を、上記移動体の自車両からの距離が所定距離以上の遠距離にある場合に、所定距離より小さい場合よりも拡大して表示する請求項５又は請求項６に記載の車両用周囲監視装置。
【請求項８】
上記表示手段は、上記移動体の仮想画像の表示を上記移動体の自車両からの距離が所定距離範囲内であるか、或いは、移動体の自車両への到達時間が所定時間範囲内にあるときに行う請求項１乃至７のいずれか１項に記載の車両用周囲監視装置。
【請求項９】
上記表示手段は、上記移動体の仮想画像を上記移動体の実体および実状と識別可能に表示する請求項１乃至８のいずれか１項に記載の車両用周囲監視装置。
【請求項１０】
上記移動体検出手段により複数の移動体が検出されたとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、上記表示手段は、その規定された仮想画像を実画像に重畳して表示する請求項１乃至９のいずれか１項に記載の車両用周囲監視装置。
【請求項１１】
上記移動体検出手段により複数の移動体が検出され、上記表示手段が上記複数の移動体の仮想画像を全て表示すると上記複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体の仮想画像の表示態様を規定し、上記表示手段は、その規定された仮想画像を実画像に重畳して表示する請求項１乃至９のいずれか１項に記載の車両用周囲監視装置。
【請求項１２】
上記仮想画像規定手段は、上記移動体の移動状態を表すために、上記移動体の進行方向前方側の路面上に上記移動体の移動状態を示す仮想路面画像を表示するようにその表示態様を規定する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項１３】
上記仮想画像規定手段は、自車両及び上記移動体が向かう交差路の交差点までの自車両の到達時間及び上記移動体の到達時間に応じて異なる、或いは、自車両及び上記移動体が向かう交差路の交差点での自車両の通過時間及び上記移動体の到達時間に応じて異なる仮想路面画像を上記移動体の進行方向前方側の路面上に表示するように上記仮想路面画像の表示態様を規定する請求項１２に記載の車両用周囲監視装置。
【請求項１４】
上記仮想画像規定手段は、上記仮想路面表示を、上記交差点までの上記自車両の到達時間及び上記移動体の到達時間の算出の確信度に応じて仮想路面画像を変更するようにその表示態様を規定する請求項１２又は請求項１３に記載の車両用周囲監視装置。
【請求項１５】
上記移動体検出手段により複数の移動体が検出されたとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して上記仮想路面画像の表示態様を規定し、上記表示手段は、その規定された仮想路面画像のみを仮想画像として上記実画像に重畳して表示する請求項１２乃至１４のいずれか１項に記載の車両用周囲監視装置。
【請求項１６】
上記移動体検出手段により複数の移動体が検出され、上記表示手段が上記複数の移動体の仮想画像を全て表示すると上記複数の移動体及びそれらの仮想画像が重なって表示されてしまうとき、上記仮想画像規定手段は、自車両までの距離が最も小さい或いは自車両までの到達時間が最も短い移動体に対して上記仮想路面画像の表示態様を規定し、上記表示手段は、その規定された仮想路面画像のみを仮想画像として上記実画像に重畳して表示する請求項１２乃至１４のいずれか１項に記載の車両用周囲監視装置。
【請求項１７】
上記表示手段は、上記仮想画像を上記移動体の実画像と識別可能に表示する請求項１乃至１６のいずれか１項に記載の車両用周囲監視装置。
【請求項１８】
上記表示手段は、上記移動体の現時点での背景及び現時点での移動体の実画像に重畳して上記移動体の仮想画像又は仮想路面画像を表示する請求項１乃至１７のいずれか１項に記載の車両用周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２３１９３８（Ｐ２００９−２３１９３８Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１８７２（Ｐ２００８−７１８７２）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]