車両用周囲監視装置
【課題】ドライバーが死角領域の状況をより確実に把握することが出来る車両用周囲監視装置を提供する。
【解決手段】本発明は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段（２、６）と、この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段（３０）と、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段（３８）と、この仮想画像生成手段により生成された仮想画像を実画像撮像手段により撮像された実画像と共に表示する表示手段（２６、１４）と、を有する。
【解決手段】本発明は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段（２、６）と、この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段（３０）と、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段（３８）と、この仮想画像生成手段により生成された仮想画像を実画像撮像手段により撮像された実画像と共に表示する表示手段（２６、１４）と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、カメラ等により撮像された左右方向のドライバーにおける死角領域をモニタ上に表示するのであるが、例えば交差点の角にカメラの視界を遮るような遮蔽物がある場合やカメラ自体が死角領域を有する場合に、車両が交差点に十分進入した後でなければドライバーは死角領域の画像を得ることが出来ないものであった。つまり、そのような交差点などの手前では、ドライバーにとって死角領域があるだけでなく、カメラにも死角領域が生じるために、ドライバーに十分な情報提供が出来ない場合があった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、ドライバーが死角領域の状況をより確実に把握することが出来る車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、この仮想画像生成手段により生成された仮想画像を実画像撮像手段により撮像された実画像と共に表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成して表示するので、実画像撮像手段に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。
【０００８】
また、本発明において、好ましくは、実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する。
このように構成された本発明においては、遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、死角領域の情報を得ることが出来る。
【０００９】
また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００１０】
また、本発明において、好ましくは、さらに、実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する。
このように構成された本発明においては、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００１１】
また、本発明において、好ましくは、仮想画像生成手段は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成する。
このように構成された本発明においては、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００１２】
また、本発明において、好ましくは、さらに、移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、仮想画像生成手段は、移動体が移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。
このように構成された本発明においては、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。
【００１３】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第２の仮想画像として生成する第２仮想画像生成手段を有し、表示手段は、移動体の仮想画像と重畳してこの第２の仮想画像を表示する。
このように構成された本発明においては、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００１４】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第２の仮想画像として生成する第２仮想画像生成手段を有し、表示手段は、移動体の仮想画像とこの第２の仮想画像とを並べて表示する。
このように構成された本発明においては、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００１５】
また、本発明において、好ましくは、仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では実画像撮像手段により撮像された実画像を表示する。
このように構成された本発明においては、死角領域に過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を表示し、他の領域には実画像が表示されるので、ドライバーはより効果的に実画像撮像手段の死角領域の様子（例えば、道路構造や建物の存在など）を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。
【００１６】
また、本発明において、好ましくは、仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する。
このように構成された本発明においては、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。
【発明の効果】
【００１７】
本発明の車両用周囲監視装置によれば、ドライバーが死角領域の状況をより確実に把握することが出来る。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００１９】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００２０】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。また、車両１は、映像を保存することが可能な記憶装置１９を有している。
【００２１】
次に、図３により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図３は、本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図であり、図４は、本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
本発明の実施形態では、例えば図３に示すように、交差点に近づく車両Ｖ１からカメラにより他車両Ｖ３が検知されているが、さらに交差点に近づいた車両Ｖ２のカメラからは、視界を遮る遮蔽物Ａにより他車両Ｖ４が見えなくなってしまうとき、主に、検知されていた過去の他車両Ｖ３の記憶画像をもとに、車両Ｖ２のモニタ上に仮想画像として、車両Ｖ３の移動後の車両Ｖ４を仮想的に表示し、その際、遮蔽物Ａの一部を透過させて仮想画像として表示するようなものである。
【００２２】
次に、図４に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００２３】
撮像画像保存部３０では、画像補正部２４からの入力画像をＥＣＵ１８と共に設けられた記憶装置１９に保存する。
次に、移動体検出部３２では、撮像画像保存部３０で保存した記憶画像から、自車両に接近してくる四輪車などの移動体を検出する。具体的には、パターンマッチングで移動体の種類（四輪車や歩行者など）を検出すると共に、オプティカルフロー、背景差分、フレーム間差分処理などで、移動体の移動方向及び移動速度も検出する。本実施形態では、主に、交差点に進入する前の例えば、遮蔽物Ａ（図３参照）が無いようなときに撮像した画像から移動体を検出する。
【００２４】
移動体情報蓄積部３４では、移動体検出部３２で検出された移動体の位置、大きさ、速度及び方向データなどの情報を記憶装置１９に蓄積する。移動体位置推定部３６では、記憶装置１９に蓄積された移動体の各情報をもとに、その情報が蓄積された時間と現在の時間とにより、移動体の現在の位置及び見かけ上の大きさを推定する。
仮想画像作成部３８では、この推定された移動体の位置及び大きさで移動体の仮想画像を作成する。
【００２５】
一方、静止物検出部４０では、撮像画像保存部３０で保存した記憶画像から、画像処理により、本実施形態では、主に、交差点に進入する前の例えば、遮蔽物Ａ（図３参照）が無いようなときに撮像した画像から静止物を検出する。静止物情報蓄積部４２では、静止物検出部４０で検出された静止物の位置及び大きさなどの情報を記憶装置１９に蓄積する。仮想画像作成部３８では、この検出された静止物の位置及び大きさで静止物の仮想画像を作成する。
【００２６】
また、遮蔽物検出部４４では、画像補正部２４により得られた実画像内から、パターンマッチングなどの手法により、ガードレールや壁などのカメラの視界を遮る遮蔽物を検出する。また、遮蔽物画像作成判定部４６では、遮蔽物検出部４４により検出された遮蔽物の位置や大きさなどに基づいて、仮想画像を作成せず実画像をモニタ１４に写すか、仮想画像を実画像に重畳するかを判定する。
【００２７】
仮想画像作成部３８では、この検出された遮蔽物の位置を変更して表示したり、背後の移動体が見えるようにその一部が透過して表示したりするように、遮蔽物の仮想画像を作成する。
合成画像作成部２６では、上述したように仮想画像作成部３８で作成された各仮想画像を実画像と共に合成画像として作成する。
【００２８】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。ここで、図５により、頭出し位置について説明する。図５は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
図５に示すように、頭出し位置とは、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。なお、カメラだし位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。また、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。
【００２９】
頭出し位置判定部５０では、後述するように、車両が交差路内に頭出ししたことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想画像の作成或いは既存物の仮想表示を中止するように所定の信号を送り、モニタ１４での仮想画像の表示をしないようになっている。
【００３０】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、上述したランドマーク或いは既存物の仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００３１】
次に、図６により、ドライバーによる交差路進入時における運転行動を説明する。図６は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図５参照）に進む。本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させて、頭出し位置を通過後には、仮想画像の表示を中止する。その後、発進判断及び発進操作が行われる。
【００３２】
次に、図７により、本発明の実施形態による車両用周囲監視装置の制御の概要を説明する。図７は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。図７において、Ｓは各ステップを示す。
先ず、図７に示すように、Ｓ１において、画像取得部２２（図４参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ２において、画像補正部２４により、取得された広角画像の歪み補正を行う。Ｓ３において、撮影された画像は記憶装置１９に保存される。本実施形態では、Ｓ１乃至Ｓ３の処理により、交差点への進入以前から常にカメラ映像を取得すると共に記憶するようにしている。
【００３３】
次に、Ｓ４において、移動体検出部３２（図４参照）により、Ｓ１及びＳ２で取得された実画像から、移動体を検出する。このＳ４における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
【００３４】
Ｓ４において、移動体が検出されたときには、Ｓ５に進み、移動体検出部３２（図４参照）により、移動体の位置、大きさ、移動方向及び移動速度を算出し、Ｓ６において、移動体情報蓄積部３４（図４参照）により、Ｓ５で算出した移動体の位置、大きさ、移動方向及び移動速度を記憶装置１９に蓄積する。本実施形態では、Ｓ６において、自車両の交差点進入の所定時間前からの移動体情報のデータを時系列的に記憶する。例えば、時間に対する移動体の位置、大きさ及び移動方向のデータを蓄積する。移動体が検出されないときは、これらのＳ５及びＳ６の処理を行わない。
【００３５】
次に、Ｓ７において、静止物検出部４０により、Ｓ１及びＳ２で取得された実画像から、静止物を検出する。このＳ７における静止物の検出は、画像処理により行われる。Ｓ７において、静止物が検出されたときには、Ｓ８に進み、静止物検出部４０により、静止物の位置及び大きさを算出し、Ｓ９において、静止物情報蓄積部４２（図４参照）により、Ｓ８で算出した静止物の位置及び大きさを記憶装置１９に蓄積する。本実施形態では、Ｓ９において、自動車や歩行者などの本来は移動する静止物についてのデータは、自車両の交差点進入時の所定時間前から時系列的に蓄積する。標識や信号機などの静止物は常に蓄積する。静止物が検出されないときは、これらのＳ８及びＳ９の処理を行わない。
【００３６】
次に、Ｓ１０において、仮想画像処理実施判定部５２（図４参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ１１において、仮想画像処理実施判定部５２（図４参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３７】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ１２に進み、Ｓ１２において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ１３に進み、仮想画像処理実施判定部５２（図４参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ１４に進む。
【００３８】
Ｓ１４では、自車両が頭出し位置（図５参照）を通過したか否かを判定する。頭出し位置を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、Ｓ１５に進み、モニタ１４にＳ１及びＳ２で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、Ｓ１６に進み、死角視認用仮想画像表示処理を行う。
【００３９】
次に、図８により、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理の内容を説明する。図８は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。図８において、Ｓは各ステップを示す。
先ず、Ｓ２０において、移動体の蓄積データ或いは静止物の蓄積データが蓄積されているか否かを判定する。具体的には、交差点への進入前の所定時間内に、図７のＳ６において移動体情報が蓄積され、或いは、図７のＳ９で静止物情報が蓄積されているか否かを判定する。蓄積データが無い場合には死角視認用仮想画像の表示を行わない。
【００４０】
次に、蓄積データがある場合には、Ｓ２１に進み、移動体位置推定部３６（図４参照）により移動体の現在の位置を推定する。この推定された位置は、後述するように、仮想画像として表示されるが、Ｓ２１の処理を行わず、位置を推定せず、過去の位置そのままに表示して、移動体がどの位置にいるかは、ドライバーの判断に任せても良い。この場合、例えば、移動体に移動方向及び速度を表すようなベクトル表示を付けても良い。次に、Ｓ２２に進み、静止物情報蓄積部４２により蓄積された静止物の位置データを取得する。
【００４１】
次に、Ｓ２３において、左右のカメラ２、６の視野内に、視野を遮るような遮蔽物が存在するか否かを判定する。例えば、所定の近距離内に見通しを遮るものを遮蔽物として判定する。例えば、図９に示すように、交差点が直交していない場合には、右側のカメラ６の視野内には、遮蔽物は無いが、実際にドライバーから見れば、他車両Ｖが見えないことになる。
【００４２】
このような場合には、Ｓ２４に進み、移動体又は静止物の位置が補完位置にあるか否かを判定する。ここで、補完位置とは、図９に示すようにカメラの視野内に遮蔽物は無いが、カメラからもドライバーからも見えない部分に移動体又は静止物がある場合をいう。図９では、そのような補完位置を、補完画像領域として図示している。
【００４３】
補完位置に移動体或いは静止物がある場合には、Ｓ２５に進み、カメラにより実際に取得した実画像と、補完画像とを並列して表示する。この補完画像とは、移動体蓄積データや静止物蓄積データから特定される過去の移動体や静止物の情報を仮想画像として表示するものである。
【００４４】
例えば、図９に示すような場合には、図１０に示すように、合成画像作成部２６（図４参照）により、左側をカメラにより実際に取得した実画像を表示し、右側に、遮蔽物Ａ（図９参照）の仮想画像Ａｖ、標識Ｂ（図９参照）の仮想画像Ｂｖ、及び、移動体である他車両Ｖ（図９参照）の仮想画像Ｖｖというような仮想画像を表示するような画像を作成して、モニタ１４に表示する。これにより、カメラから見てもドライバーから見ても死角となるような領域の様子を、過去のデータを使用することにより把握することが出来る。なお、移動体については、Ｓ２１で推定した移動体の現在の位置に表示するのが良い。
【００４５】
次に、Ｓ２３において、左右のカメラ２、６の視野内に、視野を遮るような遮蔽物が存在すると判定された場合、例えば、図１１のように現在の車両位置から見てカメラの視野内に遮蔽物Ａが存在する場合には、Ｓ２６に進み、移動体又は静止物の位置が遮蔽物の後方に位置しているか否かを判定する。後方に位置していない場合には、Ｓ２４に進み、上述したような処理を行う。
【００４６】
移動体又は静止物の位置が遮蔽物の後方に位置していると判定された場合には、Ｓ２７に進み、合成画像作成部２６（図４参照）により、移動体又は静止物の仮想画像と取得された実画像との合成画像を作成してモニタ１４に表示する。移動体については、過去の情報から過去の位置そのままに表示しても良いし、Ｓ２１で推定した移動体の現在の位置に表示しても良い。静止物については、過去に蓄積された位置に表示する。過去とは、交差点に進入する直前の時と、以前通った時の両方を含む。なお、移動体については、過去とは、交差点に進入する直前の時を表す。
【００４７】
Ｓ２７においては、例えば、図１２に示すように、遮蔽物Ａの一部分、即ち、後方に移動体や静止物が見えるべき部分を半透明にした仮想画像の遮蔽物Ａｖを表示し、その部分の後方に過去の情報から得られた仮想画像の移動体Ｖｖを表示する。また、図１３に示すように、遮蔽物Ａｖの全体を側方にずらして表示し、過去の情報から得られた移動体Ｖｖがはっきり視認出来るようにしても良い。
【００４８】
次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視するようになっており、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、このカメラ２、４、６により撮像された実画像を記憶装置１９に記憶し、カメラ２、４、６の死角領域の画像をカメラ２、４、６により記憶された過去の実画像から仮想画像作成部（仮想画像生成手段）３８により仮想画像として生成し、この生成された仮想画像をカメラ２、４、６により撮像された実画像と共にモニタ１４に表示する。このように構成された本発明の実施形態においては、カメラ２、４、６の死角領域の画像を記憶された過去の実画像から仮想画像として生成して表示するので、カメラ２、４、６に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。
【００４９】
ここで、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、車両が交差路に差し掛かるとき、車両の前方端に設けられたカメラ２、４、６がその車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００５０】
また、本実施形態によれば、カメラ２，４、６により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を遮蔽物検出部４４により検出し、遮蔽物が検出されたとき、仮想画像作成部３８は、その遮蔽物の向こう側の領域の画像を記憶手段１９により記憶された過去の実画像から仮想画像として生成する。従って、遮蔽物の向こう側の領域の画像を、記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、ドライバーは死角領域の情報を得ることが出来る。
【００５１】
また、本実施形態によれば、移動体検出部３２が、記憶装置１９により記憶された実画像内から移動体を検出し、仮想画像作成部３８は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、合成画像作成部２６は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を実画像に重畳して、モニタ１４に表示する。従って、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００５２】
また、本実施形態によれば、仮想画像作成部３８は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成するので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００５３】
また、本実施形態によれば、移動体検出部３２により移動体の移動状態を検出し、移動体位置推定部３６により現在の時点における移動体の位置及び大きさを推定し、仮想画像作成部３８は、移動体が、移動体位置推定部３６により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。従って、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。
【００５４】
また、本実施形態によれば、仮想画像作成部３８は、カメラ２、４、６により撮像された実画像内の遮蔽物をその向こう側が見えるように透過させ、合成画像作成部２６では、移動体の仮想画像と重畳して、モニタ１４にこの仮想画像を表示する。従って、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００５５】
また、本実施形態によれば、仮想画像作成部３８は、カメラ２、４、６により撮像された実画像内の遮蔽物をその向こう側が見えるように本来の位置からずらした位置に仮想画像として生成し、合成画像作成部２６では、移動体の仮想画像とこの仮想画像とを並べてモニタ１４に表示する。従って、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００５６】
仮想画像作成部３８は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像が表示され、他の領域では実画像撮像手段により撮像された実画像が表示される。従って、ドライバーはより効果的に実画像撮像手段の死角領域の様子（例えば、道路構造や建物の存在など）を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。
【００５７】
仮想画像作成部３８は、以前に車両が通過した時点の静止物を過去画像として生成するので、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。
【００５８】
なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図である。
【図４】本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
【図５】図５は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図６】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図７】本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。
【図８】本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。
【図９】本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。
【図１０】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び補完画像のパノラマ画像の一例である。
【図１１】本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。
【図１２】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。
【図１３】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。
【符号の説明】
【００６０】
１ 車両
２、４、６ 監視カメラ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１８ ＥＣＵ
１９ 記憶装置
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、カメラ等により撮像された左右方向のドライバーにおける死角領域をモニタ上に表示するのであるが、例えば交差点の角にカメラの視界を遮るような遮蔽物がある場合やカメラ自体が死角領域を有する場合に、車両が交差点に十分進入した後でなければドライバーは死角領域の画像を得ることが出来ないものであった。つまり、そのような交差点などの手前では、ドライバーにとって死角領域があるだけでなく、カメラにも死角領域が生じるために、ドライバーに十分な情報提供が出来ない場合があった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、ドライバーが死角領域の状況をより確実に把握することが出来る車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、この仮想画像生成手段により生成された仮想画像を実画像撮像手段により撮像された実画像と共に表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成して表示するので、実画像撮像手段に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。
【０００８】
また、本発明において、好ましくは、実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する。
このように構成された本発明においては、遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、死角領域の情報を得ることが出来る。
【０００９】
また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００１０】
また、本発明において、好ましくは、さらに、実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する。
このように構成された本発明においては、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００１１】
また、本発明において、好ましくは、仮想画像生成手段は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成する。
このように構成された本発明においては、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００１２】
また、本発明において、好ましくは、さらに、移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、仮想画像生成手段は、移動体が移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。
このように構成された本発明においては、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。
【００１３】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第２の仮想画像として生成する第２仮想画像生成手段を有し、表示手段は、移動体の仮想画像と重畳してこの第２の仮想画像を表示する。
このように構成された本発明においては、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００１４】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第２の仮想画像として生成する第２仮想画像生成手段を有し、表示手段は、移動体の仮想画像とこの第２の仮想画像とを並べて表示する。
このように構成された本発明においては、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００１５】
また、本発明において、好ましくは、仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では実画像撮像手段により撮像された実画像を表示する。
このように構成された本発明においては、死角領域に過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を表示し、他の領域には実画像が表示されるので、ドライバーはより効果的に実画像撮像手段の死角領域の様子（例えば、道路構造や建物の存在など）を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。
【００１６】
また、本発明において、好ましくは、仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する。
このように構成された本発明においては、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。
【発明の効果】
【００１７】
本発明の車両用周囲監視装置によれば、ドライバーが死角領域の状況をより確実に把握することが出来る。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００１９】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００２０】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。また、車両１は、映像を保存することが可能な記憶装置１９を有している。
【００２１】
次に、図３により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図３は、本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図であり、図４は、本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
本発明の実施形態では、例えば図３に示すように、交差点に近づく車両Ｖ１からカメラにより他車両Ｖ３が検知されているが、さらに交差点に近づいた車両Ｖ２のカメラからは、視界を遮る遮蔽物Ａにより他車両Ｖ４が見えなくなってしまうとき、主に、検知されていた過去の他車両Ｖ３の記憶画像をもとに、車両Ｖ２のモニタ上に仮想画像として、車両Ｖ３の移動後の車両Ｖ４を仮想的に表示し、その際、遮蔽物Ａの一部を透過させて仮想画像として表示するようなものである。
【００２２】
次に、図４に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００２３】
撮像画像保存部３０では、画像補正部２４からの入力画像をＥＣＵ１８と共に設けられた記憶装置１９に保存する。
次に、移動体検出部３２では、撮像画像保存部３０で保存した記憶画像から、自車両に接近してくる四輪車などの移動体を検出する。具体的には、パターンマッチングで移動体の種類（四輪車や歩行者など）を検出すると共に、オプティカルフロー、背景差分、フレーム間差分処理などで、移動体の移動方向及び移動速度も検出する。本実施形態では、主に、交差点に進入する前の例えば、遮蔽物Ａ（図３参照）が無いようなときに撮像した画像から移動体を検出する。
【００２４】
移動体情報蓄積部３４では、移動体検出部３２で検出された移動体の位置、大きさ、速度及び方向データなどの情報を記憶装置１９に蓄積する。移動体位置推定部３６では、記憶装置１９に蓄積された移動体の各情報をもとに、その情報が蓄積された時間と現在の時間とにより、移動体の現在の位置及び見かけ上の大きさを推定する。
仮想画像作成部３８では、この推定された移動体の位置及び大きさで移動体の仮想画像を作成する。
【００２５】
一方、静止物検出部４０では、撮像画像保存部３０で保存した記憶画像から、画像処理により、本実施形態では、主に、交差点に進入する前の例えば、遮蔽物Ａ（図３参照）が無いようなときに撮像した画像から静止物を検出する。静止物情報蓄積部４２では、静止物検出部４０で検出された静止物の位置及び大きさなどの情報を記憶装置１９に蓄積する。仮想画像作成部３８では、この検出された静止物の位置及び大きさで静止物の仮想画像を作成する。
【００２６】
また、遮蔽物検出部４４では、画像補正部２４により得られた実画像内から、パターンマッチングなどの手法により、ガードレールや壁などのカメラの視界を遮る遮蔽物を検出する。また、遮蔽物画像作成判定部４６では、遮蔽物検出部４４により検出された遮蔽物の位置や大きさなどに基づいて、仮想画像を作成せず実画像をモニタ１４に写すか、仮想画像を実画像に重畳するかを判定する。
【００２７】
仮想画像作成部３８では、この検出された遮蔽物の位置を変更して表示したり、背後の移動体が見えるようにその一部が透過して表示したりするように、遮蔽物の仮想画像を作成する。
合成画像作成部２６では、上述したように仮想画像作成部３８で作成された各仮想画像を実画像と共に合成画像として作成する。
【００２８】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。ここで、図５により、頭出し位置について説明する。図５は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
図５に示すように、頭出し位置とは、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。なお、カメラだし位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。また、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。
【００２９】
頭出し位置判定部５０では、後述するように、車両が交差路内に頭出ししたことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８における仮想画像の作成或いは既存物の仮想表示を中止するように所定の信号を送り、モニタ１４での仮想画像の表示をしないようになっている。
【００３０】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、上述したランドマーク或いは既存物の仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００３１】
次に、図６により、ドライバーによる交差路進入時における運転行動を説明する。図６は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図５参照）に進む。本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させて、頭出し位置を通過後には、仮想画像の表示を中止する。その後、発進判断及び発進操作が行われる。
【００３２】
次に、図７により、本発明の実施形態による車両用周囲監視装置の制御の概要を説明する。図７は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。図７において、Ｓは各ステップを示す。
先ず、図７に示すように、Ｓ１において、画像取得部２２（図４参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ２において、画像補正部２４により、取得された広角画像の歪み補正を行う。Ｓ３において、撮影された画像は記憶装置１９に保存される。本実施形態では、Ｓ１乃至Ｓ３の処理により、交差点への進入以前から常にカメラ映像を取得すると共に記憶するようにしている。
【００３３】
次に、Ｓ４において、移動体検出部３２（図４参照）により、Ｓ１及びＳ２で取得された実画像から、移動体を検出する。このＳ４における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
【００３４】
Ｓ４において、移動体が検出されたときには、Ｓ５に進み、移動体検出部３２（図４参照）により、移動体の位置、大きさ、移動方向及び移動速度を算出し、Ｓ６において、移動体情報蓄積部３４（図４参照）により、Ｓ５で算出した移動体の位置、大きさ、移動方向及び移動速度を記憶装置１９に蓄積する。本実施形態では、Ｓ６において、自車両の交差点進入の所定時間前からの移動体情報のデータを時系列的に記憶する。例えば、時間に対する移動体の位置、大きさ及び移動方向のデータを蓄積する。移動体が検出されないときは、これらのＳ５及びＳ６の処理を行わない。
【００３５】
次に、Ｓ７において、静止物検出部４０により、Ｓ１及びＳ２で取得された実画像から、静止物を検出する。このＳ７における静止物の検出は、画像処理により行われる。Ｓ７において、静止物が検出されたときには、Ｓ８に進み、静止物検出部４０により、静止物の位置及び大きさを算出し、Ｓ９において、静止物情報蓄積部４２（図４参照）により、Ｓ８で算出した静止物の位置及び大きさを記憶装置１９に蓄積する。本実施形態では、Ｓ９において、自動車や歩行者などの本来は移動する静止物についてのデータは、自車両の交差点進入時の所定時間前から時系列的に蓄積する。標識や信号機などの静止物は常に蓄積する。静止物が検出されないときは、これらのＳ８及びＳ９の処理を行わない。
【００３６】
次に、Ｓ１０において、仮想画像処理実施判定部５２（図４参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ１１において、仮想画像処理実施判定部５２（図４参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３７】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ１２に進み、Ｓ１２において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ１３に進み、仮想画像処理実施判定部５２（図４参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ１４に進む。
【００３８】
Ｓ１４では、自車両が頭出し位置（図５参照）を通過したか否かを判定する。頭出し位置を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、Ｓ１５に進み、モニタ１４にＳ１及びＳ２で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、Ｓ１６に進み、死角視認用仮想画像表示処理を行う。
【００３９】
次に、図８により、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理の内容を説明する。図８は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。図８において、Ｓは各ステップを示す。
先ず、Ｓ２０において、移動体の蓄積データ或いは静止物の蓄積データが蓄積されているか否かを判定する。具体的には、交差点への進入前の所定時間内に、図７のＳ６において移動体情報が蓄積され、或いは、図７のＳ９で静止物情報が蓄積されているか否かを判定する。蓄積データが無い場合には死角視認用仮想画像の表示を行わない。
【００４０】
次に、蓄積データがある場合には、Ｓ２１に進み、移動体位置推定部３６（図４参照）により移動体の現在の位置を推定する。この推定された位置は、後述するように、仮想画像として表示されるが、Ｓ２１の処理を行わず、位置を推定せず、過去の位置そのままに表示して、移動体がどの位置にいるかは、ドライバーの判断に任せても良い。この場合、例えば、移動体に移動方向及び速度を表すようなベクトル表示を付けても良い。次に、Ｓ２２に進み、静止物情報蓄積部４２により蓄積された静止物の位置データを取得する。
【００４１】
次に、Ｓ２３において、左右のカメラ２、６の視野内に、視野を遮るような遮蔽物が存在するか否かを判定する。例えば、所定の近距離内に見通しを遮るものを遮蔽物として判定する。例えば、図９に示すように、交差点が直交していない場合には、右側のカメラ６の視野内には、遮蔽物は無いが、実際にドライバーから見れば、他車両Ｖが見えないことになる。
【００４２】
このような場合には、Ｓ２４に進み、移動体又は静止物の位置が補完位置にあるか否かを判定する。ここで、補完位置とは、図９に示すようにカメラの視野内に遮蔽物は無いが、カメラからもドライバーからも見えない部分に移動体又は静止物がある場合をいう。図９では、そのような補完位置を、補完画像領域として図示している。
【００４３】
補完位置に移動体或いは静止物がある場合には、Ｓ２５に進み、カメラにより実際に取得した実画像と、補完画像とを並列して表示する。この補完画像とは、移動体蓄積データや静止物蓄積データから特定される過去の移動体や静止物の情報を仮想画像として表示するものである。
【００４４】
例えば、図９に示すような場合には、図１０に示すように、合成画像作成部２６（図４参照）により、左側をカメラにより実際に取得した実画像を表示し、右側に、遮蔽物Ａ（図９参照）の仮想画像Ａｖ、標識Ｂ（図９参照）の仮想画像Ｂｖ、及び、移動体である他車両Ｖ（図９参照）の仮想画像Ｖｖというような仮想画像を表示するような画像を作成して、モニタ１４に表示する。これにより、カメラから見てもドライバーから見ても死角となるような領域の様子を、過去のデータを使用することにより把握することが出来る。なお、移動体については、Ｓ２１で推定した移動体の現在の位置に表示するのが良い。
【００４５】
次に、Ｓ２３において、左右のカメラ２、６の視野内に、視野を遮るような遮蔽物が存在すると判定された場合、例えば、図１１のように現在の車両位置から見てカメラの視野内に遮蔽物Ａが存在する場合には、Ｓ２６に進み、移動体又は静止物の位置が遮蔽物の後方に位置しているか否かを判定する。後方に位置していない場合には、Ｓ２４に進み、上述したような処理を行う。
【００４６】
移動体又は静止物の位置が遮蔽物の後方に位置していると判定された場合には、Ｓ２７に進み、合成画像作成部２６（図４参照）により、移動体又は静止物の仮想画像と取得された実画像との合成画像を作成してモニタ１４に表示する。移動体については、過去の情報から過去の位置そのままに表示しても良いし、Ｓ２１で推定した移動体の現在の位置に表示しても良い。静止物については、過去に蓄積された位置に表示する。過去とは、交差点に進入する直前の時と、以前通った時の両方を含む。なお、移動体については、過去とは、交差点に進入する直前の時を表す。
【００４７】
Ｓ２７においては、例えば、図１２に示すように、遮蔽物Ａの一部分、即ち、後方に移動体や静止物が見えるべき部分を半透明にした仮想画像の遮蔽物Ａｖを表示し、その部分の後方に過去の情報から得られた仮想画像の移動体Ｖｖを表示する。また、図１３に示すように、遮蔽物Ａｖの全体を側方にずらして表示し、過去の情報から得られた移動体Ｖｖがはっきり視認出来るようにしても良い。
【００４８】
次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視するようになっており、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、このカメラ２、４、６により撮像された実画像を記憶装置１９に記憶し、カメラ２、４、６の死角領域の画像をカメラ２、４、６により記憶された過去の実画像から仮想画像作成部（仮想画像生成手段）３８により仮想画像として生成し、この生成された仮想画像をカメラ２、４、６により撮像された実画像と共にモニタ１４に表示する。このように構成された本発明の実施形態においては、カメラ２、４、６の死角領域の画像を記憶された過去の実画像から仮想画像として生成して表示するので、カメラ２、４、６に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。
【００４９】
ここで、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、車両が交差路に差し掛かるとき、車両の前方端に設けられたカメラ２、４、６がその車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００５０】
また、本実施形態によれば、カメラ２，４、６により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を遮蔽物検出部４４により検出し、遮蔽物が検出されたとき、仮想画像作成部３８は、その遮蔽物の向こう側の領域の画像を記憶手段１９により記憶された過去の実画像から仮想画像として生成する。従って、遮蔽物の向こう側の領域の画像を、記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、ドライバーは死角領域の情報を得ることが出来る。
【００５１】
また、本実施形態によれば、移動体検出部３２が、記憶装置１９により記憶された実画像内から移動体を検出し、仮想画像作成部３８は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、合成画像作成部２６は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を実画像に重畳して、モニタ１４に表示する。従って、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００５２】
また、本実施形態によれば、仮想画像作成部３８は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成するので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
【００５３】
また、本実施形態によれば、移動体検出部３２により移動体の移動状態を検出し、移動体位置推定部３６により現在の時点における移動体の位置及び大きさを推定し、仮想画像作成部３８は、移動体が、移動体位置推定部３６により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。従って、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。
【００５４】
また、本実施形態によれば、仮想画像作成部３８は、カメラ２、４、６により撮像された実画像内の遮蔽物をその向こう側が見えるように透過させ、合成画像作成部２６では、移動体の仮想画像と重畳して、モニタ１４にこの仮想画像を表示する。従って、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００５５】
また、本実施形態によれば、仮想画像作成部３８は、カメラ２、４、６により撮像された実画像内の遮蔽物をその向こう側が見えるように本来の位置からずらした位置に仮想画像として生成し、合成画像作成部２６では、移動体の仮想画像とこの仮想画像とを並べてモニタ１４に表示する。従って、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
【００５６】
仮想画像作成部３８は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像が表示され、他の領域では実画像撮像手段により撮像された実画像が表示される。従って、ドライバーはより効果的に実画像撮像手段の死角領域の様子（例えば、道路構造や建物の存在など）を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。
【００５７】
仮想画像作成部３８は、以前に車両が通過した時点の静止物を過去画像として生成するので、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。
【００５８】
なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図である。
【図４】本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
【図５】図５は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図６】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図７】本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。
【図８】本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。
【図９】本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。
【図１０】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び補完画像のパノラマ画像の一例である。
【図１１】本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。
【図１２】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。
【図１３】本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。
【符号の説明】
【００６０】
１ 車両
２、４、６ 監視カメラ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１８ ＥＣＵ
１９ 記憶装置
【特許請求の範囲】
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、
上記実画像撮像手段の死角領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、
この仮想画像生成手段により生成された仮想画像を上記実画像撮像手段により撮像された実画像と共に表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、
上記仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する請求項１に記載の車両用周囲監視装置。
【請求項３】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
さらに、上記実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、
上記仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、
上記表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像生成手段は、上記移動体が遮蔽物に遮蔽される直前の位置で表示されるように上記移動体の仮想画像を生成する請求項４に記載の車両用周囲監視装置。
【請求項６】
さらに、上記移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、
上記仮想画像生成手段は、上記移動体が上記移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する請求項４に記載の車両用周囲監視装置。
【請求項７】
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第２の仮想画像として生成する第２仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像と重畳してこの第２の仮想画像を表示する請求項３乃至６のいずれか１項に記載の車両用周囲監視装置。
【請求項８】
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第２の仮想画像として生成する第２仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像とこの第２の仮想画像とを並べて表示する請求項３乃至６のいずれか１項に記載の車両用周囲監視装置。
【請求項９】
上記仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では上記実画像撮像手段により撮像された実画像を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項１０】
上記仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する請求項９に記載の車両用周囲監視装置。
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、
上記実画像撮像手段の死角領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、
この仮想画像生成手段により生成された仮想画像を上記実画像撮像手段により撮像された実画像と共に表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、
上記仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する請求項１に記載の車両用周囲監視装置。
【請求項３】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
さらに、上記実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、
上記仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、
上記表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像生成手段は、上記移動体が遮蔽物に遮蔽される直前の位置で表示されるように上記移動体の仮想画像を生成する請求項４に記載の車両用周囲監視装置。
【請求項６】
さらに、上記移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、
上記仮想画像生成手段は、上記移動体が上記移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する請求項４に記載の車両用周囲監視装置。
【請求項７】
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第２の仮想画像として生成する第２仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像と重畳してこの第２の仮想画像を表示する請求項３乃至６のいずれか１項に記載の車両用周囲監視装置。
【請求項８】
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第２の仮想画像として生成する第２仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像とこの第２の仮想画像とを並べて表示する請求項３乃至６のいずれか１項に記載の車両用周囲監視装置。
【請求項９】
上記仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では上記実画像撮像手段により撮像された実画像を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項１０】
上記仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する請求項９に記載の車両用周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２３１９３７（Ｐ２００９−２３１９３７Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１８７０（Ｐ２００８−７１８７０）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]