車両用周囲監視装置
【課題】死角領域の画像内の物体の自車両からの距離を把握し易い車両用周囲監視装置を提供する。
【解決手段】本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視し、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段２、４、６と、所定の実物体の画像を仮想画像として取得する仮想画像取得手段３８と、撮像された死角領域の実画像内において、取得された実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさを規定する仮想画像規定手段３４、４２、３６と、仮想画像を仮想画像規定手段により規定される位置及び大きさで実画像に重畳して表示する表示手段２６、１４と、を有する。
【解決手段】本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視し、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段２、４、６と、所定の実物体の画像を仮想画像として取得する仮想画像取得手段３８と、撮像された死角領域の実画像内において、取得された実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさを規定する仮想画像規定手段３４、４２、３６と、仮想画像を仮想画像規定手段により規定される位置及び大きさで実画像に重畳して表示する表示手段２６、１４と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものである。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、例えば左右方向から接近してくる車両や何らかの障害物がある場合などに、どの程度の距離に存在する車両或いは障害物であるのかが直感的に分かりにくいものであった。即ち、運転者とカメラの焦点距離の違いによってモニタに表示される物体の大きさは目視と大きく異なり、さらに、モニタの画面の大きさに制限があることも理由として挙げられる。このため、モニタの画像から所定の物体までの距離を把握するには、運転者は、モニタ画像から距離感を把握することを事前学習して慣れるしかなかった。このように、従来は、死角画像内の物体の距離を直感的に把握することが難しかった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の物体の自車両からの距離を把握し易い車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、所定の実物体の画像を仮想画像として取得する仮想画像取得手段と、上記実映像撮像手段により撮像された上記死角領域の実画像内において、上記仮想画像取得手段により取得された上記実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように上記実物体の仮想画像の大きさを規定する仮想画像規定手段と、上記仮想画像を上記仮想画像規定手段により規定される位置及び大きさで上記実画像に重畳して表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、仮想画像取得手段により取得された実物体の仮想画像を表示する位置が規定され、その表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさが規定されるので、ドライバーが死角領域の映像内の距離感を容易に把握することが出来る。
【０００８】
また、本発明において、好ましくは、上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、上記実画像撮像手段は、車両の前方端に設けられ車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、衝突事故の多発する交差点の左右交差路の距離感を把握して、衝突事故をより確実に防ぐことが出来る。
【０００９】
また、本発明において、好ましくは、さらに、大きさ既知の実物体の画像を記憶している実物体画像記憶手段を有し、上記仮想画像取得手段は、上記所定の実物体として上記実物体画像記憶手段に記憶されている実物体の画像をその仮想画像として取得し、上記表示手段は、その仮想画像を表示する。
このように構成された本発明においては、大きさ既知の実物体の画像が表示されるので、その実物体と実画像とを比較することにより距離感を精度良く把握することが出来る。
【００１０】
また、本発明において、好ましくは、上記所定の実物体は、ドライバーの視野内にある実物体であり、上記仮想画像取得手段は、このドライバーの視野内にある実物体を抽出して上記仮想画像として取得する。
このように構成された本発明においては、ドライバーの視野内にある実物体が、仮想画像として死角領域の実画像に重畳されるので、距離感を精度良く把握することが出来る。
【００１１】
また、本発明において、好ましくは、上記仮想画像規定手段は、上記実物体の仮想画像が上記ドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置を規定する。
このように構成された本発明においては、ドライバーの視野内にある実物体が、仮想画像として、同じ距離に同じ大きさで死角領域の実画像に重畳されるので、距離感をより精度良く把握することが出来る。
【００１２】
また、本発明において、好ましくは、さらに、上記実画像撮像手段により撮像された実画像内に移動体の存在を検出する移動体検出手段と、この移動体検出手段により移動体が検出されないときには上記表示手段による上記仮想画像の表示を禁止する表示禁止手段と、を有する。
このように構成された本発明においては、表示手段による表示が実画像のみとなるので、移動体が無いことを容易に把握することが出来る。また、移動体がない場合の処理負担が軽減される。
【００１３】
また、本発明において、好ましくは、上記仮想画像規定手段は、上記実物体の仮想画像を上記移動体に隣接する路端側に表示するように上記実物体の仮想画像の位置を規定する。
このように構成された本発明においては、実物体の仮想画像が移動体に隣接する路端側に表示されるので、移動体までの距離感を精度良く把握することが出来る。
【００１４】
また、本発明において、好ましくは、さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、上記表示手段は、自車両が上記頭出し位置に達したとき、上記実物体の仮想画像の表示形態を変更する。
このように構成された本発明においては、例えば、表示を点滅させるなどして、ドライバー自身が目視で左右の道路状況を見渡せることが出来るようになったことを知ることが出来る。
【発明の効果】
【００１５】
本発明の車両用周囲監視装置によれば、死角領域の画像内の物体の自車両からの距離を把握し易い。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００１７】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００１８】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。
【００１９】
次に、図３により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図３は、本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
図３に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。
【００２０】
この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
また、移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【００２１】
また、ランドマーク検出部３２では、後述するように、ドライバーの視野内にあるランドマーク（実物体）を検出する。即ち、画像補正部２４からの入力画像内に存在するランドマーク、例えば、道路の周辺に存在する静止物である電信柱や街路樹や標識などのうち、ドライバーの視野内にあるランドマークを検出する。
【００２２】
検出されたランドマークは、距離把握用仮想画像として、ランドマーク表示位置算出部３４により、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））のどの位置に表示するかが決定される。
次に、実物体大きさ変換部３６で、検出されたランドマークを、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））内に、仮想画像として、どの程度の大きさで表示するかが決定される。
【００２３】
ここで、ランドマーク表示位置算出部３４における「位置」とは、ドライバーの視野外である死角領域内でのいずれかの位置であり、ドライバーの視野内にあるランドマークを、ドライバーの視野外の位置で移動体の近くに後述するように仮想映像としてモニタ１４に表示することにより、ドライバーにとって移動体がどのような位置にあるかの目安とするものである。そして、実物体大きさ変換部３６において、その位置にあるとすればどの程度の大きさに見えるかを判断して、その大きさを決定し、ランドマークの大きさを変換するので、ドライバーにとって移動体がどのような位置にあるかの距離感をより直感的に分かるようにすることが出来る。
【００２４】
そして、仮想画像作成部３８で、そのようなランドマークの仮想画像を作成し、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳して表示する。
ランドマーク検出部３２でランドマークが検出されない場合には、既に大きさが分かっている既存物（実物体）、例えば、電信柱や樹木や街路樹や標識などの情報蓄積部４０から、既存物表示位置算出部４２にそれらのデータを送り、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））のどの位置に表示するかが決定される。
次に、上述したように実物体大きさ変換部３６で、既存物を、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））内に、距離把握用仮想画像として、どの程度の大きさで表示するかが決定される。
【００２５】
ここで、上述したランドマークの場合と同様に、既存物表示位置算出部４２における「位置」とは、ドライバーの視野外である死角領域内でのいずれかの位置であり、既に大きさが分かっている既存物を、ドライバーの視野外の位置で移動体の近くに後述するように仮想映像としてモニタ１４に表示することにより、ドライバーにとって移動体がどのような位置にあるかの目安とするものである。そして、ランドマークと同様に、実物体大きさ変換部３６において、その位置にあるとすればどの程度の大きさに見えるかを判断して、その大きさを決定し、既存物の大きさを変換するので、ドライバーにとって移動体がどのような位置にあるかの距離感をより直感的に分かるようにすることが出来る。
【００２６】
そして、仮想画像作成部３８で、そのような既存物の仮想画像を既存物情報蓄積部４０から情報を得て作成し、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳して表示する。
【００２７】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。ここで、図４により、頭出し位置について説明する。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
図４に示すように、頭出し位置とは、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。なお、カメラだし位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。また、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。
【００２８】
頭出し位置判定部５０では、後述するように、車両が交差路内に頭出ししたことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８におけるランドマーク或いは既存物の仮想表示を中止するように、所定の信号を送るようになっている。
【００２９】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、上述したランドマーク或いは既存物の仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００３０】
次に、図５により、ドライバーによる交差路進入時における運転行動を説明する。図５は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間にランドマーク或いは既存物の仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させて、頭出し位置を通過後には、仮想画像の表示を中止する。その後、発進判断及び発進操作が行われる。
【００３１】
次に、図６、図７及び図８により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図６は、本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートであり、図７は、本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲、ランドマーク及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図９は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図１０は、本発明の実施形態による車両用周囲監視装置の仮想映像の大きさ変換の処理内容を示すフローチャートである。図６乃至図８において、Ｓは各ステップを示す。
【００３２】
先ず、図６により、距離把握用仮想画像の表示処理をする判定条件について説明する。
図６に示すように、Ｓ１において、仮想画像処理実施判定部５２（図３参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、仮想画像処理実施判定部５２（図３参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３３】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、Ｓ３において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ４に進み、仮想画像処理実施判定部５２（図３参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ５の、距離把握用仮想画像表示処理に進む。上述したＳ１において交差点近傍ではなく、Ｓ２において車速がＶ１以上であり、Ｓ４において車速がＶ２以上である、とそれぞれ判定された場合には、Ｓ５の距離把握用仮想画像表示処理には進まない。
【００３４】
次に、図７により、距離把握用仮想画像表示処理の内容を説明する。
図７に示すように、先ず、Ｓ１１において、画像取得部２２（図３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。Ｓ１３において、撮影された画像は、メモリ（図示せず）に一時的に保存される。
【００３５】
次に、Ｓ１４において、ＥＣＵ１８では、Ｓ１１及びＳ１２で取得された実画像から、移動体を検出する。このＳ１４における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。移動体が検出されないときは、Ｓ１５に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図３参照）に入力されるＳ１１及びＳ１２で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００３６】
Ｓ１４において、移動体が検出されたときには、Ｓ１６に進み、ＥＣＵ１８により、Ｓ１１及びＳ１２で取得された実画像を画像処理することにより道路構造の認識を行う。道路構造とは、路肩や歩道などである。この道路構造の認識は、後述するようにランドマークや既存物の仮想画像を移動体の側に表示するときに、例えば、路肩や歩道など、どの位置に仮想画像を表示するかを決定するためのものである。
【００３７】
次に、Ｓ１７に進み、ランドマーク検出部３２（図３参照）により、ドライバーの視野範囲の特定を行う。このＳ１７では、Ｓ１１及びＳ１２で取得された実画像の範囲内において予め決められた範囲をドライバーの視認可能な範囲として特定する。なお、アイカメラなどによりドライバーの視野を特定するようにしても良い。
【００３８】
次に、Ｓ１８に進み、ランドマーク検出部３２（図３参照）により、Ｓ１７で特定されたドライバーの視野内にランドマークが検出されるか否かを判定する。ランドマークは、例えば、電柱や街路樹や標識などである。このランドマークの検出は、画像パターンマッチング、立体モデルマッチングなどの手法で行われる。
図８及び図９に一例を示すように、例えば、図８（ａ）では、ドライバーの視野内にランドマークとなる電柱６０が存在するが、図９（ａ）では、ドライバーの視野内にランドマークとなるものが存在していない。なお、図８（ａ）及び図９（ａ）に示すように、ドライバーの死角領域に移動体である他車両８０が存在している。
【００３９】
Ｓ１８において、図９（ａ）に示すように、ドライバーの視野内にランドマークが検出されなかったときは、Ｓ１９に進み、既存物情報蓄積部４０から、大きさ既知の既存物の映像を取得する。
一方、Ｓ１８において、図８（ａ）に示すように、ドライバーの視野内にランドマークが検出されたときは、Ｓ２０に進み、ランドマーク検出部３２（図３参照）により、ランドマークそれ自体の映像を取得する。
【００４０】
次に、Ｓ１９或いはＳ２０からＳ２１に進み、既存物表示位置算出部４２（図３参照）或いはランドマーク表示位置算出部３４により、実物体（既存物、ランドマーク）の表示位置を規定する。これは、具体的には、Ｓ１４で検出された移動体の側方を表示位置として規定する。
ここでは、先ず、レーザレーダ、ミリ波又はカメラ画像より、自車両から移動体（他車両８０（図８（ａ）、図９（ａ）参照））までの距離Ｌ１を測定する。そして、その距離Ｌ１に存在する移動体の側方、例えば、路肩や歩道の距離Ｌ１の位置を表示位置として規定する。カメラ画像から距離を検出する場合は、移動体の接地位置の画像中の高さから距離を求めるようにすると良い。
【００４１】
後述するが、例えば、ランドマークの場合は、図８（ｂ）に示すように、モニタ１４には、距離Ｌ１の歩道上の位置に仮想画像による電柱のランドマーク６０ｖが表示され、既存物の場合は、図９（ｂ）に示すように、モニタ１４には、距離Ｌ１の歩道上の位置に仮想画像による街路樹の既存物７０ｖが表示されるようになっている。なお、図９（ｂ）に示すように、モニタ１４に、ランドマークや既存物の仮想画像と共に、移動体までの距離感を得るために街路樹７２ｖや電柱などを遠近感をもたせて複数表示するようにしても良い。
【００４２】
次に、Ｓ２２に進み、Ｓ２１で規定した表示位置に合わせて仮想画像の大きさを規定する。このＳ２２における処理を図１０により説明する。
先ず、Ｓ３０において、ＥＣＵ１８は、ランドマークを表示するか否かを判定する。例えば、Ｓ２０のステップが行われた場合にはランドマークを表示するものとし、一方、Ｓ１９のステップが行われた場合にはランドマークを表示しないものとする。
【００４３】
ランドマーク表示を行う場合には、Ｓ３１に進み、ＥＣＵ１８は、自車両からランドマークまでの距離Ｌ２を検出する。この距離Ｌ２の検出は上述した距離Ｌ１の検出と同様に行うことが出来る。
次に、Ｓ３２に進み、ランドマークの仮想画像の大きさＴＬを規定する。ここでは、移動体までの上述した距離Ｌ１と、所定の固定値である係数ｋと、Ｓ３１で検出した距離Ｌ２とにより、式、ＴＬ＝ｋ×（Ｌ２／Ｌ１）、により、ランドマークの仮想画像の大きさＴＬを算出する。
【００４４】
一方、ランドマーク表示を行わない場合には、Ｓ３３に進み、既存物の仮想画像の大きさＴＧを規定する。ここでは、移動体までの上述した距離Ｌ１と、所定の固定値である係数ｋと、予め定められた既存物表示基準距離Ｌ０とにより、式、ＴＧ＝ｋ×（Ｌ０／Ｌ１）、により、既存物の仮想画像の大きさＴＧを規定する。
【００４５】
そして、再び図７に示すように、Ｓ２３において、Ｓ２１で規定された実物体（ランドマーク、既存物）の位置と、Ｓ２２で規定された実物体（ランドマーク、既存物）の大きさと、により、合成画像作成部２６（図３参照）は、移動体に隣接する位置に実物体の仮想画像として、電柱６０ｖ（図８（ｂ）参照）や街路樹７０ｖ（図９（ｂ）参照）を実画像に重畳して表示する。
【００４６】
次に、Ｓ２４に進み、頭出し位置判定部（図３参照）５０により、頭出し位置（図４参照）を判定する。頭出し位置を判定するには、いくつか手法がある。例えば、ＧＰＳ装置１２により得られる自車両の位置とナビゲーション装置１３の地図データから判定する手法、カメラ２、４、６により得られる停止線の位置と、移動距離センサ（図示せず）による移動距離から、停止線からどれだけ移動したかで判定する手法、左右のカメラ２、６による映像から、左右の見通し具合が良くなるとき（近距離に見通しを遮断するものがないとき）が頭出し位置と判定する手法、カメラ２、４、６により得られる停止線の位置及び交差点周囲の画像により判定する手法などである。
【００４７】
次に、Ｓ２５に進み、頭出し位置判定部５０（図３参照）により、自車両が頭出しをしているか否かを判定する。頭出しをしているときには、Ｓ２６に進み、合成画像作成部２６（図３参照）により、Ｓ２３で表示で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。仮想画像の点滅により、ドライバーは、モニタ１４による表示ではなくドライバー自身で目視が可能であることや、実際に目視で見えるものと異なるものであることを知ることが出来る。一方、頭出しをしていないときには、Ｓ２３による仮想画像と実画像との表示を続ける。
【００４８】
次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視するために、監視カメラ２、６が死角領域の実画像を撮像するように車両１の前方部に設けられ、ランドマーク検出部３２或いは既存物情報蓄積部４０によって所定の実物体（ランドマーク、既存物）の画像が仮想画像として取得され、ランドマーク表示位置算出部３４或いは既存物表示位置算出部４２によって、監視カメラ２、６により撮像された死角領域の実画像内でランドマーク検出部３２或いは既存物情報蓄積部４０により取得された実物体の仮想画像を表示する位置が規定され、表示位置に応じた実物体大きさ変換部３６により、ランドマーク表示位置算出部３４或いは既存物表示位置算出部４２によって規定された表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさが規定され、仮想画像作成部３８、合成画像作成部２６及びモニタ１４により、上述した規定された仮想画像が、規定された位置及び大きさで実画像に重畳して表示される。従って、ドライバーが死角領域の映像内の距離感を容易に把握することが出来る。
【００４９】
また、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、監視カメラ２、６は、車両１の前方端に設けられ車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、衝突事故の多発する交差点の左右交差路の距離感を把握して、衝突事故をより確実に防ぐことが出来る。
また、既存物情報蓄積部４０は、大きさ既知の実物体の画像を記憶しており、所定の実物体として既存物情報蓄積部４０に記憶されている実物体の画像をその仮想画像が取得され、モニタ上に表示されるので、その実物体と実画像とを比較することにより距離感を精度良く把握することが出来る。
【００５０】
また、所定の実物体は、ドライバーの視野内にある実物体であり、このドライバーの視野内にある実物体が抽出されて仮想画像として取得されるので、ドライバーの視野内にある実物体が仮想画像として死角領域の実画像に重畳されて、距離感を精度良く把握することが出来る。
また、実物体の仮想画像がドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置が規定されるので、距離感をより精度良く把握することが出来る。
【００５１】
また、移動物検出部３０が、監視カメラ２、６により撮像された実画像内に移動体の存在を検出し、移動体が検出されないときにはモニタ上への表示が禁止されるので、表示が実画像のみとなり、移動体が無いことを容易に把握することが出来る。また、移動体がない場合の処理負担が軽減される。
また、実物体の仮想画像が移動体に隣接する路側に表示されるので、移動体までの距離感を精度良く把握することが出来る。
【００５２】
また、頭出し位置判定部５０が、交差点においてドライバーの見通しが良くなる頭出し位置を算出し、自車両が頭出し位置に達したとき、仮想画像作成部３８、合成画像作成部２６及びモニタ１４による実物体の仮想画像の表示形態を変更する、本実施形態では、点滅するので、ドライバー自身が目視で左右の道路状況を見渡せることが出来るようになったことを知ることが出来る。なお、表示形態の変更は、色を変えたり、濃度を変えるなどの他の態様も可能である。
【００５３】
なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
【図４】自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図５】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図６】本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
【図７】本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図８】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲、ランドマーク及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図９】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１０】本発明の実施形態による車両用周囲監視装置の仮想映像の大きさ変換の処理内容を示すフローチャートである。
【符号の説明】
【００５５】
１ 車両
２、４、６ 監視カメラ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１８ ＥＣＵ
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものである。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、例えば左右方向から接近してくる車両や何らかの障害物がある場合などに、どの程度の距離に存在する車両或いは障害物であるのかが直感的に分かりにくいものであった。即ち、運転者とカメラの焦点距離の違いによってモニタに表示される物体の大きさは目視と大きく異なり、さらに、モニタの画面の大きさに制限があることも理由として挙げられる。このため、モニタの画像から所定の物体までの距離を把握するには、運転者は、モニタ画像から距離感を把握することを事前学習して慣れるしかなかった。このように、従来は、死角画像内の物体の距離を直感的に把握することが難しかった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の物体の自車両からの距離を把握し易い車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、所定の実物体の画像を仮想画像として取得する仮想画像取得手段と、上記実映像撮像手段により撮像された上記死角領域の実画像内において、上記仮想画像取得手段により取得された上記実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように上記実物体の仮想画像の大きさを規定する仮想画像規定手段と、上記仮想画像を上記仮想画像規定手段により規定される位置及び大きさで上記実画像に重畳して表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、仮想画像取得手段により取得された実物体の仮想画像を表示する位置が規定され、その表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさが規定されるので、ドライバーが死角領域の映像内の距離感を容易に把握することが出来る。
【０００８】
また、本発明において、好ましくは、上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、上記実画像撮像手段は、車両の前方端に設けられ車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、衝突事故の多発する交差点の左右交差路の距離感を把握して、衝突事故をより確実に防ぐことが出来る。
【０００９】
また、本発明において、好ましくは、さらに、大きさ既知の実物体の画像を記憶している実物体画像記憶手段を有し、上記仮想画像取得手段は、上記所定の実物体として上記実物体画像記憶手段に記憶されている実物体の画像をその仮想画像として取得し、上記表示手段は、その仮想画像を表示する。
このように構成された本発明においては、大きさ既知の実物体の画像が表示されるので、その実物体と実画像とを比較することにより距離感を精度良く把握することが出来る。
【００１０】
また、本発明において、好ましくは、上記所定の実物体は、ドライバーの視野内にある実物体であり、上記仮想画像取得手段は、このドライバーの視野内にある実物体を抽出して上記仮想画像として取得する。
このように構成された本発明においては、ドライバーの視野内にある実物体が、仮想画像として死角領域の実画像に重畳されるので、距離感を精度良く把握することが出来る。
【００１１】
また、本発明において、好ましくは、上記仮想画像規定手段は、上記実物体の仮想画像が上記ドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置を規定する。
このように構成された本発明においては、ドライバーの視野内にある実物体が、仮想画像として、同じ距離に同じ大きさで死角領域の実画像に重畳されるので、距離感をより精度良く把握することが出来る。
【００１２】
また、本発明において、好ましくは、さらに、上記実画像撮像手段により撮像された実画像内に移動体の存在を検出する移動体検出手段と、この移動体検出手段により移動体が検出されないときには上記表示手段による上記仮想画像の表示を禁止する表示禁止手段と、を有する。
このように構成された本発明においては、表示手段による表示が実画像のみとなるので、移動体が無いことを容易に把握することが出来る。また、移動体がない場合の処理負担が軽減される。
【００１３】
また、本発明において、好ましくは、上記仮想画像規定手段は、上記実物体の仮想画像を上記移動体に隣接する路端側に表示するように上記実物体の仮想画像の位置を規定する。
このように構成された本発明においては、実物体の仮想画像が移動体に隣接する路端側に表示されるので、移動体までの距離感を精度良く把握することが出来る。
【００１４】
また、本発明において、好ましくは、さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、上記表示手段は、自車両が上記頭出し位置に達したとき、上記実物体の仮想画像の表示形態を変更する。
このように構成された本発明においては、例えば、表示を点滅させるなどして、ドライバー自身が目視で左右の道路状況を見渡せることが出来るようになったことを知ることが出来る。
【発明の効果】
【００１５】
本発明の車両用周囲監視装置によれば、死角領域の画像内の物体の自車両からの距離を把握し易い。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００１７】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００１８】
また、車両１は、車速センサ１０、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。
【００１９】
次に、図３により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図３は、本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
図３に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。
【００２０】
この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
また、移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車などが存在するか否かを検出する。移動体が存在しない場合には、合成画像作成部２６で後述する仮想画像を表示しないので、それを指示する信号を合成画像作成部２６に送り、移動体が存在する場合には合成画像作成部２６で後述する仮想画像を表示するので、移動体が存在することを指示する信号を合成画像作成部２６に送る。
【００２１】
また、ランドマーク検出部３２では、後述するように、ドライバーの視野内にあるランドマーク（実物体）を検出する。即ち、画像補正部２４からの入力画像内に存在するランドマーク、例えば、道路の周辺に存在する静止物である電信柱や街路樹や標識などのうち、ドライバーの視野内にあるランドマークを検出する。
【００２２】
検出されたランドマークは、距離把握用仮想画像として、ランドマーク表示位置算出部３４により、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））のどの位置に表示するかが決定される。
次に、実物体大きさ変換部３６で、検出されたランドマークを、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））内に、仮想画像として、どの程度の大きさで表示するかが決定される。
【００２３】
ここで、ランドマーク表示位置算出部３４における「位置」とは、ドライバーの視野外である死角領域内でのいずれかの位置であり、ドライバーの視野内にあるランドマークを、ドライバーの視野外の位置で移動体の近くに後述するように仮想映像としてモニタ１４に表示することにより、ドライバーにとって移動体がどのような位置にあるかの目安とするものである。そして、実物体大きさ変換部３６において、その位置にあるとすればどの程度の大きさに見えるかを判断して、その大きさを決定し、ランドマークの大きさを変換するので、ドライバーにとって移動体がどのような位置にあるかの距離感をより直感的に分かるようにすることが出来る。
【００２４】
そして、仮想画像作成部３８で、そのようなランドマークの仮想画像を作成し、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳して表示する。
ランドマーク検出部３２でランドマークが検出されない場合には、既に大きさが分かっている既存物（実物体）、例えば、電信柱や樹木や街路樹や標識などの情報蓄積部４０から、既存物表示位置算出部４２にそれらのデータを送り、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））のどの位置に表示するかが決定される。
次に、上述したように実物体大きさ変換部３６で、既存物を、各カメラ２、４、６から得られる画像（例えば、図２（ｂ））内に、距離把握用仮想画像として、どの程度の大きさで表示するかが決定される。
【００２５】
ここで、上述したランドマークの場合と同様に、既存物表示位置算出部４２における「位置」とは、ドライバーの視野外である死角領域内でのいずれかの位置であり、既に大きさが分かっている既存物を、ドライバーの視野外の位置で移動体の近くに後述するように仮想映像としてモニタ１４に表示することにより、ドライバーにとって移動体がどのような位置にあるかの目安とするものである。そして、ランドマークと同様に、実物体大きさ変換部３６において、その位置にあるとすればどの程度の大きさに見えるかを判断して、その大きさを決定し、既存物の大きさを変換するので、ドライバーにとって移動体がどのような位置にあるかの距離感をより直感的に分かるようにすることが出来る。
【００２６】
そして、仮想画像作成部３８で、そのような既存物の仮想画像を既存物情報蓄積部４０から情報を得て作成し、合成画像作成部２６で、各カメラ２、４、６で得られる実画像に重畳して表示する。
【００２７】
次に、ＥＣＵ１８内には、頭出し位置判定部５０が存在する。ここで、図４により、頭出し位置について説明する。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
図４に示すように、頭出し位置とは、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。なお、カメラだし位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。また、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。
【００２８】
頭出し位置判定部５０では、後述するように、車両が交差路内に頭出ししたことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３８におけるランドマーク或いは既存物の仮想表示を中止するように、所定の信号を送るようになっている。
【００２９】
また、ＥＣＵ１８には、仮想画像処理実施判定部５２が存在する。この仮想画像処理実施判定部５２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、上述したランドマーク或いは既存物の仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００３０】
次に、図５により、ドライバーによる交差路進入時における運転行動を説明する。図５は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間にランドマーク或いは既存物の仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させて、頭出し位置を通過後には、仮想画像の表示を中止する。その後、発進判断及び発進操作が行われる。
【００３１】
次に、図６、図７及び図８により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図６は、本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートであり、図７は、本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲、ランドマーク及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図９は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図１０は、本発明の実施形態による車両用周囲監視装置の仮想映像の大きさ変換の処理内容を示すフローチャートである。図６乃至図８において、Ｓは各ステップを示す。
【００３２】
先ず、図６により、距離把握用仮想画像の表示処理をする判定条件について説明する。
図６に示すように、Ｓ１において、仮想画像処理実施判定部５２（図３参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、仮想画像処理実施判定部５２（図３参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３３】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、Ｓ３において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ４に進み、仮想画像処理実施判定部５２（図３参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ５の、距離把握用仮想画像表示処理に進む。上述したＳ１において交差点近傍ではなく、Ｓ２において車速がＶ１以上であり、Ｓ４において車速がＶ２以上である、とそれぞれ判定された場合には、Ｓ５の距離把握用仮想画像表示処理には進まない。
【００３４】
次に、図７により、距離把握用仮想画像表示処理の内容を説明する。
図７に示すように、先ず、Ｓ１１において、画像取得部２２（図３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。Ｓ１３において、撮影された画像は、メモリ（図示せず）に一時的に保存される。
【００３５】
次に、Ｓ１４において、ＥＣＵ１８では、Ｓ１１及びＳ１２で取得された実画像から、移動体を検出する。このＳ１４における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。移動体が検出されないときは、Ｓ１５に進み、例えば交差路において安全に進行可能なものとして、合成画像作成部２６（図３参照）に入力されるＳ１１及びＳ１２で取得された実画像をそのまま表示する。即ち、仮想画像の表示は禁止される。
【００３６】
Ｓ１４において、移動体が検出されたときには、Ｓ１６に進み、ＥＣＵ１８により、Ｓ１１及びＳ１２で取得された実画像を画像処理することにより道路構造の認識を行う。道路構造とは、路肩や歩道などである。この道路構造の認識は、後述するようにランドマークや既存物の仮想画像を移動体の側に表示するときに、例えば、路肩や歩道など、どの位置に仮想画像を表示するかを決定するためのものである。
【００３７】
次に、Ｓ１７に進み、ランドマーク検出部３２（図３参照）により、ドライバーの視野範囲の特定を行う。このＳ１７では、Ｓ１１及びＳ１２で取得された実画像の範囲内において予め決められた範囲をドライバーの視認可能な範囲として特定する。なお、アイカメラなどによりドライバーの視野を特定するようにしても良い。
【００３８】
次に、Ｓ１８に進み、ランドマーク検出部３２（図３参照）により、Ｓ１７で特定されたドライバーの視野内にランドマークが検出されるか否かを判定する。ランドマークは、例えば、電柱や街路樹や標識などである。このランドマークの検出は、画像パターンマッチング、立体モデルマッチングなどの手法で行われる。
図８及び図９に一例を示すように、例えば、図８（ａ）では、ドライバーの視野内にランドマークとなる電柱６０が存在するが、図９（ａ）では、ドライバーの視野内にランドマークとなるものが存在していない。なお、図８（ａ）及び図９（ａ）に示すように、ドライバーの死角領域に移動体である他車両８０が存在している。
【００３９】
Ｓ１８において、図９（ａ）に示すように、ドライバーの視野内にランドマークが検出されなかったときは、Ｓ１９に進み、既存物情報蓄積部４０から、大きさ既知の既存物の映像を取得する。
一方、Ｓ１８において、図８（ａ）に示すように、ドライバーの視野内にランドマークが検出されたときは、Ｓ２０に進み、ランドマーク検出部３２（図３参照）により、ランドマークそれ自体の映像を取得する。
【００４０】
次に、Ｓ１９或いはＳ２０からＳ２１に進み、既存物表示位置算出部４２（図３参照）或いはランドマーク表示位置算出部３４により、実物体（既存物、ランドマーク）の表示位置を規定する。これは、具体的には、Ｓ１４で検出された移動体の側方を表示位置として規定する。
ここでは、先ず、レーザレーダ、ミリ波又はカメラ画像より、自車両から移動体（他車両８０（図８（ａ）、図９（ａ）参照））までの距離Ｌ１を測定する。そして、その距離Ｌ１に存在する移動体の側方、例えば、路肩や歩道の距離Ｌ１の位置を表示位置として規定する。カメラ画像から距離を検出する場合は、移動体の接地位置の画像中の高さから距離を求めるようにすると良い。
【００４１】
後述するが、例えば、ランドマークの場合は、図８（ｂ）に示すように、モニタ１４には、距離Ｌ１の歩道上の位置に仮想画像による電柱のランドマーク６０ｖが表示され、既存物の場合は、図９（ｂ）に示すように、モニタ１４には、距離Ｌ１の歩道上の位置に仮想画像による街路樹の既存物７０ｖが表示されるようになっている。なお、図９（ｂ）に示すように、モニタ１４に、ランドマークや既存物の仮想画像と共に、移動体までの距離感を得るために街路樹７２ｖや電柱などを遠近感をもたせて複数表示するようにしても良い。
【００４２】
次に、Ｓ２２に進み、Ｓ２１で規定した表示位置に合わせて仮想画像の大きさを規定する。このＳ２２における処理を図１０により説明する。
先ず、Ｓ３０において、ＥＣＵ１８は、ランドマークを表示するか否かを判定する。例えば、Ｓ２０のステップが行われた場合にはランドマークを表示するものとし、一方、Ｓ１９のステップが行われた場合にはランドマークを表示しないものとする。
【００４３】
ランドマーク表示を行う場合には、Ｓ３１に進み、ＥＣＵ１８は、自車両からランドマークまでの距離Ｌ２を検出する。この距離Ｌ２の検出は上述した距離Ｌ１の検出と同様に行うことが出来る。
次に、Ｓ３２に進み、ランドマークの仮想画像の大きさＴＬを規定する。ここでは、移動体までの上述した距離Ｌ１と、所定の固定値である係数ｋと、Ｓ３１で検出した距離Ｌ２とにより、式、ＴＬ＝ｋ×（Ｌ２／Ｌ１）、により、ランドマークの仮想画像の大きさＴＬを算出する。
【００４４】
一方、ランドマーク表示を行わない場合には、Ｓ３３に進み、既存物の仮想画像の大きさＴＧを規定する。ここでは、移動体までの上述した距離Ｌ１と、所定の固定値である係数ｋと、予め定められた既存物表示基準距離Ｌ０とにより、式、ＴＧ＝ｋ×（Ｌ０／Ｌ１）、により、既存物の仮想画像の大きさＴＧを規定する。
【００４５】
そして、再び図７に示すように、Ｓ２３において、Ｓ２１で規定された実物体（ランドマーク、既存物）の位置と、Ｓ２２で規定された実物体（ランドマーク、既存物）の大きさと、により、合成画像作成部２６（図３参照）は、移動体に隣接する位置に実物体の仮想画像として、電柱６０ｖ（図８（ｂ）参照）や街路樹７０ｖ（図９（ｂ）参照）を実画像に重畳して表示する。
【００４６】
次に、Ｓ２４に進み、頭出し位置判定部（図３参照）５０により、頭出し位置（図４参照）を判定する。頭出し位置を判定するには、いくつか手法がある。例えば、ＧＰＳ装置１２により得られる自車両の位置とナビゲーション装置１３の地図データから判定する手法、カメラ２、４、６により得られる停止線の位置と、移動距離センサ（図示せず）による移動距離から、停止線からどれだけ移動したかで判定する手法、左右のカメラ２、６による映像から、左右の見通し具合が良くなるとき（近距離に見通しを遮断するものがないとき）が頭出し位置と判定する手法、カメラ２、４、６により得られる停止線の位置及び交差点周囲の画像により判定する手法などである。
【００４７】
次に、Ｓ２５に進み、頭出し位置判定部５０（図３参照）により、自車両が頭出しをしているか否かを判定する。頭出しをしているときには、Ｓ２６に進み、合成画像作成部２６（図３参照）により、Ｓ２３で表示で表示した仮想画像を点滅表示させた後、その仮想画像の表示を中止する。仮想画像の点滅により、ドライバーは、モニタ１４による表示ではなくドライバー自身で目視が可能であることや、実際に目視で見えるものと異なるものであることを知ることが出来る。一方、頭出しをしていないときには、Ｓ２３による仮想画像と実画像との表示を続ける。
【００４８】
次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視するために、監視カメラ２、６が死角領域の実画像を撮像するように車両１の前方部に設けられ、ランドマーク検出部３２或いは既存物情報蓄積部４０によって所定の実物体（ランドマーク、既存物）の画像が仮想画像として取得され、ランドマーク表示位置算出部３４或いは既存物表示位置算出部４２によって、監視カメラ２、６により撮像された死角領域の実画像内でランドマーク検出部３２或いは既存物情報蓄積部４０により取得された実物体の仮想画像を表示する位置が規定され、表示位置に応じた実物体大きさ変換部３６により、ランドマーク表示位置算出部３４或いは既存物表示位置算出部４２によって規定された表示位置に基づいてドライバーが距離感をつかめるように実物体の仮想画像の大きさが規定され、仮想画像作成部３８、合成画像作成部２６及びモニタ１４により、上述した規定された仮想画像が、規定された位置及び大きさで実画像に重畳して表示される。従って、ドライバーが死角領域の映像内の距離感を容易に把握することが出来る。
【００４９】
また、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、監視カメラ２、６は、車両１の前方端に設けられ車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、衝突事故の多発する交差点の左右交差路の距離感を把握して、衝突事故をより確実に防ぐことが出来る。
また、既存物情報蓄積部４０は、大きさ既知の実物体の画像を記憶しており、所定の実物体として既存物情報蓄積部４０に記憶されている実物体の画像をその仮想画像が取得され、モニタ上に表示されるので、その実物体と実画像とを比較することにより距離感を精度良く把握することが出来る。
【００５０】
また、所定の実物体は、ドライバーの視野内にある実物体であり、このドライバーの視野内にある実物体が抽出されて仮想画像として取得されるので、ドライバーの視野内にある実物体が仮想画像として死角領域の実画像に重畳されて、距離感を精度良く把握することが出来る。
また、実物体の仮想画像がドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置が規定されるので、距離感をより精度良く把握することが出来る。
【００５１】
また、移動物検出部３０が、監視カメラ２、６により撮像された実画像内に移動体の存在を検出し、移動体が検出されないときにはモニタ上への表示が禁止されるので、表示が実画像のみとなり、移動体が無いことを容易に把握することが出来る。また、移動体がない場合の処理負担が軽減される。
また、実物体の仮想画像が移動体に隣接する路側に表示されるので、移動体までの距離感を精度良く把握することが出来る。
【００５２】
また、頭出し位置判定部５０が、交差点においてドライバーの見通しが良くなる頭出し位置を算出し、自車両が頭出し位置に達したとき、仮想画像作成部３８、合成画像作成部２６及びモニタ１４による実物体の仮想画像の表示形態を変更する、本実施形態では、点滅するので、ドライバー自身が目視で左右の道路状況を見渡せることが出来るようになったことを知ることが出来る。なお、表示形態の変更は、色を変えたり、濃度を変えるなどの他の態様も可能である。
【００５３】
なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
【図４】自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図５】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図６】本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
【図７】本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図８】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲、ランドマーク及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図９】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１０】本発明の実施形態による車両用周囲監視装置の仮想映像の大きさ変換の処理内容を示すフローチャートである。
【符号の説明】
【００５５】
１ 車両
２、４、６ 監視カメラ
１０ 車速センサ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１８ ＥＣＵ
【特許請求の範囲】
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
所定の実物体の画像を仮想画像として取得する仮想画像取得手段と、
上記実映像撮像手段により撮像された上記死角領域の実画像内において、上記仮想画像取得手段により取得された上記実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように上記実物体の仮想画像の大きさを規定する仮想画像規定手段と、
上記仮想画像を上記仮想画像規定手段により規定される位置及び大きさで上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１に記載の車両用周囲監視装置。
【請求項３】
さらに、大きさ既知の実物体の画像を記憶している実物体画像記憶手段を有し、
上記仮想画像取得手段は、上記所定の実物体として上記実物体画像記憶手段に記憶されている実物体の画像をその仮想画像として取得し、
上記表示手段は、その仮想画像を表示する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
上記所定の実物体は、ドライバーの視野内にある実物体であり、
上記仮想画像取得手段は、このドライバーの視野内にある実物体を抽出して上記仮想画像として取得する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像規定手段は、上記実物体の仮想画像が上記ドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置を規定する請求項４に記載の車両用周囲監視装置。
【請求項６】
さらに、上記実画像撮像手段により撮像された実画像内に移動体の存在を検出する移動体検出手段と、
この移動体検出手段により移動体が検出されないときには上記表示手段による上記仮想画像の表示を禁止する表示禁止手段と、を有する請求項１乃至５のいずれか１項に記載の車両用周囲監視装置。
【請求項７】
上記仮想画像規定手段は、上記実物体の仮想画像を上記移動体に隣接する路端側に表示するように上記実物体の仮想画像の位置を規定する請求項６に記載の車両用周囲監視装置。
【請求項８】
さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、
上記表示手段は、自車両が上記頭出し位置に達したとき、上記実物体の仮想画像の表示形態を変更する請求項１乃至７のいずれか１項に記載の車両用周囲監視装置。
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
所定の実物体の画像を仮想画像として取得する仮想画像取得手段と、
上記実映像撮像手段により撮像された上記死角領域の実画像内において、上記仮想画像取得手段により取得された上記実物体の仮想画像を表示する位置を規定し、その表示位置に基づいてドライバーが距離感をつかめるように上記実物体の仮想画像の大きさを規定する仮想画像規定手段と、
上記仮想画像を上記仮想画像規定手段により規定される位置及び大きさで上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１に記載の車両用周囲監視装置。
【請求項３】
さらに、大きさ既知の実物体の画像を記憶している実物体画像記憶手段を有し、
上記仮想画像取得手段は、上記所定の実物体として上記実物体画像記憶手段に記憶されている実物体の画像をその仮想画像として取得し、
上記表示手段は、その仮想画像を表示する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
上記所定の実物体は、ドライバーの視野内にある実物体であり、
上記仮想画像取得手段は、このドライバーの視野内にある実物体を抽出して上記仮想画像として取得する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項５】
上記仮想画像規定手段は、上記実物体の仮想画像が上記ドライバーの視野内にある実物体の車両からの距離と同じ距離の位置で同じ大きさに見えるようにその位置を規定する請求項４に記載の車両用周囲監視装置。
【請求項６】
さらに、上記実画像撮像手段により撮像された実画像内に移動体の存在を検出する移動体検出手段と、
この移動体検出手段により移動体が検出されないときには上記表示手段による上記仮想画像の表示を禁止する表示禁止手段と、を有する請求項１乃至５のいずれか１項に記載の車両用周囲監視装置。
【請求項７】
上記仮想画像規定手段は、上記実物体の仮想画像を上記移動体に隣接する路端側に表示するように上記実物体の仮想画像の位置を規定する請求項６に記載の車両用周囲監視装置。
【請求項８】
さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、
上記表示手段は、自車両が上記頭出し位置に達したとき、上記実物体の仮想画像の表示形態を変更する請求項１乃至７のいずれか１項に記載の車両用周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２３０２２４（Ｐ２００９−２３０２２４Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１８７１（Ｐ２００８−７１８７１）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]