車両周辺監視装置
【課題】検出結果の正確性を明確にし、運転者が物体の存在する位置を直感的に把握することができるように報知する車両周辺監視装置を提供する。
【解決手段】車両周辺監視装置１００は、車両の周囲の物体を検出する物体検出部１１と、車両の上方を視点とする車両のイメージ画像を生成する車両イメージ画像生成部１４と、車両のイメージ画像を含む、車両の周囲のイメージ画像を生成する周囲イメージ画像生成部１５と、物体検出部１１の検出結果に基づいて周囲のイメージ画像において対応する位置を演算する位置演算部１３と、物体検出部１１の検出結果の確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像での対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、周囲のイメージ画像での対応する領域を明示する明示部１６と、を備える。
【解決手段】車両周辺監視装置１００は、車両の周囲の物体を検出する物体検出部１１と、車両の上方を視点とする車両のイメージ画像を生成する車両イメージ画像生成部１４と、車両のイメージ画像を含む、車両の周囲のイメージ画像を生成する周囲イメージ画像生成部１５と、物体検出部１１の検出結果に基づいて周囲のイメージ画像において対応する位置を演算する位置演算部１３と、物体検出部１１の検出結果の確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像での対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、周囲のイメージ画像での対応する領域を明示する明示部１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両の運転者に自車の周囲に存在する物体を報知する車両周辺監視装置が用いられてきた。この種の技術として、下記に出典を示す特許文献１−３に記載のものがある。
【０００３】
特許文献１に記載の物体検出装置は、レーダによって物体を検出するレーダ検出手段と、画像によって物体を検出する画像検出手段とを備え、これらを複合利用することにより、車両周辺に存在する物体の認識精度を高めている。一方、物体が車両の遠くに存在する場合には画像検出手段の認識精度が悪くなるので、このような場合には、車両から物体までの距離が近い場合より判定条件を緩和して判定を行っている。
【０００４】
特許文献２に記載の画像表示制御装置は、自車両の周囲に存在する対象物を検出し、危険度に応じて強調表示を行っている。危険度は、自車両の速度、対象物までの距離、対象物の種類に応じて決定される。
【０００５】
特許文献３に記載の車両用周辺監視装置は、運転者からの死角領域を監視する技術である。この車両用周辺監視装置は、車両の前方に死角領域の実画像を撮像する実画像撮像手段が備えられる。運転者が、この実画像の奥行きを直感的に把握できるように、当該実画像に対して道路の奥行き感を表わす格子状グリッド画像が重畳表示される。運転者が死角領域を目視可能な位置に到達した場合には、格子状グリッド画像の重畳表示は中止される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２９２４７５号公報
【特許文献２】特開２００９−４０１０７号公報
【特許文献３】特開２００９−２２６９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、物体を検出した場合の報知方法については何ら示されていない。また、判定条件を緩和することは、障害物の存在を簡易的に運転者に伝達することはできるものの、障害物の判定の精度と安全性とが両立しえていない。即ち、運転者は判定の精度に拘らず、安全面に細心の注意を図る必要がある。したがって、判定の精度（検出の精度）が低い障害物に対しても注意する必要があり、精神的な疲労により運転に支障をきたすおそれがある。
【０００８】
特許文献２に記載の物体検出装置では、危険の認知という点で直感性に欠ける。自車両と障害物との距離が近い場合には、より危険レベルを上げて報知を行う必要があるが、画面上で直接表現する事ができていない。即ち、「非常に危険」、「少々危険」というような報知を行うことは可能であるが、「近いから危険」、「遠いが少々危険」という表現は行えていない。報知形態（例えばアイコン）の種類を増やす等して対応できなくも無いが、種類の増加はシステムの複雑化と直感性の低下につながる。また、広角レンズを使用して車両の周囲の状況を示す撮像画像を取得している場合には、運転者が撮像画像を見た際、当該撮像画像が歪んでいる可能性があり、特に障害物までの距離及び方向の認識は難しくなる。このため、「非常に危険」というアイコンが表示された場合には、対象となる障害物が近くにいるから非常に危険であるのか否かを特定することは非常に困難である。
【０００９】
特許文献３に記載の車両用周辺監視装置は、認識した障害物を、格子状グリッド上に所定のマーカーで表示し、また障害物の移動時に矢印を表示する等している。しかしながら、危険レベルの判定や、それに伴う表示の切り替え等については開示されていない。また、画面上方の空間に格子状グリッドと障害物アイコンの表示を行っているため、前記空間に表示されているアイコンを確認後、視線を下げて、その真下にある実際の障害物を確認するという手間が必要になる。このため、たとえ画面下方の路面上に格子状グリッドを重畳表示したとしても視認性を低下させてしまう。
【００１０】
本発明の目的は、上記問題に鑑み、検出結果の正確性を明確にして運転者に伝達すると共に、運転者が物体の存在する位置を直感的に把握することができるように報知する車両周辺監視装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明に係る周辺監視装置の特徴構成は、車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、を備えている点にある。
【００１２】
このような特徴構成とすれば、運転者は車両を上方から見た場合における周囲の状況を確認することができるので、車両と物体との位置関係を直感的に把握することが可能となる。また、物体検出部により検出された検出結果に応じて、物体の存在を明示する形態を変更することができる。これにより、運転者は、物体検出部による検出の正確性も明確に理解することが可能となる。
【００１３】
また、前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定すると好適である。
【００１４】
このような構成とすれば、物体検出部の検出結果の確証度を適切に判定することができる。したがって、明示部が検出結果の正確性に応じて適切に物体の存在を明示することができる。
【００１５】
また、前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出すると好適である。
【００１６】
このような構成とすれば、車両からの物体の方向と、車両から物体までの距離に応じて、物体の存在する位置を正確に特定することができる。したがって、運転者に対して正確性の良い報知を行うことが可能となる。
【００１７】
また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することが可能である。
【００１８】
このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
【００１９】
また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することも可能である。
【００２０】
このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
【００２１】
また、前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示すると好適である。
【００２２】
このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が高いことを適切に伝達することができる。
【００２３】
また、前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色すると好適である。
【００２４】
このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が低いことを適切に伝達することができる。
【図面の簡単な説明】
【００２５】
【図１】車両周辺監視装置の概略構成を模式的に示すブロック図である。
【図２】車両に備えられるカメラ及びカメラの撮影範囲を示す図である。
【図３】車両に備えられるソナー及びソナーの検出範囲を示す図である。
【図４】車両のイメージ画像及び周囲のイメージ画像を示す図である。
【図５】車両の周囲に存在する物体を周囲のイメージ画像に明示した場合の一例を示す図である。
【図６】車両周辺監視装置が行う処理に係るフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、詳細に説明する。本発明に係る車両周辺監視装置１００は、車両５０（図２参照）の周辺を関する機能を備えている。より詳細には、本車両周辺監視装置１００は、車両５０の周辺に存在する物体を検出し、当該物体の存在を車両５０の運転者が直感的に認識することができるように報知する機能を有する。図１は、本発明に係る車両周辺監視装置１００の概略構成を模式的に示すブロック図である。当該車両周辺監視装置１００は、物体検出部１１、確証度判定部１２、位置演算部１３、車両イメージ画像生成部１４、周囲イメージ画像生成部１５、明示部１６、表示画像生成部１７、モニタ１８を備えて構成される。このように構成される車両周辺監視装置１００は、ＣＰＵを中核部材として車両５０の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
【００２７】
物体検出部１１は、車両５０に備えられ、当該車両５０の周囲の物体を検出する。本実施形態では、車両５０の周囲とは車両５０の前方、後方、左側方、右側方が相当する。車両５０の前方、後方、左側方、右側方の少なくともいずれか一方に存在する物体を検出する構成とすることも可能である。また、物体とは、移動物に限定されるものではなく、停止状態にある物体も含まれる。このような物体は物体検出部１１に検出されることにより、車両周辺監視装置１００が障害物として認識することが可能となる。
【００２８】
物体検出部１１は、検出方法が異なる複数の物体検出部から構成される。検出方法とは、物体検出部１１が検出する方法である。したがって、検出方法が異なるとは、検出する方法の種類が異なることを示している。本実施形態では、このような異なる検出方法により、車両５０からの物体が存在する方向、及び車両５０から物体までの距離を検出する。物体検出部１１は、このような検出方法が異なる複数の物体検出部から構成される。本実施形態では、理解を容易にするために、複数の物体検出部は、第１物体検出部２１と第２物体検出部２２との２つを備えるとして説明する。
【００２９】
第１物体検出部２１は、車両５０からの物体が存在する方向と距離を検出する。本実施形態では、第１物体検出部２１として、車両５０に搭載されるカメラが用いられる。図２には、車両５０に搭載されるカメラが示されている。車両５０には、フロントカメラ３１、サイドカメラ３２、リアカメラ３３が備えられる。フロントカメラ３１は、車両５０の前方の情景を撮影した撮像画像を取得する。フロントカメラ３１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ３１は、図２に示されるように、車両５０のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ３１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＡで示される領域の情景を含む撮像画像が取得される。
【００３０】
サイドカメラ３２は、車両５０が有するサイドミラー６０に備えられる。また、当該サイドカメラ３２は、サイドミラー６０の鉛直下方を含む車両５０の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラ３２ａ、３２ｂ（左サイドカメラ３２ａ及び右サイドカメラ３２ｂ）から構成される。本実施形態では、図２に示されるように、車両５０の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ３２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ３２ｂとして説明する。また、特に左サイドカメラ３２ａ及び右サイドカメラ３２ｂのいずれかを限定する必要がない場合には、サイドカメラ３２として記載する。
【００３１】
左サイドカメラ３２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両５０の左側方の情景を撮影し、撮像画像を取得する。上述のフロントカメラ３１と同様に、サイドカメラ３２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ３２ａにより少なくとも図２のＢで示される領域の情景を撮影した撮像画像が取得される。右サイドカメラ３２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両５０の右側方の情景を撮影し、撮像画像を取得する。右サイドカメラ３２ｂにより少なくとも図２のＣで示される領域の情景を撮影した撮像画像が取得される。
【００３２】
リアカメラ３３は、車両５０の後方の情景を撮影した撮像画像を取得する。リアカメラ３３は、図２に示されるように、車両５０のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ３３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＤで示される領域の情景を撮影した撮像画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
【００３３】
これらの各カメラにより取得された撮像画像は、各カメラの配設位置、配設角度等により、車両から見た場合の物体の存在する方向を特定するのに用いられる。各カメラに取得された撮像画像は、後述する確証度判定部１２及び位置演算部１３に伝達される。
【００３４】
第２物体検出部２２は、少なくとも車両５０から予め設定された所定の角度で規定される検出範囲内に存在する物体までの距離を検出する。本実施形態では、第２物体検出部２２として、車両５０に搭載されるソナー（例えば赤外線センサ）が用いられる。図３は、車両５０に搭載されるソナーが示されている。ソナーは、車両５０のフロント部に４つ（ソナー４１〜４４）、リア部に４つ（ソナー４５〜４８）備えられる。各ソナーは、夫々備えられた位置を中心として、延直方向及び水平方向に所定の角度で規定される範囲を検出するよう設定される。図３では平面図を示しているので、延直方向の範囲の図示は省略している。
【００３５】
ソナー４１〜４４は、夫々図３のＩ〜Ｌで示される領域を検出領域として設定される。また、ソナー４５〜４８は、夫々図３のＵ〜Ｘで示される領域を検出領域として設定される。ソナー４１〜４８は、夫々の検出領域内に送信信号として超音波を送信し、物体に当たって反射される反射波を受信する。これらの送信信号及び反射波の時間差に基づいて、車両５０から物体までの距離を検出する。ただし、ソナー４１〜４４の検出結果においては、車両５０から物体までの距離は検出できるが、その方向は検出領域内（例えば領域Ｉ）であるとしてしか判断できない。このような検出過程については、公知であるため説明は省略する。各ソナーにより検出された検出結果は、後述する確証度判定部１２及び位置演算部１３に伝達される。
【００３６】
車両イメージ画像生成部１４は、車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成する。車両５０の上方を視点とするとは、車両５０を見下ろす視点である。したがって、車両５０の斜め前方から車両５０の後方を見下ろす視点とすることも可能であるし、車両５０の斜め後方から車両５０の前方を見下ろす視点とすることも可能である。また、車両５０の鉛直上方から車両５０を見下ろす視点とすることも可能である。このような車両５０のイメージ画像ＩＣが図４に示される。本実施形態では、図４に示すように、車両５０の延直上方を視点とした場合の例を示す。したがって、車両５０のイメージ画像ＩＣとは、延直上方から車両５０を見た場合に車両５０を模式的に示す画像が相当する。このイメージ画像ＩＣは、カメラ等で車両を実際に撮影した画像でも良いし、イラストでも良い。イメージ画像生成部１４により生成されたイメージ画像ＩＣは、後述の位置算定部１３及び表示画像生成部１７に伝達される。
【００３７】
周囲イメージ画像生成部１５は、車両５０のイメージ画像ＩＣの周囲に複数の領域に区分けされた、上述の視点からの車両５０の周囲のイメージ画像ＩＡを生成する。車両５０の周囲のイメージ画像ＩＡとは、車両５０の周囲の状況を模式的に示す画像である。この周囲のイメージ画像ＩＡは、上述の車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣの視点と同じ視点で生成される。このような周囲のイメージ画像ＩＡに区分線７７が重畳して描画される。これにより、周囲のイメージ画像ＩＡが、複数の領域に区分けされる。
【００３８】
図４には、このような区分線７７が縦方向及び横方向に描画されている例（格子状の区分）が示されている。このような区分線７７は、単なる一例であり他の形態で描画することは当然に可能である。周囲イメージ画像生成部１５は、周囲のイメージ画像ＩＡに対して区画線７７を描画する。周囲イメージ画像生成部１５により生成された、区分線７７が描画された周囲のイメージ画像ＩＡは、後述の位置演算部１３及び表示画像生成部１７に伝達される。
【００３９】
位置演算部１３は、物体検出部１１の検出結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を演算する。物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２であり、夫々カメラ及びソナーが相当する。ここで、上述のようにカメラは車両５０からの物体の方向を検出し、ソナーは車両５０から物体までの距離を検出する。一方、図４に示される周囲のイメージ画像ＩＡは、車両５０の上方を視点とする車両５０の周囲を模式的に示す画像である。このため、周囲のイメージ画像ＩＡ上にカメラ及びソナーの検出結果を単純に表示することはできない。したがって、位置算定部１３は、カメラ及びソナーの検出結果に基づいて、周囲のイメージ画像ＩＡ上での位置、即ち、周囲のイメージ画像ＩＡを２次元平面とした場合の座標を演算する。位置演算部１３により演算された演算結果は、後述する明示部１６に伝達される。
【００４０】
確証度判定部１２は、物体検出部１１により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する。物体検出部１１により検出された検出結果とは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果、及び第２物体検出部２２としてのソナーにより検出された車両５０から物体までの距離を示す結果である。確証度とは正確度（正確性）に相当する。したがって、確証度判定部１２は、検出結果の正確度が予め設定された判定閾値以上であるか否かを判定する。
【００４１】
ここで、確証度判定部１２は、２つの物体検出部１１の検出結果に相関関係がある場合に確証度が判定閾値以上であると判定する。本実施形態では、２つの物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２である。これらの検出結果に相関関係があるとは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果と、第２物体検出部２２としてのソナーにより検出された車両から物体までの距離を示す結果との間に相関関係があるということである。
【００４２】
即ち、第１物体検出部２１としてのカメラが、車両５０の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して物体が存在する方向を検出し、第２物体検出部２２としてのソナーが、予め設定された所定の角度で規定される検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて車両５０から物体までの距離を検出する構成の場合には、確証度判定部１２は、第１物体検出部２１により検出された物体の方向が、車両５０から所定の距離に存在する物体を検出した第２物体検出部２２の検出範囲内に含まれる場合に相関関係があるとして確証度が判定閾値以上であると判定することが可能である。
【００４３】
また、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体と車両５０との距離を画像認識により演算し、当該演算の結果と第２物体検出部２２により検出された距離が略一致する場合に相関関係があるとして確証度が判定閾値以上であると判定することも可能である。
【００４４】
ここで、第１物体検出部２１として用いられるカメラにより取得された撮像画像では、遠くに位置する物体は小さく表示される。したがって、車両５０から離れるにしたがって、第１物体検出部２１による検出結果の正確性は悪くなる。このため、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体が特定し難い場合においては、確証度が判定閾値未満であると判定する。このような判定結果は、後述する明示部１６に伝達される。
【００４５】
明示部１６は、検出結果の確証度が判定閾値以上である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する領域を明示する。検出結果の確証度が判定閾値以上であるか否かは、上述の確証度判定部１２により判定される。第１物体検出部２１及び第２物体検出部２２の検出結果に基づく周囲のイメージ画像ＩＡでの対応する位置は、位置演算部１３により演算され伝達される。
【００４６】
上述したように、検出結果の確証度が判定閾値以上である場合には、車両５０から見た物体の方向及び距離の正確度が高いことから、明示部１６はその対応する位置を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像ＩＡにおいて対応する位置に指標を表示する。このような指標が、図５において、符号Ｐ１やＰ２として示される。このように、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らず表示される。換言すると、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らないで、対応する位置に表示される。
【００４７】
一方、検出結果の確証度が判定閾値未満である場合には、車両５０から見た物体の方向及び距離の正確度が低いことから、明示部１６はその対応する領域を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値未満である場合に、周囲のイメージ画像ＩＡにおいて対応する領域を着色する。このような着色された領域が、図５において、符号Ｒ１やＲ２として示される。このように、確証度が予め設定された判定閾値未満である場合には、物体の存在を示す領域は区分線７７により区分けされた領域にしたがって表示される。なお、このような明示は、表示画像生成部１７にある周囲イメージ画像生成部１５から伝達された周囲のイメージ画像ＩＡに対して施される。
【００４８】
表示画像生成部１７は、モニタ１８に表示する表示画像を生成する。表示画像は、車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣ及び周囲イメージ画像生成部１５により生成された周囲のイメージ画像ＩＡである。この周囲のイメージ画像ＩＡに重畳して明示された指標や領域の着色も含まれる。このような表示画像がモニタ１８に伝達され、表示される。このような表示はリアルタイムで行われ、車両５０の移動と共に、又物体の移動と共にモニタ１８に表示される。このように車両５０の周囲に存在する物体をモニタ１８に表示して報知することにより、運転者が直感的に車両５０の周囲の状況を把握できると共に、その正確性も知ることができる。
【００４９】
次に、本車両周辺監視装置１００が物体を検出した場合の報知に関する処理について説明する。図６は、車両周辺監視装置１００の処理に係るフローチャートである。なお、このフローチャートは、処理の一例を示したものであり、処理順序はこれに限定されるものではない。即ち、適宜、処理順序を入れ替えることは当然に可能である。
【００５０】
まず、車両イメージ画像生成部１４が車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成すると共に、周囲イメージ画像生成部１５が車両５０のイメージ画像ＩＣと同様の視点からの車両５０の周囲のイメージ画像ＩＡを生成する（ステップ＃０１）。
【００５１】
第１物体検出部２１により物体が検出されると共に（ステップ＃０２：第１物体検出部）、第２物体検出部２２でも物体が検出された場合には（ステップ＃０３：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
【００５２】
明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が高いことを知らせることが可能となる。
【００５３】
ステップ＃０２に戻り、第２物体検出部２２により物体が検出されると共に（ステップ＃０２：第２物体検出部）、第１物体検出部２１でも物体が検出された場合には（ステップ＃０７：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
【００５４】
明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の存在を示す報知の確証度が高いことを知らせることが可能となる。
【００５５】
ステップ＃０２において第１物体検出部２１により物体が検出されたにも拘らず（ステップ＃０２：第１物体検出部）、第２物体検出部２２で物体が検出されなかった場合（ステップ＃０３：Ｎｏ）や、ステップ＃０２において第２物体検出部２２により物体が検出されたにも拘らず（ステップ＃０２：第２物体検出部）、第１物体検出部２１で物体が検出されなかった場合（ステップ＃０７：Ｎｏ）や、ステップ＃０４において第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係がない場合（ステップ＃０４：Ｎｏ）には、位置演算部１３は夫々の検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する領域を演算する（ステップ＃０８）。
【００５６】
明示部１６は、このように演算された領域を周囲のイメージ画像ＩＡに着色して明示する（ステップ＃０９）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が低いことを知らせることが可能となる。なお、ステップ＃０２において、第１物体検出部２１及び第２物体検出部２２の双方により物体が検出されない場合には、少なくともいずれか一方から物体が検出されるまで処理を保留しても良いし、車両５０の周囲に物体が存在しない旨の報知を行うように処理しても良い。本車両周辺監視装置１００は、このようなフローチャートに沿って車両５０の運転者に周囲に状況を報知する。
【００５７】
〔その他の実施形態〕
上記実施形態では、物体検出部１１は、第１物体検出部２１及び第２物体検出部２２の２つを備えるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。物体検出部１１は、３つ以上から構成しても良いし、また、１つの物体検出部１１で異なる検出対象が検出可能なものであっても良い。このような物体検出部１１であっても、適切に車両５０からの物体の方向及び車両５０から物体までの距離を検出することが可能である。
【００５８】
上記実施形態では、第２物体検出部２２が、車両５０のフロント部及びリア部に夫々４つずつ備えられるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。第２物体検出部２２は、フロント部及びリア部に夫々３つ以下で構成することも可能であるし、５つ以上で構成することも可能である。もちろん、フロント部及びリア部の夫々を別々の個数で構成することも当然に可能である。また、第２物体検出部２２をフロント部のみ或いはリア部のみ備える構成とすることも当然に可能である。
【００５９】
上記実施形態では、明示部１６による明示が、対応する領域を着色するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。明示部１６による明示は、対応する領域を立体表示するようにしても良い。また、明示部１６による領域の着色は、対応する領域全面を着色しても良いし、その領域の外周部分の区画線７７を着色しても良い。また、着色は半透明表示であっても良い。このような明示であっても、車両５０の運転者に対して適切に車両５０の周囲に存在する物体を報知することは当然に可能である。
【００６０】
上記実施形態では、明示部１６により対応する位置に指標が表示されるとして説明した。しかしながら、本発明に適用範囲はこれに限定されるものではない。例えば、明示部１６による指標の表示は、物体が移動物である場合には、移動予測を行って矢印を付与して良い。このような明示を行うことにより、車両５０の運転者は物体が移動物であることを認識することができると共に、物体の移動方向に対しても注意することが可能となる。
【００６１】
本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に用いることが可能である。
【符号の説明】
【００６２】
１１：物体検出部
１２：確証度判定部
１３：位置演算部
１４：車両イメージ画像生成部
１５：周囲イメージ画像生成部
１６：明示部
１７：表示画像生成部
１８：モニタ
２１：第１物体検出部
２２：第２物体検出部
【技術分野】
【０００１】
本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両の運転者に自車の周囲に存在する物体を報知する車両周辺監視装置が用いられてきた。この種の技術として、下記に出典を示す特許文献１−３に記載のものがある。
【０００３】
特許文献１に記載の物体検出装置は、レーダによって物体を検出するレーダ検出手段と、画像によって物体を検出する画像検出手段とを備え、これらを複合利用することにより、車両周辺に存在する物体の認識精度を高めている。一方、物体が車両の遠くに存在する場合には画像検出手段の認識精度が悪くなるので、このような場合には、車両から物体までの距離が近い場合より判定条件を緩和して判定を行っている。
【０００４】
特許文献２に記載の画像表示制御装置は、自車両の周囲に存在する対象物を検出し、危険度に応じて強調表示を行っている。危険度は、自車両の速度、対象物までの距離、対象物の種類に応じて決定される。
【０００５】
特許文献３に記載の車両用周辺監視装置は、運転者からの死角領域を監視する技術である。この車両用周辺監視装置は、車両の前方に死角領域の実画像を撮像する実画像撮像手段が備えられる。運転者が、この実画像の奥行きを直感的に把握できるように、当該実画像に対して道路の奥行き感を表わす格子状グリッド画像が重畳表示される。運転者が死角領域を目視可能な位置に到達した場合には、格子状グリッド画像の重畳表示は中止される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２９２４７５号公報
【特許文献２】特開２００９−４０１０７号公報
【特許文献３】特開２００９−２２６９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、物体を検出した場合の報知方法については何ら示されていない。また、判定条件を緩和することは、障害物の存在を簡易的に運転者に伝達することはできるものの、障害物の判定の精度と安全性とが両立しえていない。即ち、運転者は判定の精度に拘らず、安全面に細心の注意を図る必要がある。したがって、判定の精度（検出の精度）が低い障害物に対しても注意する必要があり、精神的な疲労により運転に支障をきたすおそれがある。
【０００８】
特許文献２に記載の物体検出装置では、危険の認知という点で直感性に欠ける。自車両と障害物との距離が近い場合には、より危険レベルを上げて報知を行う必要があるが、画面上で直接表現する事ができていない。即ち、「非常に危険」、「少々危険」というような報知を行うことは可能であるが、「近いから危険」、「遠いが少々危険」という表現は行えていない。報知形態（例えばアイコン）の種類を増やす等して対応できなくも無いが、種類の増加はシステムの複雑化と直感性の低下につながる。また、広角レンズを使用して車両の周囲の状況を示す撮像画像を取得している場合には、運転者が撮像画像を見た際、当該撮像画像が歪んでいる可能性があり、特に障害物までの距離及び方向の認識は難しくなる。このため、「非常に危険」というアイコンが表示された場合には、対象となる障害物が近くにいるから非常に危険であるのか否かを特定することは非常に困難である。
【０００９】
特許文献３に記載の車両用周辺監視装置は、認識した障害物を、格子状グリッド上に所定のマーカーで表示し、また障害物の移動時に矢印を表示する等している。しかしながら、危険レベルの判定や、それに伴う表示の切り替え等については開示されていない。また、画面上方の空間に格子状グリッドと障害物アイコンの表示を行っているため、前記空間に表示されているアイコンを確認後、視線を下げて、その真下にある実際の障害物を確認するという手間が必要になる。このため、たとえ画面下方の路面上に格子状グリッドを重畳表示したとしても視認性を低下させてしまう。
【００１０】
本発明の目的は、上記問題に鑑み、検出結果の正確性を明確にして運転者に伝達すると共に、運転者が物体の存在する位置を直感的に把握することができるように報知する車両周辺監視装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明に係る周辺監視装置の特徴構成は、車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、を備えている点にある。
【００１２】
このような特徴構成とすれば、運転者は車両を上方から見た場合における周囲の状況を確認することができるので、車両と物体との位置関係を直感的に把握することが可能となる。また、物体検出部により検出された検出結果に応じて、物体の存在を明示する形態を変更することができる。これにより、運転者は、物体検出部による検出の正確性も明確に理解することが可能となる。
【００１３】
また、前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定すると好適である。
【００１４】
このような構成とすれば、物体検出部の検出結果の確証度を適切に判定することができる。したがって、明示部が検出結果の正確性に応じて適切に物体の存在を明示することができる。
【００１５】
また、前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出すると好適である。
【００１６】
このような構成とすれば、車両からの物体の方向と、車両から物体までの距離に応じて、物体の存在する位置を正確に特定することができる。したがって、運転者に対して正確性の良い報知を行うことが可能となる。
【００１７】
また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することが可能である。
【００１８】
このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
【００１９】
また、前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定することも可能である。
【００２０】
このような構成とすれば、確証度判定部が、第１物体検出部の検出結果と第２物体検出部の検出結果との間に相関関係があるか否かを適切に判断することができるので、これらの検出結果の確証度について適切に判定することが可能となる。
【００２１】
また、前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示すると好適である。
【００２２】
このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が高いことを適切に伝達することができる。
【００２３】
また、前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色すると好適である。
【００２４】
このような構成とすれば、運転者に対して、物体の存在と共に、物体検出部の検出結果の正確性が低いことを適切に伝達することができる。
【図面の簡単な説明】
【００２５】
【図１】車両周辺監視装置の概略構成を模式的に示すブロック図である。
【図２】車両に備えられるカメラ及びカメラの撮影範囲を示す図である。
【図３】車両に備えられるソナー及びソナーの検出範囲を示す図である。
【図４】車両のイメージ画像及び周囲のイメージ画像を示す図である。
【図５】車両の周囲に存在する物体を周囲のイメージ画像に明示した場合の一例を示す図である。
【図６】車両周辺監視装置が行う処理に係るフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、詳細に説明する。本発明に係る車両周辺監視装置１００は、車両５０（図２参照）の周辺を関する機能を備えている。より詳細には、本車両周辺監視装置１００は、車両５０の周辺に存在する物体を検出し、当該物体の存在を車両５０の運転者が直感的に認識することができるように報知する機能を有する。図１は、本発明に係る車両周辺監視装置１００の概略構成を模式的に示すブロック図である。当該車両周辺監視装置１００は、物体検出部１１、確証度判定部１２、位置演算部１３、車両イメージ画像生成部１４、周囲イメージ画像生成部１５、明示部１６、表示画像生成部１７、モニタ１８を備えて構成される。このように構成される車両周辺監視装置１００は、ＣＰＵを中核部材として車両５０の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
【００２７】
物体検出部１１は、車両５０に備えられ、当該車両５０の周囲の物体を検出する。本実施形態では、車両５０の周囲とは車両５０の前方、後方、左側方、右側方が相当する。車両５０の前方、後方、左側方、右側方の少なくともいずれか一方に存在する物体を検出する構成とすることも可能である。また、物体とは、移動物に限定されるものではなく、停止状態にある物体も含まれる。このような物体は物体検出部１１に検出されることにより、車両周辺監視装置１００が障害物として認識することが可能となる。
【００２８】
物体検出部１１は、検出方法が異なる複数の物体検出部から構成される。検出方法とは、物体検出部１１が検出する方法である。したがって、検出方法が異なるとは、検出する方法の種類が異なることを示している。本実施形態では、このような異なる検出方法により、車両５０からの物体が存在する方向、及び車両５０から物体までの距離を検出する。物体検出部１１は、このような検出方法が異なる複数の物体検出部から構成される。本実施形態では、理解を容易にするために、複数の物体検出部は、第１物体検出部２１と第２物体検出部２２との２つを備えるとして説明する。
【００２９】
第１物体検出部２１は、車両５０からの物体が存在する方向と距離を検出する。本実施形態では、第１物体検出部２１として、車両５０に搭載されるカメラが用いられる。図２には、車両５０に搭載されるカメラが示されている。車両５０には、フロントカメラ３１、サイドカメラ３２、リアカメラ３３が備えられる。フロントカメラ３１は、車両５０の前方の情景を撮影した撮像画像を取得する。フロントカメラ３１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ３１は、図２に示されるように、車両５０のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ３１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＡで示される領域の情景を含む撮像画像が取得される。
【００３０】
サイドカメラ３２は、車両５０が有するサイドミラー６０に備えられる。また、当該サイドカメラ３２は、サイドミラー６０の鉛直下方を含む車両５０の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラ３２ａ、３２ｂ（左サイドカメラ３２ａ及び右サイドカメラ３２ｂ）から構成される。本実施形態では、図２に示されるように、車両５０の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ３２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ３２ｂとして説明する。また、特に左サイドカメラ３２ａ及び右サイドカメラ３２ｂのいずれかを限定する必要がない場合には、サイドカメラ３２として記載する。
【００３１】
左サイドカメラ３２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両５０の左側方の情景を撮影し、撮像画像を取得する。上述のフロントカメラ３１と同様に、サイドカメラ３２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ３２ａにより少なくとも図２のＢで示される領域の情景を撮影した撮像画像が取得される。右サイドカメラ３２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両５０の右側方の情景を撮影し、撮像画像を取得する。右サイドカメラ３２ｂにより少なくとも図２のＣで示される領域の情景を撮影した撮像画像が取得される。
【００３２】
リアカメラ３３は、車両５０の後方の情景を撮影した撮像画像を取得する。リアカメラ３３は、図２に示されるように、車両５０のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ３３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図２のＤで示される領域の情景を撮影した撮像画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
【００３３】
これらの各カメラにより取得された撮像画像は、各カメラの配設位置、配設角度等により、車両から見た場合の物体の存在する方向を特定するのに用いられる。各カメラに取得された撮像画像は、後述する確証度判定部１２及び位置演算部１３に伝達される。
【００３４】
第２物体検出部２２は、少なくとも車両５０から予め設定された所定の角度で規定される検出範囲内に存在する物体までの距離を検出する。本実施形態では、第２物体検出部２２として、車両５０に搭載されるソナー（例えば赤外線センサ）が用いられる。図３は、車両５０に搭載されるソナーが示されている。ソナーは、車両５０のフロント部に４つ（ソナー４１〜４４）、リア部に４つ（ソナー４５〜４８）備えられる。各ソナーは、夫々備えられた位置を中心として、延直方向及び水平方向に所定の角度で規定される範囲を検出するよう設定される。図３では平面図を示しているので、延直方向の範囲の図示は省略している。
【００３５】
ソナー４１〜４４は、夫々図３のＩ〜Ｌで示される領域を検出領域として設定される。また、ソナー４５〜４８は、夫々図３のＵ〜Ｘで示される領域を検出領域として設定される。ソナー４１〜４８は、夫々の検出領域内に送信信号として超音波を送信し、物体に当たって反射される反射波を受信する。これらの送信信号及び反射波の時間差に基づいて、車両５０から物体までの距離を検出する。ただし、ソナー４１〜４４の検出結果においては、車両５０から物体までの距離は検出できるが、その方向は検出領域内（例えば領域Ｉ）であるとしてしか判断できない。このような検出過程については、公知であるため説明は省略する。各ソナーにより検出された検出結果は、後述する確証度判定部１２及び位置演算部１３に伝達される。
【００３６】
車両イメージ画像生成部１４は、車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成する。車両５０の上方を視点とするとは、車両５０を見下ろす視点である。したがって、車両５０の斜め前方から車両５０の後方を見下ろす視点とすることも可能であるし、車両５０の斜め後方から車両５０の前方を見下ろす視点とすることも可能である。また、車両５０の鉛直上方から車両５０を見下ろす視点とすることも可能である。このような車両５０のイメージ画像ＩＣが図４に示される。本実施形態では、図４に示すように、車両５０の延直上方を視点とした場合の例を示す。したがって、車両５０のイメージ画像ＩＣとは、延直上方から車両５０を見た場合に車両５０を模式的に示す画像が相当する。このイメージ画像ＩＣは、カメラ等で車両を実際に撮影した画像でも良いし、イラストでも良い。イメージ画像生成部１４により生成されたイメージ画像ＩＣは、後述の位置算定部１３及び表示画像生成部１７に伝達される。
【００３７】
周囲イメージ画像生成部１５は、車両５０のイメージ画像ＩＣの周囲に複数の領域に区分けされた、上述の視点からの車両５０の周囲のイメージ画像ＩＡを生成する。車両５０の周囲のイメージ画像ＩＡとは、車両５０の周囲の状況を模式的に示す画像である。この周囲のイメージ画像ＩＡは、上述の車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣの視点と同じ視点で生成される。このような周囲のイメージ画像ＩＡに区分線７７が重畳して描画される。これにより、周囲のイメージ画像ＩＡが、複数の領域に区分けされる。
【００３８】
図４には、このような区分線７７が縦方向及び横方向に描画されている例（格子状の区分）が示されている。このような区分線７７は、単なる一例であり他の形態で描画することは当然に可能である。周囲イメージ画像生成部１５は、周囲のイメージ画像ＩＡに対して区画線７７を描画する。周囲イメージ画像生成部１５により生成された、区分線７７が描画された周囲のイメージ画像ＩＡは、後述の位置演算部１３及び表示画像生成部１７に伝達される。
【００３９】
位置演算部１３は、物体検出部１１の検出結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を演算する。物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２であり、夫々カメラ及びソナーが相当する。ここで、上述のようにカメラは車両５０からの物体の方向を検出し、ソナーは車両５０から物体までの距離を検出する。一方、図４に示される周囲のイメージ画像ＩＡは、車両５０の上方を視点とする車両５０の周囲を模式的に示す画像である。このため、周囲のイメージ画像ＩＡ上にカメラ及びソナーの検出結果を単純に表示することはできない。したがって、位置算定部１３は、カメラ及びソナーの検出結果に基づいて、周囲のイメージ画像ＩＡ上での位置、即ち、周囲のイメージ画像ＩＡを２次元平面とした場合の座標を演算する。位置演算部１３により演算された演算結果は、後述する明示部１６に伝達される。
【００４０】
確証度判定部１２は、物体検出部１１により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する。物体検出部１１により検出された検出結果とは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果、及び第２物体検出部２２としてのソナーにより検出された車両５０から物体までの距離を示す結果である。確証度とは正確度（正確性）に相当する。したがって、確証度判定部１２は、検出結果の正確度が予め設定された判定閾値以上であるか否かを判定する。
【００４１】
ここで、確証度判定部１２は、２つの物体検出部１１の検出結果に相関関係がある場合に確証度が判定閾値以上であると判定する。本実施形態では、２つの物体検出部１１とは、第１物体検出部２１及び第２物体検出部２２である。これらの検出結果に相関関係があるとは、第１物体検出部２１としてのカメラにより検出された車両５０から見た物体の方向を示す結果と、第２物体検出部２２としてのソナーにより検出された車両から物体までの距離を示す結果との間に相関関係があるということである。
【００４２】
即ち、第１物体検出部２１としてのカメラが、車両５０の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して物体が存在する方向を検出し、第２物体検出部２２としてのソナーが、予め設定された所定の角度で規定される検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて車両５０から物体までの距離を検出する構成の場合には、確証度判定部１２は、第１物体検出部２１により検出された物体の方向が、車両５０から所定の距離に存在する物体を検出した第２物体検出部２２の検出範囲内に含まれる場合に相関関係があるとして確証度が判定閾値以上であると判定することが可能である。
【００４３】
また、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体と車両５０との距離を画像認識により演算し、当該演算の結果と第２物体検出部２２により検出された距離が略一致する場合に相関関係があるとして確証度が判定閾値以上であると判定することも可能である。
【００４４】
ここで、第１物体検出部２１として用いられるカメラにより取得された撮像画像では、遠くに位置する物体は小さく表示される。したがって、車両５０から離れるにしたがって、第１物体検出部２１による検出結果の正確性は悪くなる。このため、確証度判定部１２は、第１物体検出部２１により取得された撮像画像に含まれる物体が特定し難い場合においては、確証度が判定閾値未満であると判定する。このような判定結果は、後述する明示部１６に伝達される。
【００４５】
明示部１６は、検出結果の確証度が判定閾値以上である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する位置を明示すると共に、検出結果の確証度が判定閾値未満である場合に、位置演算部１３の演算結果に基づいて周囲のイメージ画像ＩＡにおいて対応する領域を明示する。検出結果の確証度が判定閾値以上であるか否かは、上述の確証度判定部１２により判定される。第１物体検出部２１及び第２物体検出部２２の検出結果に基づく周囲のイメージ画像ＩＡでの対応する位置は、位置演算部１３により演算され伝達される。
【００４６】
上述したように、検出結果の確証度が判定閾値以上である場合には、車両５０から見た物体の方向及び距離の正確度が高いことから、明示部１６はその対応する位置を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値以上である場合に、周囲のイメージ画像ＩＡにおいて対応する位置に指標を表示する。このような指標が、図５において、符号Ｐ１やＰ２として示される。このように、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らず表示される。換言すると、確証度が予め設定された判定閾値以上である場合には、物体の存在を示す指標は区分線７７及び当該区分線７７により区分けされた領域に拘らないで、対応する位置に表示される。
【００４７】
一方、検出結果の確証度が判定閾値未満である場合には、車両５０から見た物体の方向及び距離の正確度が低いことから、明示部１６はその対応する領域を明示する。具体的には、明示部１６は、確証度が予め設定された判定閾値未満である場合に、周囲のイメージ画像ＩＡにおいて対応する領域を着色する。このような着色された領域が、図５において、符号Ｒ１やＲ２として示される。このように、確証度が予め設定された判定閾値未満である場合には、物体の存在を示す領域は区分線７７により区分けされた領域にしたがって表示される。なお、このような明示は、表示画像生成部１７にある周囲イメージ画像生成部１５から伝達された周囲のイメージ画像ＩＡに対して施される。
【００４８】
表示画像生成部１７は、モニタ１８に表示する表示画像を生成する。表示画像は、車両イメージ画像生成部１４により生成された車両５０のイメージ画像ＩＣ及び周囲イメージ画像生成部１５により生成された周囲のイメージ画像ＩＡである。この周囲のイメージ画像ＩＡに重畳して明示された指標や領域の着色も含まれる。このような表示画像がモニタ１８に伝達され、表示される。このような表示はリアルタイムで行われ、車両５０の移動と共に、又物体の移動と共にモニタ１８に表示される。このように車両５０の周囲に存在する物体をモニタ１８に表示して報知することにより、運転者が直感的に車両５０の周囲の状況を把握できると共に、その正確性も知ることができる。
【００４９】
次に、本車両周辺監視装置１００が物体を検出した場合の報知に関する処理について説明する。図６は、車両周辺監視装置１００の処理に係るフローチャートである。なお、このフローチャートは、処理の一例を示したものであり、処理順序はこれに限定されるものではない。即ち、適宜、処理順序を入れ替えることは当然に可能である。
【００５０】
まず、車両イメージ画像生成部１４が車両５０の上方を視点とする車両５０のイメージ画像ＩＣを生成すると共に、周囲イメージ画像生成部１５が車両５０のイメージ画像ＩＣと同様の視点からの車両５０の周囲のイメージ画像ＩＡを生成する（ステップ＃０１）。
【００５１】
第１物体検出部２１により物体が検出されると共に（ステップ＃０２：第１物体検出部）、第２物体検出部２２でも物体が検出された場合には（ステップ＃０３：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
【００５２】
明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が高いことを知らせることが可能となる。
【００５３】
ステップ＃０２に戻り、第２物体検出部２２により物体が検出されると共に（ステップ＃０２：第２物体検出部）、第１物体検出部２１でも物体が検出された場合には（ステップ＃０７：Ｙｅｓ）、確証度判定部１２がその検出結果の確証度が判定される。確証度判定部１２は、確証度が予め設定された判定閾値以上であれば、即ち、第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係があれば（ステップ＃０４：Ｙｅｓ）、位置演算部１３はこれらの検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する位置を演算する（ステップ＃０５）。
【００５４】
明示部１６は、このように演算された位置を周囲のイメージ画像ＩＡに指標を付して明示する（ステップ＃０６）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の存在を示す報知の確証度が高いことを知らせることが可能となる。
【００５５】
ステップ＃０２において第１物体検出部２１により物体が検出されたにも拘らず（ステップ＃０２：第１物体検出部）、第２物体検出部２２で物体が検出されなかった場合（ステップ＃０３：Ｎｏ）や、ステップ＃０２において第２物体検出部２２により物体が検出されたにも拘らず（ステップ＃０２：第２物体検出部）、第１物体検出部２１で物体が検出されなかった場合（ステップ＃０７：Ｎｏ）や、ステップ＃０４において第１物体検出部２１の検出結果と第２物体検出部２２の検出結果とに相関関係がない場合（ステップ＃０４：Ｎｏ）には、位置演算部１３は夫々の検出結果に基づいて周囲のイメージ画像ＩＡにおける物体の存在する領域を演算する（ステップ＃０８）。
【００５６】
明示部１６は、このように演算された領域を周囲のイメージ画像ＩＡに着色して明示する（ステップ＃０９）。これにより、車両５０の運転者に物体の存在を報知すると共に、当該物体の検出の正確性が低いことを知らせることが可能となる。なお、ステップ＃０２において、第１物体検出部２１及び第２物体検出部２２の双方により物体が検出されない場合には、少なくともいずれか一方から物体が検出されるまで処理を保留しても良いし、車両５０の周囲に物体が存在しない旨の報知を行うように処理しても良い。本車両周辺監視装置１００は、このようなフローチャートに沿って車両５０の運転者に周囲に状況を報知する。
【００５７】
〔その他の実施形態〕
上記実施形態では、物体検出部１１は、第１物体検出部２１及び第２物体検出部２２の２つを備えるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。物体検出部１１は、３つ以上から構成しても良いし、また、１つの物体検出部１１で異なる検出対象が検出可能なものであっても良い。このような物体検出部１１であっても、適切に車両５０からの物体の方向及び車両５０から物体までの距離を検出することが可能である。
【００５８】
上記実施形態では、第２物体検出部２２が、車両５０のフロント部及びリア部に夫々４つずつ備えられるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。第２物体検出部２２は、フロント部及びリア部に夫々３つ以下で構成することも可能であるし、５つ以上で構成することも可能である。もちろん、フロント部及びリア部の夫々を別々の個数で構成することも当然に可能である。また、第２物体検出部２２をフロント部のみ或いはリア部のみ備える構成とすることも当然に可能である。
【００５９】
上記実施形態では、明示部１６による明示が、対応する領域を着色するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。明示部１６による明示は、対応する領域を立体表示するようにしても良い。また、明示部１６による領域の着色は、対応する領域全面を着色しても良いし、その領域の外周部分の区画線７７を着色しても良い。また、着色は半透明表示であっても良い。このような明示であっても、車両５０の運転者に対して適切に車両５０の周囲に存在する物体を報知することは当然に可能である。
【００６０】
上記実施形態では、明示部１６により対応する位置に指標が表示されるとして説明した。しかしながら、本発明に適用範囲はこれに限定されるものではない。例えば、明示部１６による指標の表示は、物体が移動物である場合には、移動予測を行って矢印を付与して良い。このような明示を行うことにより、車両５０の運転者は物体が移動物であることを認識することができると共に、物体の移動方向に対しても注意することが可能となる。
【００６１】
本発明は、車両の周囲に存在する物体を報知する車両周辺監視装置に用いることが可能である。
【符号の説明】
【００６２】
１１：物体検出部
１２：確証度判定部
１３：位置演算部
１４：車両イメージ画像生成部
１５：周囲イメージ画像生成部
１６：明示部
１７：表示画像生成部
１８：モニタ
２１：第１物体検出部
２２：第２物体検出部
【特許請求の範囲】
【請求項１】
車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、
前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、
前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、
前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、
前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、
前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、
を備える車両周辺監視装置。
【請求項２】
前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、
前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定する請求項１に記載の車両周辺監視装置。
【請求項３】
前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出する請求項２に記載の車両周辺監視装置。
【請求項４】
前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
【請求項５】
前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
【請求項６】
前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示する請求項１から５のいずれか一項に記載の車両周辺監視装置。
【請求項７】
前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色する請求項１から６のいずれか一項に記載の車両周辺監視装置。
【請求項１】
車両に備えられ、前記車両の周囲の物体を検出する物体検出部と、
前記車両の上方を視点とする前記車両のイメージ画像を生成する車両イメージ画像生成部と、
前記車両のイメージ画像の周囲に複数の領域に区分けされた、前記視点からの前記車両の周囲のイメージ画像を生成する周囲イメージ画像生成部と、
前記物体検出部の検出結果に基づいて前記周囲のイメージ画像において対応する位置を演算する位置演算部と、
前記物体検出部により検出された検出結果の確証度が予め設定された判定閾値以上であるか否かを判定する確証度判定部と、
前記検出結果の確証度が前記判定閾値以上である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する位置を明示すると共に、前記検出結果の確証度が前記判定閾値未満である場合に、前記位置演算部の演算結果に基づいて前記周囲のイメージ画像において対応する領域を明示する明示部と、
を備える車両周辺監視装置。
【請求項２】
前記物体検出部は、検出方法が異なる複数の物体検出部から構成され、
前記確証度判定部は、前記複数の物体検出部のうち少なくとも２つの物体検出部の検出結果に相関関係がある場合に前記確証度が前記判定閾値以上であると判定する請求項１に記載の車両周辺監視装置。
【請求項３】
前記少なくとも２つの物体検出部が、第１物体検出部と第２物体検出部とを備え、前記第１物体検出部が前記車両からの前記物体が存在する方向を検出し、前記第２物体検出部が少なくとも前記車両から予め設定された所定の角度で規定される検出範囲内に存在する前記物体までの距離を検出する請求項２に記載の車両周辺監視装置。
【請求項４】
前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
前記確証度判定部は、前記第１物体検出部により検出された前記方向が、前記車両から所定の距離に存在する物体を検出した前記第２物体検出部の検出範囲内に含まれる場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
【請求項５】
前記第１物体検出部は、前記車両の周囲の状況を撮影して取得した撮像画像に含まれる物体を画像認識により検出して前記方向を検出すると共に、
前記第２物体検出部は、前記検出範囲内に送信された送信波と当該送信波が物体に当たって反射する反射波との差に基づいて前記距離を検出し、
前記確証度判定部は、前記第１物体検出部により取得された撮像画像に含まれる物体と前記車両との距離を画像認識により演算し、当該演算の結果と前記第２物体検出部により検出された前記距離が略一致する場合に前記相関関係があるとして前記確証度が判定閾値以上であると判定する請求項３に記載の車両周辺監視装置。
【請求項６】
前記明示部は、前記確証度が予め設定された判定閾値以上である場合に、前記周囲のイメージ画像において対応する位置に指標を表示する請求項１から５のいずれか一項に記載の車両周辺監視装置。
【請求項７】
前記明示部は、前記確証度が予め設定された判定閾値未満である場合に、前記周囲のイメージ画像において対応する領域を着色する請求項１から６のいずれか一項に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１７５４８５（Ｐ２０１１−１７５４８５Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３９３１７（Ｐ２０１０−３９３１７）
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]