車両周囲監視装置および車両周囲監視方法
【課題】車両周囲の障害物の状態をより正確に把握することができる車両周囲監視装置および車両周囲監視方法を提供すること。
【解決手段】車両周囲監視装置１００は、自車両の一部を含む車両周囲を撮像するカメラ１１０と、車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する障害物検出部１２０と、カメラ１１０によって撮像された撮像画像と、障害物検出部１２０によって算出された距離を示す障害物表示画像とを１つの画面に表示するモニタ１８０とを有する。
【解決手段】車両周囲監視装置１００は、自車両の一部を含む車両周囲を撮像するカメラ１１０と、車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する障害物検出部１２０と、カメラ１１０によって撮像された撮像画像と、障害物検出部１２０によって算出された距離を示す障害物表示画像とを１つの画面に表示するモニタ１８０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲の状況を監視する車両周囲監視装置および車両周囲監視方法に係り、特に、車両の周囲の撮像画像を少なくとも表示する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方（以下適宜「後方」と総称する）をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲監視装置の普及が進んでいる。このような車両周囲監視装置を用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
【０００３】
目視での確認がしにくい範囲は、例えば、車両後方の水平方向略１８０度の範囲と比較的広い。したがって、車両周囲監視装置は、比較的広い画角で撮像した画像をモニタに表示させる必要がある。
【０００４】
ところが、カメラ画像の画角が広ければ広いほど、障害物のモニタ上での大きさが小さくなり、運転者がモニタ上で障害物を視認することが難しくなる。
【０００５】
そこで、障害物を拡大表示させる技術が、例えば特許文献１に記載されている。特許文献１記載の装置は、車両後方の障害物を検出し、検出した障害物と車両との間の距離を算出する。そして、特許文献１記載の装置は、算出された距離が所定距離以下のとき、車両後方の画像のうち、その障害物を含む車両側の所定領域の範囲を拡大表示させる。これにより、車両に対して所定距離以下に接近している障害物を、モニタ上で視認し易くなる。
【０００６】
また、障害物の撮像画像における障害物の位置を、撮像画像に重ね合わせて表示する技術が、例えば特許文献２に記載されている。この技術により、運転者がモニタ上で障害物を視認し易くなる。
【特許文献１】特開２００４−２６０４４９号公報
【特許文献２】特開２００２−２９３４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、広い画角で撮像された画像をモニタ上に表示する場合、モニタ上の画像は、画面の外縁に近い部分で大きく歪み、目視で得られる実際の車両周囲の画像とは大きく異なる。したがって、特許文献１および特許文献２記載の技術では、特に画面の外縁に位置する障害物に対して、自車両との距離や自車両に接近してくる方向および速度などの障害物の状態を、運転者が把握しにくいという問題がある。
【０００８】
例えば、駐車場の壁など、止まっているものに対して車両がゆっくりと近付いていくような場合には、特許文献１および特許文献２記載の技術でも大きな問題は無い。ところが、歩行者や他の車両が障害物として接近してくるような場合には、これらの障害物の状態をより正確に把握しなければ、運転者は正しい判断を行うことができず、適切な運転を行うことが難しい。一方で、画像の歪みを低減するべく狭い画角の撮像映像に切り替えることも考えられるが、表示対象範囲が狭くなり、新たな障害物の接近をモニタ画面から認識することができなくなる。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、車両周囲の障害物の状態をより正確に把握することができる車両周囲監視装置および車両周囲監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の車両周囲監視装置は、自車両の一部を含む車両周囲を撮像する撮像手段と、前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出する障害物検出手段と、前記撮像手段によって撮像された撮像画像と、前記障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する表示手段と、を有する構成を採る。
【００１１】
このように構成された車両周囲監視装置は、自車両のバンパーなど自車両の一部を含んだ車両周囲の画像を撮像手段で撮像すると共に、車両周囲に位置する障害物を検出し、検出された障害物と自車両との間の距離を障害物検出手段で算出し、撮像画像と算出した障害物と自車両との距離を示す障害物表示画像を１つの画面に表示することができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。
【００１２】
本発明の車両周囲監視装置は、前記障害物検出手段が、前記撮像手段によって撮像された撮像画像から前記車両周囲に位置する障害物を検出する画像障害物検出手段と、前記画像障害物検出手段とは別に前記車両周囲に位置する障害物を検出するセンサと、を有し、前記画像障害物検出手段による検出結果と前記センサによる検出結果とから、前記障害物と自車両との距離を算出する構成を採る。
【００１３】
このように構成された車両周囲監視装置は、撮像手段で撮影された画像から障害物を検出すると共に、センサを用いて車両周囲の障害物を検出し、検出される障害物の位置の精度を向上させることができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。
【００１４】
本発明の車両周囲監視装置の前記障害物表示画像は、前記障害物を示すアイコンを含み、前記表示手段は、前記障害物表示画像における前記アイコンの表示位置を、前記距離に応じて変更する構成を有している。
【００１５】
このように構成された車両周囲監視装置は、障害物をアイコンで示し、障害物表示画像におけるアイコンの表示位置を自車両と障害物の距離応じて変更することができるように構成されている。
【００１６】
本発明の車両周囲監視装置は、前記障害物検出手段によって算出された距離に基づいて障害物の移動状態を検出する障害物移動検出手段を更に有し、前記障害物表示画像は、前記障害物移動検出手段によって検出された移動状態を示す構成を有している。
【００１７】
このように構成された車両周囲監視装置は、障害物検出手段で算出された距離から障害物の移動状態を障害物移動検出手段で検出し、検出された移動状態を障害物表示画像に示すように構成されている。
【００１８】
本発明の車両周囲監視装置は、前記障害物移動検出手段が、前記障害物の前記自車両への接近方向を検出し、前記表示手段が、前記アイコンの表示位置を、前記接近方向に応じて変更する構成を有している。
【００１９】
このように構成された本発明の車両周囲監視装置は、障害物移動検出手段で障害物が自車両のどの方向から接近しているのか検出し、検出された方向に応じてアイコンの表示位置を変更することで、自車両に対してどの方向から接近しているのか簡単に把握することができる。
【００２０】
本発明の車両周囲監視装置の前記障害物移動検出手段は、前記障害物の前記自車両への接近速度または到達時間の少なくとも１つを検出し、前記表示手段は、前記アイコンの表示位置を、前記障害物移動検出手段の検出結果に基づいて変更する構成を有している。
【００２１】
このように構成された本発明の車両周囲監視装置は、障害物移動検出手段で、自車両に接近している障害物の接近速度または到達時間の少なくとも一方を検出し、その検出結果に基づいてアイコンの表示位置を変更することで、障害物が自車両に対して接近している速度や到達時間を簡単に把握することができる。
【００２２】
本発明の車両周囲監視装置の前記表示手段は、前記撮像画像における前記自車両の左右方向と、前記障害物表示画像における前記自車両の左右方向とを一致させると共に、前記撮影画像および前記障害物表示画像を上下に並べて表示する構成を有している。
【００２３】
このように構成された本発明の車両周囲監視装置の前記表示手段は、撮像画像における自車両の左右方向と、障害物表示画像に表示された自車両の左右方向を一致させ、撮像画像と障害物表示画像を上下に並べて表示することで、自車両に接近している障害物を簡単に把握することができる。
【００２４】
本発明の車両周囲監視装置の前記障害物検出手段は、前記自車両の左側方または右側方の少なくとも一方を検出範囲とする構成を有している。
【００２５】
このように構成された本発明の車両周囲監視装置の障害物検出手段は、自車両の左側方または右側方の少なくとも一方を検出範囲とすることで、車両周囲側方にある障害物を簡単に検出することができる。
【００２６】
本発明の車両周囲監視装置の前記表示手段は、前記障害物検出手段の検出結果に基づいて前記撮像画像の画像変換を行う画像変換手段を更に有する構成を有している。
【００２７】
このように構成された本発明の車両周囲監視装置の表示手段は、障害物検出手段の検出結果に基づいて撮像画像の画像変換を行う画像変換手段を備えることで、障害物の接近に応じて適切な画像に変換することができる。
【００２８】
本発明の車両周囲監視装置の前記画像変換手段は、前記障害物の接近方向に応じて前記撮像画像における前記障害物の接近方向の範囲を拡大する画像変換を行う構成を有している。
【００２９】
このように構成された本発明の車両周囲監視装置の画像変換手段は、障害物の接近方向に応じて撮像画像における接近方向の画像の範囲を拡大することができるので、障害物が自車両に接近してきていることを簡単に把握することができる。
【００３０】
本発明の車両周囲監視装置の前記画像変換手段は、予め決められた画像変換テーブルを少なくとも１つ以上備え、前記画像変換テーブルに基づいて画像変換する構成を有している。
【００３１】
このように構成された本発明の車両周囲監視装置の前記画像変換手段は、予め決められた画像変換テーブルを少なくとも１つ以上備え、この画像変換テーブルに基づいて画像変換することができる。特に、障害物の接近方向、接近速度、到達時間毎に複数の画像変換テーブルを備えることで、適切に障害物を拡大して表示することができる。
【００３２】
本発明の車両周囲監視装置は、前記障害物検出手段の検出結果に基づいて所定の通知を行う通知手段を備える構成を有している。
【００３３】
このように構成された本発明の車両周囲監視装置は、障害物検出手段の検出結果に基づいて、警告灯の点滅や、音声出力、振動伝達などによる所定の通知を行う通知手段を備えることで、障害物の接近に応じて障害物表示画像に表示されるアイコンと共に障害物に関する情報を通知手段を用いて通知することができる。
【００３４】
本発明の車両周囲監視方法は、自車両の一部を含む車両周囲を撮像するステップと、前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出するステップと、撮影した画像と検出した前記距離を示す障害物表示画像とを１つの画面に表示するステップと、を有する方法である。
【発明の効果】
【００３５】
本発明によれば、車両周囲の撮像映像と、障害物と自車両との距離を少なくとも含む障害物の状態を示す情報とを、１つの画面に表示することができるので、車両周囲の障害物の状態をより正確に把握することができる。また、自車両に対する障害物の接近方向、接近速度、到達時間の少なくとも１つ以上の情報を正確に把握することができる。また、障害物の接近方向、接近距離、到達時間の少なくとも一つに応じて撮像映像における障害物周辺を拡大するように変換するように構成していると共に、障害物の状態を示す情報を同時に表示しているので、自車両に接近してきている障害物を簡単に把握することができる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００３７】
図１は、本発明の一実施の形態に係る車両周囲監視装置のシステム構成図である。なお、本実施の形態に係る車両周囲監視装置は、乗用車の後方の障害物を監視するためのリアビューモニタに本発明を適用した例として説明する。
【００３８】
図１において、車両周囲監視装置１００は、大別して、カメラ１１０、障害物検出部１２０、画像変換表示制御部１３０、マッピングテーブル記憶部１４０、表示切替部１５０、障害物状態計算部１６０、障害物状態表示制御部１７０、およびモニタ１８０から構成されている。
【００３９】
カメラ１１０は、撮像部１１１と、フレームメモリ１１２を有するフレーム切替部１１３とから構成されている。ここで、撮像部１１１は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide）などの撮像素子と、撮像素子の撮像面に光学像を結像させる光学系とを有する（いずれも図示せず）。また、撮像部１１１は、撮影した画像をフレームメモリ１１２に出力するように構成されている。フレームメモリ１１２は、撮像部１１１で撮像した画像を一時的に格納するメモリである。フレーム切替部１１３は、撮像部１１１で撮影した画像の入力先を各フレームメモリ１１２に切り替えることができ、また、画像変換表示制御部１３０に出力する画像の参照先であるフレームメモリ１１２を切り替えることができるように構成されている。なお、撮像素子としてＣＭＯＳを採用する場合には、撮像素子にフレームメモリ１１２の機能を持たせるようにしてもよい。
【００４０】
図２は、図１の車両周囲監視装置のカメラ１１０、障害物検出部１２０を構成する、右ＵＷＢレーダー１２１、および左ＵＷＢレーダー１２２の取り付け位置の一例を示す図である。本実施の形態では、図２に示すように、カメラ１１０は、車両２００（自車両、以下同様）の後部中央に設けられており、車両２００後部のバンパーを含む車両２００後方を撮像する。障害物検出部１２０は、自車両の左右側方の障害物と、その障害物と自車両との距離（以下「障害物距離」という）とを検出するために、２つのＵＷＢレーダー１２１、１２２から構成されている。本実施の形態では、図２に示すように、右ＵＷＢレーダー１２１は、車両２００の後部右角部に取り付けられ、左ＵＷＢレーダー１２２は、車両２００の後部左角部に取り付けられている。ＵＷＢレーダーは、電磁波を用いた一種のセンサであり、非常に短い間隔、より具体的には１ｎｓ程度の短パルス信号の送受信により、障害物までの距離を細かい分解能で計測することが可能である。また、ＵＷＢレーダー１２１および左ＵＷＢレーダー１２２は、それぞれ、指向性が高いＵＷＢレーダーであり、障害物検出部１２０の監視範囲のうち、右ＵＷＢレーダー１２１は、車両の後方の正面方向を基準とした右側方の所定の範囲に位置する障害物を検出し、左ＵＷＢレーダー１２２は、車両の後方の正面方向を基準とした左側方の所定の範囲に位置する障害物を検出することができるように構成されている。
【００４１】
なお、本実施の形態では、ＵＷＢレーダーを用いる場合を例にとって説明するが、障害物検出部１２０の構成はこれに限定されない。例えば、障害物検出部１２０として、同様に障害物を検出できる他の赤外線センサや超音波センサなどを用いることができる。
【００４２】
また、本実施の形態では、図２に示すように、カメラ１１０の撮像範囲２１０は、水平方向に車両２００の後方正面を中心とする略１８０度の範囲とし、右ＵＷＢレーダー１２１の検出範囲２２１は、車両２００の後方右側方に伸びた範囲とし、左ＵＷＢレーダー１２２の検出範囲２２２は、車両２００の後方左側方に伸びた範囲としてそれぞれ説明する。なお、ここでは、カメラ１１０の撮像範囲２１０を、水平方向における画角により示している。また、撮像範囲２１０と、検出範囲２２１、２２２とは、一部重なっているが、検出範囲２２１、２２２のほうがより側方側にはみ出した状態となっている。これにより、車両２００の側方から接近してくる障害物を、その障害物が撮像範囲２１０に入る前に、右ＵＷＢレーダー１２１または左ＵＷＢレーダー１２２で検出することができる。
【００４３】
画像変換表示制御部１３０は、カメラ１１０のフレームメモリ１１２に格納された画像を参照し、フレームメモリ１１２に格納された画像を、後述するマッピングテーブル記憶部１４０に格納されたマッピングテーブルに従ってマッピングするように構成されている。画像変換表示制御部１３０は、マッピングテーブル参照部１３１、画像変換部１３２、映像信号生成部１３３、およびタイミング生成部１３４から構成されている。
【００４４】
マッピングテーブル参照部１３１は、後述する画像変換部１３２が使用すべきマッピングテーブルを一時的に格納する。マッピングテーブル参照部１３１は、格納するマッピングテーブルを参照し、マッピングが行われた結果として得られる画像（以下「合成画像」という）の各画素に対して、マッピングデータを生成する。マッピングデータは、合成画像の各画素が、フレームメモリ１１２に格納された合成前の画像のどの画素に対応するかを示すデータである。また、マッピングテーブル参照部１３１は、生成したマッピングデータを画像変換部１３２に出力するように構成されている。
【００４５】
画像変換部１３２は、カメラ１１０のフレームメモリ１１２に格納された画像を参照し、マッピングテーブル参照部１３１に格納されたマッピングテーブルを適用して、フレーム単位の合成画像を生成することができるように構成されている。具体的には、画像変換部１３２は、マッピングテーブル参照部１３１から出力されるマッピングデータに従って、フレームメモリ１１２に格納された画像を読み取り、読み取った画像のマッピングを行う。
【００４６】
映像信号生成部１３３は、画像変換部１３２で生成されたフレームごとの合成画像から、動画系列を表示するための第１の映像信号を生成するように構成されている。すなわち、第１の映像信号は、カメラ１１０で撮影した撮影画像に基づくものである。
【００４７】
タイミング生成部１３４は、フレーム切替部１１３が接続状態を切り替えるタイミングと、マッピングテーブル参照部１３１が画素ごとのマッピングデータを出力するタイミングと、映像信号生成部１３３の動作タイミングとを制御するタイミング信号を生成するように構成されている。
【００４８】
マッピングテーブル記憶部１４０は、画像変換表示制御部１３０で使用されるマッピングテーブルが予め記憶されて構成されている。なお、本実施の形態では、マッピングテーブル記憶部１４０には、カメラ１１０で撮像された画像（以下「カメラ画像」という）のうち車両の後方正面に対応する範囲を拡大させる第１のマッピングテーブルと、カメラ画像のうち車両の側方に対応する範囲を拡大させる第２のマッピングテーブルとを予め記憶しているものとして説明する。また、マッピングテーブル記憶部１４０に複数のマッピングテーブルを備える構成として、周囲の環境に応じてそれぞれのマッピングテーブルを用いるようにしてもよい。
【００４９】
表示切替部１５０は、車両側方からの障害物の接近の有無に応じて、マッピングテーブル記憶部１４０に格納されたマッピングテーブルの中から、カメラ画像に適用するマッピングテーブルを選択して切り替えることができるように構成されている。具体的には、表示切替部１５０は、障害物検出部１２０によって車両の側方に位置する障害物が検出されていない場合には、第１のマッピングテーブルを選択し、障害物検出部１２０によって車両の側方に位置する障害物が検出されている場合には、第２のマッピングテーブルを選択するように構成されている。なお、マッピングテーブルの選択基準は、上記内容に限定されない。例えば、車両の側方で障害物が検出された場合であっても、その障害物距離が長い場合には、衝突の危険性は少ないものとして、第1のマッピングテーブルを選択するようにしてもよい。
【００５０】
障害物状態計算部１６０は、障害物検出部１２０によって検出された障害物距離に基づいて、障害物距離以外の障害物の状態に関する情報であって、特に障害物の移動状態を示す情報（以下「障害物状態情報」という）を計算し、この計算結果および障害物距離を出力することができるように構成されている。障害物状態情報としては、例えば、障害物の自車両への接近方向（以下単に「接近方向」という）、障害物の自車両への接近速度（以下単に「接近速度」という）、障害物が自車両に到達するまでの予定時間（以下「到達時間」という）を含むことができる。ここで、例えば、接近方向は、方角などの車両以外のものを基準とした方向でもよいが、監視範囲が自車両の後方正面を基準としていることから、自車両の後方正面を基準とした方向であることが望ましい。また、接近速度は、例えば地面などの車両以外のものに対する相対速度でもよいが、衝突の危険性の度合いは自車両と障害物との相対速度に関係していること、および到達時間の算出の便宜から、自車両に対する相対速度であることが望ましい。
【００５１】
障害物状態表示制御部１７０は、障害物状態計算部１６０から出力される障害物距離および障害物状態情報に基づいて、障害物距離および障害物状態情報を一つの画像で表す障害物表示画像を生成し、生成した障害物表示画像の動画系列を表示させるための第２の映像信号を生成することができるように構成されている。すなわち、第２の映像信号は、障害物検出部１２０の検出結果に基づくものである。障害物表示画像は、例えば、障害物を示すアイコンなどを含んでいる。
【００５２】
モニタ１８０は、任意のディスプレイから構成されており、画像変換表示制御部１３０で生成された第１の映像信号と、障害物状態表示制御部１７０で生成された第２の映像信号とに基づいて、撮影画像に基づく合成画像と、障害物検出結果に基づく障害物表示画像（障害物を示すアイコンなどを含む）とを一つの画面に表示することができるように構成されている。
【００５３】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（central processing unit）や、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどを有する。例えば、ＣＰＵが制御プログラムを実行することで、上記した各部の機能は実現される。
【００５４】
次に、このように構成された車両周囲監視装置１００の動作について説明する。
【００５５】
まず、車両が後退するときの障害物の接近パターンごとに、車両周囲監視装置１００の動作の概要について説明する。
【００５６】
図２に示すように、車両周囲監視装置１００を搭載した車両が後方に下がるとき、右ＵＷＢレーダー１２１は右側方、左ＵＷＢレーダー１２２は左側方を監視し、カメラ１１０は後方を撮影している。
【００５７】
まず、第１の接近パターンとして、車両の左右方向から障害物が接近してきていないとき、最も注意して監視すべき方向は、車両の進行方向、つまり車両の後方正面である。したがって、右ＵＷＢレーダー１２１および左ＵＷＢレーダー１２２から障害物が検出されていないときは、表示切替部１５０は、車両の後方正面に対応する範囲を拡大させる第１のマッピングテーブルを選択する。この結果、画像変換表示制御部１３０は、車両の後方正面に対応する範囲を拡大させた映像をモニタ１８０に表示させる。
【００５８】
また、車両の左右方向から障害物が接近してきていないとき、障害物状態計算部１６０は、障害物が検出されていないため、障害物状態情報を出力しない。この結果、障害物状態表示制御部１７０は、車両を上方から見たときの車両の位置を示すアイコン（以下「車両アイコン」という）のみを配置した障害物表示画像の映像をモニタ１８０に表示させる。
【００５９】
図３は、車両の左右方向から障害物が接近してきていないときの、モニタ１８０の画面状態の一例を示す図である。
【００６０】
図３に示すように、モニタ１８０の表示画面３００には、合成画像３１０と、障害物表示画像３２０とが上下に並べて１画面に表示される。具体的には、モニタ１８０は、合成画像３１０における車両の左右方向と、障害物表示画像３２０における前記車両の左右方向とを揃え、かつ車両２００の後方正面の横位置を揃えた状態で、合成画像３１０および障害物表示画像３２０が表示される。合成画像３１０は、画像変換部１３２により構成され、障害物表示画像３２０は、障害物状態表示制御部１７０により構成される。
【００６１】
この場合、合成画像３１０は、車両の後方正面に対応する範囲が拡大され、車両の後方正面からの障害物の接近などをより認識し易い状態となっている。また、障害物表示画像３２０には、車両アイコン３２１のみが配置される。運転者は、このような表示画面３００を見ることにより、合成画像３１０のみならず、障害物表示画像３２０からも、車両側方からの障害物の接近が無いことを確認することができる。
【００６２】
また、第２の接近パターンとして、車両の左右方向のいずれか一方から障害物が接近してきたとき、最も注意して監視すべき方向は、障害物の接近方向、つまり車両の両側方のうちの障害物が接近してくる側である。したがって、右ＵＷＢレーダー１２１または左ＵＷＢレーダー１２２から障害物が検出されたときは、表示切替部１５０は、車両の側方に対応する範囲を拡大させる第２のマッピングテーブルを選択する。この結果、画像変換表示制御部１３０は、車両の側方に対応する範囲を拡大させた映像をモニタ１８０に表示させる。もちろん、これは、車両の左右方向の両方から障害物が接近してきたときも同様である。
【００６３】
また、車両の左右方向のいずれか一方または両方から障害物が接近してきたとき、障害物状態計算部１６０は、障害物が検出されていることから、障害物状態情報を出力する。この結果、障害物状態表示制御部１７０は、車両アイコンと併せて、車両を上方から見たときの障害物の位置を示すアイコン（以下「障害物アイコン」という）を配置した障害物表示画像の映像をモニタ１８０に表示させる。
【００６４】
図４は、車両の左右方向の一方または両方から障害物が接近してきているときの、モニタ１８０の画面状態の一例を示す図である。
【００６５】
この場合、図４に示すように、合成画像３１０は、車両の両側方に対応する範囲が拡大され、車両側方からの障害物の接近などをより認識し易い状態となっている。また、障害物表示画像３２０には、車両アイコン３２１と併せて、障害物アイコン３２２が配置される。障害物アイコン３２２は、障害物３１１の障害物距離、接近方向、接近速度、および到達時間を、車両アイコン３２１に対する位置、形状、大きさ、および色によって示している。ここでは、第２のマッピングテーブルが適用された状態で、車両の右側方から他の車両である障害物３１１が接近し、車両の左側方から歩行者である障害物３１１が接近してきているときの合成画像３１０を示している。
【００６６】
図４から分かるように、側方に位置する障害物の障害物距離は、合成画像３１０からは判別しにくい。例えば、図４の合成画像３１０の端に映っている障害物３１１は、一見すると自車両に対して遠くに位置するように見えるが、実際にはかなり近い場所まで自車両に接近している。また、このように障害物距離を判別しにくい場合、接近速度や到達速度も判別しにくい。したがって、運転者は、障害物表示画像３２０を合成画像３１０と併せて見ることにより、障害物の障害物距離、接近方向、接近速度、および到達時間をより正確に認識することができる。
【００６７】
次に、車両周囲監視装置１００の動作の詳細について説明する。
【００６８】
図５は、車両周囲監視装置１００の動作の一例を示すフローチャートである。初期状態では、表示切替部１５０は、第１のマッピングテーブルをマッピングテーブル参照部１３１に設定している。
【００６９】
まず、ステップＳ１１００で、車両周囲監視装置１００は、モニタ１８０を通常画面表示状態にする。通常画面表示状態は、ナビゲーションシステムやテレビジョン受信機などの画面を表示させる状態である。
【００７０】
そして、ステップＳ１２００で、車両周囲監視装置１００は、車両のギアがリバースに設定されたか否か、つまり車両が後退するか否か判断する。車両周囲監視装置１００は、ギアがリバースに設定されていない場合には（Ｓ１２００：ＮＯ）、ステップＳ１１００に戻り、ギアがリバースに設定された場合には（Ｓ１２００：ＹＥＳ）、車両後方の監視を開始すべく、ステップＳ１３００に進む。
【００７１】
ステップＳ１３００で、車両周囲監視装置１００は、初期状態の合成画像を表示する。具体的には、まず、タイミング生成部１３４が、合成画像の動画系列を生成するためのタイミング信号を生成する。そして、このタイミング信号を受けて、カメラ１１０、マッピングテーブル参照部１３１、画像変換部１３２、および映像信号生成部１３３によるフレーム処理が開始される。
【００７２】
図６は、フレーム処理の流れの一例を示すフローチャートである。
【００７３】
まず、ステップＳ３１００で、カメラ１１０は、カメラ画像が書き込まれるフレームメモリ１１２と、画像変換部１３２の参照されるフレームメモリ１１２とを切り替える。
【００７４】
具体的には、カメラ１１０において、フレーム切替部１１３は、撮像部１１１からの画像の入力が完了したフレームメモリ１１２が、画像変換表示制御部１３０による画像の参照先となるように、各フレームメモリ１１２と撮像部１１１との接続状態、および各フレームメモリ１１２と画像変換表示制御部１３０との接続状態を切り替える。これらの接続状態の切り替えタイミングは、画像変換表示制御部１３０から出力されるタイミング信号によって制御される。画像変換部１３２から参照されるカメラ画像の画素の位置は、カメラからの書き込みの順序とは関係無く飛び飛びになる。したがって、このようにフレーム切替部１１３が複数のフレームメモリ１１２を切り替えることにより、書き込みと参照が干渉しないようにすることができる。
【００７５】
そして、ステップＳ３２００で、タイミング生成部１３４は、合成出力のタイミングに合わせて、マッピングテーブル参照部１３１が現在マッピングデータを出力すべき合成画像の画素を設定する。タイミング生成部１３４は、ステップＳ３２００で合成画像のフレームの各画素を１つずつ順に選択し、設定する。
【００７６】
そして、ステップＳ３３００で、マッピングテーブル参照部１３１は、ステップＳ３２００で設定された画素に対応する要素を、現在格納しているマッピングテーブルから読み出し、マッピングデータとして画像変換部１３２に出力する。
【００７７】
そして、ステップＳ３４００で、画像変換部１３２は、入力されたマッピングデータに従って、フレームメモリ１１２に記録されたカメラ画像の対応する画素の値を合成し、映像信号生成部１３３に出力する。例えば、画素の値の最も簡単な決定方法は、フレームメモリ１１２の対応する画素データの値をそのまま画素の値とすることである。
【００７８】
そして、ステップＳ３５００で、映像信号生成部１３３は、入力された合成画像の画素の値を映像信号に変換し、映像信号をモニタ１８０に出力する。
【００７９】
そして、ステップＳ３６００で、タイミング生成部１３４は、合成画像のフレームの最終画素に対する処理が完了したか否かを判断する。タイミング生成部１３４は、最終画素に対する処理がまだ終了していない場合は（Ｓ３６００：ＮＯ）、ステップＳ３７００に進む。
【００８０】
ステップＳ３７００で、タイミング生成部１３４は、次の画素の処理へ移行し、ステップＳ３２００に戻る。
【００８１】
そして、車両周囲監視装置１００は、ステップＳ３２００〜Ｓ３６００の処理を繰り返した結果、合成画像のフレームの最終画素に対する処理が完了すると（Ｓ３６００：ＹＥＳ）、図５の処理に戻る。そして、車両周囲監視装置１００は、適宜次のフレームに対するフレーム処理を開始する。
【００８２】
このようなフレーム処理により、車両周囲監視装置１００は、合成画像の映像信号を生成し、合成画像をモニタ１８０に表示させる。
【００８３】
なお、ここでは、フレーム単位で合成処理を行う場合について説明したが、フィールド単位で合成処理を行う場合にも、同様の処理で合成画像を表示させることができる。
【００８４】
そして、図５に戻り、ステップＳ１４００で、障害物状態表示制御部１７０は、初期状態の障害物表示画像を表示する。具体的には、障害物状態表示制御部１７０は、障害物アイコンが無く車両アイコンのみが表示された障害物表示画像の映像信号を生成し、生成した映像信号をモニタ１８０に出力する。
【００８５】
そして、ステップＳ１５００で，車両周囲監視装置１００は、左ＵＷＢレーダー１２２または右ＵＷＢレーダー１２１で障害物を検出しているか否かを判断する。車両周囲監視装置１００は、障害物を検出していない場合には（Ｓ１５００：ＮＯ）、ステップＳ１３００に戻り、障害物を検出している場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００に進む。
【００８６】
図７は、ＵＷＢレーダー１２１、１２２が障害物を検出する様子を示す図である。
【００８７】
図７に示すように、例えば、右ＵＷＢレーダー１２１は、ＵＷＢ信号を送信する送信アンテナ１２１ｔと、障害物３１１で反射して戻ってきたＵＷＢ信号を受信する受信アンテナ１２１ｒとを有する。送信されるＵＷＢ信号はパルス状であり、これに対応して受信されるＵＷＢ信号もパルス状となる。したがって、右ＵＷＢレーダー１２１における送信パルスから受信パルスまでの時間が、右ＵＷＢレーダー１２１から障害物３１１までのＵＷＢ信号の往復時間となる。
【００８８】
図８は、受信パルスの波形の一例を示す図である。図中、横軸は、送信パルスの送信時刻からの経過時間、つまりＵＷＢ信号の往復時間を示し、縦軸は、受信パルスの振幅電圧を示す。
【００８９】
図８に示すように、受信パルス３３０は、受信されるＵＷＢ信号３４０の波形のピークとなる。したがって、受信パルス３３０および受信パルス３３０の受信時刻は、受信されるＵＷＢ信号の波形のピークを検出することにより、検出することができる。
【００９０】
ＵＷＢレーダー１２１、１２２は、ＵＷＢ信号の障害物３１１までの往復時間の半分、つまり送信パルスから受信パルスまでの時間の半分に、ＵＷＢ信号の伝播速度を乗ずることにより、障害物距離を計算する。具体的には、障害物距離ｒは、ＵＷＢ信号の障害物３１１までの往復時間をｔ、光速度をｃと置くと、以下の式（１）を用いて算出することができる。
【数１】
【００９１】
なお、障害物距離の計算は、障害物状態計算部１６０で行うようにしてもよい。この場合には、例えば、ＵＷＢレーダー１２１、１２２が、送信パルスの送信時刻および受信パルスの受信時刻の全てを障害物状態計算部１６０に出力し、障害物状態計算部１６０が、受信パルスが受信されるごとに、その受信パルスの受信時刻と直前の送信パルスの送信時刻とから障害物距離を算出すればよい。
【００９２】
図５に戻り、ステップＳ１６００で、障害物状態計算部１６０は、障害物状態情報を計算する。具体的には、障害物状態計算部１６０は、接近方向、接近速度、および到達時間を計算し、計算結果と障害物距離とを、障害物状態表示制御部１７０に出力する。
【００９３】
具体的には、障害物状態計算部１６０は、右ＵＷＢレーダー１２１と左ＵＷＢレーダー１２２のどちらで障害物が検出されたかによって、接近方向を計算する。また、障害物状態計算部１６０は、異なる時刻で検出された２つの障害物距離の差分を時間差で除算したり、障害物距離の時間微分をとることによって、接近速度を計算する。更に、障害物状態計算部１６０は、障害物距離を接近速度で除算することによって、到達時間を計算する。
【００９４】
図９は、障害物状態計算部１６０における接近速度および到達時間の計算の手法の一例を示す図である。図中、横軸は時刻Ｔ［ｓ］を示し、縦軸は障害物距離Ｄ［ｍ］を示す。
【００９５】
まず、障害物状態計算部１６０は、過去ｎ回分の障害物が検出された時刻Ｔおよびそれぞれの時刻Ｔにおける障害物距離Ｄを、障害物の移動データとして常に記憶する。図９において、障害物状態計算部１６０が記憶する移動データをプロット３５０で示す。
【００９６】
そして、障害物状態計算部１６０は、検出結果の描く軌跡として、移動データを近似する近似直線３６０を算出し、算出した近似直線３６０の傾きを接近速度として取得する。近似直線３６０は、傾きをａ、切片をｂとすると、以下の式（２）で表わすことができる。
【数２】
【００９７】
この近似直線３６０は、例えば、最小自乗法によって求めることができる。この場合、例えば、過去ｎ回で検出された障害物距離Ｄをｙｉ（ｉ＝１、２、・・・、ｎ）、それぞれの障害物距離Ｄの検出時刻Ｔをｘｉ（ｉ＝１、２、・・・、ｎ）とした場合、上記した式（２）の、傾きａおよび切片ｂは、以下の式（３）および式（４）により算出することができる。
【数３】
【数４】
【００９８】
この近似直線３６０が、現在の時刻Ｔ０以降の障害物の移動についても近似すると仮定すると、障害物の車両への到達時刻Ｔ１は、障害物距離Ｄ＝０となる時刻である。したがって、現在時刻Ｔ０を時刻Ｔの原点と置いたとき、到達時間、つまり車両と障害物との衝突までの時間ＴＴＣ（time to collision）は、以下の式（５）により算出することができる。
【数５】
【００９９】
なお、本説明では、障害物検知部１２０を構成する手段に、障害物までの距離だけを出力する能力を有するUWBレーダーを用いた場合について説明したが、これに限定されるものではない。例えば、ＦＭ−ＣＷ（frequency modulated continuous wave）方式のレーダーのように、障害物までの距離と、その障害物が存在する方向における障害物と自車両との相対速度（以下「相対速度」という）を同時に出力する能力を有する手段を用いることもできる。この場合には、障害物までの距離D、障害物が近づいてくる場合の相対速度をVとすると、車両と障害物との衝突までの時間ＴＴＣは、以下の式（６）により算出することができる。
【数６】
【０１００】
なお、障害物状態計算部１６０は、車両の両側方から同時に障害物が接近してくる場合もあるため、障害物距離、接近速度、および到達時間を、接近方向に対応付けて出力する。
【０１０１】
そして、図５に戻り、ステップＳ１７００で、障害物状態表示制御部１７０は、入力された障害物距離から、障害物アイコンの貼り付け位置を計算する。
【０１０２】
具体的には、障害物状態表示制御部１７０は、障害物の接近方向が右側方の場合には車両アイコンの右側に、障害物の接近方向が左側方の場合には車両アイコンの左側に、障害物アイコンをそれぞれ配置する。また、障害物状態表示制御部１７０は、車両アイコンからの距離を障害物距離に対応させて、障害物アイコンの位置を決定する。また、障害物状態表示制御部１７０は、接近速度が正の値、つまり障害物が車両に接近している場合には、車両アイコンの側に向く矢印を障害物アイコンの形状に決定し、接近速度が負の値、つまり障害物が車両から離れていく場合には、障害物アイコンの表示を削除する。また、障害物状態表示制御部１７０は、接近速度の絶対値の大きさに応じて、障害物アイコンの大きさを決定する。更に、障害物状態表示制御部１７０は、到達時間に応じて、障害物アイコンの色を決定する。
【０１０３】
図１０は、障害物状態表示制御部１７０が障害物アイコンの位置を決定するのに用いる位置決定用テーブルの内容の一例を示す図である。
【０１０４】
図１０に示すように、位置決定用テーブル４１０は、左ＵＷＢレーダー１２１と右ＵＷＢレーダー１２２とに分けて、障害物距離４１１と、障害物アイコンの画面貼り付け位置４１２とを記述している。障害物距離４１１は、障害物距離の区分を示す。障害物アイコンの画面貼り付け位置４１２は、障害物表示画像の座標系における座標で、障害物アイコンを貼り付ける位置を規定する。
【０１０５】
例えば、位置決定用テーブル４１０には、左ＵＷＢレーダー１２２に関して、「５〜１０ｍ」という障害物距離４１１に対応して、「（ｘ２，ｙ）」という障害物アイコンの画面貼り付け位置４１２が記述されている。これは、左ＵＷＢレーダー１２２で障害物距離が５〜１０ｍの障害物が検出された場合には、障害物表示画像の座標（ｘ２，ｙ）に障害物アイコンを配置することを規定するものである。
【０１０６】
ここでは、障害物距離４１１が短いほど、車両アイコンにより近い位置の座標が設定されている。すなわち、位置決定用テーブル４１０は、障害物距離４１１が短ければ短いほど車両アイコンと障害物アイコンとの距離が短くなるように、障害物アイコンの画面貼り付け位置を規定している。したがって、障害物状態表示制御部１７０は、このような位置決定用テーブル４１０を参照することにより、障害物距離に応じた位置に障害物アイコンの貼り付け位置を決定することができる。
【０１０７】
そして、図５に戻り、ステップＳ１８００で、障害物状態表示制御部１７０は、入力された到達時間から、障害物アイコンの種類（形状および色など）を選択する。
【０１０８】
図１１は、障害物状態表示制御部１７０が障害物アイコンの色を決定するのに用いる色決定用テーブルの内容の一例を示す図である。
【０１０９】
図１１に示すように、色決定用テーブル４２０は、到達時間４２１と、障害物アイコンの色４２２とを記述している。到達時間４２１は、到達時間の区分を示す。障害物アイコンの色４２２は、障害物表示画像における障害物アイコンの色を規定する。
【０１１０】
例えば、色決定用テーブル４２０には、「３〜４秒」という到達時間４２１に対応して、「黄」という障害物アイコンの色４２２が記述されている。これは、到達時間が３〜４秒の障害物が検出された場合には、対応する障害物アイコンの色を黄色にすることを規定するものである。
【０１１１】
ここでは、到達時間４２１が長い場合には青色、到達時間４２１が中程度の場合には黄色、到達時間４２１が短い場合には赤色が設定されている。すなわち、色決定用テーブル４２０は、到達時間４２１が短ければ短いほどより高度の危険色となるように、障害物アイコンの色を規定している。したがって、障害物状態表示制御部１７０は、このような色決定用テーブル４２０を参照することにより、到達時間に応じた色に障害物アイコンの色を決定することができる。
【０１１２】
そして、図５に戻り、ステップＳ１９００で、障害物状態表示制御部１７０は、ステップＳ１７００で計算した貼り付け位置に、ステップＳ１８００で計算した種類の障害物アイコンを貼り付けてなる障害物表示画像の映像信号を生成し、生成した映像信号をモニタ１８０に出力する。
【０１１３】
そして、ステップＳ２０００で、モニタ１８０は、障害物状態表示制御部１７０で生成された映像信号の入力を受けて、障害物を検出している状態の障害物表示画像を表示する。
【０１１４】
そして、ステップＳ２１００で、車両周囲監視装置１００は、障害物を検出している状態の合成画像を表示する。具体的には、まず、表示切替部１５０が、第２のマッピングテーブルをマッピングテーブル参照部１３１に設定し、タイミング生成部１３４が、合成画像の動画系列を生成するためのタイミング信号を生成する。そして、このタイミング信号を受けて、カメラ１１０、マッピングテーブル参照部１３１、画像変換部１３２、および映像信号生成部１３３によるフレーム処理が開始される。このフレーム処理は、図５で説明したフレーム処理と同様である。
【０１１５】
そして、ステップＳ２２００で、車両周囲監視装置１００は、処理を継続するか否かを判断し、継続する場合には（Ｓ２２００：ＹＥＳ）、ステップＳ１１００に戻り、継続しない場合には（Ｓ２２００：ＮＯ）、一連の処理を終了する。
【０１１６】
このような動作により、車両周囲監視装置１００は、車両後方を撮像したカメラ映像と、障害物距離と、接近方向、接近速度、および到達時間を含む障害物状態情報とを、１つの画面に表示することができる。また、車両周囲監視装置１００は、逐次、表示内容を最新の情報に基づいたものに更新するため、これらの情報をリアルタイムで運転者に提示することができる。
【０１１７】
なお、カメラの監視範囲全体において障害物を検出できるように、車両の両側方のみではなく、後方正面に対応する範囲をも障害物の検出範囲とするようにしてもよい。また、車両の後退方向は主に後方正面であるため、後方正面を検出範囲とするＵＷＢレーダーを追加してもよい。この場合には、後方正面の比較的長い距離まで、障害物検出を行うことができる。
【０１１８】
後方正面に対応する範囲をも障害物の検出範囲とする場合には、例えば、この後方正面で障害物が検出された場合には上記した第１のマッピングテーブルに切り替えるようにすればよい。または、最も到達時間の短い障害物の接近方向の範囲が拡大表示されるように、マッピングテーブルを切り替えるようにしてもよい。更に、右側方のみを拡大表示させるマッピングテーブルと左側方のみを拡大表示させるマッピングテーブルとを用意してもよい。
【０１１９】
また、指向性の高いＵＷＢレーダーを水平方向に数多く配置し、接近方向をより細かい角度で検出してもよい。この場合には、障害物アイコンの位置を角度に対応させることにより、接近方向をより正確に運転者に伝達することができる。
【０１２０】
以上説明したように、本実施の形態によれば、車両後方のカメラ映像と、障害物距離を少なくとも含む障害物の状態を示す情報とを、１つの画面に表示することができる。すなわち、運転者に対し、車両周囲の障害物について、カメラ映像ならではの豊富な情報を提示しながら、障害物の状態を示す情報を付加的に提示することができる。これにより、運転者に対し、車両周囲の障害物の状態についてのより正確な把握を助けることができるとともに、障害物が接近してきたときに適切に注意を喚起することができる。
【０１２１】
なお、本実施の形態では、車両周囲監視装置の監視範囲を車両後方とした場合について説明したが、これに限定されるものではなく、例えば、監視範囲を車両前方としてもよい。この場合には、本装置を夜間における障害物監視の補助装置として用いることができる。また、斜め駐車の場合を考慮して、側方のより広い範囲を監視範囲としてもよい。
【０１２２】
また、本実施の形態では、障害物状態情報が、接近方向、接近速度、および到達時間を含む場合について説明したが、これに限定されるものではなく、これらの一部のみ、または障害物の状態に関する他の情報を含んでもよい。例えば、障害物状態情報は、障害物が人か否かを示す情報を含んでもよい。この場合には、障害物が人である場合に強調した警告を障害物表示画像で行うことにより、より安全な運転が可能となる。
【０１２３】
また、障害物距離および障害物状態情報の提示は、アイコンによってではなく、例えば、「距離５ｍ、到達時間３秒」というように、テキスト表示によって行うようにしてもよい。
【０１２４】
また、障害物距離および障害物状態情報の提示は、障害物表示画像における画像表示によってではなく、例えば、警告灯の点滅や、音声出力、振動伝達などの別の手段によって行うようにしてもよい。ただし、複数の障害物が同時に接近してくる可能性があるため、複数の情報の同時伝達が容易な画像表示による提示が望ましい。
【０１２５】
また、１つのカメラで撮像された画像ではなく、複数のカメラで撮像された画像を合成した画像を、カメラ画像として表示するようにしてもよい。
【０１２６】
また、本実施の形態では、障害物を検出するための装置として、ＵＷＢレーダーを用いた場合について説明したが、これに限定されるものではなく、例えば、他の電磁波や、赤外線、超音波などによる、同様に障害物を検出できる他のセンサを用いるようにしてもよい。また、センサと併せて、カメラで撮像された撮像画像から車両周囲に位置する障害物を検出する装置部（以下「画像障害物検出部」という）を備えるようにし、撮像画像による検出結果と、センサによる検出結果とから、障害物距離を算出するようにしてもよい。この場合、検出される障害物の位置の精度を向上させることができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。具体的には、例えば、画像障害物検出部は、人や車両の画像の特徴量を予め記憶しておき、撮像画像において特徴量が近似する画像領域を探索して、撮像画像上での人や車両の位置を算出する。車両の位置の地面および撮像範囲の地面が略平面の場合、自車両に対する地面の各点の位置や距離は、撮像画像上の位置から算出することができる。したがって、地面からの高さが推定可能な人や車両についても、カメラからみて地面に平行な高さに位置するものを除き、撮像画像から、その障害物距離を算出することができる。障害物検出部は、例えば、画像障害物検出部で算出された障害物距離と、センサで算出された障害物距離との平均値を採用するなどして、センサで算出された障害物距離を補正する。
【０１２７】
また、本実施の形態では、車両周囲監視装置のカメラやＵＷＢレーダーを車両自体に取り付けた場合について説明したが、これに限定されるものではなく、例えば、カメラやＵＷＢレーダーを車庫出口に配置して取り付けるようにしてもよい。この場合には、本装置を、車庫の出口周囲を監視範囲とする、出庫の際の安全確認の補助装置として用いることができる。
【産業上の利用可能性】
【０１２８】
本発明に係る車両周囲監視装置および車両周囲監視方法は、車両周囲の障害物の状態をより正確に把握することができる車両周囲監視装置および車両周囲監視方法として有用である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施の形態に係る車両周囲監視装置のシステム構成図
【図２】本実施の形態におけるカメラおよびＵＷＢレーダーの取り付け位置の一例を示す図
【図３】本実施の形態における車両の左右方向から障害物が接近してきていないときの、モニタの画面状態の一例を示す図
【図４】本実施の形態における車両の左右方向の一方または両方から障害物が接近してきているときの、モニタの画面状態の一例を示す図
【図５】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図６】本実施の形態におけるフレーム処理の流れの一例を示すフローチャート
【図７】本実施の形態におけるＵＷＢレーダーが障害物を検出する様子を示す図
【図８】本実施の形態における受信パルスの波形の一例を示す図
【図９】本実施の形態における接近速度および到達時間の計算の手法の一例を示す図
【図１０】本実施の形態における位置決定用テーブルの内容の一例を示す図
【図１１】本実施の形態における色決定用テーブルの内容の一例を示す図
【符号の説明】
【０１３０】
１００ 車両周囲監視装置
１１０ カメラ
１１１ 撮像部
１１２ 複数のフレームメモリ
１１３ フレーム切替部
１２０ 障害物検出部
１２１ 右ＵＷＢレーダー
１２２ 左ＵＷＢレーダー
１３０ 画像変換表示制御部
１３１ マッピングテーブル参照部
１３２ 画像変換部
１３３ 映像信号生成部
１３４ タイミング生成部
１４０ マッピングテーブル記憶部
１５０ 表示切替部
１６０ 障害物状態計算部
１７０ 障害物状態表示制御部
１８０ モニタ
【技術分野】
【０００１】
本発明は、車両の周囲の状況を監視する車両周囲監視装置および車両周囲監視方法に係り、特に、車両の周囲の撮像画像を少なくとも表示する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方（以下適宜「後方」と総称する）をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲監視装置の普及が進んでいる。このような車両周囲監視装置を用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
【０００３】
目視での確認がしにくい範囲は、例えば、車両後方の水平方向略１８０度の範囲と比較的広い。したがって、車両周囲監視装置は、比較的広い画角で撮像した画像をモニタに表示させる必要がある。
【０００４】
ところが、カメラ画像の画角が広ければ広いほど、障害物のモニタ上での大きさが小さくなり、運転者がモニタ上で障害物を視認することが難しくなる。
【０００５】
そこで、障害物を拡大表示させる技術が、例えば特許文献１に記載されている。特許文献１記載の装置は、車両後方の障害物を検出し、検出した障害物と車両との間の距離を算出する。そして、特許文献１記載の装置は、算出された距離が所定距離以下のとき、車両後方の画像のうち、その障害物を含む車両側の所定領域の範囲を拡大表示させる。これにより、車両に対して所定距離以下に接近している障害物を、モニタ上で視認し易くなる。
【０００６】
また、障害物の撮像画像における障害物の位置を、撮像画像に重ね合わせて表示する技術が、例えば特許文献２に記載されている。この技術により、運転者がモニタ上で障害物を視認し易くなる。
【特許文献１】特開２００４−２６０４４９号公報
【特許文献２】特開２００２−２９３４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、広い画角で撮像された画像をモニタ上に表示する場合、モニタ上の画像は、画面の外縁に近い部分で大きく歪み、目視で得られる実際の車両周囲の画像とは大きく異なる。したがって、特許文献１および特許文献２記載の技術では、特に画面の外縁に位置する障害物に対して、自車両との距離や自車両に接近してくる方向および速度などの障害物の状態を、運転者が把握しにくいという問題がある。
【０００８】
例えば、駐車場の壁など、止まっているものに対して車両がゆっくりと近付いていくような場合には、特許文献１および特許文献２記載の技術でも大きな問題は無い。ところが、歩行者や他の車両が障害物として接近してくるような場合には、これらの障害物の状態をより正確に把握しなければ、運転者は正しい判断を行うことができず、適切な運転を行うことが難しい。一方で、画像の歪みを低減するべく狭い画角の撮像映像に切り替えることも考えられるが、表示対象範囲が狭くなり、新たな障害物の接近をモニタ画面から認識することができなくなる。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、車両周囲の障害物の状態をより正確に把握することができる車両周囲監視装置および車両周囲監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の車両周囲監視装置は、自車両の一部を含む車両周囲を撮像する撮像手段と、前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出する障害物検出手段と、前記撮像手段によって撮像された撮像画像と、前記障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する表示手段と、を有する構成を採る。
【００１１】
このように構成された車両周囲監視装置は、自車両のバンパーなど自車両の一部を含んだ車両周囲の画像を撮像手段で撮像すると共に、車両周囲に位置する障害物を検出し、検出された障害物と自車両との間の距離を障害物検出手段で算出し、撮像画像と算出した障害物と自車両との距離を示す障害物表示画像を１つの画面に表示することができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。
【００１２】
本発明の車両周囲監視装置は、前記障害物検出手段が、前記撮像手段によって撮像された撮像画像から前記車両周囲に位置する障害物を検出する画像障害物検出手段と、前記画像障害物検出手段とは別に前記車両周囲に位置する障害物を検出するセンサと、を有し、前記画像障害物検出手段による検出結果と前記センサによる検出結果とから、前記障害物と自車両との距離を算出する構成を採る。
【００１３】
このように構成された車両周囲監視装置は、撮像手段で撮影された画像から障害物を検出すると共に、センサを用いて車両周囲の障害物を検出し、検出される障害物の位置の精度を向上させることができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。
【００１４】
本発明の車両周囲監視装置の前記障害物表示画像は、前記障害物を示すアイコンを含み、前記表示手段は、前記障害物表示画像における前記アイコンの表示位置を、前記距離に応じて変更する構成を有している。
【００１５】
このように構成された車両周囲監視装置は、障害物をアイコンで示し、障害物表示画像におけるアイコンの表示位置を自車両と障害物の距離応じて変更することができるように構成されている。
【００１６】
本発明の車両周囲監視装置は、前記障害物検出手段によって算出された距離に基づいて障害物の移動状態を検出する障害物移動検出手段を更に有し、前記障害物表示画像は、前記障害物移動検出手段によって検出された移動状態を示す構成を有している。
【００１７】
このように構成された車両周囲監視装置は、障害物検出手段で算出された距離から障害物の移動状態を障害物移動検出手段で検出し、検出された移動状態を障害物表示画像に示すように構成されている。
【００１８】
本発明の車両周囲監視装置は、前記障害物移動検出手段が、前記障害物の前記自車両への接近方向を検出し、前記表示手段が、前記アイコンの表示位置を、前記接近方向に応じて変更する構成を有している。
【００１９】
このように構成された本発明の車両周囲監視装置は、障害物移動検出手段で障害物が自車両のどの方向から接近しているのか検出し、検出された方向に応じてアイコンの表示位置を変更することで、自車両に対してどの方向から接近しているのか簡単に把握することができる。
【００２０】
本発明の車両周囲監視装置の前記障害物移動検出手段は、前記障害物の前記自車両への接近速度または到達時間の少なくとも１つを検出し、前記表示手段は、前記アイコンの表示位置を、前記障害物移動検出手段の検出結果に基づいて変更する構成を有している。
【００２１】
このように構成された本発明の車両周囲監視装置は、障害物移動検出手段で、自車両に接近している障害物の接近速度または到達時間の少なくとも一方を検出し、その検出結果に基づいてアイコンの表示位置を変更することで、障害物が自車両に対して接近している速度や到達時間を簡単に把握することができる。
【００２２】
本発明の車両周囲監視装置の前記表示手段は、前記撮像画像における前記自車両の左右方向と、前記障害物表示画像における前記自車両の左右方向とを一致させると共に、前記撮影画像および前記障害物表示画像を上下に並べて表示する構成を有している。
【００２３】
このように構成された本発明の車両周囲監視装置の前記表示手段は、撮像画像における自車両の左右方向と、障害物表示画像に表示された自車両の左右方向を一致させ、撮像画像と障害物表示画像を上下に並べて表示することで、自車両に接近している障害物を簡単に把握することができる。
【００２４】
本発明の車両周囲監視装置の前記障害物検出手段は、前記自車両の左側方または右側方の少なくとも一方を検出範囲とする構成を有している。
【００２５】
このように構成された本発明の車両周囲監視装置の障害物検出手段は、自車両の左側方または右側方の少なくとも一方を検出範囲とすることで、車両周囲側方にある障害物を簡単に検出することができる。
【００２６】
本発明の車両周囲監視装置の前記表示手段は、前記障害物検出手段の検出結果に基づいて前記撮像画像の画像変換を行う画像変換手段を更に有する構成を有している。
【００２７】
このように構成された本発明の車両周囲監視装置の表示手段は、障害物検出手段の検出結果に基づいて撮像画像の画像変換を行う画像変換手段を備えることで、障害物の接近に応じて適切な画像に変換することができる。
【００２８】
本発明の車両周囲監視装置の前記画像変換手段は、前記障害物の接近方向に応じて前記撮像画像における前記障害物の接近方向の範囲を拡大する画像変換を行う構成を有している。
【００２９】
このように構成された本発明の車両周囲監視装置の画像変換手段は、障害物の接近方向に応じて撮像画像における接近方向の画像の範囲を拡大することができるので、障害物が自車両に接近してきていることを簡単に把握することができる。
【００３０】
本発明の車両周囲監視装置の前記画像変換手段は、予め決められた画像変換テーブルを少なくとも１つ以上備え、前記画像変換テーブルに基づいて画像変換する構成を有している。
【００３１】
このように構成された本発明の車両周囲監視装置の前記画像変換手段は、予め決められた画像変換テーブルを少なくとも１つ以上備え、この画像変換テーブルに基づいて画像変換することができる。特に、障害物の接近方向、接近速度、到達時間毎に複数の画像変換テーブルを備えることで、適切に障害物を拡大して表示することができる。
【００３２】
本発明の車両周囲監視装置は、前記障害物検出手段の検出結果に基づいて所定の通知を行う通知手段を備える構成を有している。
【００３３】
このように構成された本発明の車両周囲監視装置は、障害物検出手段の検出結果に基づいて、警告灯の点滅や、音声出力、振動伝達などによる所定の通知を行う通知手段を備えることで、障害物の接近に応じて障害物表示画像に表示されるアイコンと共に障害物に関する情報を通知手段を用いて通知することができる。
【００３４】
本発明の車両周囲監視方法は、自車両の一部を含む車両周囲を撮像するステップと、前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出するステップと、撮影した画像と検出した前記距離を示す障害物表示画像とを１つの画面に表示するステップと、を有する方法である。
【発明の効果】
【００３５】
本発明によれば、車両周囲の撮像映像と、障害物と自車両との距離を少なくとも含む障害物の状態を示す情報とを、１つの画面に表示することができるので、車両周囲の障害物の状態をより正確に把握することができる。また、自車両に対する障害物の接近方向、接近速度、到達時間の少なくとも１つ以上の情報を正確に把握することができる。また、障害物の接近方向、接近距離、到達時間の少なくとも一つに応じて撮像映像における障害物周辺を拡大するように変換するように構成していると共に、障害物の状態を示す情報を同時に表示しているので、自車両に接近してきている障害物を簡単に把握することができる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００３７】
図１は、本発明の一実施の形態に係る車両周囲監視装置のシステム構成図である。なお、本実施の形態に係る車両周囲監視装置は、乗用車の後方の障害物を監視するためのリアビューモニタに本発明を適用した例として説明する。
【００３８】
図１において、車両周囲監視装置１００は、大別して、カメラ１１０、障害物検出部１２０、画像変換表示制御部１３０、マッピングテーブル記憶部１４０、表示切替部１５０、障害物状態計算部１６０、障害物状態表示制御部１７０、およびモニタ１８０から構成されている。
【００３９】
カメラ１１０は、撮像部１１１と、フレームメモリ１１２を有するフレーム切替部１１３とから構成されている。ここで、撮像部１１１は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide）などの撮像素子と、撮像素子の撮像面に光学像を結像させる光学系とを有する（いずれも図示せず）。また、撮像部１１１は、撮影した画像をフレームメモリ１１２に出力するように構成されている。フレームメモリ１１２は、撮像部１１１で撮像した画像を一時的に格納するメモリである。フレーム切替部１１３は、撮像部１１１で撮影した画像の入力先を各フレームメモリ１１２に切り替えることができ、また、画像変換表示制御部１３０に出力する画像の参照先であるフレームメモリ１１２を切り替えることができるように構成されている。なお、撮像素子としてＣＭＯＳを採用する場合には、撮像素子にフレームメモリ１１２の機能を持たせるようにしてもよい。
【００４０】
図２は、図１の車両周囲監視装置のカメラ１１０、障害物検出部１２０を構成する、右ＵＷＢレーダー１２１、および左ＵＷＢレーダー１２２の取り付け位置の一例を示す図である。本実施の形態では、図２に示すように、カメラ１１０は、車両２００（自車両、以下同様）の後部中央に設けられており、車両２００後部のバンパーを含む車両２００後方を撮像する。障害物検出部１２０は、自車両の左右側方の障害物と、その障害物と自車両との距離（以下「障害物距離」という）とを検出するために、２つのＵＷＢレーダー１２１、１２２から構成されている。本実施の形態では、図２に示すように、右ＵＷＢレーダー１２１は、車両２００の後部右角部に取り付けられ、左ＵＷＢレーダー１２２は、車両２００の後部左角部に取り付けられている。ＵＷＢレーダーは、電磁波を用いた一種のセンサであり、非常に短い間隔、より具体的には１ｎｓ程度の短パルス信号の送受信により、障害物までの距離を細かい分解能で計測することが可能である。また、ＵＷＢレーダー１２１および左ＵＷＢレーダー１２２は、それぞれ、指向性が高いＵＷＢレーダーであり、障害物検出部１２０の監視範囲のうち、右ＵＷＢレーダー１２１は、車両の後方の正面方向を基準とした右側方の所定の範囲に位置する障害物を検出し、左ＵＷＢレーダー１２２は、車両の後方の正面方向を基準とした左側方の所定の範囲に位置する障害物を検出することができるように構成されている。
【００４１】
なお、本実施の形態では、ＵＷＢレーダーを用いる場合を例にとって説明するが、障害物検出部１２０の構成はこれに限定されない。例えば、障害物検出部１２０として、同様に障害物を検出できる他の赤外線センサや超音波センサなどを用いることができる。
【００４２】
また、本実施の形態では、図２に示すように、カメラ１１０の撮像範囲２１０は、水平方向に車両２００の後方正面を中心とする略１８０度の範囲とし、右ＵＷＢレーダー１２１の検出範囲２２１は、車両２００の後方右側方に伸びた範囲とし、左ＵＷＢレーダー１２２の検出範囲２２２は、車両２００の後方左側方に伸びた範囲としてそれぞれ説明する。なお、ここでは、カメラ１１０の撮像範囲２１０を、水平方向における画角により示している。また、撮像範囲２１０と、検出範囲２２１、２２２とは、一部重なっているが、検出範囲２２１、２２２のほうがより側方側にはみ出した状態となっている。これにより、車両２００の側方から接近してくる障害物を、その障害物が撮像範囲２１０に入る前に、右ＵＷＢレーダー１２１または左ＵＷＢレーダー１２２で検出することができる。
【００４３】
画像変換表示制御部１３０は、カメラ１１０のフレームメモリ１１２に格納された画像を参照し、フレームメモリ１１２に格納された画像を、後述するマッピングテーブル記憶部１４０に格納されたマッピングテーブルに従ってマッピングするように構成されている。画像変換表示制御部１３０は、マッピングテーブル参照部１３１、画像変換部１３２、映像信号生成部１３３、およびタイミング生成部１３４から構成されている。
【００４４】
マッピングテーブル参照部１３１は、後述する画像変換部１３２が使用すべきマッピングテーブルを一時的に格納する。マッピングテーブル参照部１３１は、格納するマッピングテーブルを参照し、マッピングが行われた結果として得られる画像（以下「合成画像」という）の各画素に対して、マッピングデータを生成する。マッピングデータは、合成画像の各画素が、フレームメモリ１１２に格納された合成前の画像のどの画素に対応するかを示すデータである。また、マッピングテーブル参照部１３１は、生成したマッピングデータを画像変換部１３２に出力するように構成されている。
【００４５】
画像変換部１３２は、カメラ１１０のフレームメモリ１１２に格納された画像を参照し、マッピングテーブル参照部１３１に格納されたマッピングテーブルを適用して、フレーム単位の合成画像を生成することができるように構成されている。具体的には、画像変換部１３２は、マッピングテーブル参照部１３１から出力されるマッピングデータに従って、フレームメモリ１１２に格納された画像を読み取り、読み取った画像のマッピングを行う。
【００４６】
映像信号生成部１３３は、画像変換部１３２で生成されたフレームごとの合成画像から、動画系列を表示するための第１の映像信号を生成するように構成されている。すなわち、第１の映像信号は、カメラ１１０で撮影した撮影画像に基づくものである。
【００４７】
タイミング生成部１３４は、フレーム切替部１１３が接続状態を切り替えるタイミングと、マッピングテーブル参照部１３１が画素ごとのマッピングデータを出力するタイミングと、映像信号生成部１３３の動作タイミングとを制御するタイミング信号を生成するように構成されている。
【００４８】
マッピングテーブル記憶部１４０は、画像変換表示制御部１３０で使用されるマッピングテーブルが予め記憶されて構成されている。なお、本実施の形態では、マッピングテーブル記憶部１４０には、カメラ１１０で撮像された画像（以下「カメラ画像」という）のうち車両の後方正面に対応する範囲を拡大させる第１のマッピングテーブルと、カメラ画像のうち車両の側方に対応する範囲を拡大させる第２のマッピングテーブルとを予め記憶しているものとして説明する。また、マッピングテーブル記憶部１４０に複数のマッピングテーブルを備える構成として、周囲の環境に応じてそれぞれのマッピングテーブルを用いるようにしてもよい。
【００４９】
表示切替部１５０は、車両側方からの障害物の接近の有無に応じて、マッピングテーブル記憶部１４０に格納されたマッピングテーブルの中から、カメラ画像に適用するマッピングテーブルを選択して切り替えることができるように構成されている。具体的には、表示切替部１５０は、障害物検出部１２０によって車両の側方に位置する障害物が検出されていない場合には、第１のマッピングテーブルを選択し、障害物検出部１２０によって車両の側方に位置する障害物が検出されている場合には、第２のマッピングテーブルを選択するように構成されている。なお、マッピングテーブルの選択基準は、上記内容に限定されない。例えば、車両の側方で障害物が検出された場合であっても、その障害物距離が長い場合には、衝突の危険性は少ないものとして、第1のマッピングテーブルを選択するようにしてもよい。
【００５０】
障害物状態計算部１６０は、障害物検出部１２０によって検出された障害物距離に基づいて、障害物距離以外の障害物の状態に関する情報であって、特に障害物の移動状態を示す情報（以下「障害物状態情報」という）を計算し、この計算結果および障害物距離を出力することができるように構成されている。障害物状態情報としては、例えば、障害物の自車両への接近方向（以下単に「接近方向」という）、障害物の自車両への接近速度（以下単に「接近速度」という）、障害物が自車両に到達するまでの予定時間（以下「到達時間」という）を含むことができる。ここで、例えば、接近方向は、方角などの車両以外のものを基準とした方向でもよいが、監視範囲が自車両の後方正面を基準としていることから、自車両の後方正面を基準とした方向であることが望ましい。また、接近速度は、例えば地面などの車両以外のものに対する相対速度でもよいが、衝突の危険性の度合いは自車両と障害物との相対速度に関係していること、および到達時間の算出の便宜から、自車両に対する相対速度であることが望ましい。
【００５１】
障害物状態表示制御部１７０は、障害物状態計算部１６０から出力される障害物距離および障害物状態情報に基づいて、障害物距離および障害物状態情報を一つの画像で表す障害物表示画像を生成し、生成した障害物表示画像の動画系列を表示させるための第２の映像信号を生成することができるように構成されている。すなわち、第２の映像信号は、障害物検出部１２０の検出結果に基づくものである。障害物表示画像は、例えば、障害物を示すアイコンなどを含んでいる。
【００５２】
モニタ１８０は、任意のディスプレイから構成されており、画像変換表示制御部１３０で生成された第１の映像信号と、障害物状態表示制御部１７０で生成された第２の映像信号とに基づいて、撮影画像に基づく合成画像と、障害物検出結果に基づく障害物表示画像（障害物を示すアイコンなどを含む）とを一つの画面に表示することができるように構成されている。
【００５３】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（central processing unit）や、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどを有する。例えば、ＣＰＵが制御プログラムを実行することで、上記した各部の機能は実現される。
【００５４】
次に、このように構成された車両周囲監視装置１００の動作について説明する。
【００５５】
まず、車両が後退するときの障害物の接近パターンごとに、車両周囲監視装置１００の動作の概要について説明する。
【００５６】
図２に示すように、車両周囲監視装置１００を搭載した車両が後方に下がるとき、右ＵＷＢレーダー１２１は右側方、左ＵＷＢレーダー１２２は左側方を監視し、カメラ１１０は後方を撮影している。
【００５７】
まず、第１の接近パターンとして、車両の左右方向から障害物が接近してきていないとき、最も注意して監視すべき方向は、車両の進行方向、つまり車両の後方正面である。したがって、右ＵＷＢレーダー１２１および左ＵＷＢレーダー１２２から障害物が検出されていないときは、表示切替部１５０は、車両の後方正面に対応する範囲を拡大させる第１のマッピングテーブルを選択する。この結果、画像変換表示制御部１３０は、車両の後方正面に対応する範囲を拡大させた映像をモニタ１８０に表示させる。
【００５８】
また、車両の左右方向から障害物が接近してきていないとき、障害物状態計算部１６０は、障害物が検出されていないため、障害物状態情報を出力しない。この結果、障害物状態表示制御部１７０は、車両を上方から見たときの車両の位置を示すアイコン（以下「車両アイコン」という）のみを配置した障害物表示画像の映像をモニタ１８０に表示させる。
【００５９】
図３は、車両の左右方向から障害物が接近してきていないときの、モニタ１８０の画面状態の一例を示す図である。
【００６０】
図３に示すように、モニタ１８０の表示画面３００には、合成画像３１０と、障害物表示画像３２０とが上下に並べて１画面に表示される。具体的には、モニタ１８０は、合成画像３１０における車両の左右方向と、障害物表示画像３２０における前記車両の左右方向とを揃え、かつ車両２００の後方正面の横位置を揃えた状態で、合成画像３１０および障害物表示画像３２０が表示される。合成画像３１０は、画像変換部１３２により構成され、障害物表示画像３２０は、障害物状態表示制御部１７０により構成される。
【００６１】
この場合、合成画像３１０は、車両の後方正面に対応する範囲が拡大され、車両の後方正面からの障害物の接近などをより認識し易い状態となっている。また、障害物表示画像３２０には、車両アイコン３２１のみが配置される。運転者は、このような表示画面３００を見ることにより、合成画像３１０のみならず、障害物表示画像３２０からも、車両側方からの障害物の接近が無いことを確認することができる。
【００６２】
また、第２の接近パターンとして、車両の左右方向のいずれか一方から障害物が接近してきたとき、最も注意して監視すべき方向は、障害物の接近方向、つまり車両の両側方のうちの障害物が接近してくる側である。したがって、右ＵＷＢレーダー１２１または左ＵＷＢレーダー１２２から障害物が検出されたときは、表示切替部１５０は、車両の側方に対応する範囲を拡大させる第２のマッピングテーブルを選択する。この結果、画像変換表示制御部１３０は、車両の側方に対応する範囲を拡大させた映像をモニタ１８０に表示させる。もちろん、これは、車両の左右方向の両方から障害物が接近してきたときも同様である。
【００６３】
また、車両の左右方向のいずれか一方または両方から障害物が接近してきたとき、障害物状態計算部１６０は、障害物が検出されていることから、障害物状態情報を出力する。この結果、障害物状態表示制御部１７０は、車両アイコンと併せて、車両を上方から見たときの障害物の位置を示すアイコン（以下「障害物アイコン」という）を配置した障害物表示画像の映像をモニタ１８０に表示させる。
【００６４】
図４は、車両の左右方向の一方または両方から障害物が接近してきているときの、モニタ１８０の画面状態の一例を示す図である。
【００６５】
この場合、図４に示すように、合成画像３１０は、車両の両側方に対応する範囲が拡大され、車両側方からの障害物の接近などをより認識し易い状態となっている。また、障害物表示画像３２０には、車両アイコン３２１と併せて、障害物アイコン３２２が配置される。障害物アイコン３２２は、障害物３１１の障害物距離、接近方向、接近速度、および到達時間を、車両アイコン３２１に対する位置、形状、大きさ、および色によって示している。ここでは、第２のマッピングテーブルが適用された状態で、車両の右側方から他の車両である障害物３１１が接近し、車両の左側方から歩行者である障害物３１１が接近してきているときの合成画像３１０を示している。
【００６６】
図４から分かるように、側方に位置する障害物の障害物距離は、合成画像３１０からは判別しにくい。例えば、図４の合成画像３１０の端に映っている障害物３１１は、一見すると自車両に対して遠くに位置するように見えるが、実際にはかなり近い場所まで自車両に接近している。また、このように障害物距離を判別しにくい場合、接近速度や到達速度も判別しにくい。したがって、運転者は、障害物表示画像３２０を合成画像３１０と併せて見ることにより、障害物の障害物距離、接近方向、接近速度、および到達時間をより正確に認識することができる。
【００６７】
次に、車両周囲監視装置１００の動作の詳細について説明する。
【００６８】
図５は、車両周囲監視装置１００の動作の一例を示すフローチャートである。初期状態では、表示切替部１５０は、第１のマッピングテーブルをマッピングテーブル参照部１３１に設定している。
【００６９】
まず、ステップＳ１１００で、車両周囲監視装置１００は、モニタ１８０を通常画面表示状態にする。通常画面表示状態は、ナビゲーションシステムやテレビジョン受信機などの画面を表示させる状態である。
【００７０】
そして、ステップＳ１２００で、車両周囲監視装置１００は、車両のギアがリバースに設定されたか否か、つまり車両が後退するか否か判断する。車両周囲監視装置１００は、ギアがリバースに設定されていない場合には（Ｓ１２００：ＮＯ）、ステップＳ１１００に戻り、ギアがリバースに設定された場合には（Ｓ１２００：ＹＥＳ）、車両後方の監視を開始すべく、ステップＳ１３００に進む。
【００７１】
ステップＳ１３００で、車両周囲監視装置１００は、初期状態の合成画像を表示する。具体的には、まず、タイミング生成部１３４が、合成画像の動画系列を生成するためのタイミング信号を生成する。そして、このタイミング信号を受けて、カメラ１１０、マッピングテーブル参照部１３１、画像変換部１３２、および映像信号生成部１３３によるフレーム処理が開始される。
【００７２】
図６は、フレーム処理の流れの一例を示すフローチャートである。
【００７３】
まず、ステップＳ３１００で、カメラ１１０は、カメラ画像が書き込まれるフレームメモリ１１２と、画像変換部１３２の参照されるフレームメモリ１１２とを切り替える。
【００７４】
具体的には、カメラ１１０において、フレーム切替部１１３は、撮像部１１１からの画像の入力が完了したフレームメモリ１１２が、画像変換表示制御部１３０による画像の参照先となるように、各フレームメモリ１１２と撮像部１１１との接続状態、および各フレームメモリ１１２と画像変換表示制御部１３０との接続状態を切り替える。これらの接続状態の切り替えタイミングは、画像変換表示制御部１３０から出力されるタイミング信号によって制御される。画像変換部１３２から参照されるカメラ画像の画素の位置は、カメラからの書き込みの順序とは関係無く飛び飛びになる。したがって、このようにフレーム切替部１１３が複数のフレームメモリ１１２を切り替えることにより、書き込みと参照が干渉しないようにすることができる。
【００７５】
そして、ステップＳ３２００で、タイミング生成部１３４は、合成出力のタイミングに合わせて、マッピングテーブル参照部１３１が現在マッピングデータを出力すべき合成画像の画素を設定する。タイミング生成部１３４は、ステップＳ３２００で合成画像のフレームの各画素を１つずつ順に選択し、設定する。
【００７６】
そして、ステップＳ３３００で、マッピングテーブル参照部１３１は、ステップＳ３２００で設定された画素に対応する要素を、現在格納しているマッピングテーブルから読み出し、マッピングデータとして画像変換部１３２に出力する。
【００７７】
そして、ステップＳ３４００で、画像変換部１３２は、入力されたマッピングデータに従って、フレームメモリ１１２に記録されたカメラ画像の対応する画素の値を合成し、映像信号生成部１３３に出力する。例えば、画素の値の最も簡単な決定方法は、フレームメモリ１１２の対応する画素データの値をそのまま画素の値とすることである。
【００７８】
そして、ステップＳ３５００で、映像信号生成部１３３は、入力された合成画像の画素の値を映像信号に変換し、映像信号をモニタ１８０に出力する。
【００７９】
そして、ステップＳ３６００で、タイミング生成部１３４は、合成画像のフレームの最終画素に対する処理が完了したか否かを判断する。タイミング生成部１３４は、最終画素に対する処理がまだ終了していない場合は（Ｓ３６００：ＮＯ）、ステップＳ３７００に進む。
【００８０】
ステップＳ３７００で、タイミング生成部１３４は、次の画素の処理へ移行し、ステップＳ３２００に戻る。
【００８１】
そして、車両周囲監視装置１００は、ステップＳ３２００〜Ｓ３６００の処理を繰り返した結果、合成画像のフレームの最終画素に対する処理が完了すると（Ｓ３６００：ＹＥＳ）、図５の処理に戻る。そして、車両周囲監視装置１００は、適宜次のフレームに対するフレーム処理を開始する。
【００８２】
このようなフレーム処理により、車両周囲監視装置１００は、合成画像の映像信号を生成し、合成画像をモニタ１８０に表示させる。
【００８３】
なお、ここでは、フレーム単位で合成処理を行う場合について説明したが、フィールド単位で合成処理を行う場合にも、同様の処理で合成画像を表示させることができる。
【００８４】
そして、図５に戻り、ステップＳ１４００で、障害物状態表示制御部１７０は、初期状態の障害物表示画像を表示する。具体的には、障害物状態表示制御部１７０は、障害物アイコンが無く車両アイコンのみが表示された障害物表示画像の映像信号を生成し、生成した映像信号をモニタ１８０に出力する。
【００８５】
そして、ステップＳ１５００で，車両周囲監視装置１００は、左ＵＷＢレーダー１２２または右ＵＷＢレーダー１２１で障害物を検出しているか否かを判断する。車両周囲監視装置１００は、障害物を検出していない場合には（Ｓ１５００：ＮＯ）、ステップＳ１３００に戻り、障害物を検出している場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００に進む。
【００８６】
図７は、ＵＷＢレーダー１２１、１２２が障害物を検出する様子を示す図である。
【００８７】
図７に示すように、例えば、右ＵＷＢレーダー１２１は、ＵＷＢ信号を送信する送信アンテナ１２１ｔと、障害物３１１で反射して戻ってきたＵＷＢ信号を受信する受信アンテナ１２１ｒとを有する。送信されるＵＷＢ信号はパルス状であり、これに対応して受信されるＵＷＢ信号もパルス状となる。したがって、右ＵＷＢレーダー１２１における送信パルスから受信パルスまでの時間が、右ＵＷＢレーダー１２１から障害物３１１までのＵＷＢ信号の往復時間となる。
【００８８】
図８は、受信パルスの波形の一例を示す図である。図中、横軸は、送信パルスの送信時刻からの経過時間、つまりＵＷＢ信号の往復時間を示し、縦軸は、受信パルスの振幅電圧を示す。
【００８９】
図８に示すように、受信パルス３３０は、受信されるＵＷＢ信号３４０の波形のピークとなる。したがって、受信パルス３３０および受信パルス３３０の受信時刻は、受信されるＵＷＢ信号の波形のピークを検出することにより、検出することができる。
【００９０】
ＵＷＢレーダー１２１、１２２は、ＵＷＢ信号の障害物３１１までの往復時間の半分、つまり送信パルスから受信パルスまでの時間の半分に、ＵＷＢ信号の伝播速度を乗ずることにより、障害物距離を計算する。具体的には、障害物距離ｒは、ＵＷＢ信号の障害物３１１までの往復時間をｔ、光速度をｃと置くと、以下の式（１）を用いて算出することができる。
【数１】
【００９１】
なお、障害物距離の計算は、障害物状態計算部１６０で行うようにしてもよい。この場合には、例えば、ＵＷＢレーダー１２１、１２２が、送信パルスの送信時刻および受信パルスの受信時刻の全てを障害物状態計算部１６０に出力し、障害物状態計算部１６０が、受信パルスが受信されるごとに、その受信パルスの受信時刻と直前の送信パルスの送信時刻とから障害物距離を算出すればよい。
【００９２】
図５に戻り、ステップＳ１６００で、障害物状態計算部１６０は、障害物状態情報を計算する。具体的には、障害物状態計算部１６０は、接近方向、接近速度、および到達時間を計算し、計算結果と障害物距離とを、障害物状態表示制御部１７０に出力する。
【００９３】
具体的には、障害物状態計算部１６０は、右ＵＷＢレーダー１２１と左ＵＷＢレーダー１２２のどちらで障害物が検出されたかによって、接近方向を計算する。また、障害物状態計算部１６０は、異なる時刻で検出された２つの障害物距離の差分を時間差で除算したり、障害物距離の時間微分をとることによって、接近速度を計算する。更に、障害物状態計算部１６０は、障害物距離を接近速度で除算することによって、到達時間を計算する。
【００９４】
図９は、障害物状態計算部１６０における接近速度および到達時間の計算の手法の一例を示す図である。図中、横軸は時刻Ｔ［ｓ］を示し、縦軸は障害物距離Ｄ［ｍ］を示す。
【００９５】
まず、障害物状態計算部１６０は、過去ｎ回分の障害物が検出された時刻Ｔおよびそれぞれの時刻Ｔにおける障害物距離Ｄを、障害物の移動データとして常に記憶する。図９において、障害物状態計算部１６０が記憶する移動データをプロット３５０で示す。
【００９６】
そして、障害物状態計算部１６０は、検出結果の描く軌跡として、移動データを近似する近似直線３６０を算出し、算出した近似直線３６０の傾きを接近速度として取得する。近似直線３６０は、傾きをａ、切片をｂとすると、以下の式（２）で表わすことができる。
【数２】
【００９７】
この近似直線３６０は、例えば、最小自乗法によって求めることができる。この場合、例えば、過去ｎ回で検出された障害物距離Ｄをｙｉ（ｉ＝１、２、・・・、ｎ）、それぞれの障害物距離Ｄの検出時刻Ｔをｘｉ（ｉ＝１、２、・・・、ｎ）とした場合、上記した式（２）の、傾きａおよび切片ｂは、以下の式（３）および式（４）により算出することができる。
【数３】
【数４】
【００９８】
この近似直線３６０が、現在の時刻Ｔ０以降の障害物の移動についても近似すると仮定すると、障害物の車両への到達時刻Ｔ１は、障害物距離Ｄ＝０となる時刻である。したがって、現在時刻Ｔ０を時刻Ｔの原点と置いたとき、到達時間、つまり車両と障害物との衝突までの時間ＴＴＣ（time to collision）は、以下の式（５）により算出することができる。
【数５】
【００９９】
なお、本説明では、障害物検知部１２０を構成する手段に、障害物までの距離だけを出力する能力を有するUWBレーダーを用いた場合について説明したが、これに限定されるものではない。例えば、ＦＭ−ＣＷ（frequency modulated continuous wave）方式のレーダーのように、障害物までの距離と、その障害物が存在する方向における障害物と自車両との相対速度（以下「相対速度」という）を同時に出力する能力を有する手段を用いることもできる。この場合には、障害物までの距離D、障害物が近づいてくる場合の相対速度をVとすると、車両と障害物との衝突までの時間ＴＴＣは、以下の式（６）により算出することができる。
【数６】
【０１００】
なお、障害物状態計算部１６０は、車両の両側方から同時に障害物が接近してくる場合もあるため、障害物距離、接近速度、および到達時間を、接近方向に対応付けて出力する。
【０１０１】
そして、図５に戻り、ステップＳ１７００で、障害物状態表示制御部１７０は、入力された障害物距離から、障害物アイコンの貼り付け位置を計算する。
【０１０２】
具体的には、障害物状態表示制御部１７０は、障害物の接近方向が右側方の場合には車両アイコンの右側に、障害物の接近方向が左側方の場合には車両アイコンの左側に、障害物アイコンをそれぞれ配置する。また、障害物状態表示制御部１７０は、車両アイコンからの距離を障害物距離に対応させて、障害物アイコンの位置を決定する。また、障害物状態表示制御部１７０は、接近速度が正の値、つまり障害物が車両に接近している場合には、車両アイコンの側に向く矢印を障害物アイコンの形状に決定し、接近速度が負の値、つまり障害物が車両から離れていく場合には、障害物アイコンの表示を削除する。また、障害物状態表示制御部１７０は、接近速度の絶対値の大きさに応じて、障害物アイコンの大きさを決定する。更に、障害物状態表示制御部１７０は、到達時間に応じて、障害物アイコンの色を決定する。
【０１０３】
図１０は、障害物状態表示制御部１７０が障害物アイコンの位置を決定するのに用いる位置決定用テーブルの内容の一例を示す図である。
【０１０４】
図１０に示すように、位置決定用テーブル４１０は、左ＵＷＢレーダー１２１と右ＵＷＢレーダー１２２とに分けて、障害物距離４１１と、障害物アイコンの画面貼り付け位置４１２とを記述している。障害物距離４１１は、障害物距離の区分を示す。障害物アイコンの画面貼り付け位置４１２は、障害物表示画像の座標系における座標で、障害物アイコンを貼り付ける位置を規定する。
【０１０５】
例えば、位置決定用テーブル４１０には、左ＵＷＢレーダー１２２に関して、「５〜１０ｍ」という障害物距離４１１に対応して、「（ｘ２，ｙ）」という障害物アイコンの画面貼り付け位置４１２が記述されている。これは、左ＵＷＢレーダー１２２で障害物距離が５〜１０ｍの障害物が検出された場合には、障害物表示画像の座標（ｘ２，ｙ）に障害物アイコンを配置することを規定するものである。
【０１０６】
ここでは、障害物距離４１１が短いほど、車両アイコンにより近い位置の座標が設定されている。すなわち、位置決定用テーブル４１０は、障害物距離４１１が短ければ短いほど車両アイコンと障害物アイコンとの距離が短くなるように、障害物アイコンの画面貼り付け位置を規定している。したがって、障害物状態表示制御部１７０は、このような位置決定用テーブル４１０を参照することにより、障害物距離に応じた位置に障害物アイコンの貼り付け位置を決定することができる。
【０１０７】
そして、図５に戻り、ステップＳ１８００で、障害物状態表示制御部１７０は、入力された到達時間から、障害物アイコンの種類（形状および色など）を選択する。
【０１０８】
図１１は、障害物状態表示制御部１７０が障害物アイコンの色を決定するのに用いる色決定用テーブルの内容の一例を示す図である。
【０１０９】
図１１に示すように、色決定用テーブル４２０は、到達時間４２１と、障害物アイコンの色４２２とを記述している。到達時間４２１は、到達時間の区分を示す。障害物アイコンの色４２２は、障害物表示画像における障害物アイコンの色を規定する。
【０１１０】
例えば、色決定用テーブル４２０には、「３〜４秒」という到達時間４２１に対応して、「黄」という障害物アイコンの色４２２が記述されている。これは、到達時間が３〜４秒の障害物が検出された場合には、対応する障害物アイコンの色を黄色にすることを規定するものである。
【０１１１】
ここでは、到達時間４２１が長い場合には青色、到達時間４２１が中程度の場合には黄色、到達時間４２１が短い場合には赤色が設定されている。すなわち、色決定用テーブル４２０は、到達時間４２１が短ければ短いほどより高度の危険色となるように、障害物アイコンの色を規定している。したがって、障害物状態表示制御部１７０は、このような色決定用テーブル４２０を参照することにより、到達時間に応じた色に障害物アイコンの色を決定することができる。
【０１１２】
そして、図５に戻り、ステップＳ１９００で、障害物状態表示制御部１７０は、ステップＳ１７００で計算した貼り付け位置に、ステップＳ１８００で計算した種類の障害物アイコンを貼り付けてなる障害物表示画像の映像信号を生成し、生成した映像信号をモニタ１８０に出力する。
【０１１３】
そして、ステップＳ２０００で、モニタ１８０は、障害物状態表示制御部１７０で生成された映像信号の入力を受けて、障害物を検出している状態の障害物表示画像を表示する。
【０１１４】
そして、ステップＳ２１００で、車両周囲監視装置１００は、障害物を検出している状態の合成画像を表示する。具体的には、まず、表示切替部１５０が、第２のマッピングテーブルをマッピングテーブル参照部１３１に設定し、タイミング生成部１３４が、合成画像の動画系列を生成するためのタイミング信号を生成する。そして、このタイミング信号を受けて、カメラ１１０、マッピングテーブル参照部１３１、画像変換部１３２、および映像信号生成部１３３によるフレーム処理が開始される。このフレーム処理は、図５で説明したフレーム処理と同様である。
【０１１５】
そして、ステップＳ２２００で、車両周囲監視装置１００は、処理を継続するか否かを判断し、継続する場合には（Ｓ２２００：ＹＥＳ）、ステップＳ１１００に戻り、継続しない場合には（Ｓ２２００：ＮＯ）、一連の処理を終了する。
【０１１６】
このような動作により、車両周囲監視装置１００は、車両後方を撮像したカメラ映像と、障害物距離と、接近方向、接近速度、および到達時間を含む障害物状態情報とを、１つの画面に表示することができる。また、車両周囲監視装置１００は、逐次、表示内容を最新の情報に基づいたものに更新するため、これらの情報をリアルタイムで運転者に提示することができる。
【０１１７】
なお、カメラの監視範囲全体において障害物を検出できるように、車両の両側方のみではなく、後方正面に対応する範囲をも障害物の検出範囲とするようにしてもよい。また、車両の後退方向は主に後方正面であるため、後方正面を検出範囲とするＵＷＢレーダーを追加してもよい。この場合には、後方正面の比較的長い距離まで、障害物検出を行うことができる。
【０１１８】
後方正面に対応する範囲をも障害物の検出範囲とする場合には、例えば、この後方正面で障害物が検出された場合には上記した第１のマッピングテーブルに切り替えるようにすればよい。または、最も到達時間の短い障害物の接近方向の範囲が拡大表示されるように、マッピングテーブルを切り替えるようにしてもよい。更に、右側方のみを拡大表示させるマッピングテーブルと左側方のみを拡大表示させるマッピングテーブルとを用意してもよい。
【０１１９】
また、指向性の高いＵＷＢレーダーを水平方向に数多く配置し、接近方向をより細かい角度で検出してもよい。この場合には、障害物アイコンの位置を角度に対応させることにより、接近方向をより正確に運転者に伝達することができる。
【０１２０】
以上説明したように、本実施の形態によれば、車両後方のカメラ映像と、障害物距離を少なくとも含む障害物の状態を示す情報とを、１つの画面に表示することができる。すなわち、運転者に対し、車両周囲の障害物について、カメラ映像ならではの豊富な情報を提示しながら、障害物の状態を示す情報を付加的に提示することができる。これにより、運転者に対し、車両周囲の障害物の状態についてのより正確な把握を助けることができるとともに、障害物が接近してきたときに適切に注意を喚起することができる。
【０１２１】
なお、本実施の形態では、車両周囲監視装置の監視範囲を車両後方とした場合について説明したが、これに限定されるものではなく、例えば、監視範囲を車両前方としてもよい。この場合には、本装置を夜間における障害物監視の補助装置として用いることができる。また、斜め駐車の場合を考慮して、側方のより広い範囲を監視範囲としてもよい。
【０１２２】
また、本実施の形態では、障害物状態情報が、接近方向、接近速度、および到達時間を含む場合について説明したが、これに限定されるものではなく、これらの一部のみ、または障害物の状態に関する他の情報を含んでもよい。例えば、障害物状態情報は、障害物が人か否かを示す情報を含んでもよい。この場合には、障害物が人である場合に強調した警告を障害物表示画像で行うことにより、より安全な運転が可能となる。
【０１２３】
また、障害物距離および障害物状態情報の提示は、アイコンによってではなく、例えば、「距離５ｍ、到達時間３秒」というように、テキスト表示によって行うようにしてもよい。
【０１２４】
また、障害物距離および障害物状態情報の提示は、障害物表示画像における画像表示によってではなく、例えば、警告灯の点滅や、音声出力、振動伝達などの別の手段によって行うようにしてもよい。ただし、複数の障害物が同時に接近してくる可能性があるため、複数の情報の同時伝達が容易な画像表示による提示が望ましい。
【０１２５】
また、１つのカメラで撮像された画像ではなく、複数のカメラで撮像された画像を合成した画像を、カメラ画像として表示するようにしてもよい。
【０１２６】
また、本実施の形態では、障害物を検出するための装置として、ＵＷＢレーダーを用いた場合について説明したが、これに限定されるものではなく、例えば、他の電磁波や、赤外線、超音波などによる、同様に障害物を検出できる他のセンサを用いるようにしてもよい。また、センサと併せて、カメラで撮像された撮像画像から車両周囲に位置する障害物を検出する装置部（以下「画像障害物検出部」という）を備えるようにし、撮像画像による検出結果と、センサによる検出結果とから、障害物距離を算出するようにしてもよい。この場合、検出される障害物の位置の精度を向上させることができるので、運転者に、車両周囲の障害物の状態をより正確に把握させることができる。具体的には、例えば、画像障害物検出部は、人や車両の画像の特徴量を予め記憶しておき、撮像画像において特徴量が近似する画像領域を探索して、撮像画像上での人や車両の位置を算出する。車両の位置の地面および撮像範囲の地面が略平面の場合、自車両に対する地面の各点の位置や距離は、撮像画像上の位置から算出することができる。したがって、地面からの高さが推定可能な人や車両についても、カメラからみて地面に平行な高さに位置するものを除き、撮像画像から、その障害物距離を算出することができる。障害物検出部は、例えば、画像障害物検出部で算出された障害物距離と、センサで算出された障害物距離との平均値を採用するなどして、センサで算出された障害物距離を補正する。
【０１２７】
また、本実施の形態では、車両周囲監視装置のカメラやＵＷＢレーダーを車両自体に取り付けた場合について説明したが、これに限定されるものではなく、例えば、カメラやＵＷＢレーダーを車庫出口に配置して取り付けるようにしてもよい。この場合には、本装置を、車庫の出口周囲を監視範囲とする、出庫の際の安全確認の補助装置として用いることができる。
【産業上の利用可能性】
【０１２８】
本発明に係る車両周囲監視装置および車両周囲監視方法は、車両周囲の障害物の状態をより正確に把握することができる車両周囲監視装置および車両周囲監視方法として有用である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施の形態に係る車両周囲監視装置のシステム構成図
【図２】本実施の形態におけるカメラおよびＵＷＢレーダーの取り付け位置の一例を示す図
【図３】本実施の形態における車両の左右方向から障害物が接近してきていないときの、モニタの画面状態の一例を示す図
【図４】本実施の形態における車両の左右方向の一方または両方から障害物が接近してきているときの、モニタの画面状態の一例を示す図
【図５】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図６】本実施の形態におけるフレーム処理の流れの一例を示すフローチャート
【図７】本実施の形態におけるＵＷＢレーダーが障害物を検出する様子を示す図
【図８】本実施の形態における受信パルスの波形の一例を示す図
【図９】本実施の形態における接近速度および到達時間の計算の手法の一例を示す図
【図１０】本実施の形態における位置決定用テーブルの内容の一例を示す図
【図１１】本実施の形態における色決定用テーブルの内容の一例を示す図
【符号の説明】
【０１３０】
１００ 車両周囲監視装置
１１０ カメラ
１１１ 撮像部
１１２ 複数のフレームメモリ
１１３ フレーム切替部
１２０ 障害物検出部
１２１ 右ＵＷＢレーダー
１２２ 左ＵＷＢレーダー
１３０ 画像変換表示制御部
１３１ マッピングテーブル参照部
１３２ 画像変換部
１３３ 映像信号生成部
１３４ タイミング生成部
１４０ マッピングテーブル記憶部
１５０ 表示切替部
１６０ 障害物状態計算部
１７０ 障害物状態表示制御部
１８０ モニタ
【特許請求の範囲】
【請求項１】
自車両の一部を含む車両周囲を撮像する撮像手段と、
前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出する障害物検出手段と、
前記撮像手段によって撮像された撮像画像と、前記障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する表示手段と、
を有する車両周囲監視装置。
【請求項２】
前記障害物検出手段は、
前記撮像手段によって撮像された撮像画像から前記車両周囲に位置する障害物を検出する画像障害物検出手段と、
前記画像障害物検出手段とは別に前記車両周囲に位置する障害物を検出するセンサと、を有し、
前記画像障害物検出手段による検出結果と前記センサによる検出結果とから、前記障害物と自車両との距離を算出する、
請求項１に記載の車両周囲監視装置。
【請求項３】
前記障害物表示画像は、前記障害物を示すアイコンを含み、
前記表示手段は、
前記障害物表示画像における前記アイコンの表示位置を、前記距離に応じて変更する、
請求項１または請求項２に記載の車両周囲監視装置。
【請求項４】
前記障害物検出手段によって算出された距離に基づいて障害物の移動状態を検出する障害物移動検出手段、を更に有し、
前記障害物表示画像は、前記障害物移動検出手段によって検出された移動状態を示す、
請求項１から請求項３のいずれかに記載の車両周囲監視装置。
【請求項５】
前記障害物移動検出手段は、
前記障害物の前記自車両への接近方向を検出し、
前記表示手段は、
前記アイコンの表示位置を、前記接近方向に応じて変更する、
請求項４に記載の車両周囲監視装置。
【請求項６】
前記障害物移動検出手段は、
前記障害物の前記自車両への接近速度または到達時間の少なくとも１つを検出し、
前記表示手段は、
前記アイコンの表示位置を、前記障害物移動検出手段の検出結果に基づいて変更する、
請求項４または請求項５に記載の車両周囲監視装置。
【請求項７】
前記表示手段は、
前記撮像画像における前記自車両の左右方向と、前記障害物表示画像における前記自車両の左右方向とを一致させると共に、前記撮影画像および前記障害物表示画像を上下に並べて表示する、
請求項１から請求項６のいずれかに記載の車両周囲監視装置。
【請求項８】
前記障害物検出手段は、
前記自車両の左側方または右側方の少なくとも一方を検出範囲とする、
請求項１から請求項７のいずれかに記載の車両周囲監視装置。
【請求項９】
前記表示手段は、
前記障害物検出手段の検出結果に基づいて前記撮像画像の画像変換を行う画像変換手段を更に有する、
請求項１から請求項８のいずれかに記載の車両周囲監視装置。
【請求項１０】
前記画像変換手段は、
前記障害物の接近方向に応じて前記撮像画像における前記障害物の接近方向の範囲を拡大する画像変換を行う、
請求項９に記載の車両周囲監視装置。
【請求項１１】
前記画像変換手段は、
予め決められた画像変換テーブルを少なくとも１つ以上備え、
前記画像変換テーブルに基づいて画像変換を行う、
請求項９または請求項１０に記載の車両周囲監視装置。
【請求項１２】
前記障害物検出手段の検出結果に基づいて所定の通知を行う通知手段、
を更に有する請求項１から請求項１１のいずれかに記載の車両周囲監視装置。
【請求項１３】
自車両の一部を含む車両周囲を撮像するステップと、
前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出するステップと、
撮影した画像と、算出した距離を示す障害物表示画像とを１つの画面に表示するステップと、
を有する車両周囲監視方法。
【請求項１】
自車両の一部を含む車両周囲を撮像する撮像手段と、
前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出する障害物検出手段と、
前記撮像手段によって撮像された撮像画像と、前記障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する表示手段と、
を有する車両周囲監視装置。
【請求項２】
前記障害物検出手段は、
前記撮像手段によって撮像された撮像画像から前記車両周囲に位置する障害物を検出する画像障害物検出手段と、
前記画像障害物検出手段とは別に前記車両周囲に位置する障害物を検出するセンサと、を有し、
前記画像障害物検出手段による検出結果と前記センサによる検出結果とから、前記障害物と自車両との距離を算出する、
請求項１に記載の車両周囲監視装置。
【請求項３】
前記障害物表示画像は、前記障害物を示すアイコンを含み、
前記表示手段は、
前記障害物表示画像における前記アイコンの表示位置を、前記距離に応じて変更する、
請求項１または請求項２に記載の車両周囲監視装置。
【請求項４】
前記障害物検出手段によって算出された距離に基づいて障害物の移動状態を検出する障害物移動検出手段、を更に有し、
前記障害物表示画像は、前記障害物移動検出手段によって検出された移動状態を示す、
請求項１から請求項３のいずれかに記載の車両周囲監視装置。
【請求項５】
前記障害物移動検出手段は、
前記障害物の前記自車両への接近方向を検出し、
前記表示手段は、
前記アイコンの表示位置を、前記接近方向に応じて変更する、
請求項４に記載の車両周囲監視装置。
【請求項６】
前記障害物移動検出手段は、
前記障害物の前記自車両への接近速度または到達時間の少なくとも１つを検出し、
前記表示手段は、
前記アイコンの表示位置を、前記障害物移動検出手段の検出結果に基づいて変更する、
請求項４または請求項５に記載の車両周囲監視装置。
【請求項７】
前記表示手段は、
前記撮像画像における前記自車両の左右方向と、前記障害物表示画像における前記自車両の左右方向とを一致させると共に、前記撮影画像および前記障害物表示画像を上下に並べて表示する、
請求項１から請求項６のいずれかに記載の車両周囲監視装置。
【請求項８】
前記障害物検出手段は、
前記自車両の左側方または右側方の少なくとも一方を検出範囲とする、
請求項１から請求項７のいずれかに記載の車両周囲監視装置。
【請求項９】
前記表示手段は、
前記障害物検出手段の検出結果に基づいて前記撮像画像の画像変換を行う画像変換手段を更に有する、
請求項１から請求項８のいずれかに記載の車両周囲監視装置。
【請求項１０】
前記画像変換手段は、
前記障害物の接近方向に応じて前記撮像画像における前記障害物の接近方向の範囲を拡大する画像変換を行う、
請求項９に記載の車両周囲監視装置。
【請求項１１】
前記画像変換手段は、
予め決められた画像変換テーブルを少なくとも１つ以上備え、
前記画像変換テーブルに基づいて画像変換を行う、
請求項９または請求項１０に記載の車両周囲監視装置。
【請求項１２】
前記障害物検出手段の検出結果に基づいて所定の通知を行う通知手段、
を更に有する請求項１から請求項１１のいずれかに記載の車両周囲監視装置。
【請求項１３】
自車両の一部を含む車両周囲を撮像するステップと、
前記車両周囲に位置する障害物を検出し、検出した障害物と前記自車両との距離を算出するステップと、
撮影した画像と、算出した距離を示す障害物表示画像とを１つの画面に表示するステップと、
を有する車両周囲監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２１７７４０（Ｐ２００９−２１７７４０Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−６３２１８（Ｐ２００８−６３２１８）
【出願日】平成２０年３月１２日（２００８．３．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月１２日（２００８．３．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]