運転支援装置
【課題】駐車の際における障害物の警告を高精度に実行したい。
【解決手段】生成部２２は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する。予想軌跡記憶部３０は、鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する。合成部３２は、予想軌跡を鳥瞰図画像に重畳して表示させる。設定部３８は、鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する。警告部３６は、設定した検出領域内の障害物を検出した場合に、その旨を警告する。
【解決手段】生成部２２は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する。予想軌跡記憶部３０は、鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する。合成部３２は、予想軌跡を鳥瞰図画像に重畳して表示させる。設定部３８は、鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する。警告部３６は、設定した検出領域内の障害物を検出した場合に、その旨を警告する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
車両のリア部分に車載カメラを設置し、車載カメラによって撮像した画像を運転者に提示することによって、車両後方の様子を運転者に知らしめるための運転支援装置が開発されている。さらに、運転支援装置は、画像を提示するだけではなく、障害物に接近した場合に、その旨を運転手に警告する。その際、障害物の検出は、予め基準画像を撮像し、後退する際に撮像した画像と基準画像とを比較することによってなされる（例えば、特許文献１参照）。
【特許文献１】特開２０００−１７７５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
運転者が駐車を実行する際、車両後方だけではなく車両前方や側方にも、障害物は存在する場合がある。そのため、車両の後方における障害物だけではなく、車両の周囲に対する障害物が検出される方が好ましい。また、駐車する際の障害物として、静体と動体とが存在する。静体とは、壁や他の駐車車両などの駐車を実行する際に移動しない物体である。一方、動体とは、ボールや人物などの駐車を実行する際に移動する物体である。前者に対して、高速な検出速度よりも高い検出精度がより要求され、後者に対して、高速な検出精度も要求される。
【０００４】
本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、駐車の際における障害物の警告を高精度に実行する技術を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様の運転支援装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、記憶部において記憶した予想軌跡を画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、を備える。
【０００６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００７】
本発明によれば、駐車の際における障害物の警告を高精度に実行できる。
【発明を実施するための最良の形態】
【０００８】
本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、車載カメラにて撮像した画像を表示するとともに、駐車する際の予想軌跡も表示し、さらに障害物との接近を運転者に警告する運転支援装置に関する。車両の周囲に対する障害物を検出するとともに、障害物として静体と動体とのそれぞれを高精度に検出するために、本実施例に係る運転支援装置は以下の処理を実行する。車両には、後方だけではなく前方にも、車載カメラが設置される。例えば、車両のフロント部分の左右およびリア部分の左右に、合計４つの車載カメラが設置される。運転支援装置は、複数の車載カメラのそれぞれにおいて撮像した画像を取得し、全周鳥瞰図画像を生成する。
【０００９】
また、運転支援装置は、所定のハンドル舵角に対応した予想軌跡を予め記憶する。ここで、予想軌跡は、全周鳥瞰図画像に対応するので、後輪だけではなく前輪に対する軌跡も含まれている。運転支援装置は、予想軌跡上あるいは予想軌跡から一定の幅を有したエリア上（以下、これらを「第１エリア」という）において、静体を検出する。静体の検出には、例えば、平面投影ステレオ法が使用される。一方、運転支援装置は、車両１００が通過するエリア（以下、「第２エリア」という）において、動体を検出する。動体の検出には、例えば、オプティカルフローが使用される。このように、全周鳥瞰図画像を使用することによって、後方だけでなく前方や側方の障害物を検出できる。また、静体と動体とを別々に検出するので、それぞれに適した検出方法を使用できる。
【００１０】
図１は、本発明の実施例に係る車両１００の構成を示す。車両１００は、運転支援装置１０、撮像装置１２と総称される第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃ、第４撮像装置１２ｄ、表示装置１４を含む。なお、車両１００には、エンジン、シャーシ、ハンドル、ブレーキ等のような、車両１００の本来の動作を実現するための構成要素が含まれている。しかしながら、図を明瞭にするために、図１は、運転を支援するための画像を表示するためや、障害物を検出した場合に警告するために必要な構成要素以外を省略する。また、図１に示された車両１００の左側が前方に相当する。
【００１１】
撮像装置１２は、画像を連続的に撮像し、撮像した画像を運転支援装置１０へ出力する。ここでは、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１２ａと第２撮像装置１２ｂは、車両１００のフロント部分に設置され、第３撮像装置１２ｃと第４撮像装置１２ｄは、車両１００のリア部分に設置されている。ここで、第１撮像装置１２ａから第４撮像装置１２ｄは、任意の組合せにてステレオカメラを形成する。ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。なお、撮像装置１２の数は「４」に限定されない。
【００１２】
運転支援装置１０は、各撮像装置１２からの画像を入力する。運転支援装置１０は、入力した画像を鳥瞰図画像に変換し、さらに複数の撮像装置１２のそれぞれに対応した鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。運転支援装置１０は、予想軌跡を記憶しており、生成した全周鳥瞰図画像に複数種類の予想軌跡を重ねる。ここでは、予想軌跡が重ねられた全周鳥瞰図画像を「合成画像」という。運転支援装置１０は、表示装置１４へ合成画像を出力する。
【００１３】
表示装置１４は、運転支援装置１０からの合成画像を受けつける。また、表示装置１４は、モニタを備えており、モニタに合成画像を表示する。さらに、運転支援装置１０は、予想軌跡をもとに、前述の第１エリアと第２エリアとを設定する。運転支援装置１０は、第１エリアにおいて静体を検出するとともに、第２エリアにおいて動体を検出する。運転支援装置１０は、静体や動体を検出した場合に、運転者に警告を出力する。なお、運転支援装置１０と表示装置１４とが一体的に構成されていてもよい。
【００１４】
図２は、運転支援装置１０の構成を示す。運転支援装置１０は、フレームバッファ２０と総称される第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃ、第４フレームバッファ２０ｄ、生成部２２、変換テーブル記憶部２４、制御部２６、操作部２８、予想軌跡記憶部３０、合成部３２、監視部３４、警告部３６を含む。また、監視部３４は、設定部３８、静体検知部４０、動体検知部４２を含む。
【００１５】
操作部２８は、ボタン等を含むように構成されており、運転者からの指示を受けつける。操作部２８によって受けつけられる指示の一例は、合成画像の表示や監視処理の開始に関する指示である。操作部２８は、受けつけた指示を制御部２６へ出力する。制御部２６は、運転支援装置１０全体の動作を制御する。また、制御部２６は、操作部２８から入力した指示に応じて、後述の生成部２２、変換テーブル記憶部２４、予想軌跡記憶部３０、合成部３２、監視部３４、警告部３６を制御する。ここでは、制御部２６によって制御される運転支援装置１０の状態として、（１）停車前、（２）後退前、（３）後退中が規定されている。
【００１６】
フレームバッファ２０は、図示しない各撮像装置１２に対応づけられて配置されている。例えば、第１フレームバッファ２０ａから第４フレームバッファ２０ｄは、第１撮像装置１２ａから第４撮像装置１２ｄにそれぞれ対応づけられている。フレームバッファ２０は、撮像装置１２からの画像を記憶し、生成部２２へ画像を出力する。生成部２２は、複数のフレームバッファ２０から画像を受けつけ、各画像を鳥瞰図画像へ変換する。このような変換には、公知の技術、例えば特開２００８−４８３４５号公報に開示された技術を使用すればよいので、ここでは説明を省略する。
【００１７】
変換テーブル記憶部２４は、画像から全周鳥瞰図画像への変換の際に使用される変換式を記憶しており、生成部２２は、制御部２６を介して、変換テーブル記憶部２４に記憶された変換式を参照することによって、鳥瞰図画像を生成する。また、生成部２２は、鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。なお、全周鳥瞰図画像の生成にも、特開２００８−４８３４５号公報に開示された技術が使用されればよい。このような全周鳥瞰図画像は、車両１００周辺の鳥瞰図画像ともいえる。ここで、生成部２２は、各フレームバッファ２０から連続的に画像を入力するので、全周鳥瞰図画像を連続的に生成する。生成部２２は、全周鳥瞰図画像を合成部３２へ出力する。生成部２２は、全周鳥瞰図画像の生成とは別に、フレームバッファ２０から受けつけた画像を監視部３４へ出力する。
【００１８】
予想軌跡記憶部３０は、生成部２２において生成した全周鳥瞰図画像に対応すべき車両１００の予想軌跡を記憶する。ここで、予想軌跡は、車両１００のタイヤが通過すると予想される経路であり、車両１００のハンドルを操作して車両１００を後退させる場合の経路に相当する。例えば、予想軌跡は、ハンドルを末切りまで回転させたときの経路として予め設定されている。なお、予想軌跡記憶部３０は、ハンドルを末切りまで回転させたときの予想軌跡以外の別の予想軌跡も記憶してもよい。その際、運転者から指示によって、使用される予想軌跡が選択される。また、操作部２８は、運転者からの指示を受けつけ、制御部２６は、指示に応じた設定を予想軌跡記憶部３０に登録する。
【００１９】
合成部３２は、生成部２２から全周鳥瞰図画像を入力し、予想軌跡記憶部３０から予想軌跡を入力する。合成部３２は、予想軌跡を全周鳥瞰図画像に重畳することによって、合成画像を生成する。その際、合成部３２は、全周鳥瞰図画像上の車両１００の座標と、予想軌跡の座標とを対応づける。つまり、予想軌跡の起点が車両１００となるように合成画像が生成される。なお、合成画像の詳細は後述する。ここでは、合成部３２の処理を前述の（１）から（３）に沿って説明する。
【００２０】
（１）停車前において、運転者が車両１００を運転して駐車スペースの近傍に到着したとき、操作部２８は、合成画像を表示すべき旨の指示を運転者から受けつける。これは、運転者がボタン押下することによって実現される。なお、ボタンが押し下げられるまで、表示装置１４には、合成画像が表示されておらず、例えば、ナビゲーション画面等が表示されている。そのため、駐車前にボタン押下によって、表示装置１４の表示が切りかえられるともいえる。なお、操作部２８は、ボタンによって指示を受けつけずに、例えば、タッチパネル、音声認識などによって指示を受けつけてもよい。前述のごとく、操作部２８は、受けつけた指示を制御部２６へ出力する。
【００２１】
制御部２６は、操作部２８からの指示を受けつけると、合成画像が生成されるように、生成部２２、合成部３２の動作を制御する。合成部３２は、予想軌跡記憶部３０から予想軌跡を抽出する。ここで、予想軌跡は、初期のハンドル舵角αに対応する。なお、駐車支援を必要とする場面では、一般的に、ハンドルは末切りまで回転されるので、予想軌跡に対するハンドル舵角は、末切り状態に対応する。合成部３２は、合成画像を図示しない表示装置１４へ出力することによって、表示装置１４に合成画像を表示させる。その結果、運転者は、表示装置１４に表示された合成画像を確認しながら、ハンドルを操作することによって、前後方の障害物に接触することなく、駐車スペースに収まるような停車位置への誘導が可能になる。
【００２２】
（２）後退前において、運転者が表示装置１４に表示された合成画像を見ながら、駐車の開始となる位置に車両１００を停止させたとき、つまり車両１００の後退を開始させる前、操作部２８は、運転者によるボタンの押し下げを検出する。操作部２８は、検出結果を制御部２６へ出力する。制御部２６は、操作部２８からの検出結果を受けつけると、図示しないスピーカから、「ハンドルをｘｘ回左に切ってください」のような音声ガイダンス等を出力する。ここで、ガイダンスの内容は、予想軌跡に対するハンドル舵角に対応するように予め設定されている。
【００２３】
（３）後退中において、制御部２６は、操作部２８からの検出結果を受けつけた後、タイマーを開始させることによって、操作部２８からの検出結果を受けつけてからの期間を計測する。予め定めた期間が経過された後、つまりスピーカから音声ガイダンスが出力されてから、一定の期間が経過した後、制御部２６は、合成部３２に対して、予想軌跡の重畳を中止させる。その結果、合成部３２は、全周鳥瞰図画像に車幅延長線のみを重畳することによって、合成画像を生成し、表示装置１４へ合成画像を出力する。車幅延長線とは、ハンドルを切らずに車両１００がまっすぐ後退した場合の軌跡である。
【００２４】
なお、制御部２６は、図示しないシフト位置センサと接続されており、シフトが後退に入った旨をシフト位置センサから受けつける。その後、制御部２６は、シフトが別の位置に入った旨をシフト位置センサから受けつけたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。あるいは、運転手によるボタンの再押下を操作部２８が検出し、制御部２６は、操作部２８における検出がなされたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。
【００２５】
図３（ａ）−（ｅ）は、合成部３２において後退駐車の際に生成される合成画像を示す。これらは、表示装置１４に表示される合成画像ともいえる。図３（ａ）は、車両１００が駐車場に進入した場合の合成画像である。合成画像の中央付近に車両１００が示されている。また、合成画像の下部に駐車スペース７０が示されている。以下では、車両１００が駐車スペース７０に駐車する場合を想定する。なお、この段階において、合成画像は表示装置１４に表示されていなくてもよい。運転手は、このような状態において、ボタンを押し下げることによって、運転支援装置１０は、前述の（１）停車前の状態になる。
【００２６】
図３（ｂ）は、（１）停車前の状態における合成画像を示す。図示のごとく、予想軌跡５０と総称される第１予想軌跡５０ａ、第２予想軌跡５０ｂ、第３予想軌跡５０ｃが示される。また、車幅延長線５８と総称される第１車幅延長線５８ａ、第２車幅延長線５８ｂも示される。予想軌跡５０は、ハンドルを末切りまで回転させた場合の予想軌跡に相当する。また、第１予想軌跡５０ａは、右側後輪の予想軌跡に相当し、第２予想軌跡５０ｂは、左側後輪の予想軌跡に相当し、第３予想軌跡５０ｃは、前輪の予想軌跡に相当する。図３（ｂ）の状態において、第１予想軌跡５０ａおよび第２予想軌跡５０ｂは、駐車スペース７０に隣接したスペースに駐車された車両（以下、「隣接車両」という）に重なっている。
【００２７】
つまり、図３（ｂ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退すると、車両１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１４に表示された合成画像を確認しながら、予想軌跡５０が隣接車両に重ならないような位置へ車両１００を移動させる。これは、予想軌跡５０上の障害物が存在しない停車位置が模索されることに相当する。
【００２８】
図３（ｃ）は、図３（ｂ）に続く状態であり、予想軌跡５０が隣接車両に重ならないような位置に車両１００が存在する。図３（ｃ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退しても、車両１００が隣接車両に衝突しない。そのため、図３（ｃ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転手は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図３（ｄ）は、図３（ｃ）に続く状態であり、前述の（３）後退中の状態である。図示のごとく、予想軌跡５０が消去され、車幅延長線５８のみが表示されている。運転者は、車両１００をまっすぐに後退させる。その結果、図３（ｅ）のごとく、車両１００は駐車スペース７０内にて停止する。
【００２９】
図４（ａ）−（ｃ）は、合成部３２において前進駐車から発進する際に生成される合成画像を示す。ここでは、初期状態において、車両１００は、駐車スペース７０に停止されており、後退しながら駐車スペース７０から出て行く場合を想定する。図４（ａ）は、前述の（１）停車前の状態に相当しており、予想軌跡５０および車幅延長線５８が表示されている。また、第３予想軌跡５０ｃが隣接車両と重なっている。つまり、図４（ａ）の停止位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退すると、車両１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１４に表示された合成画像を確認しながら、予想軌跡５０が隣接車両に重ならないような位置へ車両１００を移動させる。
【００３０】
図４（ｂ）は、図４（ａ）に続く状態であり、車両１００がまっすぐに後退した場合である。この位置では、第３予想軌跡５０ｃが隣接車両に重ならない。そのため、図４（ｂ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転手は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図４（ｃ）は、図４（ｂ）に続く状態であり、前述の（３）後退中の状態である。ここでは、予想軌跡５０が表示されているが、この後、予想軌跡５０が消去され、車幅延長線５８のみが表示される。その結果、車両１００による駐車スペース７０から抜け出しが完了される。
【００３１】
図２に戻る。設定部３８は、図示しない表示装置１４において表示される合成画像、つまり合成部３２において生成された合成画像に対して、予想軌跡をもとに障害物の検出領域を設定する。ここで、設定部３８は、静止した障害物である静体の検出領域と、動作する障害物である動体の検出領域とを独立に設定する。前者が第１エリアに相当し、後者が第２エリアに相当する。ここでは、図面を使用しながら、第１エリアと第２エリアとを説明する。
【００３２】
図５は、警告部３６における監視処理の概要を示す。これは、図３（ｂ）等と同様の合成画像であり、車両１００および駐車スペース７０が示されている。また、第１予想軌跡５０ａから第３予想軌跡５０ｃも示されている。第１エリアは、予想軌跡５０上あるいは予想軌跡５０から一定の幅を有したエリア上であると規定される。しかしながら、説明を容易にするために、以下では、第１エリアが予想軌跡５０上であるとする。そのため、図５では、第１予想軌跡５０ａ、第２予想軌跡５０ｂ、第３予想軌跡５０ｃが第１エリアに相当する。一方、第２エリアは、車両１００が通過するエリアと規定されている。図５では、第１予想軌跡５０ａと第２予想軌跡５０ｂとの間のエリアである第１検出エリア６０ａと、車両１００と第３予想軌跡５０ｃとの間のエリアである第２検出エリア６０ｂとが第２エリアに相当する。予想軌跡５０は、全周鳥瞰図画像における第１エリアの位置、例えば座標を静体検知部４０へ出力し、全周鳥瞰図画像における第２エリアの領域、例えば座標を動体検知部４２へ出力する。
【００３３】
静体検知部４０は、生成部２２から、複数の画像を受けつけるとともに、設定部３８から、第１エリアの座標を受けつける。静体検知部４０は、複数の画像に対して、平面投影ステレオ法を使用することによって、画像に含まれた物体の高さを特定する。平面投影ステレオ法は、視点の異なる複数の撮像装置１２によって撮像した複数の撮影画像をひとつの基準平面上に投影し、それらの画像の差分から高さのある物体の領域を求めるという手法である。
【００３４】
平面投影ステレオ法として、例えば、特開２００３−２３２８６７号公報に記載された技術が使用されればよいので、ここでは説明を省略する。静体検知部４０は、第１エリア上における物体の高さがしきい値より高い場合に、静体を検出したとする。静体検知部４０は、静体を検出した場合にその旨を警告部３６へ出力する。その際、静体検知部４０は、検出した静体の位置を出力してもよい。ここで、障害物の検知は、例えば、ブレーキが踏まれている状態や停止している場合になされる。そのために、静体検知部４０は、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
【００３５】
動体検知部４２は、合成部３２から、合成画像を連続的に受けつけるとともに、設定部３８から、第２エリアの座標を受けつける。動体検知部４２は、連続的に受けつけた合成画像をもとに、第２エリア内における動体の存在を検出する。動体の検出には、オプティカルフローが使用される。オプティカルフローとは、動物体解析の手法のひとつであり、全周鳥瞰図画像中の輝度情報から動きを解析し、速度ベクトルによって動体の運動を表す技術である。このようなオプティカルフローには、公知の技術が使用されればよいので、ここでは説明を省略する。動体検知部４２は、動体を検出した場合にその旨を警告部３６へ出力する。ここで、障害物の検知は、例えば、ある一定の速度以下で走行している場合や停止している場合になされる。走行速度は、地面特徴点の動きベクトルの大きさにより判別されてもよいし、図示しない速度センサから速度情報を入手してもよい。また、動体検知部４２での障害物の検知は、例えば、静体検知部４０での障害物の検知と同様に、ブレーキが踏まれている状態や停止している場合になされる。そのために、動体検知部４２も、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
【００３６】
警告部３６は、静体検知部４０が第１エリア内の静体を検出した場合、あるいは動体検知部４２が第２エリア内の動体を検出した場合、その旨を警告する。つまり、警告部３６は、車両１００の前後方の予想軌跡付近に障害物を検知したら、それを運転者に警告する。警告の具体例は、後述する。図５では、車両１００の前方には接触する危険がないが、後方に進入してきたボールに接触する危険があるので、運転者への警告がなされる。
【００３７】
図６（ａ）−（ｆ）は、警告部３６における警告処理の概要を示す。図６（ａ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡５０を表示する際の色を変える。例えば、障害物が存在する場合、予想軌跡５０が赤色で示され、障害物が存在しない場合、予想軌跡５０が青色で示される。図６（ｂ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡５０の表示方法を変える。例えば、障害物が存在する場合、予想軌跡５０が点滅で示され、障害物が存在しない場合、予想軌跡５０が点灯で示される。
【００３８】
図６（ｃ）は、障害物が存在する場合に着色部分８０を表示し、障害物が存在しない場合に着色部分８０を表示しない。着色部分８０は、例えば、赤色に着色される。図６（ｄ）は、障害物が存在する場合にフラッシュ部分８２を表示し、障害物が存在しない場合にフラッシュ部分８２を表示しない。フラッシュ部分８２は、例えば、点滅にて示される。図６（ｅ）は、図６（ｃ）と同様に着色部分８０を表示するが、障害物の部分ではなく、車両１００上に着色部分８０を表示する。図６（ｆ）は、図６（ｄ）と同様にフラッシュ部分８２を表示するが、障害物の部分ではなく、車両１００上にフラッシュ部分８２を表示する。
【００３９】
図７（ａ）−（ｃ）は、警告部３６における警告処理の別の概要を示す。図７（ａ）は、図６（ｃ）と同様に、障害物が存在する場合に着色部分８０を表示するが、障害物である隣接車両との距離に応じて、第１着色部分８０ａから第３着色部分８０ｃを表示する。第３着色部分８０ｃが隣接車両に最も近く、第１着色部分８０ａが隣接車両から最も離れている。ここで、第１着色部分８０ａから第３着色部分８０ｃのそれぞれは、異なった色で示される。
【００４０】
図７（ｂ）は、図６（ｄ）と同様に、障害物が存在する場合にフラッシュ部分８２を表示するが、障害物である隣接車両との距離に応じて、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃを表示する。第３フラッシュ部分８２ｃが隣接車両に最も近く、第１フラッシュ部分８２ａが隣接車両から最も離れている。ここで、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃのそれぞれは、異なった間隔で点滅される。図７（ｃ）は、図６（ｃ）の変形例であり、図６（ｃ）の着色部分８０の代わりに、第１着色部分８０ａを示す。また、第３予想軌跡５０ｃに重なるように第２着色部分８０ｂが示される。ここで、第１着色部分８０ａと第２着色部分８０ｂとは、異なった色で示される。なお、図６（ａ）−（ｆ）や図７（ａ）−（ｃ）に示した警告の表示とは別にあるいは共に、音声にて警告が出力されてもよい。
【００４１】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４２】
以上の構成による運転支援装置１０の動作を説明する。図８は、運転支援装置１０における表示手順を示すフローチャートである。操作部２８は、ボタンの押し下げを検出する（Ｓ１０）。合成部３２は、全周鳥瞰図画像および複数の予想軌跡をもとに合成画像を生成し、合成画像を表示装置１４に表示させる（Ｓ１２）。静体検知部４０および動体検知部４２は、障害物検知処理を実行する（Ｓ１４）。障害物を検出すれば（Ｓ１６のＹ）、警告部３６は、警告を出力する（Ｓ１８）。一方、障害物を検出しなければ（Ｓ１６のＮ）、ステップ１８をスキップする。
【００４３】
操作部２８がボタンの押し下げを検出しなければ（Ｓ２０のＮ）、ステップ１４に戻る。一方、操作部２８がボタンの押し下げを検出すれば（Ｓ２０のＹ）、制御部２６は、ハンドルの舵角のガイダンスをスピーカから出力する（Ｓ２２）。一定期間経過していなければ（Ｓ２４のＮ）、合成部３２は、同様の合成画像を生成し続ける。一方、一定期間経過すれば（Ｓ２４のＹ）、合成部３２は、予想軌跡５０の表示を消去し（Ｓ２６）、車幅延長線５８の表示を残す。
【００４４】
本発明の実施例によれば、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方外周における予想軌跡を表示できる。また、前方外周における予想軌跡も表示するので、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、より最適な停車位置に誘導できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、駐車の際における障害物の警告を高精度に実行できる。また、静体と動体のそれぞれを別々に検出するので、それぞれに適した検出アルゴリズムを使用できる。
【００４５】
また、静体と動体のそれぞれに適した検出アルゴリズムを使用するので、駐車の際における障害物の警告を高精度に実行できる。また、静体を検出するために、第２エリアよりも狭い第１エリアを使用するので、処理量を削減しながらも高精度な検出を実現できる。また、静体を検出するために静体の高さを考慮するので、静体の検出精度を向上できる。また、動体を検出するために、第１エリアよりも広い第２エリアを使用するので、動体の検出精度を向上できる。また、前後方の予想軌跡上にある障害物を検知して警告するので、運転者が表示装置を注視することなく、安全な最適停車位置まで移動させることができる。
【００４６】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４７】
本発明の実施例において、合成部３２は、予想軌跡として、タイヤが通過すべき経路を表示装置１４に表示させる。しかしながらこれに限らず例えば、合成部３２は、予想軌跡として、車両１００が走行する走行面を表示装置１４に表示させてもよい。具体的に説明すると、図３において、第１予想軌跡５０ａと第２予想軌跡５０ｂとの間にも着色することによって、走行面が表示される。本変形例によれば、車両１００が通過する部分を運転手に容易に認識させることができる。
【００４８】
本変形例に加えて、操作部２８は、予想軌跡の色、予想軌跡として経路の表示あるいは走行面の表示の切りかえに関する指示を受けつけてもよい。制御部２６は、操作部２８において受けつけた指示に応じて、合成部３２での設定を変更してもよい。本変形例によれば、運転者にとって情報を認識しやすい画面を提供できる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施例に係る車両の構成を示す図である。
【図２】図１の運転支援装置の構成を示す図である。
【図３】図３（ａ）−（ｅ）は、図２の合成部において後退駐車の際に生成される合成画像を示す図である。
【図４】図４（ａ）−（ｃ）は、図２の合成部において前進駐車から発進する際に生成される合成画像を示す図である。
【図５】図２の監視部における監視処理の概要を示す図である。
【図６】図６（ａ）−（ｆ）は、図２の警告部における警告処理の概要を示す図である。
【図７】図７（ａ）−（ｃ）は、図２の警告部における警告処理の別の概要を示す図である。
【図８】図２の運転支援装置における表示手順を示すフローチャートである。
【符号の説明】
【００５０】
１０ 運転支援装置、 １２ 撮像装置、 １４ 表示装置、 ２０ フレームバッファ、 ２２ 生成部、 ２４ 変換テーブル記憶部、 ２６ 制御部、 ２８ 操作部、 ３０ 予想軌跡記憶部、 ３２ 合成部、 ３４ 監視部、 ３６ 警告部、 ３８ 設定部、 ４０ 静体検知部、 ４２ 動体検知部、 １００ 車両。
【技術分野】
【０００１】
本発明は、運転支援技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
車両のリア部分に車載カメラを設置し、車載カメラによって撮像した画像を運転者に提示することによって、車両後方の様子を運転者に知らしめるための運転支援装置が開発されている。さらに、運転支援装置は、画像を提示するだけではなく、障害物に接近した場合に、その旨を運転手に警告する。その際、障害物の検出は、予め基準画像を撮像し、後退する際に撮像した画像と基準画像とを比較することによってなされる（例えば、特許文献１参照）。
【特許文献１】特開２０００−１７７５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
運転者が駐車を実行する際、車両後方だけではなく車両前方や側方にも、障害物は存在する場合がある。そのため、車両の後方における障害物だけではなく、車両の周囲に対する障害物が検出される方が好ましい。また、駐車する際の障害物として、静体と動体とが存在する。静体とは、壁や他の駐車車両などの駐車を実行する際に移動しない物体である。一方、動体とは、ボールや人物などの駐車を実行する際に移動する物体である。前者に対して、高速な検出速度よりも高い検出精度がより要求され、後者に対して、高速な検出精度も要求される。
【０００４】
本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、駐車の際における障害物の警告を高精度に実行する技術を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様の運転支援装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、記憶部において記憶した予想軌跡を画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、を備える。
【０００６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００７】
本発明によれば、駐車の際における障害物の警告を高精度に実行できる。
【発明を実施するための最良の形態】
【０００８】
本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、車載カメラにて撮像した画像を表示するとともに、駐車する際の予想軌跡も表示し、さらに障害物との接近を運転者に警告する運転支援装置に関する。車両の周囲に対する障害物を検出するとともに、障害物として静体と動体とのそれぞれを高精度に検出するために、本実施例に係る運転支援装置は以下の処理を実行する。車両には、後方だけではなく前方にも、車載カメラが設置される。例えば、車両のフロント部分の左右およびリア部分の左右に、合計４つの車載カメラが設置される。運転支援装置は、複数の車載カメラのそれぞれにおいて撮像した画像を取得し、全周鳥瞰図画像を生成する。
【０００９】
また、運転支援装置は、所定のハンドル舵角に対応した予想軌跡を予め記憶する。ここで、予想軌跡は、全周鳥瞰図画像に対応するので、後輪だけではなく前輪に対する軌跡も含まれている。運転支援装置は、予想軌跡上あるいは予想軌跡から一定の幅を有したエリア上（以下、これらを「第１エリア」という）において、静体を検出する。静体の検出には、例えば、平面投影ステレオ法が使用される。一方、運転支援装置は、車両１００が通過するエリア（以下、「第２エリア」という）において、動体を検出する。動体の検出には、例えば、オプティカルフローが使用される。このように、全周鳥瞰図画像を使用することによって、後方だけでなく前方や側方の障害物を検出できる。また、静体と動体とを別々に検出するので、それぞれに適した検出方法を使用できる。
【００１０】
図１は、本発明の実施例に係る車両１００の構成を示す。車両１００は、運転支援装置１０、撮像装置１２と総称される第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃ、第４撮像装置１２ｄ、表示装置１４を含む。なお、車両１００には、エンジン、シャーシ、ハンドル、ブレーキ等のような、車両１００の本来の動作を実現するための構成要素が含まれている。しかしながら、図を明瞭にするために、図１は、運転を支援するための画像を表示するためや、障害物を検出した場合に警告するために必要な構成要素以外を省略する。また、図１に示された車両１００の左側が前方に相当する。
【００１１】
撮像装置１２は、画像を連続的に撮像し、撮像した画像を運転支援装置１０へ出力する。ここでは、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１２ａと第２撮像装置１２ｂは、車両１００のフロント部分に設置され、第３撮像装置１２ｃと第４撮像装置１２ｄは、車両１００のリア部分に設置されている。ここで、第１撮像装置１２ａから第４撮像装置１２ｄは、任意の組合せにてステレオカメラを形成する。ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。なお、撮像装置１２の数は「４」に限定されない。
【００１２】
運転支援装置１０は、各撮像装置１２からの画像を入力する。運転支援装置１０は、入力した画像を鳥瞰図画像に変換し、さらに複数の撮像装置１２のそれぞれに対応した鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。運転支援装置１０は、予想軌跡を記憶しており、生成した全周鳥瞰図画像に複数種類の予想軌跡を重ねる。ここでは、予想軌跡が重ねられた全周鳥瞰図画像を「合成画像」という。運転支援装置１０は、表示装置１４へ合成画像を出力する。
【００１３】
表示装置１４は、運転支援装置１０からの合成画像を受けつける。また、表示装置１４は、モニタを備えており、モニタに合成画像を表示する。さらに、運転支援装置１０は、予想軌跡をもとに、前述の第１エリアと第２エリアとを設定する。運転支援装置１０は、第１エリアにおいて静体を検出するとともに、第２エリアにおいて動体を検出する。運転支援装置１０は、静体や動体を検出した場合に、運転者に警告を出力する。なお、運転支援装置１０と表示装置１４とが一体的に構成されていてもよい。
【００１４】
図２は、運転支援装置１０の構成を示す。運転支援装置１０は、フレームバッファ２０と総称される第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃ、第４フレームバッファ２０ｄ、生成部２２、変換テーブル記憶部２４、制御部２６、操作部２８、予想軌跡記憶部３０、合成部３２、監視部３４、警告部３６を含む。また、監視部３４は、設定部３８、静体検知部４０、動体検知部４２を含む。
【００１５】
操作部２８は、ボタン等を含むように構成されており、運転者からの指示を受けつける。操作部２８によって受けつけられる指示の一例は、合成画像の表示や監視処理の開始に関する指示である。操作部２８は、受けつけた指示を制御部２６へ出力する。制御部２６は、運転支援装置１０全体の動作を制御する。また、制御部２６は、操作部２８から入力した指示に応じて、後述の生成部２２、変換テーブル記憶部２４、予想軌跡記憶部３０、合成部３２、監視部３４、警告部３６を制御する。ここでは、制御部２６によって制御される運転支援装置１０の状態として、（１）停車前、（２）後退前、（３）後退中が規定されている。
【００１６】
フレームバッファ２０は、図示しない各撮像装置１２に対応づけられて配置されている。例えば、第１フレームバッファ２０ａから第４フレームバッファ２０ｄは、第１撮像装置１２ａから第４撮像装置１２ｄにそれぞれ対応づけられている。フレームバッファ２０は、撮像装置１２からの画像を記憶し、生成部２２へ画像を出力する。生成部２２は、複数のフレームバッファ２０から画像を受けつけ、各画像を鳥瞰図画像へ変換する。このような変換には、公知の技術、例えば特開２００８−４８３４５号公報に開示された技術を使用すればよいので、ここでは説明を省略する。
【００１７】
変換テーブル記憶部２４は、画像から全周鳥瞰図画像への変換の際に使用される変換式を記憶しており、生成部２２は、制御部２６を介して、変換テーブル記憶部２４に記憶された変換式を参照することによって、鳥瞰図画像を生成する。また、生成部２２は、鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。なお、全周鳥瞰図画像の生成にも、特開２００８−４８３４５号公報に開示された技術が使用されればよい。このような全周鳥瞰図画像は、車両１００周辺の鳥瞰図画像ともいえる。ここで、生成部２２は、各フレームバッファ２０から連続的に画像を入力するので、全周鳥瞰図画像を連続的に生成する。生成部２２は、全周鳥瞰図画像を合成部３２へ出力する。生成部２２は、全周鳥瞰図画像の生成とは別に、フレームバッファ２０から受けつけた画像を監視部３４へ出力する。
【００１８】
予想軌跡記憶部３０は、生成部２２において生成した全周鳥瞰図画像に対応すべき車両１００の予想軌跡を記憶する。ここで、予想軌跡は、車両１００のタイヤが通過すると予想される経路であり、車両１００のハンドルを操作して車両１００を後退させる場合の経路に相当する。例えば、予想軌跡は、ハンドルを末切りまで回転させたときの経路として予め設定されている。なお、予想軌跡記憶部３０は、ハンドルを末切りまで回転させたときの予想軌跡以外の別の予想軌跡も記憶してもよい。その際、運転者から指示によって、使用される予想軌跡が選択される。また、操作部２８は、運転者からの指示を受けつけ、制御部２６は、指示に応じた設定を予想軌跡記憶部３０に登録する。
【００１９】
合成部３２は、生成部２２から全周鳥瞰図画像を入力し、予想軌跡記憶部３０から予想軌跡を入力する。合成部３２は、予想軌跡を全周鳥瞰図画像に重畳することによって、合成画像を生成する。その際、合成部３２は、全周鳥瞰図画像上の車両１００の座標と、予想軌跡の座標とを対応づける。つまり、予想軌跡の起点が車両１００となるように合成画像が生成される。なお、合成画像の詳細は後述する。ここでは、合成部３２の処理を前述の（１）から（３）に沿って説明する。
【００２０】
（１）停車前において、運転者が車両１００を運転して駐車スペースの近傍に到着したとき、操作部２８は、合成画像を表示すべき旨の指示を運転者から受けつける。これは、運転者がボタン押下することによって実現される。なお、ボタンが押し下げられるまで、表示装置１４には、合成画像が表示されておらず、例えば、ナビゲーション画面等が表示されている。そのため、駐車前にボタン押下によって、表示装置１４の表示が切りかえられるともいえる。なお、操作部２８は、ボタンによって指示を受けつけずに、例えば、タッチパネル、音声認識などによって指示を受けつけてもよい。前述のごとく、操作部２８は、受けつけた指示を制御部２６へ出力する。
【００２１】
制御部２６は、操作部２８からの指示を受けつけると、合成画像が生成されるように、生成部２２、合成部３２の動作を制御する。合成部３２は、予想軌跡記憶部３０から予想軌跡を抽出する。ここで、予想軌跡は、初期のハンドル舵角αに対応する。なお、駐車支援を必要とする場面では、一般的に、ハンドルは末切りまで回転されるので、予想軌跡に対するハンドル舵角は、末切り状態に対応する。合成部３２は、合成画像を図示しない表示装置１４へ出力することによって、表示装置１４に合成画像を表示させる。その結果、運転者は、表示装置１４に表示された合成画像を確認しながら、ハンドルを操作することによって、前後方の障害物に接触することなく、駐車スペースに収まるような停車位置への誘導が可能になる。
【００２２】
（２）後退前において、運転者が表示装置１４に表示された合成画像を見ながら、駐車の開始となる位置に車両１００を停止させたとき、つまり車両１００の後退を開始させる前、操作部２８は、運転者によるボタンの押し下げを検出する。操作部２８は、検出結果を制御部２６へ出力する。制御部２６は、操作部２８からの検出結果を受けつけると、図示しないスピーカから、「ハンドルをｘｘ回左に切ってください」のような音声ガイダンス等を出力する。ここで、ガイダンスの内容は、予想軌跡に対するハンドル舵角に対応するように予め設定されている。
【００２３】
（３）後退中において、制御部２６は、操作部２８からの検出結果を受けつけた後、タイマーを開始させることによって、操作部２８からの検出結果を受けつけてからの期間を計測する。予め定めた期間が経過された後、つまりスピーカから音声ガイダンスが出力されてから、一定の期間が経過した後、制御部２６は、合成部３２に対して、予想軌跡の重畳を中止させる。その結果、合成部３２は、全周鳥瞰図画像に車幅延長線のみを重畳することによって、合成画像を生成し、表示装置１４へ合成画像を出力する。車幅延長線とは、ハンドルを切らずに車両１００がまっすぐ後退した場合の軌跡である。
【００２４】
なお、制御部２６は、図示しないシフト位置センサと接続されており、シフトが後退に入った旨をシフト位置センサから受けつける。その後、制御部２６は、シフトが別の位置に入った旨をシフト位置センサから受けつけたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。あるいは、運転手によるボタンの再押下を操作部２８が検出し、制御部２６は、操作部２８における検出がなされたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。
【００２５】
図３（ａ）−（ｅ）は、合成部３２において後退駐車の際に生成される合成画像を示す。これらは、表示装置１４に表示される合成画像ともいえる。図３（ａ）は、車両１００が駐車場に進入した場合の合成画像である。合成画像の中央付近に車両１００が示されている。また、合成画像の下部に駐車スペース７０が示されている。以下では、車両１００が駐車スペース７０に駐車する場合を想定する。なお、この段階において、合成画像は表示装置１４に表示されていなくてもよい。運転手は、このような状態において、ボタンを押し下げることによって、運転支援装置１０は、前述の（１）停車前の状態になる。
【００２６】
図３（ｂ）は、（１）停車前の状態における合成画像を示す。図示のごとく、予想軌跡５０と総称される第１予想軌跡５０ａ、第２予想軌跡５０ｂ、第３予想軌跡５０ｃが示される。また、車幅延長線５８と総称される第１車幅延長線５８ａ、第２車幅延長線５８ｂも示される。予想軌跡５０は、ハンドルを末切りまで回転させた場合の予想軌跡に相当する。また、第１予想軌跡５０ａは、右側後輪の予想軌跡に相当し、第２予想軌跡５０ｂは、左側後輪の予想軌跡に相当し、第３予想軌跡５０ｃは、前輪の予想軌跡に相当する。図３（ｂ）の状態において、第１予想軌跡５０ａおよび第２予想軌跡５０ｂは、駐車スペース７０に隣接したスペースに駐車された車両（以下、「隣接車両」という）に重なっている。
【００２７】
つまり、図３（ｂ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退すると、車両１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１４に表示された合成画像を確認しながら、予想軌跡５０が隣接車両に重ならないような位置へ車両１００を移動させる。これは、予想軌跡５０上の障害物が存在しない停車位置が模索されることに相当する。
【００２８】
図３（ｃ）は、図３（ｂ）に続く状態であり、予想軌跡５０が隣接車両に重ならないような位置に車両１００が存在する。図３（ｃ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退しても、車両１００が隣接車両に衝突しない。そのため、図３（ｃ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転手は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図３（ｄ）は、図３（ｃ）に続く状態であり、前述の（３）後退中の状態である。図示のごとく、予想軌跡５０が消去され、車幅延長線５８のみが表示されている。運転者は、車両１００をまっすぐに後退させる。その結果、図３（ｅ）のごとく、車両１００は駐車スペース７０内にて停止する。
【００２９】
図４（ａ）−（ｃ）は、合成部３２において前進駐車から発進する際に生成される合成画像を示す。ここでは、初期状態において、車両１００は、駐車スペース７０に停止されており、後退しながら駐車スペース７０から出て行く場合を想定する。図４（ａ）は、前述の（１）停車前の状態に相当しており、予想軌跡５０および車幅延長線５８が表示されている。また、第３予想軌跡５０ｃが隣接車両と重なっている。つまり、図４（ａ）の停止位置から、ハンドル舵角が末切りの状態のまま、車両１００が後退すると、車両１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１４に表示された合成画像を確認しながら、予想軌跡５０が隣接車両に重ならないような位置へ車両１００を移動させる。
【００３０】
図４（ｂ）は、図４（ａ）に続く状態であり、車両１００がまっすぐに後退した場合である。この位置では、第３予想軌跡５０ｃが隣接車両に重ならない。そのため、図４（ｂ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転手は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図４（ｃ）は、図４（ｂ）に続く状態であり、前述の（３）後退中の状態である。ここでは、予想軌跡５０が表示されているが、この後、予想軌跡５０が消去され、車幅延長線５８のみが表示される。その結果、車両１００による駐車スペース７０から抜け出しが完了される。
【００３１】
図２に戻る。設定部３８は、図示しない表示装置１４において表示される合成画像、つまり合成部３２において生成された合成画像に対して、予想軌跡をもとに障害物の検出領域を設定する。ここで、設定部３８は、静止した障害物である静体の検出領域と、動作する障害物である動体の検出領域とを独立に設定する。前者が第１エリアに相当し、後者が第２エリアに相当する。ここでは、図面を使用しながら、第１エリアと第２エリアとを説明する。
【００３２】
図５は、警告部３６における監視処理の概要を示す。これは、図３（ｂ）等と同様の合成画像であり、車両１００および駐車スペース７０が示されている。また、第１予想軌跡５０ａから第３予想軌跡５０ｃも示されている。第１エリアは、予想軌跡５０上あるいは予想軌跡５０から一定の幅を有したエリア上であると規定される。しかしながら、説明を容易にするために、以下では、第１エリアが予想軌跡５０上であるとする。そのため、図５では、第１予想軌跡５０ａ、第２予想軌跡５０ｂ、第３予想軌跡５０ｃが第１エリアに相当する。一方、第２エリアは、車両１００が通過するエリアと規定されている。図５では、第１予想軌跡５０ａと第２予想軌跡５０ｂとの間のエリアである第１検出エリア６０ａと、車両１００と第３予想軌跡５０ｃとの間のエリアである第２検出エリア６０ｂとが第２エリアに相当する。予想軌跡５０は、全周鳥瞰図画像における第１エリアの位置、例えば座標を静体検知部４０へ出力し、全周鳥瞰図画像における第２エリアの領域、例えば座標を動体検知部４２へ出力する。
【００３３】
静体検知部４０は、生成部２２から、複数の画像を受けつけるとともに、設定部３８から、第１エリアの座標を受けつける。静体検知部４０は、複数の画像に対して、平面投影ステレオ法を使用することによって、画像に含まれた物体の高さを特定する。平面投影ステレオ法は、視点の異なる複数の撮像装置１２によって撮像した複数の撮影画像をひとつの基準平面上に投影し、それらの画像の差分から高さのある物体の領域を求めるという手法である。
【００３４】
平面投影ステレオ法として、例えば、特開２００３−２３２８６７号公報に記載された技術が使用されればよいので、ここでは説明を省略する。静体検知部４０は、第１エリア上における物体の高さがしきい値より高い場合に、静体を検出したとする。静体検知部４０は、静体を検出した場合にその旨を警告部３６へ出力する。その際、静体検知部４０は、検出した静体の位置を出力してもよい。ここで、障害物の検知は、例えば、ブレーキが踏まれている状態や停止している場合になされる。そのために、静体検知部４０は、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
【００３５】
動体検知部４２は、合成部３２から、合成画像を連続的に受けつけるとともに、設定部３８から、第２エリアの座標を受けつける。動体検知部４２は、連続的に受けつけた合成画像をもとに、第２エリア内における動体の存在を検出する。動体の検出には、オプティカルフローが使用される。オプティカルフローとは、動物体解析の手法のひとつであり、全周鳥瞰図画像中の輝度情報から動きを解析し、速度ベクトルによって動体の運動を表す技術である。このようなオプティカルフローには、公知の技術が使用されればよいので、ここでは説明を省略する。動体検知部４２は、動体を検出した場合にその旨を警告部３６へ出力する。ここで、障害物の検知は、例えば、ある一定の速度以下で走行している場合や停止している場合になされる。走行速度は、地面特徴点の動きベクトルの大きさにより判別されてもよいし、図示しない速度センサから速度情報を入手してもよい。また、動体検知部４２での障害物の検知は、例えば、静体検知部４０での障害物の検知と同様に、ブレーキが踏まれている状態や停止している場合になされる。そのために、動体検知部４２も、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
【００３６】
警告部３６は、静体検知部４０が第１エリア内の静体を検出した場合、あるいは動体検知部４２が第２エリア内の動体を検出した場合、その旨を警告する。つまり、警告部３６は、車両１００の前後方の予想軌跡付近に障害物を検知したら、それを運転者に警告する。警告の具体例は、後述する。図５では、車両１００の前方には接触する危険がないが、後方に進入してきたボールに接触する危険があるので、運転者への警告がなされる。
【００３７】
図６（ａ）−（ｆ）は、警告部３６における警告処理の概要を示す。図６（ａ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡５０を表示する際の色を変える。例えば、障害物が存在する場合、予想軌跡５０が赤色で示され、障害物が存在しない場合、予想軌跡５０が青色で示される。図６（ｂ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡５０の表示方法を変える。例えば、障害物が存在する場合、予想軌跡５０が点滅で示され、障害物が存在しない場合、予想軌跡５０が点灯で示される。
【００３８】
図６（ｃ）は、障害物が存在する場合に着色部分８０を表示し、障害物が存在しない場合に着色部分８０を表示しない。着色部分８０は、例えば、赤色に着色される。図６（ｄ）は、障害物が存在する場合にフラッシュ部分８２を表示し、障害物が存在しない場合にフラッシュ部分８２を表示しない。フラッシュ部分８２は、例えば、点滅にて示される。図６（ｅ）は、図６（ｃ）と同様に着色部分８０を表示するが、障害物の部分ではなく、車両１００上に着色部分８０を表示する。図６（ｆ）は、図６（ｄ）と同様にフラッシュ部分８２を表示するが、障害物の部分ではなく、車両１００上にフラッシュ部分８２を表示する。
【００３９】
図７（ａ）−（ｃ）は、警告部３６における警告処理の別の概要を示す。図７（ａ）は、図６（ｃ）と同様に、障害物が存在する場合に着色部分８０を表示するが、障害物である隣接車両との距離に応じて、第１着色部分８０ａから第３着色部分８０ｃを表示する。第３着色部分８０ｃが隣接車両に最も近く、第１着色部分８０ａが隣接車両から最も離れている。ここで、第１着色部分８０ａから第３着色部分８０ｃのそれぞれは、異なった色で示される。
【００４０】
図７（ｂ）は、図６（ｄ）と同様に、障害物が存在する場合にフラッシュ部分８２を表示するが、障害物である隣接車両との距離に応じて、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃを表示する。第３フラッシュ部分８２ｃが隣接車両に最も近く、第１フラッシュ部分８２ａが隣接車両から最も離れている。ここで、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃのそれぞれは、異なった間隔で点滅される。図７（ｃ）は、図６（ｃ）の変形例であり、図６（ｃ）の着色部分８０の代わりに、第１着色部分８０ａを示す。また、第３予想軌跡５０ｃに重なるように第２着色部分８０ｂが示される。ここで、第１着色部分８０ａと第２着色部分８０ｂとは、異なった色で示される。なお、図６（ａ）−（ｆ）や図７（ａ）−（ｃ）に示した警告の表示とは別にあるいは共に、音声にて警告が出力されてもよい。
【００４１】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４２】
以上の構成による運転支援装置１０の動作を説明する。図８は、運転支援装置１０における表示手順を示すフローチャートである。操作部２８は、ボタンの押し下げを検出する（Ｓ１０）。合成部３２は、全周鳥瞰図画像および複数の予想軌跡をもとに合成画像を生成し、合成画像を表示装置１４に表示させる（Ｓ１２）。静体検知部４０および動体検知部４２は、障害物検知処理を実行する（Ｓ１４）。障害物を検出すれば（Ｓ１６のＹ）、警告部３６は、警告を出力する（Ｓ１８）。一方、障害物を検出しなければ（Ｓ１６のＮ）、ステップ１８をスキップする。
【００４３】
操作部２８がボタンの押し下げを検出しなければ（Ｓ２０のＮ）、ステップ１４に戻る。一方、操作部２８がボタンの押し下げを検出すれば（Ｓ２０のＹ）、制御部２６は、ハンドルの舵角のガイダンスをスピーカから出力する（Ｓ２２）。一定期間経過していなければ（Ｓ２４のＮ）、合成部３２は、同様の合成画像を生成し続ける。一方、一定期間経過すれば（Ｓ２４のＹ）、合成部３２は、予想軌跡５０の表示を消去し（Ｓ２６）、車幅延長線５８の表示を残す。
【００４４】
本発明の実施例によれば、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方外周における予想軌跡を表示できる。また、前方外周における予想軌跡も表示するので、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、より最適な停車位置に誘導できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、駐車の際における障害物の警告を高精度に実行できる。また、静体と動体のそれぞれを別々に検出するので、それぞれに適した検出アルゴリズムを使用できる。
【００４５】
また、静体と動体のそれぞれに適した検出アルゴリズムを使用するので、駐車の際における障害物の警告を高精度に実行できる。また、静体を検出するために、第２エリアよりも狭い第１エリアを使用するので、処理量を削減しながらも高精度な検出を実現できる。また、静体を検出するために静体の高さを考慮するので、静体の検出精度を向上できる。また、動体を検出するために、第１エリアよりも広い第２エリアを使用するので、動体の検出精度を向上できる。また、前後方の予想軌跡上にある障害物を検知して警告するので、運転者が表示装置を注視することなく、安全な最適停車位置まで移動させることができる。
【００４６】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４７】
本発明の実施例において、合成部３２は、予想軌跡として、タイヤが通過すべき経路を表示装置１４に表示させる。しかしながらこれに限らず例えば、合成部３２は、予想軌跡として、車両１００が走行する走行面を表示装置１４に表示させてもよい。具体的に説明すると、図３において、第１予想軌跡５０ａと第２予想軌跡５０ｂとの間にも着色することによって、走行面が表示される。本変形例によれば、車両１００が通過する部分を運転手に容易に認識させることができる。
【００４８】
本変形例に加えて、操作部２８は、予想軌跡の色、予想軌跡として経路の表示あるいは走行面の表示の切りかえに関する指示を受けつけてもよい。制御部２６は、操作部２８において受けつけた指示に応じて、合成部３２での設定を変更してもよい。本変形例によれば、運転者にとって情報を認識しやすい画面を提供できる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施例に係る車両の構成を示す図である。
【図２】図１の運転支援装置の構成を示す図である。
【図３】図３（ａ）−（ｅ）は、図２の合成部において後退駐車の際に生成される合成画像を示す図である。
【図４】図４（ａ）−（ｃ）は、図２の合成部において前進駐車から発進する際に生成される合成画像を示す図である。
【図５】図２の監視部における監視処理の概要を示す図である。
【図６】図６（ａ）−（ｆ）は、図２の警告部における警告処理の概要を示す図である。
【図７】図７（ａ）−（ｃ）は、図２の警告部における警告処理の別の概要を示す図である。
【図８】図２の運転支援装置における表示手順を示すフローチャートである。
【符号の説明】
【００５０】
１０ 運転支援装置、 １２ 撮像装置、 １４ 表示装置、 ２０ フレームバッファ、 ２２ 生成部、 ２４ 変換テーブル記憶部、 ２６ 制御部、 ２８ 操作部、 ３０ 予想軌跡記憶部、 ３２ 合成部、 ３４ 監視部、 ３６ 警告部、 ３８ 設定部、 ４０ 静体検知部、 ４２ 動体検知部、 １００ 車両。
【特許請求の範囲】
【請求項１】
車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
前記画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、
前記記憶部において記憶した予想軌跡を前記画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、
前記表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、
前記設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、
を備えることを特徴とする運転支援装置。
【請求項２】
前記設定部は、静止した障害物を検出するための第１の検出領域と、動作する障害物を検出するための第２の検出領域とを設定することを特徴とする請求項１に記載の運転支援装置。
【請求項１】
車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
前記画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、
前記記憶部において記憶した予想軌跡を前記画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、
前記表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、
前記設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、
を備えることを特徴とする運転支援装置。
【請求項２】
前記設定部は、静止した障害物を検出するための第１の検出領域と、動作する障害物を検出するための第２の検出領域とを設定することを特徴とする請求項１に記載の運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１６１９３５（Ｐ２０１１−１６１９３５Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２００８−１４３７８６（Ｐ２００８−１４３７８６）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]