運転支援装置
【課題】操舵角を小刻みに変更しなければならない駐車場などでの運転において、他車や障害物との接触を防止する。
【解決手段】運転支援装置は、撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、自車周辺俯瞰画像に対して外端予想軌跡線と先端予想軌跡線と内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備える。
【解決手段】運転支援装置は、撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、自車周辺俯瞰画像に対して外端予想軌跡線と先端予想軌跡線と内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、駐車場など障害物との接触可能性の高い領域で旋回走行する際の運転支援をする運転支援装置に関する。
【背景技術】
【０００２】
進入路に沿って駐車枠に縦列駐車または車庫入れ駐車しようとする際に駐車操作の案内をする運転支援装置が特許文献１に開示されている。この運転支援装置では、車両の複数位置に設置されたカメラで自車周囲を撮像し、その撮像信号をカメラ光軸を路面に垂直にした視点からの画像信号へ変換合成して俯瞰画像を作成し、俯瞰画像における自車の現在位置に基づく案内指標を設定して、俯瞰画像に案内指標を配置した重畳画像を作成し、この重畳画像を表示手段に表示する。その際、車庫入れ後退駐車用の案内指標として、前部最外周の案内指標と、後部最外周の案内指標と、後部最内周の案内指標とが提示されている。前部最外周の案内指標は、自車の旋回中心点を中心として自車の車体の左前端を通る旋回円軌跡の１／４の円弧を外縁とする扇形状である。後部最外周の案内指標は、同じ旋回中心点を中心として自車後端部を通る旋回円軌跡の１／４の円弧を外縁とする扇形状である。後部最内周の案内指標は、同じ旋回中心点を中心として、自車両後端部を通る旋回円軌跡の１／４の円弧である。このように、俯瞰画像における自車両の現在位置に基づく案内指標として車体端部の軌跡を設定し、俯瞰画像に重畳してモニタ表示することで、運転者が駐車枠への進入位置を容易に把握することができように意図されている。しかしながら、この運転支援装置は、案内指標としての車両端部の軌跡が車両の最小回転（旋回）半径に基づいているので、操舵角を頻繁に変更するような運転には適していない。例えば、前進での駐車枠に進入する前進駐車プロセスや隣接駐車枠が駐車中である駐車枠から発進するような駐車発進プロセスのように、プロセスの前半において旋回半径が大きくなる緩い操舵角が使用されるようなケースでは、最小回転半径に基づく案内指標は使いづらい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０‐１２８３６号公報（段落番号〔０００５−００７３〕、図１、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記実情に鑑み、操舵角を小刻みに変更しなければならない駐車場などでの運転において、他車や障害物との接触を防止するために適した運転支援装置が望まれている。
【課題を解決するための手段】
【０００５】
後進旋回走行において上記目的を達成するための本発明による運転支援装置は、操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、自車の操舵角を算定する操舵角算定部と、算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備えている。
【０００６】
この構成によれば、例えば混み合った駐車場から後進で発進するような後進旋回プロセスにおいて、そのプロセスの進行にともなって、取得された撮影画像及び算定された操舵角に基づいてその都度更新された運転支援俯瞰画像がモニタ表示される。その際、後進旋回プロセスにおいて他車や障害物との接触が生じやすい、車体の旋回外側前端部と旋回外側後端部と旋回内側後端部の３つの端部の予想軌跡線が表示される。したがって、運転者はその時点での自車位置と操舵角に基づく予想軌跡線から他車や障害物との接触可能性を容易に判断することができる。
なお、予想軌跡線を、自車周辺俯瞰画像での自車イメージに関連付けて合成するための具体的な構成として、当該自車イメージにおける、各予想軌跡線の対応端部が出発点となるように各予想軌跡線が合成されることが提案される。
【０００７】
前進旋回走行において上記目的を達成するための本発明による運転支援装置は、操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、自車の操舵角を算定する操舵角算定部と、算定された操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備えている。
【０００８】
この構成では、前進旋回プロセスで他車や障害物との接触が生じやすい、車体の旋回外側前端部と旋回内側前端部と旋回内側後端部の３つの端部に関係付けられて予想軌跡線が表示される。したがって、運転者はその時点での自車位置と操舵角に基づく予想軌跡線から他車や障害物との接触可能性を容易に判断することができる。
なお、ここでも、予想軌跡線を、自車周辺俯瞰画像での自車イメージに関連付けて合成するための具体的な構成として、当該自車イメージにおける、各予想軌跡線の対応端部が出発点となるように各予想軌跡線が合成されることが提案される。
【０００９】
駐車領域への駐車や駐車領域からの発進においては、上述した後進旋回プロセスと前進旋回プロセスの両方のプロセスが生じうるので、それぞれの旋回プロセスに適した機能を組み合わせた運転支援装置は、本発明の好適な形態である。
【００１０】
本発明による好適な実施形態の１つとして、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線が視覚的に互いに異なるような形態でモニタ表示されるようにすると、小さい画面でおいても互いに区別しやすく、好都合である。同様に、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示されるならば、自車周辺俯瞰画像として表示されている撮影画像にこれから通過する自車領域が面状で示されるので、自車と自車周辺との走行に伴う位置関係が容易に推測することができる。
【００１１】
各予想軌跡線を操舵角毎に演算して描画するためにはかなり大きな演算負荷が要求される。このような演算負荷の増大を避けるため、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線を、操舵角毎に準備された予想軌跡線イメージとして前記予想軌跡線決定部によって抽出可能に軌跡イメージ格納部に格納しておくことが提案される。これにより、自車周辺俯瞰画像と合成する各予想軌跡線のイメージを毎回生成する必要がなく、操舵角を検索条件として適切な予想軌跡線のイメージを抽出するだけでよい。
【００１２】
自車と自車周辺の関係は自車の走行によって変化し、予想軌跡線の形状は操舵角によって異なる。従って、最新の運転支援俯瞰画像をモニタ表示するためには、前記操舵角が所定角度変更される毎に、または自車が所定距離走行する毎に前記運転支援俯瞰画像を更新するとよい。
【００１３】
接触事故などを高い信頼性をもって避けるためには、自車周辺の障害物を見つけ出し、この障害物が予想軌跡線と交わるかどうかをチェックするとよい。このため、本発明の好適な実施形態の１つでは、自車周辺の障害物を検知して障害物位置を含む障害物情報を生成する障害物検知モジュールからの前記障害物情報に基づいて、前記運転支援俯瞰画像に組み込まれる前記障害物イメージを生成する障害物イメージ生成部が備えられている。
【図面の簡単な説明】
【００１４】
【図１】本発明による運転支援装置で用いられている、撮影画像に基づく俯瞰画像に旋回時の予想軌跡線を組み込んだ運転支援俯瞰画像の生成原理を説明する模式図である。
【図２】本発明による運転支援装置を搭載した車両の一部を切り欠いた車両斜視図である。
【図３】後進左・右旋回と前進左・右旋回における３つの予想軌跡線との関係を説明する模式図である。
【図４】運転支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。
【図５】入力画像処理モジュールと出力画像処理モジュールの機能ブロック図である。
【図６】撮影画像から周辺俯瞰画像が生成され、操舵角から予想軌跡イメージが抽出される様子を模式的に示す説明図である。
【図７】車庫入れ駐車からの後進発車プロセスにおける運転支援表示画像を含むモニタ画面を示すモニタ画面図である。
【図８】縦列駐車のための後進駐車プロセスにおける運転支援表示画像を含むモニタ画面を示すモニタ画面図である。
【発明を実施するための形態】
【００１５】
まず、本発明による運転支援装置で用いられている、撮影画像に基づく自車周辺俯瞰画像（以後、単に俯瞰画像と略称されることが多い）に自車端部の予想軌跡線を組み込んだ運転支援俯瞰画像の生成原理を、図１の模式図を用いて説明する。この例では、自車が車庫入れ駐車から後進左旋回によって発進する様子を示している。車載カメラによる、ここでは（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）で符号付けられた４つの撮影画像によって、自車周囲は実質的に隙間なくカバーされている。
駐車場などの駐車領域から発進する時に、運転支援が開始される。まず、車載カメラによって自車を取り巻く周辺領域の４つの撮影画像が取り込まれる（＃１）。取り込まれた撮影画像は、それ自体は公知であるマッピングテーブルを用いた視点変換処理によって所定の上方仮想視点から見た俯瞰画像に変換される（＃２）。撮影画像が取り込まれる時点の走行方向（前進：Ｄまたは後進：Ｒ、ここでは後進）と操向車輪（ここでは前輪）の操舵角とが算定される（＃３）。後進旋回または前進旋回のそれぞれにおいて、操舵角別の自車端部の予想軌跡線のイメージが準備されている。
【００１６】
なお、本発明では、後進旋回における自車端部の予想軌跡線には、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とが含まれている。また、前進旋回における自車端部の予想軌跡線には、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とが含まれている。
【００１７】
算定された操舵角を検索キーとして後進旋回予想軌跡線データ群から合致する、後進旋回予想軌跡線が抽出される（＃４）。ステップ＃２で生成された俯瞰画像とステップ＃４で抽出された後進旋回予想軌跡線とが、俯瞰画像における自車位置と後進旋回予想軌跡線における自車位置とを一致させるように合成されて、モニタ表示用の運転支援俯瞰画像を生成する（＃５）。生成された運転支援俯瞰画像は、例えば、自車進行方向の撮影画像であるバックモニタ画像などとともにモニタに表示される（＃６）。上述したステップ＃１からステップ＃６が、自車が所定距離走行する毎にまたは操舵角が所定角度変更される毎に繰り返されることで、車庫入れ駐車から抜け出すためのプロセスの間に運転支援俯瞰画像が適時更新され、運転者の運転が支援される。
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、自車に備えられた前方カメラ、左右サイドカメラ、後方カメラのうちの駐車方向と左右方向とを撮影するカメラの撮影画像とから生成される俯瞰画像を運転支援俯瞰画像とする運転支援装置が示されている。
図２に示すように、この車両は、左右の前輪１１ａと１１ｂが操向車輪として、左右の後輪１２ａと１２ｂが非操向車輪として構成されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１９】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその被写体となる。駐車や発進時の運転支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された運転支援用画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１を通じて行われる。
【００２０】
この運転支援装置は、駐車場における駐車領域への駐車や駐車領域からの発進において行われる前進旋回時及び後進旋回時に特に効果的である車体端部の予想軌跡線を表示するが、この予想軌跡線について図３を用いて説明する。
図３では、旋回走行時に他車や障害物との接触可能性が高い車体端部（４つの車体コーナ部）として、左側後端部２ａ、右側後端部２ｂ、左側前端部２ｃ、右側前端部２ｄが示されている。
図３（ａ）には、後進右旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる左側前端部２ｃの軌跡である外端予想軌跡線Ｒ１、旋回外側後端部となる左側後端部２ａの軌跡である先端予想軌跡線Ｒ２、旋回内側後端部となる右側後端部２ｂの軌跡である内端予想軌跡線Ｒ３が定義されている。
図３（ｂ）には、後進左旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる右側前端部２ｄの軌跡である外端予想軌跡線Ｒ１、旋回外側後端部となる右側後端部２ｂの軌跡である先端予想軌跡線Ｒ２、旋回内側後端部となる左側後端部２ａの軌跡である内端予想軌跡線Ｒ３が定義されている。
図３（ｃ）には、前進右旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる左側前端部２ｃの軌跡である外端予想軌跡線Ｄ１、旋回外側後端部となる右側後端部２ｂの軌跡である先端予想軌跡線Ｄ２、旋回内側後端部となる右側後端部２ｂの軌跡である内端予想軌跡線Ｄ３が定義されている。
図３（ｄ）には、前記左旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる右側前端部２ｄの軌跡である外端予想軌跡線Ｄ１、旋回外側後端部となる左側前端部２ｃの軌跡である先端予想軌跡線Ｄ２、旋回内側後端部となる左側後端部２ａの軌跡である内端予想軌跡線Ｄ３が定義されている。
以上の全ての予想軌跡線は関数であり、操舵角θの値によって異なる形状をもつ。
【００２１】
車両内部には、本発明の運転支援装置の中核をなす運転支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図４に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース８０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
【００２２】
センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
また、通信インターフェース８０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。
【００２３】
ＥＣＵ２０には、運転情報生成部３０と、位置情報算定部３５と、障害物検出部３６と、入力画像処理モジュール５０と、出力画像処理モジュール６０と、音声処理モジュール７０が備えられている。運転情報生成部３０には、操舵角算定部３１と前後進判定部３２とが含まれている。操舵角算定部３１は、ステアリングセンサ２４から送られてくる操舵方向と操舵量との検出データから、符号付（左右方向）の操舵角を算定する。前後進判定部３２は、シフト位置センサ２５から送られてくるシフト位置検出データから自車が前進又は後進のいずれの方向に進行するかを判定する。運転情報生成部３０は、所定タイミング（所定時間、所定走行距離など）で、操舵角算定部３１で算定された操舵角と前後進判定部３２で判定された自車進行方向を含む運転情報を生成して出力画像処理モジュール６０に送る。出力画像処理モジュール６０で生成されたモニタ表示画像は図示されていない表示制御部でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７０で生成された運転支援のための音声ガイドや緊急時の警告音などはスピーカ２２から出力される。入力画像処理モジュール５０は、カメラ１からの撮影画像を処理した得られた処理済み画像を、出力画像処理モジュール６０やこの画像を利用する他の機能部に送る。
【００２４】
位置情報算定部３５は、自車の移動に伴って変化する自車の位置情報を検出する。この処理は距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイール３４の操舵量とに基づいて行われる。障害物検出部３６は、それ自体はよく知られているので詳しい説明は省略するが、距離計測処理及び画像認識処理を用いて車両周辺近傍に存在する物体（障害物）を検出する。このため、ここでは図示されていない、車両前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置された複数の超音波センサが接続されている。なお、超音波センサに代えてレーザレーダ等の他の物体検出センサを用いても良い。障害物検出部３６は、各超音波センサにおける反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサの検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出部３６は車両周辺の障害物の存在に関する障害物情報を生成して、出力画像処理モジュール６０や音声処理モジュール７０に送る。
【００２５】
図５に、ＥＣＵ２０の入力画像処理モジュール５０と出力画像処理モジュール６０の機能ブロック図が示されている。入力画像処理モジュール５０は、自車周辺を撮影するカメラによって取得された撮影画像から自車上方を視点とする視点変換によって自車周辺俯瞰画像（単に俯瞰画像とも称する）を生成する機能を有している。出力画像処理モジュール６０は、入力画像処理モジュール５０によって生成された俯瞰画像に、図３で定義された車体端部予想軌跡線を組み合わせて運転支援俯瞰画像を生成し、モニタ画面の所定の表示領域に表示させる。
【００２６】
入力画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、表示用画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２は４つのカメラ１ａ〜１ｄによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６が含まれている。通常画像生成部５４は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ１ａ〜１ｄ毎に独立しており、そのモニタ表示を任意に選択することができる。
【００２７】
俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車の周囲を上方から見たときの俯瞰画像に変換し表示用画像メモリ５７に格納する。マッピングテーブル５６は種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。図６には、縦列駐車時の４つの撮影画像から俯瞰画像への変換の様子が模式的に示されている。後方カメラ１ａによる撮影画像はマッピング５６によって後方撮影画像が俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像はマッピング５６によって前方撮影画像が俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像はマッピング５６によって左サイド撮影画像を俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像はマッピングテーブル５６によって右サイド撮影画像が俯瞰画像の右領域画像に座標変換される。このため、マッピングテーブル５６は各カメラの撮影画像を俯瞰画像に変換するために４つの異なる俯瞰画像マッピングテーブルを備えている。
【００２８】
出力画像処理モジュール６０は、運転情報取得部６１、予想軌跡線決定部６２、軌跡イメージ格納部６３、自車イメージ管理部６４ａを有する俯瞰画像取得部６４、報知イメージ生成部６５、画像合成部６６、フレームメモリ６７を含んでいる。
運転情報取得部６１には、さらに操舵角取得部６１ａと進行方向取得部６１ｂが含まれている。操舵角取得部６１ａは受け取った運転情報から現時点の自車の操舵角を読み取り、進行方向取得部６１ｂは現時点の自車の進行方向を読み取る。
【００２９】
予想軌跡線決定部６２は、運転情報取得部６１から得られた操舵角と進行方向とに基づいて、自車が後進旋回しているか、前進旋回しているかを判断することができる。
後進旋回と判断された場合、得られた操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線Ｒ１と旋回外側後端部の軌跡である先端予想軌跡線Ｒ２と旋回内側後端部の軌跡である内端予想軌跡線Ｒ３とが、モニタ表示するために決定される。
前進旋回と判断された場合、得られた操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線Ｄ１と先端予想軌跡線Ｄ２と旋回内側後端部の軌跡である内端予想軌跡線Ｄ３とが、モニタ表示するために決定される。
【００３０】
この実施形態では、後進旋回時の外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３、及び前進旋回時の外端予想軌跡線Ｄ１と先端予想軌跡線Ｄ２と内端予想軌跡線Ｄ３は、所定単位操舵角毎に準備された、俯瞰画像生成部５５によって生成された俯瞰画像に合成される予想軌跡線イメージとして軌跡イメージ格納部６３に格納されている。従って、予想軌跡線決定部６２は、図６で模式的に示すように、現時点の操舵角と進行方向とに基づいて、最適な予想軌跡線イメージを軌跡イメージ格納部６３から抽出することができる。
【００３１】
俯瞰画像取得部６４は、俯瞰画像生成部５５によって生成された現時点の俯瞰画像を取得し、自車イメージ管理部６４ａで用意された自車イメージを所定の位置、通常は俯瞰画像の中心位置にはめ込む。なお、自車イメージが予想軌跡線イメージに予め組み込まれている場合には、ここでの自車イメージ管理部６４ａは不要となる。
【００３２】
画像合成部６６は、俯瞰画像取得部６４で用意された俯瞰画像に、予想軌跡線決定部６２によって用意された３つの予想軌跡線を含む予想軌跡線イメージを、互いの仮想的な自車位置を合わせるように合成して、つまり自車イメージに関連付けて、運転支援表示画像を生成する。より具体的には、自車イメージにおける各予想軌跡線の対応端部(実際の車両端部２ａ,２ｂ,２ｃ,２ｄに対応する部分)が出発点となるように、俯瞰画像に対して外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３とを合成する。その際、自車イメージの対応端部と予想軌跡線の端部は一致している必要は必ずしもなく、その端部同士は互いに間隔をあけていてもよい。この合成の際に、報知イメージ生成部６５で駐車案内メッセージなどの報知情報をイメージ化した報知イメージも付加的に合成することができる。
【００３３】
図７に、車庫入れ駐車している自車が後進でこの駐車領域から抜け出す後進発車プロセスにおける運転支援表示画像の一例が示されている。このモニタ画面には、運転支援表示画像と後方カメラ１ａによる撮影画像であるバックモニタ画像が横並び配置されている。運転支援表示画像には、外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３が表示されているので、現状の操舵角で自車が隣接する他車や壁などの障害物と接触する可能性を運転者は容易に認識することができる。バックモニタ画像では、後方の壁を確認できるが、その壁までの距離感は理解しづらく、現状の操舵角で接触する可能性があるかどうかを判断するのは普通の運転者では困難である。
図７（ａ）の状態（操舵角θ）では、運転支援表示画像が先端予想軌跡線Ｒ２を通じて自車の右側後端部２ｂが接触する可能性を示している。そのため、運転者が操舵角を大きくして操舵角を増大させて（操舵角θ+Δθ）、図７（ｂ）の状態にすると、運転支援表示画像から自車が壁に接触しないことが確認できる。
この図７では車庫入れ駐車から抜け出す後進発車プロセスで本発明の運転支援表示画像の有効性を説明したが、この図から明らかなように走行路から車庫入れ駐車する前進駐車プロセスでも同様に本発明の運転支援表示画像が有効なことが理解できる。
【００３４】
図８には、縦列駐車のための後進駐車プロセスにおける運転支援表示画像を含むモニタ画面が示されている。ここでも、運転支援表示画像には、外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３が表示されているので、現状の操舵角で自車が隣接する他車や壁などの障害物と接触する可能性を運転者は容易に認識することができる。また、この図８では縦列駐車のための後進駐車プロセスでの本発明の運転支援表示画像の有効性を説明しているが、この図から明らかなように縦列駐車から前進発車プロセスでも同様に本発明の運転支援表示画像が有効なことが理解できる。
【００３５】
俯瞰画像に予想軌跡線を組み込むことは、自車の周辺に障害物がない場合は目障りになる可能性がある。このため、障害物検出部３６が障害物を検知している場合に、予想軌跡線を俯瞰画像に組み込むような構成にすることも好適である。
【００３６】
〔別実施の形態〕
（１）上述した実施形態では、後進旋回と前進旋回の両方における予想軌跡線の俯瞰画像への組み込みが実施されていたが、後進旋回と前進旋回のいずれか一方における予想軌跡線だけを俯瞰画像に組み込み構成も可能である。
（２）実施形態の説明に用いた図面では示されていないが、外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３に互いに異なるような形態、例えば実線や点線などの線種別、あるいは色別でモニタ表示する構成は好適である。
（３）外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３による予想軌跡を明確にするために、外端予想軌跡線と先端予想軌跡線と内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示される構成も好適である。また、複数の塗りつぶし面を生成して、これらを異なるパターンや色を用いて作成することも好適である。
（４）障害物検出部３６からの障害物情報は報知イメージとして利用されるが、その際、報知イメージ生成部６５が、報知イメージとして、この障害物情報に基づいて運転支援俯瞰画像に組み込まれる障害物イメージを生成するように構成することも好適である。この場合、報知イメージ生成部６５は、障害物イメージ生成部として機能することになる。
【産業上の利用可能性】
【００３７】
本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する運転支援装置に利用することができる。
【符号の説明】
【００３８】
１：カメラ
３１：操舵角算定部
３２：前後進判定部
３０：運転情報生成部
３５：位置情報算定部
３６：障害物検出部
５０：入力画像処理モジュール
５１：撮影画像メモリ
５３：画像生成部
５７：表示用画像メモリ
６０：出力画像処理モジュール
６１：運転情報取得部
６１ａ：操舵角取得部
６１ｂ：進行方向取得部
６２：予想軌跡線決定部
６３：軌跡イメージ格納部
６４：俯瞰画像取得部
６４ａ：自車イメージ管理部
６５：報知イメージ生成部
６６：画像合成部
【技術分野】
【０００１】
本発明は、駐車場など障害物との接触可能性の高い領域で旋回走行する際の運転支援をする運転支援装置に関する。
【背景技術】
【０００２】
進入路に沿って駐車枠に縦列駐車または車庫入れ駐車しようとする際に駐車操作の案内をする運転支援装置が特許文献１に開示されている。この運転支援装置では、車両の複数位置に設置されたカメラで自車周囲を撮像し、その撮像信号をカメラ光軸を路面に垂直にした視点からの画像信号へ変換合成して俯瞰画像を作成し、俯瞰画像における自車の現在位置に基づく案内指標を設定して、俯瞰画像に案内指標を配置した重畳画像を作成し、この重畳画像を表示手段に表示する。その際、車庫入れ後退駐車用の案内指標として、前部最外周の案内指標と、後部最外周の案内指標と、後部最内周の案内指標とが提示されている。前部最外周の案内指標は、自車の旋回中心点を中心として自車の車体の左前端を通る旋回円軌跡の１／４の円弧を外縁とする扇形状である。後部最外周の案内指標は、同じ旋回中心点を中心として自車後端部を通る旋回円軌跡の１／４の円弧を外縁とする扇形状である。後部最内周の案内指標は、同じ旋回中心点を中心として、自車両後端部を通る旋回円軌跡の１／４の円弧である。このように、俯瞰画像における自車両の現在位置に基づく案内指標として車体端部の軌跡を設定し、俯瞰画像に重畳してモニタ表示することで、運転者が駐車枠への進入位置を容易に把握することができように意図されている。しかしながら、この運転支援装置は、案内指標としての車両端部の軌跡が車両の最小回転（旋回）半径に基づいているので、操舵角を頻繁に変更するような運転には適していない。例えば、前進での駐車枠に進入する前進駐車プロセスや隣接駐車枠が駐車中である駐車枠から発進するような駐車発進プロセスのように、プロセスの前半において旋回半径が大きくなる緩い操舵角が使用されるようなケースでは、最小回転半径に基づく案内指標は使いづらい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０‐１２８３６号公報（段落番号〔０００５−００７３〕、図１、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記実情に鑑み、操舵角を小刻みに変更しなければならない駐車場などでの運転において、他車や障害物との接触を防止するために適した運転支援装置が望まれている。
【課題を解決するための手段】
【０００５】
後進旋回走行において上記目的を達成するための本発明による運転支援装置は、操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、自車の操舵角を算定する操舵角算定部と、算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備えている。
【０００６】
この構成によれば、例えば混み合った駐車場から後進で発進するような後進旋回プロセスにおいて、そのプロセスの進行にともなって、取得された撮影画像及び算定された操舵角に基づいてその都度更新された運転支援俯瞰画像がモニタ表示される。その際、後進旋回プロセスにおいて他車や障害物との接触が生じやすい、車体の旋回外側前端部と旋回外側後端部と旋回内側後端部の３つの端部の予想軌跡線が表示される。したがって、運転者はその時点での自車位置と操舵角に基づく予想軌跡線から他車や障害物との接触可能性を容易に判断することができる。
なお、予想軌跡線を、自車周辺俯瞰画像での自車イメージに関連付けて合成するための具体的な構成として、当該自車イメージにおける、各予想軌跡線の対応端部が出発点となるように各予想軌跡線が合成されることが提案される。
【０００７】
前進旋回走行において上記目的を達成するための本発明による運転支援装置は、操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、自車の操舵角を算定する操舵角算定部と、算定された操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部とを備えている。
【０００８】
この構成では、前進旋回プロセスで他車や障害物との接触が生じやすい、車体の旋回外側前端部と旋回内側前端部と旋回内側後端部の３つの端部に関係付けられて予想軌跡線が表示される。したがって、運転者はその時点での自車位置と操舵角に基づく予想軌跡線から他車や障害物との接触可能性を容易に判断することができる。
なお、ここでも、予想軌跡線を、自車周辺俯瞰画像での自車イメージに関連付けて合成するための具体的な構成として、当該自車イメージにおける、各予想軌跡線の対応端部が出発点となるように各予想軌跡線が合成されることが提案される。
【０００９】
駐車領域への駐車や駐車領域からの発進においては、上述した後進旋回プロセスと前進旋回プロセスの両方のプロセスが生じうるので、それぞれの旋回プロセスに適した機能を組み合わせた運転支援装置は、本発明の好適な形態である。
【００１０】
本発明による好適な実施形態の１つとして、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線が視覚的に互いに異なるような形態でモニタ表示されるようにすると、小さい画面でおいても互いに区別しやすく、好都合である。同様に、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示されるならば、自車周辺俯瞰画像として表示されている撮影画像にこれから通過する自車領域が面状で示されるので、自車と自車周辺との走行に伴う位置関係が容易に推測することができる。
【００１１】
各予想軌跡線を操舵角毎に演算して描画するためにはかなり大きな演算負荷が要求される。このような演算負荷の増大を避けるため、前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線を、操舵角毎に準備された予想軌跡線イメージとして前記予想軌跡線決定部によって抽出可能に軌跡イメージ格納部に格納しておくことが提案される。これにより、自車周辺俯瞰画像と合成する各予想軌跡線のイメージを毎回生成する必要がなく、操舵角を検索条件として適切な予想軌跡線のイメージを抽出するだけでよい。
【００１２】
自車と自車周辺の関係は自車の走行によって変化し、予想軌跡線の形状は操舵角によって異なる。従って、最新の運転支援俯瞰画像をモニタ表示するためには、前記操舵角が所定角度変更される毎に、または自車が所定距離走行する毎に前記運転支援俯瞰画像を更新するとよい。
【００１３】
接触事故などを高い信頼性をもって避けるためには、自車周辺の障害物を見つけ出し、この障害物が予想軌跡線と交わるかどうかをチェックするとよい。このため、本発明の好適な実施形態の１つでは、自車周辺の障害物を検知して障害物位置を含む障害物情報を生成する障害物検知モジュールからの前記障害物情報に基づいて、前記運転支援俯瞰画像に組み込まれる前記障害物イメージを生成する障害物イメージ生成部が備えられている。
【図面の簡単な説明】
【００１４】
【図１】本発明による運転支援装置で用いられている、撮影画像に基づく俯瞰画像に旋回時の予想軌跡線を組み込んだ運転支援俯瞰画像の生成原理を説明する模式図である。
【図２】本発明による運転支援装置を搭載した車両の一部を切り欠いた車両斜視図である。
【図３】後進左・右旋回と前進左・右旋回における３つの予想軌跡線との関係を説明する模式図である。
【図４】運転支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。
【図５】入力画像処理モジュールと出力画像処理モジュールの機能ブロック図である。
【図６】撮影画像から周辺俯瞰画像が生成され、操舵角から予想軌跡イメージが抽出される様子を模式的に示す説明図である。
【図７】車庫入れ駐車からの後進発車プロセスにおける運転支援表示画像を含むモニタ画面を示すモニタ画面図である。
【図８】縦列駐車のための後進駐車プロセスにおける運転支援表示画像を含むモニタ画面を示すモニタ画面図である。
【発明を実施するための形態】
【００１５】
まず、本発明による運転支援装置で用いられている、撮影画像に基づく自車周辺俯瞰画像（以後、単に俯瞰画像と略称されることが多い）に自車端部の予想軌跡線を組み込んだ運転支援俯瞰画像の生成原理を、図１の模式図を用いて説明する。この例では、自車が車庫入れ駐車から後進左旋回によって発進する様子を示している。車載カメラによる、ここでは（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）で符号付けられた４つの撮影画像によって、自車周囲は実質的に隙間なくカバーされている。
駐車場などの駐車領域から発進する時に、運転支援が開始される。まず、車載カメラによって自車を取り巻く周辺領域の４つの撮影画像が取り込まれる（＃１）。取り込まれた撮影画像は、それ自体は公知であるマッピングテーブルを用いた視点変換処理によって所定の上方仮想視点から見た俯瞰画像に変換される（＃２）。撮影画像が取り込まれる時点の走行方向（前進：Ｄまたは後進：Ｒ、ここでは後進）と操向車輪（ここでは前輪）の操舵角とが算定される（＃３）。後進旋回または前進旋回のそれぞれにおいて、操舵角別の自車端部の予想軌跡線のイメージが準備されている。
【００１６】
なお、本発明では、後進旋回における自車端部の予想軌跡線には、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とが含まれている。また、前進旋回における自車端部の予想軌跡線には、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とが含まれている。
【００１７】
算定された操舵角を検索キーとして後進旋回予想軌跡線データ群から合致する、後進旋回予想軌跡線が抽出される（＃４）。ステップ＃２で生成された俯瞰画像とステップ＃４で抽出された後進旋回予想軌跡線とが、俯瞰画像における自車位置と後進旋回予想軌跡線における自車位置とを一致させるように合成されて、モニタ表示用の運転支援俯瞰画像を生成する（＃５）。生成された運転支援俯瞰画像は、例えば、自車進行方向の撮影画像であるバックモニタ画像などとともにモニタに表示される（＃６）。上述したステップ＃１からステップ＃６が、自車が所定距離走行する毎にまたは操舵角が所定角度変更される毎に繰り返されることで、車庫入れ駐車から抜け出すためのプロセスの間に運転支援俯瞰画像が適時更新され、運転者の運転が支援される。
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、自車に備えられた前方カメラ、左右サイドカメラ、後方カメラのうちの駐車方向と左右方向とを撮影するカメラの撮影画像とから生成される俯瞰画像を運転支援俯瞰画像とする運転支援装置が示されている。
図２に示すように、この車両は、左右の前輪１１ａと１１ｂが操向車輪として、左右の後輪１２ａと１２ｂが非操向車輪として構成されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１９】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその被写体となる。駐車や発進時の運転支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された運転支援用画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１を通じて行われる。
【００２０】
この運転支援装置は、駐車場における駐車領域への駐車や駐車領域からの発進において行われる前進旋回時及び後進旋回時に特に効果的である車体端部の予想軌跡線を表示するが、この予想軌跡線について図３を用いて説明する。
図３では、旋回走行時に他車や障害物との接触可能性が高い車体端部（４つの車体コーナ部）として、左側後端部２ａ、右側後端部２ｂ、左側前端部２ｃ、右側前端部２ｄが示されている。
図３（ａ）には、後進右旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる左側前端部２ｃの軌跡である外端予想軌跡線Ｒ１、旋回外側後端部となる左側後端部２ａの軌跡である先端予想軌跡線Ｒ２、旋回内側後端部となる右側後端部２ｂの軌跡である内端予想軌跡線Ｒ３が定義されている。
図３（ｂ）には、後進左旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる右側前端部２ｄの軌跡である外端予想軌跡線Ｒ１、旋回外側後端部となる右側後端部２ｂの軌跡である先端予想軌跡線Ｒ２、旋回内側後端部となる左側後端部２ａの軌跡である内端予想軌跡線Ｒ３が定義されている。
図３（ｃ）には、前進右旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる左側前端部２ｃの軌跡である外端予想軌跡線Ｄ１、旋回外側後端部となる右側後端部２ｂの軌跡である先端予想軌跡線Ｄ２、旋回内側後端部となる右側後端部２ｂの軌跡である内端予想軌跡線Ｄ３が定義されている。
図３（ｄ）には、前記左旋回において本発明で取り扱われる重要な車体端部の予想軌跡線として、旋回外側前端部となる右側前端部２ｄの軌跡である外端予想軌跡線Ｄ１、旋回外側後端部となる左側前端部２ｃの軌跡である先端予想軌跡線Ｄ２、旋回内側後端部となる左側後端部２ａの軌跡である内端予想軌跡線Ｄ３が定義されている。
以上の全ての予想軌跡線は関数であり、操舵角θの値によって異なる形状をもつ。
【００２１】
車両内部には、本発明の運転支援装置の中核をなす運転支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図４に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース８０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
【００２２】
センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
また、通信インターフェース８０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。
【００２３】
ＥＣＵ２０には、運転情報生成部３０と、位置情報算定部３５と、障害物検出部３６と、入力画像処理モジュール５０と、出力画像処理モジュール６０と、音声処理モジュール７０が備えられている。運転情報生成部３０には、操舵角算定部３１と前後進判定部３２とが含まれている。操舵角算定部３１は、ステアリングセンサ２４から送られてくる操舵方向と操舵量との検出データから、符号付（左右方向）の操舵角を算定する。前後進判定部３２は、シフト位置センサ２５から送られてくるシフト位置検出データから自車が前進又は後進のいずれの方向に進行するかを判定する。運転情報生成部３０は、所定タイミング（所定時間、所定走行距離など）で、操舵角算定部３１で算定された操舵角と前後進判定部３２で判定された自車進行方向を含む運転情報を生成して出力画像処理モジュール６０に送る。出力画像処理モジュール６０で生成されたモニタ表示画像は図示されていない表示制御部でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７０で生成された運転支援のための音声ガイドや緊急時の警告音などはスピーカ２２から出力される。入力画像処理モジュール５０は、カメラ１からの撮影画像を処理した得られた処理済み画像を、出力画像処理モジュール６０やこの画像を利用する他の機能部に送る。
【００２４】
位置情報算定部３５は、自車の移動に伴って変化する自車の位置情報を検出する。この処理は距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイール３４の操舵量とに基づいて行われる。障害物検出部３６は、それ自体はよく知られているので詳しい説明は省略するが、距離計測処理及び画像認識処理を用いて車両周辺近傍に存在する物体（障害物）を検出する。このため、ここでは図示されていない、車両前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置された複数の超音波センサが接続されている。なお、超音波センサに代えてレーザレーダ等の他の物体検出センサを用いても良い。障害物検出部３６は、各超音波センサにおける反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサの検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出部３６は車両周辺の障害物の存在に関する障害物情報を生成して、出力画像処理モジュール６０や音声処理モジュール７０に送る。
【００２５】
図５に、ＥＣＵ２０の入力画像処理モジュール５０と出力画像処理モジュール６０の機能ブロック図が示されている。入力画像処理モジュール５０は、自車周辺を撮影するカメラによって取得された撮影画像から自車上方を視点とする視点変換によって自車周辺俯瞰画像（単に俯瞰画像とも称する）を生成する機能を有している。出力画像処理モジュール６０は、入力画像処理モジュール５０によって生成された俯瞰画像に、図３で定義された車体端部予想軌跡線を組み合わせて運転支援俯瞰画像を生成し、モニタ画面の所定の表示領域に表示させる。
【００２６】
入力画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、表示用画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２は４つのカメラ１ａ〜１ｄによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６が含まれている。通常画像生成部５４は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ１ａ〜１ｄ毎に独立しており、そのモニタ表示を任意に選択することができる。
【００２７】
俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車の周囲を上方から見たときの俯瞰画像に変換し表示用画像メモリ５７に格納する。マッピングテーブル５６は種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。図６には、縦列駐車時の４つの撮影画像から俯瞰画像への変換の様子が模式的に示されている。後方カメラ１ａによる撮影画像はマッピング５６によって後方撮影画像が俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像はマッピング５６によって前方撮影画像が俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像はマッピング５６によって左サイド撮影画像を俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像はマッピングテーブル５６によって右サイド撮影画像が俯瞰画像の右領域画像に座標変換される。このため、マッピングテーブル５６は各カメラの撮影画像を俯瞰画像に変換するために４つの異なる俯瞰画像マッピングテーブルを備えている。
【００２８】
出力画像処理モジュール６０は、運転情報取得部６１、予想軌跡線決定部６２、軌跡イメージ格納部６３、自車イメージ管理部６４ａを有する俯瞰画像取得部６４、報知イメージ生成部６５、画像合成部６６、フレームメモリ６７を含んでいる。
運転情報取得部６１には、さらに操舵角取得部６１ａと進行方向取得部６１ｂが含まれている。操舵角取得部６１ａは受け取った運転情報から現時点の自車の操舵角を読み取り、進行方向取得部６１ｂは現時点の自車の進行方向を読み取る。
【００２９】
予想軌跡線決定部６２は、運転情報取得部６１から得られた操舵角と進行方向とに基づいて、自車が後進旋回しているか、前進旋回しているかを判断することができる。
後進旋回と判断された場合、得られた操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線Ｒ１と旋回外側後端部の軌跡である先端予想軌跡線Ｒ２と旋回内側後端部の軌跡である内端予想軌跡線Ｒ３とが、モニタ表示するために決定される。
前進旋回と判断された場合、得られた操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線Ｄ１と先端予想軌跡線Ｄ２と旋回内側後端部の軌跡である内端予想軌跡線Ｄ３とが、モニタ表示するために決定される。
【００３０】
この実施形態では、後進旋回時の外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３、及び前進旋回時の外端予想軌跡線Ｄ１と先端予想軌跡線Ｄ２と内端予想軌跡線Ｄ３は、所定単位操舵角毎に準備された、俯瞰画像生成部５５によって生成された俯瞰画像に合成される予想軌跡線イメージとして軌跡イメージ格納部６３に格納されている。従って、予想軌跡線決定部６２は、図６で模式的に示すように、現時点の操舵角と進行方向とに基づいて、最適な予想軌跡線イメージを軌跡イメージ格納部６３から抽出することができる。
【００３１】
俯瞰画像取得部６４は、俯瞰画像生成部５５によって生成された現時点の俯瞰画像を取得し、自車イメージ管理部６４ａで用意された自車イメージを所定の位置、通常は俯瞰画像の中心位置にはめ込む。なお、自車イメージが予想軌跡線イメージに予め組み込まれている場合には、ここでの自車イメージ管理部６４ａは不要となる。
【００３２】
画像合成部６６は、俯瞰画像取得部６４で用意された俯瞰画像に、予想軌跡線決定部６２によって用意された３つの予想軌跡線を含む予想軌跡線イメージを、互いの仮想的な自車位置を合わせるように合成して、つまり自車イメージに関連付けて、運転支援表示画像を生成する。より具体的には、自車イメージにおける各予想軌跡線の対応端部(実際の車両端部２ａ,２ｂ,２ｃ,２ｄに対応する部分)が出発点となるように、俯瞰画像に対して外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３とを合成する。その際、自車イメージの対応端部と予想軌跡線の端部は一致している必要は必ずしもなく、その端部同士は互いに間隔をあけていてもよい。この合成の際に、報知イメージ生成部６５で駐車案内メッセージなどの報知情報をイメージ化した報知イメージも付加的に合成することができる。
【００３３】
図７に、車庫入れ駐車している自車が後進でこの駐車領域から抜け出す後進発車プロセスにおける運転支援表示画像の一例が示されている。このモニタ画面には、運転支援表示画像と後方カメラ１ａによる撮影画像であるバックモニタ画像が横並び配置されている。運転支援表示画像には、外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３が表示されているので、現状の操舵角で自車が隣接する他車や壁などの障害物と接触する可能性を運転者は容易に認識することができる。バックモニタ画像では、後方の壁を確認できるが、その壁までの距離感は理解しづらく、現状の操舵角で接触する可能性があるかどうかを判断するのは普通の運転者では困難である。
図７（ａ）の状態（操舵角θ）では、運転支援表示画像が先端予想軌跡線Ｒ２を通じて自車の右側後端部２ｂが接触する可能性を示している。そのため、運転者が操舵角を大きくして操舵角を増大させて（操舵角θ+Δθ）、図７（ｂ）の状態にすると、運転支援表示画像から自車が壁に接触しないことが確認できる。
この図７では車庫入れ駐車から抜け出す後進発車プロセスで本発明の運転支援表示画像の有効性を説明したが、この図から明らかなように走行路から車庫入れ駐車する前進駐車プロセスでも同様に本発明の運転支援表示画像が有効なことが理解できる。
【００３４】
図８には、縦列駐車のための後進駐車プロセスにおける運転支援表示画像を含むモニタ画面が示されている。ここでも、運転支援表示画像には、外端予想軌跡線Ｒ１と先端予想軌跡線Ｒ２と内端予想軌跡線Ｒ３が表示されているので、現状の操舵角で自車が隣接する他車や壁などの障害物と接触する可能性を運転者は容易に認識することができる。また、この図８では縦列駐車のための後進駐車プロセスでの本発明の運転支援表示画像の有効性を説明しているが、この図から明らかなように縦列駐車から前進発車プロセスでも同様に本発明の運転支援表示画像が有効なことが理解できる。
【００３５】
俯瞰画像に予想軌跡線を組み込むことは、自車の周辺に障害物がない場合は目障りになる可能性がある。このため、障害物検出部３６が障害物を検知している場合に、予想軌跡線を俯瞰画像に組み込むような構成にすることも好適である。
【００３６】
〔別実施の形態〕
（１）上述した実施形態では、後進旋回と前進旋回の両方における予想軌跡線の俯瞰画像への組み込みが実施されていたが、後進旋回と前進旋回のいずれか一方における予想軌跡線だけを俯瞰画像に組み込み構成も可能である。
（２）実施形態の説明に用いた図面では示されていないが、外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３に互いに異なるような形態、例えば実線や点線などの線種別、あるいは色別でモニタ表示する構成は好適である。
（３）外端予想軌跡線Ｒ１、Ｄ１と先端予想軌跡線Ｒ２、Ｄ２と内端予想軌跡線Ｒ３、Ｄ３による予想軌跡を明確にするために、外端予想軌跡線と先端予想軌跡線と内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示される構成も好適である。また、複数の塗りつぶし面を生成して、これらを異なるパターンや色を用いて作成することも好適である。
（４）障害物検出部３６からの障害物情報は報知イメージとして利用されるが、その際、報知イメージ生成部６５が、報知イメージとして、この障害物情報に基づいて運転支援俯瞰画像に組み込まれる障害物イメージを生成するように構成することも好適である。この場合、報知イメージ生成部６５は、障害物イメージ生成部として機能することになる。
【産業上の利用可能性】
【００３７】
本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する運転支援装置に利用することができる。
【符号の説明】
【００３８】
１：カメラ
３１：操舵角算定部
３２：前後進判定部
３０：運転情報生成部
３５：位置情報算定部
３６：障害物検出部
５０：入力画像処理モジュール
５１：撮影画像メモリ
５３：画像生成部
５７：表示用画像メモリ
６０：出力画像処理モジュール
６１：運転情報取得部
６１ａ：操舵角取得部
６１ｂ：進行方向取得部
６２：予想軌跡線決定部
６３：軌跡イメージ格納部
６４：俯瞰画像取得部
６４ａ：自車イメージ管理部
６５：報知イメージ生成部
６６：画像合成部
【特許請求の範囲】
【請求項１】
操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、
自車の操舵角を算定する操舵角算定部と、
算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、
前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部と、
を備えた運転支援装置。
【請求項２】
操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、
自車の操舵角を算定する操舵角算定部と、
算定された操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、
前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部と、
を備えた運転支援装置。
【請求項３】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線が視覚的に互いに異なるような形態でモニタ表示される請求項１または２に記載の運転支援装置。
【請求項４】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示される請求項１から３のいずれか一項に記載の運転支援装置。
【請求項５】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線は、操舵角毎に準備された予想軌跡線イメージとして前記予想軌跡線決定部によって抽出可能に軌跡イメージ格納部に格納されている請求項１から４のいずれか一項に記載の運転支援装置。
【請求項６】
前記運転支援俯瞰画像は、前記操舵角が所定角度変更される毎に、または自車が所定距離走行する毎に更新されてモニタ表示される請求項１から５のいずれか一項に記載の運転支援装置。
【請求項７】
自車周辺の障害物を検知して障害物位置を含む障害物情報を生成する障害物検知モジュールからの前記障害物情報に基づいて、前記運転支援俯瞰画像に組み込まれる前記障害物のイメージを生成する障害物イメージ生成部が備えられている請求項１から６のいずれか一項に記載の運転支援装置。
【請求項１】
操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、
自車の操舵角を算定する操舵角算定部と、
算定された操舵角での後進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回外側後端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、
前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部と、
を備えた運転支援装置。
【請求項２】
操向前輪と非操向後輪を有する自車の周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての自車周辺俯瞰画像を生成する俯瞰画像生成部と、
自車の操舵角を算定する操舵角算定部と、
算定された操舵角での前進旋回における、車体の旋回外側前端部の軌跡である外端予想軌跡線と旋回内側前端部の軌跡である先端予想軌跡線と旋回内側後端部の軌跡である内端予想軌跡線とを決定する予想軌跡線決定部と、
前記自車周辺俯瞰画像での自車イメージに関連付けて、前記自車周辺俯瞰画像に対して前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線とを合成してモニタ表示用の運転支援俯瞰画像を生成する画像合成部と、
を備えた運転支援装置。
【請求項３】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線が視覚的に互いに異なるような形態でモニタ表示される請求項１または２に記載の運転支援装置。
【請求項４】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線のいずれか２つによって囲まれる領域が車両予想軌跡面として塗りつぶし表示される請求項１から３のいずれか一項に記載の運転支援装置。
【請求項５】
前記外端予想軌跡線と前記先端予想軌跡線と前記内端予想軌跡線は、操舵角毎に準備された予想軌跡線イメージとして前記予想軌跡線決定部によって抽出可能に軌跡イメージ格納部に格納されている請求項１から４のいずれか一項に記載の運転支援装置。
【請求項６】
前記運転支援俯瞰画像は、前記操舵角が所定角度変更される毎に、または自車が所定距離走行する毎に更新されてモニタ表示される請求項１から５のいずれか一項に記載の運転支援装置。
【請求項７】
自車周辺の障害物を検知して障害物位置を含む障害物情報を生成する障害物検知モジュールからの前記障害物情報に基づいて、前記運転支援俯瞰画像に組み込まれる前記障害物のイメージを生成する障害物イメージ生成部が備えられている請求項１から６のいずれか一項に記載の運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６６６１５（Ｐ２０１２−６６６１５Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１０８１９（Ｐ２０１０−２１０８１９）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]