駐車支援装置
【課題】後退開始位置まで前進し、この後退開始位置から後退して車両を駐車させる駐車支援を行う際に、車両の周囲の状況に応じて柔軟に後退開始位置を設定可能とする。
【解決手段】車両90を後退開始位置まで前進させた後、駐車目標Tまで後退させる誘導経路と後退開始位置とを、駐車目標Tに基づいてそれぞれ複数候補演算し、少なくとも複数の後退開始位置の候補をそれぞれ示すマーカーMを生成して、車両90の周辺画像に重畳させる。
【解決手段】車両90を後退開始位置まで前進させた後、駐車目標Tまで後退させる誘導経路と後退開始位置とを、駐車目標Tに基づいてそれぞれ複数候補演算し、少なくとも複数の後退開始位置の候補をそれぞれ示すマーカーMを生成して、車両90の周辺画像に重畳させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の駐車時の運転操作を支援する駐車支援装置に関する。
【背景技術】
【0002】
車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援技術が提案され、実用化されている。車両後部から駐車スペースへ入庫する車庫入れ駐車では、車両は、駐車スペースを一旦通り過ぎて前進して停止し、後退して駐車スペースへ入庫する。この車庫入れ駐車を支援する際には、前進して停止し、後退を開始する後退開始位置を適切に案内することが重要である。特許第4414959号公報(特許文献1)には、前進時の目標となるガイド情報G1,G2(特許文献1:図9〜図11参照)をモニタに表示させ、これらのガイド情報が枠状の指標H(同図参照)に収まるように車両を前進させることで、適切な後退開始位置へと誘導する技術が開示されている。
【0003】
但し、多くの場合、このようなガイド情報は、車両の周囲の状況とは無関係に、車両と駐車スペースとの幾何学的な関係によって設定される。例えば、後退開始位置に至るまでに壁や溝などが存在すれば、車両を後退開始位置まで前進させることができない場合がある。後退開始位置が多少異なった位置であっても、その位置から後退して駐車スペースへ駐車することが可能である場合は多いが、後退開始位置が車両と駐車スペースとの幾何学的な関係によって一義的に設定されると駐車支援の便宜を享受できないことになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4414959号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記背景に鑑みて、後退開始位置まで前進し、この後退開始位置から後退して車両を駐車させる駐車支援を行う際に、車両の周囲の状況に応じて柔軟に後退開始位置を設定可能とすることが望まれる。
【課題を解決するための手段】
【0006】
上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいてそれぞれ複数候補演算する経路演算部と、
少なくとも複数の前記後退開始位置の候補をそれぞれ示すマーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える点にある。
【0007】
この構成によれば、誘導経路と後退開始位置とが、それぞれ複数候補演算され、複数の後退開始位置を示すマーカーが周辺画像に重畳される。従って、ドライバーは、周辺画像から車両周辺の状況を確認し、複数の後退開始位置から適切な後退開始位置を選択して、車両を前進させることができる。車両と駐車目標との幾何学的な関係によって後退開始位置が一義的に設定されることがないので、ドライバーは、車両の周囲の状況に応じて柔軟に後退開始位置を設定することができ、駐車支援の便宜を享受することができる。
【0008】
また、本発明に係る駐車支援装置は、前記駐車目標設定部が、前記車両が一時停止した初期位置において前記駐車目標を設定するものであり、前記経路演算部が、前記初期位置から前進を開始する前記車両のステアリングホイールの操作角度が、前記駐車目標とは反対方向へ向かってそれぞれ0度、90度、180度の場合の前記誘導経路及び前記後退開始位置を演算すると好適である。これによれば、区切りが良く、ドライバーにとって操作量が判りやすいステアリングホイールの操作角度に対応して演算された後退開始位置に対応するマーカーが表示される。従って、ドライバーは、選択した後退開始位置へ簡単に車両を前進させることができる。尚、当然ながら、厳密な角度に限定されるものではなく、それぞれの角度に対して概ね30度程度の許容範囲があってよい。また、上記角度に限定されることなく、複数の角度、好ましくは3つ以上の角度が設定されていれば充分である。
【0009】
また、本発明に係る駐車支援装置は、さらに、前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、前記グラフィック制御部が、複数の前記後退開始位置の内、前記車両が向かう前記後退開始位置を示す前記マーカーを他の前記マーカーに対してハイライト表示すると好適である。ドライバーが選択して、そこに向かって車両を前進させている後退開始位置が明示されるので、ドライバーは自分の運転操作を確認しつつ、良好に選択した後退開始位置へ車両を前進させることができる。
【図面の簡単な説明】
【0010】
【図1】車両を一部切り欠いて示す車両の斜視図
【図2】カメラの撮影範囲を示す平面図
【図3】車両のシステム構成の一例を模式的に示すブロック図
【図4】駐車支援装置の機能構成の一例を模式的に示すブロック図
【図5】一時停止位置による駐車目標の設定方法の一例を示す図
【図6】画像認識による駐車目標の設定方法の一例を示す図
【図7】ソナーによる駐車目標の設定方法の一例を示す図
【図8】誘導経路の一例を示す図
【図9】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図
【図10】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(側方に壁があるケース)
【図11】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(前方に壁があるケース)
【図12】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(前方及び側方に壁があるケース)
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置(運転支援装置)を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物などの監視支援を行うことができる。
【0012】
車両90には、複数の車載カメラ1が設置されている。図1及び図2に示すように、車両90の後部、即ちバックドア91には後方カメラ1aが備えられている。左前部ドア92に備えられた左サイドミラー94の下部には左サイドカメラ1bが備えられ、右前部ドア93に備えられた右サイドミラー95の下部には右サイドカメラ1cが備えられている。また、車両90の前部には、前方カメラ1dが備えられている。以下の説明において、適宜、これらのカメラ1a〜1dを総称してカメラ1(車載カメラ)と称する。
【0013】
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されている。後方カメラ1a及び前方カメラ1dは、光軸に約30度程度の俯角を有して車両90に設置され、車両90からおおよそ8m程度までの領域を撮影可能である。左サイドカメラ1b及び右サイドカメラ1cはサイドミラー94及び95の底部に光軸を下方に向けて設置され、車両90の側面の一部と路面(地面)とが撮影可能である。
【0014】
カメラ1により撮影された画像は、図3に示すように、スーパーインポーズ部2a、グラフィック描画部2b、フレームメモリ2cなどを有する画像処理モジュール2を介して、モニタ装置4に表示可能である。各フレームの2次元画像は、フレームメモリ2cに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。また、画像処理モジュール2は、複数のカメラ1により撮影された撮影画像を合成して、より広い視野の合成画像を生成したり、撮影画像や合成画像の視点を変換して俯瞰画像を生成したりすることも可能である。
【0015】
車両90の前後位置の角部の外方位置には2つのカメラの撮影画像における重複領域W(図2を参照)が形成され、この重複領域Wにおいて境界部位を目立たなくする画像処理が実施されて合成画像が生成される。また、この合成画像の視点を変換し、車両90の屋根の外観画像(グラフィック画像)が視点変換後の画像に重畳されて俯瞰画像が生成される。このグラフィック画像は、車両90の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両90の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ1の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ1の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。グラフィック描画部2bへの描画指示や、スーパーインポーズ部2aへのグラフィック重畳指示は、後述するCPU(central processing unit)5から発せられる。
【0016】
モニタ装置4は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図3に示すように、モニタ装置4は、表示部4aと、表示部4aに形成されたタッチパネル4bと、スピーカ4cとを有している。表示部4aは、画像処理モジュール2から提供されるカメラ1の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部4aは液晶ディスプレイによって構成される。タッチパネル4bは、表示部4aと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図3においては、スピーカ4cは、モニタ装置4に備えられている場合を例示しているが、スピーカ4cはドアの内側など、他の場所に備えられても良い。スピーカ4cは、CPU5の指示に応じて音声処理モジュール3から提供される音声を出力する。尚、CPU5は、単純にブザー8を介して報知音を鳴らす場合もある。
【0017】
CPU5は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置10の中核を担う。CPU5は、プログラムメモリ6に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、CPU5は、必要に応じてワークメモリ7に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ6やワークメモリ7が、CPU5とは別のメモリである例を示しているが、CPU5と同一のパッケージ内に集積されていてもよい。駐車支援装置10は、CPU5やメモリ、その他の周辺回路と共に、駐車支援ECU(electronic control unit)9として構成される。本例では、CPU5を中核としたが、駐車支援装置10は、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【0018】
CPU5は、図3において符号50で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてCAN(controller area network)50を例示している。図1に示すように、駐車支援装
置10(CPU5)は、車内のパワーステアリングシステム31やブレーキシステム37と接続される。これら各システムは、駐車支援装置10と同様にCPUなどの電子回路を中核として構成され、駐車支援ECU9と同様に周辺回路と共に構成されたECUを中核として構成される。
【0019】
パワーステアリングシステム31は、電動パワーステアリング(EPS : electric power steering)システムやSBW(steer-by-wire)システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ41によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ41により駆動することによって自動操舵を行うことも可能である。ブレーキシステム37は、ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、BBW(brake-by-wire)システムである。このシステムは、アクチュエータ47を介して車両90に制動力を付加することができる。
【0020】
図3において、各種センサの一例として、ステアリングセンサ21や車輪速センサ23、シフトレバースイッチ25、アクセルセンサ29がCAN50に接続されている。ステアリングセンサ21は、ステアリングホイールの操舵量(回転角度)を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ21から取得して各種制御を実行する。
【0021】
車輪速センサ23は、車両90の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、車輪速センサ23から取得した情報に基づいて車両90の移動量などを演算し、各種制御を実行する。車輪速センサ23は、ブレーキシステム37に備えられている場合もある。ブレーキシステム37は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ23がブレーキシステム37に備えられている場合には、駐車支援装置10は、ブレーキシステム37を介して情報を取得する。ブレーキセンサ27は、ブレーキペダルの操作量を検出するセンサであり、駐車支援装置10は、ブレーキシステム37を介して情報を取得する。駐車支援装置10は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【0022】
シフトレバースイッチ25は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、駐車支援装置10は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。また、ステアリングホイールへの操作トルクを検出するトルクセンサ22は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。駐車支援装置10は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両90のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ29により検出された場合、駐車支援装置10は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【0023】
図3に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接CAN50に接続されても良いし、種々のシステムを介して接続されてもよい。
【0024】
上述したように、駐車支援装置10は、CPU5を中核として構成され、プログラムメモリ6に格納されたプログラム(ソフトウェア)と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
(1)車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
(2)駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
(3)さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。(2)及び(3)では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
(a)駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
(b)例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
(c)駐車目標位置を通過した際に、ソナー(クリアランスソナー33)などで空き領域を検出して自動認識し、駐車目標を設定するもの、
(d)精度向上のために、上記(b)や(c)など複数の手法を複合させたもの、
などがある。(a)〜(d)の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
【0025】
本実施形態では、上記(2)に示したように、運転操作はドライバーが行い、駐車支援装置10は音声などにより操作をガイドするものとする。尚、後退開始位置までの移動はドライバーの運転操作によって行い、後退開始位置においてシフトレバーをリバースにセットした後は、上記(3)に示したように自動操舵によって駐車目標へ誘導されてもよい。
【0026】
駐車支援装置10は、図4に示すように、周辺画像提供部11と、駐車目標設定部12と、経路演算部13と、自己位置推定部14と、グラフィック制御部15と、表示制御部16との各機能部を備えて構成される。各機能部は、駐車支援ECU9として構成されたハードウェアとソフトウェアとの協働により実現される。
【0027】
周辺画像提供部11は、車両90の周辺画像を車両内のモニタ装置4に表示させる機能部である。周辺画像は、1つのカメラ1によって撮影された撮影画像でも、複数のカメラ1の撮影画像を合成して得られる俯瞰画像でもよい。つまり、周辺画像提供部11は、少なくとも車両90の進行方向が撮影されたカメラ1の撮影画像を受け取って、車両90の周辺画像をモニタ装置4に表示させる機能部である。尚、車両90の進行方向とは、シフトレバーの設定位置に応じた進行方向であり、実際に車両90が移動していなくてもよい。例えば、シフトレバーがドライブ位置である場合には、前方カメラ1dによる撮影画像を含み、リバース位置である場合には、後方カメラ1aによる撮影画像を含んだ周辺画像が表示される。但し、タッチパネル4b上のタッチボタンやその他のスイッチなどに対するドライバーの人為的な操作により、シフトレバーの位置に拘わらず、サイドカメラ1b,1cを含む任意のカメラ1による撮影画像や合成画像、俯瞰画像などが表示されてもよい。
【0028】
駐車目標設定部12は、車両90の駐車目標を設定する機能部である。上記(a)〜(d)に示したような手法により駐車目標を設定する。詳細については後述する。経路演算部13は、車両90を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路と後退開始位置とを、駐車目標に基づいて演算する機能部である。詳細は後述するが、経路演算部13は、誘導経路及び後退開始位置を、それぞれ複数候補演算する。自己位置推定部14は、ステアリングセンサ21や車輪速センサ23など、車両90の移動状態を検出するセンサの検出結果に基づいて車両90の自己位置を推定する機能部である。グラフィック制御部15は、少なくとも複数の後退開始位置の候補をそれぞれ示すマーカーを生成して、周辺画像に重畳させる機能部である。表示制御部16は、周辺画像、マーカー(後退開始位置マーカー)、その他のアイコンやメッセージなどを重ね合わせて、1枚の表示画像としてモニタ装置4へ提供する機能部である。
【0029】
以下、図5〜図12を用いて、駐車支援装置10の具体例を説明する。はじめに、図5〜図8を利用して、駐車支援の原理について説明する。図5〜図7は、それぞれ上記(a),(b),(c)に対応する駐車目標の設定方法を例示している。各図において、符号100は既に駐車されている他の車両(駐車車両)を示している。まず、図5〜図7を参照して、駐車目標設定部12により駐車目標Tを設定する具体的な例について説明する。
【0030】
図5に示すように、駐車支援装置10は、駐車支援開始時の車両90の停止位置に基づいて車両90からの所定位置を駐車目標Tの初期位置として設定する。車両90は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図5において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Tが設定される。例えば、車両90から横方向に距離Dだけ離れた位置に、所定の大きさの駐車目標Tが設定される。駐車目標Tは、車両90の基準位置Q、例えば、後輪の車輪軸と車両90の前後を貫く車軸との交点を基準として基準座標(ワールド座標)上において設定される。
【0031】
図6は、白線などの区画線(路面標示)Yで示された駐車区画を画像認識して、駐車区画の中に駐車目標Tを設定する例を示している。理想的には、図6において破線R1で示したように、区画線Yを全て含んだ撮影画像を例えば左サイドカメラ1bから取得して駐車区画を認識すると好適である。しかし、左サイドカメラ1bの側方への視野が遠くまで設定されていない場合には、図6において破線R2で示すように区画線Yの一部を画像認識してもよい。そして、車両90側における駐車区画の端部を起点として、基準座標上に駐車目標Tを設定してもよい。図6では不図示であるが、図5と同様に、車両90の基準点Qを用いて基準座標上に駐車目標Tが設定される。
【0032】
一般的に、路面はアスファルトなどの濃い色であり、区画線Yなどの路面標示は白や黄色などの薄い色であるから、区画線Yのコントラストは高い。従って、公知のエッジ検出により、路面標示を容易に抽出することができる。そして、実空間上では、区画線Yの多くの部分は直線によって形成されているから、公知のハフ(Hough)変換や、RANSAC(random sample consensus)などを用いることによって、区画線Yを画像認識することができる。俯瞰画像においては、路面は平面的に表現されるため、路面上の区画線Yの直線性も高い。しかし、サイドカメラ(1b,1c)の撮影画像は、画像に歪み等が生じている可能性がある。しかし、歪み等を補正してから画像認識する、歪み等を考慮して直線をマッチングする等の公知の画像処理技術を用いることによって区画線Yを認識することが可能である。
【0033】
図7は、ソナー(クリアランスソナー33)などで空き領域を検出して駐車区画を自動認識して駐車目標を設定する例を示している。車両90には、側方に向けてポイントセンサとしてのクリアランスソナー33(距離センサ)が搭載されている。シングルビームセンサやレーザレーダなど、他の距離センサが搭載されていてもよい。車両90が駐車中の他の車両100(以下、駐車車両と称す。)のそばを通過する際に、クリアランスソナー33によって駐車車両100までの距離が計測され、駐車支援装置10は表面形状情報を取得する。そして、駐車支援装置10は、プログラムメモリ6などに記憶された一般的な車両のバンパー形状と表面形状情報との適合度合いを演算する。所定の基準に応じて、表面形状情報が車両のバンパー形状に相当すると判定された場合には、基準座標上において当該表面形状情報が存在する領域が「既駐車空間」として検出される。反対に、「既駐車空間」に相当しない領域については、「空き空間」として検出される。
【0034】
尚、隣接する駐車区画に駐車された2台の駐車車両100の間の空間も空き空間として検出される可能性がある。従って、車両90の進行方向に沿う所定の長さをしきい値として、そのしきい値以上に長さに亘って既駐車空間ではないことが検出された場合に当該空間が空き空間として検出されると好適である。また、隣接する駐車区画が連続して既駐車空間ではないことが検出された場合には、1台分の空き空間として検出される可能性がある。そのように広い空き空間を検出した後には、当該空き空間を分割して仮想的な境界を設けて複数箇所の空き空間として設定してもよい。図7において、車両90が輪郭を一点鎖線で示す位置まで移動すると、上述したように空き空間が検出され、その空き空間に駐車目標Tが設定される。
【0035】
尚、上記(d)に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Yを図6に基づいて上述したように画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Tを設定してもよい。つまり、空き空間に対して、関心領域(ROI:region of interest)を設定し、画像処理の演算負荷を低減すると共に認識精度を向上させてもよい。
【0036】
上述したように、経路演算部13は、車両90を後退開始位置Q1まで前進させた後、駐車目標Tまで後退させる誘導経路Kと後退開始位置Q1とを、駐車目標Tに基づいてそれぞれ複数候補演算する。本実施形態においては、図8に示すように、後退開始位置Q1は、Q11,Q12,Q13の3種類が設定され、それぞれの後退開始位置Q1を経由する誘導経路K10,K20,K30が設定される。誘導経路K(K10,K20,K30)は、後退開始位置Q1(Q11,Q12,Q13)までの前進誘導経路K1(K11,K12,K13)と、後退開始位置Q1(Q11,Q12,Q13)から駐車目標Tにおける基準位置Q2までの後退誘導経路K2(K21,K22,K23)とを有している。誘導経路K10は、後退開始位置Q11までの前進誘導経路K11と、後退開始位置Q11からの後退誘導経路K21とを有する。誘導経路K20は、後退開始位置Q12までの前進誘導経路K12と、後退開始位置Q12からの後退誘導経路K22とを有する。誘導経路K30は、後退開始位置Q13までの前進誘導経路K13と、後退開始位置Q13からの後退誘導経路K23とを有する。
【0037】
経路演算部13は、初期位置Q0から前進を開始する車両90のステアリングホイールの操作角度の理論値に応じた後退開始位置Q11,Q12,Q13、及び誘導経路K10,K20,K30を演算する。即ち、初期位置Q0におけるステアリングホイールの操作角度が、いわゆる据え切り状態で所定の角度である場合に、その角度を保って車両90を前進させた場合の後退開始位置Q1及び誘導経路Kを演算する。後退開始位置Q1は、前進する車両90が駐車目標T(Q2)までの後退誘導経路K2を最も早く確立可能な位置に設定される。本実施形態においては、後退開始位置Q11は、操作角度が0度の場合である。後退開始位置Q12は、操作角度が駐車目標Tとは反対方向へ向かって90度の場合であり、後退開始位置Q13は、操作角度が駐車目標Tとは反対方向へ向かって180度の場合である。
【0038】
ここでは、駐車支援を受けるドライバーにとって実際の操作量が判りやすいように、ステアリングホイールの操作角度に応じて後退開始位置Q1が設定される例を示したが、操舵輪の操舵角に応じて設定されてもよい。尚、当然ながら、これらの操作角度は、厳密な角度に限定されるものではなく、それぞれの角度に対して概ね30度程度の許容範囲があってよい。つまり計算上のステアリングホイールの操作角度と実際の操作角度とが、厳密に一致している必要はない。また、上記角度に限定されることなく、複数の角度、好ましくは3つ以上の箇所が設定されていれば充分である。例えば、「0,120,240」、「0,180,360」、「0,360,720」などであってもよい。「0,90,180」、「0,120,240」など、ステアリングホイールの1周の間において、複数角度が設定されていると、周回を含まないので、ユーザーが実際に操作する際に理解が容易で好ましい。尚、ステアリングホイールの1周の間には、360度を含み、「0,180,360」を含むとさらに好適である。
【0039】
上記、各例においては、全て0度を含む組み合わせを例示したが、必ずしも、0度を含む組み合わせが必要ではない。但し、旋回することなく直進して後退開始位置Q1へ達する場合の操作角度であるので、0度の場合を含んで後退開始位置Q1が演算されると好適である。また、特定の操作角度を設定することなく、0度と、最大操作角度と、それらの間の中間操作角度とに対応する後退開始位置Q1が演算されてもよい。この際、中間操作角度は、0度と最大操作角度との中央値である必要はない。当然ながら、上記各例においては、均等な角度を例示したが、「0,120,360」など、均等ではない角度の組み合わせにより後退開始位置Q1が演算されてもよい。
【0040】
図9〜図12は、前進誘導の際のモニタ装置4の画面の一例を示している。ここでは、複数のカメラ1(1a〜1d)による撮影画像が合成された俯瞰画像と、何れか単一のカメラ1の撮影画像とが並んで表示されるマルチビュー画面を例示している。駐車目標Tが設定され、前進誘導経路K1に応じて車両90が前進誘導される際の車両90の進行方向は前方であるため、図9〜図12においては、俯瞰画像と前方カメラ1aによる撮影画像であるフロントビュー画像とが並んで表示される例を示している。俯瞰画像においては、自車両90はカメラ1により撮影された画像ではなく、事前に撮影された画像や描画された画像に基づくアイコンJとして表示されている。また、俯瞰画像において、駐車目標Tは目標アイコンPとして強調表示されている。
【0041】
俯瞰画像及びフロントビュー画像における符号Mは、重畳表示される後退開始位置マーカー(以下、適宜マーカーと略称する。)である。マーカーMは、複数演算される後退開始位置Q11,Q12,Q13に対応して、マーカーM1,M2,M3の3種重畳される。マーカーM1は後退開始位置Q11に対応し、マーカーM2は後退開始位置Q12に対応し、マーカーM3は後退開始位置Q13に対応する。ここで、それぞれのマーカーMを赤・青・黄・緑などに着色することによって、各マーカーの区別がつきやすいようにしてもよい。着色の際には、半透明に着色され、撮影画像の視認性を妨げないようにすると好適である。
【0042】
図9は、車両90の周辺に壁や溝などが存在せず、候補として示された3つの後退開始位置Q1の全てに前進可能である場合を例示している。図9(a)は、モニタ装置4の表示画像を例示し、図9(b)は、車両90と、駐車目標Tと、マーカーM1〜M3(後退開始位置Q11〜Q13)との路面上での幾何学的な関係を例示している。以下の説明において参照する図10〜図12においても同様である。図9に示す例の場合には、マーカーM1〜M3で示された全ての後退開始位置Q11〜Q13へ車両90が前進するに際しての障害は何もないので、ドライバーは全ての後退開始位置Q11〜Q13を選択可能である。ドライバーは、所望の後退開始位置Q1を示すマーカーMに向かってステアリングホイールを操作して、車両90を前進させる。
【0043】
この際、自己位置推定部14は、車両90の移動状態を検出するセンサ(ステアリングセンサ21や車輪速センサ23)の検出結果に基づいて自己位置を推定することが可能である。そして、グラフィック制御部15は、複数の後退開始位置Q1(Q11〜Q13)の内、車両90が向かう後退開始位置Q1を示すマーカーM(M1〜M3)を他のマーカーMに対してハイライト表示する。ハイライト表示は、マーカーMの輝度を異ならせることによって実現しても良いし、該当のマーカーMを他のマーカーMとは異なる色で表示することによって実現してもよい。ドライバーは、自分が選択した後退開始位置Q1へ車両90が向かっているか否かをハイライト表示されるマーカーMによって確認することができる。
【0044】
図10は、車両90の右側方に壁Bが存在する場合を例示している。図10(a)に示すように、最も大きく右方向に旋回して前進する場合の後退開始位置Q3に対応するマーカーM3は、壁Bと重なって表示される。路面上での幾何学的な関係を示す図10(b)においても、壁BとマーカーM3とが干渉する関係であることがわかる。ドライバーは、3箇所提示された後退開始位置Q1(Q11〜Q13)のうち、マーカーM3で示された後退開始位置Q13は利用できないことを表示画像から理解することができる。
【0045】
図11は、車両90の前方に壁Bが存在する場合を例示している。図11(a)に示すように、旋回量が少なく、前進する移動量が多い後退開始位置Q11及びQ12に対応するマーカーM1及びM2は、前方の壁Bと重なって表示される。路面上での幾何学的な関係を示す図11(b)においても、前方の壁BとマーカーM1及びM2とが干渉する関係であることが示されている。ドライバーは、3箇所提示された後退開始位置Q1(Q11〜Q13)のうち、マーカーM3で示された後退開始位置Q13のみが利用できることを表示画像から理解することができる。
【0046】
図12は、車両90の前方及び右側方に壁Bが存在する場合を例示している。図12(a)に示すように、全ての後退開始位置Q11〜Q13に対応するマーカーM1〜M3が、壁Bと重なって表示される。図12(b)においても、壁Bと全てのマーカーM1〜M3とが干渉する関係であることが示されている。ドライバーは、マーカーM1〜M3として、提示された後退開始位置Q1の全てが利用できないこと、即ち、駐車支援を受けられないことを表示画像から理解することができる。
【0047】
上記説明においては、後退開始位置マーカーMが3つ示される場合を例示したが、マーカーMの数は3つに限定されるものではなく、2つでも良いし4つ以上であってもよい。また、上記説明においては、後退開始位置マーカーMが楕円形状で描画される例を示したが、当然ながら四角形や扁平な六角形など、他の形状であってもよい。また、四角形や六角形の場合であっても、それぞれの角が面取りされていてもよい。
【0048】
以上説明したように、本発明によれば、後退開始位置まで前進し、この後退開始位置から後退して車両を駐車させる駐車支援を行う際に、車両の周囲の状況に応じて柔軟に後退開始位置を設定することができる。
【符号の説明】
【0049】
1:カメラ(車載カメラ、周辺検出装置)
1a:後方カメラ(車載カメラ)
1b:左側方カメラ(車載カメラ)
1c:右側方カメラ(車載カメラ)
1d:前方カメラ(車載カメラ)
4:モニタ装置
11:周辺画像提供部
12:駐車目標設定部
13:経路演算部
14:自己位置推定部
15:グラフィック制御部
M,M1,M2,M3:後退開始位置マーカー、マーカー
K:誘導経路
Q1,Q11,Q12,Q13:後退開始位置
T:駐車目標
【技術分野】
【0001】
本発明は、車両の駐車時の運転操作を支援する駐車支援装置に関する。
【背景技術】
【0002】
車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援技術が提案され、実用化されている。車両後部から駐車スペースへ入庫する車庫入れ駐車では、車両は、駐車スペースを一旦通り過ぎて前進して停止し、後退して駐車スペースへ入庫する。この車庫入れ駐車を支援する際には、前進して停止し、後退を開始する後退開始位置を適切に案内することが重要である。特許第4414959号公報(特許文献1)には、前進時の目標となるガイド情報G1,G2(特許文献1:図9〜図11参照)をモニタに表示させ、これらのガイド情報が枠状の指標H(同図参照)に収まるように車両を前進させることで、適切な後退開始位置へと誘導する技術が開示されている。
【0003】
但し、多くの場合、このようなガイド情報は、車両の周囲の状況とは無関係に、車両と駐車スペースとの幾何学的な関係によって設定される。例えば、後退開始位置に至るまでに壁や溝などが存在すれば、車両を後退開始位置まで前進させることができない場合がある。後退開始位置が多少異なった位置であっても、その位置から後退して駐車スペースへ駐車することが可能である場合は多いが、後退開始位置が車両と駐車スペースとの幾何学的な関係によって一義的に設定されると駐車支援の便宜を享受できないことになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4414959号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記背景に鑑みて、後退開始位置まで前進し、この後退開始位置から後退して車両を駐車させる駐車支援を行う際に、車両の周囲の状況に応じて柔軟に後退開始位置を設定可能とすることが望まれる。
【課題を解決するための手段】
【0006】
上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいてそれぞれ複数候補演算する経路演算部と、
少なくとも複数の前記後退開始位置の候補をそれぞれ示すマーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える点にある。
【0007】
この構成によれば、誘導経路と後退開始位置とが、それぞれ複数候補演算され、複数の後退開始位置を示すマーカーが周辺画像に重畳される。従って、ドライバーは、周辺画像から車両周辺の状況を確認し、複数の後退開始位置から適切な後退開始位置を選択して、車両を前進させることができる。車両と駐車目標との幾何学的な関係によって後退開始位置が一義的に設定されることがないので、ドライバーは、車両の周囲の状況に応じて柔軟に後退開始位置を設定することができ、駐車支援の便宜を享受することができる。
【0008】
また、本発明に係る駐車支援装置は、前記駐車目標設定部が、前記車両が一時停止した初期位置において前記駐車目標を設定するものであり、前記経路演算部が、前記初期位置から前進を開始する前記車両のステアリングホイールの操作角度が、前記駐車目標とは反対方向へ向かってそれぞれ0度、90度、180度の場合の前記誘導経路及び前記後退開始位置を演算すると好適である。これによれば、区切りが良く、ドライバーにとって操作量が判りやすいステアリングホイールの操作角度に対応して演算された後退開始位置に対応するマーカーが表示される。従って、ドライバーは、選択した後退開始位置へ簡単に車両を前進させることができる。尚、当然ながら、厳密な角度に限定されるものではなく、それぞれの角度に対して概ね30度程度の許容範囲があってよい。また、上記角度に限定されることなく、複数の角度、好ましくは3つ以上の角度が設定されていれば充分である。
【0009】
また、本発明に係る駐車支援装置は、さらに、前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、前記グラフィック制御部が、複数の前記後退開始位置の内、前記車両が向かう前記後退開始位置を示す前記マーカーを他の前記マーカーに対してハイライト表示すると好適である。ドライバーが選択して、そこに向かって車両を前進させている後退開始位置が明示されるので、ドライバーは自分の運転操作を確認しつつ、良好に選択した後退開始位置へ車両を前進させることができる。
【図面の簡単な説明】
【0010】
【図1】車両を一部切り欠いて示す車両の斜視図
【図2】カメラの撮影範囲を示す平面図
【図3】車両のシステム構成の一例を模式的に示すブロック図
【図4】駐車支援装置の機能構成の一例を模式的に示すブロック図
【図5】一時停止位置による駐車目標の設定方法の一例を示す図
【図6】画像認識による駐車目標の設定方法の一例を示す図
【図7】ソナーによる駐車目標の設定方法の一例を示す図
【図8】誘導経路の一例を示す図
【図9】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図
【図10】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(側方に壁があるケース)
【図11】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(前方に壁があるケース)
【図12】前進誘導時の表示画像及びその際の車両とマーカーとの路面上の幾何学的な関係の一例を模試的に示す図(前方及び側方に壁があるケース)
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置(運転支援装置)を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物などの監視支援を行うことができる。
【0012】
車両90には、複数の車載カメラ1が設置されている。図1及び図2に示すように、車両90の後部、即ちバックドア91には後方カメラ1aが備えられている。左前部ドア92に備えられた左サイドミラー94の下部には左サイドカメラ1bが備えられ、右前部ドア93に備えられた右サイドミラー95の下部には右サイドカメラ1cが備えられている。また、車両90の前部には、前方カメラ1dが備えられている。以下の説明において、適宜、これらのカメラ1a〜1dを総称してカメラ1(車載カメラ)と称する。
【0013】
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されている。後方カメラ1a及び前方カメラ1dは、光軸に約30度程度の俯角を有して車両90に設置され、車両90からおおよそ8m程度までの領域を撮影可能である。左サイドカメラ1b及び右サイドカメラ1cはサイドミラー94及び95の底部に光軸を下方に向けて設置され、車両90の側面の一部と路面(地面)とが撮影可能である。
【0014】
カメラ1により撮影された画像は、図3に示すように、スーパーインポーズ部2a、グラフィック描画部2b、フレームメモリ2cなどを有する画像処理モジュール2を介して、モニタ装置4に表示可能である。各フレームの2次元画像は、フレームメモリ2cに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。また、画像処理モジュール2は、複数のカメラ1により撮影された撮影画像を合成して、より広い視野の合成画像を生成したり、撮影画像や合成画像の視点を変換して俯瞰画像を生成したりすることも可能である。
【0015】
車両90の前後位置の角部の外方位置には2つのカメラの撮影画像における重複領域W(図2を参照)が形成され、この重複領域Wにおいて境界部位を目立たなくする画像処理が実施されて合成画像が生成される。また、この合成画像の視点を変換し、車両90の屋根の外観画像(グラフィック画像)が視点変換後の画像に重畳されて俯瞰画像が生成される。このグラフィック画像は、車両90の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両90の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ1の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ1の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。グラフィック描画部2bへの描画指示や、スーパーインポーズ部2aへのグラフィック重畳指示は、後述するCPU(central processing unit)5から発せられる。
【0016】
モニタ装置4は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図3に示すように、モニタ装置4は、表示部4aと、表示部4aに形成されたタッチパネル4bと、スピーカ4cとを有している。表示部4aは、画像処理モジュール2から提供されるカメラ1の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部4aは液晶ディスプレイによって構成される。タッチパネル4bは、表示部4aと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図3においては、スピーカ4cは、モニタ装置4に備えられている場合を例示しているが、スピーカ4cはドアの内側など、他の場所に備えられても良い。スピーカ4cは、CPU5の指示に応じて音声処理モジュール3から提供される音声を出力する。尚、CPU5は、単純にブザー8を介して報知音を鳴らす場合もある。
【0017】
CPU5は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置10の中核を担う。CPU5は、プログラムメモリ6に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、CPU5は、必要に応じてワークメモリ7に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ6やワークメモリ7が、CPU5とは別のメモリである例を示しているが、CPU5と同一のパッケージ内に集積されていてもよい。駐車支援装置10は、CPU5やメモリ、その他の周辺回路と共に、駐車支援ECU(electronic control unit)9として構成される。本例では、CPU5を中核としたが、駐車支援装置10は、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【0018】
CPU5は、図3において符号50で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてCAN(controller area network)50を例示している。図1に示すように、駐車支援装
置10(CPU5)は、車内のパワーステアリングシステム31やブレーキシステム37と接続される。これら各システムは、駐車支援装置10と同様にCPUなどの電子回路を中核として構成され、駐車支援ECU9と同様に周辺回路と共に構成されたECUを中核として構成される。
【0019】
パワーステアリングシステム31は、電動パワーステアリング(EPS : electric power steering)システムやSBW(steer-by-wire)システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ41によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ41により駆動することによって自動操舵を行うことも可能である。ブレーキシステム37は、ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、BBW(brake-by-wire)システムである。このシステムは、アクチュエータ47を介して車両90に制動力を付加することができる。
【0020】
図3において、各種センサの一例として、ステアリングセンサ21や車輪速センサ23、シフトレバースイッチ25、アクセルセンサ29がCAN50に接続されている。ステアリングセンサ21は、ステアリングホイールの操舵量(回転角度)を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ21から取得して各種制御を実行する。
【0021】
車輪速センサ23は、車両90の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、車輪速センサ23から取得した情報に基づいて車両90の移動量などを演算し、各種制御を実行する。車輪速センサ23は、ブレーキシステム37に備えられている場合もある。ブレーキシステム37は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ23がブレーキシステム37に備えられている場合には、駐車支援装置10は、ブレーキシステム37を介して情報を取得する。ブレーキセンサ27は、ブレーキペダルの操作量を検出するセンサであり、駐車支援装置10は、ブレーキシステム37を介して情報を取得する。駐車支援装置10は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【0022】
シフトレバースイッチ25は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、駐車支援装置10は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。また、ステアリングホイールへの操作トルクを検出するトルクセンサ22は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。駐車支援装置10は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両90のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ29により検出された場合、駐車支援装置10は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【0023】
図3に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接CAN50に接続されても良いし、種々のシステムを介して接続されてもよい。
【0024】
上述したように、駐車支援装置10は、CPU5を中核として構成され、プログラムメモリ6に格納されたプログラム(ソフトウェア)と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
(1)車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
(2)駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
(3)さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。(2)及び(3)では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
(a)駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
(b)例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
(c)駐車目標位置を通過した際に、ソナー(クリアランスソナー33)などで空き領域を検出して自動認識し、駐車目標を設定するもの、
(d)精度向上のために、上記(b)や(c)など複数の手法を複合させたもの、
などがある。(a)〜(d)の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
【0025】
本実施形態では、上記(2)に示したように、運転操作はドライバーが行い、駐車支援装置10は音声などにより操作をガイドするものとする。尚、後退開始位置までの移動はドライバーの運転操作によって行い、後退開始位置においてシフトレバーをリバースにセットした後は、上記(3)に示したように自動操舵によって駐車目標へ誘導されてもよい。
【0026】
駐車支援装置10は、図4に示すように、周辺画像提供部11と、駐車目標設定部12と、経路演算部13と、自己位置推定部14と、グラフィック制御部15と、表示制御部16との各機能部を備えて構成される。各機能部は、駐車支援ECU9として構成されたハードウェアとソフトウェアとの協働により実現される。
【0027】
周辺画像提供部11は、車両90の周辺画像を車両内のモニタ装置4に表示させる機能部である。周辺画像は、1つのカメラ1によって撮影された撮影画像でも、複数のカメラ1の撮影画像を合成して得られる俯瞰画像でもよい。つまり、周辺画像提供部11は、少なくとも車両90の進行方向が撮影されたカメラ1の撮影画像を受け取って、車両90の周辺画像をモニタ装置4に表示させる機能部である。尚、車両90の進行方向とは、シフトレバーの設定位置に応じた進行方向であり、実際に車両90が移動していなくてもよい。例えば、シフトレバーがドライブ位置である場合には、前方カメラ1dによる撮影画像を含み、リバース位置である場合には、後方カメラ1aによる撮影画像を含んだ周辺画像が表示される。但し、タッチパネル4b上のタッチボタンやその他のスイッチなどに対するドライバーの人為的な操作により、シフトレバーの位置に拘わらず、サイドカメラ1b,1cを含む任意のカメラ1による撮影画像や合成画像、俯瞰画像などが表示されてもよい。
【0028】
駐車目標設定部12は、車両90の駐車目標を設定する機能部である。上記(a)〜(d)に示したような手法により駐車目標を設定する。詳細については後述する。経路演算部13は、車両90を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路と後退開始位置とを、駐車目標に基づいて演算する機能部である。詳細は後述するが、経路演算部13は、誘導経路及び後退開始位置を、それぞれ複数候補演算する。自己位置推定部14は、ステアリングセンサ21や車輪速センサ23など、車両90の移動状態を検出するセンサの検出結果に基づいて車両90の自己位置を推定する機能部である。グラフィック制御部15は、少なくとも複数の後退開始位置の候補をそれぞれ示すマーカーを生成して、周辺画像に重畳させる機能部である。表示制御部16は、周辺画像、マーカー(後退開始位置マーカー)、その他のアイコンやメッセージなどを重ね合わせて、1枚の表示画像としてモニタ装置4へ提供する機能部である。
【0029】
以下、図5〜図12を用いて、駐車支援装置10の具体例を説明する。はじめに、図5〜図8を利用して、駐車支援の原理について説明する。図5〜図7は、それぞれ上記(a),(b),(c)に対応する駐車目標の設定方法を例示している。各図において、符号100は既に駐車されている他の車両(駐車車両)を示している。まず、図5〜図7を参照して、駐車目標設定部12により駐車目標Tを設定する具体的な例について説明する。
【0030】
図5に示すように、駐車支援装置10は、駐車支援開始時の車両90の停止位置に基づいて車両90からの所定位置を駐車目標Tの初期位置として設定する。車両90は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図5において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Tが設定される。例えば、車両90から横方向に距離Dだけ離れた位置に、所定の大きさの駐車目標Tが設定される。駐車目標Tは、車両90の基準位置Q、例えば、後輪の車輪軸と車両90の前後を貫く車軸との交点を基準として基準座標(ワールド座標)上において設定される。
【0031】
図6は、白線などの区画線(路面標示)Yで示された駐車区画を画像認識して、駐車区画の中に駐車目標Tを設定する例を示している。理想的には、図6において破線R1で示したように、区画線Yを全て含んだ撮影画像を例えば左サイドカメラ1bから取得して駐車区画を認識すると好適である。しかし、左サイドカメラ1bの側方への視野が遠くまで設定されていない場合には、図6において破線R2で示すように区画線Yの一部を画像認識してもよい。そして、車両90側における駐車区画の端部を起点として、基準座標上に駐車目標Tを設定してもよい。図6では不図示であるが、図5と同様に、車両90の基準点Qを用いて基準座標上に駐車目標Tが設定される。
【0032】
一般的に、路面はアスファルトなどの濃い色であり、区画線Yなどの路面標示は白や黄色などの薄い色であるから、区画線Yのコントラストは高い。従って、公知のエッジ検出により、路面標示を容易に抽出することができる。そして、実空間上では、区画線Yの多くの部分は直線によって形成されているから、公知のハフ(Hough)変換や、RANSAC(random sample consensus)などを用いることによって、区画線Yを画像認識することができる。俯瞰画像においては、路面は平面的に表現されるため、路面上の区画線Yの直線性も高い。しかし、サイドカメラ(1b,1c)の撮影画像は、画像に歪み等が生じている可能性がある。しかし、歪み等を補正してから画像認識する、歪み等を考慮して直線をマッチングする等の公知の画像処理技術を用いることによって区画線Yを認識することが可能である。
【0033】
図7は、ソナー(クリアランスソナー33)などで空き領域を検出して駐車区画を自動認識して駐車目標を設定する例を示している。車両90には、側方に向けてポイントセンサとしてのクリアランスソナー33(距離センサ)が搭載されている。シングルビームセンサやレーザレーダなど、他の距離センサが搭載されていてもよい。車両90が駐車中の他の車両100(以下、駐車車両と称す。)のそばを通過する際に、クリアランスソナー33によって駐車車両100までの距離が計測され、駐車支援装置10は表面形状情報を取得する。そして、駐車支援装置10は、プログラムメモリ6などに記憶された一般的な車両のバンパー形状と表面形状情報との適合度合いを演算する。所定の基準に応じて、表面形状情報が車両のバンパー形状に相当すると判定された場合には、基準座標上において当該表面形状情報が存在する領域が「既駐車空間」として検出される。反対に、「既駐車空間」に相当しない領域については、「空き空間」として検出される。
【0034】
尚、隣接する駐車区画に駐車された2台の駐車車両100の間の空間も空き空間として検出される可能性がある。従って、車両90の進行方向に沿う所定の長さをしきい値として、そのしきい値以上に長さに亘って既駐車空間ではないことが検出された場合に当該空間が空き空間として検出されると好適である。また、隣接する駐車区画が連続して既駐車空間ではないことが検出された場合には、1台分の空き空間として検出される可能性がある。そのように広い空き空間を検出した後には、当該空き空間を分割して仮想的な境界を設けて複数箇所の空き空間として設定してもよい。図7において、車両90が輪郭を一点鎖線で示す位置まで移動すると、上述したように空き空間が検出され、その空き空間に駐車目標Tが設定される。
【0035】
尚、上記(d)に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Yを図6に基づいて上述したように画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Tを設定してもよい。つまり、空き空間に対して、関心領域(ROI:region of interest)を設定し、画像処理の演算負荷を低減すると共に認識精度を向上させてもよい。
【0036】
上述したように、経路演算部13は、車両90を後退開始位置Q1まで前進させた後、駐車目標Tまで後退させる誘導経路Kと後退開始位置Q1とを、駐車目標Tに基づいてそれぞれ複数候補演算する。本実施形態においては、図8に示すように、後退開始位置Q1は、Q11,Q12,Q13の3種類が設定され、それぞれの後退開始位置Q1を経由する誘導経路K10,K20,K30が設定される。誘導経路K(K10,K20,K30)は、後退開始位置Q1(Q11,Q12,Q13)までの前進誘導経路K1(K11,K12,K13)と、後退開始位置Q1(Q11,Q12,Q13)から駐車目標Tにおける基準位置Q2までの後退誘導経路K2(K21,K22,K23)とを有している。誘導経路K10は、後退開始位置Q11までの前進誘導経路K11と、後退開始位置Q11からの後退誘導経路K21とを有する。誘導経路K20は、後退開始位置Q12までの前進誘導経路K12と、後退開始位置Q12からの後退誘導経路K22とを有する。誘導経路K30は、後退開始位置Q13までの前進誘導経路K13と、後退開始位置Q13からの後退誘導経路K23とを有する。
【0037】
経路演算部13は、初期位置Q0から前進を開始する車両90のステアリングホイールの操作角度の理論値に応じた後退開始位置Q11,Q12,Q13、及び誘導経路K10,K20,K30を演算する。即ち、初期位置Q0におけるステアリングホイールの操作角度が、いわゆる据え切り状態で所定の角度である場合に、その角度を保って車両90を前進させた場合の後退開始位置Q1及び誘導経路Kを演算する。後退開始位置Q1は、前進する車両90が駐車目標T(Q2)までの後退誘導経路K2を最も早く確立可能な位置に設定される。本実施形態においては、後退開始位置Q11は、操作角度が0度の場合である。後退開始位置Q12は、操作角度が駐車目標Tとは反対方向へ向かって90度の場合であり、後退開始位置Q13は、操作角度が駐車目標Tとは反対方向へ向かって180度の場合である。
【0038】
ここでは、駐車支援を受けるドライバーにとって実際の操作量が判りやすいように、ステアリングホイールの操作角度に応じて後退開始位置Q1が設定される例を示したが、操舵輪の操舵角に応じて設定されてもよい。尚、当然ながら、これらの操作角度は、厳密な角度に限定されるものではなく、それぞれの角度に対して概ね30度程度の許容範囲があってよい。つまり計算上のステアリングホイールの操作角度と実際の操作角度とが、厳密に一致している必要はない。また、上記角度に限定されることなく、複数の角度、好ましくは3つ以上の箇所が設定されていれば充分である。例えば、「0,120,240」、「0,180,360」、「0,360,720」などであってもよい。「0,90,180」、「0,120,240」など、ステアリングホイールの1周の間において、複数角度が設定されていると、周回を含まないので、ユーザーが実際に操作する際に理解が容易で好ましい。尚、ステアリングホイールの1周の間には、360度を含み、「0,180,360」を含むとさらに好適である。
【0039】
上記、各例においては、全て0度を含む組み合わせを例示したが、必ずしも、0度を含む組み合わせが必要ではない。但し、旋回することなく直進して後退開始位置Q1へ達する場合の操作角度であるので、0度の場合を含んで後退開始位置Q1が演算されると好適である。また、特定の操作角度を設定することなく、0度と、最大操作角度と、それらの間の中間操作角度とに対応する後退開始位置Q1が演算されてもよい。この際、中間操作角度は、0度と最大操作角度との中央値である必要はない。当然ながら、上記各例においては、均等な角度を例示したが、「0,120,360」など、均等ではない角度の組み合わせにより後退開始位置Q1が演算されてもよい。
【0040】
図9〜図12は、前進誘導の際のモニタ装置4の画面の一例を示している。ここでは、複数のカメラ1(1a〜1d)による撮影画像が合成された俯瞰画像と、何れか単一のカメラ1の撮影画像とが並んで表示されるマルチビュー画面を例示している。駐車目標Tが設定され、前進誘導経路K1に応じて車両90が前進誘導される際の車両90の進行方向は前方であるため、図9〜図12においては、俯瞰画像と前方カメラ1aによる撮影画像であるフロントビュー画像とが並んで表示される例を示している。俯瞰画像においては、自車両90はカメラ1により撮影された画像ではなく、事前に撮影された画像や描画された画像に基づくアイコンJとして表示されている。また、俯瞰画像において、駐車目標Tは目標アイコンPとして強調表示されている。
【0041】
俯瞰画像及びフロントビュー画像における符号Mは、重畳表示される後退開始位置マーカー(以下、適宜マーカーと略称する。)である。マーカーMは、複数演算される後退開始位置Q11,Q12,Q13に対応して、マーカーM1,M2,M3の3種重畳される。マーカーM1は後退開始位置Q11に対応し、マーカーM2は後退開始位置Q12に対応し、マーカーM3は後退開始位置Q13に対応する。ここで、それぞれのマーカーMを赤・青・黄・緑などに着色することによって、各マーカーの区別がつきやすいようにしてもよい。着色の際には、半透明に着色され、撮影画像の視認性を妨げないようにすると好適である。
【0042】
図9は、車両90の周辺に壁や溝などが存在せず、候補として示された3つの後退開始位置Q1の全てに前進可能である場合を例示している。図9(a)は、モニタ装置4の表示画像を例示し、図9(b)は、車両90と、駐車目標Tと、マーカーM1〜M3(後退開始位置Q11〜Q13)との路面上での幾何学的な関係を例示している。以下の説明において参照する図10〜図12においても同様である。図9に示す例の場合には、マーカーM1〜M3で示された全ての後退開始位置Q11〜Q13へ車両90が前進するに際しての障害は何もないので、ドライバーは全ての後退開始位置Q11〜Q13を選択可能である。ドライバーは、所望の後退開始位置Q1を示すマーカーMに向かってステアリングホイールを操作して、車両90を前進させる。
【0043】
この際、自己位置推定部14は、車両90の移動状態を検出するセンサ(ステアリングセンサ21や車輪速センサ23)の検出結果に基づいて自己位置を推定することが可能である。そして、グラフィック制御部15は、複数の後退開始位置Q1(Q11〜Q13)の内、車両90が向かう後退開始位置Q1を示すマーカーM(M1〜M3)を他のマーカーMに対してハイライト表示する。ハイライト表示は、マーカーMの輝度を異ならせることによって実現しても良いし、該当のマーカーMを他のマーカーMとは異なる色で表示することによって実現してもよい。ドライバーは、自分が選択した後退開始位置Q1へ車両90が向かっているか否かをハイライト表示されるマーカーMによって確認することができる。
【0044】
図10は、車両90の右側方に壁Bが存在する場合を例示している。図10(a)に示すように、最も大きく右方向に旋回して前進する場合の後退開始位置Q3に対応するマーカーM3は、壁Bと重なって表示される。路面上での幾何学的な関係を示す図10(b)においても、壁BとマーカーM3とが干渉する関係であることがわかる。ドライバーは、3箇所提示された後退開始位置Q1(Q11〜Q13)のうち、マーカーM3で示された後退開始位置Q13は利用できないことを表示画像から理解することができる。
【0045】
図11は、車両90の前方に壁Bが存在する場合を例示している。図11(a)に示すように、旋回量が少なく、前進する移動量が多い後退開始位置Q11及びQ12に対応するマーカーM1及びM2は、前方の壁Bと重なって表示される。路面上での幾何学的な関係を示す図11(b)においても、前方の壁BとマーカーM1及びM2とが干渉する関係であることが示されている。ドライバーは、3箇所提示された後退開始位置Q1(Q11〜Q13)のうち、マーカーM3で示された後退開始位置Q13のみが利用できることを表示画像から理解することができる。
【0046】
図12は、車両90の前方及び右側方に壁Bが存在する場合を例示している。図12(a)に示すように、全ての後退開始位置Q11〜Q13に対応するマーカーM1〜M3が、壁Bと重なって表示される。図12(b)においても、壁Bと全てのマーカーM1〜M3とが干渉する関係であることが示されている。ドライバーは、マーカーM1〜M3として、提示された後退開始位置Q1の全てが利用できないこと、即ち、駐車支援を受けられないことを表示画像から理解することができる。
【0047】
上記説明においては、後退開始位置マーカーMが3つ示される場合を例示したが、マーカーMの数は3つに限定されるものではなく、2つでも良いし4つ以上であってもよい。また、上記説明においては、後退開始位置マーカーMが楕円形状で描画される例を示したが、当然ながら四角形や扁平な六角形など、他の形状であってもよい。また、四角形や六角形の場合であっても、それぞれの角が面取りされていてもよい。
【0048】
以上説明したように、本発明によれば、後退開始位置まで前進し、この後退開始位置から後退して車両を駐車させる駐車支援を行う際に、車両の周囲の状況に応じて柔軟に後退開始位置を設定することができる。
【符号の説明】
【0049】
1:カメラ(車載カメラ、周辺検出装置)
1a:後方カメラ(車載カメラ)
1b:左側方カメラ(車載カメラ)
1c:右側方カメラ(車載カメラ)
1d:前方カメラ(車載カメラ)
4:モニタ装置
11:周辺画像提供部
12:駐車目標設定部
13:経路演算部
14:自己位置推定部
15:グラフィック制御部
M,M1,M2,M3:後退開始位置マーカー、マーカー
K:誘導経路
Q1,Q11,Q12,Q13:後退開始位置
T:駐車目標
【特許請求の範囲】
【請求項1】
少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいてそれぞれ複数候補演算する経路演算部と、
少なくとも複数の前記後退開始位置の候補をそれぞれ示すマーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える駐車支援装置。
【請求項2】
前記駐車目標設定部は、前記車両が一時停止した初期位置において前記駐車目標を設定するものであり、
前記経路演算部は、前記初期位置から前進を開始する前記車両のステアリングホイールの操作角度が、前記駐車目標とは反対方向へ向かってそれぞれ0度、90度、180度の場合の前記誘導経路及び前記後退開始位置を演算する請求項1に記載の駐車支援装置。
【請求項3】
前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、
前記グラフィック制御部は、複数の前記後退開始位置の内、前記車両が向かう前記後退開始位置を示す前記マーカーを他の前記マーカーに対してハイライト表示する請求項1又は2に記載の駐車支援装置。
【請求項1】
少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいてそれぞれ複数候補演算する経路演算部と、
少なくとも複数の前記後退開始位置の候補をそれぞれ示すマーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える駐車支援装置。
【請求項2】
前記駐車目標設定部は、前記車両が一時停止した初期位置において前記駐車目標を設定するものであり、
前記経路演算部は、前記初期位置から前進を開始する前記車両のステアリングホイールの操作角度が、前記駐車目標とは反対方向へ向かってそれぞれ0度、90度、180度の場合の前記誘導経路及び前記後退開始位置を演算する請求項1に記載の駐車支援装置。
【請求項3】
前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、
前記グラフィック制御部は、複数の前記後退開始位置の内、前記車両が向かう前記後退開始位置を示す前記マーカーを他の前記マーカーに対してハイライト表示する請求項1又は2に記載の駐車支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−66709(P2012−66709A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2010−213451(P2010−213451)
【出願日】平成22年9月24日(2010.9.24)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願日】平成22年9月24日(2010.9.24)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】
[ Back to top ]