駐車支援装置
【課題】軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供する。
【解決手段】設定された駐車目標Ｔまで車両９０を誘導する誘導経路Ｋに従って進行する車両９０の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が高い所定の領域を、車載カメラの撮影画像又は撮影画像に基づいて生成された車両９０の周辺画像上における探索領域Ｚとして設定し、探索領域Ｚに対応する車両９０の周辺領域に対して立体物探索を行い、立体物を検出する。
【解決手段】設定された駐車目標Ｔまで車両９０を誘導する誘導経路Ｋに従って進行する車両９０の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が高い所定の領域を、車載カメラの撮影画像又は撮影画像に基づいて生成された車両９０の周辺画像上における探索領域Ｚとして設定し、探索領域Ｚに対応する車両９０の周辺領域に対して立体物探索を行い、立体物を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、駐車の際の運転操作を支援する駐車支援装置に関する。
【背景技術】
【０００２】
車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援装置が提案され、実用化されている。また、車両周辺の障害物の存在など、車両の周囲の状況を画像や音声によってドライバーに通知して安全性を向上させる周辺監視装置も実用化されている。駐車支援装置には周辺監視機能も備えて、駐車支援の際に周辺監視も同時に実施するものもある。特開平２０１０−１２８９３９号公報（特許文献１）には、駐車支援装置などに利用される鳥瞰（俯瞰）画像生成装置が開示されている。特許文献１の第２５〜３０段落、図６〜図９等に開示されているように、この画像生成装置は、視差が生じている２枚の画像から立体物を認識する。但し、略水平視の画像から視点変換された俯瞰画像においては、特許文献１の図７に示すように立体物が歪んでしまうので視認性が低下する場合がある。
【０００３】
また、このような立体物の認識処理は比較的演算負荷が高いので、しばしば、全画像領域ではなく特定の画像領域を対象領域として認識処理が実行される。この際、ドライバーからは死角となり易く、特に車両が旋回する際に立体物と接触する可能性が高い車体端部（４つの車体コーナー部）近傍に認識の対象領域が設定される場合がある。実際には、車両の進行方向や旋回方向などに応じて、各コーナー部において接触の可能性は異なるので、４つの車体コーナー部を常に対象領域として認識処理を行うと演算負荷の抑制効果が限定的となる。また、全ての車体端部において同一の大きさの対象領域が設定された場合には、立体物を認識する必要性の低い領域では不必要に大きい対象領域が設定され、立体物を認識する必要性の高い領域では不充分な大きさの対象領域が設定されてしまう可能性もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２８９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記背景に鑑み、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置の提供が望まれる。
【課題を解決するための手段】
【０００６】
上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が所定の高い領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、を備える点にある。
【０００７】
この構成によれば、誘導経路に従って進行する車両の車体端部が立体物と近接又は接触する可能性が高い領域が探索領域として設定される。従って、例えば、車両の４つのコーナー部の内の１〜３つを選択して探索領域を設定することができる。その結果、立体物検出部による立体物探索の演算負荷を軽減することができる。また、演算能力に余裕がある場合には、軽減された演算負荷を活用できるので、探索対象となる車体端部に対応する探索領域の大きさを大きくして立体物をより検出し易くすることもできる。このように、本構成によれば、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することができる。
【０００８】
立体物は、例えば、視差が生じている２枚の画像を用いて画像処理によって探索することが可能である。従って、１つの好適な態様として、前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出することができる。上述したように、探索領域は、撮影画像又は周辺画像の一部の領域であるから、撮影画像又は周辺画像の全てではなく、一部を用いて立体物探索の画像処理が実行される。従って、画像認識の演算負荷を軽減することができる。
【０００９】
駐車支援が提供される駐車形態が縦列駐車の場合には、壁や歩道、溝などの路肩に隣接して駐車目標が設定されることが多い。そして、縦列駐車の性質上、そのような路肩は、駐車目標の長手方向、つまり駐車される車両の車軸の方向に平行に延伸している場合が多い。そして、縦列駐車の際には、ドライバーは、路肩に車輪が接触しないか、車体端部が接触しないかなど、路肩と自車両との関係に関心が高い。従って、好適な一形態として、本発明に係る駐車支援装置において、前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定するとよい。
【００１０】
また、本発明に係る駐車支援装置は、好適な一態様として、前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部が、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成するとよい。周辺画像上において立体物の存在する位置に報知アイコンが重畳されることにより、ドライバーは自車両の周囲に立体物が存在することと、その立体物の存在位置を良好に知ることができる。また、周辺画像が車両を上方から見下ろした俯瞰画像として生成される場合、略水平視の撮影画像から視点変換されたこの俯瞰画像では、立体物が歪んで視認性が低下することが多い。このような場合であっても、この立体物に報知アイコンが重畳されることによって、ドライバーに対して立体物の存在とその位置を良好に示すことができる。
【図面の簡単な説明】
【００１１】
【図１】車両を一部切り欠いて示す車両の斜視図
【図２】カメラの撮影範囲を示す平面図
【図３】車両のシステム構成の一例を模式的に示すブロック図
【図４】駐車支援装置の機能構成の一例を模式的に示すブロック図
【図５】縦列駐車時に撮影画像から俯瞰画像を生成する一例を示す図
【図６】車庫入れ駐車時の駐車目標の設定方法の一例を示す図
【図７】縦列駐車時の駐車目標の設定方法の一例を示す図
【図８】車庫入れ駐車時の誘導経路の一例を示す図
【図９】縦列駐車時の誘導経路の一例を示す図
【図１０】誘導経路に基づいて設定される探索領域の一例を示す図
【図１１】縦列駐車時の表示画像の一例を示す図
【図１２】報知アイコンの一例を示す図
【図１３】駐車支援制御の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置（運転支援装置・周辺監視装置）を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物（立体物）などの監視支援を行うことができる。
【００１３】
車両９０には、複数の車載カメラ１が設置されている。図１及び図２に示すように、車両９０の後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドア９２に備えられた左サイドミラー９４の下部には左サイドカメラ１ｂが備えられ、右前部ドア９３に備えられた右サイドミラー９５の下部には右サイドカメラ１ｃが備えられている。また、車両９０の前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１４】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９４及び９５の底部に光軸を下方に向けて設置され、車両９０の側面の一部と路面（地面）とが撮影可能である。駐車支援や周辺監視を含む運転支援の際には、カメラ１の撮影画像又は撮影画像から生成された画像が周辺画像としてモニタ装置４に表示される。モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。カメラ１により撮影された画像は、図３に示すように、画像処理モジュール２を介してモニタ装置４に出力される。
【００１５】
画像処理モジュール２の詳細な機能に関しては後述するが、例えば、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成する。また、画像処理モジュール２は、撮影画像や合成画像の視点を変換して俯瞰画像を生成する。具体的には、車両９０の車体端部（前後位置の角部、コーナー部）の外方位置には、図２に示すように２つのカメラの撮影画像における重複領域Ｗが形成される。画像処理モジュール２は、この重複領域Ｗにおいて境界部位を目立たなくする画像処理を実施して合成画像を生成する。また、画像処理モジュール２は、この合成画像の視点を変換し、車両９０の屋根の外観画像（グラフィック画像）を視点変換後の画像に重畳させて俯瞰画像を生成する。このグラフィック画像は、車両９０の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ１の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ１の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。
【００１６】
図３に示すように、車両９０の内部には、駐車支援装置を構成する駐車支援ＥＣＵ（electronic control unit）９が備えられている。駐車支援ＥＣＵ９は、ＣＰＵ（central processing unit）５や、画像処理モジュール２、メモリ、その他の周辺回路を有して構成される。ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を図示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。また、本例では、ＣＰＵ５を中核としたが、駐車支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００１７】
ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図３に示すように、駐車支援ＥＣＵ９は、パワーステアリングシステム３１やブレーキシステム３７、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９などと接続される。パワーステアリングシステム３１やブレーキシステム３７などの各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。
【００１８】
パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行うことも可能である。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。
【００１９】
ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。
【００２０】
また、ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して各種制御を実行する。このため、車輪速センサ２３はブレーキシステム３７に備えられている場合もある。この場合には、駐車支援装置１０はブレーキシステム３７を介して情報を取得する。同様に、駐車支援装置１０は、ブレーキペダルの操作量を検出するブレーキセンサ２７が検出した情報も、ブレーキシステム３７を介して取得する。駐車支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２１】
図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。
【００２２】
図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００２３】
上述したように、駐車支援装置１０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（２）駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
（３）さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。（２）及び（３）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
（ｃ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｄ）精度向上のために、上記（ｂ）や（ｃ）など複数の手法を複合させたもの、
などがある。（ａ）〜（ｄ）の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
【００２４】
本実施形態では、上記（３）に示したように、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するものとする。以下においては、ドライバーがシフトレバーをリバースにセットした後、自動操舵を伴って駐車目標まで誘導する駐車支援を例として説明する。しかし、上記（２）に示したように、運転操作はドライバーが行い、駐車支援装置１０は音声などにより操作を案内するものであっても操作を案内するための誘導経路は演算されるので本発明を適用可能である。
【００２５】
ＣＰＵ５を中核として構成され、プログラムと協働して駐車支援のための種々の演算を実施する駐車支援装置１０は、図４に示すような機能部を有して構成される。即ち、駐車支援装置１０は、周辺画像生成部１１と、駐車目標設定部１３と、経路演算部１４と、探索領域設定部１５と、立体物検出部１６と、表示画像生成部１８とを備える。以下、各機能部の詳細について順に説明する。
【００２６】
周辺画像生成部１１は、車両９０の周辺の情景を撮影するカメラ１の撮影画像を受け取り、その撮影画像に基づいて車両９０の周辺画像を生成する機能部である。そして、表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する機能部である。周辺画像生成部１１及び表示画像生成部１８は、画像処理モジュール２を中核として構成される。周辺画像生成部１１は、撮影画像メモリ５１、画像生成部５３、周辺画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像はバッファメモリとしての撮影画像メモリ５１に展開されて一時保管される。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６とが含まれている。通常画像生成部５４は、撮影画像をほぼそのままの形態で周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される周辺画像はカメラ１ａ〜１ｄごとに独立しており、表示画像生成部１８において任意に選択された画像が表示画像としてモニタ装置４に提供される。
【００２７】
俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車（車両９０）の周囲を上方から見たときの俯瞰画像に変換し周辺画像メモリ５７に格納する。この際、俯瞰画像の生成に先立って、４つのカメラ１a〜１ｄによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする前処理が実行されると好適である。マッピングテーブル５６は種々の形態で構築することができる。一例として、図５に示すように、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとしてマッピングテーブル５６が構築されると好適である。具体的には、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたテーブルとして構築されると好適である。
【００２８】
図５には、縦列駐車を開始する際に、４つのカメラ１ａ〜１ｄの撮影画像に基づいて俯瞰画像へ変換する様子が模式的に示されている。後方カメラ１ａによる撮影画像（後方撮影画像）はマッピングテーブル５６によって俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像（前方撮影画像）はマッピングテーブル５６によって俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像（左サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像（右サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の右領域画像に座標変換される。このように、各カメラ１ａ〜１ｄの撮影画像を俯瞰画像に変換するために４つの異なるマッピングテーブル５６が備えられる。このような４つの撮影画像を用いた俯瞰画像生成は、車両９０が後述する誘導経路Ｋに沿って走行する間逐次行われ、モニタ装置４に表示される。
【００２９】
駐車目標設定部１３は、車両９０の駐車目標を設定する機能部である。また、経路演算部１４は、駐車目標まで車両９０を誘導する誘導経路を演算する機能部である。駐車目標設定部１３は、上記（ａ）〜（ｄ）に示したような手法により駐車目標を設定する。ここでは、代表として上記（ａ）に対応し、駐車支援開始時の車両９０の停止位置に基づいて車両９０からの所定位置を駐車目標Ｔの初期位置として設定する例を図６及び図７を利用して説明する。
【００３０】
車庫入れ駐車の場合、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図６において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。例えば、車両９０から横方向に距離Ｄだけ離れた位置に、所定の大きさの駐車目標Ｔが設定される。駐車目標Ｔは、車両９０の基準位置Ｑ、例えば、後輪の車輪軸と車両９０の前後を貫く車軸との交点を基準として基準座標（ワールド座標）上において設定される。縦列駐車の場合には、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画の先頭、例えば目標となる駐車区画の前方に駐車している駐車車両の後端が運転席の真横となる位置で一旦停止する。つまり、図７において、ドライバーが助手席の窓を通して駐車車両の後端を目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。
【００３１】
尚、上記（ｂ）において例示したように、白線などの区画線（路面標示）Ｙで示された駐車区画を画像認識して、駐車区画の中に駐車目標Ｔを設定してもよい。この際、例えば、サイドカメラ１ｂの視野が遠くまで設定されていない場合には、区画線Ｙの一部を画像認識してもよい。そして、車両９０側における駐車区画の端部を起点として、所定の大きさの駐車区画を推定し、基準座標上に駐車目標Ｔを設定してもよい。また、一旦停止位置をさらに前方に進めて、後方カメラ１ａによる撮影画像を用いて区画線Ｙを認識してもよい。勿論、上述した俯瞰画像を用いて区画線Ｙを認識してもよい。
【００３２】
また、上記（ｃ）において例示したように、ソナー（クリアランスソナー３３）などで空き領域を検出して駐車区画を自動認識して駐車目標を設定してもよい。つまり、図６及び図７に示したように、目標となる駐車区画の横を前進しながら通過する際に、車両９０の左右方向に向けて取り付けたクリアランスソナー３３で駐車車両との距離を検出する。そして、車輪速センサ２３やステアリングセンサ２１の検出結果に基づき演算される自車両９０の移動軌跡と関連させながら距離データを時系列に記憶する。これにより、駐車車両の位置を路面平面上に設定されるワールド座標上に位置データとして記憶する。距離データの連続性からノイズ除去、グループ化、バンパー形状などの車両形状に対するマッチング、位置補正処理等を実施して、駐車車両の端部を計算して空き空間を推定する。この空き空間に駐車目標Ｔが設定される。尚、上記（ｄ）に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Ｙを画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Ｔを設定してもよい。
【００３３】
経路演算部１４は、駐車目標Ｔまで車両９０を誘導する誘導経路を演算する機能部である。本実施形態においては、経路演算部１４は、車両９０を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路を演算する。駐車目標Ｔが設定されると、経路演算部１４は、図８及び図９に示すように、車両９０を初期位置Ｑ０から後退開始位置Ｑ１まで前進させ、後退開始位置Ｑ１から駐車目標Ｔにおける駐車完了位置Ｑ２まで後退させる誘導経路Ｋと、折り返し点である後退開始位置Ｑ１を演算する。ここで、Ｑ０〜Ｑ２は、それぞれ車両９０が初期位置（Ｑ０）、後退開始位置（Ｑ１）、駐車完了位置（Ｑ２）にある時の、車両９０の基準位置Ｑの基準座標上での座標を示している。初期位置とは、図６及び図７において車両９０が一旦停止する位置、即ち駐車目標Ｔが設定された時点の位置である。多くの場合、駐車支援の開始時には、ドライバーによる指示入力が専用ボタンやタッチパネル４ｂ上のタッチボタンに対して与えられる。従って、その指示入力が与えられた時点での車両９０の位置を初期位置としてもよい。尚、誘導経路Ｋは、前進誘導経路Ｋ１と後退誘導経路Ｋ２とから構成される。誘導経路Ｋの生成手法は、特開２００３−２３７５１１号公報や特開２００８−２８４９６９号公報等に例示されているように公知であるから詳細な説明は省略する。
【００３４】
誘導経路Ｋに従って進行する車両９０は、特に後退誘導経路Ｋ２に従って進行する際に、比較的大きい旋回を伴う。車両９０が旋回を伴って進行する際には内輪差や外輪差により、車体が車輪よりも内側、あるいは外側を通る。車体端部（コーナー部）は、ドライバーから死角となり易い場所であるから、車両９０の周辺に立体物が存在した場合には、この立体物に車両９０が接触する可能性が生じる。尚、ここで、立体物とは、路面に対して立体的な他の物体や構造物をいい、駐車車両や、ガードレール、路側に設けられた歩道と路面との段差や溝等の路肩、等を含む。
【００３５】
探索領域設定部１５は、誘導経路Ｋ、特に後退誘導経路Ｋ２に従って進行する車両９０の車体端部が、立体物と近接又は接触する可能性が高い所定の領域を、撮影画像又は周辺画像上における探索領域として設定する。探索領域は、誘導経路Ｋに沿った駐車走行時においてドライバーが注意すべき注意領域ということもできる。後述するように、立体物検出部１６は、探索領域において画像認識を行い、立体物を検出する。
【００３６】
図１０は、そのような探索領域Ｚを例示している。図１０の（ａ）には、車庫入れ駐車時の誘導経路Ｋに沿って設定される４つの探索領域Ｚ（Ｚ１,Ｚ２,Ｚ３,Ｚ４，Ｚ５）が例示されている。また、図１０の（ｂ）には、縦列駐車時の誘導経路Ｋに沿って設定される３つの探索領域Ｚ（Ｚ５,Ｚ６,Ｚ７）が例示されている。これらの探索領域Ｚは、車両９０の中心が誘導経路Ｋに沿って移動した際に、車両９０の車体端部（コーナー部）が誘導経路Ｋから大きく振れることにより他の駐車車両１００や立体物などに接触する可能性が大きくなる領域である。
【００３７】
立体物検出部１６は、これら探索領域Ｚにおいて画像認識を行い、立体物を検出する。探索領域Ｚは、画像処理対象領域であり、画像認識における関心領域（ＲＯＩ：region of interest）に相当する。本実施形態では、撮影画像（通常画像）を含む周辺画像を用いて画像認識により立体物を検出する。立体物検出部１６は、特開２０１０−１２８９３９号公報（特許文献１）に開示されたように、視差が生じている２枚の画像の一方から他方の視点に基づく画像に位置補正を施した予測画像を生成する。そして、他方の画像と予測画像との差分を取って立体物を抽出する。位置情報は、車輪速センサ２３の検出結果に基づく車両９０の移動量と、ステアリングセンサ２１で検出されるステアリングホイールの操舵量とに基づいて演算される。
【００３８】
図１１は、図５を利用して上述した俯瞰画像が、モニタ装置４に表示される際の表示形態の一例を示している。本実施形態では、モニタ装置４の画面は、俯瞰画像を表示する俯瞰画像表示領域と、何れかのカメラ１による撮影画像（例えば自車進行方向の撮影画像）に基づく通常画像を表示する通常画像領域とに区分けされている。水平方向視の撮影画像から視点変換して俯瞰画像を生成した場合、高さのある立体物は歪んでしまう。俯瞰画像と通常画像とが共に表示されることで、立体物を通常画像で確認することも可能である。図４に示すように、画像処理モジュール２は、表示画像生成部１８を備えている。表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する。表示画像生成部１８は、俯瞰画像と通常画像とが含まれた表示画像を生成してモニタ装置４に出力する。尚、表示画像生成部１８は、俯瞰画像に対して自車両を示すアイコンを重畳させてモニタ装置４に出力する。表示画像生成部１８は、自車イメージ提供部６４及び画像合成部６６を備えており、画像合成部６６は、自車イメージ提供部６４から提供された自車アイコンを俯瞰画像に合成して出力する。
【００３９】
また、図１１に示すように、俯瞰画像はモニタ装置４に表示される範囲よりも広い範囲が含まれる画像として生成される。従って、モニタ装置４に表示される際には、一般的には図１１上段に例示されているように、中央部分がトリミング処理されたトリミング画像となる。一方、上述したように、本実施形態では、立体物を検出するための対象領域として探索領域Ｚが設定されている。従って、例えば図１１の下段に例示されているように、探索領域Ｚが多く含まれるように探索領域Ｚ７，Ｚ８の方へオフセットしてトリミング画像が生成されると好適である。立体物が存在する可能性の多い領域が多く俯瞰画像に含まれることになるので、立体物の確認が容易となる。図１１から明らかなように、下段のオフセットされた画像には上段の画像に比べて、探索領域Ｚ７,Ｚ８に対応する領域が多く含まれる。従って、これらの領域に立体物が存在した場合に、ドライバーは、良好に視認することができる。
【００４０】
但し、上述したように、立体物は、俯瞰画像上では歪んでしまう場合がある。このため、表示画像生成部１８は、図１２に示すように立体物が存在することを報知する報知アイコンＧを周辺画像、特に俯瞰画像において立体物が存在する位置に重畳させて表示画像を生成する。この報知アイコンＧは、報知イメージ提供部６５により生成され、画像合成部６６に提供される。画像合成部６６は、報知アイコンＧを重畳させてモニタ装置４に表示画像を出力する。報知アイコンＧは、立体物の形状を示し、ドライバーに立体物を連想させるものでなくてもよい。報知アイコンＧは、図１２に符号Ｇ１として例示するように、文字や記号、イラストなどによって「立体物有り」、「注意」、「！」等と表示するものであってもよい。これにより、俯瞰画像上において立体物が歪んで表示され、一見して何であるかが判らないような場合であっても、ドライバーは注意をすべきことを理解できる。路肩については、さらに、路肩に沿った線や長尺の長方形などの報知アイコンＧ２（Ｇ）を用いて、路肩の存在を報知してもよい。
【００４１】
また、立体物検出部１６によって路肩が検出され、路肩と駐車目標Ｔとが近接して駐車目標Ｔ内の車両９０が路肩に近づきすぎる可能性があると判定された場合には、経路演算部１４は、誘導経路Ｋを修正する。これにより、駐車目標Ｔを設定した際の認識結果に拘束されることなく、より適切な位置へ車両９０を誘導することが可能となる。
【００４２】
以下、上述のように構成された駐車支援装置１０による駐車支援制御の流れを図１３のフローチャートを用いて説明する。ここでは、上記（３）に示したように、自動操舵により車両９０が誘導される場合を例示する。即ち、ＣＰＵ５を中核として構成される不図示の誘導部は、車輪速センサ２３、ステアリングセンサ２１、ブレーキセンサ２７等の検出結果並びに誘導経路Ｋに基づいて、公知のデットレコニング(Dead-Reckoning)技術を用いて車両９０を誘導する。具体的には、誘導部によりパワーステアリングシステム３１やブレーキシステム３７が制御される。当然ながら、自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。また、上記（２）に示したように、操作手順を報知してドライバーに運転操作を行わせることも可能である。
【００４３】
図６及び図７を用いて上述したように、駐車支援の開始時には、ドライバーは、駐車区画の近傍位置で車両９０を停車させる。停車時の自車位置は図８及び図９を用いて上述したように、初期位置Ｑ０として設定され（図１３＃２）、初期位置Ｑ０を基準として駐車目標Ｔ（Ｑ２）が設定される（＃４）。初期位置Ｑ０と駐車目標Ｔが設定されると、初期位置Ｑ０から駐車目標Ｔ（Ｑ２）までの誘導経路Ｋが演算される（＃６）。誘導経路Ｋが求められると、この誘導経路の形態、特に経路進行に伴う曲率の変動に基づいて、車両９０の一部が立体物と接触する可能性が高い箇所などが探索領域Ｚとして設定される（＃８）。例えば、車両９０が誘導経路を移動する際にその周辺に立体物などが存在した場合に、当該立体物に車両９０が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の誘導経路のパターンを想定して、各誘導経路パターンにおける車両９０の経路位置での接触可能性から、立体物を探索すべき周囲領域Ｚを推定し、その周囲領域を割り当てておくことで、簡単に探索領域Ｚを決定することができる。探索領域Ｚは、予めその位置や大きさとともに探索領域リストに記録されていてもよい。
【００４４】
探索領域が設定されると、自車位置が演算され（＃１０）、撮影画像が取り込まれる（＃１２）。この撮影画像に基づいて、上述したように通常画像や俯瞰画像による周辺画像が生成される。次いで、周辺画像に探索領域Ｚが含まれるか否かが判定される（＃１４）。周辺画像に探索領域Ｚが含まれる場合には、当該探索領域Ｚに対して立体物検出処理が施される（＃１６）。そして、立体物が検出されたか否かが判定され（＃１８）、立体物が存在する場合には、立体物報知処理が実行される（＃２０）。立体物が存在する場合には、さらに、誘導経路Ｋの変更が必要か否かが判定される（＃２２）。例えば、立体物として路肩が検出され、路肩と駐車目標Ｔとの関係から、車両９０と路肩との距離が所定のしきい値よりも近くなるような場合に、誘導経路Ｋの変更が必要と判定される。誘導経路Ｋの変更が必要と判定された場合には、経路演算部１４により誘導経路補正処理が実行される（＃２４）。そして、車両９０は、補正された新しい誘導経路Ｋに従って誘導される（＃２６）。誘導に伴って再び、自車位置が演算され（＃２８）、車両９０が駐車目標Ｔ（Ｑ２）に到達したか否かが判定される（＃３０）。車両９０が、駐車目標Ｔ（Ｑ２）に到達していれば、駐車支援が終了され、到達していなければ上述したステップ＃１０〜＃３０が繰り返し実行される。
【００４５】
尚、上述した実施形態では、俯瞰画像を周辺画像とし、俯瞰画像上に探索領域Ｚが設定される例を示したが、当然ながら探索領域Ｚは俯瞰画像に設定されることに限定されるものではない。撮影画像をほぼそのまま利用した略水平視の画像を周辺画像として、その周辺画像上に探索領域Ｚを設定してもよい。また、モニタ装置４への表示を前提とした周辺画像を用いることなく、撮影画像に対して探索領域Ｚを設定してもよい。
【００４６】
また、上述した実施形態では、立体物検出部１６が、探索領域Zにおいて画像認識を行い、立体物１００を検出する例を用いて説明した。しかし、立体物検出部１６による立体物探索は、画像処理に限定されるものではない。立体物検出部１６は、探索領域Zに対応する車両９０の実際の周辺領域に対してソナーやレーザーなどを用いて立体物探索を行い、立体物を検出してもよい。この際、１つの形態として、車両９０の移動に応じてポイントセンサとしてのソナーやレーザーなどによって距離画像データを生成しておき、この距離画像データに探索領域Zに対応する関心領域ＲＯＩを設定して立体物探索を行ってもよい。あるいは、比較的視野の広いソナーなどを用いて、探索領域Ｚに対応する車両９０の実際の周辺領域の一部の空間を走査して、立体物探索を行ってもよい。
【００４７】
以上説明したように、本発明によって、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することが可能となる。
【符号の説明】
【００４８】
１：カメラ（車載カメラ）
１ａ：後方カメラ（車載カメラ）
１ｂ：左側方カメラ（車載カメラ）
１ｃ：右側方カメラ（車載カメラ）
１ｄ：前方カメラ（車載カメラ）
４：モニタ装置
１１：周辺画像生成部
１３：駐車目標設定部
１４：経路演算部
１５：探索領域設定部
１６：立体物検出部
１８：表示画像生成部
９０：車両
１００：駐車車両（立体物）
Ｋ，Ｋ１，Ｋ２：誘導経路
Ｔ：駐車目標
Ｚ：探索領域
【技術分野】
【０００１】
本発明は、駐車の際の運転操作を支援する駐車支援装置に関する。
【背景技術】
【０００２】
車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援装置が提案され、実用化されている。また、車両周辺の障害物の存在など、車両の周囲の状況を画像や音声によってドライバーに通知して安全性を向上させる周辺監視装置も実用化されている。駐車支援装置には周辺監視機能も備えて、駐車支援の際に周辺監視も同時に実施するものもある。特開平２０１０−１２８９３９号公報（特許文献１）には、駐車支援装置などに利用される鳥瞰（俯瞰）画像生成装置が開示されている。特許文献１の第２５〜３０段落、図６〜図９等に開示されているように、この画像生成装置は、視差が生じている２枚の画像から立体物を認識する。但し、略水平視の画像から視点変換された俯瞰画像においては、特許文献１の図７に示すように立体物が歪んでしまうので視認性が低下する場合がある。
【０００３】
また、このような立体物の認識処理は比較的演算負荷が高いので、しばしば、全画像領域ではなく特定の画像領域を対象領域として認識処理が実行される。この際、ドライバーからは死角となり易く、特に車両が旋回する際に立体物と接触する可能性が高い車体端部（４つの車体コーナー部）近傍に認識の対象領域が設定される場合がある。実際には、車両の進行方向や旋回方向などに応じて、各コーナー部において接触の可能性は異なるので、４つの車体コーナー部を常に対象領域として認識処理を行うと演算負荷の抑制効果が限定的となる。また、全ての車体端部において同一の大きさの対象領域が設定された場合には、立体物を認識する必要性の低い領域では不必要に大きい対象領域が設定され、立体物を認識する必要性の高い領域では不充分な大きさの対象領域が設定されてしまう可能性もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２８９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記背景に鑑み、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置の提供が望まれる。
【課題を解決するための手段】
【０００６】
上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が所定の高い領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、を備える点にある。
【０００７】
この構成によれば、誘導経路に従って進行する車両の車体端部が立体物と近接又は接触する可能性が高い領域が探索領域として設定される。従って、例えば、車両の４つのコーナー部の内の１〜３つを選択して探索領域を設定することができる。その結果、立体物検出部による立体物探索の演算負荷を軽減することができる。また、演算能力に余裕がある場合には、軽減された演算負荷を活用できるので、探索対象となる車体端部に対応する探索領域の大きさを大きくして立体物をより検出し易くすることもできる。このように、本構成によれば、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することができる。
【０００８】
立体物は、例えば、視差が生じている２枚の画像を用いて画像処理によって探索することが可能である。従って、１つの好適な態様として、前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出することができる。上述したように、探索領域は、撮影画像又は周辺画像の一部の領域であるから、撮影画像又は周辺画像の全てではなく、一部を用いて立体物探索の画像処理が実行される。従って、画像認識の演算負荷を軽減することができる。
【０００９】
駐車支援が提供される駐車形態が縦列駐車の場合には、壁や歩道、溝などの路肩に隣接して駐車目標が設定されることが多い。そして、縦列駐車の性質上、そのような路肩は、駐車目標の長手方向、つまり駐車される車両の車軸の方向に平行に延伸している場合が多い。そして、縦列駐車の際には、ドライバーは、路肩に車輪が接触しないか、車体端部が接触しないかなど、路肩と自車両との関係に関心が高い。従って、好適な一形態として、本発明に係る駐車支援装置において、前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定するとよい。
【００１０】
また、本発明に係る駐車支援装置は、好適な一態様として、前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部が、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成するとよい。周辺画像上において立体物の存在する位置に報知アイコンが重畳されることにより、ドライバーは自車両の周囲に立体物が存在することと、その立体物の存在位置を良好に知ることができる。また、周辺画像が車両を上方から見下ろした俯瞰画像として生成される場合、略水平視の撮影画像から視点変換されたこの俯瞰画像では、立体物が歪んで視認性が低下することが多い。このような場合であっても、この立体物に報知アイコンが重畳されることによって、ドライバーに対して立体物の存在とその位置を良好に示すことができる。
【図面の簡単な説明】
【００１１】
【図１】車両を一部切り欠いて示す車両の斜視図
【図２】カメラの撮影範囲を示す平面図
【図３】車両のシステム構成の一例を模式的に示すブロック図
【図４】駐車支援装置の機能構成の一例を模式的に示すブロック図
【図５】縦列駐車時に撮影画像から俯瞰画像を生成する一例を示す図
【図６】車庫入れ駐車時の駐車目標の設定方法の一例を示す図
【図７】縦列駐車時の駐車目標の設定方法の一例を示す図
【図８】車庫入れ駐車時の誘導経路の一例を示す図
【図９】縦列駐車時の誘導経路の一例を示す図
【図１０】誘導経路に基づいて設定される探索領域の一例を示す図
【図１１】縦列駐車時の表示画像の一例を示す図
【図１２】報知アイコンの一例を示す図
【図１３】駐車支援制御の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置（運転支援装置・周辺監視装置）を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物（立体物）などの監視支援を行うことができる。
【００１３】
車両９０には、複数の車載カメラ１が設置されている。図１及び図２に示すように、車両９０の後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドア９２に備えられた左サイドミラー９４の下部には左サイドカメラ１ｂが備えられ、右前部ドア９３に備えられた右サイドミラー９５の下部には右サイドカメラ１ｃが備えられている。また、車両９０の前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１４】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９４及び９５の底部に光軸を下方に向けて設置され、車両９０の側面の一部と路面（地面）とが撮影可能である。駐車支援や周辺監視を含む運転支援の際には、カメラ１の撮影画像又は撮影画像から生成された画像が周辺画像としてモニタ装置４に表示される。モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。カメラ１により撮影された画像は、図３に示すように、画像処理モジュール２を介してモニタ装置４に出力される。
【００１５】
画像処理モジュール２の詳細な機能に関しては後述するが、例えば、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成する。また、画像処理モジュール２は、撮影画像や合成画像の視点を変換して俯瞰画像を生成する。具体的には、車両９０の車体端部（前後位置の角部、コーナー部）の外方位置には、図２に示すように２つのカメラの撮影画像における重複領域Ｗが形成される。画像処理モジュール２は、この重複領域Ｗにおいて境界部位を目立たなくする画像処理を実施して合成画像を生成する。また、画像処理モジュール２は、この合成画像の視点を変換し、車両９０の屋根の外観画像（グラフィック画像）を視点変換後の画像に重畳させて俯瞰画像を生成する。このグラフィック画像は、車両９０の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ１の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ１の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。
【００１６】
図３に示すように、車両９０の内部には、駐車支援装置を構成する駐車支援ＥＣＵ（electronic control unit）９が備えられている。駐車支援ＥＣＵ９は、ＣＰＵ（central processing unit）５や、画像処理モジュール２、メモリ、その他の周辺回路を有して構成される。ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を図示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。また、本例では、ＣＰＵ５を中核としたが、駐車支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００１７】
ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図３に示すように、駐車支援ＥＣＵ９は、パワーステアリングシステム３１やブレーキシステム３７、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９などと接続される。パワーステアリングシステム３１やブレーキシステム３７などの各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。
【００１８】
パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行うことも可能である。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。
【００１９】
ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。
【００２０】
また、ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して各種制御を実行する。このため、車輪速センサ２３はブレーキシステム３７に備えられている場合もある。この場合には、駐車支援装置１０はブレーキシステム３７を介して情報を取得する。同様に、駐車支援装置１０は、ブレーキペダルの操作量を検出するブレーキセンサ２７が検出した情報も、ブレーキシステム３７を介して取得する。駐車支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２１】
図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。
【００２２】
図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００２３】
上述したように、駐車支援装置１０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（２）駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
（３）さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。（２）及び（３）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
（ｃ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｄ）精度向上のために、上記（ｂ）や（ｃ）など複数の手法を複合させたもの、
などがある。（ａ）〜（ｄ）の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
【００２４】
本実施形態では、上記（３）に示したように、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するものとする。以下においては、ドライバーがシフトレバーをリバースにセットした後、自動操舵を伴って駐車目標まで誘導する駐車支援を例として説明する。しかし、上記（２）に示したように、運転操作はドライバーが行い、駐車支援装置１０は音声などにより操作を案内するものであっても操作を案内するための誘導経路は演算されるので本発明を適用可能である。
【００２５】
ＣＰＵ５を中核として構成され、プログラムと協働して駐車支援のための種々の演算を実施する駐車支援装置１０は、図４に示すような機能部を有して構成される。即ち、駐車支援装置１０は、周辺画像生成部１１と、駐車目標設定部１３と、経路演算部１４と、探索領域設定部１５と、立体物検出部１６と、表示画像生成部１８とを備える。以下、各機能部の詳細について順に説明する。
【００２６】
周辺画像生成部１１は、車両９０の周辺の情景を撮影するカメラ１の撮影画像を受け取り、その撮影画像に基づいて車両９０の周辺画像を生成する機能部である。そして、表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する機能部である。周辺画像生成部１１及び表示画像生成部１８は、画像処理モジュール２を中核として構成される。周辺画像生成部１１は、撮影画像メモリ５１、画像生成部５３、周辺画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像はバッファメモリとしての撮影画像メモリ５１に展開されて一時保管される。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６とが含まれている。通常画像生成部５４は、撮影画像をほぼそのままの形態で周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される周辺画像はカメラ１ａ〜１ｄごとに独立しており、表示画像生成部１８において任意に選択された画像が表示画像としてモニタ装置４に提供される。
【００２７】
俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車（車両９０）の周囲を上方から見たときの俯瞰画像に変換し周辺画像メモリ５７に格納する。この際、俯瞰画像の生成に先立って、４つのカメラ１a〜１ｄによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする前処理が実行されると好適である。マッピングテーブル５６は種々の形態で構築することができる。一例として、図５に示すように、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとしてマッピングテーブル５６が構築されると好適である。具体的には、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたテーブルとして構築されると好適である。
【００２８】
図５には、縦列駐車を開始する際に、４つのカメラ１ａ〜１ｄの撮影画像に基づいて俯瞰画像へ変換する様子が模式的に示されている。後方カメラ１ａによる撮影画像（後方撮影画像）はマッピングテーブル５６によって俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像（前方撮影画像）はマッピングテーブル５６によって俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像（左サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像（右サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の右領域画像に座標変換される。このように、各カメラ１ａ〜１ｄの撮影画像を俯瞰画像に変換するために４つの異なるマッピングテーブル５６が備えられる。このような４つの撮影画像を用いた俯瞰画像生成は、車両９０が後述する誘導経路Ｋに沿って走行する間逐次行われ、モニタ装置４に表示される。
【００２９】
駐車目標設定部１３は、車両９０の駐車目標を設定する機能部である。また、経路演算部１４は、駐車目標まで車両９０を誘導する誘導経路を演算する機能部である。駐車目標設定部１３は、上記（ａ）〜（ｄ）に示したような手法により駐車目標を設定する。ここでは、代表として上記（ａ）に対応し、駐車支援開始時の車両９０の停止位置に基づいて車両９０からの所定位置を駐車目標Ｔの初期位置として設定する例を図６及び図７を利用して説明する。
【００３０】
車庫入れ駐車の場合、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図６において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。例えば、車両９０から横方向に距離Ｄだけ離れた位置に、所定の大きさの駐車目標Ｔが設定される。駐車目標Ｔは、車両９０の基準位置Ｑ、例えば、後輪の車輪軸と車両９０の前後を貫く車軸との交点を基準として基準座標（ワールド座標）上において設定される。縦列駐車の場合には、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画の先頭、例えば目標となる駐車区画の前方に駐車している駐車車両の後端が運転席の真横となる位置で一旦停止する。つまり、図７において、ドライバーが助手席の窓を通して駐車車両の後端を目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。
【００３１】
尚、上記（ｂ）において例示したように、白線などの区画線（路面標示）Ｙで示された駐車区画を画像認識して、駐車区画の中に駐車目標Ｔを設定してもよい。この際、例えば、サイドカメラ１ｂの視野が遠くまで設定されていない場合には、区画線Ｙの一部を画像認識してもよい。そして、車両９０側における駐車区画の端部を起点として、所定の大きさの駐車区画を推定し、基準座標上に駐車目標Ｔを設定してもよい。また、一旦停止位置をさらに前方に進めて、後方カメラ１ａによる撮影画像を用いて区画線Ｙを認識してもよい。勿論、上述した俯瞰画像を用いて区画線Ｙを認識してもよい。
【００３２】
また、上記（ｃ）において例示したように、ソナー（クリアランスソナー３３）などで空き領域を検出して駐車区画を自動認識して駐車目標を設定してもよい。つまり、図６及び図７に示したように、目標となる駐車区画の横を前進しながら通過する際に、車両９０の左右方向に向けて取り付けたクリアランスソナー３３で駐車車両との距離を検出する。そして、車輪速センサ２３やステアリングセンサ２１の検出結果に基づき演算される自車両９０の移動軌跡と関連させながら距離データを時系列に記憶する。これにより、駐車車両の位置を路面平面上に設定されるワールド座標上に位置データとして記憶する。距離データの連続性からノイズ除去、グループ化、バンパー形状などの車両形状に対するマッチング、位置補正処理等を実施して、駐車車両の端部を計算して空き空間を推定する。この空き空間に駐車目標Ｔが設定される。尚、上記（ｄ）に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Ｙを画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Ｔを設定してもよい。
【００３３】
経路演算部１４は、駐車目標Ｔまで車両９０を誘導する誘導経路を演算する機能部である。本実施形態においては、経路演算部１４は、車両９０を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路を演算する。駐車目標Ｔが設定されると、経路演算部１４は、図８及び図９に示すように、車両９０を初期位置Ｑ０から後退開始位置Ｑ１まで前進させ、後退開始位置Ｑ１から駐車目標Ｔにおける駐車完了位置Ｑ２まで後退させる誘導経路Ｋと、折り返し点である後退開始位置Ｑ１を演算する。ここで、Ｑ０〜Ｑ２は、それぞれ車両９０が初期位置（Ｑ０）、後退開始位置（Ｑ１）、駐車完了位置（Ｑ２）にある時の、車両９０の基準位置Ｑの基準座標上での座標を示している。初期位置とは、図６及び図７において車両９０が一旦停止する位置、即ち駐車目標Ｔが設定された時点の位置である。多くの場合、駐車支援の開始時には、ドライバーによる指示入力が専用ボタンやタッチパネル４ｂ上のタッチボタンに対して与えられる。従って、その指示入力が与えられた時点での車両９０の位置を初期位置としてもよい。尚、誘導経路Ｋは、前進誘導経路Ｋ１と後退誘導経路Ｋ２とから構成される。誘導経路Ｋの生成手法は、特開２００３−２３７５１１号公報や特開２００８−２８４９６９号公報等に例示されているように公知であるから詳細な説明は省略する。
【００３４】
誘導経路Ｋに従って進行する車両９０は、特に後退誘導経路Ｋ２に従って進行する際に、比較的大きい旋回を伴う。車両９０が旋回を伴って進行する際には内輪差や外輪差により、車体が車輪よりも内側、あるいは外側を通る。車体端部（コーナー部）は、ドライバーから死角となり易い場所であるから、車両９０の周辺に立体物が存在した場合には、この立体物に車両９０が接触する可能性が生じる。尚、ここで、立体物とは、路面に対して立体的な他の物体や構造物をいい、駐車車両や、ガードレール、路側に設けられた歩道と路面との段差や溝等の路肩、等を含む。
【００３５】
探索領域設定部１５は、誘導経路Ｋ、特に後退誘導経路Ｋ２に従って進行する車両９０の車体端部が、立体物と近接又は接触する可能性が高い所定の領域を、撮影画像又は周辺画像上における探索領域として設定する。探索領域は、誘導経路Ｋに沿った駐車走行時においてドライバーが注意すべき注意領域ということもできる。後述するように、立体物検出部１６は、探索領域において画像認識を行い、立体物を検出する。
【００３６】
図１０は、そのような探索領域Ｚを例示している。図１０の（ａ）には、車庫入れ駐車時の誘導経路Ｋに沿って設定される４つの探索領域Ｚ（Ｚ１,Ｚ２,Ｚ３,Ｚ４，Ｚ５）が例示されている。また、図１０の（ｂ）には、縦列駐車時の誘導経路Ｋに沿って設定される３つの探索領域Ｚ（Ｚ５,Ｚ６,Ｚ７）が例示されている。これらの探索領域Ｚは、車両９０の中心が誘導経路Ｋに沿って移動した際に、車両９０の車体端部（コーナー部）が誘導経路Ｋから大きく振れることにより他の駐車車両１００や立体物などに接触する可能性が大きくなる領域である。
【００３７】
立体物検出部１６は、これら探索領域Ｚにおいて画像認識を行い、立体物を検出する。探索領域Ｚは、画像処理対象領域であり、画像認識における関心領域（ＲＯＩ：region of interest）に相当する。本実施形態では、撮影画像（通常画像）を含む周辺画像を用いて画像認識により立体物を検出する。立体物検出部１６は、特開２０１０−１２８９３９号公報（特許文献１）に開示されたように、視差が生じている２枚の画像の一方から他方の視点に基づく画像に位置補正を施した予測画像を生成する。そして、他方の画像と予測画像との差分を取って立体物を抽出する。位置情報は、車輪速センサ２３の検出結果に基づく車両９０の移動量と、ステアリングセンサ２１で検出されるステアリングホイールの操舵量とに基づいて演算される。
【００３８】
図１１は、図５を利用して上述した俯瞰画像が、モニタ装置４に表示される際の表示形態の一例を示している。本実施形態では、モニタ装置４の画面は、俯瞰画像を表示する俯瞰画像表示領域と、何れかのカメラ１による撮影画像（例えば自車進行方向の撮影画像）に基づく通常画像を表示する通常画像領域とに区分けされている。水平方向視の撮影画像から視点変換して俯瞰画像を生成した場合、高さのある立体物は歪んでしまう。俯瞰画像と通常画像とが共に表示されることで、立体物を通常画像で確認することも可能である。図４に示すように、画像処理モジュール２は、表示画像生成部１８を備えている。表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する。表示画像生成部１８は、俯瞰画像と通常画像とが含まれた表示画像を生成してモニタ装置４に出力する。尚、表示画像生成部１８は、俯瞰画像に対して自車両を示すアイコンを重畳させてモニタ装置４に出力する。表示画像生成部１８は、自車イメージ提供部６４及び画像合成部６６を備えており、画像合成部６６は、自車イメージ提供部６４から提供された自車アイコンを俯瞰画像に合成して出力する。
【００３９】
また、図１１に示すように、俯瞰画像はモニタ装置４に表示される範囲よりも広い範囲が含まれる画像として生成される。従って、モニタ装置４に表示される際には、一般的には図１１上段に例示されているように、中央部分がトリミング処理されたトリミング画像となる。一方、上述したように、本実施形態では、立体物を検出するための対象領域として探索領域Ｚが設定されている。従って、例えば図１１の下段に例示されているように、探索領域Ｚが多く含まれるように探索領域Ｚ７，Ｚ８の方へオフセットしてトリミング画像が生成されると好適である。立体物が存在する可能性の多い領域が多く俯瞰画像に含まれることになるので、立体物の確認が容易となる。図１１から明らかなように、下段のオフセットされた画像には上段の画像に比べて、探索領域Ｚ７,Ｚ８に対応する領域が多く含まれる。従って、これらの領域に立体物が存在した場合に、ドライバーは、良好に視認することができる。
【００４０】
但し、上述したように、立体物は、俯瞰画像上では歪んでしまう場合がある。このため、表示画像生成部１８は、図１２に示すように立体物が存在することを報知する報知アイコンＧを周辺画像、特に俯瞰画像において立体物が存在する位置に重畳させて表示画像を生成する。この報知アイコンＧは、報知イメージ提供部６５により生成され、画像合成部６６に提供される。画像合成部６６は、報知アイコンＧを重畳させてモニタ装置４に表示画像を出力する。報知アイコンＧは、立体物の形状を示し、ドライバーに立体物を連想させるものでなくてもよい。報知アイコンＧは、図１２に符号Ｇ１として例示するように、文字や記号、イラストなどによって「立体物有り」、「注意」、「！」等と表示するものであってもよい。これにより、俯瞰画像上において立体物が歪んで表示され、一見して何であるかが判らないような場合であっても、ドライバーは注意をすべきことを理解できる。路肩については、さらに、路肩に沿った線や長尺の長方形などの報知アイコンＧ２（Ｇ）を用いて、路肩の存在を報知してもよい。
【００４１】
また、立体物検出部１６によって路肩が検出され、路肩と駐車目標Ｔとが近接して駐車目標Ｔ内の車両９０が路肩に近づきすぎる可能性があると判定された場合には、経路演算部１４は、誘導経路Ｋを修正する。これにより、駐車目標Ｔを設定した際の認識結果に拘束されることなく、より適切な位置へ車両９０を誘導することが可能となる。
【００４２】
以下、上述のように構成された駐車支援装置１０による駐車支援制御の流れを図１３のフローチャートを用いて説明する。ここでは、上記（３）に示したように、自動操舵により車両９０が誘導される場合を例示する。即ち、ＣＰＵ５を中核として構成される不図示の誘導部は、車輪速センサ２３、ステアリングセンサ２１、ブレーキセンサ２７等の検出結果並びに誘導経路Ｋに基づいて、公知のデットレコニング(Dead-Reckoning)技術を用いて車両９０を誘導する。具体的には、誘導部によりパワーステアリングシステム３１やブレーキシステム３７が制御される。当然ながら、自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。また、上記（２）に示したように、操作手順を報知してドライバーに運転操作を行わせることも可能である。
【００４３】
図６及び図７を用いて上述したように、駐車支援の開始時には、ドライバーは、駐車区画の近傍位置で車両９０を停車させる。停車時の自車位置は図８及び図９を用いて上述したように、初期位置Ｑ０として設定され（図１３＃２）、初期位置Ｑ０を基準として駐車目標Ｔ（Ｑ２）が設定される（＃４）。初期位置Ｑ０と駐車目標Ｔが設定されると、初期位置Ｑ０から駐車目標Ｔ（Ｑ２）までの誘導経路Ｋが演算される（＃６）。誘導経路Ｋが求められると、この誘導経路の形態、特に経路進行に伴う曲率の変動に基づいて、車両９０の一部が立体物と接触する可能性が高い箇所などが探索領域Ｚとして設定される（＃８）。例えば、車両９０が誘導経路を移動する際にその周辺に立体物などが存在した場合に、当該立体物に車両９０が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の誘導経路のパターンを想定して、各誘導経路パターンにおける車両９０の経路位置での接触可能性から、立体物を探索すべき周囲領域Ｚを推定し、その周囲領域を割り当てておくことで、簡単に探索領域Ｚを決定することができる。探索領域Ｚは、予めその位置や大きさとともに探索領域リストに記録されていてもよい。
【００４４】
探索領域が設定されると、自車位置が演算され（＃１０）、撮影画像が取り込まれる（＃１２）。この撮影画像に基づいて、上述したように通常画像や俯瞰画像による周辺画像が生成される。次いで、周辺画像に探索領域Ｚが含まれるか否かが判定される（＃１４）。周辺画像に探索領域Ｚが含まれる場合には、当該探索領域Ｚに対して立体物検出処理が施される（＃１６）。そして、立体物が検出されたか否かが判定され（＃１８）、立体物が存在する場合には、立体物報知処理が実行される（＃２０）。立体物が存在する場合には、さらに、誘導経路Ｋの変更が必要か否かが判定される（＃２２）。例えば、立体物として路肩が検出され、路肩と駐車目標Ｔとの関係から、車両９０と路肩との距離が所定のしきい値よりも近くなるような場合に、誘導経路Ｋの変更が必要と判定される。誘導経路Ｋの変更が必要と判定された場合には、経路演算部１４により誘導経路補正処理が実行される（＃２４）。そして、車両９０は、補正された新しい誘導経路Ｋに従って誘導される（＃２６）。誘導に伴って再び、自車位置が演算され（＃２８）、車両９０が駐車目標Ｔ（Ｑ２）に到達したか否かが判定される（＃３０）。車両９０が、駐車目標Ｔ（Ｑ２）に到達していれば、駐車支援が終了され、到達していなければ上述したステップ＃１０〜＃３０が繰り返し実行される。
【００４５】
尚、上述した実施形態では、俯瞰画像を周辺画像とし、俯瞰画像上に探索領域Ｚが設定される例を示したが、当然ながら探索領域Ｚは俯瞰画像に設定されることに限定されるものではない。撮影画像をほぼそのまま利用した略水平視の画像を周辺画像として、その周辺画像上に探索領域Ｚを設定してもよい。また、モニタ装置４への表示を前提とした周辺画像を用いることなく、撮影画像に対して探索領域Ｚを設定してもよい。
【００４６】
また、上述した実施形態では、立体物検出部１６が、探索領域Zにおいて画像認識を行い、立体物１００を検出する例を用いて説明した。しかし、立体物検出部１６による立体物探索は、画像処理に限定されるものではない。立体物検出部１６は、探索領域Zに対応する車両９０の実際の周辺領域に対してソナーやレーザーなどを用いて立体物探索を行い、立体物を検出してもよい。この際、１つの形態として、車両９０の移動に応じてポイントセンサとしてのソナーやレーザーなどによって距離画像データを生成しておき、この距離画像データに探索領域Zに対応する関心領域ＲＯＩを設定して立体物探索を行ってもよい。あるいは、比較的視野の広いソナーなどを用いて、探索領域Ｚに対応する車両９０の実際の周辺領域の一部の空間を走査して、立体物探索を行ってもよい。
【００４７】
以上説明したように、本発明によって、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することが可能となる。
【符号の説明】
【００４８】
１：カメラ（車載カメラ）
１ａ：後方カメラ（車載カメラ）
１ｂ：左側方カメラ（車載カメラ）
１ｃ：右側方カメラ（車載カメラ）
１ｄ：前方カメラ（車載カメラ）
４：モニタ装置
１１：周辺画像生成部
１３：駐車目標設定部
１４：経路演算部
１５：探索領域設定部
１６：立体物検出部
１８：表示画像生成部
９０：車両
１００：駐車車両（立体物）
Ｋ，Ｋ１，Ｋ２：誘導経路
Ｔ：駐車目標
Ｚ：探索領域
【特許請求の範囲】
【請求項１】
車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が高い所定の領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、
を備える駐車支援装置。
【請求項２】
前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出する請求項１に記載の駐車支援装置。
【請求項３】
前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定する請求項１又は２に記載の駐車支援装置。
【請求項４】
前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部は、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成する請求項１から３の何れか一項に記載の駐車支援装置。
【請求項１】
車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が高い所定の領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、
を備える駐車支援装置。
【請求項２】
前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出する請求項１に記載の駐車支援装置。
【請求項３】
前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定する請求項１又は２に記載の駐車支援装置。
【請求項４】
前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部は、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成する請求項１から３の何れか一項に記載の駐車支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−８６６８４（Ｐ２０１２−８６６８４Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３５３８９（Ｐ２０１０−２３５３８９）
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]