駐車支援装置
【課題】駐車時の進行経路を予測する上で操舵角を検出するセンサを不要とし、センサ接続によるハーネス及び配線作業のコストを削減する。
【解決手段】カメラより画像を取得して２値化等の前処理を行い（Ｓ１，Ｓ２）、２値化した画像より前輪を検出する（Ｓ３）。そして、画像中の前輪の形状或いは輪郭と予めシステム内に記憶されている前輪のパターンとを照合し（Ｓ４）、パターン照合結果に基づいて操舵角を算出する（Ｓ５）。次に、操舵角に基づいて自車両の進行経路を推定し（Ｓ６）、予測進路軌跡のガイドラインを生成してディスプレイに表示する（Ｓ７）。これにより、舵角センサからの信号を用いることなく操舵角を認識して自車両の進行経路を推定することができ、舵角センサを接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【解決手段】カメラより画像を取得して２値化等の前処理を行い（Ｓ１，Ｓ２）、２値化した画像より前輪を検出する（Ｓ３）。そして、画像中の前輪の形状或いは輪郭と予めシステム内に記憶されている前輪のパターンとを照合し（Ｓ４）、パターン照合結果に基づいて操舵角を算出する（Ｓ５）。次に、操舵角に基づいて自車両の進行経路を推定し（Ｓ６）、予測進路軌跡のガイドラインを生成してディスプレイに表示する（Ｓ７）。これにより、舵角センサからの信号を用いることなく操舵角を認識して自車両の進行経路を推定することができ、舵角センサを接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の進行経路を予測して駐車動作を支援する駐車支援装置に関する。
【背景技術】
【０００２】
近年、車両を駐車させる際の車両の進行経路を予測してドライバに提示することにより、駐車動作を支援する駐車支援装置が開発されている。例えば、特許文献１には、駐車初期位置から駐車目標位置まで車両が移動する過程での切り返し動作による経路を予測演算し、予測した結果を車両周囲の俯瞰画像上に描画して表示する駐車支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８９７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような従来の技術においては、車両の進行経路を予測する際に必要な車輪の操舵角は、ステアリングに設けた舵角センサからの信号を入力することで取得している。このため、駐車支援装置と舵角センサとを接続するために比較的長いハーネスを必要とするばかりでなく、煩雑な配線作業を要することになり、コスト増加の要因となっている。
【０００５】
本発明は上記事情に鑑みてなされたもので、駐車時の進行経路を予測する上で操舵角を検出するセンサを不要とし、センサ接続によるハーネス及び配線作業のコストを削減することのできる駐車支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明による駐車支援装置は、車両を駐車させる際のドライバの運転操作を支援する駐車支援装置において、少なくとも車輪を含む車両周囲の画像を撮影する撮像部と、前記撮像部により撮影された画像から車輪を抽出し、ステアリング操作によって変化する画像上の車輪と操舵角との関係に基づいて、撮影された車輪の操舵角を認識する操舵角認識部と、前記操舵角認識部により認識された操舵角に基づいて、車両の進行経路を推定演算する進路推定部と、前記進路推定部により推定された進行経路を含む支援情報をドライバに提示する情報提示部とを備えるものである。
【発明の効果】
【０００７】
本発明によれば、駐車時の進行経路を予測する上で操舵角を検出するセンサを不要とし、センサ接続によるハーネス及び配線作業のコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の第１形態に係り、駐車支援装置の構成図
【図２】同上、前輪撮影用のサイドカメラを示す説明図
【図３】同上、画像中の前輪位置の推定を示す説明図
【図４】同上、画像中の認識枠を示す説明図
【図５】同上、操舵方向のみを認識する場合の説明図
【図６】同上、予測進路軌跡の表示例を示す説明図
【図７】同上、駐車支援制御処理のフローチャート
【図８】本発明の実施の第２形態に係り、ホイール面積と操舵角との関係を示すルックアップテーブルの説明図
【図９】同上、駐車支援制御処理のフローチャート
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。
本発明の駐車支援装置は、自動車等の車両を駐車させる際に、舵角センサからの信号を必要とすることなく、車載のカメラで少なくとも車輪を含む車両周囲の画像を撮影し、撮影した画像から車両の進行経路を予測し、予測した進行経路をドライバに提示することにより運転支援を行うものである。本実施の形態においては、ステアリングを動かすことにより変化する操舵輪（前輪）の形状から操舵角を認識し、認識した操舵角に基づいて車両の進行経路を予測する。
【００１０】
具体的には、図１に示すように、本実施の形態における駐車支援装置１は、前輪周辺を撮影する撮像部を構成するカメラ２、車両状態を検出する車載センサ３、カメラ２で撮影した画像から前輪の操舵角を推定し、推定した操舵角と車載センサ３からの車両情報とに基づいて自車両の進行経路を予測するコントローラ１０、予測した進行経路に係るガイド情報を画像や音声でドライバに提示する情報提示部としてのガイド情報提示装置２０を主として構成されている。
【００１１】
本実施の形態においては、撮像部を構成するカメラ２として、図２（ａ），図２（ｂ）に示すように、車両前進方向左側のサイドミラー４ａの下部に一体的に設置されているサイドカメラ２ａと、車両前進方向右側のサイドミラー４ｂの下部に一体的に設置されているサイドカメラ２ｂとの２つのカメラを用いている。これらの左右のサイドカメラ２ａ，２ｂは、何れも広角カメラで構成されており、車両側方の車体の一部と前輪とを含む周辺画像を撮影することができる。
【００１２】
尚、カメラ２は、サイドミラー設置型のものに限ることなく、前輪周辺を撮影可能であれば、車両周囲の安全を確認するために設置されている他のカメラを流用することが可能である。
【００１３】
また、車載センサ３は、車速を検出する車速センサ、変速機のシフト位置（ギヤポジションの位置）を検出するシフト位置センサ等の簡単な配線で信号を容易に取得可能なセンサ類である。すなわち、駐車支援装置１は、ハンドルの操舵角を検出する舵角センサを不要として、車輪の画像から操舵角を認識する。
【００１４】
一方、コントローラ１０は、マイクロコンピュータを中心として構成されるユニットであり、画像処理用の各種回路やメモリ、入出力用の周辺回路等を備えている。このようなマイクロコンピュータを中心として構成されるコントローラ１０は、機能的な構成として、カメラ２で撮影した画像を処理して前輪の操舵角を認識する操舵角認識部１１、認識した操舵角に基づいて自車両の進行経路を推定する進路推定部１２、推定した進行経路と自車両の位置を表示する画像や音声等のガイド情報を生成し、ガイド情報提示装置２０に出力するガイド情報生成部１３を備えている。
【００１５】
尚、ガイド情報提示装置２０は、ディスプレイやスピーカを備える専用の装置であっても良いが、例えば、インストルメントパネルのマルチファンクションディスプレイの一部として構成しても良く、また、ナビゲーション装置を備える場合には、ナビゲーション装置のディスプレイやスピーカを利用するようにしても良い。
【００１６】
操舵角認識部１１は、左右のサイドカメラ２ａ，２ｂで撮影した画像から前輪を検出し、ステアリングを動かすことによって変化する前輪の形状から操舵角を認識する。画像中の前輪の位置は、画像に映る車体の特徴的な部分を基準として推定する。これは、操舵角が小さい場合、画像中の前輪形状が小さく、カメラ２の位置や姿勢によっては前輪の位置を検出できない虞があるためであり、車体の特徴的な部分を基準として画像中の前輪の位置を推定することにより、前輪を確実に検出することができる。
【００１７】
車体の特徴的な部分としては、例えば、車体のアンダーライン、ドアの繋ぎ目、フェンダー、ドアノブ、ウィンカランプ等があり、これらの特徴的な部分との位置関係から前輪の位置を推定する。図３は、車体ＢのアンダーラインＬを用いる例を示しており、画像のエッジ検出等によりアンダーラインＬを認識し、このアンダーラインＬとの位置関係から前輪５の位置Ｗ１を推定して操舵角の認識を行う。
【００１８】
この場合、車体を何らかの物体にぶつける等して、走行上支障がない程度であっても車体に軽微な歪が生じてしまった場合には、前輪位置の推定誤差が大きくなり、操舵角の認識処理に悪影響を及ぼす虞がある。このため、画像から前輪の位置を予測した範囲を予め設定しておき、この範囲で認識処理を行う。例えば、図４に示すように、画像中に座標Ｐ(x1,y1)を基点とする認識枠Ｗ２を予め設定しておき、この認識枠Ｗ２内で前輪５を検出して操舵角を推定する。座標と認識枠の大きさは、カメラの位置・姿勢誤差等を考慮して予め設定しておく。
【００１９】
前輪画像からの操舵角の推定は、本実施の形態においては、周知のパターンマッチングの手法を用いて行う。具体的には、コントローラ１０内に、操舵角に応じた前輪の形状又は輪郭のパターンを予め記憶しておき、画像中に映っている前輪と記憶されたパターンとを照合し、一致するパターンから操舵角を求める。
【００２０】
尚、簡易的には、操舵角の認識処理に要する演算量を少なくするため、操舵方向のみ、すなわち画像に映る前輪の形状から左右のどちらに向いているかのみを認識するようにしても良い。具体的には、図５（ａ）に示すようにタイヤ５ａとホイール５ｂとの双方が画像中に映っている場合には、操舵方向は右方向であり、図５（ｂ）に示すようにタイヤ５ａのみが画像中に映っており、ホイール５ｂが映っていない場合には、操舵方向は直進から左方向であると判断することができる。
【００２１】
また、以上の操舵角の認識は、本実施の形態においては、左右のサイドカメラ２ａ，２ｂによる左右の画像について行うが、少なくとも２台以上のカメラを使用することで、何れかのカメラに不具合が発生しても、正常に動作するカメラが１つ以上あれば、正常なカメラの撮影画像から操舵角を認識することができる。
【００２２】
進路推定部１２は、操舵角認識部１１で認識した操舵角を用いて、認識した操舵角が一定（タイヤの切れ角が一定）とした経路、或いは認識した操舵角を接線とする曲線（変曲点が１つの曲線）が描く経路を予測し、ガイド情報生成部１３に出力する。このとき、自車両が前進・後進するかにより進路方向が変わることから、車載センサ３（シフト位置センサ）からのシフト位置に基づいて進路方向を決定する。
【００２３】
ガイド情報生成部１３は、予測された経路を中心として自車両の幅に基づく所定間隔のラインを予測進路軌跡のガイドラインとして設定し、このガイドラインを表示する画像信号を生成する。ガイドラインの画像信号は、ガイド情報提示装置２０に出力され、例えば図６に例示するように、ディスプレイに自車両Ｃの進行経路を推定したガイドラインＧＬが描画される。このとき、適宜、スピーカを介した音声ガイドを出力するようにしても良い。
【００２４】
尚、自車両周囲を撮影する複数のカメラを搭載している場合には、各カメラからの画像を用いて自車上方の仮想視点から見下ろした俯瞰画像を生成し、この俯瞰画像に、自車位置を示す自車両図形、自車両の駐車目標となる駐車目標位置、予測進路軌跡のガイドラインを重ね合わせるようにしても良い。また、予測進路軌跡のガイドラインを描画せずに、左右のどちらに進むかを表示する矢印（図６参照）等を表示するのみとしても良い。
【００２５】
次に、コントローラ１０で実行される駐車支援制御のプログラム処理について、図７のフローチャートを用いて説明する。尚、この駐車支援制御のプログラムは、例えば、車速が設定値以下でシフト位置が後退位置にセットされたときに起動される。
【００２６】
先ず、最初のステップＳ１において左右のカメラ２ａ，２ｂより画像を取得し、ステップＳ２で画像の２値化等の前処理を行う。次に、ステップＳ３へ進み、２値化した画像より前輪を検出し、ステップＳ４で、画像中の前輪の形状（或いは輪郭）と、予めシステム内に記憶されている前輪のパターンとを照合する処理を行う。このパターン照合で一致するパターンがないときには、ステップＳ１へ戻って次のフレームの画像を取得し、同様の処理を行う。パターンが一致したときには、ステップＳ４からステップＳ５へ進み、パターン照合結果に基づいて操舵角を算出する。
【００２７】
その後、ステップＳ６へ進み、操舵角に基づいて自車両の進行経路を推定すると、ステップＳ７で予測進路軌跡のガイドラインを生成し、ガイド情報提示装置２０のディスプレイにガイドラインの画像を表示する。そして、ステップＳ８で、パーキングブレーキ信号等から駐車が完了したか否かを調べ、駐車が完了していないときには、ステップＳ１へ戻って前輪画像から操舵角を検出して進行経路を推定する処理を繰り返し、駐車が完了したとき、本制御を終了する。
【００２８】
このように本実施の形態においては、舵角センサからの信号を用いることなく、前輪を撮影した画像から操舵角を認識し、認識した操舵角に基づいて自車両の進行経路を推定する。これにより、舵角センサを駐車支援装置１に接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【００２９】
次に、本発明の実施の第２形態について説明する。
【００３０】
第２形態は、画像中の車輪をタイヤとホイールとに区別し、ホイールの情報から操舵角を認識するものである。すなわち、画像中に映る車輪を検出する場合、タイヤに比較してエッジを捉えやすいホイールを検出対象とすることで、より正確に操舵角を認識することが可能となる。
【００３１】
具体的には、以下の（ａ），（ｂ）に説明するように、画像内のホイールの角の座標や面積等の情報を取得し、取得した情報に基づいて操舵角を認識する。
【００３２】
（ａ）ホイールの角の座標情報に基づく操舵角の認識
撮影画像を２値化し、２値化した画像からホイールの角を検出して座標情報を取得する。ホイールの角の位置は、カメラの位置・姿勢によって変化するため、車体の特徴的な部分の座標を基準としてホイールの角の座標を検出し、検出時の座標情報から操舵角を求める。
【００３３】
（ｂ）ホイールの面積に基づく操舵角の認識
撮影画像を２値化してタイヤとホイールとを区別し、タイヤに囲まれたホイール部分のピクセル数を数え、このピクセル数をホイールの面積とする。コントローラ１０内には、予めホイールの面積と操舵角との関係をテーブル化したルックアップテーブルを記憶しておき、このルックアップテーブルを画像から取得したホイールの面積（ピクセル数）で参照することにより、操舵角を求める。
【００３４】
ルックアップテーブルは、カメラの各種パラメータや車体との位置関係を考慮し、画像中のホイール面積（ピクセル数）に対応する操舵角を、予め実測或いはシミュレーションにより求めて作成する。図８は、このようなルックアップテーブルの特性例を示すものであり、代表的なデータ点を離散的に示している。このルックアップテーブルの特性から、ホイール面積（ピクセル数）が大きくなるにつれて操舵角が所定の関係を持って大きくなることがわかる。
【００３５】
尚、ルックアップテーブルは、装着されるタイヤのサイズに依存するため、許容されるタイヤのサイズ毎にルックアップテーブルを保有することが望ましい。
【００３６】
次に、ホイール面積に基づく操舵角を用いた駐車支援制御のプログラム処理について、図９のフローチャートを用いて説明する。
【００３７】
このプログラム処理では、先ず、ステップＳ１１において、左右のカメラ２ａ，２ｂより画像を取得し、ステップＳ２で画像の２値化等の前処理を行う。次に、ステップＳ１３へ進み、２値化した画像より前輪のホイールを検出できるか否かを調べる。
【００３８】
その結果、操舵角が小さく、画像中にホイールが映らないような場合には、ステップＳ１３からステップＳ１１へ戻って次のフレームの画像を取得し、同様の処理を行う。２値化画像からホイールを検出できた場合には、ステップＳ１３からステップＳ１４へ進み、ホイールとして検出した領域のピクセル数を数え、ホイール面積として算出する。
【００３９】
次に、ステップＳ１５へ進み、ステップＳ１４で求めたホイール面積でシステム内に記憶されているルックアップテーブルを照合する。このルックアップテーブルの照合が不成功の場合には、最初のステップＳ１１へ戻り、照合が成功したとき、ステップＳ１５からステップＳ１６へ進んで照合結果より操舵角を算出する。
【００４０】
その後、ステップＳ１７へ進んで操舵角に基づいて自車両の進行経路を推定し、ステップＳ１８で予測進路軌跡のガイドラインを生成し、生成したガイドラインの画像をガイド情報提示装置２０のディスプレイに表示する。そして、ステップＳ１９で、パーキングブレーキ信号等から駐車が完了したか否かを調べ、駐車が完了していないときには、ステップＳ１１へ戻って前輪のホイール画像から操舵角を検出して進行経路を推定する処理を繰り返し、駐車が完了したとき、本制御を終了する。
【００４１】
第２形態においても、第１形態と同様、舵角センサを駐車支援装置１に接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができるが、第２形態では、エッジが鮮明なホイールを検出対象とするため、より正確に操舵角を認識することが可能となる。
【符号の説明】
【００４２】
１ 駐車支援装置
２ カメラ
５ 前輪
５ａ タイヤ
５ｂ ホイール
１０ コントローラ
１１ 操舵角認識部
１２ 進路推定部
１３ ガイド情報生成部
２０ ガイド情報提示装置
【技術分野】
【０００１】
本発明は、車両の進行経路を予測して駐車動作を支援する駐車支援装置に関する。
【背景技術】
【０００２】
近年、車両を駐車させる際の車両の進行経路を予測してドライバに提示することにより、駐車動作を支援する駐車支援装置が開発されている。例えば、特許文献１には、駐車初期位置から駐車目標位置まで車両が移動する過程での切り返し動作による経路を予測演算し、予測した結果を車両周囲の俯瞰画像上に描画して表示する駐車支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８９７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような従来の技術においては、車両の進行経路を予測する際に必要な車輪の操舵角は、ステアリングに設けた舵角センサからの信号を入力することで取得している。このため、駐車支援装置と舵角センサとを接続するために比較的長いハーネスを必要とするばかりでなく、煩雑な配線作業を要することになり、コスト増加の要因となっている。
【０００５】
本発明は上記事情に鑑みてなされたもので、駐車時の進行経路を予測する上で操舵角を検出するセンサを不要とし、センサ接続によるハーネス及び配線作業のコストを削減することのできる駐車支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明による駐車支援装置は、車両を駐車させる際のドライバの運転操作を支援する駐車支援装置において、少なくとも車輪を含む車両周囲の画像を撮影する撮像部と、前記撮像部により撮影された画像から車輪を抽出し、ステアリング操作によって変化する画像上の車輪と操舵角との関係に基づいて、撮影された車輪の操舵角を認識する操舵角認識部と、前記操舵角認識部により認識された操舵角に基づいて、車両の進行経路を推定演算する進路推定部と、前記進路推定部により推定された進行経路を含む支援情報をドライバに提示する情報提示部とを備えるものである。
【発明の効果】
【０００７】
本発明によれば、駐車時の進行経路を予測する上で操舵角を検出するセンサを不要とし、センサ接続によるハーネス及び配線作業のコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の第１形態に係り、駐車支援装置の構成図
【図２】同上、前輪撮影用のサイドカメラを示す説明図
【図３】同上、画像中の前輪位置の推定を示す説明図
【図４】同上、画像中の認識枠を示す説明図
【図５】同上、操舵方向のみを認識する場合の説明図
【図６】同上、予測進路軌跡の表示例を示す説明図
【図７】同上、駐車支援制御処理のフローチャート
【図８】本発明の実施の第２形態に係り、ホイール面積と操舵角との関係を示すルックアップテーブルの説明図
【図９】同上、駐車支援制御処理のフローチャート
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。
本発明の駐車支援装置は、自動車等の車両を駐車させる際に、舵角センサからの信号を必要とすることなく、車載のカメラで少なくとも車輪を含む車両周囲の画像を撮影し、撮影した画像から車両の進行経路を予測し、予測した進行経路をドライバに提示することにより運転支援を行うものである。本実施の形態においては、ステアリングを動かすことにより変化する操舵輪（前輪）の形状から操舵角を認識し、認識した操舵角に基づいて車両の進行経路を予測する。
【００１０】
具体的には、図１に示すように、本実施の形態における駐車支援装置１は、前輪周辺を撮影する撮像部を構成するカメラ２、車両状態を検出する車載センサ３、カメラ２で撮影した画像から前輪の操舵角を推定し、推定した操舵角と車載センサ３からの車両情報とに基づいて自車両の進行経路を予測するコントローラ１０、予測した進行経路に係るガイド情報を画像や音声でドライバに提示する情報提示部としてのガイド情報提示装置２０を主として構成されている。
【００１１】
本実施の形態においては、撮像部を構成するカメラ２として、図２（ａ），図２（ｂ）に示すように、車両前進方向左側のサイドミラー４ａの下部に一体的に設置されているサイドカメラ２ａと、車両前進方向右側のサイドミラー４ｂの下部に一体的に設置されているサイドカメラ２ｂとの２つのカメラを用いている。これらの左右のサイドカメラ２ａ，２ｂは、何れも広角カメラで構成されており、車両側方の車体の一部と前輪とを含む周辺画像を撮影することができる。
【００１２】
尚、カメラ２は、サイドミラー設置型のものに限ることなく、前輪周辺を撮影可能であれば、車両周囲の安全を確認するために設置されている他のカメラを流用することが可能である。
【００１３】
また、車載センサ３は、車速を検出する車速センサ、変速機のシフト位置（ギヤポジションの位置）を検出するシフト位置センサ等の簡単な配線で信号を容易に取得可能なセンサ類である。すなわち、駐車支援装置１は、ハンドルの操舵角を検出する舵角センサを不要として、車輪の画像から操舵角を認識する。
【００１４】
一方、コントローラ１０は、マイクロコンピュータを中心として構成されるユニットであり、画像処理用の各種回路やメモリ、入出力用の周辺回路等を備えている。このようなマイクロコンピュータを中心として構成されるコントローラ１０は、機能的な構成として、カメラ２で撮影した画像を処理して前輪の操舵角を認識する操舵角認識部１１、認識した操舵角に基づいて自車両の進行経路を推定する進路推定部１２、推定した進行経路と自車両の位置を表示する画像や音声等のガイド情報を生成し、ガイド情報提示装置２０に出力するガイド情報生成部１３を備えている。
【００１５】
尚、ガイド情報提示装置２０は、ディスプレイやスピーカを備える専用の装置であっても良いが、例えば、インストルメントパネルのマルチファンクションディスプレイの一部として構成しても良く、また、ナビゲーション装置を備える場合には、ナビゲーション装置のディスプレイやスピーカを利用するようにしても良い。
【００１６】
操舵角認識部１１は、左右のサイドカメラ２ａ，２ｂで撮影した画像から前輪を検出し、ステアリングを動かすことによって変化する前輪の形状から操舵角を認識する。画像中の前輪の位置は、画像に映る車体の特徴的な部分を基準として推定する。これは、操舵角が小さい場合、画像中の前輪形状が小さく、カメラ２の位置や姿勢によっては前輪の位置を検出できない虞があるためであり、車体の特徴的な部分を基準として画像中の前輪の位置を推定することにより、前輪を確実に検出することができる。
【００１７】
車体の特徴的な部分としては、例えば、車体のアンダーライン、ドアの繋ぎ目、フェンダー、ドアノブ、ウィンカランプ等があり、これらの特徴的な部分との位置関係から前輪の位置を推定する。図３は、車体ＢのアンダーラインＬを用いる例を示しており、画像のエッジ検出等によりアンダーラインＬを認識し、このアンダーラインＬとの位置関係から前輪５の位置Ｗ１を推定して操舵角の認識を行う。
【００１８】
この場合、車体を何らかの物体にぶつける等して、走行上支障がない程度であっても車体に軽微な歪が生じてしまった場合には、前輪位置の推定誤差が大きくなり、操舵角の認識処理に悪影響を及ぼす虞がある。このため、画像から前輪の位置を予測した範囲を予め設定しておき、この範囲で認識処理を行う。例えば、図４に示すように、画像中に座標Ｐ(x1,y1)を基点とする認識枠Ｗ２を予め設定しておき、この認識枠Ｗ２内で前輪５を検出して操舵角を推定する。座標と認識枠の大きさは、カメラの位置・姿勢誤差等を考慮して予め設定しておく。
【００１９】
前輪画像からの操舵角の推定は、本実施の形態においては、周知のパターンマッチングの手法を用いて行う。具体的には、コントローラ１０内に、操舵角に応じた前輪の形状又は輪郭のパターンを予め記憶しておき、画像中に映っている前輪と記憶されたパターンとを照合し、一致するパターンから操舵角を求める。
【００２０】
尚、簡易的には、操舵角の認識処理に要する演算量を少なくするため、操舵方向のみ、すなわち画像に映る前輪の形状から左右のどちらに向いているかのみを認識するようにしても良い。具体的には、図５（ａ）に示すようにタイヤ５ａとホイール５ｂとの双方が画像中に映っている場合には、操舵方向は右方向であり、図５（ｂ）に示すようにタイヤ５ａのみが画像中に映っており、ホイール５ｂが映っていない場合には、操舵方向は直進から左方向であると判断することができる。
【００２１】
また、以上の操舵角の認識は、本実施の形態においては、左右のサイドカメラ２ａ，２ｂによる左右の画像について行うが、少なくとも２台以上のカメラを使用することで、何れかのカメラに不具合が発生しても、正常に動作するカメラが１つ以上あれば、正常なカメラの撮影画像から操舵角を認識することができる。
【００２２】
進路推定部１２は、操舵角認識部１１で認識した操舵角を用いて、認識した操舵角が一定（タイヤの切れ角が一定）とした経路、或いは認識した操舵角を接線とする曲線（変曲点が１つの曲線）が描く経路を予測し、ガイド情報生成部１３に出力する。このとき、自車両が前進・後進するかにより進路方向が変わることから、車載センサ３（シフト位置センサ）からのシフト位置に基づいて進路方向を決定する。
【００２３】
ガイド情報生成部１３は、予測された経路を中心として自車両の幅に基づく所定間隔のラインを予測進路軌跡のガイドラインとして設定し、このガイドラインを表示する画像信号を生成する。ガイドラインの画像信号は、ガイド情報提示装置２０に出力され、例えば図６に例示するように、ディスプレイに自車両Ｃの進行経路を推定したガイドラインＧＬが描画される。このとき、適宜、スピーカを介した音声ガイドを出力するようにしても良い。
【００２４】
尚、自車両周囲を撮影する複数のカメラを搭載している場合には、各カメラからの画像を用いて自車上方の仮想視点から見下ろした俯瞰画像を生成し、この俯瞰画像に、自車位置を示す自車両図形、自車両の駐車目標となる駐車目標位置、予測進路軌跡のガイドラインを重ね合わせるようにしても良い。また、予測進路軌跡のガイドラインを描画せずに、左右のどちらに進むかを表示する矢印（図６参照）等を表示するのみとしても良い。
【００２５】
次に、コントローラ１０で実行される駐車支援制御のプログラム処理について、図７のフローチャートを用いて説明する。尚、この駐車支援制御のプログラムは、例えば、車速が設定値以下でシフト位置が後退位置にセットされたときに起動される。
【００２６】
先ず、最初のステップＳ１において左右のカメラ２ａ，２ｂより画像を取得し、ステップＳ２で画像の２値化等の前処理を行う。次に、ステップＳ３へ進み、２値化した画像より前輪を検出し、ステップＳ４で、画像中の前輪の形状（或いは輪郭）と、予めシステム内に記憶されている前輪のパターンとを照合する処理を行う。このパターン照合で一致するパターンがないときには、ステップＳ１へ戻って次のフレームの画像を取得し、同様の処理を行う。パターンが一致したときには、ステップＳ４からステップＳ５へ進み、パターン照合結果に基づいて操舵角を算出する。
【００２７】
その後、ステップＳ６へ進み、操舵角に基づいて自車両の進行経路を推定すると、ステップＳ７で予測進路軌跡のガイドラインを生成し、ガイド情報提示装置２０のディスプレイにガイドラインの画像を表示する。そして、ステップＳ８で、パーキングブレーキ信号等から駐車が完了したか否かを調べ、駐車が完了していないときには、ステップＳ１へ戻って前輪画像から操舵角を検出して進行経路を推定する処理を繰り返し、駐車が完了したとき、本制御を終了する。
【００２８】
このように本実施の形態においては、舵角センサからの信号を用いることなく、前輪を撮影した画像から操舵角を認識し、認識した操舵角に基づいて自車両の進行経路を推定する。これにより、舵角センサを駐車支援装置１に接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができる。
【００２９】
次に、本発明の実施の第２形態について説明する。
【００３０】
第２形態は、画像中の車輪をタイヤとホイールとに区別し、ホイールの情報から操舵角を認識するものである。すなわち、画像中に映る車輪を検出する場合、タイヤに比較してエッジを捉えやすいホイールを検出対象とすることで、より正確に操舵角を認識することが可能となる。
【００３１】
具体的には、以下の（ａ），（ｂ）に説明するように、画像内のホイールの角の座標や面積等の情報を取得し、取得した情報に基づいて操舵角を認識する。
【００３２】
（ａ）ホイールの角の座標情報に基づく操舵角の認識
撮影画像を２値化し、２値化した画像からホイールの角を検出して座標情報を取得する。ホイールの角の位置は、カメラの位置・姿勢によって変化するため、車体の特徴的な部分の座標を基準としてホイールの角の座標を検出し、検出時の座標情報から操舵角を求める。
【００３３】
（ｂ）ホイールの面積に基づく操舵角の認識
撮影画像を２値化してタイヤとホイールとを区別し、タイヤに囲まれたホイール部分のピクセル数を数え、このピクセル数をホイールの面積とする。コントローラ１０内には、予めホイールの面積と操舵角との関係をテーブル化したルックアップテーブルを記憶しておき、このルックアップテーブルを画像から取得したホイールの面積（ピクセル数）で参照することにより、操舵角を求める。
【００３４】
ルックアップテーブルは、カメラの各種パラメータや車体との位置関係を考慮し、画像中のホイール面積（ピクセル数）に対応する操舵角を、予め実測或いはシミュレーションにより求めて作成する。図８は、このようなルックアップテーブルの特性例を示すものであり、代表的なデータ点を離散的に示している。このルックアップテーブルの特性から、ホイール面積（ピクセル数）が大きくなるにつれて操舵角が所定の関係を持って大きくなることがわかる。
【００３５】
尚、ルックアップテーブルは、装着されるタイヤのサイズに依存するため、許容されるタイヤのサイズ毎にルックアップテーブルを保有することが望ましい。
【００３６】
次に、ホイール面積に基づく操舵角を用いた駐車支援制御のプログラム処理について、図９のフローチャートを用いて説明する。
【００３７】
このプログラム処理では、先ず、ステップＳ１１において、左右のカメラ２ａ，２ｂより画像を取得し、ステップＳ２で画像の２値化等の前処理を行う。次に、ステップＳ１３へ進み、２値化した画像より前輪のホイールを検出できるか否かを調べる。
【００３８】
その結果、操舵角が小さく、画像中にホイールが映らないような場合には、ステップＳ１３からステップＳ１１へ戻って次のフレームの画像を取得し、同様の処理を行う。２値化画像からホイールを検出できた場合には、ステップＳ１３からステップＳ１４へ進み、ホイールとして検出した領域のピクセル数を数え、ホイール面積として算出する。
【００３９】
次に、ステップＳ１５へ進み、ステップＳ１４で求めたホイール面積でシステム内に記憶されているルックアップテーブルを照合する。このルックアップテーブルの照合が不成功の場合には、最初のステップＳ１１へ戻り、照合が成功したとき、ステップＳ１５からステップＳ１６へ進んで照合結果より操舵角を算出する。
【００４０】
その後、ステップＳ１７へ進んで操舵角に基づいて自車両の進行経路を推定し、ステップＳ１８で予測進路軌跡のガイドラインを生成し、生成したガイドラインの画像をガイド情報提示装置２０のディスプレイに表示する。そして、ステップＳ１９で、パーキングブレーキ信号等から駐車が完了したか否かを調べ、駐車が完了していないときには、ステップＳ１１へ戻って前輪のホイール画像から操舵角を検出して進行経路を推定する処理を繰り返し、駐車が完了したとき、本制御を終了する。
【００４１】
第２形態においても、第１形態と同様、舵角センサを駐車支援装置１に接続するためのハーネスと配線作業に要するコストを削減しつつ、駐車時のドライバの運転操作を支援することができるが、第２形態では、エッジが鮮明なホイールを検出対象とするため、より正確に操舵角を認識することが可能となる。
【符号の説明】
【００４２】
１ 駐車支援装置
２ カメラ
５ 前輪
５ａ タイヤ
５ｂ ホイール
１０ コントローラ
１１ 操舵角認識部
１２ 進路推定部
１３ ガイド情報生成部
２０ ガイド情報提示装置
【特許請求の範囲】
【請求項１】
車両を駐車させる際のドライバの運転操作を支援する駐車支援装置において、
少なくとも車輪を含む車両周囲の画像を撮影する撮像部と、
前記撮像部により撮影された画像から車輪を抽出し、ステアリング操作によって変化する画像上の車輪と操舵角との関係に基づいて、撮影された車輪の操舵角を認識する操舵角認識部と、
前記操舵角認識部により認識された操舵角に基づいて、車両の進行経路を推定演算する進路推定部と、
前記進路推定部により推定された進行経路を含む支援情報をドライバに提示する情報提示部と
を備えることを特徴とする駐車支援装置。
【請求項２】
前記操舵角認識部は、画像中の車体の特定部分を基準として車輪の位置を推定することにより、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項３】
前記操舵角認識部は、画像中に予め設定した認識枠内で前輪を検出し、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項４】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中の車輪の形状から、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項５】
前記操舵角認識部は、画像中の車輪のタイヤとホイールとを区別し、区別したホイールの画像情報に基づいて、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項６】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中のホイールの面積から操舵角を認識することを特徴とする請求項５記載の駐車支援装置。
【請求項７】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中のホイールの角の座標値から操舵角を認識することを特徴とする請求項５記載の駐車支援装置。
【請求項８】
前記操舵角認識部は、画像中の車輪の形状から操舵方向のみを認識することを特徴とする請求項１記載の駐車支援装置。
【請求項９】
前記撮像部を少なくとも２台以上のカメラで構成し、何れかのカメラに不具合が発生したときには、正常に動作するカメラで撮影した画像から操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項１】
車両を駐車させる際のドライバの運転操作を支援する駐車支援装置において、
少なくとも車輪を含む車両周囲の画像を撮影する撮像部と、
前記撮像部により撮影された画像から車輪を抽出し、ステアリング操作によって変化する画像上の車輪と操舵角との関係に基づいて、撮影された車輪の操舵角を認識する操舵角認識部と、
前記操舵角認識部により認識された操舵角に基づいて、車両の進行経路を推定演算する進路推定部と、
前記進路推定部により推定された進行経路を含む支援情報をドライバに提示する情報提示部と
を備えることを特徴とする駐車支援装置。
【請求項２】
前記操舵角認識部は、画像中の車体の特定部分を基準として車輪の位置を推定することにより、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項３】
前記操舵角認識部は、画像中に予め設定した認識枠内で前輪を検出し、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項４】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中の車輪の形状から、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項５】
前記操舵角認識部は、画像中の車輪のタイヤとホイールとを区別し、区別したホイールの画像情報に基づいて、操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【請求項６】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中のホイールの面積から操舵角を認識することを特徴とする請求項５記載の駐車支援装置。
【請求項７】
前記操舵角認識部は、ステアリング操作に伴って変化する画像中のホイールの角の座標値から操舵角を認識することを特徴とする請求項５記載の駐車支援装置。
【請求項８】
前記操舵角認識部は、画像中の車輪の形状から操舵方向のみを認識することを特徴とする請求項１記載の駐車支援装置。
【請求項９】
前記撮像部を少なくとも２台以上のカメラで構成し、何れかのカメラに不具合が発生したときには、正常に動作するカメラで撮影した画像から操舵角を認識することを特徴とする請求項１記載の駐車支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１７６６５６（Ｐ２０１２−１７６６５６Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４０１０５（Ｐ２０１１−４０１０５）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]