説明

駐車支援装置

【課題】駐車操作が完了したことを認識し、駐車が完了したときにその旨をドライバーに報知することができる「駐車支援装置」を提供すること。
【解決手段】車両及び車両周囲の画像を車両の直上からの視点で表す画像(俯瞰画像)で表示する駐車支援装置において、表示される画像データから駐車枠を検出し、自車両と駐車枠との角度を算出する(ステップS40)。そして、自車両の画像及び検出された駐車枠に基づいて自車両と駐車枠との相対位置を算出する(ステップS80)。自車両が前記駐車枠内に入り、かつ、自車両と前記駐車枠との角度が所定角度以内であるか判断し(ステップS70、S90)、かかる条件を満たしたときに駐車完了信号を出力する(ステップS100)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車場や車庫等において運転者の駐車支援を行う技術に関し、更に詳しくは、車両とその周辺の画像とを合成して表示する機能を備えた駐車支援装置に関する。
【背景技術】
【0002】
近年、ドライバーの駐車等の運転操作を支援する駐車支援装置が普及してきている。この駐車支援装置には、車両の後方に広角カメラを取付け、広角カメラからの画像を運転席の近くに設けられた表示装置に表示するものがある。しかし、広角カメラからの画像をそのまま表示する駐車支援装置では、車両周辺の画像が歪んで表示されるため、車両と駐車枠との角度や障害物までの距離感が把握しにくいという問題があった。
【0003】
そこで、広角カメラからの画像データを画像処理して、広角カメラの撮影地点と異なる視点から撮影したように車両周辺の画像を表示(以下、俯瞰画像表示ともいう)する視点変換技術が知られている(特許文献1)。
【特許文献1】特許第3286306号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
図1は従来の俯瞰画像表示を行う駐車支援装置の問題点を示す図である。図1(a)に示すように、視点変換技術を適用して俯瞰画像表示する駐車支援装置によれば、自車両2及びその周辺を上空から見下ろしたような映像で歪み無く画面1に表示されるので、ドライバーは車両2とその周辺との間隔を正確に把握することができ、初心者のドライバーでも容易に駐車や幅寄せなどの運転操作を行うことができる。
【0005】
しかし、俯瞰画像表示する駐車支援装置では、歪み無く自車両の周辺が表示されることで、かえってドライバーが駐車完了したか否か認識しにくくなることがある。例えば、図1(b)に示すように、自車両2が駐車枠の境界線4に対して少しでも傾いていると、自車両2と境界線4との傾きが目立ってしまう。このため、ドライバーは駐車が完了したとの判断がつきにくくなってしまう。ちなみに、本願発明者が行った被験者テストにおいては、多くのドライバーが車両と駐車枠との間に僅かな傾きがある場合に駐車完了したか否かを画面上から認識できず、画面を見ながら車両の切返し操作を何度も繰り返してしまうといった結果が出ている。
【0006】
本発明は、かかる課題に鑑みてなされたものであり、駐車操作が完了したことを認識し、駐車が完了したときに、その旨をドライバーに報知することができる駐車支援装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明によれば、画面を通じて情報を提供する情報提供手段と、自車両の一部を含めて車輌周囲の画像を継続的に取得する撮像手段と、前記自車両の画像データを予め格納すると共に、前記撮像手段により取得された画像データを格納する記憶手段と、前記記憶手段に格納されているデータから車両周囲の画像を車両の直上からの視点で表す画像に変換すると共に、その変換後の画像に自車両の画像を合成して車両及びその周辺を直上からの視点で表す画像を生成する画像処理手段と、前記駐車枠を検出する駐車枠検出手段と、自車両と前記駐車枠との角度を算出する車両角度算出手段と、前記自車両の画像データと検出された駐車枠のデータとに基づいて自車両と駐車枠との相対位置を算出する駐車位置検出手段と、自車両が前記駐車枠内に入り、かつ、自車両と前記駐車枠との角度が所定角度以内にあると判定したときに駐車完了信号を前記情報提供手段に出力する制御手段とを備えたことを特徴とする駐車支援装置が提供される。
【0008】
本発明によれば、自車両と駐車枠との相対角度及び相対位置を検出し、これに基づいて自車両が駐車枠の中に入り、かつ、駐車枠と所定の角度以内となった場合に、駐車が完了した旨が表示画面上や音声によって報知される。これにより、ドライバーは自車両の駐車運転操作が完了したことを知ることができ、これ以上切り返しなどの微調整を行う必要が無いと判断することができる。
【0009】
本発明の駐車支援装置において、さらに音声処理手段を設け、駐車完了情報を音声により報知することもできる。これにより運転者に対して確実に駐車完了した旨を知らせることができる。
【0010】
また、本発明の駐車支援装置において、駐車完了判定の基準となる所定角度は、運転者が操作入力手段によって変更可能としてもよい。この場合には、運転者が自分の運転技術や好みに合わせた駐車完了判定基準を作成することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態について、添付の図面を参照して説明する。
【0012】
図2は本発明の実施形態に係る駐車支援装置のブロック図である。また、図3は本発明の実施形態に係る駐車支援装置のカメラの配置位置及び撮影範囲を示す図である。
【0013】
図2に示すように、駐車支援装置10は、カメラ11a〜11d、A/D変換部12、画像メモリ13、車両画像メモリ14、ディスプレイ15、スピーカ16、画像処理部20、制御部30、各種検出部31〜35、操作入力部36、及び音声合成部37とを有している。
【0014】
駐車支援装置10は、一又は複数のカメラを備える。以下、図3に示すように、前部カメラ11a、後部カメラ11b、右側部カメラ11d、左側部カメラ11cの4台のカメラを備える例に基づいて説明する。各カメラ11a〜11dは、魚眼レンズを用いた広角カメラであり、それぞれ車両の前後左右に斜め下方向くように位置決めされている。図3の破線に示すようにカメラ11a〜11dは協働して自車両の全周囲(車両周囲)を撮影できるように配置されている。これにより、自車両周囲の俯瞰画像をリアルタイムで提供することができる。
【0015】
各カメラ11a〜11dによって撮影された画像は、A/D変換部12によってデジタルの画像データに変換される。撮影画像メモリ13及び車両画像メモリ14は、その記憶媒体として、例えばHDD(Hard disk drive;ハード・ディスク装置)や半導体メモリ装置を使用することができる。撮影画像メモリ13(HDD内の記憶領域の一部に形成される)には、制御部30からの制御に基づいて、各車載カメラ11a〜11dで継続的に撮影して得られた画像(自車両の前方、後方、左方、及び右方の周囲の画像)のデータが逐次格納される。また、画像メモリ13には、後述する視点変換部21により作成された各カメラ毎に作成される視点変換画像データ及び、周辺画像作成部22により作成される周辺画像データが格納される。車両画像メモリ14(HDD等の記憶領域の一部に形成される。)には、俯瞰画像表示に用いられる視点から撮影した自車両の画像についてのデータ(以下、自車画像データともいう。)が格納される。
【0016】
画像処理部20は、視点変換部21、周辺画像作成部22、画像合成部23、駐車枠検出部24、自車位置検出部25、及び駐車角検出部26とを備える。画像処理部20は、カメラ11a〜11dによって撮影された画像を処理して、自車両及びその周囲を、カメラとは異なる視点(例えば、上空から見下ろした視点)で表した画像データ(便宜上、「俯瞰画像データ」ともいう)を作成してディスプレイ15に出力する。また、本発明に係る機能として、俯瞰画像データに基づいて、駐車枠を検出し、駐車枠と自車両の相対位置及び相対角度を算出する。
【0017】
視点変換部21は、各カメラ11a〜11dで撮影された各方向(前方、後方、左方及び右方)に対応する画像データを画像メモリ13から取得し、俯瞰画像表示に用いられる視点によって定まる所定の計算式に基づいて、画素座標の変換を行う。これにより、視点変換部21は、カメラの撮影地点と異なる視点から撮影したような視点変換画像データを作成する。すなわち、上述の例では4台の車載カメラを使用するため、各カメラ11a〜11dに対応した4つの視点変換画像データが作成される。作成された視点変換画像データは画像メモリ13に逐次格納される。
【0018】
周辺画像作成部22は、画像メモリ13を参照して視点変換画像データを取得し、これらの視点変換画像データを結合して自車両の全周にわたる画像データ(便宜上、「周辺画像データ」ともいう。)を作成する。作成された周辺画像データは画像メモリ13に逐次格納される。画像合成部23は、画像メモリ13と車両画像メモリ14とを参照して、周辺画像データに自車画像のデータを合成して俯瞰画像データを作成する。
【0019】
駐車枠検出部24は、俯瞰画像データにもとづいて、駐車枠の境界線(白線の他、縁石、車止め、ガードレール、周辺車両等の障害物を含む)を検出する。そして、検出された境界線及びステアリング情報等に基づいて、自車両が駐車される可能性の高い駐車枠(以下、単に駐車枠という)を検出する。駐車枠の境界線の検出は、例えば、俯瞰画像データの中から、明度が急変するエッジを検出することにより行うことができる。上述の例では、駐車枠の検出を俯瞰画像データに基づいて行っているが、本実施形態はこれに限られず、周辺画像データ又は視点変換データに基づいて行っても良い。また障害物の検出には、画像データと共にソナーやレーダ等の障害物検出センサからのデータを併用してもよい。
【0020】
自車位置検出部25は、俯瞰画像データに基づいて、自車両と駐車枠との相対位置及び駐車枠と自車両の角度を検出する。ここで、自車両と駐車枠との角度とは、自車両の進行方向の中心軸と駐車完了時に自車両の右(又は左)側面に対向することとなる駐車枠の境界線との相対角度をいう。自車両と駐車枠との相対位置に関するデータ及び自車両と駐車枠との角度に関するデータは制御部30に送出される。尚、自車両と駐車枠との相対位置並びに角度の検出は周辺画像データに基づいて行っても良い。
【0021】
ディスプレイ装置15は、例えば、LCD(液晶ディスプレイ)等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置15の表示画面には、この表示画面には、ナビゲーションに係る案内情報(自車の現在位置周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等)も表示される。本発明に関連する情報として、画像合成部23で合成された画像(俯瞰画像)が表示される。そして、駐車支援装置10において、駐車が完了したと判断された場合には、その旨の情報がディスプレイ装置15の表示画面に表示される。
【0022】
制御部30は、例えば、マイクロコンピュータ等により構成され、駐車支援装置10の各種機能を制御する。制御部30は、各種検出部31〜35及び操作入力部36からのデータに基づいて、駐車支援装置10の起動又は停止のトリガとしての機能を有する。例えば、シフトレンジが後進に入った場合又は操作入力部36から駐車支援装置10を起動する旨の入力があった場合には制御部30は駐車支援装置10を起動する。また、制御部30は周辺画像作成部22に対してステアリング情報、車速情報、及び角度情報等を送出し、周辺画像作成部22に対し、カメラ11a〜11dの死角部分についての周辺画像データの更新を行わせる。また、制御部30は画像処理部20から駐車枠と自車両との相対位置及び相対角が所定の範囲内にあるか否かに関するデータを取得し、駐車が完了したと判定した場合には、画像処理部20及び音声合成部40に駐車完了情報を送出する。音声合成部40は、制御部30からの駐車完了情報にもとづいて、駐車完了情報を音声としてスピーカ16から出力させる。
【0023】
操作入力部33は、ユーザ(ドライバーを含む)が指示した情報を入力するためのものであり、本発明に関連する入力指示として「駐車支援装置の起動」の指示を与えることができる。また、制御部30の駐車完了判定基準に関する情報を、操作入力部33からの入力指示によって変更することができる。例えば、駐車完了判定基準としての自車両と駐車枠との角度を、ユーザがサンプル画面を見ながら決定を行い、あるいは角度の数値を直接入力することができる。このように、本実施形態の駐車支援装置10では、駐車完了判定の基準となる所定角度は、運転者が操作入力手段によって変更可能である。これにより、運転者が自分の運転技術や好みに合わせた駐車完了判定基準を作成することができる。
【0024】
シフトレンジ検出部31は、自車両のシフトレンジを検出し、制御部30にシフトレンジ情報を送出する。本発明に関連する情報としては、シフトレンジが後進(バック)に入った場合にはその旨の情報を制御部30に送出し、制御部30はこの情報に基づいて駐車支援装置10を起動する。GPS(Global Positioning System)検出部35は、自車両の現在位置情報を制御部30に送出する。GPS検出部35からの現在位置情報はナビゲーション機能の提供に用いられる。尚、駐車支援装置10は、予め登録された地域(例えばサービスエリアや駐車場等)に到着した場合に自動的に起動するようにしてもよく、この場合には、GPS検出部35からの現在位置情報にもとづいて駐車支援装置10の起動判断が行われる。
【0025】
ステアリング検出部32は、ステアリング(操舵)情報を検出し制御部30に送出する。車速検出部33は、例えばホイールに取り付けられたセンサにより自車両の車速を検出し、これを制御部30に送出する。ジャイロ検出部34は自車両の加速度情報を取得し、これに基づいて自車両の動きベクトルのデータを制御部30に送出する。ステアリング情報、車速情報、及び自車両の動きベクトルデータは、駐車枠検出部24において自車両が駐車する可能性の高い駐車枠の検出のためのデータとして、また、これらのデータは周辺画像作成部22においてカメラ11a〜11dの死角を補完する補完画像データ作成のために用いられる。
【0026】
以上のように構成された駐車支援装置10において、各カメラ11a、11b、11c、11dは「撮像手段」に、ディスプレイ装置15は「表示手段」に、画像メモリ12及び車両画像メモリ13は「記憶手段」に、視点変換部21、周辺画像作成部22、及び画像合成部23は「画像処理手段」に、駐車枠検出部24は「駐車枠検出手段」に、駐車角検出部26は「駐車角度算出手段」に、駐車位置検出部25は「駐車位置検出手段」に、制御部30は「制御手段」にそれぞれ対応する。
【0027】
以下、駐車支援装置10の動作について説明する。
【0028】
図4は、本発明の実施形態に係る駐車支援装置が実行する制御処理の一例を示すフロー図である。図5は、駐車支援装置の制御処理における画像更新処理の一例を示すフロー図である。
【0029】
駐車支援装置10は、まず駐車支援装置10の起動判断(駐車支援装置10が既に起動している場合には、俯瞰画像の更新の判断)を行う(ステップS10及びS20)。まず、シフトレバーが後進か否かを判定し(ステップS10)、シフトチェンジによりシフトレバーが後進に入った場合(YES)には、俯瞰表示の画像更新処理を行う(ステップS30)に移行する。シフトレバーが後進でない場合(NO)には、操作入力部36から俯瞰表示をする旨の操作指示があったか否かを判断する(ステップS20)。駐車支援装置を起動する旨の指示があった場合(YES)には、画像更新処理(ステップS30)に移行し、駐車支援装置を起動する旨の操作指示がない場合(NO)には、起動判断を終了する。尚、俯瞰表示の起動・更新判断の順序は図示の例に限られず、逆であっても良い。また、図示の判断の他に、GPS検出部35からの現在位置情報に基づいて、予め設定された地域に入ったことを判断する処理を加えてもよい。この場合には、自車両が例えば予め設定された地域としての駐車場に入った場合に自動的に俯瞰画像表示を起動する。
【0030】
次に、カメラ11a〜11dからの画像データを取得し、画像処理を行った後ディスプレイ装置15に表示する画像更新処理を行う(ステップS30)。
【0031】
画像更新処理について、図5に沿って更に説明する。画像更新処理では、最初に画像取得処理が行われる(ステップS31)。画像取得処理では、画像処理部20が画像メモリ13を参照して、各カメラ11a〜11dによって撮影された画像データを取得する。その後、画像データについて視点変換処理が行われる(ステップS32)。視点変換処理では、視点変換部21が広角カメラで撮影された画像データから、画素座標を取得し、これを所定の数式にもとづいて画素座標を変換することにより、所定の視点(例えば真上から自車両を見下ろすような視点)で表す視点変換画像データを作成する。
【0032】
その後、周辺画像作成処理を行う(ステップS33)。周辺画像作成処理では、周辺画像作成部22によりカメラ11a〜11d毎に作成された4つの視点変換画像データを合成して自車両周辺の画像データ(周辺画像データ)を作成する。また、周辺画像作成処理は各カメラ11a〜11dの死角に入った部分について、過去の周辺画像データ、自車両の方向、及び移動量等の情報を基に補完データを作成し、これを視点変換画像データと合成して周辺画像データを作成する。その後、自車画像合成処理を行う(ステップS34)。自車画像合成処理では、画像合成部23が車両画像メモリ14を参照して自車画像データを取り込み、上述の周辺画像データ上に自車画像を合成する。以上の処理(ステップS31〜S34)により、俯瞰画像データが作成される。その後、作成された俯瞰画像データにもとづいてディスプレイ装置15に表示される画像を更新する画像表示処理(ステップS35)を行い、画像更新処理を終了する。画像更新処理の終了後は、駐車完了判定処理(ステップS40〜S90)に移行する。
【0033】
図4に戻って、駐車完了判定の処理(ステップS40〜S90)について説明する。
駐車完了判定処理では、先ず、俯瞰画像データに基づいて駐車枠を検出する処理が行われる(ステップS40)。駐車枠を検出する処理は、駐車枠検出部24が、俯瞰画像データに基づいて、駐車枠の境界線を検出し、ステアリングデータやジャイロセンサ等のデータをもとに自車両が駐車される可能性の高い駐車枠を検出する。次に、駐車枠が検出されたかを判断し(ステップS50)、駐車枠が検出された場合(YES)は次の処理(ステップS70)に移行する。駐車枠が検出されない場合(NO)は、ステップS110に移行し、起動・更新判定処理を経て画像更新処理(ステップS30)を続ける。
【0034】
次に、俯瞰画像データに基づいて、駐車枠と自車両との相対角を算出する処理(駐車角検出処理)が行われる(ステップS60)。駐車枠の境界線のなかで、駐車完了時に自車両の右(又は左)側面と対向することとなる境界線と、自車両の進行方向に伸びる中心線との相対角度を算出する。
【0035】
次に、駐車枠と自車両との相対角が所定の範囲(例えば5°)以内か否かを判断する処理が行われる(ステップS70)。所定の角度以内ではないと判断された場合(NO)には、ステップS110に移行する。駐車枠と自車両との相対角が所定の範囲内である場合(YES)には、駐車枠と自車両の相対位置を算出する処理(ステップS80)に移行する。駐車枠と自車との相対位置を算出する処理(ステップS80)は、例えば、俯瞰画像データの自車画像部分から特徴点(例えば、自車画像の角部等)を検出する。そして、この特徴点の座標と検出された駐車枠との座標から、自車両と駐車枠との相対位置を検出する。
【0036】
次に、自車両が駐車枠内に入ったか否かを判断する(ステップS90)。例えば、俯瞰画像データに基づいて、自車画像の全ての特徴点の座標が駐車枠の境界線で囲まれる領域内に入った場合に自車両が駐車枠内に入ったと判断することができる。自車両が駐車枠内に入ったと判断された場合(YES)には、駐車完了報知処理(ステップS100)に移行する。駐車枠内に入っていないと判断された場合(NO)には、駐車完了報知処理を行わずに、ステップS110に移行する。
【0037】
次に、駐車完了報知処理(ステップ100)が行われる。駐車完了報知処理では、制御部30が画像処理部20及び音声合成部40に対して駐車完了情報を送出する。この駐車完了情報にもとづいてディスプレイ装置15及びスピーカ16から駐車完了した旨の報知が行われる。
【0038】
次に、エンジンがOFFとなったか否かを判断する(ステップS110)。エンジンがOFFとなった場合には(YES)、駐車支援装置10の動作を終了する。エンジンがOFFではない場合には(NO)、ステップS10に戻り、駐車支援装置10の処理を最初から繰り返す。
【0039】
図6は、本発明の実施形態に係る駐車支援装置の駐車完了情報の報知態様の一例を示す図である。上述したように、駐車支援装置10において、駐車が完了したか否かを認識し、駐車が完了したと判断した場合にはディスプレイ装置15の表示画面上に駐車完了情報が表示される。この駐車完了情報の表示態様としては、例えば、図6に示すように、表示画面上で自車両の画像の周辺を相対的に目立つ色(例えば周囲の画素と異なる色)の枠で囲う。また、自車両が入っている駐車枠の境界線上を相対的に目立つ色の枠を合成して表示することにより報知しても良い。その他、文字情報、アイコンなどを表示して報知してもよい。さらに、ディスプレイ装置15での駐車完了情報の報知と同時にスピーカ16から駐車完了情報を報知が行われる。音声情報としては、例えばビープ音の他、言語による報知を行うことができる。以上のような駐車完了の報知により、ドライバーは駐車が完了した旨の客観的な判断情報を得ることができ、俯瞰画像のみから駐車が完了したか否かを判断するよりも容易に駐車が完了した旨を知ることができる。
【0040】
これにより、ドライバーは無駄な切返しを繰り返さずに済み、素早く駐車を完了することができる。さらに音声により駐車完了が報知した場合には、運転者対してより確実に駐車完了した旨を知らせることができる。
【図面の簡単な説明】
【0041】
【図1】図1(a)、(b)は従来の俯瞰画像表示を行う駐車支援装置の問題点を示す模式図である。
【図2】図2は、本発明の一実施形態に係る駐車支援装置の構成を示すブロック図である。
【図3】図3は、本発明の一実施形態に係る駐車支援装置の各カメラの配置位置及び撮影範囲を示す図である。
【図4】図4は、本発明の一実施形態に係る駐車支援装置の動作の一例を示すフロー図である。
【図5】図5は、本発明の一実施形態に係る駐車支援装置における画像更新処理の一例を示すフロー図である。
【図6】図6は、本発明の一実施形態に係る駐車支援装置における駐車完了情報の報知態様の一例を示す図である。
【符号の説明】
【0042】
10…駐車支援装置、11a、11b、11c、11d…カメラ、13…画像メモリ、14…車両画像メモリ、15…ディスプレイ装置、16…スピーカ、20…画像処理部、30…制御部、31〜35…各種検出部、36…操作入力部、40…音声合成部、I1…駐車完了情報。

【特許請求の範囲】
【請求項1】
画面を通じて情報を提供する情報提供手段と、
自車両の一部を含めて車輌周囲の画像を継続的に取得する撮像手段と、
前記自車両の画像データを予め格納すると共に、前記撮像手段により取得された画像データを格納する記憶手段と、
前記記憶手段に格納されているデータから車両周囲の画像を車両の直上からの視点で表す画像に変換すると共に、その変換後の画像に自車両の画像を合成して車両及びその周辺を直上からの視点で表す画像を生成する画像処理手段と、
前記駐車枠を検出する駐車枠検出手段と、
自車両と前記駐車枠との角度を算出する車両角度算出手段と、
前記自車両の画像データと検出された駐車枠のデータとに基づいて自車両と駐車枠との相対位置を算出する駐車位置検出手段と、
自車両が前記駐車枠内に入り、かつ、自車両と前記駐車枠との角度が所定角度以内にあると判定したときに駐車完了信号を前記情報提供手段に出力する制御手段とを備えたことを特徴とする駐車支援装置。
【請求項2】
前記駐車枠検出手段は、前記画像処理手段により生成された画像データをもとに、駐車枠を検出することを特徴とする請求項1に記載された駐車支援装置。
【請求項3】
前記情報提供は、前記制御手段からの駐車完了信号にもとづいて、駐車完了した旨を表示装置の画面上に表示することを特徴とする請求項1に記載された駐車支援装置。
【請求項4】
更に、前記駐車完了信号にもとづいて、駐車が完了した旨を音声で報知する音声処理手段を備えたことを特徴とする請求項1に記載された駐車支援装置。
【請求項5】
更に、前記所定角度を設定可能な操作入力手段を備えたことを特徴とする請求項1に記載された駐車支援装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−279875(P2008−279875A)
【公開日】平成20年11月20日(2008.11.20)
【国際特許分類】
【出願番号】特願2007−125220(P2007−125220)
【出願日】平成19年5月10日(2007.5.10)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】