駐車支援方法及び駐車支援装置
【課題】 車両の後方又は前方と、車両周辺の障害物との相対距離が把握しやすい画像を表示することができる駐車支援方法及び駐車支援装置を提供する。
【解決手段】 ナビゲーション装置1は、位置を特定するための制御部3及びGPS受信部7と、リヤバンパーの一部と車両後方とを撮像するカメラ25から、画像データを取得する画像データ取得部10と、画像データを、その画像データを撮像した位置と関連付けて記録画像データとして格納する画像メモリ15とを備える。さらに、記録画像データにの位置データに基づいて、少なくとも現在位置のリヤバンパー隅部を含む領域を撮像した記録画像データを読み出し、新たに取得した画像データに基づく現在画像と、読出した記録画像データに基づく過去画像とをディスプレイ6に出力する描画処理部18を備える。
【解決手段】 ナビゲーション装置1は、位置を特定するための制御部3及びGPS受信部7と、リヤバンパーの一部と車両後方とを撮像するカメラ25から、画像データを取得する画像データ取得部10と、画像データを、その画像データを撮像した位置と関連付けて記録画像データとして格納する画像メモリ15とを備える。さらに、記録画像データにの位置データに基づいて、少なくとも現在位置のリヤバンパー隅部を含む領域を撮像した記録画像データを読み出し、新たに取得した画像データに基づく現在画像と、読出した記録画像データに基づく過去画像とをディスプレイ6に出力する描画処理部18を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車支援方法及び駐車支援装置に関する。
【背景技術】
【0002】
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データを運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この画像データに基づく画面は、例えば、図19に示すような後方撮像画面100であって、リヤバンパー等の車両後端を撮像した後端画像101と、車両後方の数メートル分を撮像した背景画像102とが表示されている。背景画像102には、車幅を延長した車幅延長線103や、舵角に応じた予想軌跡線104が重ねて描画されている。また、後端画像101は、リヤバンパーの中央部のみの画像であって、リヤバンパーの隅部はカメラの死角領域となっている。このため、リヤバンパー隅部周辺に障害物があっても、その障害物とリヤバンパー隅部との相対距離を把握し難い問題がある。
【0003】
この問題点に対し、車両の移動軌跡の各地点で車載カメラから取得した画像データを、メモリに蓄積し、過去に撮像された画像データを用いた合成画像を表示する装置も提案されている(特許文献1参照)。この装置では、運転席よりも後方に設けられた車載カメラから、画像データを取得する。そして、車両が後退を始めた際に、蓄積した画像データの中から、現在の車両の運転席に相当する地点で撮像した画像データを読出し、その画像データと現在の画像データとを合成する。また、運転席の位置に設定された視点から見たときに、車両の後方ボデー、座席等にあたる領域に、メモリに蓄積した画像データを合成し、その画像に車体の輪郭線を描画する。これにより、運転席の位置に仮想視点を設定し、後方ボデー等の領域に外部背景が表示された画像が、ディスプレイに表示される。
【特許文献1】特開2003−244688号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記のように運転席に仮想視点を設定した画像を表示すると、あたかも運転席から車両後方を見たような画像を表示することはできるが、車体の輪郭線と障害物とが重ねて表示されるため、車両の後端から障害物までの距離を把握し難い。このため、合成画像により、カメラの死角領域にある障害物の有無を判断できても、障害物との衝突を回避しながら目標領域に駐車するための支援はできなかった。
【0005】
一方、車載カメラに、さらに画角を大きくした広角レンズを用いて、リヤバンパー(車両後端)全域を画面に含めようと試みると、レンズの収差により、画像の周辺部が大きく歪む。その結果、障害物との相対距離が解り難く、しかも運転者が直感的に理解しにくい画面が表示されてしまう。
【0006】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、車両の後方又は前方と、車両周辺の障害物との相対距離が把握しやすい画像を表示することができる駐車支援方法及び駐車支援装置を提供することにある。
【課題を解決するための手段】
【0007】
上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記
憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記画像データ取得手段が取得した前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして前記画像データ記憶手段に格納し、前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出し、前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示するとともに、現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の一部と連続させて、前記過去画像上に描画することを要旨とする。
【0008】
請求項2に記載の発明は、車両に設けられた駐車支援装置において、前記車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして格納する画像データ記憶手段と、前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出す読出手段と、前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、表示手段に表示する画像出力手段と、現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の画像と連続させて、前記過去画像上に描画する指標描画手段とを備えることを要旨とする。
【0009】
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記画像データ取得手段は、前記車両の後端コーナーを除く車両後端又は前端コーナーを除く車両前端を撮像する前記撮像装置から、前記画像データを取得し、前記画像出力手段は、前記画像データ取得手段により新たに取得した現在の画像データに基づく、前記後端コーナーを除く前記車両後端又は前記前端コーナーを除く前記車両前端の画像を含む現在画像と、現在の前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示することを要旨とする。
【0010】
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、読出した前記記録画像データを、現在の前記撮像装置の視点に視点変換する視点変換手段をさらに備えたことを要旨とする。
【0011】
請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記車両後端又は前記車両前端の画像を、前記表示手段の画像表示領域内において前記車両の進行方向と反対側の端部に表示することを要旨とする。
【0012】
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、新たに取得した前記現在画像データを縮小し、前記表示手段の画像表示領域内において、縮小した前記現在画像データに基づく前記現在画像を中央に配置し、読み出した前記記録画像データのうち、前記現在画像に連続する領域を前記過去画像として、前記現在画像の両側に配置することを要旨とする。
【0013】
請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の駐車支援装置において、前記記録画像データは、撮像位置での前記車両の舵角情報又は方位情報がさらに関連付
けられるとともに、前記画像出力手段は、前記記録画像データに関連付けられた前記舵角情報又は前記方位情報に基づく過去舵角と、現在の前記車両の舵角情報又は方位情報に基づく現在舵角との相対角度に基づき、前記記録画像データを回転変換する回転変換手段をさらに備えたことを要旨とする。
【0014】
請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記記録画像データに基づく前記過去画像と、前記現在画像データに基づく前記現在画像とを識別可能に前記表示手段に出力することを要旨とする。
【0015】
請求項9に記載の発明は、請求項2〜8のいずれか1項に記載の駐車支援装置において、前記読出手段は、前記車両が予め定められた画像更新距離だけ移動する度に、進行方向において、前記車両の現在位置から所定距離だけ後方の位置が関連付けられた前記記録画像データを前記画像データ記憶手段から読出し、前記画像出力手段は、前記車両が前記画像更新距離だけ移動する度に、読出した前記記録画像データに基づく前記過去画像と、新たに取得した前記画像データに基づく前記現在画像とを前記表示手段に表示することを要旨とする。
【0016】
請求項10に記載の発明は、請求項2〜9のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記現在画像データに基づく前記現在画像と、前記画像データ記憶手段に格納された前記記録画像データに基づき、前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記過去画像と、前記車両のフロア下方又は側方を含む領域を撮像した前記過去画像とを前記表示手段に表示することを要旨とする。
【発明の効果】
【0017】
請求項1及び2に記載の発明によれば、新たに撮像装置が撮像した現在画像データに基づく、車両後端又は車両前端の画像を含む現在画像を、現在の車両の後端コーナー又は前端コーナーが位置する領域を撮像した過去画像で補うことができる。さらに、現在の後端コーナー又は前端コーナーの位置を示す指標を過去画像上に描画することができる。このため、現在の車両後端又は車両前端を撮像した画像と、そのコーナー周辺の画像とを表示手段に表示できる。従って、表示手段に表示される画像を、現在の車両の後端全域又は前端全域と障害物との相対距離を直感的に把握することができる画像にすることができる。
【0018】
請求項3に記載の駐車支援装置によれば、画像データ取得手段は、車両の後端コーナーを除く車両後端、又は、前端コーナーを除く車両前端を撮像する撮像装置から、画像データを取得する。そして、画像出力手段は、現在の後端コーナー又は前端コーナーが位置磨る領域を補う記録画像データを用い、現在画像の車両後端又は車両前端の画像を、後端コーナー又は前端コーナーに相当する画像で補う。このため、撮像装置に、車両の後端コーナー又は前端コーナーまでを撮像可能な広角レンズを搭載せずに、現在の車両後端又は車両前端を撮像した画像と、そのコーナー周辺の画像とを表示手段に表示できる。従って、表示手段に表示される画像を、レンズに起因する大きな歪みがなく、現在の車両の後端全域又は前端全域と障害物との相対距離を直感的に把握することができる画像にすることができる。
【0019】
請求項4に記載の発明によれば、読出された記録画像データに基づく過去画像は、現在の撮像装置の視点に視点変換されているので、過去画像と現在画像との連続性が良好になり、違和感のない画像を表示することができる。
【0020】
請求項5に記載の発明によれば、車両後端又は車両前端の画像は、表示手段の画像表示領域内において、車両の進行方向と反対側の端部に表示する。このため、車両後端又は車両前端から、後方背景又は前方背景を見たような画像を表示できるので、車両と周囲の障
害物や駐車目標領域との相対距離を把握しやすい。
【0021】
請求項6に記載の発明によれば、現在画像データは縮小され、縮小された現在画像の両側に、過去画像が表示される。このため、後端コーナー又は前端コーナーにあたる画像が表示されていることを直感的に理解しやすい。
【0022】
請求項7に記載の発明によれば、記録画像データは、その記録画像データの撮像時の舵角又は方位と、現在の舵角又は方位との相対角度に基づき、記録画像データを回転変換する。このため、現在画像と過去画像との連続性を向上できる。しかも、記録画像データのみを回転変換するので、現在画像データを回転変換する必要がなく、処理時間を短縮化できる。
【0023】
請求項8に記載の発明よれば、現在画像と過去画像とは、識別可能に表示手段に表示される。このため、表示手段に表示された各画像のうち、信頼性のある画像を判別できるので、安全性を向上できる。
【0024】
請求項9に記載の発明によれば、車両が画像更新距離だけ移動する度に、所定距離だけ後方の位置で撮像された画像データを用いて、画面が更新される。このため、車両が画像更新距離だけ移動するたびに画像を更新するので、現在状況に即した、比較的正確な情報を提供できる。
【0025】
請求項10に記載の発明によれば、現在画像と、車両の後端コーナ又は前端コーナ周辺の画像と、車両のフロア下方又は側方を少なくとも含む画像とが合わせて表示される。このため、後端コーナ又は前端コーナー周辺だけでなく、駐車枠と車体との相対位置を把握することができる。
【発明を実施するための最良の形態】
【0026】
以下、本発明の駐車支援方法及び駐車支援装置を、車両(自動車)に実装されたナビゲーション装置に具体化した一実施形態を図1〜図14に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
【0027】
図1に示すように、ナビゲーション装置1は、制御装置2を備えている。制御装置2は、主制御を行う制御部3、メインメモリ4及びROM5を備えている。制御部3は、CPU等から構成され、ROM5に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理を行う。尚、制御部3は、特許請求の範囲の位置特定手段及び読出手段を構成する。メインメモリ4は、RAMであって、駐車支援のための各種変数が格納されている。
【0028】
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、ナビゲーション装置1を実装した、図2に示す車両Cにおいて、リヤバンパーRBの後端コーナーとしての隅部BCの輪郭を描画するためのデータである。図7に示すように、輪郭描画データ5aを、表示手段としてのディスプレイ6(図1参照)の画像表示領域6Zに出力すると、リヤバンパーRBの隅部BCの輪郭を示す、指標としての後端描画線39が描画される。尚、車両Cの後端コーナー(本実施形態では隅部BC)とは、リヤバンパーRBの隅部、或いは車両Cの後端の隅部を指す。
【0029】
また、図1に示すように、制御装置2は、位置特定手段を構成するGPS受信部7を備えている。GPS受信部7は、GPS衛星からの電波を受信する。制御部3は、GPS受信部7から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Cの絶対位置を定期的に算出する。
【0030】
さらに、制御装置2は、車両側インターフェース部(車両側I/F部8)を備えている。制御部3は、この車両側I/F部8を介して、シフトポジション信号SP、舵角情報としての舵角センサ信号ST、車速信号VS及び方位情報としての方位検出信号DSからなる車両データを入力する。
【0031】
シフトポジション信号SPは、本実施形態では、車両Cに設けられたシフトポジションスイッチ20から出力された信号であって、現在のシフトポジションを示す。舵角センサ信号STは、ステアリング舵角センサ21から出力された信号であって、現在の車両Cの舵角を示す。車速信号VSは、車輪の回転速度を検出する車速センサ22から出力されたパルス信号であって、制御部3は、そのパルス信号に基づき、車両Cの速度とを算出するとともに、入力パルス数に基づき車両Cの移動距離を算出する。方位検出信号DSは、車両Cの方位を示し、車両Cに設けられたジャイロセンサ23から出力される。
【0032】
制御部3は、これらの車速信号VS及び方位検出信号DSに基づいて、自律航法データを生成し、GPS受信部7に基づき算出した自車位置を補正する。本実施形態では、ナビゲーション装置1の位置を、自車位置として算出する。
【0033】
また、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、ノードデータ及びリンクデータを有し、制御部3は、この経路データ9aを用い、ROM5に格納された経路案内プログラムに従って、経路探索及び経路案内を行う。また、制御部3は、上記したように算出した自車位置と、走行軌跡、経路データ9aを照合して、自車位置を適切な道路上に位置決めすることにより、自車位置の精度を高めるようになっている。地図描画データ9bは、広範囲から狭範囲の地図を描画した地図画面6aをディスプレイ6に表示するためのデータであって、経路データ9aと関連付けられている。
【0034】
さらに、ナビゲーション装置1は、ディスプレイ6及びスピーカ11を備えている。ディスプレイ6は、タッチパネルであって、車両Cが前進する際には、制御部3による駆動制御により、地図画面6aを表示する。また、車両Cが後退する際には、制御部3による駆動制御により、駐車補助モードに切り替えられる。駐車補助モードには、第1及び第2表示モードが設定され、第1表示モードでは、撮像装置としてのバックモニタカメラ(以下、カメラ25という)により、車両Cの後方を撮像した後方撮像画面100(図19参照)をディスプレイ6に表示する。第2表示モードでは、カメラ25により撮像した複数の画像データを用いた画面を表示する。スピーカ11は、制御装置2が備える音声出力部12からの出力信号に基づき、案内経路等を案内する案内音又は案内音声を出力する。
【0035】
また、制御装置2は、画像データ取得手段としての画像データ取得部10を備えている。画像データ取得部10は、車両Cに設けられたカメラ25を駆動制御して、車両Cが画像取得距離D1だけ移動する度に、画像データG(図4参照)を逐次取得する。本実施形態では、画像取得距離D1は、200mmに予め設定されている。
【0036】
図2に示すように、カメラ25は、リヤバンパーRBのほぼ上方であって、バックドア等の後端CA(後端部)のうち、車幅方向(図中Y矢印方向)の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ25は、カラー画像を撮像し、アナログ/デジタル変換された画像データGを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)を備えている。図3に示すように、カメラ25は、例えば左右140度の後方視野を有し、車両Cの後方路面の約数メートルを可視範囲Zとしている。また、カメラ25の撮像範囲には、車両Cの後方背景と、リヤバンパーRBの角周辺の隅部BCを除く、車両後端としての中央部BMと
が含まれている。
【0037】
カメラ25によって生成された画像データGは、例えば、図6(a)に示すような画像30を表示する。画像30には、リヤバンパーRBの中央部BMのみを撮像した後端画像40が、車両Cの後退方向(図中、x矢印方向)と反対側の下端に表示されている。即ち、カメラ25の死角であるリヤバンパーRBの隅部BCは、画像30には含まれない。また、画像30は、カメラ25が広角レンズを用いているため、周辺の画像が歪む、いわゆる歪曲収差が生じているが、目視した場合と比べ、大きな違和感の無い程度の画像になっている。また、画像30は、車室内のバックミラーに映る像と同様になるように、左右反転した画像になっている。
【0038】
制御部3は、車両Cが後退状態である場合に、画像データ取得部10から、画像データGを取得する。そして、その画像データGを、画像メモリ15(図1参照)に蓄積する記録画像データG1とし、図4に模式的に示すように、その記録画像データG1を撮像した位置を、撮像位置データ13(位置データ)として添付する。また、舵角センサ信号STに基づく舵角を、舵角データ14として添付する。そして、撮像位置データ13及び舵角データ14が添付された記録画像データG1を、記録データGAとして画像データ記憶手段としての画像メモリ15に格納する。即ち、画像メモリ15には、車両Cが画像取得距離D1を移動する度に撮像された各記録画像データG1が蓄積される。また、添付される撮像位置データ13は、絶対座標でもよいし、基準位置からの相対座標でもよい。また、舵角データ14ではなく、方位検出信号DSに基づく方位データを画像データGに添付するようにしてもよい。
【0039】
また、図1に示すように、制御装置2は、ユーザ入力I/F部17を備えている。ユーザ入力I/F部17は、タッチパネルや、ディスプレイ6に隣設された操作スイッチ16がユーザにより入力操作されると、入力操作に応じた入力信号を制御部3に出力する。
【0040】
さらに、制御装置2は、画像処理手段、読出手段、画像出力手段、視点変換手段、回転変換手段及び指標描画手段を構成する描画処理部18を備えている。描画処理部18は、画像処理を行う演算部や、ディスプレイ6に表示するための出力データを一時格納するVRAM(いずれも図示省略)等を備えている。
【0041】
描画処理部18は、車両Cが後退した際に、制御部3の制御に従って、第1表示モードの処理を行う。描画処理部18は、画像データ取得部10が取得した画像データGをディスプレイ6に出力し、上記した後方撮像画面100を表示する。
【0042】
第2表示モードの際は、描画処理部18は、制御部3の制御により、画像更新距離D2ごとに、図11に示すような駐車支援画面44を出力する。詳述すると、描画処理部18は、制御部3から車両Cの現在位置を入力し、その現在位置よりも、進行方向(後退方向)において、所定距離としての合成用距離D3だけ後方で撮像された記録画像データG1を画像メモリ15内で検索する。本実施形態では、画像更新距離D2は、200mmに予め設定されている。合成用距離D3は、一地点から進行方向において後方の位置であって、一地点のリヤバンパーRBの隅部BCの位置を含む周辺領域を撮像する他地点と、その一地点との最小距離であって、本実施形態では、1mに予め設定されている。
【0043】
具体的には、描画処理部18は、車両Cが後方に直進して、図5(b)に示す位置Bに到達すると、蓄積された各記録画像データG1のうち、現在の位置から合成用距離D3分後方の初期位置Aが撮像位置データ13として添付された記録画像データG1を読み出す。このとき、読み出された記録画像データG1は、少なくとも現在位置の車両CのリヤバンパーRBの隅部BCの位置を含む領域を撮像した記録画像データG1であって、例えば
、図6(a)に示すような過去画像30を出力するデータである。過去画像30には、車両Cの周囲の障害物30b等を含む背景30aと、後端画像40とが表示されている。
【0044】
そして、描画処理部18は、初期位置Aにおけるカメラ視点VAで撮像された記録画像データG1を、現在位置(位置B)でのカメラ25のカメラ視点VBに、視点変換し、例えば図6(b)に示すような、過去画像としての変換画像31を生成する。これにより、記録画像データG1の撮像範囲は変えずに、現在のカメラ視点VBから、その撮像範囲を見た変換画像データG2にすることができる。この視点変換処理としては、アフィン変換等、公知の変換処理を用いる。尚、本実施形態では、カメラ視点VA〜VCは、各位置A〜Cでのカメラ25のレンズの位置を示す。
【0045】
また、車両Cが旋回しながら後退している場合には、描画処理部18は、舵角センサ信号STに基づく現在舵角と、読み出した画像データGに添付された舵角データ14に基づく過去舵角との相対角度に基づき、画像データGを、現在のカメラ視点VCを視点とした画像データに回転変換する。このとき、描画処理部18は、ROM5に格納された、相対角度ごとに作成された各回転変換テーブル(図示省略)を読込んで、画像データGの各座標の画素値を、テーブルによって紐付けられた座標にマッピングする。
【0046】
さらに、描画処理部18は、現在位置で撮像した画像データG(以下、現在画像データG3という)を取得する。現在画像データG3は、例えば、図6(c)に示すような現在画像32を出力するデータである。そして、描画処理部18は、現在画像データG3を、所定の縮小率で車幅方向(図6中y矢印方向)に縮小し、図6(d)に示すような縮小データG4を生成する。これにより、縮小データG4に基づく縮小画像33は、車幅方向(y矢印方向)に縮んだ状態になっているが、進行方向(後退方向、x矢印方向)は、伸縮されていない状態になっている。
【0047】
さらに、描画処理部18は、図6(e)に示すように、縮小データG4のうち、所定の領域を、ディスプレイ6の画像表示領域6Zの略中央部に設定された合成領域34に配置し、縮小データG4と変換画像データG2とを合成する。このとき、この合成領域34は、合成用距離D3だけ車両Cが移動したとき、画素座標が、車両Cの移動に伴い平行移動する移動先の座標を求めることによって、設定される。合成の結果、縮小データG4の上端部等、変換画像データG2と重ならない部分が生じた場合には、その部分を画像表示領域6Zに表示されない非表示領域とする。また、縮小データG4の特徴点と、記録画像データG1の特徴点を合致させることで、合成するようにしてもよい。
【0048】
或いは、変換画像データG2のうち、図6(b)に示すように、予め定められた合成領域35を抽出し、その抽出データと、縮小データG4とを合成してもよい。合成領域35は、記録画像データG1の両側部であって、現在のリヤバンパーRBの後端コーナーとしての隅部BCにあたる領域を少なくとも含んでいる。この合成領域35は、合成用距離D3、カメラ25の取付位置、レンズの画角等によって変化するため、車種ごとに演算・実験等によって求める。
【0049】
そして、描画処理部18は、縮小データG4に基づく縮小現在画像36と、記録画像データG1に基づく変換画像データG2とを表示した合成画像38をディスプレイ6に表示する。変換画像31は、縮小現在画像36を挟んで、その両側に配置されている。変換画像31は、現在のカメラ25の可視範囲外となる領域の画像であって、現在のリヤバンパーRBの隅部BCと、その隅部BCを中心とした、数十〜数百mmの範囲を撮像している。このため、例えば、縮小現在画像36には表示されない障害物30bも合成画像38に表示されている。
【0050】
また、描画処理部18は、ROM5に格納された輪郭描画データ5aを用いて、現在の自車位置に合わせて、図7に示すような後端描画線39を合成画像38に描画する。後端描画線39は、リヤバンパーRBの隅部BCの輪郭線であって、図11に示すように、変換画像31に重畳して描画され、リヤバンパーRBの中央部BMが撮像された後端画像40に連続するように描画される。
【0051】
また、描画処理部18は、図11に示すように、記録画像データG1を加工して、変換画像31と、縮小現在画像36とを視認により識別可能にする。例えば、描画処理部18は、記録画像データG1の色調、階調、明度及び模様のいずれか1つを、縮小現在画像36とは異なるように加工して、変換画像31と縮小現在画像36とを視認により判別可能にする。
【0052】
さらに、描画処理部18は、図11に示すように、変換画像31と縮小現在画像36とを区画する画像区画線41を合成画像38上に描画する。この画像区画線41により、合成画像38のうち、どの表示範囲が現在の状況に即した画像かを判別することができる。
【0053】
そして、描画処理部18は、後方撮像画面100を表示する際と同様に、車幅延長線42、予想軌跡線43を合成画像38上に描画する。車幅延長線42は、車両Cの車幅を後方に延長した指標である。予想軌跡線43は、車幅及びその時の車両Cの舵角に基づき、後退する車両Cの走行軌跡を予想した指標であって、車両Cから予め定めた距離(例えば、2.7m)までの走行軌跡を示す。尚、実際の画面では、車幅延長線42と予想軌跡線43とは異なる色の線で描画され、容易に判別可能になっている。また、図11に示す駐車支援画面44では、車両Cが直進しているため、車幅延長線42と予想軌跡線43とが重ねられている。
【0054】
さらに駐車支援画面44には、この画面が、変換画像31を用いた画面であることを報知する警告表示46や、車幅延長線42及び予想軌跡線43を消去できる操作部47、第2表示モードから第1表示モードに切り換える操作部48が表示されている。駐車支援画面44では、縮小現在画像36は車幅方向に縮小されているものの、進行方向(後退方向、図中x矢印方向)の距離は、変換画像31や、通常の後方撮像画面100と同一であるので、リヤバンパーRBの中央部と障害物との距離を把握しやすい画像となっている。
【0055】
また、リヤバンパーRBの隅部BCにおいては、中央部BMと違って、障害物との進行方向(x矢印方向)における相対距離だけでなく、車幅方向(y矢印方向)における相対距離にも注意する必要がある。駐車支援画面44の変換画像31は、縮小されていないため、視認し易く、変換画像31内の距離感は、通常の後方撮像画面100と同じになっている。このため、リヤバンパーRBの隅部BCと障害物との相対距離を、より把握しやすくなっている。
【0056】
次に、本実施形態の駐車支援処理の処理手順について、図8〜図10に従って説明する。まず、制御部3は、ナビゲーション装置1の起動後、ROM5に格納された駐車支援プログラムに従って、図8に示すように、シフトポジションスイッチ20から入力したシフトポジション信号SPに基づき、車両Cの変速機がリバースレンジであるか否かの判断を繰り返す(ステップS1)。リバースレンジである場合には(ステップS1においてYES)、その位置を初期位置とし、さらに、駐車支援画面44を表示する第2表示モードを開始するか否かを判断する(ステップS2)。この第2表示モードは、ディスプレイ6に表示された操作部47、又はディスプレイ6に隣設された操作スイッチ16によって選択可能になっている。第2表示モードを起動する設定がなされると、メインメモリ4に格納されたモード起動フラグがオン状態に設定される。
【0057】
制御部3は、メインメモリ4に格納されたモード起動フラグがオフ状態であると判断すると、(ステップS2においてNO)、描画処理部18を制御して、第1表示モードを行う(ステップS3)。モード起動フラグがオン状態であると判断すると(ステップS2においてYES)、ステップS4に進む。
【0058】
図9に示すように、ステップS4では、制御部3は、各種パラメータを初期化する。このパラメータとしては、記録用カウンタLn1、更新用カウンタLn2がある。記録用カウンタLn1は、画像データGを取得する画像取得距離D1に到達したか否かを判断するためのカウンタである。更新用カウンタLn2は、駐車支援画面44を更新する画像更新距離D2に到達したか否かを判断するためのカウンタである。本実施形態では、記録用カウンタLn1及び更新用カウンタLn2は、メインメモリ4に格納されている。
【0059】
パラメータの初期化が行われると、制御部3は、車両Cが初期位置に位置するときに、画像データ取得部10を制御して、カメラ25から画像データGを取得する(ステップS5)。また、制御部3は、ほぼ同時に、車両側I/F部8を介して、シフトポジション信号SP、舵角センサ信号ST、車速信号VS、方位検出信号DS等の車両データを取得する(ステップS6)。制御部3は、GPS受信部7と、車速信号VS、方位検出信号DSとに基づき、自車位置を算出する。
【0060】
そして、制御部3は、車両Cの現在位置を示す撮像位置データ13と、舵角センサ信号STに基づく舵角データ14とを、画像データGに添付して、記録画像データG1として画像メモリ15に格納する(ステップS7)。
【0061】
また、制御部3は、受信した車速信号VSに基づき、車両Cが後方へ走行しているか否かの判断を繰り返す(ステップS8)。具体的には、車速信号VS(パルス信号)の入力があるか否かを判断する。
【0062】
走行状態であると判断した場合には(ステップS8においてYES)、その車速信号VSに基づき、記録用カウンタLn1に「1」を加算して、記録用カウンタLn1を更新する(ステップS9)。さらに、制御部3は、更新用カウンタLn2に「1」を加算して、更新用カウンタLn2を更新する(ステップS10)。即ち、入力パルス数に応じて記録用カウンタLn1及び更新用カウンタLn2を更新することによって、車両Cの移動距離を算出する。
【0063】
そして、制御部3は、記録用カウンタLn1に基づいて算出した車両Cの移動距離が、画像取得距離D1以上であるか否かを判断する(ステップS11)。記録用カウンタLn1に基づく移動距離が、画像取得距離D1以上である場合(ステップS11においてYES)には、画像データ取得部10は、ステップS5と同様に、カメラ25から、画像データGを取得する(ステップS12)。そして、ステップS6、S7と同様に、車両データを取得し(ステップS13)、取得した画像データGを、記録画像データG1として画像メモリ15に格納する(ステップS14)。さらに、制御部3は、記録用カウンタLn1を、初期値にリセットする(ステップS15)。即ち、ステップS8〜S15において、車両Cが画像取得距離D1だけ移動する度に、画像データGが取得され、その画像データGを撮像した車両Cの撮像位置データ13、及び舵角データ14が添付された、記録画像データG1が画像メモリ15に蓄積される。
【0064】
また、制御部3が、記録用カウンタLn1が画像取得距離D1未満であると判断した場合(ステップS11においてNO)には、ステップS16に進む。
ステップS16では、制御部3は、更新用カウンタLn2に基づいて算出された移動距離が、画像更新距離D2以上であるか否かを判断する。例えば、初期位置が、図5(a)
に示す位置Aであるとすると、初期位置Aから画像更新距離D2(200mm)だけ後退したか否かを判断する。更新用カウンタLn2に基づく移動距離が、画像更新距離D2以上であると判断した場合(ステップS16においてYES)には、次のステップに進む。更新用カウンタLn2に基づく移動距離が、画像更新距離D2に満たない場合(ステップS16においてNO)には、ステップS8に戻る。
【0065】
次に、図10に示すステップS17では、制御部3の制御により、描画処理部18は、現在位置から合成用距離D3だけ後方で撮像された記録画像データG1があるか否かを判断する。詳述すると、制御部3は、画像メモリ15に格納された各記録画像データG1の撮像位置データ13に基づき、移動軌跡を算出し、移動軌跡において、現在位置から合成用距離(1m)後方の位置で撮像した記録画像データG1があるか否かを判断する。例えば、車両Cが、図5に示す位置Aから位置Bの間にあるとき、現在位置(位置B)から合成用距離D3だけ後方の位置で撮像された記録画像データG1が無いと判断し、ステップS8に移る。尚、算出した移動軌跡は、メインメモリ4に格納する。
【0066】
そしてステップS8〜S16を繰り返した後、車両Cが、図5に示す位置Bに到達したとき、位置Bから合成用距離D3だけ後方の初期位置Aで撮像された記録画像データG1が画像メモリ15内に蓄積されているので、制御部3は、該当する記録画像データG1があると判断する(ステップS17においてYES)。そして、描画処理部18は、該当する記録画像データG1を画像メモリ15から読出す(ステップS18)。
【0067】
記録画像データG1を読出すと、描画処理部18は、現在画像データG3及び記録画像データG1を用いて、合成画像38を生成する(ステップS19)。まず、描画処理部18は、記録画像データG1を視点変換する。例えば、描画処理部18は、カメラ25がカメラ視点VAで撮像した記録画像データG1を、現在のカメラ視点VCから見た記録画像データG1に視点変換する。これにより、図6(a)に示すような過去画像30が、図6(b)に示す変換画像31に変換される。視点変換された変換画像31は、光軸又は画角が路面に向ってさらに傾斜したような画像となる。
【0068】
また、車両Cが旋回しながら後退する場合に、描画処理部18は回転変換テーブルを読込んで回転変換を行うが、図5のように直進する場合には、回転変換は省略する。さらに、描画処理部18は、記録画像データG1の色調、階調、明度及び模様のいずれか1つを加工する。
【0069】
さらに、描画処理部18は、現在位置(位置B)で撮像した現在画像データG3を、所定の縮小率で、車幅方向(y矢印方向)に縮小し、縮小データG4を生成する。これにより、現在画像データG3に基づく現在画像32は、図6(d)の縮小画像33のように縮小される。そして、縮小データG4と、視点変換した記録画像データG1とを合成し、縮小データG4と記録画像データG1とからなる合成データをディスプレイ6に出力する(ステップS20)。
【0070】
また、描画処理部18は、ROM5から、輪郭描画データ5aを読出し、図11に示すように後端描画線39を合成画像38上に描画する。さらに、描画処理部18は、画像区画線41と、車幅延長線42と、制御部3から入力した現在舵角に基づいた予想軌跡線43等を描画する。また、ディスプレイ6の画像表示領域6Zの下部に、警告表示46、各操作部47,48を表示する。その結果、図11に示すような、駐車支援画面44がディスプレイ6に出力される。駐車支援画面44を出力すると、更新用カウンタLn2をリセットする(ステップS21)。
【0071】
駐車支援画面44をディスプレイ6に出力すると、制御部3は、駐車支援画面44を出
力する第2表示モードがオフ状態であるか否かを判断する(ステップS22)。具体的には、タッチパネル操作や、操作スイッチ16が入力操作が行われることにより、ユーザ入力I/F部17にて、第2表示モードを終了するための入力信号を入力したか否かを判断する。
【0072】
第2表示モードがオン状態である場合(ステップS22においてNO)、ステップS8に戻る。第2表示モードがオフ状態である場合(ステップS22においてYES)、駐車補助モードを終了させるトリガを入力したか否かを判断する(ステップS23)。この終了トリガとしては、車両Cに設けられた図示しない電子制御装置(ECU)等から出力された、イグニッションオフを示す信号等、シフトポジションの変更を示す信号等がある。
【0073】
終了トリガを入力した場合(ステップS23においてYES)、駐車補助モードを終了する。終了トリガの入力が無いと判断した場合(ステップS23においてNO)、即ち、第2表示モードが終了したが、第1表示モードがオン状態である場合には、ステップS2に戻る。
【0074】
第2表示モードが継続され、例えば、車両Cが、図5(b)に示す位置Bから、画像更新距離D2だけ後退し、(c)に示す位置Cまで移動した場合には、制御部3は、記録用カウンタLn1及び更新用カウンタLn2をそれぞれ更新する(ステップS9、ステップS10)。そして、位置Cで撮像した画像データGを、さらに後退した位置で用いる記録データGAとして、画像メモリ15に格納する(ステップS11〜S15)。
【0075】
そして、図10に示すステップS17では、位置Cから、進行方向において、合成用距離D3だけ後方の位置である位置(図示省略)で撮像した記録画像データG1を読出す。そして、読出した記録画像データG1と、位置Cで撮像した現在画像データG3とを合成し(ステップS19)、駐車支援画面44を出力する(ステップS20)。その結果、例えば、図12に示すような、駐車支援画面44が出力される。この駐車支援画面44に示すように、例えば、車両Cが、駐車目標領域50の半ばまで進入するに従い、縮小現在画像36内に隣りに駐車された他車両C1が表示されなくなった場合にも、変換画像31によって補うことにより、隅部BC(後端描画線39)と他車両C1との車幅方向及び進行方向における相対距離を把握することができる。
【0076】
一方、図13に示すように、車両Cが旋回しながら駐車目標領域50まで後退する場合、制御部3は、記録画像データG1の撮像位置データ13及び舵角データ14に基づいて、移動軌跡51を求める。
【0077】
そして、制御部3の制御により、描画処理部18は、移動軌跡51上であって、車両Cの現在位置よりも、合成用距離D3だけ後方の位置で撮像された記録画像データG1を画像メモリ15から読出す(ステップS18)。そして、記録画像データG1に添付された舵角データ14に基づく過去舵角と、現在舵角との相対角度を算出する。さらに、その相対角度に基づいた回転変換テーブルを読込み、記録画像データG1の各画素座標を、テーブルによって紐付けられた変換先の画素座標にマッピングする。これにより、記録画像データG1が、現在のカメラ25のカメラ視点から撮像されたデータのように変換される。
【0078】
記録画像データG1を変換すると、その記録画像データG1と現在画像データG3とを、上記したように合成して(ステップS19)、駐車支援画面44を出力する(ステップS20)。これにより、図14に示すような駐車支援画面44が表示される。この駐車支援画面44では、例えば、変換画像31に表示された障害物(他車両C1)と、リヤバンパーRBの隅部BCとの相対距離が把握できるので、障害物に過度に接近しないように、操舵を行うことができる。
【0079】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ナビゲーション装置1は、車両CのリヤバンパーRBの中央部BMと、車両Cの後方背景とを撮像するカメラ25から、画像データGを取得するようにした。また、取得した画像データGを、撮像位置データ13及び舵角データ14と対応付けて、記録画像データG1として画像メモリ15に格納するようにした。さらに、車両Cの移動に伴って、現在の車両CのリヤバンパーRBの隅部BCの位置を含む領域を撮像した記録画像データG1を読出すようにした。そして、現在画像データG3に基づく縮小現在画像36と、読出した記録画像データG1に基づく変換画像31とをディスプレイ6に表示するようにした。さらに、変換画像31に、現在の隅部BCの位置を示す後端描画線39を重畳して描画するようにした。このため、カメラ25のレンズの画角を大きくしたり、車両Cの隅部BC周辺を撮像する他のカメラを用いることなく、1つのカメラ25を用いて、リヤバンパーRBの隅部BCの位置にあたる画像をディスプレイ6に表示できる。従って、ディスプレイ6に表示される駐車支援画面44を、レンズ歪みに起因する違和感がなく、現在の車両CのリヤバンパーRB全域と障害物との距離を直感的に把握することができる画面にすることができる。このため、リヤバンパーRBの隅部BC周辺に障害物がある場合でも、運転者は、障害物との相対距離に注意しながら、駐車目標領域50内に車両Cを駐車することができる。
【0080】
(2)上記実施形態では、画像データ取得部10は、車両Cの後端であって、リヤバンパーRBの直上に設けられたカメラ25から、画像データGを取得するようにした。即ち、画像データ取得部10は、車両Cの後端であるリヤバンパーRBの中央部BMを撮像し、車両Cの後側方の障害物・駐車枠・輪止め等までの相対距離を確認できる画像データGを直接得ることができる。このため、縮小現在画像36に撮像された後端画像40を削除せずにそのまま残すことで、リヤバンパーRBと障害物との相対距離がわかりやすい画面を表示できる。また、現在位置の画像データGを、障害物までの相対距離が確認可能な視点に視点変換する必要がないので、ナビゲーション装置1にかかる負荷が軽減される。
【0081】
(3)上記実施形態では、描画処理部18は、読出した記録画像データG1を、現在のカメラ25の視点に視点変換するようにした。このため、変換画像31を、縮小現在画像36との連続性が良好な画像にすることができるので、駐車支援画面44を、違和感がなく、直感的に理解できる画面にすることができる。
【0082】
(4)上記実施形態では、描画処理部18は、現在位置で撮像した現在画像データG3を、車幅方向に縮小するようにした。そして、その縮小データG4に基づく縮小現在画像36を、ディスプレイ6の画像表示領域6Zの中央に配置し、変換画像31を縮小現在画像36の両側に配置するようにした。このため、リヤバンパーRBの両隅部BCを、駐車支援画面44に表示することができる。しかも、縮小現在画像36は、車両Cの進行方向(後退方向)には縮小されていないので、周囲の背景を見やすくすることができる。また、変換画像31は縮小されずに、通常の後方撮像画面100と同様な縮尺で表示されるので、変換画像31を、リヤバンパーRBの隅部BCと障害物との進行方向及び車幅方向における相対距離が把握しやすい画面にすることができる。
【0083】
(5)上記実施形態では、制御部3は、取得した画像データGに、撮像位置データ13のみでなく、舵角データ14を添付して、画像メモリ15に格納するようにした。このため、記録画像データG1を、現在の舵角に応じて回転変換することができるので、後退する車両Cが操舵されたときにも、変換画像31を、現在のカメラ25の視点から見た画像のように変換できる。従って、変換画像31を、縮小現在画像36との連続性が良好な画像にすることができる。
【0084】
(6)上記実施形態では、描画処理部18は、記録画像データG1の、色調、階調、明度及び模様のうちいずれか1つを加工して、変換画像31と縮小現在画像36とを視認により識別可能にディスプレイ6に表示するようにした。このため、駐車支援画面44のうち、現在の画像を判別できるので、安全性を向上できる。
【0085】
(7)上記実施形態では、描画処理部18は、車両Cが画像更新距離D2だけ移動する度に、進行方向において、車両Cの現在位置から合成用距離D3だけ後方の撮像位置データ13が関連付けられた記録画像データG1を画像メモリから読出すようにした。そして、読出した記録画像データG1に基づく変換画像31と、現在画像データG3に基づく縮小現在画像36とをディスプレイ6に表示するようにした。このため、車両Cが画像更新距離D2だけ移動するたびに画像を更新するので、現在状況に即した、比較的正確な画像を表示できる。
【0086】
(8)上記実施形態では、駐車支援装置を、GPS受信部7、ディスプレイ6及び車両側I/F部8を備えるナビゲーション装置1に具体化した。このため、ナビゲーション装置1が具備する各装置を有効利用し、比較的精度の高い撮像位置データ13等が添付された記録画像データG1を画像メモリ15内に蓄積することができる。
【0087】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、現在画像データG3を車幅方向だけでなく進行方向にも縮小してもよい。具体的には、図15(b)に示すように、車両Cの現在位置で撮像した現在画像データG3に基づく現在画像61を、車幅方向及び進行方向において縮小し、図15(c)に示す縮小画像62を表示するような縮小データG4を生成してもよい。そして、図15(a)に示す過去画像60を表示する記録画像データG1を少なくとも視点変換し、縮小データG4と合成する。これにより、図15(d)に示すような合成画像63が表示される。この合成画像63は、縮小画像62の占有する割合が、図11に示す駐車支援画面44よりも小さくなっている。このため、図15(d)に示すように、縮小画像62の下方に、縮小画像62と合成されない過去画像60の一部領域が生じる。
【0088】
そして、図16に示すように、この過去画像60に、後端描画線39だけでなく、車体輪郭線64を描画するようにしてもよい。即ち、縮小画像62の下方の過去画像60は、車両Cのフロア下方の領域にあたるため、現在の車体の輪郭を描画することによって、過去画像60上における車両Cの位置を示すことができる。車体輪郭線64は、少なくとも車体の外郭を示す車体描画線65、後車輪を示す後車輪描画線66を有している。このようにすると、リヤバンパーRBの隅部BCだけでなく、車体の位置も確認することができるので、駐車目標領域50からずれることなく駐車することができる。
【0089】
・上記実施形態では、縮小現在画像36の両側に配置された変換画像31の幅を同じ長さにしたが、異なる長さにしてもよい。例えば、図17の駐車支援画面44に示すように、縮小現在画像36の左側に配置された変換画像31の領域(幅)を、右側に配置された変換画像31の領域(幅)よりも大きくするようにしてもよい。このような駐車支援画面44を表示する場合として、カメラ25が、車両Cの中心軸に対してオフセットされた位置に配置されている場合がある。このとき、カメラ25の可視範囲は、リヤバンパーRBの隅部BCのうち、片方側の隅部BCに寄っているので、他方側の隅部BC側は確認しずらい。このため、他方側の隅部BCを駐車支援画面44内に含めるため、他方側の変換画像31の領域を大きくするようにしてもよい。また、ディスプレイ6の画面に表示された操作部67を入力操作して、縮小現在画像36の両側に配置された変換画像31の領域(幅)の比を、変更するようにしてもよい。操作部67が操作されたとき、描画処理部18は、現在位置から合成用距離D3よりもさらに後方で撮像された記録画像データG1を画像メモリ15から読出し、画面更新する。このようにすると、比較的新しい記録画像デー
タG1を用いることができないが、車両Cの片側に障害物があるとき、その障害物がある側の変換画像31の割合を大きくすることにより、障害物と車両Cとの相対距離を確認できる。
【0090】
・上記実施形態では、駐車支援画面44において、縮小現在画像36の両側に変換画像31を配置したが、片方に配置するようにしてもよい。例えば、記録画像データG1を回転変換したり、記録画像データG1の一部と現在画像データG3とを合成することにより、図18に示すような駐車支援画面44を表示する。この駐車支援画面44では、縮小現在画像36の左側のみに、変換画像31を配置している。また、このとき、変換画像31を表示する位置を、縮小現在画像36の左側と右側との間で切替えるための操作部68を表示するようにしてもよい。このようにすると、運転席から視認し難い車両Cの側方や、障害物が存在する領域を集中的にディスプレイ6に表示することができる。
【0091】
・上記実施形態では、変換画像31にリヤバンパーRBの隅部BCを描画する後端描画線39を重ねて表示するようにした。これ以外に、輪郭線でなく、隅部BCを描画した画像や、リヤバンパーRB全域を示す指標を縮小現在画像36及び変換画像31に重畳してもよく、その他の指標にしてもよい。
【0092】
・上記実施形態では、ナビゲーション装置1の位置を、自車位置として検出したが、カメラ25の位置でもよい。或いは、車両CのリヤバンパーRBの位置等、その他の位置にしても良い。
【0093】
・上記各実施形態では、画像取得距離D1は、200mmとしたが、100mm等、その他の距離でもよい。また、画像取得距離D1と、画像更新距離D2とを同じ距離としたが、異なる距離でもよい。さらに、合成用距離D3は、1mでなく、他の距離でもよい。
【0094】
・上記実施形態では、ナビゲーション装置1が、車両Cの方位を検出するジャイロセンサを具備していてもよい。
・ナビゲーション装置1は、シフトポジションスイッチ20からシフトポジション信号SPを入力するようにしたが、車速センサ22から入力した車速パルスにより、車両Cの後退を検出するようにしてもよい。
【0095】
・ナビゲーション装置1は、車両Cに取付けられた検出手段としてのセンサや検出装置に基づき、第2表示モードに切替えるようにしてもよい。例えば、駐車目標領域の内側又は周囲の立体障害物を検出するソナー(検出装置)や、画像データGに基づき車両C周辺の移動体を検出する画像処理装置等をナビゲーション装置1に設け、車両C周辺に歩行者等の移動体が検出されない場合に、変換画像31を用いる第2表示モードを開始するようにしてもよい。即ち、移動体が検出された場合には、変換画像31内の障害物の位置と、障害物の現在の位置とが異なっている可能性があるため、第2表示モードを行わず、スピーカ11等によって移動体の検出を報知する。或いは、上記した検出装置を用い、静止した障害物が検出された場合に、第2表示モードを開始してもよい。
【0096】
・上記実施形態では、制御部3は、車両Cが後退を開始したことを検出した際に画像データGの蓄積を行うようにした。これ以外に、制御部3が、車両Cの後退を検出し、且つ現在の舵角が所定の舵角未満になった場合に、画像データGの蓄積を開始するようにしてもよい。このようにすると、画像データGの蓄積を必要最小限とし、画像データ入力処理、装置にかかる負荷を軽減することができる。
【0097】
・上記実施形態では、画像データGに、撮像位置データ13を添付したが、初期位置からの累積距離を添付するようにしてもよい。また、撮像位置データ13及び舵角データ1
4は、画像データGに添付されるのではなく、ROM5又はメインメモリ4に、各記録画像データG1と紐付けされたテーブルを格納してもよい。
【0098】
・上記実施形態では、駐車支援画面44に警告表示46を表示するようにしたが、これを省略し、スピーカ11から、変換画像31が表示されていることを報知する音声や、警告音を出力してもよい。
【0099】
・カメラ25は、車両Cの後方でなく、フロントバンパーの上方等、車両Cの前端に取り付けられてもよい。この場合、カメラ25は、フロントバンパーの車両前端としての中央部と、前方背景とを撮像可能であって、前端コーナーとしての隅部は死角になっている。またこのとき、例えば、車両Cが駐車目標領域に前進しながら進入するときに、駐車支援処理を行ってもよい。この場合にも、このカメラによって生成された画像データGを使用して、車両Cのフロントバンパーの隅部を表示することができるため、車両Cと障害物との相対距離を把握することができる。
【0100】
・上記各実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、記録画像データG1及び現在画像データG3を用いた駐車支援画面44をディスプレイ6に表示してもよい。
【0101】
・上記実施形態では、カメラ25の撮像範囲は、車両Cの後方背景と、リヤバンパーRBの隅部BCを除く、車両後端としての中央部BMとが含まれるようになっているが、より画角が大きい広角レンズを用いたカメラを使用して、撮像範囲を、リヤバンパーRBの隅部BCを含むようにすることもできる。この場合、現在画像データG3においてリヤバンパーRBの隅部BC付近の画像を切り取り、残った現在画像データG3と、リヤバンパーRBの隅部BC付近に相当する記録画像データG1を合成するようにしてもよい。
【0102】
・上記実施形態では、駐車支援装置を、ナビゲーション装置1に具体化したが、その他の車載装置に具体化してもよい。この場合、GPS受信部7や、地図データ記憶部9等が省略される。
【図面の簡単な説明】
【0103】
【図1】本実施形態のナビゲーション装置の構成を説明するブロック図。
【図2】カメラの取付位置を説明する説明図。
【図3】カメラの撮像範囲を説明する説明図。
【図4】画像メモリに格納された画像データの説明図。
【図5】画像の更新を説明するための説明図であって、(a)は車両の初期位置A、(b)及び(c)は位置B〜位置Cを示す。
【図6】合成処理の説明図であって、(a)及び(b)は記録画像データ、(c)及び(d)は現在画像データの画像処理の説明図、(e)は合成画像の説明図。
【図7】後端描画線の説明図。
【図8】本実施形態の処理手順の説明図。
【図9】同処理手順の説明図。
【図10】同処理手順の説明図。
【図11】駐車支援画面の説明図。
【図12】駐車支援画面の説明図。
【図13】車両の移動軌跡の説明図。
【図14】駐車支援画面の説明図。
【図15】別例の合成処理であって、(a)は記録画像データ、(b)及び(c)は現在画像データに対する画像処理の説明図、(d)は合成画像の説明図である。
【図16】別例の駐車支援画面の説明図。
【図17】別例の駐車支援画面の説明図。
【図18】別例の駐車支援画面の説明図。
【図19】従来の後方撮像画面の説明図。
【符号の説明】
【0104】
1…駐車支援装置としてのナビゲーション装置、3…位置特定手段、読出手段を構成する制御部、6…表示手段としてのディスプレイ、6Z…画像表示領域、7…位置特定手段を構成するGPS受信部、10…画像データ取得手段としての画像データ取得部、13…位置データとしての撮像位置データ、14…舵角情報としての舵角データ、15…画像データ記憶手段としての画像メモリ、18…読出手段、画像出力手段、視点変換手段、回転変換手段及び指標描画手段としての描画処理部、25…撮像装置としてのカメラ、30,60…過去画像、30a…背景、31…過去画像としての変換画像、36…現在画像、32,61…現在画像、39…指標としての後端描画線、B1…後端コーナーとしての隅部、C…車両、CA…後端部としての後端、D2…画像更新距離、D3…合成用距離、DS…方位情報としての方位検出信号、G…画像データ、G1…記録データとしての記録画像データ、G3…現在画像データ、RB…後端としてのリヤバンパーST…舵角情報としての舵角センサ信号。
【技術分野】
【0001】
本発明は、駐車支援方法及び駐車支援装置に関する。
【背景技術】
【0002】
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データを運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この画像データに基づく画面は、例えば、図19に示すような後方撮像画面100であって、リヤバンパー等の車両後端を撮像した後端画像101と、車両後方の数メートル分を撮像した背景画像102とが表示されている。背景画像102には、車幅を延長した車幅延長線103や、舵角に応じた予想軌跡線104が重ねて描画されている。また、後端画像101は、リヤバンパーの中央部のみの画像であって、リヤバンパーの隅部はカメラの死角領域となっている。このため、リヤバンパー隅部周辺に障害物があっても、その障害物とリヤバンパー隅部との相対距離を把握し難い問題がある。
【0003】
この問題点に対し、車両の移動軌跡の各地点で車載カメラから取得した画像データを、メモリに蓄積し、過去に撮像された画像データを用いた合成画像を表示する装置も提案されている(特許文献1参照)。この装置では、運転席よりも後方に設けられた車載カメラから、画像データを取得する。そして、車両が後退を始めた際に、蓄積した画像データの中から、現在の車両の運転席に相当する地点で撮像した画像データを読出し、その画像データと現在の画像データとを合成する。また、運転席の位置に設定された視点から見たときに、車両の後方ボデー、座席等にあたる領域に、メモリに蓄積した画像データを合成し、その画像に車体の輪郭線を描画する。これにより、運転席の位置に仮想視点を設定し、後方ボデー等の領域に外部背景が表示された画像が、ディスプレイに表示される。
【特許文献1】特開2003−244688号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記のように運転席に仮想視点を設定した画像を表示すると、あたかも運転席から車両後方を見たような画像を表示することはできるが、車体の輪郭線と障害物とが重ねて表示されるため、車両の後端から障害物までの距離を把握し難い。このため、合成画像により、カメラの死角領域にある障害物の有無を判断できても、障害物との衝突を回避しながら目標領域に駐車するための支援はできなかった。
【0005】
一方、車載カメラに、さらに画角を大きくした広角レンズを用いて、リヤバンパー(車両後端)全域を画面に含めようと試みると、レンズの収差により、画像の周辺部が大きく歪む。その結果、障害物との相対距離が解り難く、しかも運転者が直感的に理解しにくい画面が表示されてしまう。
【0006】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、車両の後方又は前方と、車両周辺の障害物との相対距離が把握しやすい画像を表示することができる駐車支援方法及び駐車支援装置を提供することにある。
【課題を解決するための手段】
【0007】
上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記
憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記画像データ取得手段が取得した前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして前記画像データ記憶手段に格納し、前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出し、前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示するとともに、現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の一部と連続させて、前記過去画像上に描画することを要旨とする。
【0008】
請求項2に記載の発明は、車両に設けられた駐車支援装置において、前記車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして格納する画像データ記憶手段と、前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出す読出手段と、前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、表示手段に表示する画像出力手段と、現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の画像と連続させて、前記過去画像上に描画する指標描画手段とを備えることを要旨とする。
【0009】
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記画像データ取得手段は、前記車両の後端コーナーを除く車両後端又は前端コーナーを除く車両前端を撮像する前記撮像装置から、前記画像データを取得し、前記画像出力手段は、前記画像データ取得手段により新たに取得した現在の画像データに基づく、前記後端コーナーを除く前記車両後端又は前記前端コーナーを除く前記車両前端の画像を含む現在画像と、現在の前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示することを要旨とする。
【0010】
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、読出した前記記録画像データを、現在の前記撮像装置の視点に視点変換する視点変換手段をさらに備えたことを要旨とする。
【0011】
請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記車両後端又は前記車両前端の画像を、前記表示手段の画像表示領域内において前記車両の進行方向と反対側の端部に表示することを要旨とする。
【0012】
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、新たに取得した前記現在画像データを縮小し、前記表示手段の画像表示領域内において、縮小した前記現在画像データに基づく前記現在画像を中央に配置し、読み出した前記記録画像データのうち、前記現在画像に連続する領域を前記過去画像として、前記現在画像の両側に配置することを要旨とする。
【0013】
請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の駐車支援装置において、前記記録画像データは、撮像位置での前記車両の舵角情報又は方位情報がさらに関連付
けられるとともに、前記画像出力手段は、前記記録画像データに関連付けられた前記舵角情報又は前記方位情報に基づく過去舵角と、現在の前記車両の舵角情報又は方位情報に基づく現在舵角との相対角度に基づき、前記記録画像データを回転変換する回転変換手段をさらに備えたことを要旨とする。
【0014】
請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記記録画像データに基づく前記過去画像と、前記現在画像データに基づく前記現在画像とを識別可能に前記表示手段に出力することを要旨とする。
【0015】
請求項9に記載の発明は、請求項2〜8のいずれか1項に記載の駐車支援装置において、前記読出手段は、前記車両が予め定められた画像更新距離だけ移動する度に、進行方向において、前記車両の現在位置から所定距離だけ後方の位置が関連付けられた前記記録画像データを前記画像データ記憶手段から読出し、前記画像出力手段は、前記車両が前記画像更新距離だけ移動する度に、読出した前記記録画像データに基づく前記過去画像と、新たに取得した前記画像データに基づく前記現在画像とを前記表示手段に表示することを要旨とする。
【0016】
請求項10に記載の発明は、請求項2〜9のいずれか1項に記載の駐車支援装置において、前記画像出力手段は、前記現在画像データに基づく前記現在画像と、前記画像データ記憶手段に格納された前記記録画像データに基づき、前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記過去画像と、前記車両のフロア下方又は側方を含む領域を撮像した前記過去画像とを前記表示手段に表示することを要旨とする。
【発明の効果】
【0017】
請求項1及び2に記載の発明によれば、新たに撮像装置が撮像した現在画像データに基づく、車両後端又は車両前端の画像を含む現在画像を、現在の車両の後端コーナー又は前端コーナーが位置する領域を撮像した過去画像で補うことができる。さらに、現在の後端コーナー又は前端コーナーの位置を示す指標を過去画像上に描画することができる。このため、現在の車両後端又は車両前端を撮像した画像と、そのコーナー周辺の画像とを表示手段に表示できる。従って、表示手段に表示される画像を、現在の車両の後端全域又は前端全域と障害物との相対距離を直感的に把握することができる画像にすることができる。
【0018】
請求項3に記載の駐車支援装置によれば、画像データ取得手段は、車両の後端コーナーを除く車両後端、又は、前端コーナーを除く車両前端を撮像する撮像装置から、画像データを取得する。そして、画像出力手段は、現在の後端コーナー又は前端コーナーが位置磨る領域を補う記録画像データを用い、現在画像の車両後端又は車両前端の画像を、後端コーナー又は前端コーナーに相当する画像で補う。このため、撮像装置に、車両の後端コーナー又は前端コーナーまでを撮像可能な広角レンズを搭載せずに、現在の車両後端又は車両前端を撮像した画像と、そのコーナー周辺の画像とを表示手段に表示できる。従って、表示手段に表示される画像を、レンズに起因する大きな歪みがなく、現在の車両の後端全域又は前端全域と障害物との相対距離を直感的に把握することができる画像にすることができる。
【0019】
請求項4に記載の発明によれば、読出された記録画像データに基づく過去画像は、現在の撮像装置の視点に視点変換されているので、過去画像と現在画像との連続性が良好になり、違和感のない画像を表示することができる。
【0020】
請求項5に記載の発明によれば、車両後端又は車両前端の画像は、表示手段の画像表示領域内において、車両の進行方向と反対側の端部に表示する。このため、車両後端又は車両前端から、後方背景又は前方背景を見たような画像を表示できるので、車両と周囲の障
害物や駐車目標領域との相対距離を把握しやすい。
【0021】
請求項6に記載の発明によれば、現在画像データは縮小され、縮小された現在画像の両側に、過去画像が表示される。このため、後端コーナー又は前端コーナーにあたる画像が表示されていることを直感的に理解しやすい。
【0022】
請求項7に記載の発明によれば、記録画像データは、その記録画像データの撮像時の舵角又は方位と、現在の舵角又は方位との相対角度に基づき、記録画像データを回転変換する。このため、現在画像と過去画像との連続性を向上できる。しかも、記録画像データのみを回転変換するので、現在画像データを回転変換する必要がなく、処理時間を短縮化できる。
【0023】
請求項8に記載の発明よれば、現在画像と過去画像とは、識別可能に表示手段に表示される。このため、表示手段に表示された各画像のうち、信頼性のある画像を判別できるので、安全性を向上できる。
【0024】
請求項9に記載の発明によれば、車両が画像更新距離だけ移動する度に、所定距離だけ後方の位置で撮像された画像データを用いて、画面が更新される。このため、車両が画像更新距離だけ移動するたびに画像を更新するので、現在状況に即した、比較的正確な情報を提供できる。
【0025】
請求項10に記載の発明によれば、現在画像と、車両の後端コーナ又は前端コーナ周辺の画像と、車両のフロア下方又は側方を少なくとも含む画像とが合わせて表示される。このため、後端コーナ又は前端コーナー周辺だけでなく、駐車枠と車体との相対位置を把握することができる。
【発明を実施するための最良の形態】
【0026】
以下、本発明の駐車支援方法及び駐車支援装置を、車両(自動車)に実装されたナビゲーション装置に具体化した一実施形態を図1〜図14に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
【0027】
図1に示すように、ナビゲーション装置1は、制御装置2を備えている。制御装置2は、主制御を行う制御部3、メインメモリ4及びROM5を備えている。制御部3は、CPU等から構成され、ROM5に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理を行う。尚、制御部3は、特許請求の範囲の位置特定手段及び読出手段を構成する。メインメモリ4は、RAMであって、駐車支援のための各種変数が格納されている。
【0028】
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、ナビゲーション装置1を実装した、図2に示す車両Cにおいて、リヤバンパーRBの後端コーナーとしての隅部BCの輪郭を描画するためのデータである。図7に示すように、輪郭描画データ5aを、表示手段としてのディスプレイ6(図1参照)の画像表示領域6Zに出力すると、リヤバンパーRBの隅部BCの輪郭を示す、指標としての後端描画線39が描画される。尚、車両Cの後端コーナー(本実施形態では隅部BC)とは、リヤバンパーRBの隅部、或いは車両Cの後端の隅部を指す。
【0029】
また、図1に示すように、制御装置2は、位置特定手段を構成するGPS受信部7を備えている。GPS受信部7は、GPS衛星からの電波を受信する。制御部3は、GPS受信部7から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Cの絶対位置を定期的に算出する。
【0030】
さらに、制御装置2は、車両側インターフェース部(車両側I/F部8)を備えている。制御部3は、この車両側I/F部8を介して、シフトポジション信号SP、舵角情報としての舵角センサ信号ST、車速信号VS及び方位情報としての方位検出信号DSからなる車両データを入力する。
【0031】
シフトポジション信号SPは、本実施形態では、車両Cに設けられたシフトポジションスイッチ20から出力された信号であって、現在のシフトポジションを示す。舵角センサ信号STは、ステアリング舵角センサ21から出力された信号であって、現在の車両Cの舵角を示す。車速信号VSは、車輪の回転速度を検出する車速センサ22から出力されたパルス信号であって、制御部3は、そのパルス信号に基づき、車両Cの速度とを算出するとともに、入力パルス数に基づき車両Cの移動距離を算出する。方位検出信号DSは、車両Cの方位を示し、車両Cに設けられたジャイロセンサ23から出力される。
【0032】
制御部3は、これらの車速信号VS及び方位検出信号DSに基づいて、自律航法データを生成し、GPS受信部7に基づき算出した自車位置を補正する。本実施形態では、ナビゲーション装置1の位置を、自車位置として算出する。
【0033】
また、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、ノードデータ及びリンクデータを有し、制御部3は、この経路データ9aを用い、ROM5に格納された経路案内プログラムに従って、経路探索及び経路案内を行う。また、制御部3は、上記したように算出した自車位置と、走行軌跡、経路データ9aを照合して、自車位置を適切な道路上に位置決めすることにより、自車位置の精度を高めるようになっている。地図描画データ9bは、広範囲から狭範囲の地図を描画した地図画面6aをディスプレイ6に表示するためのデータであって、経路データ9aと関連付けられている。
【0034】
さらに、ナビゲーション装置1は、ディスプレイ6及びスピーカ11を備えている。ディスプレイ6は、タッチパネルであって、車両Cが前進する際には、制御部3による駆動制御により、地図画面6aを表示する。また、車両Cが後退する際には、制御部3による駆動制御により、駐車補助モードに切り替えられる。駐車補助モードには、第1及び第2表示モードが設定され、第1表示モードでは、撮像装置としてのバックモニタカメラ(以下、カメラ25という)により、車両Cの後方を撮像した後方撮像画面100(図19参照)をディスプレイ6に表示する。第2表示モードでは、カメラ25により撮像した複数の画像データを用いた画面を表示する。スピーカ11は、制御装置2が備える音声出力部12からの出力信号に基づき、案内経路等を案内する案内音又は案内音声を出力する。
【0035】
また、制御装置2は、画像データ取得手段としての画像データ取得部10を備えている。画像データ取得部10は、車両Cに設けられたカメラ25を駆動制御して、車両Cが画像取得距離D1だけ移動する度に、画像データG(図4参照)を逐次取得する。本実施形態では、画像取得距離D1は、200mmに予め設定されている。
【0036】
図2に示すように、カメラ25は、リヤバンパーRBのほぼ上方であって、バックドア等の後端CA(後端部)のうち、車幅方向(図中Y矢印方向)の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ25は、カラー画像を撮像し、アナログ/デジタル変換された画像データGを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)を備えている。図3に示すように、カメラ25は、例えば左右140度の後方視野を有し、車両Cの後方路面の約数メートルを可視範囲Zとしている。また、カメラ25の撮像範囲には、車両Cの後方背景と、リヤバンパーRBの角周辺の隅部BCを除く、車両後端としての中央部BMと
が含まれている。
【0037】
カメラ25によって生成された画像データGは、例えば、図6(a)に示すような画像30を表示する。画像30には、リヤバンパーRBの中央部BMのみを撮像した後端画像40が、車両Cの後退方向(図中、x矢印方向)と反対側の下端に表示されている。即ち、カメラ25の死角であるリヤバンパーRBの隅部BCは、画像30には含まれない。また、画像30は、カメラ25が広角レンズを用いているため、周辺の画像が歪む、いわゆる歪曲収差が生じているが、目視した場合と比べ、大きな違和感の無い程度の画像になっている。また、画像30は、車室内のバックミラーに映る像と同様になるように、左右反転した画像になっている。
【0038】
制御部3は、車両Cが後退状態である場合に、画像データ取得部10から、画像データGを取得する。そして、その画像データGを、画像メモリ15(図1参照)に蓄積する記録画像データG1とし、図4に模式的に示すように、その記録画像データG1を撮像した位置を、撮像位置データ13(位置データ)として添付する。また、舵角センサ信号STに基づく舵角を、舵角データ14として添付する。そして、撮像位置データ13及び舵角データ14が添付された記録画像データG1を、記録データGAとして画像データ記憶手段としての画像メモリ15に格納する。即ち、画像メモリ15には、車両Cが画像取得距離D1を移動する度に撮像された各記録画像データG1が蓄積される。また、添付される撮像位置データ13は、絶対座標でもよいし、基準位置からの相対座標でもよい。また、舵角データ14ではなく、方位検出信号DSに基づく方位データを画像データGに添付するようにしてもよい。
【0039】
また、図1に示すように、制御装置2は、ユーザ入力I/F部17を備えている。ユーザ入力I/F部17は、タッチパネルや、ディスプレイ6に隣設された操作スイッチ16がユーザにより入力操作されると、入力操作に応じた入力信号を制御部3に出力する。
【0040】
さらに、制御装置2は、画像処理手段、読出手段、画像出力手段、視点変換手段、回転変換手段及び指標描画手段を構成する描画処理部18を備えている。描画処理部18は、画像処理を行う演算部や、ディスプレイ6に表示するための出力データを一時格納するVRAM(いずれも図示省略)等を備えている。
【0041】
描画処理部18は、車両Cが後退した際に、制御部3の制御に従って、第1表示モードの処理を行う。描画処理部18は、画像データ取得部10が取得した画像データGをディスプレイ6に出力し、上記した後方撮像画面100を表示する。
【0042】
第2表示モードの際は、描画処理部18は、制御部3の制御により、画像更新距離D2ごとに、図11に示すような駐車支援画面44を出力する。詳述すると、描画処理部18は、制御部3から車両Cの現在位置を入力し、その現在位置よりも、進行方向(後退方向)において、所定距離としての合成用距離D3だけ後方で撮像された記録画像データG1を画像メモリ15内で検索する。本実施形態では、画像更新距離D2は、200mmに予め設定されている。合成用距離D3は、一地点から進行方向において後方の位置であって、一地点のリヤバンパーRBの隅部BCの位置を含む周辺領域を撮像する他地点と、その一地点との最小距離であって、本実施形態では、1mに予め設定されている。
【0043】
具体的には、描画処理部18は、車両Cが後方に直進して、図5(b)に示す位置Bに到達すると、蓄積された各記録画像データG1のうち、現在の位置から合成用距離D3分後方の初期位置Aが撮像位置データ13として添付された記録画像データG1を読み出す。このとき、読み出された記録画像データG1は、少なくとも現在位置の車両CのリヤバンパーRBの隅部BCの位置を含む領域を撮像した記録画像データG1であって、例えば
、図6(a)に示すような過去画像30を出力するデータである。過去画像30には、車両Cの周囲の障害物30b等を含む背景30aと、後端画像40とが表示されている。
【0044】
そして、描画処理部18は、初期位置Aにおけるカメラ視点VAで撮像された記録画像データG1を、現在位置(位置B)でのカメラ25のカメラ視点VBに、視点変換し、例えば図6(b)に示すような、過去画像としての変換画像31を生成する。これにより、記録画像データG1の撮像範囲は変えずに、現在のカメラ視点VBから、その撮像範囲を見た変換画像データG2にすることができる。この視点変換処理としては、アフィン変換等、公知の変換処理を用いる。尚、本実施形態では、カメラ視点VA〜VCは、各位置A〜Cでのカメラ25のレンズの位置を示す。
【0045】
また、車両Cが旋回しながら後退している場合には、描画処理部18は、舵角センサ信号STに基づく現在舵角と、読み出した画像データGに添付された舵角データ14に基づく過去舵角との相対角度に基づき、画像データGを、現在のカメラ視点VCを視点とした画像データに回転変換する。このとき、描画処理部18は、ROM5に格納された、相対角度ごとに作成された各回転変換テーブル(図示省略)を読込んで、画像データGの各座標の画素値を、テーブルによって紐付けられた座標にマッピングする。
【0046】
さらに、描画処理部18は、現在位置で撮像した画像データG(以下、現在画像データG3という)を取得する。現在画像データG3は、例えば、図6(c)に示すような現在画像32を出力するデータである。そして、描画処理部18は、現在画像データG3を、所定の縮小率で車幅方向(図6中y矢印方向)に縮小し、図6(d)に示すような縮小データG4を生成する。これにより、縮小データG4に基づく縮小画像33は、車幅方向(y矢印方向)に縮んだ状態になっているが、進行方向(後退方向、x矢印方向)は、伸縮されていない状態になっている。
【0047】
さらに、描画処理部18は、図6(e)に示すように、縮小データG4のうち、所定の領域を、ディスプレイ6の画像表示領域6Zの略中央部に設定された合成領域34に配置し、縮小データG4と変換画像データG2とを合成する。このとき、この合成領域34は、合成用距離D3だけ車両Cが移動したとき、画素座標が、車両Cの移動に伴い平行移動する移動先の座標を求めることによって、設定される。合成の結果、縮小データG4の上端部等、変換画像データG2と重ならない部分が生じた場合には、その部分を画像表示領域6Zに表示されない非表示領域とする。また、縮小データG4の特徴点と、記録画像データG1の特徴点を合致させることで、合成するようにしてもよい。
【0048】
或いは、変換画像データG2のうち、図6(b)に示すように、予め定められた合成領域35を抽出し、その抽出データと、縮小データG4とを合成してもよい。合成領域35は、記録画像データG1の両側部であって、現在のリヤバンパーRBの後端コーナーとしての隅部BCにあたる領域を少なくとも含んでいる。この合成領域35は、合成用距離D3、カメラ25の取付位置、レンズの画角等によって変化するため、車種ごとに演算・実験等によって求める。
【0049】
そして、描画処理部18は、縮小データG4に基づく縮小現在画像36と、記録画像データG1に基づく変換画像データG2とを表示した合成画像38をディスプレイ6に表示する。変換画像31は、縮小現在画像36を挟んで、その両側に配置されている。変換画像31は、現在のカメラ25の可視範囲外となる領域の画像であって、現在のリヤバンパーRBの隅部BCと、その隅部BCを中心とした、数十〜数百mmの範囲を撮像している。このため、例えば、縮小現在画像36には表示されない障害物30bも合成画像38に表示されている。
【0050】
また、描画処理部18は、ROM5に格納された輪郭描画データ5aを用いて、現在の自車位置に合わせて、図7に示すような後端描画線39を合成画像38に描画する。後端描画線39は、リヤバンパーRBの隅部BCの輪郭線であって、図11に示すように、変換画像31に重畳して描画され、リヤバンパーRBの中央部BMが撮像された後端画像40に連続するように描画される。
【0051】
また、描画処理部18は、図11に示すように、記録画像データG1を加工して、変換画像31と、縮小現在画像36とを視認により識別可能にする。例えば、描画処理部18は、記録画像データG1の色調、階調、明度及び模様のいずれか1つを、縮小現在画像36とは異なるように加工して、変換画像31と縮小現在画像36とを視認により判別可能にする。
【0052】
さらに、描画処理部18は、図11に示すように、変換画像31と縮小現在画像36とを区画する画像区画線41を合成画像38上に描画する。この画像区画線41により、合成画像38のうち、どの表示範囲が現在の状況に即した画像かを判別することができる。
【0053】
そして、描画処理部18は、後方撮像画面100を表示する際と同様に、車幅延長線42、予想軌跡線43を合成画像38上に描画する。車幅延長線42は、車両Cの車幅を後方に延長した指標である。予想軌跡線43は、車幅及びその時の車両Cの舵角に基づき、後退する車両Cの走行軌跡を予想した指標であって、車両Cから予め定めた距離(例えば、2.7m)までの走行軌跡を示す。尚、実際の画面では、車幅延長線42と予想軌跡線43とは異なる色の線で描画され、容易に判別可能になっている。また、図11に示す駐車支援画面44では、車両Cが直進しているため、車幅延長線42と予想軌跡線43とが重ねられている。
【0054】
さらに駐車支援画面44には、この画面が、変換画像31を用いた画面であることを報知する警告表示46や、車幅延長線42及び予想軌跡線43を消去できる操作部47、第2表示モードから第1表示モードに切り換える操作部48が表示されている。駐車支援画面44では、縮小現在画像36は車幅方向に縮小されているものの、進行方向(後退方向、図中x矢印方向)の距離は、変換画像31や、通常の後方撮像画面100と同一であるので、リヤバンパーRBの中央部と障害物との距離を把握しやすい画像となっている。
【0055】
また、リヤバンパーRBの隅部BCにおいては、中央部BMと違って、障害物との進行方向(x矢印方向)における相対距離だけでなく、車幅方向(y矢印方向)における相対距離にも注意する必要がある。駐車支援画面44の変換画像31は、縮小されていないため、視認し易く、変換画像31内の距離感は、通常の後方撮像画面100と同じになっている。このため、リヤバンパーRBの隅部BCと障害物との相対距離を、より把握しやすくなっている。
【0056】
次に、本実施形態の駐車支援処理の処理手順について、図8〜図10に従って説明する。まず、制御部3は、ナビゲーション装置1の起動後、ROM5に格納された駐車支援プログラムに従って、図8に示すように、シフトポジションスイッチ20から入力したシフトポジション信号SPに基づき、車両Cの変速機がリバースレンジであるか否かの判断を繰り返す(ステップS1)。リバースレンジである場合には(ステップS1においてYES)、その位置を初期位置とし、さらに、駐車支援画面44を表示する第2表示モードを開始するか否かを判断する(ステップS2)。この第2表示モードは、ディスプレイ6に表示された操作部47、又はディスプレイ6に隣設された操作スイッチ16によって選択可能になっている。第2表示モードを起動する設定がなされると、メインメモリ4に格納されたモード起動フラグがオン状態に設定される。
【0057】
制御部3は、メインメモリ4に格納されたモード起動フラグがオフ状態であると判断すると、(ステップS2においてNO)、描画処理部18を制御して、第1表示モードを行う(ステップS3)。モード起動フラグがオン状態であると判断すると(ステップS2においてYES)、ステップS4に進む。
【0058】
図9に示すように、ステップS4では、制御部3は、各種パラメータを初期化する。このパラメータとしては、記録用カウンタLn1、更新用カウンタLn2がある。記録用カウンタLn1は、画像データGを取得する画像取得距離D1に到達したか否かを判断するためのカウンタである。更新用カウンタLn2は、駐車支援画面44を更新する画像更新距離D2に到達したか否かを判断するためのカウンタである。本実施形態では、記録用カウンタLn1及び更新用カウンタLn2は、メインメモリ4に格納されている。
【0059】
パラメータの初期化が行われると、制御部3は、車両Cが初期位置に位置するときに、画像データ取得部10を制御して、カメラ25から画像データGを取得する(ステップS5)。また、制御部3は、ほぼ同時に、車両側I/F部8を介して、シフトポジション信号SP、舵角センサ信号ST、車速信号VS、方位検出信号DS等の車両データを取得する(ステップS6)。制御部3は、GPS受信部7と、車速信号VS、方位検出信号DSとに基づき、自車位置を算出する。
【0060】
そして、制御部3は、車両Cの現在位置を示す撮像位置データ13と、舵角センサ信号STに基づく舵角データ14とを、画像データGに添付して、記録画像データG1として画像メモリ15に格納する(ステップS7)。
【0061】
また、制御部3は、受信した車速信号VSに基づき、車両Cが後方へ走行しているか否かの判断を繰り返す(ステップS8)。具体的には、車速信号VS(パルス信号)の入力があるか否かを判断する。
【0062】
走行状態であると判断した場合には(ステップS8においてYES)、その車速信号VSに基づき、記録用カウンタLn1に「1」を加算して、記録用カウンタLn1を更新する(ステップS9)。さらに、制御部3は、更新用カウンタLn2に「1」を加算して、更新用カウンタLn2を更新する(ステップS10)。即ち、入力パルス数に応じて記録用カウンタLn1及び更新用カウンタLn2を更新することによって、車両Cの移動距離を算出する。
【0063】
そして、制御部3は、記録用カウンタLn1に基づいて算出した車両Cの移動距離が、画像取得距離D1以上であるか否かを判断する(ステップS11)。記録用カウンタLn1に基づく移動距離が、画像取得距離D1以上である場合(ステップS11においてYES)には、画像データ取得部10は、ステップS5と同様に、カメラ25から、画像データGを取得する(ステップS12)。そして、ステップS6、S7と同様に、車両データを取得し(ステップS13)、取得した画像データGを、記録画像データG1として画像メモリ15に格納する(ステップS14)。さらに、制御部3は、記録用カウンタLn1を、初期値にリセットする(ステップS15)。即ち、ステップS8〜S15において、車両Cが画像取得距離D1だけ移動する度に、画像データGが取得され、その画像データGを撮像した車両Cの撮像位置データ13、及び舵角データ14が添付された、記録画像データG1が画像メモリ15に蓄積される。
【0064】
また、制御部3が、記録用カウンタLn1が画像取得距離D1未満であると判断した場合(ステップS11においてNO)には、ステップS16に進む。
ステップS16では、制御部3は、更新用カウンタLn2に基づいて算出された移動距離が、画像更新距離D2以上であるか否かを判断する。例えば、初期位置が、図5(a)
に示す位置Aであるとすると、初期位置Aから画像更新距離D2(200mm)だけ後退したか否かを判断する。更新用カウンタLn2に基づく移動距離が、画像更新距離D2以上であると判断した場合(ステップS16においてYES)には、次のステップに進む。更新用カウンタLn2に基づく移動距離が、画像更新距離D2に満たない場合(ステップS16においてNO)には、ステップS8に戻る。
【0065】
次に、図10に示すステップS17では、制御部3の制御により、描画処理部18は、現在位置から合成用距離D3だけ後方で撮像された記録画像データG1があるか否かを判断する。詳述すると、制御部3は、画像メモリ15に格納された各記録画像データG1の撮像位置データ13に基づき、移動軌跡を算出し、移動軌跡において、現在位置から合成用距離(1m)後方の位置で撮像した記録画像データG1があるか否かを判断する。例えば、車両Cが、図5に示す位置Aから位置Bの間にあるとき、現在位置(位置B)から合成用距離D3だけ後方の位置で撮像された記録画像データG1が無いと判断し、ステップS8に移る。尚、算出した移動軌跡は、メインメモリ4に格納する。
【0066】
そしてステップS8〜S16を繰り返した後、車両Cが、図5に示す位置Bに到達したとき、位置Bから合成用距離D3だけ後方の初期位置Aで撮像された記録画像データG1が画像メモリ15内に蓄積されているので、制御部3は、該当する記録画像データG1があると判断する(ステップS17においてYES)。そして、描画処理部18は、該当する記録画像データG1を画像メモリ15から読出す(ステップS18)。
【0067】
記録画像データG1を読出すと、描画処理部18は、現在画像データG3及び記録画像データG1を用いて、合成画像38を生成する(ステップS19)。まず、描画処理部18は、記録画像データG1を視点変換する。例えば、描画処理部18は、カメラ25がカメラ視点VAで撮像した記録画像データG1を、現在のカメラ視点VCから見た記録画像データG1に視点変換する。これにより、図6(a)に示すような過去画像30が、図6(b)に示す変換画像31に変換される。視点変換された変換画像31は、光軸又は画角が路面に向ってさらに傾斜したような画像となる。
【0068】
また、車両Cが旋回しながら後退する場合に、描画処理部18は回転変換テーブルを読込んで回転変換を行うが、図5のように直進する場合には、回転変換は省略する。さらに、描画処理部18は、記録画像データG1の色調、階調、明度及び模様のいずれか1つを加工する。
【0069】
さらに、描画処理部18は、現在位置(位置B)で撮像した現在画像データG3を、所定の縮小率で、車幅方向(y矢印方向)に縮小し、縮小データG4を生成する。これにより、現在画像データG3に基づく現在画像32は、図6(d)の縮小画像33のように縮小される。そして、縮小データG4と、視点変換した記録画像データG1とを合成し、縮小データG4と記録画像データG1とからなる合成データをディスプレイ6に出力する(ステップS20)。
【0070】
また、描画処理部18は、ROM5から、輪郭描画データ5aを読出し、図11に示すように後端描画線39を合成画像38上に描画する。さらに、描画処理部18は、画像区画線41と、車幅延長線42と、制御部3から入力した現在舵角に基づいた予想軌跡線43等を描画する。また、ディスプレイ6の画像表示領域6Zの下部に、警告表示46、各操作部47,48を表示する。その結果、図11に示すような、駐車支援画面44がディスプレイ6に出力される。駐車支援画面44を出力すると、更新用カウンタLn2をリセットする(ステップS21)。
【0071】
駐車支援画面44をディスプレイ6に出力すると、制御部3は、駐車支援画面44を出
力する第2表示モードがオフ状態であるか否かを判断する(ステップS22)。具体的には、タッチパネル操作や、操作スイッチ16が入力操作が行われることにより、ユーザ入力I/F部17にて、第2表示モードを終了するための入力信号を入力したか否かを判断する。
【0072】
第2表示モードがオン状態である場合(ステップS22においてNO)、ステップS8に戻る。第2表示モードがオフ状態である場合(ステップS22においてYES)、駐車補助モードを終了させるトリガを入力したか否かを判断する(ステップS23)。この終了トリガとしては、車両Cに設けられた図示しない電子制御装置(ECU)等から出力された、イグニッションオフを示す信号等、シフトポジションの変更を示す信号等がある。
【0073】
終了トリガを入力した場合(ステップS23においてYES)、駐車補助モードを終了する。終了トリガの入力が無いと判断した場合(ステップS23においてNO)、即ち、第2表示モードが終了したが、第1表示モードがオン状態である場合には、ステップS2に戻る。
【0074】
第2表示モードが継続され、例えば、車両Cが、図5(b)に示す位置Bから、画像更新距離D2だけ後退し、(c)に示す位置Cまで移動した場合には、制御部3は、記録用カウンタLn1及び更新用カウンタLn2をそれぞれ更新する(ステップS9、ステップS10)。そして、位置Cで撮像した画像データGを、さらに後退した位置で用いる記録データGAとして、画像メモリ15に格納する(ステップS11〜S15)。
【0075】
そして、図10に示すステップS17では、位置Cから、進行方向において、合成用距離D3だけ後方の位置である位置(図示省略)で撮像した記録画像データG1を読出す。そして、読出した記録画像データG1と、位置Cで撮像した現在画像データG3とを合成し(ステップS19)、駐車支援画面44を出力する(ステップS20)。その結果、例えば、図12に示すような、駐車支援画面44が出力される。この駐車支援画面44に示すように、例えば、車両Cが、駐車目標領域50の半ばまで進入するに従い、縮小現在画像36内に隣りに駐車された他車両C1が表示されなくなった場合にも、変換画像31によって補うことにより、隅部BC(後端描画線39)と他車両C1との車幅方向及び進行方向における相対距離を把握することができる。
【0076】
一方、図13に示すように、車両Cが旋回しながら駐車目標領域50まで後退する場合、制御部3は、記録画像データG1の撮像位置データ13及び舵角データ14に基づいて、移動軌跡51を求める。
【0077】
そして、制御部3の制御により、描画処理部18は、移動軌跡51上であって、車両Cの現在位置よりも、合成用距離D3だけ後方の位置で撮像された記録画像データG1を画像メモリ15から読出す(ステップS18)。そして、記録画像データG1に添付された舵角データ14に基づく過去舵角と、現在舵角との相対角度を算出する。さらに、その相対角度に基づいた回転変換テーブルを読込み、記録画像データG1の各画素座標を、テーブルによって紐付けられた変換先の画素座標にマッピングする。これにより、記録画像データG1が、現在のカメラ25のカメラ視点から撮像されたデータのように変換される。
【0078】
記録画像データG1を変換すると、その記録画像データG1と現在画像データG3とを、上記したように合成して(ステップS19)、駐車支援画面44を出力する(ステップS20)。これにより、図14に示すような駐車支援画面44が表示される。この駐車支援画面44では、例えば、変換画像31に表示された障害物(他車両C1)と、リヤバンパーRBの隅部BCとの相対距離が把握できるので、障害物に過度に接近しないように、操舵を行うことができる。
【0079】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ナビゲーション装置1は、車両CのリヤバンパーRBの中央部BMと、車両Cの後方背景とを撮像するカメラ25から、画像データGを取得するようにした。また、取得した画像データGを、撮像位置データ13及び舵角データ14と対応付けて、記録画像データG1として画像メモリ15に格納するようにした。さらに、車両Cの移動に伴って、現在の車両CのリヤバンパーRBの隅部BCの位置を含む領域を撮像した記録画像データG1を読出すようにした。そして、現在画像データG3に基づく縮小現在画像36と、読出した記録画像データG1に基づく変換画像31とをディスプレイ6に表示するようにした。さらに、変換画像31に、現在の隅部BCの位置を示す後端描画線39を重畳して描画するようにした。このため、カメラ25のレンズの画角を大きくしたり、車両Cの隅部BC周辺を撮像する他のカメラを用いることなく、1つのカメラ25を用いて、リヤバンパーRBの隅部BCの位置にあたる画像をディスプレイ6に表示できる。従って、ディスプレイ6に表示される駐車支援画面44を、レンズ歪みに起因する違和感がなく、現在の車両CのリヤバンパーRB全域と障害物との距離を直感的に把握することができる画面にすることができる。このため、リヤバンパーRBの隅部BC周辺に障害物がある場合でも、運転者は、障害物との相対距離に注意しながら、駐車目標領域50内に車両Cを駐車することができる。
【0080】
(2)上記実施形態では、画像データ取得部10は、車両Cの後端であって、リヤバンパーRBの直上に設けられたカメラ25から、画像データGを取得するようにした。即ち、画像データ取得部10は、車両Cの後端であるリヤバンパーRBの中央部BMを撮像し、車両Cの後側方の障害物・駐車枠・輪止め等までの相対距離を確認できる画像データGを直接得ることができる。このため、縮小現在画像36に撮像された後端画像40を削除せずにそのまま残すことで、リヤバンパーRBと障害物との相対距離がわかりやすい画面を表示できる。また、現在位置の画像データGを、障害物までの相対距離が確認可能な視点に視点変換する必要がないので、ナビゲーション装置1にかかる負荷が軽減される。
【0081】
(3)上記実施形態では、描画処理部18は、読出した記録画像データG1を、現在のカメラ25の視点に視点変換するようにした。このため、変換画像31を、縮小現在画像36との連続性が良好な画像にすることができるので、駐車支援画面44を、違和感がなく、直感的に理解できる画面にすることができる。
【0082】
(4)上記実施形態では、描画処理部18は、現在位置で撮像した現在画像データG3を、車幅方向に縮小するようにした。そして、その縮小データG4に基づく縮小現在画像36を、ディスプレイ6の画像表示領域6Zの中央に配置し、変換画像31を縮小現在画像36の両側に配置するようにした。このため、リヤバンパーRBの両隅部BCを、駐車支援画面44に表示することができる。しかも、縮小現在画像36は、車両Cの進行方向(後退方向)には縮小されていないので、周囲の背景を見やすくすることができる。また、変換画像31は縮小されずに、通常の後方撮像画面100と同様な縮尺で表示されるので、変換画像31を、リヤバンパーRBの隅部BCと障害物との進行方向及び車幅方向における相対距離が把握しやすい画面にすることができる。
【0083】
(5)上記実施形態では、制御部3は、取得した画像データGに、撮像位置データ13のみでなく、舵角データ14を添付して、画像メモリ15に格納するようにした。このため、記録画像データG1を、現在の舵角に応じて回転変換することができるので、後退する車両Cが操舵されたときにも、変換画像31を、現在のカメラ25の視点から見た画像のように変換できる。従って、変換画像31を、縮小現在画像36との連続性が良好な画像にすることができる。
【0084】
(6)上記実施形態では、描画処理部18は、記録画像データG1の、色調、階調、明度及び模様のうちいずれか1つを加工して、変換画像31と縮小現在画像36とを視認により識別可能にディスプレイ6に表示するようにした。このため、駐車支援画面44のうち、現在の画像を判別できるので、安全性を向上できる。
【0085】
(7)上記実施形態では、描画処理部18は、車両Cが画像更新距離D2だけ移動する度に、進行方向において、車両Cの現在位置から合成用距離D3だけ後方の撮像位置データ13が関連付けられた記録画像データG1を画像メモリから読出すようにした。そして、読出した記録画像データG1に基づく変換画像31と、現在画像データG3に基づく縮小現在画像36とをディスプレイ6に表示するようにした。このため、車両Cが画像更新距離D2だけ移動するたびに画像を更新するので、現在状況に即した、比較的正確な画像を表示できる。
【0086】
(8)上記実施形態では、駐車支援装置を、GPS受信部7、ディスプレイ6及び車両側I/F部8を備えるナビゲーション装置1に具体化した。このため、ナビゲーション装置1が具備する各装置を有効利用し、比較的精度の高い撮像位置データ13等が添付された記録画像データG1を画像メモリ15内に蓄積することができる。
【0087】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、現在画像データG3を車幅方向だけでなく進行方向にも縮小してもよい。具体的には、図15(b)に示すように、車両Cの現在位置で撮像した現在画像データG3に基づく現在画像61を、車幅方向及び進行方向において縮小し、図15(c)に示す縮小画像62を表示するような縮小データG4を生成してもよい。そして、図15(a)に示す過去画像60を表示する記録画像データG1を少なくとも視点変換し、縮小データG4と合成する。これにより、図15(d)に示すような合成画像63が表示される。この合成画像63は、縮小画像62の占有する割合が、図11に示す駐車支援画面44よりも小さくなっている。このため、図15(d)に示すように、縮小画像62の下方に、縮小画像62と合成されない過去画像60の一部領域が生じる。
【0088】
そして、図16に示すように、この過去画像60に、後端描画線39だけでなく、車体輪郭線64を描画するようにしてもよい。即ち、縮小画像62の下方の過去画像60は、車両Cのフロア下方の領域にあたるため、現在の車体の輪郭を描画することによって、過去画像60上における車両Cの位置を示すことができる。車体輪郭線64は、少なくとも車体の外郭を示す車体描画線65、後車輪を示す後車輪描画線66を有している。このようにすると、リヤバンパーRBの隅部BCだけでなく、車体の位置も確認することができるので、駐車目標領域50からずれることなく駐車することができる。
【0089】
・上記実施形態では、縮小現在画像36の両側に配置された変換画像31の幅を同じ長さにしたが、異なる長さにしてもよい。例えば、図17の駐車支援画面44に示すように、縮小現在画像36の左側に配置された変換画像31の領域(幅)を、右側に配置された変換画像31の領域(幅)よりも大きくするようにしてもよい。このような駐車支援画面44を表示する場合として、カメラ25が、車両Cの中心軸に対してオフセットされた位置に配置されている場合がある。このとき、カメラ25の可視範囲は、リヤバンパーRBの隅部BCのうち、片方側の隅部BCに寄っているので、他方側の隅部BC側は確認しずらい。このため、他方側の隅部BCを駐車支援画面44内に含めるため、他方側の変換画像31の領域を大きくするようにしてもよい。また、ディスプレイ6の画面に表示された操作部67を入力操作して、縮小現在画像36の両側に配置された変換画像31の領域(幅)の比を、変更するようにしてもよい。操作部67が操作されたとき、描画処理部18は、現在位置から合成用距離D3よりもさらに後方で撮像された記録画像データG1を画像メモリ15から読出し、画面更新する。このようにすると、比較的新しい記録画像デー
タG1を用いることができないが、車両Cの片側に障害物があるとき、その障害物がある側の変換画像31の割合を大きくすることにより、障害物と車両Cとの相対距離を確認できる。
【0090】
・上記実施形態では、駐車支援画面44において、縮小現在画像36の両側に変換画像31を配置したが、片方に配置するようにしてもよい。例えば、記録画像データG1を回転変換したり、記録画像データG1の一部と現在画像データG3とを合成することにより、図18に示すような駐車支援画面44を表示する。この駐車支援画面44では、縮小現在画像36の左側のみに、変換画像31を配置している。また、このとき、変換画像31を表示する位置を、縮小現在画像36の左側と右側との間で切替えるための操作部68を表示するようにしてもよい。このようにすると、運転席から視認し難い車両Cの側方や、障害物が存在する領域を集中的にディスプレイ6に表示することができる。
【0091】
・上記実施形態では、変換画像31にリヤバンパーRBの隅部BCを描画する後端描画線39を重ねて表示するようにした。これ以外に、輪郭線でなく、隅部BCを描画した画像や、リヤバンパーRB全域を示す指標を縮小現在画像36及び変換画像31に重畳してもよく、その他の指標にしてもよい。
【0092】
・上記実施形態では、ナビゲーション装置1の位置を、自車位置として検出したが、カメラ25の位置でもよい。或いは、車両CのリヤバンパーRBの位置等、その他の位置にしても良い。
【0093】
・上記各実施形態では、画像取得距離D1は、200mmとしたが、100mm等、その他の距離でもよい。また、画像取得距離D1と、画像更新距離D2とを同じ距離としたが、異なる距離でもよい。さらに、合成用距離D3は、1mでなく、他の距離でもよい。
【0094】
・上記実施形態では、ナビゲーション装置1が、車両Cの方位を検出するジャイロセンサを具備していてもよい。
・ナビゲーション装置1は、シフトポジションスイッチ20からシフトポジション信号SPを入力するようにしたが、車速センサ22から入力した車速パルスにより、車両Cの後退を検出するようにしてもよい。
【0095】
・ナビゲーション装置1は、車両Cに取付けられた検出手段としてのセンサや検出装置に基づき、第2表示モードに切替えるようにしてもよい。例えば、駐車目標領域の内側又は周囲の立体障害物を検出するソナー(検出装置)や、画像データGに基づき車両C周辺の移動体を検出する画像処理装置等をナビゲーション装置1に設け、車両C周辺に歩行者等の移動体が検出されない場合に、変換画像31を用いる第2表示モードを開始するようにしてもよい。即ち、移動体が検出された場合には、変換画像31内の障害物の位置と、障害物の現在の位置とが異なっている可能性があるため、第2表示モードを行わず、スピーカ11等によって移動体の検出を報知する。或いは、上記した検出装置を用い、静止した障害物が検出された場合に、第2表示モードを開始してもよい。
【0096】
・上記実施形態では、制御部3は、車両Cが後退を開始したことを検出した際に画像データGの蓄積を行うようにした。これ以外に、制御部3が、車両Cの後退を検出し、且つ現在の舵角が所定の舵角未満になった場合に、画像データGの蓄積を開始するようにしてもよい。このようにすると、画像データGの蓄積を必要最小限とし、画像データ入力処理、装置にかかる負荷を軽減することができる。
【0097】
・上記実施形態では、画像データGに、撮像位置データ13を添付したが、初期位置からの累積距離を添付するようにしてもよい。また、撮像位置データ13及び舵角データ1
4は、画像データGに添付されるのではなく、ROM5又はメインメモリ4に、各記録画像データG1と紐付けされたテーブルを格納してもよい。
【0098】
・上記実施形態では、駐車支援画面44に警告表示46を表示するようにしたが、これを省略し、スピーカ11から、変換画像31が表示されていることを報知する音声や、警告音を出力してもよい。
【0099】
・カメラ25は、車両Cの後方でなく、フロントバンパーの上方等、車両Cの前端に取り付けられてもよい。この場合、カメラ25は、フロントバンパーの車両前端としての中央部と、前方背景とを撮像可能であって、前端コーナーとしての隅部は死角になっている。またこのとき、例えば、車両Cが駐車目標領域に前進しながら進入するときに、駐車支援処理を行ってもよい。この場合にも、このカメラによって生成された画像データGを使用して、車両Cのフロントバンパーの隅部を表示することができるため、車両Cと障害物との相対距離を把握することができる。
【0100】
・上記各実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、記録画像データG1及び現在画像データG3を用いた駐車支援画面44をディスプレイ6に表示してもよい。
【0101】
・上記実施形態では、カメラ25の撮像範囲は、車両Cの後方背景と、リヤバンパーRBの隅部BCを除く、車両後端としての中央部BMとが含まれるようになっているが、より画角が大きい広角レンズを用いたカメラを使用して、撮像範囲を、リヤバンパーRBの隅部BCを含むようにすることもできる。この場合、現在画像データG3においてリヤバンパーRBの隅部BC付近の画像を切り取り、残った現在画像データG3と、リヤバンパーRBの隅部BC付近に相当する記録画像データG1を合成するようにしてもよい。
【0102】
・上記実施形態では、駐車支援装置を、ナビゲーション装置1に具体化したが、その他の車載装置に具体化してもよい。この場合、GPS受信部7や、地図データ記憶部9等が省略される。
【図面の簡単な説明】
【0103】
【図1】本実施形態のナビゲーション装置の構成を説明するブロック図。
【図2】カメラの取付位置を説明する説明図。
【図3】カメラの撮像範囲を説明する説明図。
【図4】画像メモリに格納された画像データの説明図。
【図5】画像の更新を説明するための説明図であって、(a)は車両の初期位置A、(b)及び(c)は位置B〜位置Cを示す。
【図6】合成処理の説明図であって、(a)及び(b)は記録画像データ、(c)及び(d)は現在画像データの画像処理の説明図、(e)は合成画像の説明図。
【図7】後端描画線の説明図。
【図8】本実施形態の処理手順の説明図。
【図9】同処理手順の説明図。
【図10】同処理手順の説明図。
【図11】駐車支援画面の説明図。
【図12】駐車支援画面の説明図。
【図13】車両の移動軌跡の説明図。
【図14】駐車支援画面の説明図。
【図15】別例の合成処理であって、(a)は記録画像データ、(b)及び(c)は現在画像データに対する画像処理の説明図、(d)は合成画像の説明図である。
【図16】別例の駐車支援画面の説明図。
【図17】別例の駐車支援画面の説明図。
【図18】別例の駐車支援画面の説明図。
【図19】従来の後方撮像画面の説明図。
【符号の説明】
【0104】
1…駐車支援装置としてのナビゲーション装置、3…位置特定手段、読出手段を構成する制御部、6…表示手段としてのディスプレイ、6Z…画像表示領域、7…位置特定手段を構成するGPS受信部、10…画像データ取得手段としての画像データ取得部、13…位置データとしての撮像位置データ、14…舵角情報としての舵角データ、15…画像データ記憶手段としての画像メモリ、18…読出手段、画像出力手段、視点変換手段、回転変換手段及び指標描画手段としての描画処理部、25…撮像装置としてのカメラ、30,60…過去画像、30a…背景、31…過去画像としての変換画像、36…現在画像、32,61…現在画像、39…指標としての後端描画線、B1…後端コーナーとしての隅部、C…車両、CA…後端部としての後端、D2…画像更新距離、D3…合成用距離、DS…方位情報としての方位検出信号、G…画像データ、G1…記録データとしての記録画像データ、G3…現在画像データ、RB…後端としてのリヤバンパーST…舵角情報としての舵角センサ信号。
【特許請求の範囲】
【請求項1】
車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
前記画像データ取得手段が取得した前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして前記画像データ記憶手段に格納し、
前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の後端コーナー又は前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出し、
前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記車両の現在位置で前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示するとともに、
現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の一部と連続させて、前記過去画像上に描画することを特徴とする駐車支援方法。
【請求項2】
車両に設けられた駐車支援装置において、
前記車両の位置を特定する位置特定手段と、
前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、
前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして格納する画像データ記憶手段と、
前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の後端コーナー又は前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出す読出手段と、
前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記車両の現在位置で前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、表示手段に表示する画像出力手段と、
現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の画像と連続させて、前記過去画像上に描画する指標描画手段と
を備えることを特徴とする駐車支援装置。
【請求項3】
請求項2に記載の駐車支援装置において、
前記画像データ取得手段は、
前記車両の後端コーナーを除く車両後端又は前端コーナーを除く車両前端を撮像する前記撮像装置から、前記画像データを取得し、
前記画像出力手段は、
前記画像データ取得手段により新たに取得した現在の画像データに基づく、前記後端コーナーを除く前記車両後端又は前記前端コーナーを除く前記車両前端の画像を含む現在画像と、現在の前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示することを特徴とする駐車支援装置。
【請求項4】
請求項2又は3に記載の駐車支援装置において、
読出した前記記録画像データを、現在の前記撮像装置の視点に視点変換する視点変換手段をさらに備えたことを特徴とする駐車支援装置。
【請求項5】
請求項2〜4のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記車両後端又は前記車両前端の画像を、前記表示手段の画像表示領域内において前記車両の進行方向と反対側の端部に表示することを特徴とする駐車支援装置。
【請求項6】
請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
新たに取得した前記現在画像データを縮小し、
前記表示手段の画像表示領域内において、縮小した前記現在画像データに基づく前記現在画像を中央に配置し、読み出した前記記録画像データのうち、前記現在画像に連続する領域を前記過去画像として、前記現在画像の両側に配置することを特徴とする駐車支援装置。
【請求項7】
請求項2〜6のいずれか1項に記載の駐車支援装置において、
前記記録画像データは、撮像位置での前記車両の舵角情報又は方位情報がさらに関連付けられるとともに、
前記画像出力手段は、
前記記録画像データに関連付けられた前記舵角情報又は前記方位情報に基づく過去舵角と、現在の前記車両の舵角情報又は方位情報に基づく現在舵角との相対角度に基づき、前記記録画像データを回転変換する回転変換手段をさらに備えたことを特徴とする駐車支援装置。
【請求項8】
請求項2〜7のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記記録画像データに基づく前記過去画像と、前記現在画像データに基づく前記現在画像とを識別可能に前記表示手段に出力することを特徴とする駐車支援装置。
【請求項9】
請求項2〜8のいずれか1項に記載の駐車支援装置において、
前記読出手段は、
前記車両が予め定められた画像更新距離だけ移動する度に、進行方向において、前記車両の現在位置から所定距離だけ後方の位置が関連付けられた前記記録画像データを前記画像データ記憶手段から読出し、
前記画像出力手段は、
前記車両が前記画像更新距離だけ移動する度に、読出した前記記録画像データに基づく前記過去画像と、新たに取得した前記画像データに基づく前記現在画像とを前記表示手段に表示することを特徴とする駐車支援装置。
【請求項10】
請求項2〜9のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記現在画像データに基づく前記現在画像と、前記画像データ記憶手段に格納された前記記録画像データに基づき、前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記過去画像と、前記車両のフロア下方又は側方を含む領域を撮像した前記過去画像とを前記表示手段に表示することを特徴とする駐車支援装置。
【請求項1】
車両の位置を特定する位置特定手段と、前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
前記画像データ取得手段が取得した前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして前記画像データ記憶手段に格納し、
前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の後端コーナー又は前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出し、
前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記車両の現在位置で前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示するとともに、
現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の一部と連続させて、前記過去画像上に描画することを特徴とする駐車支援方法。
【請求項2】
車両に設けられた駐車支援装置において、
前記車両の位置を特定する位置特定手段と、
前記車両に設けられ、車両後端又は車両前端と背景とを撮像する撮像装置から、画像データを取得する画像データ取得手段と、
前記画像データを、少なくとも前記画像データを撮像した前記車両の位置と関連付けて記録画像データとして格納する画像データ記憶手段と、
前記記録画像データに関連付けられた位置データに基づいて、少なくとも現在位置の前記車両の後端コーナー又は前端コーナーの位置を含む領域を撮像した前記記録画像データを読み出す読出手段と、
前記画像データ取得手段により新たに取得した現在画像データに基づく、前記車両後端又は前記車両前端の画像を含む現在画像と、前記車両の現在位置で前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、表示手段に表示する画像出力手段と、
現在の前記後端コーナー又は前記前端コーナーの位置を示す指標を、前記現在画像に含まれる前記車両後端又は前記車両前端の画像と連続させて、前記過去画像上に描画する指標描画手段と
を備えることを特徴とする駐車支援装置。
【請求項3】
請求項2に記載の駐車支援装置において、
前記画像データ取得手段は、
前記車両の後端コーナーを除く車両後端又は前端コーナーを除く車両前端を撮像する前記撮像装置から、前記画像データを取得し、
前記画像出力手段は、
前記画像データ取得手段により新たに取得した現在の画像データに基づく、前記後端コーナーを除く前記車両後端又は前記前端コーナーを除く前記車両前端の画像を含む現在画像と、現在の前記後端コーナー又は前記前端コーナーが位置する領域に相当する前記記録画像データに基づく過去画像とを、前記表示手段に表示することを特徴とする駐車支援装置。
【請求項4】
請求項2又は3に記載の駐車支援装置において、
読出した前記記録画像データを、現在の前記撮像装置の視点に視点変換する視点変換手段をさらに備えたことを特徴とする駐車支援装置。
【請求項5】
請求項2〜4のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記車両後端又は前記車両前端の画像を、前記表示手段の画像表示領域内において前記車両の進行方向と反対側の端部に表示することを特徴とする駐車支援装置。
【請求項6】
請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
新たに取得した前記現在画像データを縮小し、
前記表示手段の画像表示領域内において、縮小した前記現在画像データに基づく前記現在画像を中央に配置し、読み出した前記記録画像データのうち、前記現在画像に連続する領域を前記過去画像として、前記現在画像の両側に配置することを特徴とする駐車支援装置。
【請求項7】
請求項2〜6のいずれか1項に記載の駐車支援装置において、
前記記録画像データは、撮像位置での前記車両の舵角情報又は方位情報がさらに関連付けられるとともに、
前記画像出力手段は、
前記記録画像データに関連付けられた前記舵角情報又は前記方位情報に基づく過去舵角と、現在の前記車両の舵角情報又は方位情報に基づく現在舵角との相対角度に基づき、前記記録画像データを回転変換する回転変換手段をさらに備えたことを特徴とする駐車支援装置。
【請求項8】
請求項2〜7のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記記録画像データに基づく前記過去画像と、前記現在画像データに基づく前記現在画像とを識別可能に前記表示手段に出力することを特徴とする駐車支援装置。
【請求項9】
請求項2〜8のいずれか1項に記載の駐車支援装置において、
前記読出手段は、
前記車両が予め定められた画像更新距離だけ移動する度に、進行方向において、前記車両の現在位置から所定距離だけ後方の位置が関連付けられた前記記録画像データを前記画像データ記憶手段から読出し、
前記画像出力手段は、
前記車両が前記画像更新距離だけ移動する度に、読出した前記記録画像データに基づく前記過去画像と、新たに取得した前記画像データに基づく前記現在画像とを前記表示手段に表示することを特徴とする駐車支援装置。
【請求項10】
請求項2〜9のいずれか1項に記載の駐車支援装置において、
前記画像出力手段は、
前記現在画像データに基づく前記現在画像と、前記画像データ記憶手段に格納された前記記録画像データに基づき、前記後端コーナー又は前記前端コーナーの位置を含む領域を撮像した前記過去画像と、前記車両のフロア下方又は側方を含む領域を撮像した前記過去画像とを前記表示手段に表示することを特徴とする駐車支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2007−30564(P2007−30564A)
【公開日】平成19年2月8日(2007.2.8)
【国際特許分類】
【出願番号】特願2005−213163(P2005−213163)
【出願日】平成17年7月22日(2005.7.22)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年2月8日(2007.2.8)
【国際特許分類】
【出願日】平成17年7月22日(2005.7.22)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]