駐車支援方法及び駐車支援装置
【課題】 記録した画像データと新たに取得した画像データとを用いた画面の更新頻度を向上することができる駐車支援方法及び駐車支援装置を提供する。
【解決手段】 ナビゲーション装置1は、車両位置を特定する制御部3及びGPS受信部7と、車両に設けられたカメラ25から画像データを取得する画像データ取得部10とを備える。さらに、画像データのうち、車両が合成用距離分移動した際に、カメラの死角となる領域のみを抽出し、抽出したデータを撮像位置と対応付けて記録画像データとして画像メモリ15に格納する描画処理部18を備える。描画処理部18は、車両が画像更新距離分移動する度に、進行方向において合成用距離後方の撮像位置で撮像された前記記録データを読出し、記録画像データの合成領域に基づく過去画像と、現在画像データに基づく現在画像とを並べた駐車支援画像をディスプレイ6に出力する。
【解決手段】 ナビゲーション装置1は、車両位置を特定する制御部3及びGPS受信部7と、車両に設けられたカメラ25から画像データを取得する画像データ取得部10とを備える。さらに、画像データのうち、車両が合成用距離分移動した際に、カメラの死角となる領域のみを抽出し、抽出したデータを撮像位置と対応付けて記録画像データとして画像メモリ15に格納する描画処理部18を備える。描画処理部18は、車両が画像更新距離分移動する度に、進行方向において合成用距離後方の撮像位置で撮像された前記記録データを読出し、記録画像データの合成領域に基づく過去画像と、現在画像データに基づく現在画像とを並べた駐車支援画像をディスプレイ6に出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車支援方法及び駐車支援装置に関する。
【背景技術】
【0002】
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データを運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパー中央部と車両後方の背景とを撮像するものの、車両のフロア下方、リヤコーナー周辺等は、死角領域となっている。従って、画像データを出力した画面には、車両のフロア下方の画像、リヤコーナー周辺の画像は表示されないため、駐車目標領域に対する車両のずれ、リヤコーナー周辺と障害物との相対距離が確認しずらい問題がある。
【0003】
この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、蓄積した画像データを用いて、死角領域に車両の背景を合成した画像を表示する装置も提案されている(特許文献1参照)。この装置では、運転席よりも後方に設けられた車載カメラから、画像データを取得する。そして、車両が後退を始めた際に、蓄積した画像データの中から、現在の車両の運転席に相当する位置で撮像した画像データを読出す。さらに、現在の画像データを運転席の位置に視点変換し、その視点変換した画像データと、読出した画像データとを合成する。また、運転席から後方を見たときに、死角となる車両の後方ボデー、座席等にあたる領域にも、メモリに蓄積した画像データを合成し、その画像に車体の輪郭線を描画する。これにより、運転席の位置に視点を設定し、運転席から後方を視たときの後方ボデー等の死角領域に外部背景が表示された画像が、ディスプレイに表示される。
【特許文献1】特開2003−244688号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記した装置では、車両の移動に伴って各地点で撮像した各画像データを、記憶部に蓄積する。そして、合成画像を出力する際に、蓄積された各画像データのうち、必要な画像データを画像を更新するタイミングで読込む。このため、合成画像の更新頻度を高める場合、処理性能の高いCPU、大容量のメモリ及びハードディスク等の高価なハードウェア構成が要求されてしまう。このため、安価なハードウェア構成でも、死角領域を表示した画面の更新頻度を向上させることができる方法及び装置が求められている。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、記録した画像データと新たに取得した画像データとを用いた画面の更新頻度を向上することができる駐車支援方法及び駐車支援装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記
車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを要旨とする。
【0007】
請求項2に記載の発明は、車両に設けられた駐車支援装置において、前記車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段とを備えることを要旨とする。
【0008】
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを要旨とする。
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを要旨とする。
【0009】
請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを要旨とする。
【0010】
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、前記画像出力手段は、前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを要旨とする。
【発明の効果】
【0011】
請求項1又は2に記載の発明によれば、画像データ取得手段が取得した画像データのうち、駐車支援画像を表示するために必要であって、所定距離進んだ位置で撮像装置の可視範囲外となる背景を撮像した領域を抽出し、その画像データの撮像位置と対応付けて記録画像データとして保存する。このため、記録画像データのデータ量が軽減化され、画像データ記憶手段の容量を縮小できる。また、記録画像データの保存処理、読出処理等を軽減化し、処理時間を短縮化することができる。
【0012】
請求項3に記載の発明によれば、過去画像に、現在の車両の位置を示す指標が描画される。このため、過去画像上の車両の位置を確認することができるので、駐車目標領域と車両とのずれを把握できる。
【0013】
請求項4に記載の発明によれば、抽出手段は、画像データの撮像位置から所定距離だけ進行した位置で、車両のフロア下方又はバンパー隅部に相当する領域を抽出する。従って、記録画像データのデータ量を軽減化しながら、車両フロア下方又はバンパー隅部にあた
る画像を擬似的に表示した駐車支援画像を出力することができる。
【0014】
請求項5に記載の発明によれば、記録画像データは、俯瞰画像データに変換されたデータである。このため、車両の現在位置で撮像した画像データと並べて表示した際に、運転者に違和感を与えない画像にすることができる。また、画像データのうち、部分的に抽出された後の画像データを俯瞰画像データに変換するので、変換処理を軽減することができる。
【0015】
請求項6に記載の発明によれば、記録画像データには、舵角情報又は方位情報が対応付けられる。そして、その舵角情報又は方位情報に基づく舵角と、現在の舵角とに基づいて、記録画像データの合成領域が変更される。このため、過去画像を現在画像と並べて表示した際に、過去画像及び現在画像の連続性を向上できる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の駐車支援方法及び駐車支援装置を、車両(自動車)に実装されたナビゲーション装置に具体化した一実施形態を図1〜図12に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
【0017】
図1に示すように、ナビゲーション装置1は、制御装置2を備えている。制御装置2は、主制御を行う位置特定手段及び読出手段としての制御部3、メインメモリ4及びROM5を備えている。制御部3は、CPU等から構成され、ROM5に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理を行う。メインメモリ4は、作業用のRAMであって、駐車支援のための各種変数が格納されている。
【0018】
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、ナビゲーション装置1を実装した、図2に示す車両Cの輪郭を描画するためのデータである。輪郭描画データ5aを、表示手段としてのディスプレイ6(図1参照)に出力すると、図8に示すような、指標としての補助線47が描画される。補助線47は、車体外郭を示す外郭描画線45と、各後輪CR(図2参照)を示す後輪描画線46とを有している。
【0019】
また、図1に示すように、制御装置2は、位置特定手段を構成するGPS受信部7を備えている。GPS受信部7は、GPS衛星からの電波を受信する。制御部3は、GPS受信部7から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Cの絶対位置を定期的に算出する。
【0020】
さらに、制御装置2は、車両側インターフェース部(車両側I/F部8)を備えている。制御部3は、この車両側I/F部8を介して、シフトポジション信号SP、舵角情報としての舵角センサ信号ST、車速信号VS及び方位検出信号DSからなる車両データを入力する。
【0021】
シフトポジション信号SPは、例えばシフトポジションスイッチ20から出力された信号であって、現在のシフトポジションを示す。舵角センサ信号STは、ステアリング舵角センサ21から出力された信号であって、現在の車両Cの舵角を示す。車速信号VSは、車輪の回転速度を検出する車速センサ22から出力されたパルス信号であって、制御部3は、そのパルス信号に基づき、車両Cの速度とを算出するとともに、入力パルス数に基づき車両Cの移動距離を算出する。方位検出信号DSは、車両Cの方位を示し、車両Cに設けられたジャイロセンサ23から出力される。
【0022】
制御部3は、これらの車速信号VS及び方位検出信号DSに基づいて、自律航法データを生成し、GPS受信部7に基づき算出した自車位置を補正する。本実施形態では、ナビ
ゲーション装置1の位置を、自車位置として算出する。
【0023】
また、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、ノードデータ及びリンクデータを有し、制御部3は、この経路データ9aを用い、ROM5に格納された経路案内プログラムに従って、経路探索及び経路案内を行う。また、制御部3は、上記したように算出した自車位置と、走行軌跡、経路データ9aを照合して、自車位置を適切な道路上に位置決めすることにより、自車位置の精度を高めるようになっている。地図描画データ9bは、広範囲から狭範囲の地図を描画した地図画面6aをディスプレイ6に表示するためのデータであって、経路データ9aと対応付けられている。
【0024】
さらに、ナビゲーション装置1は、ディスプレイ6及びスピーカ11を備えている。ディスプレイ6は、タッチパネルであって、車両Cが前進する際には、制御部3による駆動制御により、地図画面6aを表示する。また、車両Cが後退する際には、制御部3による駆動制御により、駐車補助モードに切り替えられる。駐車補助モードには、第1及び第2表示モードが設定され、第1表示モードでは、車両Cの後方を、撮像装置としてのバックモニタカメラ(以下、カメラ25という)により撮像したバックモニタ画面(図示省略)を表示する。第2表示モードでは、異なる地点で撮像した複数の画像データを用いた駐車支援画面41(図12参照)を表示する。スピーカ11は、制御装置2が備える音声出力部12からの出力信号に基づき、案内経路等を案内する案内音又は案内音声を出力する。
【0025】
また、制御装置2は、画像データ取得手段としての画像データ取得部10を備えている。画像データ取得部10は、制御部3の制御により、車両Cに設けられたカメラ25を駆動制御して、車両Cの後退に従って、各地点における画像データG(図3参照)を取得する。また、車両Cが、路面上の位置を示すための図2に示す車両座標系(X,Y)において予め定められた画像取得距離D1だけ移動する度に、画像データGを逐次取得する。本実施形態では、画像取得距離D1は、200mmに設定されている。
【0026】
図2に示すように、カメラ25は、車両Cのうち、車幅方向(車両座標系のY軸方向)の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ25は、カラー画像を撮像し、アナログ/デジタル変換された画像データGを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。カメラ25は、例えば左右140度の後方視野を有し、車両Cの後方路面の約数メートルを可視範囲Zとしている。また、カメラ25の撮像範囲には、リヤバンパーRBのバンパー隅部(以下、隅部BCという)を除く、中央部BMが含まれている。
【0027】
カメラ25によって生成された画像データGは、例えば、図5(a)に示すような画像30を表示し、その画像30には、リヤバンパーRBの中央部BMを撮像した後端画像42が下端に表示されている。また、画像30は、カメラ25が広角レンズを用いているため、周辺の画像が歪む、いわゆる歪曲収差が生じているが、運転者が見て直感的に理解できる程度の歪みになっている。さらに、画像30は、車室内のバックミラーに映る像と同様になるように左右反転されて表示されている。
【0028】
また、図1に示すように、制御装置2は、ユーザ入力I/F部17を備えている。ユーザ入力I/F部17は、タッチパネルや、ディスプレイ6に隣設された操作スイッチ16がユーザにより入力操作されると、入力操作に応じた入力信号を制御部3に出力する。
【0029】
さらに、制御装置2は、抽出手段、読出手段及び画像出力手段を構成する描画処理部18を備えている。描画処理部18は、画像処理を行う演算部や、ディスプレイ6に表示す
るための出力データを一時格納するVRAM(いずれも図示省略)等を備えている。
【0030】
描画処理部18は、画像取得距離D1ごとに画像データ取得部10が取得した画像データGを入力する。そして、図5(a)に示す、画像データGに基づく画像30のうち、予め定められた保存領域B1のみを抽出し、図5(b)に示すように、部分データG1を生成する。保存領域B1は、各画素座標を示す画像座標系(x,y)において、画像データGと同じ幅(y軸方向における長さ)であって、その高さ(x軸方向の長さ)が短くなるように区画された矩形状の領域である。即ち、ディスプレイ6の画像表示領域6Zのうち車両C側であって、反進行方向側の領域を、保存領域B1としている。
【0031】
さらに、描画処理部18は、部分データG1を、記録画像データとしての俯瞰画像データG2に変換する。このとき、描画処理部18は、ROM5等に格納された図示しない座標変換テーブルを読込んで、部分データG1の各画素座標を、テーブルで紐付けられた変換先の画素座標に変換する。これにより、部分データG1は、現在のカメラ25の光軸と路面との交点の鉛直方向上方であって、カメラ25の高さ位置とほぼ同じ位置に設定された仮想視点に視点変換される。その結果、図5(b)に示すような部分データG1に基づく画像31が、図5(c)に示すように、より高い位置から見下ろした俯瞰画像32に変換される。
【0032】
描画処理部18により俯瞰画像データG2が生成されると、制御部3は、図3に模式的に示すように、画像データG(俯瞰画像データG2)を撮像した位置を、位置データとしての撮像位置データ13として俯瞰画像データG2に添付する。また、舵角センサ信号STに基づく舵角を、舵角情報としての舵角データ14として添付する。そして、撮像位置データ13及び舵角データ14が添付された俯瞰画像データG2を、記録データG3として、画像データ記憶手段としての画像メモリ15(図1参照)に格納する。即ち、画像メモリ15には、車両Cが画像取得距離D1を移動する度に生成された各記録データG3が蓄積される。また、添付される撮像位置データ13は、絶対座標でもよいし、基準位置からの相対座標でもよい。また、舵角データ14ではなく、方位検出信号DSに基づく方位データ(方位情報)を俯瞰画像データG2に添付するようにしてもよい。
【0033】
また、描画処理部18は、車両Cが前進又は停車している際に、上記した地図画面6aをディスプレイ6に出力する。さらに、車両Cが後退した際には、制御部3の制御に従って、上記した第1表示モードの処理を行う。描画処理部18は、車両Cの現在位置で撮像した画像データGを画像データ取得部10から取得し、車両C後方を撮像したバックモニタ画面(図示省略)をディスプレイ6に表示する。そして、車両Cの移動に伴い画面を更新する。
【0034】
第2表示モードの際は、描画処理部18は、制御部3の制御により、図12に示すような駐車支援画面41を出力する。詳述すると、描画処理部18は、図4(a)に示す、撮像位置としての初期位置Aから、所定距離としての合成用距離D3分移動するまで、画像取得距離D1ごとに、記録データG3を画像メモリ15に蓄積する。本実施形態では、合成用距離D3は、1mに設定されている。
【0035】
車両Cが、初期位置Aから合成用距離D3だけ後退し、図4(b)に示すように位置Bに到達すると、描画処理部18は、画像データ取得部10から、車両Cの現在位置(位置B)で撮像された画像データGを取得する。この現在の自車位置で撮像された画像データGを、以下、現在画像データG4という。現在画像データG4は、図6(b)に示す画像33のように、リヤバンパーRBを撮像した後端画像42の画像データを含んでいる。この現在画像データG4のうち、車両Cに近い領域を撮像した、所定領域としての合成領域B2が、俯瞰画像データG2と合成する領域となっている。尚、合成領域B2を区画する
座標は、一定となっている。
【0036】
また、描画処理部18は、画像メモリ15内において、車両Cの現在位置から合成用距離D3後方の位置が対応付けられた記録データG3を検索する。そして、該当する記録データG3を読出すと、その記録データG3内の俯瞰画像データG2のうち、その時点の舵角に応じて、合成領域B3を決定する。即ち、車両Cが、後方(X軸方向)に直進している場合には、描画処理部18は、俯瞰画像データG2のうち、図5(c)に示す、合成領域B3の画像データを抽出する。直進の場合の合成領域B3は、矩形状であって、俯瞰画像データG2の上方及び下方と両側とに、マージンB4が確保されている。
【0037】
そして、描画処理部18は、現在画像データG4の合成領域B2と、俯瞰画像データG2の合成領域B3とを上下(画面座標系においてx軸方向)に並べて出力する。即ち、図6(a)に示す、俯瞰画像データG2に基づく過去画像32aが、図6(b)に示す、現在画像データG4の現在画像33aと連続するように合成され、図6(c)に示す合成画像35がディスプレイ6に出力される。
【0038】
一方、車両Cが旋回しながら後退している場合には、描画処理部18は、そのときの舵角と、俯瞰画像データG2に添付された舵角データ14に基づく過去舵角との相対角度に応じて、マージンB4を利用して合成領域B3を設定し、舵角に応じた画像データを抽出する。そして、このように抽出した画像データと、現在画像データG4の合成領域B2とを合成するので、俯瞰画像データG2に基づく画像と、現在画像データG4に基づく画像との連続性が良好になる。
【0039】
また、描画処理部18は、この合成画像35のうち、過去画像32aに重畳するように、上記した補助線47を描画する。これにより、図12に示す駐車支援画面41がディスプレイ6に出力される。駐車支援画面41のうち、進行方向(画面座標系のx軸方向)と反対側(下方)には、過去画像32aが表示され、進行方向(上部)には、現在画像33aが表示されている。過去画像32aは、現在位置(位置B)での、車両Cのフロア下方に相当する領域の画像である。即ち、保存領域B1は、俯瞰画像データG2の撮像位置から合成用距離D3分移動した位置で、カメラ25の死角(フロア下方及びその周辺)を撮像した領域に設定されている。従って、この過去画像32aに、車両Cの輪郭を示す補助線47を表示することで、過去画像32aにおける車両Cの位置を示すことができる。
【0040】
また、現在画像33aの下端には、リヤバンパーRBの位置を示す後端画像42が表示されているので、車両Cの後端と、障害物、駐車枠を標示する白線、又は車輪止めとの相対距離がわかる。さらに、描画処理部18は、現在画像33aには、車幅を延長した車幅延長線48と、現在の舵角に基づいた進路を示す予想軌跡線49とを描画する。尚、図12では、車両Cが後方へ直進する場合を説明したため、車幅延長線48は予想軌跡線49に重ねられている。また、駐車支援画面41には、第2表示モードから第1表示モードに切替える操作部43、予想軌跡線49等の消去を指示する操作部44が表示されている。
【0041】
次に、本実施形態の駐車支援処理の処理手順について、図9〜図11に従って説明する。まず、ナビゲーション装置1の制御部3は、図9に示すように、ナビゲーション装置1の起動後、ROM5に格納された駐車支援プログラムに従って、シフトポジションスイッチ20から入力したシフトポジション信号SPに基づき、車両Cの変速機がリバースレンジであるか否かの判断を繰り返す(ステップS1)。リバースレンジである場合には(ステップS1においてYES)、その位置を初期位置として、ナビゲーション装置1の現在のモードが、駐車支援画面41を表示する第2表示モードであるか否かを判断する(ステップS2)。この第2表示モードは、ディスプレイ6に表示された操作部43、又はディスプレイ6に隣設された操作スイッチ16によって選択可能になっている。第2表示モー
ドを起動する設定がなされると、メインメモリ4に格納されたモード起動フラグがオン状態に設定される。制御部3は、メインメモリ4に格納されたモード起動フラグがオフ状態であると判断すると(ステップS2においてNO)、描画処理部18を制御して、第1表示モードを行う(ステップS3)。モード起動フラグがオン状態であると判断すると(ステップS2においてYES)、ステップS4に進む。
【0042】
図10に示すように、ステップS4では、制御部3が、各種パラメータを初期化する。このパラメータとしては、記録用カウンタLn1、画像更新用カウンタLn2がある。記録用カウンタLn1は、画像データGを取得する画像取得距離D1に到達したか否かを判断するためのカウンタであって、車速センサ22からの入力パルス数をカウントする。画像更新用カウンタLn2は、駐車支援画面41を更新する画像更新距離D2に到達したか否かを判断するためのカウンタであって、同じく車速センサ22からの入力パルス数をカウントする。尚、本実施形態では、画像更新距離D2は、200mmに設定され、画像取得距離D1と同じ距離となっている。
【0043】
パラメータの初期化が行われると、制御部3は、画像データ取得部10を介して、カメラ25から画像データGを取得する(ステップS5)。描画処理部18は、画像データGのうち、図5(a)に示す保存領域B1を抽出し、図5(b)に示す画像31のような部分データG1を生成する(ステップS6)。
【0044】
さらに、描画処理部18は、生成した部分データG1を、俯瞰画像データG2に座標変換する(ステップS7)。また、制御部3は、ほぼ同時に、車両側I/F部8を介して、シフトポジション信号SP、舵角センサ信号ST、車速信号VS、方位検出信号DS等の車両データを取得する(ステップS8)。さらに、GPS受信部7と、車速信号VS、方位検出信号DSとに基づき、自車位置を算出する。
【0045】
そして、制御部3は、描画処理部18を制御して、車両Cの現在位置を示す撮像位置データ13と、舵角センサ信号STに基づく舵角データ14とを俯瞰画像データG2に添付して、記録データG3として画像メモリ15に格納する(S9)。これにより、初期位置Aで撮像された俯瞰画像データG2が、初期位置Aの撮像位置データ13及び舵角データ14と対応付けられて格納される。
【0046】
初期位置Aの記録データG3を格納すると、制御部3は、車速信号VSに基づき、車両Cの後退を示すパルスが入力されたか否かを判断する(ステップS10)。後退パルスを入力した場合には(ステップS10においてYES)、記録用カウンタLn1に、「1」等の入力パルス数を加算する(ステップS11)。また、画像更新用カウンタLn2に、「1」等を加算して、画像更新用カウンタLn2を更新する(ステップS12)。
【0047】
そして、制御部3は、記録用カウンタLn1に基づき、カウント開始位置(ここでは、初期位置A)からの移動距離を算出し、その移動距離が、画像取得距離D1(100mm)以上であるか否かを判断する(ステップS13)。車両Cが、初期位置Aから100mm以上の距離にあるとき、制御部3は、画像取得距離D1に到達したと判断して(S13においてYES)、ステップS5と同様に、画像データ取得部10を介して、画像データGを取得する(ステップS14)。そして、ステップS6と同様に、取得した画像データGのうち、保存領域B1を抽出し、部分データG1を生成する(S15)。
【0048】
さらに、描画処理部18は、ステップS8と同様に、制御部3を介して車両データを取得し(ステップS16)、部分データG1を俯瞰画像データG2に座標変換するとともに(S17)、俯瞰画像データG2を、記録データG3として画像メモリ15に格納する(ステップS18)。
【0049】
さらに、制御部3は、記録用カウンタLn1を、初期値にリセットする(ステップS19)。即ち、ステップS13〜S19では、車両Cが画像取得距離D1だけ移動するたびに取得された画像データGのうち、保存領域B1を抽出して部分データG1を生成し、さらに座標変換した後、車両Cの撮像位置データ13、及び舵角データ14とともに画像メモリ15に蓄積する。このとき、車両Cのフロア下方にあたる領域(カメラ25の死角領域)とその周辺の領域が保存され、合成に不必要な領域は保存しないので、記録データG3のデータ量を軽減できる。また、画像データG全体を座標変換することなく、抽出された部分データG1を座標変換するので、変換処理を軽減化し、処理時間を短縮化できる。
【0050】
ステップS20では、制御部3は、画像更新用カウンタLn2に相当する移動距離が、画像更新距離D2(100mm)以上であるか否かを判断する。例えば、車両Cが、初期位置Aから画像更新距離D2(100mm)だけ後退した位置にあるとき、画像更新用カウンタLn2に基づく移動距離が、画像更新距離D2以上であると判断し(ステップS20においてYES)、ステップS21に進む。尚、画像更新用カウンタLn2が、画像更新距離D2に満たない場合(ステップS20においてNO)には、ステップS10に戻る。
【0051】
図11に示すように、ステップS21では、描画処理部18は、画像メモリ15内を検索して、車両Cの現在位置から、合成用距離D3後方の位置で撮像された記録データG3が、画像メモリ15に格納されているか判断する。具体的には、制御部3は、各記録データG3内の撮像位置データ13に基づき移動軌跡を演算して、現在位置から進行方向において合成用距離D3後方の位置で撮像された記録データG3を検索する。例えば、車両Cが、初期位置Aから図4(b)に示す位置Bの間の位置にある場合には、現在位置から合成用距離D3(1m)だけ後方の位置で撮像された記録データG3が記録されていないと判断して(ステップS21においてNO)、ステップS10に戻る。
【0052】
そして、ステップS10〜ステップS20を繰り返し、制御部3が、自車位置が、例えば図4(b)に示す位置Bにあると判断した場合には、該当する記録データG3があると判断し(S21においてYES)、その記録データG3を読出す(S22)。
【0053】
さらに、描画処理部18は、画像データ取得部10を介して現在画像データG4を取得し(ステップS23)、現在画像データG4の合成領域B3と、俯瞰画像データG2の合成領域B2とを上下に並べた、合成データを作成する(ステップS24)。このとき、上記したように、車両Cが初期位置Aから位置Bまで直進した場合には、図5(c)に示す矩形状の合成領域B3のデータを抽出する。また、読出した記録データG3内の舵角データ14に基づく過去舵角と現在の舵角とが異なる場合には、相対角度に応じて、俯瞰画像データG2の合成領域B3を相対角度に合わせて変更する。
【0054】
そして、描画処理部18は、その合成データを、ディスプレイ6の画像表示領域6Zに出力する(ステップS25)。その結果、図6(a)に示す俯瞰画像データG2と、図6(b)に示す現在画像データG4に基づき、(c)に示す合成画像35が表示される。
【0055】
さらに、描画処理部18は、合成画像35に重畳して、補助線47等を描画するとともに、操作部43、車幅延長線48及び予想軌跡線49を描画して、図12に示す駐車支援画面41をディスプレイ6に表示する。
【0056】
駐車支援画面41をディスプレイ6に出力すると、制御部3は、画像更新用カウンタLn2をリセットする(ステップS26)。そして、駐車支援画面41を出力する第2表示モードがオフ状態であるか否かを判断する(ステップS27)。具体的には、タッチパネ
ル操作や、操作スイッチ16が入力操作され、ユーザ入力I/F部17にて、第2表示モードを終了するための入力信号を入力したか否かを判断する。
【0057】
第2表示モードがオフ状態である場合(ステップS27においてYES)、駐車補助モードを終了させるトリガを入力したか否かを判断する(ステップS28)。この終了トリガとしては、車両Cに設けられた図示しない電子制御装置(ECU)等から出力された、イグニッションオフを示す信号等、シフトポジションの変更を示す信号等がある。
【0058】
第2表示モードがオン状態である場合(ステップS27においてNO)、ステップS10に戻り、ステップS10〜S13を繰り返す。そして、例えば、車両Cが、図4(b)に示す位置Bから、さらに画像更新距離D2(画像取得距離D1)だけ後退し、図4(c)に示す位置Cに位置するとき、制御部3は、記録用カウンタLn1に相当する距離が、画像取得距離D1以上であると判断する(ステップS13においてYES)。そして、位置Cで、図5に示すような画像36を表示する画像データGを取得する(S14)。そして、描画処理部18は、位置Bで撮像した画像データGに対する処理手順と同様に、画像データGのうち、保存領域B1を抽出して、図5(e)の画像37のような部分データG1を生成する(S15)。さらに、描画処理部18は、生成した部分データG1を座標変換して、図5(f)の俯瞰画像38のような俯瞰画像データG2を生成する(S17)。そして、俯瞰画像データG2に、撮像位置データ13と舵角データ14とを添付して、記録データG3として画像メモリ15に格納する(S18)。
【0059】
そして、制御部3により、記録用カウンタLn1をリセットした後(S19)、描画処理部18は、画像メモリ15を検索して、初期位置Aから合成用距離D3だけ後方の位置(図示省略)で撮像した記録データG3を読出す(S22)。さらに、位置Cで撮像した現在画像データG4を取得し(S23)、現在画像データG4の合成領域B2と、記録データG3内の俯瞰画像データG2の合成領域B3とを合成する(S24)。即ち、図7(a)に示す、俯瞰画像38の合成領域B3と、図7(b)に示す、現在画像データG4に基づく現在画像39の合成領域B2とを合成した後、(c)に示す、合成画像40をディスプレイ6に出力する(S25)。
【0060】
このように、車両Cが画像取得距離D1だけ移動する度に、記録データG3が生成され、画像更新距離D2だけ移動する度に、駐車支援画面41が更新される。そして、駐車操作が完了し、イグニッションモジュールのオフ信号等、終了トリガを入力した場合(ステップSS28においてYES)、制御部3は、駐車補助モードを終了する。
【0061】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ナビゲーション装置1の描画処理部18は、車両Cが画像取得距離D1分移動する度に、画像データ取得部10から画像データGを取得するようにした。そして、画像データGのうち、合成画像35,40を表示するために用いる保存領域B1のみを抽出するようにした。また、抽出した部分データG1を、撮像位置を示す撮像位置データ13及び舵角データ14と対応付けて、俯瞰画像データG2として画像メモリ15に格納するようにした。そして、駐車支援画面41を出力する際に、撮像位置データ13に基づいて、現在位置から進行方向において合成用距離D3後方の撮像位置で撮像された俯瞰画像データG2を読み出し、読出した俯瞰画像データG2のうち合成領域B3と、現在画像データG4の合成領域B2とを並べて、ディスプレイ6に出力するようにした。従って、描画処理部18は、取得した画像データGのうち、合成に必要な部分のみ保存するので、記録データG3のデータ量を軽減することができる。このため、画像メモリ15の必要容量を小さくすることができる。さらに、記録データG3のデータ量が小さくなることにより、記録データG3の検索、読出処理及び座標変換等の画像処理、出力処理等を軽減化し、処理時間を短縮化することができる。従って、画像更新頻度を高めることが
できる。
【0062】
(2)上記実施形態では、俯瞰画像データG2の保存領域B1を、その俯瞰画像データG2の撮像位置から、進行方向において、合成用距離D3だけ離間した位置に車両Cがある場合に、カメラ25の死角となる路面及び背景を撮像した領域とした。このため、車両Cが、俯瞰画像データG2の撮像位置から合成用距離D3だけ進んだ際に、その俯瞰画像データG2を読み出して、カメラ25の死角であるフロア下方の画像を駐車支援画面41に表示することができる。従って、駐車支援画面41を視認することによって、車両Cと駐車目標領域との相対距離、後輪CRと車輪止めとの相対距離等を把握することができる。
【0063】
(3)上記実施形態では、描画処理部18は、画像データGから保存領域B1を抽出した後に、座標変換して、俯瞰画像データG2を生成するようにした。このため、画像データG全体を座標変換する必要がなく、座標変換処理を軽減することができる。また、現在画像データG4に基づく現在画像33a,39aとの連続性を良好にすることができる。
【0064】
(4)上記実施形態では、俯瞰画像データG2に、舵角データ14を添付して画像メモリ15に格納するようにした。また、描画処理部18は、読出した記録データG3の舵角データ14に基づく過去舵角と、現在舵角との相対角度に基づいて、俯瞰画像データG2の合成領域B3を変更するようにした。このため、過去画像32a,38aを現在画像33a,39aと並べて表示した際に、画像の連続性を良好にすることができる。
【0065】
(5)上記実施形態では、描画処理部18は、過去画像32a,38aに、車両Cの現在位置を示す補助線47を描画するようにした。このため、過去画像32a,38a上の車両Cの位置を把握し、駐車目標領域と車両Cとのずれを把握できる。
【0066】
(6)上記実施形態では、駐車支援装置を、GPS受信部7、ディスプレイ6及び車両側I/F部8を備えるナビゲーション装置1に具体化したので、ナビゲーション装置1が具備する各装置を有効利用し、俯瞰画像データG2に、比較的精度の高い撮像位置データ13等を添付することができる。従って、描画処理部18は、各地点で、的確な俯瞰画像データG2を読み出して、合成画像35,40を出力することができる。
【0067】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、保存領域B1は、矩形状でなくてもよい。具体的には、例えば、図13に示すように、保存領域B1を、ディスプレイ6の画像表示領域6Zのうち、上部の一部を除いたコの字状(「凹」状)の領域にしてもよい。この保存領域B1は、現在の車両Cのフロア下方と、リヤバンパーの角周辺を含む隅部にあたる死角領域を表示する領域である。描画処理部18は、画像表示領域6Zの上部に現在画像52を配置し、その現在画像52の両側及び下方に過去画像51を表示した駐車支援画面50をディスプレイ6に出力する。現在画像52は、現在画像データG4を縮小した画像であって、さらには俯瞰変換したものでもよい。このため、カメラ25の画角内に含まれない隅部BCも表示できる。また、その隅部BCにあたる位置に、現在画像52の後端画像42と連続させて、隅部BCを示す輪郭線53を描画してもよい。このようにすると、隅部BCと障害物との相対位置を把握できる。
【0068】
・上記実施形態では、画像データGを俯瞰画像データG2に変換するときの仮想視点を、光軸と路面との交点において鉛直方向上方であって、カメラ25の高さ位置とほぼ同じ位置に設定したが、これ以外の高さに設定してもよい。
【0069】
・上記実施形態では、車速センサ22から入力したパルス数に基づき、移動量を算出し
、その移動量が画像取得距離D2以上であるか否かを判断するようにした。これ以外に、入力したパルス信号の立上がりエッジを、画像更新用のトリガとし、画像更新用カウンタLn2に「1」を加算し、さらに、同じパルス信号の立ち下がりエッジもトリガとし、画像更新用カウンタLn2を更新するようにしてもよい。
【0070】
・上記実施形態では、ナビゲーション装置1の位置を、自車位置として検出したが、カメラ25の位置でもよい。或いは、車両CのリヤバンパーRBの位置等、その他の位置にしても良い。
【0071】
・上記各実施形態では、画像取得距離D1と画像更新距離D2とを同じ距離にしたが、異なる距離でもよい。また、画像取得距離D1及び画像更新距離D2を、100mmとしたが、その他の距離でもよい。また、合成用距離D3は1mとしたが、その他の値でもよい。
【0072】
・上記実施形態では、ナビゲーション装置1が車両Cの方位を検出するジャイロセンサを具備していてもよい。
・上記実施形態では、車両Cが旋回しながら後退する際に、俯瞰画像データG2の合成領域B3を変更するようにしたが、変更しなくてもよい。
【0073】
・上記実施形態では、部分データG1から、俯瞰画像データG2を生成したが、部分データG1を記録データG3として格納してもよい。そして、過去画像を表示するために用いる場合に、現在のカメラ25の視点に視点変換するようにしてもよい。
【0074】
・カメラ25は、車両Cの後方でなく、車両Cの前方に取り付けられてもよい。また、車両Cが駐車目標領域に前進しながら進入するときに、駐車支援処理を行ってもよい。この場合には、このカメラによって生成された画像データGのうち、車体前方のフロア下方、又はフロントバンパーの隅部に相当する保存領域B1を設定する。
【0075】
・上記各実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、現在画像データG4と、俯瞰画像データG2とをディスプレイ6に表示してもよい。
【0076】
・上記実施形態では、駐車支援装置を、ナビゲーション装置1に具体化したが、その他の車載装置に具体化してもよい。この場合、GPS受信部7や、地図データ記憶部9等が省略される。
【図面の簡単な説明】
【0077】
【図1】本実施形態のナビゲーション装置の構成を説明するブロック図。
【図2】カメラの取付位置を説明する説明図。
【図3】画像メモリに格納された記録データの説明図。
【図4】画像取得、画像更新のタイミングを説明するための説明図であって、(a)は初期位置、(b)は位置B、(c)は位置Cを示す。
【図5】俯瞰画像データを生成する手順の説明図であって、(a)及び(d)は画像データの説明図、(b)及び(e)は部分データの説明図、(c)及び(f)は俯瞰画像データの説明図。
【図6】合成処理の説明図であって、(a)は俯瞰画像データの説明図、(b)は現在画像データの説明図、(c)は合成画像の説明図。
【図7】合成処理の説明図であって、(a)は、位置Cでの俯瞰画像データの説明図、(b)は現在画像データの説明図、(c)は合成画像の説明図。
【図8】補助線の説明図。
【図9】本実施形態の処理手順の説明図。
【図10】本実施形態の処理手順の説明図。
【図11】本実施形態の処理手順の説明図。
【図12】駐車支援画面の説明図。
【図13】別例の駐車支援画面の説明図。
【符号の説明】
【0078】
1…駐車支援装置としてのナビゲーション装置、3…位置特定手段を構成する制御部、6…表示手段としてのディスプレイ、7…位置特定手段を構成するGPS受信部、10…画像データ取得手段としての画像データ取得部、13…位置データとしての撮像位置データ、14…舵角情報としての舵角データ、15…画像データ記憶手段としての画像メモリ、18…画像処理手段、抽出手段、読出手段及び画像出力手段としての描画処理部、25…撮像装置としてのカメラ、32a,38a,51…過去画像、33a,39a,52…現在画像、41…駐車支援画像としての駐車支援画面、47…指標としての補助線、B2…所定領域としての合成領域、B3…合成領域、BC…隅部、C…車両、D1…画像取得距離、D2…画像更新距離、D3…所定距離としての合成用距離、G…画像データ、G1…部分データ、G2…記録データとしての俯瞰画像データ、G3…記録画像データ、G4…現在画像データ、Z…可視範囲。
【技術分野】
【0001】
本発明は、駐車支援方法及び駐車支援装置に関する。
【背景技術】
【0002】
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データを運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパー中央部と車両後方の背景とを撮像するものの、車両のフロア下方、リヤコーナー周辺等は、死角領域となっている。従って、画像データを出力した画面には、車両のフロア下方の画像、リヤコーナー周辺の画像は表示されないため、駐車目標領域に対する車両のずれ、リヤコーナー周辺と障害物との相対距離が確認しずらい問題がある。
【0003】
この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、蓄積した画像データを用いて、死角領域に車両の背景を合成した画像を表示する装置も提案されている(特許文献1参照)。この装置では、運転席よりも後方に設けられた車載カメラから、画像データを取得する。そして、車両が後退を始めた際に、蓄積した画像データの中から、現在の車両の運転席に相当する位置で撮像した画像データを読出す。さらに、現在の画像データを運転席の位置に視点変換し、その視点変換した画像データと、読出した画像データとを合成する。また、運転席から後方を見たときに、死角となる車両の後方ボデー、座席等にあたる領域にも、メモリに蓄積した画像データを合成し、その画像に車体の輪郭線を描画する。これにより、運転席の位置に視点を設定し、運転席から後方を視たときの後方ボデー等の死角領域に外部背景が表示された画像が、ディスプレイに表示される。
【特許文献1】特開2003−244688号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記した装置では、車両の移動に伴って各地点で撮像した各画像データを、記憶部に蓄積する。そして、合成画像を出力する際に、蓄積された各画像データのうち、必要な画像データを画像を更新するタイミングで読込む。このため、合成画像の更新頻度を高める場合、処理性能の高いCPU、大容量のメモリ及びハードディスク等の高価なハードウェア構成が要求されてしまう。このため、安価なハードウェア構成でも、死角領域を表示した画面の更新頻度を向上させることができる方法及び装置が求められている。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、記録した画像データと新たに取得した画像データとを用いた画面の更新頻度を向上することができる駐車支援方法及び駐車支援装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記
車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを要旨とする。
【0007】
請求項2に記載の発明は、車両に設けられた駐車支援装置において、前記車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段とを備えることを要旨とする。
【0008】
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを要旨とする。
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを要旨とする。
【0009】
請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを要旨とする。
【0010】
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、前記画像出力手段は、前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを要旨とする。
【発明の効果】
【0011】
請求項1又は2に記載の発明によれば、画像データ取得手段が取得した画像データのうち、駐車支援画像を表示するために必要であって、所定距離進んだ位置で撮像装置の可視範囲外となる背景を撮像した領域を抽出し、その画像データの撮像位置と対応付けて記録画像データとして保存する。このため、記録画像データのデータ量が軽減化され、画像データ記憶手段の容量を縮小できる。また、記録画像データの保存処理、読出処理等を軽減化し、処理時間を短縮化することができる。
【0012】
請求項3に記載の発明によれば、過去画像に、現在の車両の位置を示す指標が描画される。このため、過去画像上の車両の位置を確認することができるので、駐車目標領域と車両とのずれを把握できる。
【0013】
請求項4に記載の発明によれば、抽出手段は、画像データの撮像位置から所定距離だけ進行した位置で、車両のフロア下方又はバンパー隅部に相当する領域を抽出する。従って、記録画像データのデータ量を軽減化しながら、車両フロア下方又はバンパー隅部にあた
る画像を擬似的に表示した駐車支援画像を出力することができる。
【0014】
請求項5に記載の発明によれば、記録画像データは、俯瞰画像データに変換されたデータである。このため、車両の現在位置で撮像した画像データと並べて表示した際に、運転者に違和感を与えない画像にすることができる。また、画像データのうち、部分的に抽出された後の画像データを俯瞰画像データに変換するので、変換処理を軽減することができる。
【0015】
請求項6に記載の発明によれば、記録画像データには、舵角情報又は方位情報が対応付けられる。そして、その舵角情報又は方位情報に基づく舵角と、現在の舵角とに基づいて、記録画像データの合成領域が変更される。このため、過去画像を現在画像と並べて表示した際に、過去画像及び現在画像の連続性を向上できる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の駐車支援方法及び駐車支援装置を、車両(自動車)に実装されたナビゲーション装置に具体化した一実施形態を図1〜図12に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
【0017】
図1に示すように、ナビゲーション装置1は、制御装置2を備えている。制御装置2は、主制御を行う位置特定手段及び読出手段としての制御部3、メインメモリ4及びROM5を備えている。制御部3は、CPU等から構成され、ROM5に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理を行う。メインメモリ4は、作業用のRAMであって、駐車支援のための各種変数が格納されている。
【0018】
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、ナビゲーション装置1を実装した、図2に示す車両Cの輪郭を描画するためのデータである。輪郭描画データ5aを、表示手段としてのディスプレイ6(図1参照)に出力すると、図8に示すような、指標としての補助線47が描画される。補助線47は、車体外郭を示す外郭描画線45と、各後輪CR(図2参照)を示す後輪描画線46とを有している。
【0019】
また、図1に示すように、制御装置2は、位置特定手段を構成するGPS受信部7を備えている。GPS受信部7は、GPS衛星からの電波を受信する。制御部3は、GPS受信部7から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Cの絶対位置を定期的に算出する。
【0020】
さらに、制御装置2は、車両側インターフェース部(車両側I/F部8)を備えている。制御部3は、この車両側I/F部8を介して、シフトポジション信号SP、舵角情報としての舵角センサ信号ST、車速信号VS及び方位検出信号DSからなる車両データを入力する。
【0021】
シフトポジション信号SPは、例えばシフトポジションスイッチ20から出力された信号であって、現在のシフトポジションを示す。舵角センサ信号STは、ステアリング舵角センサ21から出力された信号であって、現在の車両Cの舵角を示す。車速信号VSは、車輪の回転速度を検出する車速センサ22から出力されたパルス信号であって、制御部3は、そのパルス信号に基づき、車両Cの速度とを算出するとともに、入力パルス数に基づき車両Cの移動距離を算出する。方位検出信号DSは、車両Cの方位を示し、車両Cに設けられたジャイロセンサ23から出力される。
【0022】
制御部3は、これらの車速信号VS及び方位検出信号DSに基づいて、自律航法データを生成し、GPS受信部7に基づき算出した自車位置を補正する。本実施形態では、ナビ
ゲーション装置1の位置を、自車位置として算出する。
【0023】
また、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、ノードデータ及びリンクデータを有し、制御部3は、この経路データ9aを用い、ROM5に格納された経路案内プログラムに従って、経路探索及び経路案内を行う。また、制御部3は、上記したように算出した自車位置と、走行軌跡、経路データ9aを照合して、自車位置を適切な道路上に位置決めすることにより、自車位置の精度を高めるようになっている。地図描画データ9bは、広範囲から狭範囲の地図を描画した地図画面6aをディスプレイ6に表示するためのデータであって、経路データ9aと対応付けられている。
【0024】
さらに、ナビゲーション装置1は、ディスプレイ6及びスピーカ11を備えている。ディスプレイ6は、タッチパネルであって、車両Cが前進する際には、制御部3による駆動制御により、地図画面6aを表示する。また、車両Cが後退する際には、制御部3による駆動制御により、駐車補助モードに切り替えられる。駐車補助モードには、第1及び第2表示モードが設定され、第1表示モードでは、車両Cの後方を、撮像装置としてのバックモニタカメラ(以下、カメラ25という)により撮像したバックモニタ画面(図示省略)を表示する。第2表示モードでは、異なる地点で撮像した複数の画像データを用いた駐車支援画面41(図12参照)を表示する。スピーカ11は、制御装置2が備える音声出力部12からの出力信号に基づき、案内経路等を案内する案内音又は案内音声を出力する。
【0025】
また、制御装置2は、画像データ取得手段としての画像データ取得部10を備えている。画像データ取得部10は、制御部3の制御により、車両Cに設けられたカメラ25を駆動制御して、車両Cの後退に従って、各地点における画像データG(図3参照)を取得する。また、車両Cが、路面上の位置を示すための図2に示す車両座標系(X,Y)において予め定められた画像取得距離D1だけ移動する度に、画像データGを逐次取得する。本実施形態では、画像取得距離D1は、200mmに設定されている。
【0026】
図2に示すように、カメラ25は、車両Cのうち、車幅方向(車両座標系のY軸方向)の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ25は、カラー画像を撮像し、アナログ/デジタル変換された画像データGを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。カメラ25は、例えば左右140度の後方視野を有し、車両Cの後方路面の約数メートルを可視範囲Zとしている。また、カメラ25の撮像範囲には、リヤバンパーRBのバンパー隅部(以下、隅部BCという)を除く、中央部BMが含まれている。
【0027】
カメラ25によって生成された画像データGは、例えば、図5(a)に示すような画像30を表示し、その画像30には、リヤバンパーRBの中央部BMを撮像した後端画像42が下端に表示されている。また、画像30は、カメラ25が広角レンズを用いているため、周辺の画像が歪む、いわゆる歪曲収差が生じているが、運転者が見て直感的に理解できる程度の歪みになっている。さらに、画像30は、車室内のバックミラーに映る像と同様になるように左右反転されて表示されている。
【0028】
また、図1に示すように、制御装置2は、ユーザ入力I/F部17を備えている。ユーザ入力I/F部17は、タッチパネルや、ディスプレイ6に隣設された操作スイッチ16がユーザにより入力操作されると、入力操作に応じた入力信号を制御部3に出力する。
【0029】
さらに、制御装置2は、抽出手段、読出手段及び画像出力手段を構成する描画処理部18を備えている。描画処理部18は、画像処理を行う演算部や、ディスプレイ6に表示す
るための出力データを一時格納するVRAM(いずれも図示省略)等を備えている。
【0030】
描画処理部18は、画像取得距離D1ごとに画像データ取得部10が取得した画像データGを入力する。そして、図5(a)に示す、画像データGに基づく画像30のうち、予め定められた保存領域B1のみを抽出し、図5(b)に示すように、部分データG1を生成する。保存領域B1は、各画素座標を示す画像座標系(x,y)において、画像データGと同じ幅(y軸方向における長さ)であって、その高さ(x軸方向の長さ)が短くなるように区画された矩形状の領域である。即ち、ディスプレイ6の画像表示領域6Zのうち車両C側であって、反進行方向側の領域を、保存領域B1としている。
【0031】
さらに、描画処理部18は、部分データG1を、記録画像データとしての俯瞰画像データG2に変換する。このとき、描画処理部18は、ROM5等に格納された図示しない座標変換テーブルを読込んで、部分データG1の各画素座標を、テーブルで紐付けられた変換先の画素座標に変換する。これにより、部分データG1は、現在のカメラ25の光軸と路面との交点の鉛直方向上方であって、カメラ25の高さ位置とほぼ同じ位置に設定された仮想視点に視点変換される。その結果、図5(b)に示すような部分データG1に基づく画像31が、図5(c)に示すように、より高い位置から見下ろした俯瞰画像32に変換される。
【0032】
描画処理部18により俯瞰画像データG2が生成されると、制御部3は、図3に模式的に示すように、画像データG(俯瞰画像データG2)を撮像した位置を、位置データとしての撮像位置データ13として俯瞰画像データG2に添付する。また、舵角センサ信号STに基づく舵角を、舵角情報としての舵角データ14として添付する。そして、撮像位置データ13及び舵角データ14が添付された俯瞰画像データG2を、記録データG3として、画像データ記憶手段としての画像メモリ15(図1参照)に格納する。即ち、画像メモリ15には、車両Cが画像取得距離D1を移動する度に生成された各記録データG3が蓄積される。また、添付される撮像位置データ13は、絶対座標でもよいし、基準位置からの相対座標でもよい。また、舵角データ14ではなく、方位検出信号DSに基づく方位データ(方位情報)を俯瞰画像データG2に添付するようにしてもよい。
【0033】
また、描画処理部18は、車両Cが前進又は停車している際に、上記した地図画面6aをディスプレイ6に出力する。さらに、車両Cが後退した際には、制御部3の制御に従って、上記した第1表示モードの処理を行う。描画処理部18は、車両Cの現在位置で撮像した画像データGを画像データ取得部10から取得し、車両C後方を撮像したバックモニタ画面(図示省略)をディスプレイ6に表示する。そして、車両Cの移動に伴い画面を更新する。
【0034】
第2表示モードの際は、描画処理部18は、制御部3の制御により、図12に示すような駐車支援画面41を出力する。詳述すると、描画処理部18は、図4(a)に示す、撮像位置としての初期位置Aから、所定距離としての合成用距離D3分移動するまで、画像取得距離D1ごとに、記録データG3を画像メモリ15に蓄積する。本実施形態では、合成用距離D3は、1mに設定されている。
【0035】
車両Cが、初期位置Aから合成用距離D3だけ後退し、図4(b)に示すように位置Bに到達すると、描画処理部18は、画像データ取得部10から、車両Cの現在位置(位置B)で撮像された画像データGを取得する。この現在の自車位置で撮像された画像データGを、以下、現在画像データG4という。現在画像データG4は、図6(b)に示す画像33のように、リヤバンパーRBを撮像した後端画像42の画像データを含んでいる。この現在画像データG4のうち、車両Cに近い領域を撮像した、所定領域としての合成領域B2が、俯瞰画像データG2と合成する領域となっている。尚、合成領域B2を区画する
座標は、一定となっている。
【0036】
また、描画処理部18は、画像メモリ15内において、車両Cの現在位置から合成用距離D3後方の位置が対応付けられた記録データG3を検索する。そして、該当する記録データG3を読出すと、その記録データG3内の俯瞰画像データG2のうち、その時点の舵角に応じて、合成領域B3を決定する。即ち、車両Cが、後方(X軸方向)に直進している場合には、描画処理部18は、俯瞰画像データG2のうち、図5(c)に示す、合成領域B3の画像データを抽出する。直進の場合の合成領域B3は、矩形状であって、俯瞰画像データG2の上方及び下方と両側とに、マージンB4が確保されている。
【0037】
そして、描画処理部18は、現在画像データG4の合成領域B2と、俯瞰画像データG2の合成領域B3とを上下(画面座標系においてx軸方向)に並べて出力する。即ち、図6(a)に示す、俯瞰画像データG2に基づく過去画像32aが、図6(b)に示す、現在画像データG4の現在画像33aと連続するように合成され、図6(c)に示す合成画像35がディスプレイ6に出力される。
【0038】
一方、車両Cが旋回しながら後退している場合には、描画処理部18は、そのときの舵角と、俯瞰画像データG2に添付された舵角データ14に基づく過去舵角との相対角度に応じて、マージンB4を利用して合成領域B3を設定し、舵角に応じた画像データを抽出する。そして、このように抽出した画像データと、現在画像データG4の合成領域B2とを合成するので、俯瞰画像データG2に基づく画像と、現在画像データG4に基づく画像との連続性が良好になる。
【0039】
また、描画処理部18は、この合成画像35のうち、過去画像32aに重畳するように、上記した補助線47を描画する。これにより、図12に示す駐車支援画面41がディスプレイ6に出力される。駐車支援画面41のうち、進行方向(画面座標系のx軸方向)と反対側(下方)には、過去画像32aが表示され、進行方向(上部)には、現在画像33aが表示されている。過去画像32aは、現在位置(位置B)での、車両Cのフロア下方に相当する領域の画像である。即ち、保存領域B1は、俯瞰画像データG2の撮像位置から合成用距離D3分移動した位置で、カメラ25の死角(フロア下方及びその周辺)を撮像した領域に設定されている。従って、この過去画像32aに、車両Cの輪郭を示す補助線47を表示することで、過去画像32aにおける車両Cの位置を示すことができる。
【0040】
また、現在画像33aの下端には、リヤバンパーRBの位置を示す後端画像42が表示されているので、車両Cの後端と、障害物、駐車枠を標示する白線、又は車輪止めとの相対距離がわかる。さらに、描画処理部18は、現在画像33aには、車幅を延長した車幅延長線48と、現在の舵角に基づいた進路を示す予想軌跡線49とを描画する。尚、図12では、車両Cが後方へ直進する場合を説明したため、車幅延長線48は予想軌跡線49に重ねられている。また、駐車支援画面41には、第2表示モードから第1表示モードに切替える操作部43、予想軌跡線49等の消去を指示する操作部44が表示されている。
【0041】
次に、本実施形態の駐車支援処理の処理手順について、図9〜図11に従って説明する。まず、ナビゲーション装置1の制御部3は、図9に示すように、ナビゲーション装置1の起動後、ROM5に格納された駐車支援プログラムに従って、シフトポジションスイッチ20から入力したシフトポジション信号SPに基づき、車両Cの変速機がリバースレンジであるか否かの判断を繰り返す(ステップS1)。リバースレンジである場合には(ステップS1においてYES)、その位置を初期位置として、ナビゲーション装置1の現在のモードが、駐車支援画面41を表示する第2表示モードであるか否かを判断する(ステップS2)。この第2表示モードは、ディスプレイ6に表示された操作部43、又はディスプレイ6に隣設された操作スイッチ16によって選択可能になっている。第2表示モー
ドを起動する設定がなされると、メインメモリ4に格納されたモード起動フラグがオン状態に設定される。制御部3は、メインメモリ4に格納されたモード起動フラグがオフ状態であると判断すると(ステップS2においてNO)、描画処理部18を制御して、第1表示モードを行う(ステップS3)。モード起動フラグがオン状態であると判断すると(ステップS2においてYES)、ステップS4に進む。
【0042】
図10に示すように、ステップS4では、制御部3が、各種パラメータを初期化する。このパラメータとしては、記録用カウンタLn1、画像更新用カウンタLn2がある。記録用カウンタLn1は、画像データGを取得する画像取得距離D1に到達したか否かを判断するためのカウンタであって、車速センサ22からの入力パルス数をカウントする。画像更新用カウンタLn2は、駐車支援画面41を更新する画像更新距離D2に到達したか否かを判断するためのカウンタであって、同じく車速センサ22からの入力パルス数をカウントする。尚、本実施形態では、画像更新距離D2は、200mmに設定され、画像取得距離D1と同じ距離となっている。
【0043】
パラメータの初期化が行われると、制御部3は、画像データ取得部10を介して、カメラ25から画像データGを取得する(ステップS5)。描画処理部18は、画像データGのうち、図5(a)に示す保存領域B1を抽出し、図5(b)に示す画像31のような部分データG1を生成する(ステップS6)。
【0044】
さらに、描画処理部18は、生成した部分データG1を、俯瞰画像データG2に座標変換する(ステップS7)。また、制御部3は、ほぼ同時に、車両側I/F部8を介して、シフトポジション信号SP、舵角センサ信号ST、車速信号VS、方位検出信号DS等の車両データを取得する(ステップS8)。さらに、GPS受信部7と、車速信号VS、方位検出信号DSとに基づき、自車位置を算出する。
【0045】
そして、制御部3は、描画処理部18を制御して、車両Cの現在位置を示す撮像位置データ13と、舵角センサ信号STに基づく舵角データ14とを俯瞰画像データG2に添付して、記録データG3として画像メモリ15に格納する(S9)。これにより、初期位置Aで撮像された俯瞰画像データG2が、初期位置Aの撮像位置データ13及び舵角データ14と対応付けられて格納される。
【0046】
初期位置Aの記録データG3を格納すると、制御部3は、車速信号VSに基づき、車両Cの後退を示すパルスが入力されたか否かを判断する(ステップS10)。後退パルスを入力した場合には(ステップS10においてYES)、記録用カウンタLn1に、「1」等の入力パルス数を加算する(ステップS11)。また、画像更新用カウンタLn2に、「1」等を加算して、画像更新用カウンタLn2を更新する(ステップS12)。
【0047】
そして、制御部3は、記録用カウンタLn1に基づき、カウント開始位置(ここでは、初期位置A)からの移動距離を算出し、その移動距離が、画像取得距離D1(100mm)以上であるか否かを判断する(ステップS13)。車両Cが、初期位置Aから100mm以上の距離にあるとき、制御部3は、画像取得距離D1に到達したと判断して(S13においてYES)、ステップS5と同様に、画像データ取得部10を介して、画像データGを取得する(ステップS14)。そして、ステップS6と同様に、取得した画像データGのうち、保存領域B1を抽出し、部分データG1を生成する(S15)。
【0048】
さらに、描画処理部18は、ステップS8と同様に、制御部3を介して車両データを取得し(ステップS16)、部分データG1を俯瞰画像データG2に座標変換するとともに(S17)、俯瞰画像データG2を、記録データG3として画像メモリ15に格納する(ステップS18)。
【0049】
さらに、制御部3は、記録用カウンタLn1を、初期値にリセットする(ステップS19)。即ち、ステップS13〜S19では、車両Cが画像取得距離D1だけ移動するたびに取得された画像データGのうち、保存領域B1を抽出して部分データG1を生成し、さらに座標変換した後、車両Cの撮像位置データ13、及び舵角データ14とともに画像メモリ15に蓄積する。このとき、車両Cのフロア下方にあたる領域(カメラ25の死角領域)とその周辺の領域が保存され、合成に不必要な領域は保存しないので、記録データG3のデータ量を軽減できる。また、画像データG全体を座標変換することなく、抽出された部分データG1を座標変換するので、変換処理を軽減化し、処理時間を短縮化できる。
【0050】
ステップS20では、制御部3は、画像更新用カウンタLn2に相当する移動距離が、画像更新距離D2(100mm)以上であるか否かを判断する。例えば、車両Cが、初期位置Aから画像更新距離D2(100mm)だけ後退した位置にあるとき、画像更新用カウンタLn2に基づく移動距離が、画像更新距離D2以上であると判断し(ステップS20においてYES)、ステップS21に進む。尚、画像更新用カウンタLn2が、画像更新距離D2に満たない場合(ステップS20においてNO)には、ステップS10に戻る。
【0051】
図11に示すように、ステップS21では、描画処理部18は、画像メモリ15内を検索して、車両Cの現在位置から、合成用距離D3後方の位置で撮像された記録データG3が、画像メモリ15に格納されているか判断する。具体的には、制御部3は、各記録データG3内の撮像位置データ13に基づき移動軌跡を演算して、現在位置から進行方向において合成用距離D3後方の位置で撮像された記録データG3を検索する。例えば、車両Cが、初期位置Aから図4(b)に示す位置Bの間の位置にある場合には、現在位置から合成用距離D3(1m)だけ後方の位置で撮像された記録データG3が記録されていないと判断して(ステップS21においてNO)、ステップS10に戻る。
【0052】
そして、ステップS10〜ステップS20を繰り返し、制御部3が、自車位置が、例えば図4(b)に示す位置Bにあると判断した場合には、該当する記録データG3があると判断し(S21においてYES)、その記録データG3を読出す(S22)。
【0053】
さらに、描画処理部18は、画像データ取得部10を介して現在画像データG4を取得し(ステップS23)、現在画像データG4の合成領域B3と、俯瞰画像データG2の合成領域B2とを上下に並べた、合成データを作成する(ステップS24)。このとき、上記したように、車両Cが初期位置Aから位置Bまで直進した場合には、図5(c)に示す矩形状の合成領域B3のデータを抽出する。また、読出した記録データG3内の舵角データ14に基づく過去舵角と現在の舵角とが異なる場合には、相対角度に応じて、俯瞰画像データG2の合成領域B3を相対角度に合わせて変更する。
【0054】
そして、描画処理部18は、その合成データを、ディスプレイ6の画像表示領域6Zに出力する(ステップS25)。その結果、図6(a)に示す俯瞰画像データG2と、図6(b)に示す現在画像データG4に基づき、(c)に示す合成画像35が表示される。
【0055】
さらに、描画処理部18は、合成画像35に重畳して、補助線47等を描画するとともに、操作部43、車幅延長線48及び予想軌跡線49を描画して、図12に示す駐車支援画面41をディスプレイ6に表示する。
【0056】
駐車支援画面41をディスプレイ6に出力すると、制御部3は、画像更新用カウンタLn2をリセットする(ステップS26)。そして、駐車支援画面41を出力する第2表示モードがオフ状態であるか否かを判断する(ステップS27)。具体的には、タッチパネ
ル操作や、操作スイッチ16が入力操作され、ユーザ入力I/F部17にて、第2表示モードを終了するための入力信号を入力したか否かを判断する。
【0057】
第2表示モードがオフ状態である場合(ステップS27においてYES)、駐車補助モードを終了させるトリガを入力したか否かを判断する(ステップS28)。この終了トリガとしては、車両Cに設けられた図示しない電子制御装置(ECU)等から出力された、イグニッションオフを示す信号等、シフトポジションの変更を示す信号等がある。
【0058】
第2表示モードがオン状態である場合(ステップS27においてNO)、ステップS10に戻り、ステップS10〜S13を繰り返す。そして、例えば、車両Cが、図4(b)に示す位置Bから、さらに画像更新距離D2(画像取得距離D1)だけ後退し、図4(c)に示す位置Cに位置するとき、制御部3は、記録用カウンタLn1に相当する距離が、画像取得距離D1以上であると判断する(ステップS13においてYES)。そして、位置Cで、図5に示すような画像36を表示する画像データGを取得する(S14)。そして、描画処理部18は、位置Bで撮像した画像データGに対する処理手順と同様に、画像データGのうち、保存領域B1を抽出して、図5(e)の画像37のような部分データG1を生成する(S15)。さらに、描画処理部18は、生成した部分データG1を座標変換して、図5(f)の俯瞰画像38のような俯瞰画像データG2を生成する(S17)。そして、俯瞰画像データG2に、撮像位置データ13と舵角データ14とを添付して、記録データG3として画像メモリ15に格納する(S18)。
【0059】
そして、制御部3により、記録用カウンタLn1をリセットした後(S19)、描画処理部18は、画像メモリ15を検索して、初期位置Aから合成用距離D3だけ後方の位置(図示省略)で撮像した記録データG3を読出す(S22)。さらに、位置Cで撮像した現在画像データG4を取得し(S23)、現在画像データG4の合成領域B2と、記録データG3内の俯瞰画像データG2の合成領域B3とを合成する(S24)。即ち、図7(a)に示す、俯瞰画像38の合成領域B3と、図7(b)に示す、現在画像データG4に基づく現在画像39の合成領域B2とを合成した後、(c)に示す、合成画像40をディスプレイ6に出力する(S25)。
【0060】
このように、車両Cが画像取得距離D1だけ移動する度に、記録データG3が生成され、画像更新距離D2だけ移動する度に、駐車支援画面41が更新される。そして、駐車操作が完了し、イグニッションモジュールのオフ信号等、終了トリガを入力した場合(ステップSS28においてYES)、制御部3は、駐車補助モードを終了する。
【0061】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ナビゲーション装置1の描画処理部18は、車両Cが画像取得距離D1分移動する度に、画像データ取得部10から画像データGを取得するようにした。そして、画像データGのうち、合成画像35,40を表示するために用いる保存領域B1のみを抽出するようにした。また、抽出した部分データG1を、撮像位置を示す撮像位置データ13及び舵角データ14と対応付けて、俯瞰画像データG2として画像メモリ15に格納するようにした。そして、駐車支援画面41を出力する際に、撮像位置データ13に基づいて、現在位置から進行方向において合成用距離D3後方の撮像位置で撮像された俯瞰画像データG2を読み出し、読出した俯瞰画像データG2のうち合成領域B3と、現在画像データG4の合成領域B2とを並べて、ディスプレイ6に出力するようにした。従って、描画処理部18は、取得した画像データGのうち、合成に必要な部分のみ保存するので、記録データG3のデータ量を軽減することができる。このため、画像メモリ15の必要容量を小さくすることができる。さらに、記録データG3のデータ量が小さくなることにより、記録データG3の検索、読出処理及び座標変換等の画像処理、出力処理等を軽減化し、処理時間を短縮化することができる。従って、画像更新頻度を高めることが
できる。
【0062】
(2)上記実施形態では、俯瞰画像データG2の保存領域B1を、その俯瞰画像データG2の撮像位置から、進行方向において、合成用距離D3だけ離間した位置に車両Cがある場合に、カメラ25の死角となる路面及び背景を撮像した領域とした。このため、車両Cが、俯瞰画像データG2の撮像位置から合成用距離D3だけ進んだ際に、その俯瞰画像データG2を読み出して、カメラ25の死角であるフロア下方の画像を駐車支援画面41に表示することができる。従って、駐車支援画面41を視認することによって、車両Cと駐車目標領域との相対距離、後輪CRと車輪止めとの相対距離等を把握することができる。
【0063】
(3)上記実施形態では、描画処理部18は、画像データGから保存領域B1を抽出した後に、座標変換して、俯瞰画像データG2を生成するようにした。このため、画像データG全体を座標変換する必要がなく、座標変換処理を軽減することができる。また、現在画像データG4に基づく現在画像33a,39aとの連続性を良好にすることができる。
【0064】
(4)上記実施形態では、俯瞰画像データG2に、舵角データ14を添付して画像メモリ15に格納するようにした。また、描画処理部18は、読出した記録データG3の舵角データ14に基づく過去舵角と、現在舵角との相対角度に基づいて、俯瞰画像データG2の合成領域B3を変更するようにした。このため、過去画像32a,38aを現在画像33a,39aと並べて表示した際に、画像の連続性を良好にすることができる。
【0065】
(5)上記実施形態では、描画処理部18は、過去画像32a,38aに、車両Cの現在位置を示す補助線47を描画するようにした。このため、過去画像32a,38a上の車両Cの位置を把握し、駐車目標領域と車両Cとのずれを把握できる。
【0066】
(6)上記実施形態では、駐車支援装置を、GPS受信部7、ディスプレイ6及び車両側I/F部8を備えるナビゲーション装置1に具体化したので、ナビゲーション装置1が具備する各装置を有効利用し、俯瞰画像データG2に、比較的精度の高い撮像位置データ13等を添付することができる。従って、描画処理部18は、各地点で、的確な俯瞰画像データG2を読み出して、合成画像35,40を出力することができる。
【0067】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、保存領域B1は、矩形状でなくてもよい。具体的には、例えば、図13に示すように、保存領域B1を、ディスプレイ6の画像表示領域6Zのうち、上部の一部を除いたコの字状(「凹」状)の領域にしてもよい。この保存領域B1は、現在の車両Cのフロア下方と、リヤバンパーの角周辺を含む隅部にあたる死角領域を表示する領域である。描画処理部18は、画像表示領域6Zの上部に現在画像52を配置し、その現在画像52の両側及び下方に過去画像51を表示した駐車支援画面50をディスプレイ6に出力する。現在画像52は、現在画像データG4を縮小した画像であって、さらには俯瞰変換したものでもよい。このため、カメラ25の画角内に含まれない隅部BCも表示できる。また、その隅部BCにあたる位置に、現在画像52の後端画像42と連続させて、隅部BCを示す輪郭線53を描画してもよい。このようにすると、隅部BCと障害物との相対位置を把握できる。
【0068】
・上記実施形態では、画像データGを俯瞰画像データG2に変換するときの仮想視点を、光軸と路面との交点において鉛直方向上方であって、カメラ25の高さ位置とほぼ同じ位置に設定したが、これ以外の高さに設定してもよい。
【0069】
・上記実施形態では、車速センサ22から入力したパルス数に基づき、移動量を算出し
、その移動量が画像取得距離D2以上であるか否かを判断するようにした。これ以外に、入力したパルス信号の立上がりエッジを、画像更新用のトリガとし、画像更新用カウンタLn2に「1」を加算し、さらに、同じパルス信号の立ち下がりエッジもトリガとし、画像更新用カウンタLn2を更新するようにしてもよい。
【0070】
・上記実施形態では、ナビゲーション装置1の位置を、自車位置として検出したが、カメラ25の位置でもよい。或いは、車両CのリヤバンパーRBの位置等、その他の位置にしても良い。
【0071】
・上記各実施形態では、画像取得距離D1と画像更新距離D2とを同じ距離にしたが、異なる距離でもよい。また、画像取得距離D1及び画像更新距離D2を、100mmとしたが、その他の距離でもよい。また、合成用距離D3は1mとしたが、その他の値でもよい。
【0072】
・上記実施形態では、ナビゲーション装置1が車両Cの方位を検出するジャイロセンサを具備していてもよい。
・上記実施形態では、車両Cが旋回しながら後退する際に、俯瞰画像データG2の合成領域B3を変更するようにしたが、変更しなくてもよい。
【0073】
・上記実施形態では、部分データG1から、俯瞰画像データG2を生成したが、部分データG1を記録データG3として格納してもよい。そして、過去画像を表示するために用いる場合に、現在のカメラ25の視点に視点変換するようにしてもよい。
【0074】
・カメラ25は、車両Cの後方でなく、車両Cの前方に取り付けられてもよい。また、車両Cが駐車目標領域に前進しながら進入するときに、駐車支援処理を行ってもよい。この場合には、このカメラによって生成された画像データGのうち、車体前方のフロア下方、又はフロントバンパーの隅部に相当する保存領域B1を設定する。
【0075】
・上記各実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、現在画像データG4と、俯瞰画像データG2とをディスプレイ6に表示してもよい。
【0076】
・上記実施形態では、駐車支援装置を、ナビゲーション装置1に具体化したが、その他の車載装置に具体化してもよい。この場合、GPS受信部7や、地図データ記憶部9等が省略される。
【図面の簡単な説明】
【0077】
【図1】本実施形態のナビゲーション装置の構成を説明するブロック図。
【図2】カメラの取付位置を説明する説明図。
【図3】画像メモリに格納された記録データの説明図。
【図4】画像取得、画像更新のタイミングを説明するための説明図であって、(a)は初期位置、(b)は位置B、(c)は位置Cを示す。
【図5】俯瞰画像データを生成する手順の説明図であって、(a)及び(d)は画像データの説明図、(b)及び(e)は部分データの説明図、(c)及び(f)は俯瞰画像データの説明図。
【図6】合成処理の説明図であって、(a)は俯瞰画像データの説明図、(b)は現在画像データの説明図、(c)は合成画像の説明図。
【図7】合成処理の説明図であって、(a)は、位置Cでの俯瞰画像データの説明図、(b)は現在画像データの説明図、(c)は合成画像の説明図。
【図8】補助線の説明図。
【図9】本実施形態の処理手順の説明図。
【図10】本実施形態の処理手順の説明図。
【図11】本実施形態の処理手順の説明図。
【図12】駐車支援画面の説明図。
【図13】別例の駐車支援画面の説明図。
【符号の説明】
【0078】
1…駐車支援装置としてのナビゲーション装置、3…位置特定手段を構成する制御部、6…表示手段としてのディスプレイ、7…位置特定手段を構成するGPS受信部、10…画像データ取得手段としての画像データ取得部、13…位置データとしての撮像位置データ、14…舵角情報としての舵角データ、15…画像データ記憶手段としての画像メモリ、18…画像処理手段、抽出手段、読出手段及び画像出力手段としての描画処理部、25…撮像装置としてのカメラ、32a,38a,51…過去画像、33a,39a,52…現在画像、41…駐車支援画像としての駐車支援画面、47…指標としての補助線、B2…所定領域としての合成領域、B3…合成領域、BC…隅部、C…車両、D1…画像取得距離、D2…画像更新距離、D3…所定距離としての合成用距離、G…画像データ、G1…部分データ、G2…記録データとしての俯瞰画像データ、G3…記録画像データ、G4…現在画像データ、Z…可視範囲。
【特許請求の範囲】
【請求項1】
車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、
抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、
前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、
読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを特徴とする駐車支援方法。
【請求項2】
車両に設けられた駐車支援装置において、
前記車両の位置を特定する位置特定手段と、
前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、
取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、
抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、
前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、
読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段と
を備えることを特徴とする駐車支援装置。
【請求項3】
請求項2に記載の駐車支援装置において、
前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを特徴とする駐車支援装置。
【請求項4】
請求項2又は3に記載の駐車支援装置において、
前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを特徴とする駐車支援装置。
【請求項5】
請求項2〜4のいずれか1項に記載の駐車支援装置において、
前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを特徴とする駐車支援装置。
【請求項6】
請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、
前記画像出力手段は、
前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを特徴とする駐車支援装置。
【請求項1】
車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、
抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、
前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、
読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを特徴とする駐車支援方法。
【請求項2】
車両に設けられた駐車支援装置において、
前記車両の位置を特定する位置特定手段と、
前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、
取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、
抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、
前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、
読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段と
を備えることを特徴とする駐車支援装置。
【請求項3】
請求項2に記載の駐車支援装置において、
前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを特徴とする駐車支援装置。
【請求項4】
請求項2又は3に記載の駐車支援装置において、
前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを特徴とする駐車支援装置。
【請求項5】
請求項2〜4のいずれか1項に記載の駐車支援装置において、
前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを特徴とする駐車支援装置。
【請求項6】
請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、
前記画像出力手段は、
前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを特徴とする駐車支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−30630(P2007−30630A)
【公開日】平成19年2月8日(2007.2.8)
【国際特許分類】
【出願番号】特願2005−214835(P2005−214835)
【出願日】平成17年7月25日(2005.7.25)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年2月8日(2007.2.8)
【国際特許分類】
【出願日】平成17年7月25日(2005.7.25)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]