運転支援方法及び運転支援装置
【課題】運転支援画像の画質を向上する運転支援方法及び運転支援装置を提供する。
【解決手段】駐車支援装置1は、車両に設けられたカメラ30から取得した画像データを、記録画像データとして画像メモリ11に記憶する。また、画像プロセッサ10は、カメラ30から新たに取得した現在画像データに基づく現在俯瞰データと、記録画像データとの重複領域において、予め定められた条件に基づき、現在俯瞰データの画素値と記録画像データの画素値のいずれかを選択する。また、選択した画素値を用いて現在俯瞰データを補正して、その現在俯瞰データに基づいた運転支援画面をディスプレイ20に表示する。
【解決手段】駐車支援装置1は、車両に設けられたカメラ30から取得した画像データを、記録画像データとして画像メモリ11に記憶する。また、画像プロセッサ10は、カメラ30から新たに取得した現在画像データに基づく現在俯瞰データと、記録画像データとの重複領域において、予め定められた条件に基づき、現在俯瞰データの画素値と記録画像データの画素値のいずれかを選択する。また、選択した画素値を用いて現在俯瞰データを補正して、その現在俯瞰データに基づいた運転支援画面をディスプレイ20に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援方法及び運転支援装置に関する。
【背景技術】
【0002】
従来より、安全運転を支援する装置として、車両周辺の背景を映した画面を表示する運転支援装置が知られている。この装置は、車両後端に取り付けられた車載カメラから映像信号を入力し、その映像信号に基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する。
【0003】
また、最近、駐車操作時に、車載カメラから入力した画像データを用いて画像処理を行い、駐車目標領域を俯瞰した俯瞰画像を表示する運転支援装置が提案されている(例えば、特許文献1及び2参照)。ドライバーは、俯瞰画像を視認することによって、駐車目標領域に対する自車両の相対位置・相対方向を把握することができる。
【特許文献1】特開2002−283913号公報
【特許文献2】特開2003−191810号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、通常、上記した車載カメラによって撮像された画像は、広角レンズを通過した光の屈折により、図16に示すように、いわゆるタル型の歪曲収差(ディストーション)が生じている。特にレンズの中心から離れた位置を通過した光線ほど強く屈折されるため、画像の歪みは、画像中心から離れた位置、即ち画像を表示する描画領域Zの周辺ほど大きくなる。このため、車載カメラによって生成した画像をそのままディスプレイに表示すると、実際に目視した背景と比べ違和感がある。また、歪みが生じた画像データを俯瞰変換しても、歪みが解消しきれないばかりか、俯瞰画像の画質低下の原因にもなる。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、運転支援画像の画質を向上する運転支援方法及び運転支援装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを要旨とする。
【0007】
請求項2に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを要旨とする。
【0008】
請求項3に記載の発明は、車両に搭載された運転支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、前記撮像装置から新たに取得した
最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、前記判定手段により選択された画素値を用いて前記最新画像データを補正する第1画像処理手段と、補正した前記最新画像データを用いて運転支援画像データを生成する第2画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。
【0009】
請求項4に記載の発明は、請求項3に記載の運転支援装置において、前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを要旨とする。
【0010】
請求項5に記載の発明は、請求項3又は4に記載の運転支援装置において、前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを要旨とする。
【0011】
請求項6に記載の発明は、請求項3〜5のいずれか1項に記載の運転支援装置において、前記第2画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを要旨とする。
【0012】
請求項7に記載の発明は、請求項3〜6のいずれか1項に記載の運転支援装置において、前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを要旨とする。
【発明の効果】
【0013】
請求項1に記載の発明によれば、二つの画像データの重複領域において、重複する画素座標に対する二つの画素値のうち、最適な画素値を選択するとともに、その画素値を用いた運転支援画像を表示手段に表示する。このため、例えば、一方の画像データのうち、部分的に画質低下が生じている場合、その画質が低下した部分を他方の画像データで補うことにより、運転支援画像の画質を向上することができる。
【0014】
請求項2に記載の発明によれば、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像の画質を向上することができる。
【0015】
請求項3に記載の発明によれば、第1画像処理手段は、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像データの画質を向上することができる。
【0016】
請求項4に記載の発明によれば、判定手段は、同じ画素座標に対応する、最新画像データの画素値及び記録画像データの画素値のうち、撮像装置の光軸位置に近い画素値を採用する。このため、撮像装置のレンズに起因し、画像周辺、即ち光軸から離れた領域で生じる歪みを解消することができる。
【0017】
請求項5に記載の発明によれば、俯瞰変換手段により、記録画像データ及び最新画像データは俯瞰変換される。このため、車両周辺を俯瞰した運転支援画像を表示することができる。
【0018】
請求項6に記載の発明によれば、第2画像処理手段によって、最新画像データと記録画像データとを用いて、撮像装置の死角を表示した運転支援画像が表示される。従って、撮像装置の死角に入った領域、白線、車輪止めも表示することができるので、車両と運転目標領域との相対位置をより的確に把握することができる。
【0019】
請求項7に記載の発明によれば、出力制御手段は、移動体検出手段が移動体を検出した場合に、記録画像データを合成しない状態の画像データを出力するので、移動体の進入等、現在の車両周辺状況を反映した画像を表示することができる。このため、安全性を向上させることができる。
【発明を実施するための最良の形態】
【0020】
以下、本発明を具体化した一実施形態を、図1〜図11に従って説明する。図1は、自動車に搭載された運転支援装置としての駐車支援装置1の構成を説明するブロック図である。
【0021】
図1に示すように、駐車支援装置1は、駐車支援ユニット2、各種画面を表示する表示手段としてのディスプレイ20、警告音又は案内音声を出力するスピーカ28、及び撮像装置としてのバックモニタカメラ(以下、単にカメラ30という)を備えている。駐車支援ユニット2の移動体検出手段としての制御部3は、図示しないコンピュータを備え、ROM5に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ4は、制御部3の演算結果を一時記憶するとともに、駐車支援のための各種変数及びフラグ等を記憶している。
【0022】
ROM5には、運転支援プログラムの他、駐車支援装置1が搭載された車両C(図2参照)をディスプレイ20に描画するための自車画像データ5aが格納されている。この自車画像データ5aは、車両Cを鉛直方向上方から俯瞰した画像を表示する。
【0023】
また、駐車支援装置1は、GPS(global positioning system)受信部6を備えてい
る。制御部3は、GPS受信部6が受信したGPS衛星からの信号に基づき、電波航法によって、駐車支援装置1が搭載された車両Cの絶対座標を算出する。
【0024】
さらに、駐車支援ユニット2は、車両側インターフェース部(車両側I/F部7)を備えている。制御部3は、この車両側I/F部7を介して、車両Cに設けられた車速センサ21及びジャイロ22から、車速パルスVP及び方位検出信号GRPを入力する。制御部3は、この車速パルスVPの波形により、車両Cの前進及び後退を判断する。また、制御部3は、車速パルスVPの入力パルス数により、基準位置からの車両Cの移動量を算出する。さらに、制御部3は、入力した方位検出信号GRPに基づき、メインメモリ4に記憶された変数である、現在方位GRを更新する。
【0025】
また、制御部3は、車両側I/F部7を介して、車両Cのニュートラルスタートスイッチ23から、シフトポジション信号SPPを入力し、メインメモリ4に格納された変数であるシフトポジションSPを更新する。さらに、制御部3は、車両側I/F部7を介して、ステアリング舵角センサ24から、ステアリングセンサ信号STPを入力する。制御部3は、このステアリングセンサ信号STPに基づき、メインメモリ4に格納された車両Cの現在舵角STRを更新する。
【0026】
さらに、制御部3は、車両側I/F部7を介して、車両Cに設けられたセンサ制御部25から、車両周辺の障害物との相対距離を示すソナー信号SNを入力する。センサ制御部25は、図2(a)に示す、各ソナー26との間で各種信号を入出力して、各ソナー26
の制御、入力信号の処理を行うコンピュータである。これらのソナー26としては、リヤバンパー等、車両後端CBの右隅に設けられた第1クリアランスソナー(以下、第1ソナー26aという)、左隅に設けられた第2クリアランスソナー(以下、第2ソナー26bという)、中央部に設けられた1対のバックソナー26cから構成されている。尚、第1〜第2ソナー26a,26b、バックソナー26cを互いに区別しないで説明する場合には、単にソナー26として説明する。
【0027】
各ソナー26は、超音波を送受信するマイクロホンや、増幅等を行う制御回路(いずれも図示せず)を内蔵している。各ソナー26は、車両C周辺に、所定の順番に繰り返し超音波を発信する。センサ制御部25は、超音波が障害物に反射して、各ソナー26にあたるまでの所要時間により、各ソナー26から障害物までの相対距離を算出する。そして、センサ制御部25は、車両周辺の障害物の有無と、障害物が検出された場合、その障害物までの相対距離とを示すソナー信号SNを、制御部3に出力する。
【0028】
また、図1に示すように、駐車支援ユニット2は、画像データ取得手段としての画像データ入力部9を備えている。画像データ入力部9は、制御部3の主制御により、車両Cに設けられたカメラ30を駆動制御する。カメラ30は、図2(b)に示すように、車両Cのバックドア等、車両後端CBに光軸を斜め下方に向けて取り付けられている。このカメラ30は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)とを備えている。図2(b)に示すように、カメラ30は、車両後方を撮像範囲Znとしている。
【0029】
駐車操作時等、車両Cが後退を始めると、制御部3は、画像データ入力部9を介して、カメラ30から、図3(a)に示すような画像データGを所定の間隔でキャプチャする。駐車支援ユニット2が備える判定手段、第1画像処理手段、第2画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ10(図1参照)は、キャプチャした画像データGのうち、車両Cから比較的遠い領域に相当する遠方領域31aを削除する。そして、車両周辺領域31bを抽出することにより、抽出データG1を生成する。
【0030】
さらに、画像プロセッサ10は、生成した抽出データG1を公知の方法で俯瞰変換する。これにより、図3(b)に示すように、車両Cの後方周辺を鉛直方向上方の視点から俯瞰した記録画像データG2が生成される。この俯瞰変換により、例えば、図3(a)に示す、駐車目標領域を区画した白線31c等のような画像の歪みが緩和される。しかし、図3(b)では図示を省略するが、俯瞰変換後の俯瞰画像35でも、歪みは除去しきれず、残った状態になっている。
【0031】
抽出データG1を俯瞰変換して記録画像データG2を生成すると、画像プロセッサ10は、制御部3を介して、車両Cの現在位置及び方位を取得する。そして、図4に示すように、これらのデータを位置データ32、方位データ33として、記録画像データG2に関連付けて、駐車支援ユニット2が備える画像データ記憶手段としての画像メモリ11(図1参照)に記憶する。尚、位置データ32及び方位データ33は、図4のように記録画像データG2に添付されても良いし、位置データ32及び方位データ33からなるマップと、記録画像データG2をヘッダ等により紐付けしてもよい。
【0032】
また、車両Cが後退する際、画像プロセッサ10は、記録画像データG2を蓄積する処理と並行して、駐車支援画面を生成する処理を行う。この処理では、カメラ30から、最新の画像データG(以下、現在画像データG4という)を取得し、現在画像データG4に画像メモリ11に蓄積された記録画像データG2を部分的に合成して、現在画像データG4の歪みを取り除く。また、合成した現在画像データG4と、現在のカメラ30の死角領域を撮像している記録画像データG2とを用いて駐車支援画像データを生成する。そして
、駐車支援画像データを、所定のタイミングでディスプレイ20に出力する。
【0033】
各種画像が表示されるディスプレイ20は、タッチパネルであって、このタッチパネルや、ディスプレイ20に隣設された操作スイッチ27(図1参照)がユーザにより入力操作されると、駐車支援ユニット2が備える外部入力インターフェース部(以下、外部入力I/F部12という)が、入力操作に応じた入力信号を制御部3に対して出力する。
【0034】
また、駐車支援ユニット2は、音声プロセッサ13を備えている。音声プロセッサ13は、音声ファイルを格納した図示しないメモリやデジタル/アナログ変換器等を備え、その音声ファイルを使用して、駐車支援装置1が具備するスピーカ28から案内音声や警告音を出力する。
【0035】
次に、本実施形態の駐車操作を補助するための処理手順について、図5〜図7に従って説明する。まず、図5に示すように、制御部3は、ROM5に記憶された運転支援プログラムに従って、開始トリガの入力を待つ(ステップS1−1)。開始トリガは、ニュートラルスタートスイッチ23から出力された、リバースレンジへの切替を示すシフトポジション信号SPPであって、シフトポジションSPがリバースに切り替えられたと判断すると(ステップS1−1においてYES)、制御部3は、その時点の車両Cの位置を初期位置として設定する。
【0036】
また、制御部3は、車速パルスVPの入力を待つ(ステップS1−2)。車両Cが駐車のために後退を開始した場合、制御部3は車速パルスVPを入力し(ステップS1−2においてYES)、車両Cの現在位置と方位からなる車両位置を算出する(ステップS1−3)。制御部3は、後退を始めた上記初期位置から現在の位置に到達するまでに入力した車速パルスVPのパルス数を累積し、パルス数に基づき初期位置からの移動量を算出する。そして、移動量及び方位検出信号GRPに基づき、初期位置に対する相対座標を示す位置データ32を算出する。また、ジャイロ22から入力した方位検出信号GRPに基づき、車両Cの方位を算出し、その方位を方位データ33とする。
【0037】
次に、制御部3は、画像データ入力部9を介して、カメラ30が撮像した画像をキャプチャして、画像データGを入力する(ステップS1−4)。そして、画像プロセッサ10は、図3(a)に示すように、キャプチャした画像データGのうち、遠方領域31aを削除して、抽出データG1を生成する。さらに、抽出データG1を、俯瞰変換して、図3(b)に示すような記録画像データG2を生成する(ステップS1−5)。
【0038】
記録画像データG2が生成されると、ステップS1−3で算出した位置データ32及び方位データ33を、記録画像データG2に関連付けて、画像メモリ11に記憶する(ステップS1−6)。
【0039】
この記録画像データG2の蓄積処理は、車両Cが所定距離(数十〜数百mm程度)後退する度に、画像データGを入力して記録画像データG2を蓄積してもよいし、所定時間(数ミリ秒〜数秒)毎に蓄積してもよい。その結果、少なくとも数十〜数百mm毎の地点で撮像された画像データGに基づき、各記録画像データG2が生成され、画像メモリ11に蓄積される。
【0040】
次に、画像合成処理について、図6に従って説明する。この処理は、記録画像データG2の蓄積処理と並行して行われる。まず、ステップS1−1,S1−2と同様に、制御部3は、開始トリガの入力、車速パルスの入力を待つ(ステップS2−1,ステップS2−2)。車両Cが後退を開始すると(ステップS2−1及びステップS2−2においてYES)、制御部3は、車両C周辺の移動体の有無を判断する(ステップS2−3)。このと
き、制御部3は、センサ制御部25を介して、各ソナー26からのソナー信号SNを入力する。そして、ソナー信号SNに基づき、障害物の有無の判断を行うとともに、障害物がある場合には車両Cと障害物との相対距離を取得する。このとき入力したソナー信号SNに基づき、障害物が無いと判断した場合には(ステップ2−3においてYES)、ステップS2−5に進む。
【0041】
障害物があると判断した場合には、制御部3は、続けて、新たに出力されたソナー信号SNを入力し、障害物の有無の判断を行い、障害物までの相対距離を取得する。そして、1回目に入力したソナー信号SNに基づく障害物までの相対距離D1と、2回目に入力したソナー信号SNに基づく相対距離D2とを比較する。さらに、各相対距離D1,D2の差の絶対値(=|D1−D2|)が、各ソナー信号SNの計測時間内に車両Cが後退した後退量ΔLと等しい場合には(ΔL=|D1−D2|)、その障害物は、駐車している他車両、塀等の静止障害物であると判断する。制御部3は、静止障害物を検出すると、移動体が検出されないと判断し(ステップS2−3においてYES)、ステップS2−5に進む。
【0042】
一方、後退量ΔLが、各相対距離D1,D2の差と異なる場合には(ΔL≠|D1−D2|)、その障害物は、車両Cの後方に進入した他車両、歩行者等の移動体であると判断する(ステップS2−3においてNO)。この場合、ドライバーに現在の車両周辺状況を通知することを優先させて、画像プロセッサ10は、カメラ30から現在画像データG4を取得し、その現在画像データG4をディスプレイ20に出力する。その結果、図8に示すような背景画像41が表示される。このとき、音声プロセッサ13により、移動体が車両周辺にあることを通知する警告音、警告音声をスピーカ28から出力するようにしてもよい。
【0043】
また、画像プロセッサ10は、背景画像41に、ガイド線42を重畳して、現在モニタ画面40を生成する。ガイド線42は、車幅延長線43と、ステアリングセンサ信号STPに基づき、車両Cの進路を予想した予想進路線44とからなる。
【0044】
一方、上記したように、図6に示すステップS2−3で移動体が無いと判断すると(ステップS2−3においてYES)、画像メモリ11に所定の記録画像データG2が蓄積されているか否かを判断する(ステップS2−5)。本実施形態では、画像プロセッサ10は、車両Cの現在位置から所定距離(例えば800mm〜1m)後方の位置データ32が対応付けられた記録画像データG2を検索する。その記録画像データG2が蓄積されていない場合には(ステップS2−5においてNO)、ステップS2−4に進み、現在モニタ画面40をディスプレイ20に表示する。そして、ステップS2−1に戻る。
【0045】
所定の記録画像データG2が記憶されていると判断すると(ステップS2−5においてYES)、画像プロセッサ10は、その記録画像データG2と、記録画像データG2に対応付けられた位置データ32及び方位データ33とを画像メモリ11から読み出す(ステップS2−6)。さらに、画像プロセッサ10は、画像データ入力部9を介して、現在画像データG4を入力する(ステップS2−7)。そして、入力した現在画像データG4を、記録画像データG2と同様な方法で俯瞰変換して、最新画像データとしての現在俯瞰データG5を生成する(ステップS2−8)。
【0046】
さらに、画像プロセッサ10は、現在俯瞰データG5の補正を行う(ステップS2−9)。この処理について図7に従って詳述する。まず、画像プロセッサ10は、補正用の記録画像データG2の有無を判断する(ステップS3−1)。このとき検索される記録画像データG2は、車両Cの現在位置から所定距離範囲(例えば現在位置を中心に、半径500mm〜800mmの範囲)の位置データ32が対応付けられた記録画像データG2であ
る。
【0047】
該当する記録画像データG2があると判断すると、その補正用の記録画像データG2と、記録画像データG2に対応付けられた位置データ32及び方位データ33とを読み出す(ステップS3−2)。そして、現在の車両Cの方位と方位データ33との相対角度に基づいて、記録画像データG2を現在の方位に合わせて座標変換(回転変換)する(ステップS3−3)。そして、回転変換した記録画像データG2の位置データ32と、現在俯瞰データG5を撮像した位置とに基づき、その記録画像データG2のうち、現在俯瞰データG5の画素と重複する画素があるか否かを判断する(ステップS3−4)。
【0048】
具体的には、画像プロセッサ10は、図9に示すように、俯瞰画像用の座標系(x、y)において、現在俯瞰データG5が描画している描画領域Z1を算出する。この俯瞰画像用の座標系は、俯瞰変換した画像データが、車両Cが走行する路面のどの領域を撮像したかを示す座標系であって、y軸は車両Cの後退方向に相当する。また、画像プロセッサ10は、読み出した記録画像データG2に対応付けられた位置データ32に基づき、記録画像データG2が描画している描画領域Z2を算出する。そして、現在俯瞰データG5の描画領域Z1と、記録画像データG2の描画領域Z2とが重複している部分を重複領域Z3とする。
【0049】
一方、現在俯瞰データG5に対応する画素が記録画像データG2に含まれない場合(ステップS3−4においてNO)、現在俯瞰データG5を記録画像データG2によって補正できないとして、図6に示すステップS2−10に進む。
【0050】
重複領域Z3が存在した場合(ステップS3−4においてYES)、その重複領域Z3内の各画素を1画素ずつ所定の方向に走査して、現在俯瞰データG5の画素値と記録画像データG2の画素値のどちらを採用するかを判断する(ステップS3−5)。
【0051】
詳述すると、図10に示すように、重複領域Z3のうち、重複する各画素座標(画素位置)について、各描画領域Z1,Z2の中心C5,C2からの距離をそれぞれ算出し、各中心C5,C2からの相対距離が短い方を採用する。各中心C5,C2は、カメラ30の光軸位置に相当する。各画素のうち、この中心C5,C2からの距離D1,D2が短い画素ほど、レンズに起因する画像の歪みがなく、遠くなるほど歪みが大きくなる。例えば、重複領域Z3の画素座標Aにおいて、現在俯瞰データG5の描画領域Z1の中心C5からの距離D1は、記録画像データG2の描画領域Z2の中心C2からの距離D2よりも短い。このため、画素座標Aでは、現在俯瞰データG5の画素値を採用する。また、画素座標Bにおいて、現在俯瞰データG5の描画領域Z1の中心C5からの距離D3は、記録画像データG2の描画領域Z2の中心C2からの距離D4よりも長い。このため、画素座標Bでは、記録画像データG2の画素値を採用し、現在俯瞰データG5の画素値を、記録画像データG2の画素値で置き換える。
【0052】
そして、一つの画素座標について判定を終了すると、重複領域Z3内の全画素について判定を完了したか否かを判断する(ステップS3−6)。完了したと判断した場合には(ステップS3−6においてYES)、図6に示すステップS2−10に進む。完了していないと判断した場合には(ステップS3−6においてNO)、ステップS3−4に戻り、重複領域Z3内で対応する画素において、採用する画素値を判定し、記録画像データG2の画素値を採用する場合には、その画素値を、現在俯瞰データG5の画素値と置き換える。
【0053】
こうして重複領域Z3の全画素について判定を完了すると、現在俯瞰データG5は、部分的に記録画像データG2によって合成され、周辺部でも歪みのすくない画像データにな
る。このような現在俯瞰データG5が生成されると、ステップS2−10に進み、画像プロセッサ10は、駐車支援画面を生成及び出力する。このとき、画像プロセッサ10は、図6に示すステップS2−6で読み出した、画面合成用の記録画像データG2及び補正した現在俯瞰データG5を用いて、運転支援画像データとしての駐車支援画像データG6を生成する。駐車支援画像データG6は、図11に示すディスプレイ20の描画領域Zのうち、記録画像描画領域Z5に記録画像データG2が配置されている。記録画像描画領域Z5は、描画領域Zのうち、上方に設けられている。この記録画像データG2に基づく記録画像45は、現在のカメラ30の死角領域に相当する路面を俯瞰した画像になっている。
【0054】
また、図11に示すように、画像プロセッサ10は、補正した現在俯瞰データG5を、描画領域Zのうち、現在画像描画領域Z6に配置する。現在画像描画領域Z6は、描画領域Zの下部に配置されている。現在俯瞰データG5に基づく現在画像46は、現在のカメラ30の可視領域を、上方から俯瞰した画像になっている。
【0055】
さらに、画像プロセッサ10は、ROM5に記憶された自車画像データ5aを記録画像描画領域Z5のうち、車両Cの現在位置に相当する位置に出力する。これにより、記録画像45に、自車画像データ5aに基づく自車画像47が重畳される。自車画像47は、車両Cのリヤ部に相当する画像であって、車両Cのリヤバンパー(後端)が、描画領域Zの下方を向くように配置されている。また、画像プロセッサ10は、現在画像46に、俯瞰ガイド線54を重畳する。俯瞰ガイド線54は、通常の現在モニタ画面40に描画されるガイド線42を、俯瞰変換した線であって、車幅延長線55と、舵角に応じて車両Cの進路を予想した予想進路線56とから構成される。図11では、車両Cが後方に直進している状態であるため、車幅延長線55と予想進路線56とが重なっている。
【0056】
その結果、図11に示すように、記録画像45及び現在画像46が連続して表示されるとともに、車両Cの現在位置に応じて自車画像47が描画された、駐車支援画像としての駐車支援画面50が表示される。駐車支援画面50は、車両Cの後退方向が、描画領域の下方になるように、即ち図11中Y矢印方向になるように表示されている。ドライバーは、駐車支援画面50に表示された駐車目標領域51に対する車両Cの相対位置を確認するとともに、駐車支援画面50の白線52に対する車両Cの向き、白線52との間のスペース等を確認することができる。このため、白線52の向きに略平行に、且つ白線52に対して適度なスペースを保持して駐車することができる。さらに、駐車支援画面50の車輪止め53と車両Cとの相対距離が確認できるので、車輪止め53とタイヤとの接触による際に、衝撃を緩和できるように速度を下げることができる。
【0057】
駐車支援画面50を表示すると、図6に示すように、制御部3は、終了トリガを入力したか否かを判断する(ステップS2−11)。終了トリガは、ここでは、シフトポジションがリバース以外のレンジへの切替を示すシフトポジション信号SPPである。終了トリガを入力していない場合には(ステップS2−11においてNO)、ステップS2−3に戻り、移動体の有無を判断して、移動体が検出されない間、駐車支援画面50を更新及び表示する。終了トリガを入力すると(ステップS2−11においてYES)、駐車支援画面50の表示を終了する。
【0058】
(1)上記実施形態では、制御部3は、車両Cに設けられたカメラ30から画像データGを取得し、位置データ32及び方位データ33とを対応付けて記録画像データG2として画像メモリ11に記憶するようにした。また、画像プロセッサ10は、車両Cが後退している間、記録画像データG2を画像メモリ11から読み出して、俯瞰座標系において、記録画像データG2と現在俯瞰データG5との重複領域Z3を算出するようにした。そして、重複領域Z3のうち、互いに対応している各画素において、各描画領域Z1,Z2の中心C2,C5から距離が短い方の画素値を採用するようにした。即ち、現在俯瞰データ
G5の画素値が採用された場合には、その画素値を用い、記録画像データG2の画素値が採用された場合には、現在俯瞰データG5の画素値と置き換えるようにした。このため、画像周辺で生じる歪みを解消し、駐車支援画面50の画質を向上することができる。
【0059】
(2)上記実施形態では、画像プロセッサ10は、俯瞰変換した記録画像データG2と、俯瞰変換した現在俯瞰データG5とを用いて駐車支援画面50を生成するようにした。このため、車両周辺を俯瞰した駐車支援画面50を表示することができる。
【0060】
(3)上記実施形態では、現在のカメラ30の死角領域を撮像している記録画像データG2と、補正した現在俯瞰データG5とを用いて駐車支援画面50を表示するようにした。従って、カメラ30の死角に入った駐車目標領域51、白線52、車輪止め53も表示することができるので、車両Cと駐車目標領域との相対位置をより的確に把握することができる。
【0061】
(4)上記実施形態では、制御部3は、ソナー信号SNに基づき、車両周辺に、歩行者・走行中の他車両等の移動体を検出するようにした。そして、移動体が検出された際に、現在画像データG4に基づく現在モニタ画面40をディスプレイ20に表示するようにした。このため、車両Cの周辺に歩行者等がいるときは、現在の車両周辺状況が反映された画面を確認できるので、安全性を向上させることができる。
【0062】
尚、上記各実施形態は以下のように変更してもよい。
・上記実施形態では、画像データGのうち、遠方領域31aを削除して、抽出データG1を俯瞰変換してから記録画像データG2を生成するようにした。これ以外に、画像データGを俯瞰変換したデータを画像メモリ11に蓄積し、駐車支援画面50の合成、現在俯瞰データG5の補正を行う際に、遠方領域31aを削除するようにしてもよい。
【0063】
・上記実施形態では、現在俯瞰データG5を補正するために用いる記録画像データG2は、車両Cの現在位置から、所定距離範囲(例えば現在位置を中心に、半径500mm〜800mmの範囲)で撮像された記録画像データG2としたが、これに限定されない。例えば、所定距離範囲は、数十mmでもよく、数mでもよい。また、現在位置を中心に円形状の範囲内で撮像された記録画像データG2としたが、現在位置から進行方向後方の所定距離離れた位置で撮像された記録画像データG2でもよい。
【0064】
・上記実施形態では、1枚の記録画像データG2と、修正した現在俯瞰データG5とを合成するようにしたが、複数枚の記録画像データG2を用いて、記録画像を表示しても良い。例えば、画像データGを車両Cの進行方向に直交する方向に切断して、短冊状の記録画像データG2を生成して画像メモリ11に蓄積してもよい。そして、図12に示すように、その短冊状の各記録画像データG2を車両Cの進行方向に連続させて、記録画像45を生成してもよい。
【0065】
・上記実施形態では、記録画像データG2と、補正した現在俯瞰データG5とを合成して駐車支援画面50を生成したが、補正した現在俯瞰データG5のみを表示するようにしてもよい。例えば、図13(a)に示すように、現在俯瞰データG5に基づく現在画像46と俯瞰ガイド線54とを重畳した駐車支援画面60を表示してもよい。又は図13(b)に示すように、ディスプレイ20の描画領域Zのうち、現在画像描画領域Z6に現在俯瞰データG5に基づく現在画像46を描画し、その上方の領域に、自車画像47を表示するようにしてもよい。
【0066】
・上記実施形態では、画像プロセッサ10は、俯瞰変換した記録画像データG2及び現在俯瞰データG5を用いて駐車支援画面50を表示するようにしたが、俯瞰変換を行わな
くても良い。例えば、図14に示すように、俯瞰変換しない記録画像データG2に基づく記録画像62と、所定の記録画像データG2によって上記したように補正され、現在画像データG4に基づく現在画像63とを連続させて表示してもよい。また、記録画像62には、車両Cの現在位置を示す車両輪郭線64等の指標、ガイド線を重畳する。このようにすると、レンズの曇り、又は外部照明が直接レンズに当たった時など、現在画像データG4に画像の乱れが生じたときに、記録画像データG2で補正することができるので、高い画質の駐車支援画像を表示することができる。
【0067】
・上記実施形態では、記録画像データG2及び現在俯瞰データG5の各描画領域Z1,Z2の重複領域Z3に対し、一画素ずつ、採用する画素値を判定したが、予め定められた、画素位置としての領域、又は画素位置としての画素群毎に判定を行ってもよい。例えば、図15に示すように、予め各描画領域Z1,Z2を、複数に区画して画素位置としての小領域Z7,Z8を生成する。そして、互いに重複する小領域Z7,Z8を検索し、小領域Z7,Z8と、各描画領域Z1,Z2の中心C5,C2との相対距離によって、採用する小領域Z7,Z8を決定する。このようにすると、画素値の採用判定の際の処理を軽くすることができる。
【0068】
・駐車支援装置1は、GPS受信部6を省略してもよい。また、ジャイロ22及びステアリング舵角センサ24のうちいずれか一方を省略するようにしてもよい。ジャイロ22が省略された場合には、舵角に基づき駐車支援装置1は基準位置からの相対角度を算出し、ステアリング舵角センサ24が省略された場合にはジャイロ22によって絶対方位を算出する。
【0069】
・上記実施形態では、制御部3は、ニュートラルスタートスイッチ23から、シフトポジション信号SPPを入力するようにしたが、トランスミッションECU等、その他の装置から入力するようにしてもよい。又は、制御部3が、車速パルスVPの波形のみに基づいて、後退しているか否かを判断するようにしてもよい。
【0070】
・センサ制御部25は、駐車支援装置1が備えるようにしてもよい。
・上記実施形態では、各ソナー26に基づき、移動体を検出するようにしたが、カメラ30から取得した画像データGを画像処理して、移動体であるか否かを判断するようにしてもよい。
【0071】
・上記実施形態では、カメラ30は、車両Cの後方でなく、フロントバンパーの上方等、車両Cの前端に取り付けられてもよい。
・上記実施形態では、歪曲収差の補正だけでなく、太陽光や他車両のヘッドランプの光等が、カメラ30のレンズに直接当たったときに生じるスミヤ現象、又は、高温・低温等の要因によるレンズの曇り等、画質が低下した際に、記録画像データG2を用いて現在俯瞰データG5の修正を行っても良い。重複する画素のいずれかを決める条件としては、画素の中心からの距離の大きさの他、各画素値の特性に基づき決定してもよい。例えば、輝度が周囲の画素の平均輝度に近い方の画素値を採用する等、補正処理に応じて変更してもよい。
【0072】
・上記実施形態では、カメラ30を車両Cに複数取り付けてもよい。そして、本実施形態では、現在俯瞰データG5と記録画像データG2の重複領域Z3について現在俯瞰データG5の画素値と記録画像データG2の画素値のどちらを採用するか判断し、画像の補正を行うようにしたが、複数のカメラ30によって撮像された複数の現在画像データに対して同様の処理を行うこともできる。例えば、二つの現在画像データに重複領域が存在する場合に、その重複領域において、上記実施形態と同様に、画素座標又は画素値の特性に基づき、いずれの現在画像データの画素値を採用するかを判断する。そして、採用した画素
値を用いて二つの現在画像データを合成した運転支援画像を生成及び表示するようにしてもよい。
【図面の簡単な説明】
【0073】
【図1】本実施形態の駐車支援装置のブロック図。
【図2】(a)はソナーの位置、(b)はカメラの位置の説明図。
【図3】(a)は現在画像データ、(b)は現在俯瞰データの説明図。
【図4】記録画像データの説明図。
【図5】本実施形態の処理手順を説明する説明図。
【図6】本実施形態の処理手順を説明する説明図。
【図7】本実施形態の処理手順を説明する説明図。
【図8】現在モニタ画面の説明図。
【図9】現在俯瞰データの補正の説明図。
【図10】現在俯瞰データの補正の説明図。
【図11】駐車支援画面の説明図。
【図12】別例の駐車支援画面の説明図。
【図13】(a)は、現在俯瞰データのみの別例の駐車支援画面、(b)は自車画像と現在俯瞰データとを含む別例の駐車支援画面の説明図。
【図14】俯瞰変換しない別例の駐車支援画面の説明図。
【図15】別例の現在俯瞰データの補正の説明図。
【図16】歪曲収差の説明図。
【符号の説明】
【0074】
1…運転支援装置としての駐車支援装置、3…移動体検出手段としての制御部、9…画像データ取得手段としての画像データ入力部、10…判定手段、第1画像処理手段、第2画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ、11…画像データ記憶手段としての画像メモリ、20…表示手段としてのディスプレイ、30…撮像装置としてのカメラ、50…運転支援画像としての駐車支援画面、C…車両、C2,C5…光軸位置としての中心、G…画像データ、G2…記録画像データ、G5…最新画像データとしての現在俯瞰データ、G6…運転支援画像データとしての駐車支援画像データ、Z3…重複領域。
【技術分野】
【0001】
本発明は、運転支援方法及び運転支援装置に関する。
【背景技術】
【0002】
従来より、安全運転を支援する装置として、車両周辺の背景を映した画面を表示する運転支援装置が知られている。この装置は、車両後端に取り付けられた車載カメラから映像信号を入力し、その映像信号に基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する。
【0003】
また、最近、駐車操作時に、車載カメラから入力した画像データを用いて画像処理を行い、駐車目標領域を俯瞰した俯瞰画像を表示する運転支援装置が提案されている(例えば、特許文献1及び2参照)。ドライバーは、俯瞰画像を視認することによって、駐車目標領域に対する自車両の相対位置・相対方向を把握することができる。
【特許文献1】特開2002−283913号公報
【特許文献2】特開2003−191810号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、通常、上記した車載カメラによって撮像された画像は、広角レンズを通過した光の屈折により、図16に示すように、いわゆるタル型の歪曲収差(ディストーション)が生じている。特にレンズの中心から離れた位置を通過した光線ほど強く屈折されるため、画像の歪みは、画像中心から離れた位置、即ち画像を表示する描画領域Zの周辺ほど大きくなる。このため、車載カメラによって生成した画像をそのままディスプレイに表示すると、実際に目視した背景と比べ違和感がある。また、歪みが生じた画像データを俯瞰変換しても、歪みが解消しきれないばかりか、俯瞰画像の画質低下の原因にもなる。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、運転支援画像の画質を向上する運転支援方法及び運転支援装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを要旨とする。
【0007】
請求項2に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを要旨とする。
【0008】
請求項3に記載の発明は、車両に搭載された運転支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、前記撮像装置から新たに取得した
最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、前記判定手段により選択された画素値を用いて前記最新画像データを補正する第1画像処理手段と、補正した前記最新画像データを用いて運転支援画像データを生成する第2画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。
【0009】
請求項4に記載の発明は、請求項3に記載の運転支援装置において、前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを要旨とする。
【0010】
請求項5に記載の発明は、請求項3又は4に記載の運転支援装置において、前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを要旨とする。
【0011】
請求項6に記載の発明は、請求項3〜5のいずれか1項に記載の運転支援装置において、前記第2画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを要旨とする。
【0012】
請求項7に記載の発明は、請求項3〜6のいずれか1項に記載の運転支援装置において、前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを要旨とする。
【発明の効果】
【0013】
請求項1に記載の発明によれば、二つの画像データの重複領域において、重複する画素座標に対する二つの画素値のうち、最適な画素値を選択するとともに、その画素値を用いた運転支援画像を表示手段に表示する。このため、例えば、一方の画像データのうち、部分的に画質低下が生じている場合、その画質が低下した部分を他方の画像データで補うことにより、運転支援画像の画質を向上することができる。
【0014】
請求項2に記載の発明によれば、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像の画質を向上することができる。
【0015】
請求項3に記載の発明によれば、第1画像処理手段は、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像データの画質を向上することができる。
【0016】
請求項4に記載の発明によれば、判定手段は、同じ画素座標に対応する、最新画像データの画素値及び記録画像データの画素値のうち、撮像装置の光軸位置に近い画素値を採用する。このため、撮像装置のレンズに起因し、画像周辺、即ち光軸から離れた領域で生じる歪みを解消することができる。
【0017】
請求項5に記載の発明によれば、俯瞰変換手段により、記録画像データ及び最新画像データは俯瞰変換される。このため、車両周辺を俯瞰した運転支援画像を表示することができる。
【0018】
請求項6に記載の発明によれば、第2画像処理手段によって、最新画像データと記録画像データとを用いて、撮像装置の死角を表示した運転支援画像が表示される。従って、撮像装置の死角に入った領域、白線、車輪止めも表示することができるので、車両と運転目標領域との相対位置をより的確に把握することができる。
【0019】
請求項7に記載の発明によれば、出力制御手段は、移動体検出手段が移動体を検出した場合に、記録画像データを合成しない状態の画像データを出力するので、移動体の進入等、現在の車両周辺状況を反映した画像を表示することができる。このため、安全性を向上させることができる。
【発明を実施するための最良の形態】
【0020】
以下、本発明を具体化した一実施形態を、図1〜図11に従って説明する。図1は、自動車に搭載された運転支援装置としての駐車支援装置1の構成を説明するブロック図である。
【0021】
図1に示すように、駐車支援装置1は、駐車支援ユニット2、各種画面を表示する表示手段としてのディスプレイ20、警告音又は案内音声を出力するスピーカ28、及び撮像装置としてのバックモニタカメラ(以下、単にカメラ30という)を備えている。駐車支援ユニット2の移動体検出手段としての制御部3は、図示しないコンピュータを備え、ROM5に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ4は、制御部3の演算結果を一時記憶するとともに、駐車支援のための各種変数及びフラグ等を記憶している。
【0022】
ROM5には、運転支援プログラムの他、駐車支援装置1が搭載された車両C(図2参照)をディスプレイ20に描画するための自車画像データ5aが格納されている。この自車画像データ5aは、車両Cを鉛直方向上方から俯瞰した画像を表示する。
【0023】
また、駐車支援装置1は、GPS(global positioning system)受信部6を備えてい
る。制御部3は、GPS受信部6が受信したGPS衛星からの信号に基づき、電波航法によって、駐車支援装置1が搭載された車両Cの絶対座標を算出する。
【0024】
さらに、駐車支援ユニット2は、車両側インターフェース部(車両側I/F部7)を備えている。制御部3は、この車両側I/F部7を介して、車両Cに設けられた車速センサ21及びジャイロ22から、車速パルスVP及び方位検出信号GRPを入力する。制御部3は、この車速パルスVPの波形により、車両Cの前進及び後退を判断する。また、制御部3は、車速パルスVPの入力パルス数により、基準位置からの車両Cの移動量を算出する。さらに、制御部3は、入力した方位検出信号GRPに基づき、メインメモリ4に記憶された変数である、現在方位GRを更新する。
【0025】
また、制御部3は、車両側I/F部7を介して、車両Cのニュートラルスタートスイッチ23から、シフトポジション信号SPPを入力し、メインメモリ4に格納された変数であるシフトポジションSPを更新する。さらに、制御部3は、車両側I/F部7を介して、ステアリング舵角センサ24から、ステアリングセンサ信号STPを入力する。制御部3は、このステアリングセンサ信号STPに基づき、メインメモリ4に格納された車両Cの現在舵角STRを更新する。
【0026】
さらに、制御部3は、車両側I/F部7を介して、車両Cに設けられたセンサ制御部25から、車両周辺の障害物との相対距離を示すソナー信号SNを入力する。センサ制御部25は、図2(a)に示す、各ソナー26との間で各種信号を入出力して、各ソナー26
の制御、入力信号の処理を行うコンピュータである。これらのソナー26としては、リヤバンパー等、車両後端CBの右隅に設けられた第1クリアランスソナー(以下、第1ソナー26aという)、左隅に設けられた第2クリアランスソナー(以下、第2ソナー26bという)、中央部に設けられた1対のバックソナー26cから構成されている。尚、第1〜第2ソナー26a,26b、バックソナー26cを互いに区別しないで説明する場合には、単にソナー26として説明する。
【0027】
各ソナー26は、超音波を送受信するマイクロホンや、増幅等を行う制御回路(いずれも図示せず)を内蔵している。各ソナー26は、車両C周辺に、所定の順番に繰り返し超音波を発信する。センサ制御部25は、超音波が障害物に反射して、各ソナー26にあたるまでの所要時間により、各ソナー26から障害物までの相対距離を算出する。そして、センサ制御部25は、車両周辺の障害物の有無と、障害物が検出された場合、その障害物までの相対距離とを示すソナー信号SNを、制御部3に出力する。
【0028】
また、図1に示すように、駐車支援ユニット2は、画像データ取得手段としての画像データ入力部9を備えている。画像データ入力部9は、制御部3の主制御により、車両Cに設けられたカメラ30を駆動制御する。カメラ30は、図2(b)に示すように、車両Cのバックドア等、車両後端CBに光軸を斜め下方に向けて取り付けられている。このカメラ30は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)とを備えている。図2(b)に示すように、カメラ30は、車両後方を撮像範囲Znとしている。
【0029】
駐車操作時等、車両Cが後退を始めると、制御部3は、画像データ入力部9を介して、カメラ30から、図3(a)に示すような画像データGを所定の間隔でキャプチャする。駐車支援ユニット2が備える判定手段、第1画像処理手段、第2画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ10(図1参照)は、キャプチャした画像データGのうち、車両Cから比較的遠い領域に相当する遠方領域31aを削除する。そして、車両周辺領域31bを抽出することにより、抽出データG1を生成する。
【0030】
さらに、画像プロセッサ10は、生成した抽出データG1を公知の方法で俯瞰変換する。これにより、図3(b)に示すように、車両Cの後方周辺を鉛直方向上方の視点から俯瞰した記録画像データG2が生成される。この俯瞰変換により、例えば、図3(a)に示す、駐車目標領域を区画した白線31c等のような画像の歪みが緩和される。しかし、図3(b)では図示を省略するが、俯瞰変換後の俯瞰画像35でも、歪みは除去しきれず、残った状態になっている。
【0031】
抽出データG1を俯瞰変換して記録画像データG2を生成すると、画像プロセッサ10は、制御部3を介して、車両Cの現在位置及び方位を取得する。そして、図4に示すように、これらのデータを位置データ32、方位データ33として、記録画像データG2に関連付けて、駐車支援ユニット2が備える画像データ記憶手段としての画像メモリ11(図1参照)に記憶する。尚、位置データ32及び方位データ33は、図4のように記録画像データG2に添付されても良いし、位置データ32及び方位データ33からなるマップと、記録画像データG2をヘッダ等により紐付けしてもよい。
【0032】
また、車両Cが後退する際、画像プロセッサ10は、記録画像データG2を蓄積する処理と並行して、駐車支援画面を生成する処理を行う。この処理では、カメラ30から、最新の画像データG(以下、現在画像データG4という)を取得し、現在画像データG4に画像メモリ11に蓄積された記録画像データG2を部分的に合成して、現在画像データG4の歪みを取り除く。また、合成した現在画像データG4と、現在のカメラ30の死角領域を撮像している記録画像データG2とを用いて駐車支援画像データを生成する。そして
、駐車支援画像データを、所定のタイミングでディスプレイ20に出力する。
【0033】
各種画像が表示されるディスプレイ20は、タッチパネルであって、このタッチパネルや、ディスプレイ20に隣設された操作スイッチ27(図1参照)がユーザにより入力操作されると、駐車支援ユニット2が備える外部入力インターフェース部(以下、外部入力I/F部12という)が、入力操作に応じた入力信号を制御部3に対して出力する。
【0034】
また、駐車支援ユニット2は、音声プロセッサ13を備えている。音声プロセッサ13は、音声ファイルを格納した図示しないメモリやデジタル/アナログ変換器等を備え、その音声ファイルを使用して、駐車支援装置1が具備するスピーカ28から案内音声や警告音を出力する。
【0035】
次に、本実施形態の駐車操作を補助するための処理手順について、図5〜図7に従って説明する。まず、図5に示すように、制御部3は、ROM5に記憶された運転支援プログラムに従って、開始トリガの入力を待つ(ステップS1−1)。開始トリガは、ニュートラルスタートスイッチ23から出力された、リバースレンジへの切替を示すシフトポジション信号SPPであって、シフトポジションSPがリバースに切り替えられたと判断すると(ステップS1−1においてYES)、制御部3は、その時点の車両Cの位置を初期位置として設定する。
【0036】
また、制御部3は、車速パルスVPの入力を待つ(ステップS1−2)。車両Cが駐車のために後退を開始した場合、制御部3は車速パルスVPを入力し(ステップS1−2においてYES)、車両Cの現在位置と方位からなる車両位置を算出する(ステップS1−3)。制御部3は、後退を始めた上記初期位置から現在の位置に到達するまでに入力した車速パルスVPのパルス数を累積し、パルス数に基づき初期位置からの移動量を算出する。そして、移動量及び方位検出信号GRPに基づき、初期位置に対する相対座標を示す位置データ32を算出する。また、ジャイロ22から入力した方位検出信号GRPに基づき、車両Cの方位を算出し、その方位を方位データ33とする。
【0037】
次に、制御部3は、画像データ入力部9を介して、カメラ30が撮像した画像をキャプチャして、画像データGを入力する(ステップS1−4)。そして、画像プロセッサ10は、図3(a)に示すように、キャプチャした画像データGのうち、遠方領域31aを削除して、抽出データG1を生成する。さらに、抽出データG1を、俯瞰変換して、図3(b)に示すような記録画像データG2を生成する(ステップS1−5)。
【0038】
記録画像データG2が生成されると、ステップS1−3で算出した位置データ32及び方位データ33を、記録画像データG2に関連付けて、画像メモリ11に記憶する(ステップS1−6)。
【0039】
この記録画像データG2の蓄積処理は、車両Cが所定距離(数十〜数百mm程度)後退する度に、画像データGを入力して記録画像データG2を蓄積してもよいし、所定時間(数ミリ秒〜数秒)毎に蓄積してもよい。その結果、少なくとも数十〜数百mm毎の地点で撮像された画像データGに基づき、各記録画像データG2が生成され、画像メモリ11に蓄積される。
【0040】
次に、画像合成処理について、図6に従って説明する。この処理は、記録画像データG2の蓄積処理と並行して行われる。まず、ステップS1−1,S1−2と同様に、制御部3は、開始トリガの入力、車速パルスの入力を待つ(ステップS2−1,ステップS2−2)。車両Cが後退を開始すると(ステップS2−1及びステップS2−2においてYES)、制御部3は、車両C周辺の移動体の有無を判断する(ステップS2−3)。このと
き、制御部3は、センサ制御部25を介して、各ソナー26からのソナー信号SNを入力する。そして、ソナー信号SNに基づき、障害物の有無の判断を行うとともに、障害物がある場合には車両Cと障害物との相対距離を取得する。このとき入力したソナー信号SNに基づき、障害物が無いと判断した場合には(ステップ2−3においてYES)、ステップS2−5に進む。
【0041】
障害物があると判断した場合には、制御部3は、続けて、新たに出力されたソナー信号SNを入力し、障害物の有無の判断を行い、障害物までの相対距離を取得する。そして、1回目に入力したソナー信号SNに基づく障害物までの相対距離D1と、2回目に入力したソナー信号SNに基づく相対距離D2とを比較する。さらに、各相対距離D1,D2の差の絶対値(=|D1−D2|)が、各ソナー信号SNの計測時間内に車両Cが後退した後退量ΔLと等しい場合には(ΔL=|D1−D2|)、その障害物は、駐車している他車両、塀等の静止障害物であると判断する。制御部3は、静止障害物を検出すると、移動体が検出されないと判断し(ステップS2−3においてYES)、ステップS2−5に進む。
【0042】
一方、後退量ΔLが、各相対距離D1,D2の差と異なる場合には(ΔL≠|D1−D2|)、その障害物は、車両Cの後方に進入した他車両、歩行者等の移動体であると判断する(ステップS2−3においてNO)。この場合、ドライバーに現在の車両周辺状況を通知することを優先させて、画像プロセッサ10は、カメラ30から現在画像データG4を取得し、その現在画像データG4をディスプレイ20に出力する。その結果、図8に示すような背景画像41が表示される。このとき、音声プロセッサ13により、移動体が車両周辺にあることを通知する警告音、警告音声をスピーカ28から出力するようにしてもよい。
【0043】
また、画像プロセッサ10は、背景画像41に、ガイド線42を重畳して、現在モニタ画面40を生成する。ガイド線42は、車幅延長線43と、ステアリングセンサ信号STPに基づき、車両Cの進路を予想した予想進路線44とからなる。
【0044】
一方、上記したように、図6に示すステップS2−3で移動体が無いと判断すると(ステップS2−3においてYES)、画像メモリ11に所定の記録画像データG2が蓄積されているか否かを判断する(ステップS2−5)。本実施形態では、画像プロセッサ10は、車両Cの現在位置から所定距離(例えば800mm〜1m)後方の位置データ32が対応付けられた記録画像データG2を検索する。その記録画像データG2が蓄積されていない場合には(ステップS2−5においてNO)、ステップS2−4に進み、現在モニタ画面40をディスプレイ20に表示する。そして、ステップS2−1に戻る。
【0045】
所定の記録画像データG2が記憶されていると判断すると(ステップS2−5においてYES)、画像プロセッサ10は、その記録画像データG2と、記録画像データG2に対応付けられた位置データ32及び方位データ33とを画像メモリ11から読み出す(ステップS2−6)。さらに、画像プロセッサ10は、画像データ入力部9を介して、現在画像データG4を入力する(ステップS2−7)。そして、入力した現在画像データG4を、記録画像データG2と同様な方法で俯瞰変換して、最新画像データとしての現在俯瞰データG5を生成する(ステップS2−8)。
【0046】
さらに、画像プロセッサ10は、現在俯瞰データG5の補正を行う(ステップS2−9)。この処理について図7に従って詳述する。まず、画像プロセッサ10は、補正用の記録画像データG2の有無を判断する(ステップS3−1)。このとき検索される記録画像データG2は、車両Cの現在位置から所定距離範囲(例えば現在位置を中心に、半径500mm〜800mmの範囲)の位置データ32が対応付けられた記録画像データG2であ
る。
【0047】
該当する記録画像データG2があると判断すると、その補正用の記録画像データG2と、記録画像データG2に対応付けられた位置データ32及び方位データ33とを読み出す(ステップS3−2)。そして、現在の車両Cの方位と方位データ33との相対角度に基づいて、記録画像データG2を現在の方位に合わせて座標変換(回転変換)する(ステップS3−3)。そして、回転変換した記録画像データG2の位置データ32と、現在俯瞰データG5を撮像した位置とに基づき、その記録画像データG2のうち、現在俯瞰データG5の画素と重複する画素があるか否かを判断する(ステップS3−4)。
【0048】
具体的には、画像プロセッサ10は、図9に示すように、俯瞰画像用の座標系(x、y)において、現在俯瞰データG5が描画している描画領域Z1を算出する。この俯瞰画像用の座標系は、俯瞰変換した画像データが、車両Cが走行する路面のどの領域を撮像したかを示す座標系であって、y軸は車両Cの後退方向に相当する。また、画像プロセッサ10は、読み出した記録画像データG2に対応付けられた位置データ32に基づき、記録画像データG2が描画している描画領域Z2を算出する。そして、現在俯瞰データG5の描画領域Z1と、記録画像データG2の描画領域Z2とが重複している部分を重複領域Z3とする。
【0049】
一方、現在俯瞰データG5に対応する画素が記録画像データG2に含まれない場合(ステップS3−4においてNO)、現在俯瞰データG5を記録画像データG2によって補正できないとして、図6に示すステップS2−10に進む。
【0050】
重複領域Z3が存在した場合(ステップS3−4においてYES)、その重複領域Z3内の各画素を1画素ずつ所定の方向に走査して、現在俯瞰データG5の画素値と記録画像データG2の画素値のどちらを採用するかを判断する(ステップS3−5)。
【0051】
詳述すると、図10に示すように、重複領域Z3のうち、重複する各画素座標(画素位置)について、各描画領域Z1,Z2の中心C5,C2からの距離をそれぞれ算出し、各中心C5,C2からの相対距離が短い方を採用する。各中心C5,C2は、カメラ30の光軸位置に相当する。各画素のうち、この中心C5,C2からの距離D1,D2が短い画素ほど、レンズに起因する画像の歪みがなく、遠くなるほど歪みが大きくなる。例えば、重複領域Z3の画素座標Aにおいて、現在俯瞰データG5の描画領域Z1の中心C5からの距離D1は、記録画像データG2の描画領域Z2の中心C2からの距離D2よりも短い。このため、画素座標Aでは、現在俯瞰データG5の画素値を採用する。また、画素座標Bにおいて、現在俯瞰データG5の描画領域Z1の中心C5からの距離D3は、記録画像データG2の描画領域Z2の中心C2からの距離D4よりも長い。このため、画素座標Bでは、記録画像データG2の画素値を採用し、現在俯瞰データG5の画素値を、記録画像データG2の画素値で置き換える。
【0052】
そして、一つの画素座標について判定を終了すると、重複領域Z3内の全画素について判定を完了したか否かを判断する(ステップS3−6)。完了したと判断した場合には(ステップS3−6においてYES)、図6に示すステップS2−10に進む。完了していないと判断した場合には(ステップS3−6においてNO)、ステップS3−4に戻り、重複領域Z3内で対応する画素において、採用する画素値を判定し、記録画像データG2の画素値を採用する場合には、その画素値を、現在俯瞰データG5の画素値と置き換える。
【0053】
こうして重複領域Z3の全画素について判定を完了すると、現在俯瞰データG5は、部分的に記録画像データG2によって合成され、周辺部でも歪みのすくない画像データにな
る。このような現在俯瞰データG5が生成されると、ステップS2−10に進み、画像プロセッサ10は、駐車支援画面を生成及び出力する。このとき、画像プロセッサ10は、図6に示すステップS2−6で読み出した、画面合成用の記録画像データG2及び補正した現在俯瞰データG5を用いて、運転支援画像データとしての駐車支援画像データG6を生成する。駐車支援画像データG6は、図11に示すディスプレイ20の描画領域Zのうち、記録画像描画領域Z5に記録画像データG2が配置されている。記録画像描画領域Z5は、描画領域Zのうち、上方に設けられている。この記録画像データG2に基づく記録画像45は、現在のカメラ30の死角領域に相当する路面を俯瞰した画像になっている。
【0054】
また、図11に示すように、画像プロセッサ10は、補正した現在俯瞰データG5を、描画領域Zのうち、現在画像描画領域Z6に配置する。現在画像描画領域Z6は、描画領域Zの下部に配置されている。現在俯瞰データG5に基づく現在画像46は、現在のカメラ30の可視領域を、上方から俯瞰した画像になっている。
【0055】
さらに、画像プロセッサ10は、ROM5に記憶された自車画像データ5aを記録画像描画領域Z5のうち、車両Cの現在位置に相当する位置に出力する。これにより、記録画像45に、自車画像データ5aに基づく自車画像47が重畳される。自車画像47は、車両Cのリヤ部に相当する画像であって、車両Cのリヤバンパー(後端)が、描画領域Zの下方を向くように配置されている。また、画像プロセッサ10は、現在画像46に、俯瞰ガイド線54を重畳する。俯瞰ガイド線54は、通常の現在モニタ画面40に描画されるガイド線42を、俯瞰変換した線であって、車幅延長線55と、舵角に応じて車両Cの進路を予想した予想進路線56とから構成される。図11では、車両Cが後方に直進している状態であるため、車幅延長線55と予想進路線56とが重なっている。
【0056】
その結果、図11に示すように、記録画像45及び現在画像46が連続して表示されるとともに、車両Cの現在位置に応じて自車画像47が描画された、駐車支援画像としての駐車支援画面50が表示される。駐車支援画面50は、車両Cの後退方向が、描画領域の下方になるように、即ち図11中Y矢印方向になるように表示されている。ドライバーは、駐車支援画面50に表示された駐車目標領域51に対する車両Cの相対位置を確認するとともに、駐車支援画面50の白線52に対する車両Cの向き、白線52との間のスペース等を確認することができる。このため、白線52の向きに略平行に、且つ白線52に対して適度なスペースを保持して駐車することができる。さらに、駐車支援画面50の車輪止め53と車両Cとの相対距離が確認できるので、車輪止め53とタイヤとの接触による際に、衝撃を緩和できるように速度を下げることができる。
【0057】
駐車支援画面50を表示すると、図6に示すように、制御部3は、終了トリガを入力したか否かを判断する(ステップS2−11)。終了トリガは、ここでは、シフトポジションがリバース以外のレンジへの切替を示すシフトポジション信号SPPである。終了トリガを入力していない場合には(ステップS2−11においてNO)、ステップS2−3に戻り、移動体の有無を判断して、移動体が検出されない間、駐車支援画面50を更新及び表示する。終了トリガを入力すると(ステップS2−11においてYES)、駐車支援画面50の表示を終了する。
【0058】
(1)上記実施形態では、制御部3は、車両Cに設けられたカメラ30から画像データGを取得し、位置データ32及び方位データ33とを対応付けて記録画像データG2として画像メモリ11に記憶するようにした。また、画像プロセッサ10は、車両Cが後退している間、記録画像データG2を画像メモリ11から読み出して、俯瞰座標系において、記録画像データG2と現在俯瞰データG5との重複領域Z3を算出するようにした。そして、重複領域Z3のうち、互いに対応している各画素において、各描画領域Z1,Z2の中心C2,C5から距離が短い方の画素値を採用するようにした。即ち、現在俯瞰データ
G5の画素値が採用された場合には、その画素値を用い、記録画像データG2の画素値が採用された場合には、現在俯瞰データG5の画素値と置き換えるようにした。このため、画像周辺で生じる歪みを解消し、駐車支援画面50の画質を向上することができる。
【0059】
(2)上記実施形態では、画像プロセッサ10は、俯瞰変換した記録画像データG2と、俯瞰変換した現在俯瞰データG5とを用いて駐車支援画面50を生成するようにした。このため、車両周辺を俯瞰した駐車支援画面50を表示することができる。
【0060】
(3)上記実施形態では、現在のカメラ30の死角領域を撮像している記録画像データG2と、補正した現在俯瞰データG5とを用いて駐車支援画面50を表示するようにした。従って、カメラ30の死角に入った駐車目標領域51、白線52、車輪止め53も表示することができるので、車両Cと駐車目標領域との相対位置をより的確に把握することができる。
【0061】
(4)上記実施形態では、制御部3は、ソナー信号SNに基づき、車両周辺に、歩行者・走行中の他車両等の移動体を検出するようにした。そして、移動体が検出された際に、現在画像データG4に基づく現在モニタ画面40をディスプレイ20に表示するようにした。このため、車両Cの周辺に歩行者等がいるときは、現在の車両周辺状況が反映された画面を確認できるので、安全性を向上させることができる。
【0062】
尚、上記各実施形態は以下のように変更してもよい。
・上記実施形態では、画像データGのうち、遠方領域31aを削除して、抽出データG1を俯瞰変換してから記録画像データG2を生成するようにした。これ以外に、画像データGを俯瞰変換したデータを画像メモリ11に蓄積し、駐車支援画面50の合成、現在俯瞰データG5の補正を行う際に、遠方領域31aを削除するようにしてもよい。
【0063】
・上記実施形態では、現在俯瞰データG5を補正するために用いる記録画像データG2は、車両Cの現在位置から、所定距離範囲(例えば現在位置を中心に、半径500mm〜800mmの範囲)で撮像された記録画像データG2としたが、これに限定されない。例えば、所定距離範囲は、数十mmでもよく、数mでもよい。また、現在位置を中心に円形状の範囲内で撮像された記録画像データG2としたが、現在位置から進行方向後方の所定距離離れた位置で撮像された記録画像データG2でもよい。
【0064】
・上記実施形態では、1枚の記録画像データG2と、修正した現在俯瞰データG5とを合成するようにしたが、複数枚の記録画像データG2を用いて、記録画像を表示しても良い。例えば、画像データGを車両Cの進行方向に直交する方向に切断して、短冊状の記録画像データG2を生成して画像メモリ11に蓄積してもよい。そして、図12に示すように、その短冊状の各記録画像データG2を車両Cの進行方向に連続させて、記録画像45を生成してもよい。
【0065】
・上記実施形態では、記録画像データG2と、補正した現在俯瞰データG5とを合成して駐車支援画面50を生成したが、補正した現在俯瞰データG5のみを表示するようにしてもよい。例えば、図13(a)に示すように、現在俯瞰データG5に基づく現在画像46と俯瞰ガイド線54とを重畳した駐車支援画面60を表示してもよい。又は図13(b)に示すように、ディスプレイ20の描画領域Zのうち、現在画像描画領域Z6に現在俯瞰データG5に基づく現在画像46を描画し、その上方の領域に、自車画像47を表示するようにしてもよい。
【0066】
・上記実施形態では、画像プロセッサ10は、俯瞰変換した記録画像データG2及び現在俯瞰データG5を用いて駐車支援画面50を表示するようにしたが、俯瞰変換を行わな
くても良い。例えば、図14に示すように、俯瞰変換しない記録画像データG2に基づく記録画像62と、所定の記録画像データG2によって上記したように補正され、現在画像データG4に基づく現在画像63とを連続させて表示してもよい。また、記録画像62には、車両Cの現在位置を示す車両輪郭線64等の指標、ガイド線を重畳する。このようにすると、レンズの曇り、又は外部照明が直接レンズに当たった時など、現在画像データG4に画像の乱れが生じたときに、記録画像データG2で補正することができるので、高い画質の駐車支援画像を表示することができる。
【0067】
・上記実施形態では、記録画像データG2及び現在俯瞰データG5の各描画領域Z1,Z2の重複領域Z3に対し、一画素ずつ、採用する画素値を判定したが、予め定められた、画素位置としての領域、又は画素位置としての画素群毎に判定を行ってもよい。例えば、図15に示すように、予め各描画領域Z1,Z2を、複数に区画して画素位置としての小領域Z7,Z8を生成する。そして、互いに重複する小領域Z7,Z8を検索し、小領域Z7,Z8と、各描画領域Z1,Z2の中心C5,C2との相対距離によって、採用する小領域Z7,Z8を決定する。このようにすると、画素値の採用判定の際の処理を軽くすることができる。
【0068】
・駐車支援装置1は、GPS受信部6を省略してもよい。また、ジャイロ22及びステアリング舵角センサ24のうちいずれか一方を省略するようにしてもよい。ジャイロ22が省略された場合には、舵角に基づき駐車支援装置1は基準位置からの相対角度を算出し、ステアリング舵角センサ24が省略された場合にはジャイロ22によって絶対方位を算出する。
【0069】
・上記実施形態では、制御部3は、ニュートラルスタートスイッチ23から、シフトポジション信号SPPを入力するようにしたが、トランスミッションECU等、その他の装置から入力するようにしてもよい。又は、制御部3が、車速パルスVPの波形のみに基づいて、後退しているか否かを判断するようにしてもよい。
【0070】
・センサ制御部25は、駐車支援装置1が備えるようにしてもよい。
・上記実施形態では、各ソナー26に基づき、移動体を検出するようにしたが、カメラ30から取得した画像データGを画像処理して、移動体であるか否かを判断するようにしてもよい。
【0071】
・上記実施形態では、カメラ30は、車両Cの後方でなく、フロントバンパーの上方等、車両Cの前端に取り付けられてもよい。
・上記実施形態では、歪曲収差の補正だけでなく、太陽光や他車両のヘッドランプの光等が、カメラ30のレンズに直接当たったときに生じるスミヤ現象、又は、高温・低温等の要因によるレンズの曇り等、画質が低下した際に、記録画像データG2を用いて現在俯瞰データG5の修正を行っても良い。重複する画素のいずれかを決める条件としては、画素の中心からの距離の大きさの他、各画素値の特性に基づき決定してもよい。例えば、輝度が周囲の画素の平均輝度に近い方の画素値を採用する等、補正処理に応じて変更してもよい。
【0072】
・上記実施形態では、カメラ30を車両Cに複数取り付けてもよい。そして、本実施形態では、現在俯瞰データG5と記録画像データG2の重複領域Z3について現在俯瞰データG5の画素値と記録画像データG2の画素値のどちらを採用するか判断し、画像の補正を行うようにしたが、複数のカメラ30によって撮像された複数の現在画像データに対して同様の処理を行うこともできる。例えば、二つの現在画像データに重複領域が存在する場合に、その重複領域において、上記実施形態と同様に、画素座標又は画素値の特性に基づき、いずれの現在画像データの画素値を採用するかを判断する。そして、採用した画素
値を用いて二つの現在画像データを合成した運転支援画像を生成及び表示するようにしてもよい。
【図面の簡単な説明】
【0073】
【図1】本実施形態の駐車支援装置のブロック図。
【図2】(a)はソナーの位置、(b)はカメラの位置の説明図。
【図3】(a)は現在画像データ、(b)は現在俯瞰データの説明図。
【図4】記録画像データの説明図。
【図5】本実施形態の処理手順を説明する説明図。
【図6】本実施形態の処理手順を説明する説明図。
【図7】本実施形態の処理手順を説明する説明図。
【図8】現在モニタ画面の説明図。
【図9】現在俯瞰データの補正の説明図。
【図10】現在俯瞰データの補正の説明図。
【図11】駐車支援画面の説明図。
【図12】別例の駐車支援画面の説明図。
【図13】(a)は、現在俯瞰データのみの別例の駐車支援画面、(b)は自車画像と現在俯瞰データとを含む別例の駐車支援画面の説明図。
【図14】俯瞰変換しない別例の駐車支援画面の説明図。
【図15】別例の現在俯瞰データの補正の説明図。
【図16】歪曲収差の説明図。
【符号の説明】
【0074】
1…運転支援装置としての駐車支援装置、3…移動体検出手段としての制御部、9…画像データ取得手段としての画像データ入力部、10…判定手段、第1画像処理手段、第2画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ、11…画像データ記憶手段としての画像メモリ、20…表示手段としてのディスプレイ、30…撮像装置としてのカメラ、50…運転支援画像としての駐車支援画面、C…車両、C2,C5…光軸位置としての中心、G…画像データ、G2…記録画像データ、G5…最新画像データとしての現在俯瞰データ、G6…運転支援画像データとしての駐車支援画像データ、Z3…重複領域。
【特許請求の範囲】
【請求項1】
車両の運転操作を支援する運転支援方法において、
前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
【請求項2】
車両の運転操作を支援する運転支援方法において、
前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、
前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
【請求項3】
車両に搭載された運転支援装置において、
前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、
前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、
前記判定手段により選択された画素値を用いて前記最新画像データを補正する第1画像処理手段と、
補正した前記最新画像データを用いて運転支援画像データを生成する第2画像処理手段と、
前記運転支援画像データを表示手段に出力する出力制御手段と
を備えたことを特徴とする運転支援装置。
【請求項4】
請求項3に記載の運転支援装置において、
前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを特徴とする運転支援装置。
【請求項5】
請求項3又は4に記載の運転支援装置において、
前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを特徴とする運転支援装置。
【請求項6】
請求項3〜5のいずれか1項に記載の運転支援装置において、
前記第2画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを特徴とする運転支援装置。
【請求項7】
請求項3〜6のいずれか1項に記載の運転支援装置において、
前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、
前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを特徴とする運転支援装置。
【請求項1】
車両の運転操作を支援する運転支援方法において、
前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
【請求項2】
車両の運転操作を支援する運転支援方法において、
前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、
前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
【請求項3】
車両に搭載された運転支援装置において、
前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、
前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、
前記判定手段により選択された画素値を用いて前記最新画像データを補正する第1画像処理手段と、
補正した前記最新画像データを用いて運転支援画像データを生成する第2画像処理手段と、
前記運転支援画像データを表示手段に出力する出力制御手段と
を備えたことを特徴とする運転支援装置。
【請求項4】
請求項3に記載の運転支援装置において、
前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを特徴とする運転支援装置。
【請求項5】
請求項3又は4に記載の運転支援装置において、
前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを特徴とする運転支援装置。
【請求項6】
請求項3〜5のいずれか1項に記載の運転支援装置において、
前記第2画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを特徴とする運転支援装置。
【請求項7】
請求項3〜6のいずれか1項に記載の運転支援装置において、
前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、
前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを特徴とする運転支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2007−226300(P2007−226300A)
【公開日】平成19年9月6日(2007.9.6)
【国際特許分類】
【出願番号】特願2006−43687(P2006−43687)
【出願日】平成18年2月21日(2006.2.21)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年9月6日(2007.9.6)
【国際特許分類】
【出願日】平成18年2月21日(2006.2.21)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]