運転支援装置
【課題】他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択することにより、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となった運転支援装置に関するものである。
【解決手段】自車両51が交差点に接近中であって、他車両52、53から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合には、受信した撮像画像を自車両51からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ14によって自車両51の死角方向へと投影し、死角を形成する他車両52に対して障害物を透過した画像72を表示するように構成する。
【解決手段】自車両51が交差点に接近中であって、他車両52、53から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合には、受信した撮像画像を自車両51からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ14によって自車両51の死角方向へと投影し、死角を形成する他車両52に対して障害物を透過した画像72を表示するように構成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両からの死角方向における視界を補完する運転支援装置に関する。
【背景技術】
【0002】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、これらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うことが行われている。
【0003】
また、従来においては他車両と通信を行うことにより、他車両が撮像した撮像画像を取得し、自車両に設置されたカメラでは撮像できない死角範囲に関する画像についても表示可能とする技術についても提案されている。例えば、特開2003−319383号公報には、自車両の前方を走行する他車両から他車両の前方を撮像した撮像画像を通信で取得することにより、当該他車両によって生じる自車両からの死角範囲を透過した画像を表示装置に表示する技術について記載されている。
【特許文献1】特開2003−319383号公報(第3頁〜第6頁、図2、図3)
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、前記した特許文献1に記載された技術では、自車両からの死角を形成する原因となる前方車両において撮像された撮像画像に基づいて自車両からの視界を補完しているが、自車両からの死角は前方車両のみに基づいて形成されるとは限らない。例えば、駐車車両、対向車両、並走車両等によって形成される場合がある。即ち、周囲に位置するどの車両が障害物となって自車両に対してどの方向に死角が生じているかについては、状況毎に変化するものであり特定することが非常に困難である。
【0005】
例えば、図14に示す自車両101の周囲状況においては、対向車線が渋滞しており、自車両101からは渋滞車両102が障害物となって交差点方向が死角となっている。従って、自車両101は交差点へと進入する進入車両103に気付かない虞がある。そこで、死角範囲にある進入車両103を撮像した撮像画像を、交差点の手前側に位置する渋滞車両102又は交差点の奥側に位置する渋滞車両104が撮像した画像から選択して表示することにより、自車両101からの死角方向の視界を補完することができる。
【0006】
ここで、前記特許文献1のように、自車両の前方を走行する前方車両のみを自車両からの死角を形成する障害物として扱うのでは、図14に示す状況では自車両からの視界を補完することができない。また、前方車両がカメラ等の撮像手段を備えていない場合もあり、その場合についても同様に自車両からの視界を補完することができない。
【0007】
本発明は前記従来における問題点を解消するためになされたものであり、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となった運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するため本願の請求項1に係る運転支援装置(1)は、他車両において撮像された撮像画像を取得する画像取得手段(4)と、前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段(11)と、前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段(14)と、を有することを特徴とする。
【0009】
また、請求項2に係る運転支援装置(1)は、請求項1に記載の運転支援装置において、前記画像選択手段(11)によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段(11)と、前記投射手段(14)は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする。
【0010】
また、請求項3に係る運転支援装置(1)は、請求項2に記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段(15)と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段(4)と、を有し、前記画像抽出手段(11)は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする。
【0011】
また、請求項4に係る運転支援装置(1)は、請求項1乃至請求項3のいずれかに記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段(15)と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段(4)と、を有し、前記画像選択手段(11)は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする。
【0012】
また、請求項5に係る運転支援装置(1)は、請求項4に記載の運転支援装置において、自車両の前方に交差点があるか否か判定する交差点判定手段(11)と、前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段(11)と、を有し、前記画像選択手段(11)は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする。
【0013】
更に、請求項6に係る運転支援装置(1)は、請求項5に記載の運転支援装置において、前記手前位置判定手段(11)によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段(11)は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする。
【発明の効果】
【0014】
前記構成を有する請求項1に記載の運転支援装置によれば、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。
【0015】
また、請求項2に記載の運転支援装置によれば、自車両からの死角範囲に相当する画像のみを投影することができるので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物(歩行者や車両等)が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。
【0016】
また、請求項3に記載の運転支援装置によれば、自車からの死角の範囲を正確に算出することが可能となるので、自車両からの死角範囲に相当する画像のみを抽出して投影することができる。
【0017】
また、請求項4に記載の運転支援装置によれば、前方車両以外にも、駐車車両、対向車両、並走車両等によって形成される様々な角度及び範囲の死角について、他車両が撮像した撮像画像に基づいて視界の補完を行うことが可能となる。
【0018】
また、請求項5に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。
【0019】
更に、請求項6に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像がなかった場合でも、交差点を奥側から撮像した他車両の前方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像を形成することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態を把握することが可能となる。
【発明を実施するための最良の形態】
【0020】
以下、本発明に係る運転支援装置について具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る運転支援装置1を備えた複数の車両2によって構成される車車間通信システム3の概略構成について図1を用いて説明する。図1は本実施形態に係る車車間通信システム3の概略構成図である。
【0021】
図1に示すように、本実施形態に係る車車間通信システム3は、道路上を走行する複数の車両2によって構成され、各車両2に設置された運転支援装置1が備える通信装置(画像取得手段、他車両位置取得手段)4によって複数の車両2の間で相互に情報通信が可能となっている。
【0022】
ここで、通信装置4は、例えばミリ波帯の電波による無線方式で情報を通信する通信装置である。そして、自車両位置に対して予め定められた無線通信可能範囲(例えば、自車両位置を中心とした半径2kmまでの範囲)に位置する他車両(後続車両、前方車両、対向車両等)との間で、無線による情報の通信を行うことが可能となっている。
また、通信装置4によって車両間で送受信される情報としては、後述するように車両2に設置された各種センサで検出した車両2の現在位置及び方位に関する自車情報、車両2に備え付けられた前方カメラ5及び後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報、前方カメラ5で撮像した車両2の前方環境の前方撮像画像データ、及び後方カメラ6で撮像した車両2の後方環境の後方撮像画像データ等がある。
【0023】
尚、車車間通信システム3における車両2の間の通信では、直接に車両2の間で情報を送受信することの他に、通信センタ(図示せず)などの通信施設を介して情報を送受信することも可能である。
【0024】
次に、上記車車間通信システム3を構成する車両2に設置された運転支援装置1の構成について図2及び図3を用いて説明する。図2は本実施形態に係る運転支援装置1の概略構成図、図3は本実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
【0025】
図2及び図3に示すように、車両2には前記した通信装置4に加えて、前方カメラ5と、後方カメラ6と、運転支援ECU(画像選択手段、画像抽出手段、交差点判定手段、手前位置判定手段)11と、カメラパラメータDB12と、画像DB13と、プロジェクタ(投影手段)14と、現在位置検出部(自車両位置取得手段)15と、車速センサ16と、ステアリングセンサ17と、ジャイロセンサ18とから構成されている。
【0026】
前方カメラ5は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両2の進行方向となる車両前方を撮像し、その撮像された前方撮像画像(図11参照)は画像DB13に一旦記憶され、必要に応じて後述のように通信装置4を介して他車両へと送信される。
【0027】
後方カメラ6は、前方カメラ5と同じくCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両2の進行方向と逆方向となる車両後方を撮像し、その撮像された後方撮像画像(図9参照)は画像DB13に一旦記憶され、必要に応じて後述のように通信装置4を介して他車両へと送信される。
【0028】
また、運転支援ECU(エレクトロニック・コントロール・ユニット)11は、車両2の停車時において前方カメラ5や後方カメラ6で撮像した撮像画像を車車間通信システム3を介して他車両との間で送受信する画像通信処理(図4参照)と、他車両から送信された撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合に、その撮像画像を自車両からの死角方向へとプロジェクタ14により投影する画像投影処理(図5、図6参照)等を行う電子制御ユニットである。尚、運転支援ECU11はナビゲーション装置の制御に使用するECUと兼用してもよい。また、運転支援ECU11の詳細な構成については後述する。
【0029】
また、カメラパラメータDB12は、前方カメラ5及び後方カメラ6に関する各種パラメータが記憶された記憶手段である。ここで、本実施形態ではカメラパラメータDB12に記憶される情報として、前方カメラ5及び後方カメラ6の車両2に対する設置位置、設置角度、撮像範囲等が記憶される。
【0030】
一方、画像DB13は、前方カメラ5及び後方カメラ6によって撮像された前方撮像画像及び後方撮像画像を記憶する記憶手段である。ここで、画像DB13に記憶される情報としては、自車両に設置された前方カメラ5及び後方カメラ6によって撮像された自車両周辺の前方撮像画像及び後方撮像画像の他、車車間通信システム3を介して他車両から受信した他車両で撮像された前方撮像画像及び後方撮像画像がある。
【0031】
また、プロジェクタ14は、液晶パネルと投影用の光源から構成される所謂液晶プロジェクタである。そして、本実施形態に係る運転支援装置1では車両からの死角方向に対して、その死角を撮像した撮像画像を投影する。その結果、車両2からの死角を形成する障害物(具体的には他車両)に対して、障害物を透過した画像が表示される(図13参照)。尚、プロジェクタ14としては液晶プロジェクタの代わりに、DLPプロジェクタやLCOSプロジェクタを用いても良い。
【0032】
また、現在位置検出部15は車両2の現在位置を地図上で特定する為の検出部であり、GPS21や地図DB22から構成される。
そして、GPS21は、人工衛星によって発生させられた電波を受信することにより、地球上における車両2の現在位置と現在時刻を検出する。
一方、地図DB22は、車両2が現在走行する道路を特定する為の地図データが記録された記憶手段である。ここで、地図データは、例えば道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、交差点に関する交差点データ等から構成されている。尚、現在位置検出部15としてはナビゲーション装置を用いても良い。
【0033】
また、車速センサ16は、車両2の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速や加速度を検出するセンサである。
ステアリングセンサ17は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出するセンサである。
ジャイロセンサ18は、車両2の旋回角を検出するセンサである。また、ジャイロセンサ18によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0034】
次に、運転支援ECU11の詳細について図3を用いて説明すると、運転支援ECU11はCPU31を核として構成されており、CPU31には記憶手段であるROM32及びRAM33が接続されている。そして、ROM32には後述の画像通信処理プログラム(図4参照)や画像投影処理プログラム(図5、図6参照)、その他、プロジェクタ14等の制御上必要な各種のプログラム等が格納されている。また、RAM33はCPU31で演算された各種データを一時的に記憶しておくメモリである。
【0035】
続いて、前記構成を有する本実施形態に係る運転支援装置1の運転支援ECU11が実行する画像通信処理プログラムについて図4に基づき説明する。図4は本実施形態に係る画像通信処理プログラムのフローチャートである。ここで、画像通信処理プログラムは、所定間隔(例えば5sec毎)で繰り返し実行され、車両2の停車時において前方カメラ5や後方カメラ6で撮像した撮像画像を車車間通信システム3を介して他車両との間で送受信する処理を行うプログラムである。尚、以下の図4乃至図6にフローチャートで示されるプログラムは運転支援ECU11が備えているROM32やRAM33に記憶されており、CPU31により実行される。
【0036】
画像通信処理プログラムでは、先ずステップ(以下、Sと略記する)1において、CPU31は前方カメラ5により車両2の前方環境が撮像された前方撮像画像を取得する。また、後方カメラ6により車両2の後方環境が撮像された後方撮像画像を取得する。そして、取得した各撮像画像は画像DB13に一時的に記憶される。尚、前方カメラ5及び後方カメラ6のいずれか一方のみが車両に設置されている場合には、設置されているカメラによる撮像画像のみを取得する。
【0037】
次に、S2においてCPU31は、車速センサ16の検出結果に基づいて自車両が停車中であるか否か判定する。そして、自車両が停車中であると判定された場合(S2:YES)には、S3へと移行する。一方、自車両が走行中であると判定された場合(S2:NO)には画像通信処理プログラムを終了する。
【0038】
続いて、S3でCPU31は、現在位置検出部15や各種センサ16〜18により自車両の現在位置や自車方位を検出する。更に、S4ではカメラパラメータDB12から前方カメラ5及び後方カメラ6に関する各種パラメータ(設置位置、設置角度、撮像範囲等)情報を取得する。
【0039】
その後、S5においてCPU31は、車車間通信システム3(図1)を構成する他車両に対して送信する為の送信データを作成する。尚、前記S5で作成される送信データは、前記S1で取得した前方カメラ5の前方撮像画像データ及び後方カメラ6の後方撮像画像データ、前記S3で検出された自車両の現在位置及び方位に関する自車情報、前記S4で取得した前方カメラ5及び後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報によって構成される。
【0040】
そして、S6でCPU31は、前記S5で作成された送信データを車車間通信システム3により他車両へと送信する。そして、送信データを受信した他車両は、受信した送信データを用いて後述の画像投影処理(図5、図6)を行う。
【0041】
次に、本実施形態に係る運転支援装置1の運転支援ECU11が実行する画像投影処理プログラムについて図5及び図6に基づき説明する。図5及び図6は本実施形態に係る画像投影処理プログラムのフローチャートである。ここで、画像投影処理プログラムは、他車両から車車間通信システム3を介して撮像画像を含む送信データを受信した際に実行され、受信した撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合には、その撮像画像を自車両からの死角方向へとプロジェクタ14により投影する処理を行うプログラムである。
【0042】
画像投影処理プログラムでは、先ずS11においてCPU31は、前記S6により他車両から送信された送信データを受信する。
【0043】
次に、S12でCPU31は、現在位置検出部15や各種センサ16〜18により自車両の現在位置や自車方位を検出する。更に、S13では前記S11で受信したデータに基づいて、データを送信した送信元となる他車両の現在位置や車両方位を特定する。
【0044】
更に、S14でCPU31は、前記S12で検出した自車両の現在位置と自車方位とに基づいて、自車両が交差点へ向けて走行しており且つ交差点が所定距離(例えば20m)以内まで接近しているか否かを判定する。
【0045】
その結果、自車両が交差点へ向けて走行しており且つ交差点が所定距離内まで接近していると判定された場合(S14:YES)には、S15へと移行する。一方、自車両が交差点を通過した場合や、交差点から所定距離以上離れていると判定された場合(S14:NO)には、プロジェクタ14による画像の投影を行うことを示す投影フラグ(交差点手前投影フラグ及び交差点奥側投影フラグ)をOFFして(S16)、当該画像投影処理プログラムを終了する。尚、上記S14が交差点判定手段の処理に相当する。
【0046】
次に、S15でCPU31は、前記S11で他車両から受信したデータの内、自車両が接近中である交差点を撮像した撮像画像があるか否か、即ち自車両からの死角を撮像した撮像画像があるか否かを判定する。具体的には、前記S13で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と、受信した他車両の各種カメラパラメータ(設置位置、設置角度、撮像範囲等)と、地図DB22に記憶された地図情報により判定する。
【0047】
以下に、前記S15の判定処理について図7を用いてより詳細に説明する。図7は所定の交差点50に接近中である自車両51とその周辺環境を示した俯瞰図である。
ここで、図7に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を撮像した撮像画像がある場合(S15:YES)には、その撮像画像は(1)対向車線の交差点50の手前側に停車中の他車両52の後方カメラ6によって撮像された後方撮像画像、又は(2)対向車線の交差点50の奥側に停車中の他車両53の前方カメラ5によって撮像された前方撮像画像のいずれかとなる。そして、交差点50の手前側や奥側に他車両が停車しているということは、対向車線が混雑していると推定される。従って、対向車線に位置する他車両が障害物となって交差点50方向が自車両51からの死角になっていると予測され、結果的に、他車両52の後方カメラ6によって撮像された後方撮像画像及び他車両53の前方カメラ5によって撮像された前方撮像画像は、自車両からの死角を撮像した撮像画像となる。
以上より、前記S15で自車両が接近中である交差点を撮像した撮像画像がある場合には、その撮像画像は自車両からの死角を撮像した撮像画像にも相当することとなる。
【0048】
そして、前記S15の判定の結果、自車両が接近中である交差点を撮像した撮像画像があると判定された場合(S15:YES)には、S17へと移行する。一方、自車両が接近中である交差点を撮像した撮像画像が無いと判定された場合(S15:NO)には、自車両からの死角を撮像した撮像画像も無いので、画像の投影を行うことなく当該画像投影処理プログラムを終了する。
【0049】
その後、S17でCPU31は、前記S11で他車両から受信したデータの内、自車両が接近中である交差点を手前から撮像した撮像画像があるか否か、即ち自車両からの死角となる交差点を交差点の手前側に位置する他車両が後方カメラ6により撮像した後方撮像画像があるか否かを判定する。具体的には、前記S13で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と地図DB22に記憶された地図情報により、他車両の位置が交差点の自車両進行方向の手前側にあると判定された場合に、その他車両により撮像された画像が、自車両が接近中である交差点を手前から撮像した撮像画像であると判定される。尚、上記S17が手前位置判定手段の処理に相当する。
【0050】
そして、自車両が接近中である交差点を手前側から撮像した撮像画像があると判定された場合(S17:YES)には、その撮像画像を投影対象の画像として選択する(S18)。更に、S19では交差点を手前から撮像した撮像画像をプロジェクタ14により投影することを示す交差点手前画像投影フラグをONして、S23へと移行する。一方、自車両が接近中である交差点を手前側から撮像した撮像画像が無いと判定された場合(S17:NO)にはS20へと移行する。
【0051】
以下に、前記S17及びS18の処理について図8及び図9を用いてより詳細に説明する。図8は所定の交差点50に接近中である自車両51と交差点50の手前側に位置する他車両52とその周辺環境を示した俯瞰図である。また、図9は図8に示す状況での他車両52の後方カメラ6で撮像した後方撮像画像61を示した図である。
図8に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を手前側から撮像した撮像画像がある場合(S17:YES)には、その撮像画像は対向車線の交差点50の手前側に位置する他車両52の後方カメラ6によって撮像された後方撮像画像となる。
そして、図9に示すように、他車両52の後方カメラ6によって撮像された後方撮像画像61には、交差点50の奥側に位置する他車両53の前面部と、交差点50へと進入する進入車両54の側面部が撮像される。従って、自車両51は後方撮像画像61を後述のようにプロジェクタ14で投影することによって(図13参照)、自車両51の死角に位置する進入車両54の存在を運転者に気付かせることが可能となる。そこで、前記S18では、この他車両52の後方カメラ6によって撮像された後方撮像画像61を自車の死角方向に投影する画像として選択する。
【0052】
S20でCPU31は、交差点を手前から撮像した撮像画像をプロジェクタ14により投影することを示す交差点手前画像投影フラグがONか否か判定する。そして、交差点手前画像投影フラグがONであると判定された場合(S20:YES)には、既に交差点の手前側から他車両が撮像した後方撮像画像を投影中であるので、後方撮像画像の投影を優先する為に他の撮像画像(例えば、交差点の奥側に位置する他車両の前方撮像画像)の投影を行うことなく当該画像投影処理プログラムを終了する。
【0053】
一方、交差点手前画像投影フラグがOFFであると判定された場合(S20:NO)には、交差点の手前側から他車両が撮像した後方撮像画像を投影していないので、他の撮像画像、即ち、自車両が接近中である交差点を反対の奥側から撮像した撮像画像を投影対象の画像として選択する(S21)。その後、S22では交差点を奥側から撮像した撮像画像をプロジェクタ14により投影することを示す交差点奥側投影フラグをONして、S23へと移行する。
【0054】
以下に、前記S20及びS21の処理について図10及び図11を用いてより詳細に説明する。図10は所定の交差点50に接近中である自車両51と交差点50の奥側に位置する他車両53とその周辺環境を示した俯瞰図である。また、図11は図10に示す状況での他車両53の前方カメラ5で撮像した前方撮像画像62を示した図である。
図10に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を手前側から撮像した撮像画像が無い場合(S20:NO)であっても、対向車線の交差点50の奥側に位置する他車両53の前方カメラ5によって撮像された前方撮像画像が存在する場合がある。
そして、図11に示すように、他車両53の前方カメラ5によって撮像された前方撮像画像62には、交差点50へと進入する進入車両54の正面が撮像される。従って、自車両51は前方撮像画像62を後述のようにプロジェクタ14で投影することによって、自車両51の死角に位置する進入車両54の存在を運転者に気付かせることが可能となる。従って、前記S21では、この他車両53の前方カメラ5によって撮像された前方撮像画像62を自車両の死角方向へ投影する画像として選択する。尚、上記S18及びS21が画像選択手段の処理に相当する。
【0055】
その後、S23においてCPU31は、前記S18又はS21で選択された撮像画像に対して、撮像した他車両の位置及び方位と撮像画像を撮像した前方カメラ5又は後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータとに基づいて、画像の歪みを補正する補正処理を実行する。
【0056】
次に、S24でCPU31は、前記12で検出した自車両の現在位置や自車方位と、地図DB22に記憶された地図情報と、前記S11で受信したデータ送信元となる他車両の現在位置や車両方位に基づいて、障害物によって形成される自車両からの死角となるエリアを算出する。また、算出された死角エリアに基づいてプロジェクタ14による画像の投影方向を決定する。
【0057】
続いて、S25でCPU31は、前記S24で算出された死角エリアに基づいて、前記S18又はS21で選択された撮像画像の内、死角エリアを撮像した範囲を抽出する。具体的には、図9に示すように交差点の手前側に位置する他車両から撮像された後方撮像画像61である場合には、画像の上下方向の中心線から死角エリアが含まれる側(図9では右側)の画像を抽出する。また、図11に示すように交差点の奥側に位置する他車両から撮像された前方撮像画像62である場合には、画像の地平線より下方側の画像を抽出する。尚、上記S24及びS25が画像抽出手段の処理に相当する。
【0058】
その後、S26でCPU31は、自車両からの死角を形成する障害物(図7では他車両52)を平面とみなし、自車両が備えるプロジェクタ14との角度から、撮像画像を投影用の画像へと変換する画像変換処理を行う。尚、前記S26の変換方法は、公知の変換方法に準じる。
【0059】
そして、S27でCPU31は、前記S26において変換された画像を、前記S23で決定された投影方向に対して投影する。それによって、自車両からの死角を形成する障害物を透過した画像をその障害物に対して表示することが可能となり、死角における視界の補完が完了する。
【0060】
ここで、図12は図7に示す状況でステップ27の画像の投影処理を行う前における自車両51の運転席からの視界風景70を示した図である。また、図13は図7に示す状況でステップ27の画像の投影処理を行った後における自車両51の運転席からの視界風景71を示した図である。ここで、投影を行わない状態では図7及び図12に示すように、自車両51からは他車両52が障害物となって交差点50の右側が死角となる。従って、自車両51からは右側から交差点50へと進入する進入車両54を運転者は視認することができない。
そこで、図13に示すように他車両で撮像された撮像画像に基づく画像を死角方向に投影することによって、他車両52の側面に対して進入車両54の画像72が表示される。従って、自車両51の運転者は他車両52に隠れた位置に対して進入車両54が存在することを容易に把握することが可能となる。また、特に図13のように交差点を手前側から撮像した他車両の後方撮像画像(図9)を投影することによって、死角を形成する他車両52を透過した画像をより現実に近い形で形成し、死角に位置する進入車両54の状態をより正確に把握させることが可能となる。
【0061】
以上詳細に説明した通り、本実施形態に係る運転支援装置1では、自車両が交差点に接近中であって(S14:YES)、他車両から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合(S15:YES)には、受信した撮像画像を自車両からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ14によって自車両の死角方向へと投影し、死角を形成する障害物に対して障害物を透過した画像を表示する(S27)ので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。
また、他車両の撮像した撮像画像から自車両からの死角範囲に相当する画像のみを抽出して(S25)投影するので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物(歩行者や車両等)が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。
また、受信したデータ中に交差点を手前側から撮像した他車両の後方撮像画像がある場合には、投影する画像として優先的に後方撮像画像を選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。
【0062】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では他車両から取得した撮像画像を、プロジェクタ14によって死角を形成する障害物に対して投影することにより、自車両からの死角における視界を補完するように構成しているが、他車両から取得した撮像画像を車内のディスプレイに表示することにより、自車両からの死角における視界を補完するようにしても良い。
【0063】
また、本実施形態では、特に交差点において対向車線に存在する他車両によって生じる自車両から交差点への死角を、他車両において撮像した撮像画像を投影することにより補完しているが、交差点以外にも駐車場の出入り口や高速道路の合流帯等の他車両によって自車両の死角が発生する箇所において適用することが可能となる。
【0064】
また、本実施形態では他車両から任意のタイミングで送信されたデータを受信した(S11)際に、自車両が交差点に接近中であるか判定し(S14)、更に交差点に接近中である場合に、自車からの死角を撮像した撮像画像の選択(S18、S21)や選択された撮像画像の投影(S27)を行うこととしているが、自車両が交差点に接近中である場合に他車両に対してデータを要求するようにしても良い。その場合には、要求に応じて他車両から送信されたデータに基づいて、自車からの死角を撮像した撮像画像の選択(S18、S21)や選択された撮像画像の投影(S27)を行うようにすることが望ましい。それにより、撮像画像を含む送信データの送信(S6)は、他車両からの要求があった場合にのみ行うこととなり、通信処理負担の軽減が可能となる。
【図面の簡単な説明】
【0065】
【図1】本実施形態に係る車車間通信システムの概略構成図である。
【図2】本実施形態に係る運転支援装置の概略構成図である。
【図3】本実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図4】本実施形態に係る画像通信処理プログラムのフローチャートである。
【図5】本実施形態に係る画像投影処理プログラムのフローチャートである。
【図6】本実施形態に係る画像投影処理プログラムのフローチャートである。
【図7】所定の交差点に接近中である自車両とその周辺環境を示した俯瞰図である。
【図8】所定の交差点に接近中である自車両と交差点の手前側に位置する他車両とその周辺環境を示した俯瞰図である。
【図9】図8に示す状況での他車両の後方カメラで撮像した後方撮像画像を示した図である。
【図10】所定の交差点に接近中である自車両と交差点の奥側に位置する他車両とその周辺環境を示した俯瞰図である。
【図11】図10に示す状況での他車両の前方カメラで撮像した前方撮像画像を示した図である。
【図12】図7に示す状況でステップ27の画像の投影処理を行う前における自車両の運転席からの視界風景を示した図である。
【図13】図7に示す状況でステップ27の画像の投影処理を行った後における自車両の運転席からの視界風景を示した図である。
【図14】従来技術の問題点を説明した説明図である。
【符号の説明】
【0066】
1 運転支援装置
2 車両
4 通信装置
5 前方カメラ
6 後方カメラ
11 運転支援ECU
14 プロジェクタ
15 現在位置検出部
31 CPU
32 ROM
33 RAM
【技術分野】
【0001】
本発明は、車両からの死角方向における視界を補完する運転支援装置に関する。
【背景技術】
【0002】
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示する画像表示システムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等があるが、車両の後方や、前方のバンパー下及びコーナー部等の死角は通常運転者からは認識することが困難となっている。従って、これらの死角における周辺の状況を、車両に設置したカメラ等の撮像装置によって撮像し、車両を右折、左折又はバック等をさせる際に表示装置に表示することにより、運転者の補助を行うことが行われている。
【0003】
また、従来においては他車両と通信を行うことにより、他車両が撮像した撮像画像を取得し、自車両に設置されたカメラでは撮像できない死角範囲に関する画像についても表示可能とする技術についても提案されている。例えば、特開2003−319383号公報には、自車両の前方を走行する他車両から他車両の前方を撮像した撮像画像を通信で取得することにより、当該他車両によって生じる自車両からの死角範囲を透過した画像を表示装置に表示する技術について記載されている。
【特許文献1】特開2003−319383号公報(第3頁〜第6頁、図2、図3)
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、前記した特許文献1に記載された技術では、自車両からの死角を形成する原因となる前方車両において撮像された撮像画像に基づいて自車両からの視界を補完しているが、自車両からの死角は前方車両のみに基づいて形成されるとは限らない。例えば、駐車車両、対向車両、並走車両等によって形成される場合がある。即ち、周囲に位置するどの車両が障害物となって自車両に対してどの方向に死角が生じているかについては、状況毎に変化するものであり特定することが非常に困難である。
【0005】
例えば、図14に示す自車両101の周囲状況においては、対向車線が渋滞しており、自車両101からは渋滞車両102が障害物となって交差点方向が死角となっている。従って、自車両101は交差点へと進入する進入車両103に気付かない虞がある。そこで、死角範囲にある進入車両103を撮像した撮像画像を、交差点の手前側に位置する渋滞車両102又は交差点の奥側に位置する渋滞車両104が撮像した画像から選択して表示することにより、自車両101からの死角方向の視界を補完することができる。
【0006】
ここで、前記特許文献1のように、自車両の前方を走行する前方車両のみを自車両からの死角を形成する障害物として扱うのでは、図14に示す状況では自車両からの視界を補完することができない。また、前方車両がカメラ等の撮像手段を備えていない場合もあり、その場合についても同様に自車両からの視界を補完することができない。
【0007】
本発明は前記従来における問題点を解消するためになされたものであり、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となった運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するため本願の請求項1に係る運転支援装置(1)は、他車両において撮像された撮像画像を取得する画像取得手段(4)と、前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段(11)と、前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段(14)と、を有することを特徴とする。
【0009】
また、請求項2に係る運転支援装置(1)は、請求項1に記載の運転支援装置において、前記画像選択手段(11)によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段(11)と、前記投射手段(14)は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする。
【0010】
また、請求項3に係る運転支援装置(1)は、請求項2に記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段(15)と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段(4)と、を有し、前記画像抽出手段(11)は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする。
【0011】
また、請求項4に係る運転支援装置(1)は、請求項1乃至請求項3のいずれかに記載の運転支援装置において、自車両の現在位置を取得する自車両位置取得手段(15)と、他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段(4)と、を有し、前記画像選択手段(11)は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする。
【0012】
また、請求項5に係る運転支援装置(1)は、請求項4に記載の運転支援装置において、自車両の前方に交差点があるか否か判定する交差点判定手段(11)と、前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段(11)と、を有し、前記画像選択手段(11)は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする。
【0013】
更に、請求項6に係る運転支援装置(1)は、請求項5に記載の運転支援装置において、前記手前位置判定手段(11)によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段(11)は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする。
【発明の効果】
【0014】
前記構成を有する請求項1に記載の運転支援装置によれば、他車両が撮像した撮像画像の中から自車両の死角を撮像した撮像画像を選択するので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。
【0015】
また、請求項2に記載の運転支援装置によれば、自車両からの死角範囲に相当する画像のみを投影することができるので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物(歩行者や車両等)が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。
【0016】
また、請求項3に記載の運転支援装置によれば、自車からの死角の範囲を正確に算出することが可能となるので、自車両からの死角範囲に相当する画像のみを抽出して投影することができる。
【0017】
また、請求項4に記載の運転支援装置によれば、前方車両以外にも、駐車車両、対向車両、並走車両等によって形成される様々な角度及び範囲の死角について、他車両が撮像した撮像画像に基づいて視界の補完を行うことが可能となる。
【0018】
また、請求項5に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。
【0019】
更に、請求項6に記載の運転支援装置によれば、交差点を手前側から撮像した他車両の後方撮像画像がなかった場合でも、交差点を奥側から撮像した他車両の前方撮像画像を自車両の死角を撮像した撮像画像として選択するので、死角を形成する障害物を透過した画像を形成することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態を把握することが可能となる。
【発明を実施するための最良の形態】
【0020】
以下、本発明に係る運転支援装置について具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る運転支援装置1を備えた複数の車両2によって構成される車車間通信システム3の概略構成について図1を用いて説明する。図1は本実施形態に係る車車間通信システム3の概略構成図である。
【0021】
図1に示すように、本実施形態に係る車車間通信システム3は、道路上を走行する複数の車両2によって構成され、各車両2に設置された運転支援装置1が備える通信装置(画像取得手段、他車両位置取得手段)4によって複数の車両2の間で相互に情報通信が可能となっている。
【0022】
ここで、通信装置4は、例えばミリ波帯の電波による無線方式で情報を通信する通信装置である。そして、自車両位置に対して予め定められた無線通信可能範囲(例えば、自車両位置を中心とした半径2kmまでの範囲)に位置する他車両(後続車両、前方車両、対向車両等)との間で、無線による情報の通信を行うことが可能となっている。
また、通信装置4によって車両間で送受信される情報としては、後述するように車両2に設置された各種センサで検出した車両2の現在位置及び方位に関する自車情報、車両2に備え付けられた前方カメラ5及び後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報、前方カメラ5で撮像した車両2の前方環境の前方撮像画像データ、及び後方カメラ6で撮像した車両2の後方環境の後方撮像画像データ等がある。
【0023】
尚、車車間通信システム3における車両2の間の通信では、直接に車両2の間で情報を送受信することの他に、通信センタ(図示せず)などの通信施設を介して情報を送受信することも可能である。
【0024】
次に、上記車車間通信システム3を構成する車両2に設置された運転支援装置1の構成について図2及び図3を用いて説明する。図2は本実施形態に係る運転支援装置1の概略構成図、図3は本実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
【0025】
図2及び図3に示すように、車両2には前記した通信装置4に加えて、前方カメラ5と、後方カメラ6と、運転支援ECU(画像選択手段、画像抽出手段、交差点判定手段、手前位置判定手段)11と、カメラパラメータDB12と、画像DB13と、プロジェクタ(投影手段)14と、現在位置検出部(自車両位置取得手段)15と、車速センサ16と、ステアリングセンサ17と、ジャイロセンサ18とから構成されている。
【0026】
前方カメラ5は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両2の進行方向となる車両前方を撮像し、その撮像された前方撮像画像(図11参照)は画像DB13に一旦記憶され、必要に応じて後述のように通信装置4を介して他車両へと送信される。
【0027】
後方カメラ6は、前方カメラ5と同じくCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時及び停車時に車両2の進行方向と逆方向となる車両後方を撮像し、その撮像された後方撮像画像(図9参照)は画像DB13に一旦記憶され、必要に応じて後述のように通信装置4を介して他車両へと送信される。
【0028】
また、運転支援ECU(エレクトロニック・コントロール・ユニット)11は、車両2の停車時において前方カメラ5や後方カメラ6で撮像した撮像画像を車車間通信システム3を介して他車両との間で送受信する画像通信処理(図4参照)と、他車両から送信された撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合に、その撮像画像を自車両からの死角方向へとプロジェクタ14により投影する画像投影処理(図5、図6参照)等を行う電子制御ユニットである。尚、運転支援ECU11はナビゲーション装置の制御に使用するECUと兼用してもよい。また、運転支援ECU11の詳細な構成については後述する。
【0029】
また、カメラパラメータDB12は、前方カメラ5及び後方カメラ6に関する各種パラメータが記憶された記憶手段である。ここで、本実施形態ではカメラパラメータDB12に記憶される情報として、前方カメラ5及び後方カメラ6の車両2に対する設置位置、設置角度、撮像範囲等が記憶される。
【0030】
一方、画像DB13は、前方カメラ5及び後方カメラ6によって撮像された前方撮像画像及び後方撮像画像を記憶する記憶手段である。ここで、画像DB13に記憶される情報としては、自車両に設置された前方カメラ5及び後方カメラ6によって撮像された自車両周辺の前方撮像画像及び後方撮像画像の他、車車間通信システム3を介して他車両から受信した他車両で撮像された前方撮像画像及び後方撮像画像がある。
【0031】
また、プロジェクタ14は、液晶パネルと投影用の光源から構成される所謂液晶プロジェクタである。そして、本実施形態に係る運転支援装置1では車両からの死角方向に対して、その死角を撮像した撮像画像を投影する。その結果、車両2からの死角を形成する障害物(具体的には他車両)に対して、障害物を透過した画像が表示される(図13参照)。尚、プロジェクタ14としては液晶プロジェクタの代わりに、DLPプロジェクタやLCOSプロジェクタを用いても良い。
【0032】
また、現在位置検出部15は車両2の現在位置を地図上で特定する為の検出部であり、GPS21や地図DB22から構成される。
そして、GPS21は、人工衛星によって発生させられた電波を受信することにより、地球上における車両2の現在位置と現在時刻を検出する。
一方、地図DB22は、車両2が現在走行する道路を特定する為の地図データが記録された記憶手段である。ここで、地図データは、例えば道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、交差点に関する交差点データ等から構成されている。尚、現在位置検出部15としてはナビゲーション装置を用いても良い。
【0033】
また、車速センサ16は、車両2の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速や加速度を検出するセンサである。
ステアリングセンサ17は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出するセンサである。
ジャイロセンサ18は、車両2の旋回角を検出するセンサである。また、ジャイロセンサ18によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0034】
次に、運転支援ECU11の詳細について図3を用いて説明すると、運転支援ECU11はCPU31を核として構成されており、CPU31には記憶手段であるROM32及びRAM33が接続されている。そして、ROM32には後述の画像通信処理プログラム(図4参照)や画像投影処理プログラム(図5、図6参照)、その他、プロジェクタ14等の制御上必要な各種のプログラム等が格納されている。また、RAM33はCPU31で演算された各種データを一時的に記憶しておくメモリである。
【0035】
続いて、前記構成を有する本実施形態に係る運転支援装置1の運転支援ECU11が実行する画像通信処理プログラムについて図4に基づき説明する。図4は本実施形態に係る画像通信処理プログラムのフローチャートである。ここで、画像通信処理プログラムは、所定間隔(例えば5sec毎)で繰り返し実行され、車両2の停車時において前方カメラ5や後方カメラ6で撮像した撮像画像を車車間通信システム3を介して他車両との間で送受信する処理を行うプログラムである。尚、以下の図4乃至図6にフローチャートで示されるプログラムは運転支援ECU11が備えているROM32やRAM33に記憶されており、CPU31により実行される。
【0036】
画像通信処理プログラムでは、先ずステップ(以下、Sと略記する)1において、CPU31は前方カメラ5により車両2の前方環境が撮像された前方撮像画像を取得する。また、後方カメラ6により車両2の後方環境が撮像された後方撮像画像を取得する。そして、取得した各撮像画像は画像DB13に一時的に記憶される。尚、前方カメラ5及び後方カメラ6のいずれか一方のみが車両に設置されている場合には、設置されているカメラによる撮像画像のみを取得する。
【0037】
次に、S2においてCPU31は、車速センサ16の検出結果に基づいて自車両が停車中であるか否か判定する。そして、自車両が停車中であると判定された場合(S2:YES)には、S3へと移行する。一方、自車両が走行中であると判定された場合(S2:NO)には画像通信処理プログラムを終了する。
【0038】
続いて、S3でCPU31は、現在位置検出部15や各種センサ16〜18により自車両の現在位置や自車方位を検出する。更に、S4ではカメラパラメータDB12から前方カメラ5及び後方カメラ6に関する各種パラメータ(設置位置、設置角度、撮像範囲等)情報を取得する。
【0039】
その後、S5においてCPU31は、車車間通信システム3(図1)を構成する他車両に対して送信する為の送信データを作成する。尚、前記S5で作成される送信データは、前記S1で取得した前方カメラ5の前方撮像画像データ及び後方カメラ6の後方撮像画像データ、前記S3で検出された自車両の現在位置及び方位に関する自車情報、前記S4で取得した前方カメラ5及び後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータ情報によって構成される。
【0040】
そして、S6でCPU31は、前記S5で作成された送信データを車車間通信システム3により他車両へと送信する。そして、送信データを受信した他車両は、受信した送信データを用いて後述の画像投影処理(図5、図6)を行う。
【0041】
次に、本実施形態に係る運転支援装置1の運転支援ECU11が実行する画像投影処理プログラムについて図5及び図6に基づき説明する。図5及び図6は本実施形態に係る画像投影処理プログラムのフローチャートである。ここで、画像投影処理プログラムは、他車両から車車間通信システム3を介して撮像画像を含む送信データを受信した際に実行され、受信した撮像画像の内、特に自車両からの死角を撮像した撮像画像がある場合には、その撮像画像を自車両からの死角方向へとプロジェクタ14により投影する処理を行うプログラムである。
【0042】
画像投影処理プログラムでは、先ずS11においてCPU31は、前記S6により他車両から送信された送信データを受信する。
【0043】
次に、S12でCPU31は、現在位置検出部15や各種センサ16〜18により自車両の現在位置や自車方位を検出する。更に、S13では前記S11で受信したデータに基づいて、データを送信した送信元となる他車両の現在位置や車両方位を特定する。
【0044】
更に、S14でCPU31は、前記S12で検出した自車両の現在位置と自車方位とに基づいて、自車両が交差点へ向けて走行しており且つ交差点が所定距離(例えば20m)以内まで接近しているか否かを判定する。
【0045】
その結果、自車両が交差点へ向けて走行しており且つ交差点が所定距離内まで接近していると判定された場合(S14:YES)には、S15へと移行する。一方、自車両が交差点を通過した場合や、交差点から所定距離以上離れていると判定された場合(S14:NO)には、プロジェクタ14による画像の投影を行うことを示す投影フラグ(交差点手前投影フラグ及び交差点奥側投影フラグ)をOFFして(S16)、当該画像投影処理プログラムを終了する。尚、上記S14が交差点判定手段の処理に相当する。
【0046】
次に、S15でCPU31は、前記S11で他車両から受信したデータの内、自車両が接近中である交差点を撮像した撮像画像があるか否か、即ち自車両からの死角を撮像した撮像画像があるか否かを判定する。具体的には、前記S13で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と、受信した他車両の各種カメラパラメータ(設置位置、設置角度、撮像範囲等)と、地図DB22に記憶された地図情報により判定する。
【0047】
以下に、前記S15の判定処理について図7を用いてより詳細に説明する。図7は所定の交差点50に接近中である自車両51とその周辺環境を示した俯瞰図である。
ここで、図7に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を撮像した撮像画像がある場合(S15:YES)には、その撮像画像は(1)対向車線の交差点50の手前側に停車中の他車両52の後方カメラ6によって撮像された後方撮像画像、又は(2)対向車線の交差点50の奥側に停車中の他車両53の前方カメラ5によって撮像された前方撮像画像のいずれかとなる。そして、交差点50の手前側や奥側に他車両が停車しているということは、対向車線が混雑していると推定される。従って、対向車線に位置する他車両が障害物となって交差点50方向が自車両51からの死角になっていると予測され、結果的に、他車両52の後方カメラ6によって撮像された後方撮像画像及び他車両53の前方カメラ5によって撮像された前方撮像画像は、自車両からの死角を撮像した撮像画像となる。
以上より、前記S15で自車両が接近中である交差点を撮像した撮像画像がある場合には、その撮像画像は自車両からの死角を撮像した撮像画像にも相当することとなる。
【0048】
そして、前記S15の判定の結果、自車両が接近中である交差点を撮像した撮像画像があると判定された場合(S15:YES)には、S17へと移行する。一方、自車両が接近中である交差点を撮像した撮像画像が無いと判定された場合(S15:NO)には、自車両からの死角を撮像した撮像画像も無いので、画像の投影を行うことなく当該画像投影処理プログラムを終了する。
【0049】
その後、S17でCPU31は、前記S11で他車両から受信したデータの内、自車両が接近中である交差点を手前から撮像した撮像画像があるか否か、即ち自車両からの死角となる交差点を交差点の手前側に位置する他車両が後方カメラ6により撮像した後方撮像画像があるか否かを判定する。具体的には、前記S13で特定した撮像画像の撮像を行った他車両の現在位置や車両方位と地図DB22に記憶された地図情報により、他車両の位置が交差点の自車両進行方向の手前側にあると判定された場合に、その他車両により撮像された画像が、自車両が接近中である交差点を手前から撮像した撮像画像であると判定される。尚、上記S17が手前位置判定手段の処理に相当する。
【0050】
そして、自車両が接近中である交差点を手前側から撮像した撮像画像があると判定された場合(S17:YES)には、その撮像画像を投影対象の画像として選択する(S18)。更に、S19では交差点を手前から撮像した撮像画像をプロジェクタ14により投影することを示す交差点手前画像投影フラグをONして、S23へと移行する。一方、自車両が接近中である交差点を手前側から撮像した撮像画像が無いと判定された場合(S17:NO)にはS20へと移行する。
【0051】
以下に、前記S17及びS18の処理について図8及び図9を用いてより詳細に説明する。図8は所定の交差点50に接近中である自車両51と交差点50の手前側に位置する他車両52とその周辺環境を示した俯瞰図である。また、図9は図8に示す状況での他車両52の後方カメラ6で撮像した後方撮像画像61を示した図である。
図8に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を手前側から撮像した撮像画像がある場合(S17:YES)には、その撮像画像は対向車線の交差点50の手前側に位置する他車両52の後方カメラ6によって撮像された後方撮像画像となる。
そして、図9に示すように、他車両52の後方カメラ6によって撮像された後方撮像画像61には、交差点50の奥側に位置する他車両53の前面部と、交差点50へと進入する進入車両54の側面部が撮像される。従って、自車両51は後方撮像画像61を後述のようにプロジェクタ14で投影することによって(図13参照)、自車両51の死角に位置する進入車両54の存在を運転者に気付かせることが可能となる。そこで、前記S18では、この他車両52の後方カメラ6によって撮像された後方撮像画像61を自車の死角方向に投影する画像として選択する。
【0052】
S20でCPU31は、交差点を手前から撮像した撮像画像をプロジェクタ14により投影することを示す交差点手前画像投影フラグがONか否か判定する。そして、交差点手前画像投影フラグがONであると判定された場合(S20:YES)には、既に交差点の手前側から他車両が撮像した後方撮像画像を投影中であるので、後方撮像画像の投影を優先する為に他の撮像画像(例えば、交差点の奥側に位置する他車両の前方撮像画像)の投影を行うことなく当該画像投影処理プログラムを終了する。
【0053】
一方、交差点手前画像投影フラグがOFFであると判定された場合(S20:NO)には、交差点の手前側から他車両が撮像した後方撮像画像を投影していないので、他の撮像画像、即ち、自車両が接近中である交差点を反対の奥側から撮像した撮像画像を投影対象の画像として選択する(S21)。その後、S22では交差点を奥側から撮像した撮像画像をプロジェクタ14により投影することを示す交差点奥側投影フラグをONして、S23へと移行する。
【0054】
以下に、前記S20及びS21の処理について図10及び図11を用いてより詳細に説明する。図10は所定の交差点50に接近中である自車両51と交差点50の奥側に位置する他車両53とその周辺環境を示した俯瞰図である。また、図11は図10に示す状況での他車両53の前方カメラ5で撮像した前方撮像画像62を示した図である。
図10に示すように自車両51が交差点50に接近している場合において、他車両から受信したデータ中に交差点50を手前側から撮像した撮像画像が無い場合(S20:NO)であっても、対向車線の交差点50の奥側に位置する他車両53の前方カメラ5によって撮像された前方撮像画像が存在する場合がある。
そして、図11に示すように、他車両53の前方カメラ5によって撮像された前方撮像画像62には、交差点50へと進入する進入車両54の正面が撮像される。従って、自車両51は前方撮像画像62を後述のようにプロジェクタ14で投影することによって、自車両51の死角に位置する進入車両54の存在を運転者に気付かせることが可能となる。従って、前記S21では、この他車両53の前方カメラ5によって撮像された前方撮像画像62を自車両の死角方向へ投影する画像として選択する。尚、上記S18及びS21が画像選択手段の処理に相当する。
【0055】
その後、S23においてCPU31は、前記S18又はS21で選択された撮像画像に対して、撮像した他車両の位置及び方位と撮像画像を撮像した前方カメラ5又は後方カメラ6の設置位置や設置角度や撮像範囲等に関するカメラパラメータとに基づいて、画像の歪みを補正する補正処理を実行する。
【0056】
次に、S24でCPU31は、前記12で検出した自車両の現在位置や自車方位と、地図DB22に記憶された地図情報と、前記S11で受信したデータ送信元となる他車両の現在位置や車両方位に基づいて、障害物によって形成される自車両からの死角となるエリアを算出する。また、算出された死角エリアに基づいてプロジェクタ14による画像の投影方向を決定する。
【0057】
続いて、S25でCPU31は、前記S24で算出された死角エリアに基づいて、前記S18又はS21で選択された撮像画像の内、死角エリアを撮像した範囲を抽出する。具体的には、図9に示すように交差点の手前側に位置する他車両から撮像された後方撮像画像61である場合には、画像の上下方向の中心線から死角エリアが含まれる側(図9では右側)の画像を抽出する。また、図11に示すように交差点の奥側に位置する他車両から撮像された前方撮像画像62である場合には、画像の地平線より下方側の画像を抽出する。尚、上記S24及びS25が画像抽出手段の処理に相当する。
【0058】
その後、S26でCPU31は、自車両からの死角を形成する障害物(図7では他車両52)を平面とみなし、自車両が備えるプロジェクタ14との角度から、撮像画像を投影用の画像へと変換する画像変換処理を行う。尚、前記S26の変換方法は、公知の変換方法に準じる。
【0059】
そして、S27でCPU31は、前記S26において変換された画像を、前記S23で決定された投影方向に対して投影する。それによって、自車両からの死角を形成する障害物を透過した画像をその障害物に対して表示することが可能となり、死角における視界の補完が完了する。
【0060】
ここで、図12は図7に示す状況でステップ27の画像の投影処理を行う前における自車両51の運転席からの視界風景70を示した図である。また、図13は図7に示す状況でステップ27の画像の投影処理を行った後における自車両51の運転席からの視界風景71を示した図である。ここで、投影を行わない状態では図7及び図12に示すように、自車両51からは他車両52が障害物となって交差点50の右側が死角となる。従って、自車両51からは右側から交差点50へと進入する進入車両54を運転者は視認することができない。
そこで、図13に示すように他車両で撮像された撮像画像に基づく画像を死角方向に投影することによって、他車両52の側面に対して進入車両54の画像72が表示される。従って、自車両51の運転者は他車両52に隠れた位置に対して進入車両54が存在することを容易に把握することが可能となる。また、特に図13のように交差点を手前側から撮像した他車両の後方撮像画像(図9)を投影することによって、死角を形成する他車両52を透過した画像をより現実に近い形で形成し、死角に位置する進入車両54の状態をより正確に把握させることが可能となる。
【0061】
以上詳細に説明した通り、本実施形態に係る運転支援装置1では、自車両が交差点に接近中であって(S14:YES)、他車両から受信したデータ中に接近中の交差点を撮像した撮像画像が含まれている場合(S15:YES)には、受信した撮像画像を自車両からの死角を撮像した撮像画像と判定し、その撮像画像に対して所定の画像処理を施した後に、プロジェクタ14によって自車両の死角方向へと投影し、死角を形成する障害物に対して障害物を透過した画像を表示する(S27)ので、様々な方角及び範囲に生じた自車両からの死角に対して、撮像画像に基づく視界の補完を行うことが可能となる。
また、他車両の撮像した撮像画像から自車両からの死角範囲に相当する画像のみを抽出して(S25)投影するので、死角以外の不要範囲の画像が投影されることによって、視認可能な範囲に位置する対象物(歩行者や車両等)が死角に位置すると誤認させたり、死角に位置する対象物が視認可能な範囲にあると誤認させる虞がない。また、死角に位置する対象物のみを運転者に明確に把握させることが可能となる。更に、歩行者や他車両の運転者に対して画像が投影されることによって視界を奪う機会を著しく減少させることが可能となる。
また、受信したデータ中に交差点を手前側から撮像した他車両の後方撮像画像がある場合には、投影する画像として優先的に後方撮像画像を選択するので、死角を形成する障害物を透過した画像をより現実に近い形で形成し、その障害物に対して投影することが可能となる。従って、運転者は投影された画像を視認することにより、死角に位置する対象物の状態をより正確に把握することが可能となる。
【0062】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では他車両から取得した撮像画像を、プロジェクタ14によって死角を形成する障害物に対して投影することにより、自車両からの死角における視界を補完するように構成しているが、他車両から取得した撮像画像を車内のディスプレイに表示することにより、自車両からの死角における視界を補完するようにしても良い。
【0063】
また、本実施形態では、特に交差点において対向車線に存在する他車両によって生じる自車両から交差点への死角を、他車両において撮像した撮像画像を投影することにより補完しているが、交差点以外にも駐車場の出入り口や高速道路の合流帯等の他車両によって自車両の死角が発生する箇所において適用することが可能となる。
【0064】
また、本実施形態では他車両から任意のタイミングで送信されたデータを受信した(S11)際に、自車両が交差点に接近中であるか判定し(S14)、更に交差点に接近中である場合に、自車からの死角を撮像した撮像画像の選択(S18、S21)や選択された撮像画像の投影(S27)を行うこととしているが、自車両が交差点に接近中である場合に他車両に対してデータを要求するようにしても良い。その場合には、要求に応じて他車両から送信されたデータに基づいて、自車からの死角を撮像した撮像画像の選択(S18、S21)や選択された撮像画像の投影(S27)を行うようにすることが望ましい。それにより、撮像画像を含む送信データの送信(S6)は、他車両からの要求があった場合にのみ行うこととなり、通信処理負担の軽減が可能となる。
【図面の簡単な説明】
【0065】
【図1】本実施形態に係る車車間通信システムの概略構成図である。
【図2】本実施形態に係る運転支援装置の概略構成図である。
【図3】本実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図4】本実施形態に係る画像通信処理プログラムのフローチャートである。
【図5】本実施形態に係る画像投影処理プログラムのフローチャートである。
【図6】本実施形態に係る画像投影処理プログラムのフローチャートである。
【図7】所定の交差点に接近中である自車両とその周辺環境を示した俯瞰図である。
【図8】所定の交差点に接近中である自車両と交差点の手前側に位置する他車両とその周辺環境を示した俯瞰図である。
【図9】図8に示す状況での他車両の後方カメラで撮像した後方撮像画像を示した図である。
【図10】所定の交差点に接近中である自車両と交差点の奥側に位置する他車両とその周辺環境を示した俯瞰図である。
【図11】図10に示す状況での他車両の前方カメラで撮像した前方撮像画像を示した図である。
【図12】図7に示す状況でステップ27の画像の投影処理を行う前における自車両の運転席からの視界風景を示した図である。
【図13】図7に示す状況でステップ27の画像の投影処理を行った後における自車両の運転席からの視界風景を示した図である。
【図14】従来技術の問題点を説明した説明図である。
【符号の説明】
【0066】
1 運転支援装置
2 車両
4 通信装置
5 前方カメラ
6 後方カメラ
11 運転支援ECU
14 プロジェクタ
15 現在位置検出部
31 CPU
32 ROM
33 RAM
【特許請求の範囲】
【請求項1】
他車両において撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段と、
前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段と、を有することを特徴とする運転支援装置。
【請求項2】
前記画像選択手段によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段と、
前記投射手段は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする請求項1に記載の運転支援装置。
【請求項3】
自車両の現在位置を取得する自車両位置取得手段と、
他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
前記画像抽出手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする請求項2に記載の運転支援装置。
【請求項4】
自車両の現在位置を取得する自車両位置取得手段と、
他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
前記画像選択手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする請求項1乃至請求項3のいずれかに記載の運転支援装置。
【請求項5】
自車両の前方に交差点があるか否か判定する交差点判定手段と、
前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段と、を有し、
前記画像選択手段は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする請求項4に記載の運転支援装置。
【請求項6】
前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする請求項5に記載の運転支援装置。
【請求項1】
他車両において撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段で取得された複数の撮像画像の内、自車両からの死角を撮像した撮像画像を選択する画像選択手段と、
前記画像選択手段で選択された撮像画像を前記自車両からの死角の方向に対して投影する投影手段と、を有することを特徴とする運転支援装置。
【請求項2】
前記画像選択手段によって選択された撮像画像中から自車両の死角となる範囲の画像を抽出する画像抽出手段と、
前記投射手段は前記画像抽出手段によって抽出された抽出画像を前記自車両からの死角の方向へと投影することを特徴とする請求項1に記載の運転支援装置。
【請求項3】
自車両の現在位置を取得する自車両位置取得手段と、
他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
前記画像抽出手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角となる範囲の画像を抽出することを特徴とする請求項2に記載の運転支援装置。
【請求項4】
自車両の現在位置を取得する自車両位置取得手段と、
他車両において前記撮像画像が撮像されたときの他車両の位置を取得する他車両位置取得手段と、を有し、
前記画像選択手段は前記自車両位置取得手段で取得した自車両の現在位置と前記他車両位置取得手段で取得した他車両の位置とに基づいて、自車両からの死角を撮像した撮像画像を選択することを特徴とする請求項1乃至請求項3のいずれかに記載の運転支援装置。
【請求項5】
自車両の前方に交差点があるか否か判定する交差点判定手段と、
前記交差点判定手段において自車両の前方に交差点があると判定された場合に、前記他車両位置取得手段で取得した他車両の位置が前記交差点の自車両進行方向の手前側にあるか否か判定する手前位置判定手段と、を有し、
前記画像選択手段は前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にあると判定された場合に、その他車両で撮像された後方撮像画像を選択することを特徴とする請求項4に記載の運転支援装置。
【請求項6】
前記手前位置判定手段によって他車両の位置が前記交差点の自車両進行方向の手前側にないと判定された場合に、前記画像選択手段は前記交差点の自車両進行方向の奥側にある他車両で撮像された前方撮像画像を選択することを特徴とする請求項5に記載の運転支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2008−250503(P2008−250503A)
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願番号】特願2007−89110(P2007−89110)
【出願日】平成19年3月29日(2007.3.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願日】平成19年3月29日(2007.3.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]