車両運転支援装置
【課題】走行中の運転者に対しカーブミラー内に映った鏡像を見やすくしたり、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御を可能にしたりして、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止できるようにする。
【解決手段】車両前方を撮像する撮像手段１０ａと、その前方画像からカーブミラーを認識して特定する特定手段２１ａと、そのカーブミラーにおけるミラー内画像を取得する取得手段２１ｂ（１０ｂ，１１）と、そのミラー内画像を正面から見た正視画像に変換する画像変換手段２１ｃと、その正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段２１ｄと、その補正後正視画像を車両運転者に対し表示する表示手段４０（２３ａ）とをそなえる。
【解決手段】車両前方を撮像する撮像手段１０ａと、その前方画像からカーブミラーを認識して特定する特定手段２１ａと、そのカーブミラーにおけるミラー内画像を取得する取得手段２１ｂ（１０ｂ，１１）と、そのミラー内画像を正面から見た正視画像に変換する画像変換手段２１ｃと、その正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段２１ｄと、その補正後正視画像を車両運転者に対し表示する表示手段４０（２３ａ）とをそなえる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転者の運転を支援する車両運転支援装置に関する。
【背景技術】
【０００２】
一般に、道路の交差点やカーブなどには、例えば図７に示すように、カーブミラー（コーナーミラー）１００が設置されている。自動車等の車両の運転者は、そのカーブミラー１００に映る像を見て、歩行者，車両等の接近物体を視認すると、制動を掛けたりハンドル操作を行なったりして、交差点やカーブでの出合い頭の事故を未然に防止している。
【０００３】
このようなカーブミラー１００は、通常、凸面鏡であるため、広い視野角を有するが、ミラー中央部に映る像は小さく、運転者は、カーブミラー１００にかなり接近しなければ、カーブミラー１００内に映る接近物体を視認することが難しい。このため、運転者がカーブミラー１００に映る接近車両や歩行者を見落とし、出合い頭の事故に至るケースが少なくない。しかしながら、走行中の運転者に対しカーブミラー１００内に映った鏡像を見やすくするような技術は開発されていない。
【０００４】
なお、例えば、下記特許文献１には、広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換技術が開示されている。しかし、この技術は、あくまで広角レンズ画像の歪みを取り除くものであって、車両走行中に運転者によって視認されるべきカーブミラー内画像（凸面鏡像）に適用されるものではない。
【特許文献１】特開２００４−１９９３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような状況に鑑み創案されたもので、走行中の運転者に対しカーブミラー内に映った鏡像を見やすくしたり、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御を可能にしたりして、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の車両運転支援装置（請求項１）は、車両前方を撮像する撮像手段と、前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする。
【０００７】
また、本発明の車両運転支援装置（請求項２）は、上述した撮像手段，特定手段，ミラー内画像取得手段，画像変換手段および画像歪み補正手段をそなえるとともに、前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする。このような車両運転支援装置において、前記危険度算出手段は、前記車両前方画像から算出される前記カーブミラーの取付角度と前記補正後正視画像とに基づいて前記接近物体と前記カーブミラーとの距離を算出するとともに、前記車両前方画像に基づいて前記車両と前記カーブミラーとの距離を算出し、これらの距離に基づいて前記危険度を算出してもよい（請求項３）。
【発明の効果】
【０００８】
上述した本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像が運転者に対して表示される。これにより、運転者に対し、カーブミラーに映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラーに映る接近物体との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。
【０００９】
また、本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施される。そして、補正後正視画像から接近物体が認識されると、補正後正視画像と車両前方画像とに基づき、車両と接近物体との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは車両の制動もしくは車両の操舵による危険回避制御が行なわれる。このように画像認識処理を行なって接近物体の検知が容易に行なわれる。従って、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。
〔１〕本実施形態の構成
図１は本発明の一実施形態としての車両運転支援装置の機能構成を示すブロック図で、この図１に示す本実施形態の車両運転支援装置１は、自動車等の車両に装備され、車両運転者の運転を支援するものである。そして、本実施形態の車両運転支援装置１は、第１カメラ１０ａ，第２カメラ１０ｂ，カメラコントローラ１１，処理部２０，データベース３０，ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２をそなえ、ディスプレイ４０によるカーブミラー内画像表示や、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２を用いた運転者に対する警告や、ブレーキ６１，操舵系６２およびエンジン６３による車両制御を行なうものである。
【００１１】
なお、データベース３０には、(a1)後述するごとく車両前方画像からカーブミラーを認識して特定するために用いられるカーブミラーパターン（規格化されている複数種類のカーブミラーについての形状／サイズ）や、(a2)規格化されている複数種類のカーブミラーについての鏡面湾曲率に関する情報や、(a3)後述するごとく接近物体を認識するために用いられるテンプレートや、(a4)後述するごとく危険度を算出・判定するための基準情報や、(a5)後述するごとく危険度に応じた警報／制御態様（アクション）を定義するテーブル（図５参照）が、予め登録されている。
【００１２】
第１カメラ（撮像手段）１０ａは、車両走行中に、車両前方を広く撮像して車両前方画像（例えば図２参照）を取得するものである。この第１カメラ１０ａとしては、本車両運転支援装置専用のものを設けてもよいし、例えばドライブレコーダ用のカメラ等を兼用することも可能である。
第２カメラ１０ｂは、後述するごとくカーブミラー１００をズームして撮像するためのもので、第１カメラ１０ａに比べ視野は狭いが高解像度のものが用いられる。
【００１３】
カメラコントローラ（ミラー内画像取得手段）１１は、処理部２０と第１カメラ１０ａおよび第２カメラ１０ｂとの間に設けられ、これらの第１カメラ１０ａおよび第２カメラ１０ｂの撮像動作を制御するものである。特に、カメラコントローラ１１は、後述する特定手段２１ａやミラー内画像取得手段２１ｂでの処理結果に応じて、第２カメラ１０ｂを制御し、この第２カメラ１０ｂに、カーブミラー１００のズーム画像（例えば図３参照）を撮像させるものである。
【００１４】
処理部（ＣＰＵ）２０は、画像認識処理部２１，判断処理部２２および出力制御系２３としての機能を果たすものである。この処理部２０としては、本車両運転支援装置専用のものを設けてもよいし、例えば車両制御用ＣＰＵあるいはカーナビゲーションシステム用ＣＰＵなどを兼用することも可能である。
画像認識処理部２１は、特定手段２１ａ，ミラー内画像取得手段２１ｂ，画像変換手段２１ｃおよび画像歪み補正手段２１ｄとしての機能を有している。
【００１５】
特定手段２１ａは、第１カメラ１０ａによって撮像された車両前方画像からカーブミラー１００を認識して特定するものである。より具体的に、特定手段２１ａは、データベース３０に登録されたカーブミラーパターン(a1)を用いたパターンマッチング処理により、例えば図２に示すような車両前方画像の中からカーブミラー１００の存在する領域Ａ１を探索する。カーブミラー１００は、規格化されており形状もサイズも決まっているので、その形状やサイズの特徴からパターンマッチング処理によって容易に探索することができる。また、カーブミラー１００は、通常、目線よりも少し上に設置されているので、車両前方画像のうちの、目線よりも少し上の領域を対象にしてパターンマッチング処理を行なうことにより、迅速かつ効率的にカーブミラー１００を認識して特定することができる。なお、図２は本実施形態の第１カメラ１０ａで撮像された車両前方画像の一例を示す図である。
【００１６】
ミラー内画像取得手段２１ｂは、特定手段２１ａによって特定されたカーブミラー１００におけるミラー内画像を取得するものである。より具体的に、ミラー内画像取得手段２１ｂは、カメラコントローラ１１を介し、車両前方画像の中でカーブミラー１００の存在する領域Ａ１（図２参照）を、第２カメラ１０ｂによってズームして撮像させ、カーブミラー１００内に映る画像（ミラー内画像；図３の領域Ａ２内の画像）を取得する。なお、図３は本実施形態の第２カメラ１０ｂで撮像されたカーブミラー１００のズーム画像の一例を示す図である。
【００１７】
ここで、通常、自車（本車両運転支援装置１を装備された車両）はカーブミラー１００に接近しながら走行しているので、その走行状況に応じて、カメラコントローラ１１が、第２カメラ１０ｂによるズーム倍率を変えたり第２カメラ１０ｂの向きを調整したりする。また、第１カメラ１０ａの解像度が十分に高い場合には、第２カメラ１０ｂをそなえる必要はない。さらに、後述するように、第１カメラ１０ａがズーミング機能を有している場合にも、第２カメラ１０ｂをそなえることなく、第１カメラ１０ａのズーミング機能を用いてカーブミラー１００におけるミラー内画像を取得することが可能である。
【００１８】
また、本実施形態において、上述したミラー内画像取得手段２１ｂは、カーブミラー１００の取付角度を算出する取付角度算出手段としての機能も果たすものとする。つまり、ミラー内画像取得手段２１ｂは、図３に示すようなカーブミラー１００のズーム画像に基づき、そのカーブミラー１００の見た目の形状から、自車から見たカーブミラー１００の角度を算出する。前述した通り、カーブミラー１００は規格化されており、そのミラー１００を正面から見た時の形状（以下、「正視形状」という）やサイズは、カーブミラーの種類毎にデータベース３０に登録されている。従って、ミラー内画像取得手段２１ｂは、ズーム画像中のカーブミラー１００の形状と、データベース３０に登録されている正視形状とに基づいて、カーブミラー１００をどの角度から見たズーム画像であるか、つまり、カーブミラー１００の取付角度を算出することが可能である。このとき、取付角度としては、例えば、俯角（上下方向の取付角度；水平軸まわりの角度）と、自車進行方向に対するミラー１００の角度（左右方向の取付角度；鉛直軸まわりの角度）とが算出される。この取付角度は、後述する危険度算出手段２２ｂにおいてミラー内距離を算出する際に用いられる。
【００１９】
画像変換手段２１ｃは、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２参照）を正面から見た正視画像に変換するものである。より具体的に、画像変換手段２１ｃは、今回特定されたカーブミラー１００の正視形状をデータベース３０から取得し、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２内の画像）を、取得された正視形状の領域に写像するように、例えばアフィン変換による座標変換を行なう。この画像変換手段２１ｃにより、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２参照）が、斜めから見た状態から、正面から見た状態（正視画像）に変換されることになる。
【００２０】
画像歪み補正手段２１ｄは、画像変換手段２１ｃによって得られた正視画像に対しミラー周辺部の画像歪み補正を行なうものである。画像変換手段２１ｃによって得られた正視画像は、カーブミラー１００を正面から見た状態になっているが、その画像のミラー周辺部には、カーブミラー１００が凸面鏡であることに起因する歪みが生じている。この画像歪補正手段２１ｄは、このような歪を取り除く補正を、画像変換手段２１ｃによって得られた正視画像に対して行なうものである。
【００２１】
その補正手法としては、例えば、高辻誠也ほか「グレイコードパターンを利用したレンズ歪みの補正手法」 (ＵＲＬ： http://www.am.sanken.osaka-u.ac.jp/~echigo/miru2005.pdf#search='グレイコードパターンを利用したレンズ歪みの補正手法') や、関海克ほか「デジタルカメラにおける画像補正技術」 (Ricoh Technical Report No.31, pp.103-110, DECEMBER, 2005) などに開示された画像変換技術（画像補正技術）を用いることができる。また、上記補正に際しては、画像歪み補正手段２１ｄは、データベース３０に登録された、当該カーブミラー１００に対応する種類のカーブミラーの鏡面湾曲率(a2)を読み出して用いることができる。
【００２２】
この画像歪み補正手段２１ｄにより、凸面鏡であることに起因するミラー周辺部の歪みが補正され、カーブミラー１００に映った画像が、平面鏡に映したような見やすい画像（例えば図４参照）に座標変換されることになる。なお、図４は本実施形態においてディスプレイ４０に表示される歪み補正後正視画像の一例を示す図であり、この図４に示すように、画像歪み補正手段２１ｄによって得られた補正後正視画像は、後述する出力制御系２３の表示制御部２３ａによってディスプレイ（表示手段）４０に表示される。
【００２３】
判断処理部２２は、接近物体認識手段２２ａ，危険度算出手段２２ｂおよび制御手段２２ｃとしての機能を有している。
接近物体認識手段（認識手段）２２ａは、画像歪み補正手段２１ｄによって得られた補正後正視画像から、車両，バイク，歩行者などの接近物体１０１（図４参照）を認識するものである。この接近物体認識手段２２ａは、既存の種々の物体認識手法、例えば、テンプレートマッチング（データベース３０に予め登録されたテンプレート(a3)を用いたマッチング処理），ニューロなどの形状認識手法や移動物体認識手法を用いて、カーブミラー１００に映る補正後正視画像から接近物体１０１を認識する。ここで適用される認識手法としては、車両前方を撮像するカメラによって得られた画像から移動物体（車らしき形状）を認識する技術として一般的に知られているものを用いることができる。
【００２４】
危険度算出手段２２ｂは、画像歪み補正手段２１ｄによって得られた補正後正視画像と第１カメラ１０ａによって撮像された車両前方画像とに基づき、自車と接近物体認識手段２２ａによって認識された接近物体１０１との衝突可能性を危険度として算出するものである。より具体的に、危険度算出手段２２ｂは、車両前方画像から算出されるカーブミラー１００の取付角度（ミラー内画像取得手段２１ｂの機能によって算出された取付角度）と補正後正視画像とに基づいて接近物体１０１とカーブミラー１００との距離ｄ１を算出するとともに、車両前方画像に基づいて自車とカーブミラー１００との距離ｄ２を算出し、これらの距離ｄ１，ｄ２に基づいて危険度の算出（危険度レベルの判定）を行なう。
【００２５】
ここで、自車とカーブミラー１００との距離ｄ２は、第１カメラ１０ａの取付位置や指向方向が判明していれば、図２に示すように、第１カメラ１０ａによって撮像された車両前方画像のＹ軸座標から算出することが可能である。第１カメラ１０ａの取付位置や指向方向は、通常、既知の値として提供される。また、第１カメラ１０ａとしてステレオカメラを用いている場合には、視差（視野角）によって自車とカーブミラー１００との距離ｄ２を算出することも可能である。
【００２６】
また、接近物体１０１とカーブミラー１００との距離ｄ１は、カーブミラー１００の取付角度が判明していれば、図４に示すように、画像歪み補正手段２１ｄによって得られた補正後正視画像のＹ軸座標から算出することが可能である。カーブミラー１００の取付角度は、上述したように、ミラー内画像取得手段２１ｂの取付角度算出機能によって算出される。そして、距離ｄ１の時間微分値が、接近物体１０１の接近速度ｖ１となる。
【００２７】
危険度算出手段２２ｂは、上述のごとく算出された距離ｄ１，ｄ２，接近速度ｖ１および自車の速度ｖ２（例えば速度センサから得られる値）に基づき、衝突の危険性（可能性）について、例えば下記のような５段階の危険度レベル(b1)〜(b5)での判定を行なう。
危険度レベル(b1)：危険性なし
危険度レベル(b2)：危険移行過程（危険状態に移行しつつある状態）
危険度レベル(b3)：危険状態（そのまま何もせずに走ると衝突に至る状態）
危険度レベル(b4)：危険臨界（緊急に回避行動をしないと衝突に至る状態）
危険度レベル(b5)：衝突不可避（物理的に衝突回避は不可能な状態）
【００２８】
ここで、距離ｄ１，ｄ２，接近速度ｖ１および自車の速度ｖ２と、上記５段階の危険度レベル(b1)〜(b5)との対応関係は、データベース３０に基準情報(a4)として予め登録されている。実際には、自車と接近物体１０１との距離Ｄ（＝ｄ１＋ｄ２）、および、自車に対する接近物体１０１の接近速度Ｖ（＝ｖ１＋ｖ２）と、上記５段階の危険度レベル(b1)〜(b5)との対応関係が、基準情報(a4)として予め登録されている。
【００２９】
危険度算出手段２２ｂは、自車と接近物体１０１との現在の距離Ｄおよび接近速度Ｖを、上記基準情報(a4)に照らし、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかを算出・判定する。例えば、距離Ｄが所定値以上で且つ速度Ｖが十分に遅い場合（例えば距離Ｄが５０ｍ以上で速度Ｖが１０km/h以下）には、危険度レベル(b1)「危険性なし」と判定する。また、距離Ｄが所定値未満で且つ速度Ｖが速い場合（例えば距離Ｄが５０ｍ未満で速度Ｖが６０km/h以上；この場合５秒以内に衝突）には、危険度レベル(b5)「衝突不可避」と判定する。このように基準情報(a4)を距離Ｄおよび接近速度Ｖについて段階的に適宜設定しておくことにより、危険度算出手段２２ｂは、距離Ｄおよび接近速度Ｖに基づく危険度レベルの算出・判定を行なうことが可能になっている。
【００３０】
制御手段２２ｃは、危険度算出手段２２ｂによって算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動／操舵／エンジン制御による危険回避制御を行なうものである。上述した５段階の危険度レベル(b1)〜(b5)と各危険度レベルに応じた警報／制御態様（アクション）との対応関係は、データベース３０に、図５に示すようなテーブル(a5)として予め登録されている。制御手段２２ｃは、そのテーブル(a5)を参照し、危険度算出手段２２ｂで得られた危険度レベルに応じた警報／制御態様（アクション）を認識し、認識した警報／制御態様（アクション）を、出力制御系２３を介して実行させる。なお、図５は本実施形態における危険度に応じた警報／制御態様（アクション）を定義するテーブル(a5)の一例を示す図である。
【００３１】
図５に示すテーブル(a5)の定義によれば、制御手段２２ｃは、危険度レベル(b1)〜(b5)に応じて、例えば、以下のような制御動作(c1)〜(c5)を行なうようになっている。なお、図５に示すテーブル(a5)において、◎は必須アクションであることを示し、△は必要に応じて行なってもよいアクションであることを示している。
【００３２】
(c1) 危険度レベル(b1)「危険性なし」の場合、何ら制御動作を行なわない。
(c2) 危険度レベル(b2)「危険移行過程」の場合、危険状態に移行しつつある状態であることを運転者に通知する情報提供を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって危険状態に移行しつつある状態である旨を表示させる制御を行ない、運転者に対する情報提供を行なうとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記情報提供を行なう。
【００３３】
(c3) 危険度レベル(b3)「危険状態」の場合、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって上記注意喚起の表示を行なわせるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記注意喚起を行なう。このときのＬＥＤランプ５１やスピーカ５２による注意喚起動作は、上記情報提供時よりも緊急度（危険度）が高いことが運転者に対して明確になるように、例えばＬＥＤランプ５１の点滅間隔やスピーカ５２によるビープ音鳴動間隔を上記情報提供時よりも短くする。また、必要に応じて、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を行なってもよい。
【００３４】
(c4) 危険度レベル(b4)「危険臨界」の場合に緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって上記警報の表示を行なわせるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。このときのＬＥＤランプ５１やスピーカ５２による警報動作は、上記注意喚起時よりも緊急度（危険度）が高いことが運転者に対して明確になるように、例えばＬＥＤランプ５１の点滅間隔やスピーカ５２によるビープ音鳴動間隔を上記注意喚起時よりもさらに短くする。また、この時も、必要に応じて、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を行なってもよい。
【００３５】
(c5) 危険度レベル(b5)「衝突不可避」の場合、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御（介入制御）を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって衝突不可避状態であることを示す警報を出力させるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。この警報制御と同時に、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を強制的に行なう。
【００３６】
なお、出力制御系２３は、表示制御部２３ａ，警報制御部２３ｂ，制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅとしての機能を有している。
表示制御部２３ａは、ディスプレイ（表示手段）４０の表示状態を制御するもので、画像歪み補正手段２１ｄによって得られた補正後正視画像を、運転者に対して提示すべく、ディスプレイ４０に表示させる機能を有するほか、上記制御動作(c2)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ディスプレイ４０の表示制御を行なう機能を有している。
【００３７】
警報制御部２３ｂは、ＬＥＤランプ５１およびスピーカ５２の動作を制御するもので、上記制御動作(c2)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ＬＥＤランプ５１およびスピーカ５２の動作制御を行なう機能を有している。
【００３８】
制動制御部２３ｃは、ブレーキ６１による制動を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ブレーキ６１の制動制御（衝突回避のための介入制御）を行なう機能を有している。
【００３９】
操舵制御部２３ｄは、操舵系６２による操舵を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、操舵系６２による操舵制御（衝突回避のための介入制御）を行なう機能を有している。
【００４０】
エンジン制御部２３ｅは、エンジン６３の動作を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、エンジン６３の動作制御（衝突回避のための介入制御）を行なう機能を有している。
【００４１】
〔２〕本実施形態の動作
次に、図６に示すフローチャート（ステップＳ１１〜Ｓ３２）に従って、上述のごとく構成された本実施形態の車両運転支援装置１の動作について説明する。
自車の走行中、第１カメラ１０ａによって撮像された車両前方画像は、常時、カメラコントローラ１１を介し処理部２０（特定手段２１ａ）に入力され、特定手段２１ａによって、その車両前方画像中におけるカーブミラーの有無が調べられる（ステップＳ１１）。
【００４２】
特定手段２１ａによって車両前方画像中にカーブミラー１００の存在する領域Ａ（図２参照）が特定されると（ステップＳ１１のＹＥＳルート）、特定手段２１ａの特定結果に基づき、カメラコントローラ１１によって第２カメラ１０ｂがカーブミラー１００の方向に向けられ（ステップＳ１２）、さらに、カメラコントローラ１１によって第２カメラ１０ｂをカーブミラー１００にズームし（ステップＳ１３）、第２カメラによって、カーブミラー１００のズーム画像（図３参照）を撮像・取得する（ステップＳ１４）。
【００４３】
この後、ミラー内画像取得手段２１ｂの取付角度算出手段としての機能により、カーブミラー１００の取付角度が算出される（ステップＳ１５）。その際、ステップＳ１４で取得されたズーム画像中のカーブミラー１００の形状と、データベース３０に登録されている正視形状とに基づいて、カーブミラー１００をどの角度から見たズーム画像であるか、つまり、カーブミラー１００の取付角度として、俯角と、自車進行方向に対するミラー１００の角度とが算出される。
【００４４】
一方、ミラー内画像取得手段２１ｂによって、ステップＳ１４で取得されたズーム画像から、例えば図３の領域Ａ２で示すミラー内画像が取得されると（ステップＳ１６）、画像変換手段２１ｃによって、ステップＳ１６で取得されたミラー内画像（図３の領域Ａ２参照）が、座標変換され、斜めから見た状態から、正面から見た状態（正視画像）に変換される（ステップＳ１７）。
【００４５】
そして、画像歪み補正手段２１ｄによって、ステップＳ１７で得られた正視画像を平面鏡の画像に座標変換することにより、その正視画像に対しミラー周辺部の画像歪み補正が施され、ミラー内画像のミラー周辺部に生じている、カーブミラー１００が凸面鏡であることに起因する歪みが除去される（ステップＳ１８）。
【００４６】
ステップＳ１８で得られた補正後正視画像は、表示制御部２３ａによって、ディスプレイ４０に表示され、運転者に対して提示される（ステップＳ１９）。これにより、運転者に対し、カーブミラー１００に映った鏡像が平面鏡のように見やすく表示されることになる。
【００４７】
さらに、接近物体認識手段２２ａによって、例えばテンプレートマッチング，ニューロなどの形状認識手法や移動物体認識手法を用い、ステップＳ１８で得られた補正後正視画像（変換画像）から、車両，バイク，歩行者などの接近物体１０１（図４参照）が認識される（ステップＳ２０）。ここで、接近物体１０１が認識されない場合には、例えばステップＳ１１の処理に戻り上述と同様の処理を繰り返す。
【００４８】
ステップＳ２０で接近物体１０１が認識されると、危険度算出手段２２ｂによって、ステップＳ１８で得られた補正後正視画像のＹ軸座標に基づき、接近物体１０１とカーブミラー１００との距離ｄ１が算出されるとともに、その接近物体１０１の速度ｖ１が、距離ｄ１の時間微分値として算出される（ステップＳ２１）。
【００４９】
また、危険度算出手段２２ｂによって、第１カメラ１０ａで撮像された車両前方画像のＹ軸座標に基づき、自車とカーブミラー１００との距離ｄ２が算出されるとともに、自車の走行速度ｖ２が自車の速度センサによって得られる（ステップＳ２２）。
【００５０】
この後、危険度算出手段２２ｂによって、自車と接近物体１０１との現在の距離Ｄ（＝ｄ１＋ｄ２）および接近速度Ｖ（＝ｖ１＋ｖ２）が、データベース３０における上記基準情報(a4)に照らし合わされ、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかが衝突可能性として算出・判定される（ステップＳ２３）
【００５１】
そして、制御手段２２ｃによって、ステップＳ２３で算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動／操舵／エンジン制御による危険回避制御が実行される（ステップＳ２４〜Ｓ３２）。
【００５２】
つまり、危険度レベル(b5)「衝突不可避」の場合（ステップＳ２４のＹＥＳルート）、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御（介入制御）が行なわれる。具体的には、制御動作(c5)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する警報が行なわれるとともに、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御が行なわれ衝突回避制御（介入制御）が強制的に行なわれる（ステップＳ２５）。
【００５３】
危険度レベル(b4)「危険臨界」の場合（ステップＳ２４のＮＯルートおよびステップＳ２６のＹＥＳルート）、緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報が行なわれる。具体的には、制御動作(c4)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する警報が行なわれる（ステップＳ２７）。このとき、警報と同時に、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって、衝突回避制御（介入制御）を行なってもよい。
【００５４】
危険度レベル(b3)「危険状態」の場合（ステップＳ２６のＮＯルートおよびステップＳ２８のＹＥＳルート）、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起が行なわれる。具体的には、制御動作(c3)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する注意喚起が行なわれる（ステップＳ２９）。このときも、注意喚起と同時に、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって、衝突回避制御（介入制御）を行なってもよい。
【００５５】
危険度レベル(b2)「危険移行過程」の場合（ステップＳ２８のＮＯルートおよびステップＳ３０のＹＥＳルート）、危険状態に移行しつつある状態であることを運転者に通知する情報提供が行なわれる。具体的には、制御動作(c2)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する情報提供が行なわれる（ステップＳ３１）。
【００５６】
危険度レベル(b1)「危険性なし」の場合（ステップＳ３０のＮＯルート）、直前までステップＳ２５，Ｓ２７，Ｓ２９，Ｓ３１のいずれかの衝突回避処理を実行していれば、その衝突回避処理を解除してから（ステップＳ３２）、ステップＳ１１の処理に戻る一方、直前に衝突回避処理を行なっていないければ、何ら制御動作を行なうことなくステップＳ１１の処理に戻る。
【００５７】
なお、図６に示す例では、迅速性を要求される危険度レベルの高い場合についての判定および衝突回避処理を優先的に行なっている。
【００５８】
〔３〕本実施形態の効果
このように、本発明の一実施形態としての車両運転支援装置１によれば、車両前方画像からカーブミラー１００が特定されると、そのカーブミラー１００のミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像がディスプレイ４０によって運転者に対して表示される。これにより、運転者に対し、カーブミラー１００に映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラー１００に映る接近物体１０１との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。
【００５９】
また、補正後正視画像から接近物体１０１が認識されると、補正後正視画像と車両前方画像とに基づき、自車と接近物体１０１との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは自車の制動／操舵／エンジン制御による危険回避制御（衝突回避制御）が行なわれる。このように画像認識処理を行なって接近物体１０１の検知が容易に行なわれる。従って、カーブミラー１００内における接近物体１０１を自動的に認識し、運転者に対する警報や、運転者の意思に関係なく強制的な車両制御（危険回避制御／衝突回避制御）が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。
【００６０】
さらに、ミラー内画像取得手段としての第２カメラ１０ｂがズーミング機能を有する場合、走行に伴って自車がカーブミラー１００に近づいても第２カメラ１０ｂによって撮像されるズーム画像上でカーブミラー１００が常に同じ大きさになるように、カメラコントローラ１１が第２カメラ１０ｂのズーム倍率を自動的に調整することにより、認識エンジン（画像認識処理部２１）側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
【００６１】
〔４〕本実施形態の変形例
上述した実施形態では、車両前方を広く撮像して車両前方画像を取得する第１カメラ１０ａと、第１カメラ１０ａに比べ視野は狭いが高解像度の第２カメラ１０ｂとの２台のカメラをそなえた場合について説明したが、以下のように、１台のカメラによっても上述と同様の作用効果を得ることが可能である。
【００６２】
例えば、撮像手段としての第１カメラ１０ａがズーミング機能を有するものであれば、このズーミング機能によってカーブミラー１００のズーム画像を取得することが可能であり、このズーミング機能を有する第１カメラ１０ａによって、カーブミラー１００におけるミラー内画像を取得することできる。このとき、カメラコントローラ１１によって第１カメラ１０ａのズーミング機能が制御され、カーブミラー１００が第１カメラ１０ａによって捕捉追従される。この場合、ズーミング機能を用いるため、第２カメラ１０ｂが不要となるだけでなく、第１カメラ１０ａとして高解像度のものを用いる必要もなくなり、装置コストを大幅に削減することができる。
【００６３】
また、撮像手段としての第１カメラ１０ａが、上述のようにズーミング機能を有する場合、走行に伴って自車がカーブミラー１００に近づいても第１カメラ１０ａによって撮像されるズーム画像上でカーブミラー１００が常に同じ大きさになるように、第１カメラ１０ａのズーム倍率を自動的に調整する機能（カメラコントローラ１１によって実現可能）をそなえる。このような機能をそなえることにより、認識エンジン（画像認識処理部２１）側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
【００６４】
さらに、車両前方画像を撮像する撮像手段としての第１カメラ１０ａを、上述した第２カメラ１０ｂと同程度に高解像度のものとして構成した場合、第２カメラ１０ｂを不要にすることができるほか、一つの高解像度の車両前方画像から、同時に２以上のカーブミラーのミラー内画像を取得し、その２以上のミラー内画像に対する画像変換処理や画像歪み補正を行なうことができる。
【００６５】
〔５〕その他
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態では、カーブミラー１００の形状が矩形である場合について説明しているが、本発明は、これに限定されるものではなく、予め規格化されているカーブミラーであれば、その形状は矩形に限定されるものではなく円形やその他の形であってもよく、いずれの場合も、上述した実施形態と同様の作用効果を得られることはいうまでもない。また、上述した実施形態では、危険度レベルが(b1)〜(b5)の５段階である場合について説明したが、このような５段階に限定されるものではない。
【００６６】
また、上述した画像認識処理部２１（特定手段２１ａ，ミラー内画像取得手段２１ｂ，画像変換手段２１ｃおよび画像歪み補正手段２１ｄ），判断処理部２２（接近物体認識手段２２ａ，危険度算出手段２２ｂおよび制御手段２２ｃ）および出力制御系２３（表示制御部２３ａ，警報制御部２３ｂ，制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅ）としての機能（全部もしくは一部の機能）は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が所定のアプリケーションプログラム（車両運転支援プログラム）を実行することによって実現される。
【００６７】
そのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷなど），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋Ｒ，ＤＶＤ＋ＲＷなど），ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体から車両運転支援プログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００６８】
ここで、コンピュータとは、ハードウエアとＯＳ（オペレーティングシステム）とを含む概念であり、ＯＳの制御の下で動作するハードウエアを意味している。また、ＯＳが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウエアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえている。上記車両運転支援プログラムとしてのアプリケーションプログラムは、上述のようなコンピュータに、上述した画像認識処理部２１，判断処理部２２および出力制御系２３としての機能を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくＯＳによって実現されてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態としての車両運転支援装置の機能構成を示すブロック図である。
【図２】本実施形態の第１カメラで撮像された車両前方画像の一例を示す図である。
【図３】本実施形態の第２カメラで撮像されたカーブミラーのズーム画像の一例を示す図である。
【図４】本実施形態においてディスプレイに表示される歪み補正後正視画像の一例を示す図である。
【図５】本実施形態における危険度に応じた警報／制御態様（アクション）を定義するテーブルの一例を示す図である。
【図６】図１に示す車両運転支援装置の動作について説明するためのフローチャートである。
【図７】一般的なカーブミラー（コーナーミラー）の設置状況を説明するための図である。
【符号の説明】
【００７０】
１ 車両運転支援装置
１０ａ 第１カメラ（撮像手段）
１０ｂ 第２カメラ（ミラー内画像取得手段）
１１ カメラコントローラ（ミラー内画像取得手段）
２０ 処理部（ＣＰＵ）
２１ 画像認識処理部
２１ａ 特定手段
２１ｂ ミラー内画像取得手段（取付角度算出手段）
２１ｃ 画像変換手段
２１ｄ 画像歪み補正手段
２２ 判断処理部
２２ａ 接近物体認識手段（認識手段）
２２ｂ 危険度算出手段
２２ｃ 制御手段
２３ 出力制御系
２３ａ 表示制御部
２３ｂ 警報制御部
２３ｃ 制動制御部
２３ｄ 操舵制御部
２３ｅ エンジン制御部
３０ データベース
４０ ディスプレイ（表示手段）
５１ ＬＥＤランプ
５２ スピーカ
６１ ブレーキ
６２ 操舵系
６３ エンジン
１００ カーブミラー（コーナーミラー）
１０１ 接近物体（車両）
【技術分野】
【０００１】
本発明は、車両運転者の運転を支援する車両運転支援装置に関する。
【背景技術】
【０００２】
一般に、道路の交差点やカーブなどには、例えば図７に示すように、カーブミラー（コーナーミラー）１００が設置されている。自動車等の車両の運転者は、そのカーブミラー１００に映る像を見て、歩行者，車両等の接近物体を視認すると、制動を掛けたりハンドル操作を行なったりして、交差点やカーブでの出合い頭の事故を未然に防止している。
【０００３】
このようなカーブミラー１００は、通常、凸面鏡であるため、広い視野角を有するが、ミラー中央部に映る像は小さく、運転者は、カーブミラー１００にかなり接近しなければ、カーブミラー１００内に映る接近物体を視認することが難しい。このため、運転者がカーブミラー１００に映る接近車両や歩行者を見落とし、出合い頭の事故に至るケースが少なくない。しかしながら、走行中の運転者に対しカーブミラー１００内に映った鏡像を見やすくするような技術は開発されていない。
【０００４】
なお、例えば、下記特許文献１には、広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換技術が開示されている。しかし、この技術は、あくまで広角レンズ画像の歪みを取り除くものであって、車両走行中に運転者によって視認されるべきカーブミラー内画像（凸面鏡像）に適用されるものではない。
【特許文献１】特開２００４−１９９３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような状況に鑑み創案されたもので、走行中の運転者に対しカーブミラー内に映った鏡像を見やすくしたり、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御を可能にしたりして、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の車両運転支援装置（請求項１）は、車両前方を撮像する撮像手段と、前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする。
【０００７】
また、本発明の車両運転支援装置（請求項２）は、上述した撮像手段，特定手段，ミラー内画像取得手段，画像変換手段および画像歪み補正手段をそなえるとともに、前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする。このような車両運転支援装置において、前記危険度算出手段は、前記車両前方画像から算出される前記カーブミラーの取付角度と前記補正後正視画像とに基づいて前記接近物体と前記カーブミラーとの距離を算出するとともに、前記車両前方画像に基づいて前記車両と前記カーブミラーとの距離を算出し、これらの距離に基づいて前記危険度を算出してもよい（請求項３）。
【発明の効果】
【０００８】
上述した本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像が運転者に対して表示される。これにより、運転者に対し、カーブミラーに映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラーに映る接近物体との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。
【０００９】
また、本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施される。そして、補正後正視画像から接近物体が認識されると、補正後正視画像と車両前方画像とに基づき、車両と接近物体との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは車両の制動もしくは車両の操舵による危険回避制御が行なわれる。このように画像認識処理を行なって接近物体の検知が容易に行なわれる。従って、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。
〔１〕本実施形態の構成
図１は本発明の一実施形態としての車両運転支援装置の機能構成を示すブロック図で、この図１に示す本実施形態の車両運転支援装置１は、自動車等の車両に装備され、車両運転者の運転を支援するものである。そして、本実施形態の車両運転支援装置１は、第１カメラ１０ａ，第２カメラ１０ｂ，カメラコントローラ１１，処理部２０，データベース３０，ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２をそなえ、ディスプレイ４０によるカーブミラー内画像表示や、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２を用いた運転者に対する警告や、ブレーキ６１，操舵系６２およびエンジン６３による車両制御を行なうものである。
【００１１】
なお、データベース３０には、(a1)後述するごとく車両前方画像からカーブミラーを認識して特定するために用いられるカーブミラーパターン（規格化されている複数種類のカーブミラーについての形状／サイズ）や、(a2)規格化されている複数種類のカーブミラーについての鏡面湾曲率に関する情報や、(a3)後述するごとく接近物体を認識するために用いられるテンプレートや、(a4)後述するごとく危険度を算出・判定するための基準情報や、(a5)後述するごとく危険度に応じた警報／制御態様（アクション）を定義するテーブル（図５参照）が、予め登録されている。
【００１２】
第１カメラ（撮像手段）１０ａは、車両走行中に、車両前方を広く撮像して車両前方画像（例えば図２参照）を取得するものである。この第１カメラ１０ａとしては、本車両運転支援装置専用のものを設けてもよいし、例えばドライブレコーダ用のカメラ等を兼用することも可能である。
第２カメラ１０ｂは、後述するごとくカーブミラー１００をズームして撮像するためのもので、第１カメラ１０ａに比べ視野は狭いが高解像度のものが用いられる。
【００１３】
カメラコントローラ（ミラー内画像取得手段）１１は、処理部２０と第１カメラ１０ａおよび第２カメラ１０ｂとの間に設けられ、これらの第１カメラ１０ａおよび第２カメラ１０ｂの撮像動作を制御するものである。特に、カメラコントローラ１１は、後述する特定手段２１ａやミラー内画像取得手段２１ｂでの処理結果に応じて、第２カメラ１０ｂを制御し、この第２カメラ１０ｂに、カーブミラー１００のズーム画像（例えば図３参照）を撮像させるものである。
【００１４】
処理部（ＣＰＵ）２０は、画像認識処理部２１，判断処理部２２および出力制御系２３としての機能を果たすものである。この処理部２０としては、本車両運転支援装置専用のものを設けてもよいし、例えば車両制御用ＣＰＵあるいはカーナビゲーションシステム用ＣＰＵなどを兼用することも可能である。
画像認識処理部２１は、特定手段２１ａ，ミラー内画像取得手段２１ｂ，画像変換手段２１ｃおよび画像歪み補正手段２１ｄとしての機能を有している。
【００１５】
特定手段２１ａは、第１カメラ１０ａによって撮像された車両前方画像からカーブミラー１００を認識して特定するものである。より具体的に、特定手段２１ａは、データベース３０に登録されたカーブミラーパターン(a1)を用いたパターンマッチング処理により、例えば図２に示すような車両前方画像の中からカーブミラー１００の存在する領域Ａ１を探索する。カーブミラー１００は、規格化されており形状もサイズも決まっているので、その形状やサイズの特徴からパターンマッチング処理によって容易に探索することができる。また、カーブミラー１００は、通常、目線よりも少し上に設置されているので、車両前方画像のうちの、目線よりも少し上の領域を対象にしてパターンマッチング処理を行なうことにより、迅速かつ効率的にカーブミラー１００を認識して特定することができる。なお、図２は本実施形態の第１カメラ１０ａで撮像された車両前方画像の一例を示す図である。
【００１６】
ミラー内画像取得手段２１ｂは、特定手段２１ａによって特定されたカーブミラー１００におけるミラー内画像を取得するものである。より具体的に、ミラー内画像取得手段２１ｂは、カメラコントローラ１１を介し、車両前方画像の中でカーブミラー１００の存在する領域Ａ１（図２参照）を、第２カメラ１０ｂによってズームして撮像させ、カーブミラー１００内に映る画像（ミラー内画像；図３の領域Ａ２内の画像）を取得する。なお、図３は本実施形態の第２カメラ１０ｂで撮像されたカーブミラー１００のズーム画像の一例を示す図である。
【００１７】
ここで、通常、自車（本車両運転支援装置１を装備された車両）はカーブミラー１００に接近しながら走行しているので、その走行状況に応じて、カメラコントローラ１１が、第２カメラ１０ｂによるズーム倍率を変えたり第２カメラ１０ｂの向きを調整したりする。また、第１カメラ１０ａの解像度が十分に高い場合には、第２カメラ１０ｂをそなえる必要はない。さらに、後述するように、第１カメラ１０ａがズーミング機能を有している場合にも、第２カメラ１０ｂをそなえることなく、第１カメラ１０ａのズーミング機能を用いてカーブミラー１００におけるミラー内画像を取得することが可能である。
【００１８】
また、本実施形態において、上述したミラー内画像取得手段２１ｂは、カーブミラー１００の取付角度を算出する取付角度算出手段としての機能も果たすものとする。つまり、ミラー内画像取得手段２１ｂは、図３に示すようなカーブミラー１００のズーム画像に基づき、そのカーブミラー１００の見た目の形状から、自車から見たカーブミラー１００の角度を算出する。前述した通り、カーブミラー１００は規格化されており、そのミラー１００を正面から見た時の形状（以下、「正視形状」という）やサイズは、カーブミラーの種類毎にデータベース３０に登録されている。従って、ミラー内画像取得手段２１ｂは、ズーム画像中のカーブミラー１００の形状と、データベース３０に登録されている正視形状とに基づいて、カーブミラー１００をどの角度から見たズーム画像であるか、つまり、カーブミラー１００の取付角度を算出することが可能である。このとき、取付角度としては、例えば、俯角（上下方向の取付角度；水平軸まわりの角度）と、自車進行方向に対するミラー１００の角度（左右方向の取付角度；鉛直軸まわりの角度）とが算出される。この取付角度は、後述する危険度算出手段２２ｂにおいてミラー内距離を算出する際に用いられる。
【００１９】
画像変換手段２１ｃは、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２参照）を正面から見た正視画像に変換するものである。より具体的に、画像変換手段２１ｃは、今回特定されたカーブミラー１００の正視形状をデータベース３０から取得し、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２内の画像）を、取得された正視形状の領域に写像するように、例えばアフィン変換による座標変換を行なう。この画像変換手段２１ｃにより、ミラー内画像取得手段２１ｂによって取得されたミラー内画像（図３の領域Ａ２参照）が、斜めから見た状態から、正面から見た状態（正視画像）に変換されることになる。
【００２０】
画像歪み補正手段２１ｄは、画像変換手段２１ｃによって得られた正視画像に対しミラー周辺部の画像歪み補正を行なうものである。画像変換手段２１ｃによって得られた正視画像は、カーブミラー１００を正面から見た状態になっているが、その画像のミラー周辺部には、カーブミラー１００が凸面鏡であることに起因する歪みが生じている。この画像歪補正手段２１ｄは、このような歪を取り除く補正を、画像変換手段２１ｃによって得られた正視画像に対して行なうものである。
【００２１】
その補正手法としては、例えば、高辻誠也ほか「グレイコードパターンを利用したレンズ歪みの補正手法」 (ＵＲＬ： http://www.am.sanken.osaka-u.ac.jp/~echigo/miru2005.pdf#search='グレイコードパターンを利用したレンズ歪みの補正手法') や、関海克ほか「デジタルカメラにおける画像補正技術」 (Ricoh Technical Report No.31, pp.103-110, DECEMBER, 2005) などに開示された画像変換技術（画像補正技術）を用いることができる。また、上記補正に際しては、画像歪み補正手段２１ｄは、データベース３０に登録された、当該カーブミラー１００に対応する種類のカーブミラーの鏡面湾曲率(a2)を読み出して用いることができる。
【００２２】
この画像歪み補正手段２１ｄにより、凸面鏡であることに起因するミラー周辺部の歪みが補正され、カーブミラー１００に映った画像が、平面鏡に映したような見やすい画像（例えば図４参照）に座標変換されることになる。なお、図４は本実施形態においてディスプレイ４０に表示される歪み補正後正視画像の一例を示す図であり、この図４に示すように、画像歪み補正手段２１ｄによって得られた補正後正視画像は、後述する出力制御系２３の表示制御部２３ａによってディスプレイ（表示手段）４０に表示される。
【００２３】
判断処理部２２は、接近物体認識手段２２ａ，危険度算出手段２２ｂおよび制御手段２２ｃとしての機能を有している。
接近物体認識手段（認識手段）２２ａは、画像歪み補正手段２１ｄによって得られた補正後正視画像から、車両，バイク，歩行者などの接近物体１０１（図４参照）を認識するものである。この接近物体認識手段２２ａは、既存の種々の物体認識手法、例えば、テンプレートマッチング（データベース３０に予め登録されたテンプレート(a3)を用いたマッチング処理），ニューロなどの形状認識手法や移動物体認識手法を用いて、カーブミラー１００に映る補正後正視画像から接近物体１０１を認識する。ここで適用される認識手法としては、車両前方を撮像するカメラによって得られた画像から移動物体（車らしき形状）を認識する技術として一般的に知られているものを用いることができる。
【００２４】
危険度算出手段２２ｂは、画像歪み補正手段２１ｄによって得られた補正後正視画像と第１カメラ１０ａによって撮像された車両前方画像とに基づき、自車と接近物体認識手段２２ａによって認識された接近物体１０１との衝突可能性を危険度として算出するものである。より具体的に、危険度算出手段２２ｂは、車両前方画像から算出されるカーブミラー１００の取付角度（ミラー内画像取得手段２１ｂの機能によって算出された取付角度）と補正後正視画像とに基づいて接近物体１０１とカーブミラー１００との距離ｄ１を算出するとともに、車両前方画像に基づいて自車とカーブミラー１００との距離ｄ２を算出し、これらの距離ｄ１，ｄ２に基づいて危険度の算出（危険度レベルの判定）を行なう。
【００２５】
ここで、自車とカーブミラー１００との距離ｄ２は、第１カメラ１０ａの取付位置や指向方向が判明していれば、図２に示すように、第１カメラ１０ａによって撮像された車両前方画像のＹ軸座標から算出することが可能である。第１カメラ１０ａの取付位置や指向方向は、通常、既知の値として提供される。また、第１カメラ１０ａとしてステレオカメラを用いている場合には、視差（視野角）によって自車とカーブミラー１００との距離ｄ２を算出することも可能である。
【００２６】
また、接近物体１０１とカーブミラー１００との距離ｄ１は、カーブミラー１００の取付角度が判明していれば、図４に示すように、画像歪み補正手段２１ｄによって得られた補正後正視画像のＹ軸座標から算出することが可能である。カーブミラー１００の取付角度は、上述したように、ミラー内画像取得手段２１ｂの取付角度算出機能によって算出される。そして、距離ｄ１の時間微分値が、接近物体１０１の接近速度ｖ１となる。
【００２７】
危険度算出手段２２ｂは、上述のごとく算出された距離ｄ１，ｄ２，接近速度ｖ１および自車の速度ｖ２（例えば速度センサから得られる値）に基づき、衝突の危険性（可能性）について、例えば下記のような５段階の危険度レベル(b1)〜(b5)での判定を行なう。
危険度レベル(b1)：危険性なし
危険度レベル(b2)：危険移行過程（危険状態に移行しつつある状態）
危険度レベル(b3)：危険状態（そのまま何もせずに走ると衝突に至る状態）
危険度レベル(b4)：危険臨界（緊急に回避行動をしないと衝突に至る状態）
危険度レベル(b5)：衝突不可避（物理的に衝突回避は不可能な状態）
【００２８】
ここで、距離ｄ１，ｄ２，接近速度ｖ１および自車の速度ｖ２と、上記５段階の危険度レベル(b1)〜(b5)との対応関係は、データベース３０に基準情報(a4)として予め登録されている。実際には、自車と接近物体１０１との距離Ｄ（＝ｄ１＋ｄ２）、および、自車に対する接近物体１０１の接近速度Ｖ（＝ｖ１＋ｖ２）と、上記５段階の危険度レベル(b1)〜(b5)との対応関係が、基準情報(a4)として予め登録されている。
【００２９】
危険度算出手段２２ｂは、自車と接近物体１０１との現在の距離Ｄおよび接近速度Ｖを、上記基準情報(a4)に照らし、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかを算出・判定する。例えば、距離Ｄが所定値以上で且つ速度Ｖが十分に遅い場合（例えば距離Ｄが５０ｍ以上で速度Ｖが１０km/h以下）には、危険度レベル(b1)「危険性なし」と判定する。また、距離Ｄが所定値未満で且つ速度Ｖが速い場合（例えば距離Ｄが５０ｍ未満で速度Ｖが６０km/h以上；この場合５秒以内に衝突）には、危険度レベル(b5)「衝突不可避」と判定する。このように基準情報(a4)を距離Ｄおよび接近速度Ｖについて段階的に適宜設定しておくことにより、危険度算出手段２２ｂは、距離Ｄおよび接近速度Ｖに基づく危険度レベルの算出・判定を行なうことが可能になっている。
【００３０】
制御手段２２ｃは、危険度算出手段２２ｂによって算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動／操舵／エンジン制御による危険回避制御を行なうものである。上述した５段階の危険度レベル(b1)〜(b5)と各危険度レベルに応じた警報／制御態様（アクション）との対応関係は、データベース３０に、図５に示すようなテーブル(a5)として予め登録されている。制御手段２２ｃは、そのテーブル(a5)を参照し、危険度算出手段２２ｂで得られた危険度レベルに応じた警報／制御態様（アクション）を認識し、認識した警報／制御態様（アクション）を、出力制御系２３を介して実行させる。なお、図５は本実施形態における危険度に応じた警報／制御態様（アクション）を定義するテーブル(a5)の一例を示す図である。
【００３１】
図５に示すテーブル(a5)の定義によれば、制御手段２２ｃは、危険度レベル(b1)〜(b5)に応じて、例えば、以下のような制御動作(c1)〜(c5)を行なうようになっている。なお、図５に示すテーブル(a5)において、◎は必須アクションであることを示し、△は必要に応じて行なってもよいアクションであることを示している。
【００３２】
(c1) 危険度レベル(b1)「危険性なし」の場合、何ら制御動作を行なわない。
(c2) 危険度レベル(b2)「危険移行過程」の場合、危険状態に移行しつつある状態であることを運転者に通知する情報提供を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって危険状態に移行しつつある状態である旨を表示させる制御を行ない、運転者に対する情報提供を行なうとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記情報提供を行なう。
【００３３】
(c3) 危険度レベル(b3)「危険状態」の場合、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって上記注意喚起の表示を行なわせるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記注意喚起を行なう。このときのＬＥＤランプ５１やスピーカ５２による注意喚起動作は、上記情報提供時よりも緊急度（危険度）が高いことが運転者に対して明確になるように、例えばＬＥＤランプ５１の点滅間隔やスピーカ５２によるビープ音鳴動間隔を上記情報提供時よりも短くする。また、必要に応じて、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を行なってもよい。
【００３４】
(c4) 危険度レベル(b4)「危険臨界」の場合に緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって上記警報の表示を行なわせるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。このときのＬＥＤランプ５１やスピーカ５２による警報動作は、上記注意喚起時よりも緊急度（危険度）が高いことが運転者に対して明確になるように、例えばＬＥＤランプ５１の点滅間隔やスピーカ５２によるビープ音鳴動間隔を上記注意喚起時よりもさらに短くする。また、この時も、必要に応じて、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を行なってもよい。
【００３５】
(c5) 危険度レベル(b5)「衝突不可避」の場合、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御（介入制御）を行なう。具体的に、制御手段２２ｃは、出力制御系系２３の表示制御部２３ａを介し、ディスプレイ４０によって衝突不可避状態であることを示す警報を出力させるとともに、出力制御系２３の警報制御部２３ｂを介しＬＥＤランプ５１の色／点滅／点灯制御を行なったりスピーカ５２からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。この警報制御と同時に、制御手段２２ｃは、出力制御系２３の制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅを介し、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって衝突回避制御（介入制御）を強制的に行なう。
【００３６】
なお、出力制御系２３は、表示制御部２３ａ，警報制御部２３ｂ，制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅとしての機能を有している。
表示制御部２３ａは、ディスプレイ（表示手段）４０の表示状態を制御するもので、画像歪み補正手段２１ｄによって得られた補正後正視画像を、運転者に対して提示すべく、ディスプレイ４０に表示させる機能を有するほか、上記制御動作(c2)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ディスプレイ４０の表示制御を行なう機能を有している。
【００３７】
警報制御部２３ｂは、ＬＥＤランプ５１およびスピーカ５２の動作を制御するもので、上記制御動作(c2)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ＬＥＤランプ５１およびスピーカ５２の動作制御を行なう機能を有している。
【００３８】
制動制御部２３ｃは、ブレーキ６１による制動を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、ブレーキ６１の制動制御（衝突回避のための介入制御）を行なう機能を有している。
【００３９】
操舵制御部２３ｄは、操舵系６２による操舵を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、操舵系６２による操舵制御（衝突回避のための介入制御）を行なう機能を有している。
【００４０】
エンジン制御部２３ｅは、エンジン６３の動作を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段２２ｃからの指示に応じた、エンジン６３の動作制御（衝突回避のための介入制御）を行なう機能を有している。
【００４１】
〔２〕本実施形態の動作
次に、図６に示すフローチャート（ステップＳ１１〜Ｓ３２）に従って、上述のごとく構成された本実施形態の車両運転支援装置１の動作について説明する。
自車の走行中、第１カメラ１０ａによって撮像された車両前方画像は、常時、カメラコントローラ１１を介し処理部２０（特定手段２１ａ）に入力され、特定手段２１ａによって、その車両前方画像中におけるカーブミラーの有無が調べられる（ステップＳ１１）。
【００４２】
特定手段２１ａによって車両前方画像中にカーブミラー１００の存在する領域Ａ（図２参照）が特定されると（ステップＳ１１のＹＥＳルート）、特定手段２１ａの特定結果に基づき、カメラコントローラ１１によって第２カメラ１０ｂがカーブミラー１００の方向に向けられ（ステップＳ１２）、さらに、カメラコントローラ１１によって第２カメラ１０ｂをカーブミラー１００にズームし（ステップＳ１３）、第２カメラによって、カーブミラー１００のズーム画像（図３参照）を撮像・取得する（ステップＳ１４）。
【００４３】
この後、ミラー内画像取得手段２１ｂの取付角度算出手段としての機能により、カーブミラー１００の取付角度が算出される（ステップＳ１５）。その際、ステップＳ１４で取得されたズーム画像中のカーブミラー１００の形状と、データベース３０に登録されている正視形状とに基づいて、カーブミラー１００をどの角度から見たズーム画像であるか、つまり、カーブミラー１００の取付角度として、俯角と、自車進行方向に対するミラー１００の角度とが算出される。
【００４４】
一方、ミラー内画像取得手段２１ｂによって、ステップＳ１４で取得されたズーム画像から、例えば図３の領域Ａ２で示すミラー内画像が取得されると（ステップＳ１６）、画像変換手段２１ｃによって、ステップＳ１６で取得されたミラー内画像（図３の領域Ａ２参照）が、座標変換され、斜めから見た状態から、正面から見た状態（正視画像）に変換される（ステップＳ１７）。
【００４５】
そして、画像歪み補正手段２１ｄによって、ステップＳ１７で得られた正視画像を平面鏡の画像に座標変換することにより、その正視画像に対しミラー周辺部の画像歪み補正が施され、ミラー内画像のミラー周辺部に生じている、カーブミラー１００が凸面鏡であることに起因する歪みが除去される（ステップＳ１８）。
【００４６】
ステップＳ１８で得られた補正後正視画像は、表示制御部２３ａによって、ディスプレイ４０に表示され、運転者に対して提示される（ステップＳ１９）。これにより、運転者に対し、カーブミラー１００に映った鏡像が平面鏡のように見やすく表示されることになる。
【００４７】
さらに、接近物体認識手段２２ａによって、例えばテンプレートマッチング，ニューロなどの形状認識手法や移動物体認識手法を用い、ステップＳ１８で得られた補正後正視画像（変換画像）から、車両，バイク，歩行者などの接近物体１０１（図４参照）が認識される（ステップＳ２０）。ここで、接近物体１０１が認識されない場合には、例えばステップＳ１１の処理に戻り上述と同様の処理を繰り返す。
【００４８】
ステップＳ２０で接近物体１０１が認識されると、危険度算出手段２２ｂによって、ステップＳ１８で得られた補正後正視画像のＹ軸座標に基づき、接近物体１０１とカーブミラー１００との距離ｄ１が算出されるとともに、その接近物体１０１の速度ｖ１が、距離ｄ１の時間微分値として算出される（ステップＳ２１）。
【００４９】
また、危険度算出手段２２ｂによって、第１カメラ１０ａで撮像された車両前方画像のＹ軸座標に基づき、自車とカーブミラー１００との距離ｄ２が算出されるとともに、自車の走行速度ｖ２が自車の速度センサによって得られる（ステップＳ２２）。
【００５０】
この後、危険度算出手段２２ｂによって、自車と接近物体１０１との現在の距離Ｄ（＝ｄ１＋ｄ２）および接近速度Ｖ（＝ｖ１＋ｖ２）が、データベース３０における上記基準情報(a4)に照らし合わされ、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかが衝突可能性として算出・判定される（ステップＳ２３）
【００５１】
そして、制御手段２２ｃによって、ステップＳ２３で算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動／操舵／エンジン制御による危険回避制御が実行される（ステップＳ２４〜Ｓ３２）。
【００５２】
つまり、危険度レベル(b5)「衝突不可避」の場合（ステップＳ２４のＹＥＳルート）、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御（介入制御）が行なわれる。具体的には、制御動作(c5)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する警報が行なわれるとともに、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御が行なわれ衝突回避制御（介入制御）が強制的に行なわれる（ステップＳ２５）。
【００５３】
危険度レベル(b4)「危険臨界」の場合（ステップＳ２４のＮＯルートおよびステップＳ２６のＹＥＳルート）、緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報が行なわれる。具体的には、制御動作(c4)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する警報が行なわれる（ステップＳ２７）。このとき、警報と同時に、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって、衝突回避制御（介入制御）を行なってもよい。
【００５４】
危険度レベル(b3)「危険状態」の場合（ステップＳ２６のＮＯルートおよびステップＳ２８のＹＥＳルート）、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起が行なわれる。具体的には、制御動作(c3)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する注意喚起が行なわれる（ステップＳ２９）。このときも、注意喚起と同時に、ブレーキ６１の制動制御や操舵系６２の操舵制御やエンジン６３の動作制御を行なって、衝突回避制御（介入制御）を行なってもよい。
【００５５】
危険度レベル(b2)「危険移行過程」の場合（ステップＳ２８のＮＯルートおよびステップＳ３０のＹＥＳルート）、危険状態に移行しつつある状態であることを運転者に通知する情報提供が行なわれる。具体的には、制御動作(c2)として上述したように、ディスプレイ４０，ＬＥＤランプ５１およびスピーカ５２による、運転者に対する情報提供が行なわれる（ステップＳ３１）。
【００５６】
危険度レベル(b1)「危険性なし」の場合（ステップＳ３０のＮＯルート）、直前までステップＳ２５，Ｓ２７，Ｓ２９，Ｓ３１のいずれかの衝突回避処理を実行していれば、その衝突回避処理を解除してから（ステップＳ３２）、ステップＳ１１の処理に戻る一方、直前に衝突回避処理を行なっていないければ、何ら制御動作を行なうことなくステップＳ１１の処理に戻る。
【００５７】
なお、図６に示す例では、迅速性を要求される危険度レベルの高い場合についての判定および衝突回避処理を優先的に行なっている。
【００５８】
〔３〕本実施形態の効果
このように、本発明の一実施形態としての車両運転支援装置１によれば、車両前方画像からカーブミラー１００が特定されると、そのカーブミラー１００のミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像がディスプレイ４０によって運転者に対して表示される。これにより、運転者に対し、カーブミラー１００に映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラー１００に映る接近物体１０１との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。
【００５９】
また、補正後正視画像から接近物体１０１が認識されると、補正後正視画像と車両前方画像とに基づき、自車と接近物体１０１との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは自車の制動／操舵／エンジン制御による危険回避制御（衝突回避制御）が行なわれる。このように画像認識処理を行なって接近物体１０１の検知が容易に行なわれる。従って、カーブミラー１００内における接近物体１０１を自動的に認識し、運転者に対する警報や、運転者の意思に関係なく強制的な車両制御（危険回避制御／衝突回避制御）が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。
【００６０】
さらに、ミラー内画像取得手段としての第２カメラ１０ｂがズーミング機能を有する場合、走行に伴って自車がカーブミラー１００に近づいても第２カメラ１０ｂによって撮像されるズーム画像上でカーブミラー１００が常に同じ大きさになるように、カメラコントローラ１１が第２カメラ１０ｂのズーム倍率を自動的に調整することにより、認識エンジン（画像認識処理部２１）側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
【００６１】
〔４〕本実施形態の変形例
上述した実施形態では、車両前方を広く撮像して車両前方画像を取得する第１カメラ１０ａと、第１カメラ１０ａに比べ視野は狭いが高解像度の第２カメラ１０ｂとの２台のカメラをそなえた場合について説明したが、以下のように、１台のカメラによっても上述と同様の作用効果を得ることが可能である。
【００６２】
例えば、撮像手段としての第１カメラ１０ａがズーミング機能を有するものであれば、このズーミング機能によってカーブミラー１００のズーム画像を取得することが可能であり、このズーミング機能を有する第１カメラ１０ａによって、カーブミラー１００におけるミラー内画像を取得することできる。このとき、カメラコントローラ１１によって第１カメラ１０ａのズーミング機能が制御され、カーブミラー１００が第１カメラ１０ａによって捕捉追従される。この場合、ズーミング機能を用いるため、第２カメラ１０ｂが不要となるだけでなく、第１カメラ１０ａとして高解像度のものを用いる必要もなくなり、装置コストを大幅に削減することができる。
【００６３】
また、撮像手段としての第１カメラ１０ａが、上述のようにズーミング機能を有する場合、走行に伴って自車がカーブミラー１００に近づいても第１カメラ１０ａによって撮像されるズーム画像上でカーブミラー１００が常に同じ大きさになるように、第１カメラ１０ａのズーム倍率を自動的に調整する機能（カメラコントローラ１１によって実現可能）をそなえる。このような機能をそなえることにより、認識エンジン（画像認識処理部２１）側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
【００６４】
さらに、車両前方画像を撮像する撮像手段としての第１カメラ１０ａを、上述した第２カメラ１０ｂと同程度に高解像度のものとして構成した場合、第２カメラ１０ｂを不要にすることができるほか、一つの高解像度の車両前方画像から、同時に２以上のカーブミラーのミラー内画像を取得し、その２以上のミラー内画像に対する画像変換処理や画像歪み補正を行なうことができる。
【００６５】
〔５〕その他
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態では、カーブミラー１００の形状が矩形である場合について説明しているが、本発明は、これに限定されるものではなく、予め規格化されているカーブミラーであれば、その形状は矩形に限定されるものではなく円形やその他の形であってもよく、いずれの場合も、上述した実施形態と同様の作用効果を得られることはいうまでもない。また、上述した実施形態では、危険度レベルが(b1)〜(b5)の５段階である場合について説明したが、このような５段階に限定されるものではない。
【００６６】
また、上述した画像認識処理部２１（特定手段２１ａ，ミラー内画像取得手段２１ｂ，画像変換手段２１ｃおよび画像歪み補正手段２１ｄ），判断処理部２２（接近物体認識手段２２ａ，危険度算出手段２２ｂおよび制御手段２２ｃ）および出力制御系２３（表示制御部２３ａ，警報制御部２３ｂ，制動制御部２３ｃ，操舵制御部２３ｄおよびエンジン制御部２３ｅ）としての機能（全部もしくは一部の機能）は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が所定のアプリケーションプログラム（車両運転支援プログラム）を実行することによって実現される。
【００６７】
そのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷなど），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋Ｒ，ＤＶＤ＋ＲＷなど），ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体から車両運転支援プログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００６８】
ここで、コンピュータとは、ハードウエアとＯＳ（オペレーティングシステム）とを含む概念であり、ＯＳの制御の下で動作するハードウエアを意味している。また、ＯＳが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウエアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえている。上記車両運転支援プログラムとしてのアプリケーションプログラムは、上述のようなコンピュータに、上述した画像認識処理部２１，判断処理部２２および出力制御系２３としての機能を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくＯＳによって実現されてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態としての車両運転支援装置の機能構成を示すブロック図である。
【図２】本実施形態の第１カメラで撮像された車両前方画像の一例を示す図である。
【図３】本実施形態の第２カメラで撮像されたカーブミラーのズーム画像の一例を示す図である。
【図４】本実施形態においてディスプレイに表示される歪み補正後正視画像の一例を示す図である。
【図５】本実施形態における危険度に応じた警報／制御態様（アクション）を定義するテーブルの一例を示す図である。
【図６】図１に示す車両運転支援装置の動作について説明するためのフローチャートである。
【図７】一般的なカーブミラー（コーナーミラー）の設置状況を説明するための図である。
【符号の説明】
【００７０】
１ 車両運転支援装置
１０ａ 第１カメラ（撮像手段）
１０ｂ 第２カメラ（ミラー内画像取得手段）
１１ カメラコントローラ（ミラー内画像取得手段）
２０ 処理部（ＣＰＵ）
２１ 画像認識処理部
２１ａ 特定手段
２１ｂ ミラー内画像取得手段（取付角度算出手段）
２１ｃ 画像変換手段
２１ｄ 画像歪み補正手段
２２ 判断処理部
２２ａ 接近物体認識手段（認識手段）
２２ｂ 危険度算出手段
２２ｃ 制御手段
２３ 出力制御系
２３ａ 表示制御部
２３ｂ 警報制御部
２３ｃ 制動制御部
２３ｄ 操舵制御部
２３ｅ エンジン制御部
３０ データベース
４０ ディスプレイ（表示手段）
５１ ＬＥＤランプ
５２ スピーカ
６１ ブレーキ
６２ 操舵系
６３ エンジン
１００ カーブミラー（コーナーミラー）
１０１ 接近物体（車両）
【特許請求の範囲】
【請求項１】
車両前方を撮像する撮像手段と、
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする、車両運転支援装置。
【請求項２】
車両前方を撮像する撮像手段と、
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、
前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、
前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする、車両運転支援装置。
【請求項３】
前記危険度算出手段は、前記車両前方画像から算出される前記カーブミラーの取付角度と前記補正後正視画像とに基づいて前記接近物体と前記カーブミラーとの距離を算出するとともに、前記車両前方画像に基づいて前記車両と前記カーブミラーとの距離を算出し、これらの距離に基づいて前記危険度を算出することを特徴とする、請求項２記載の車両運転支援装置。
【請求項１】
車両前方を撮像する撮像手段と、
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする、車両運転支援装置。
【請求項２】
車両前方を撮像する撮像手段と、
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、
前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、
前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする、車両運転支援装置。
【請求項３】
前記危険度算出手段は、前記車両前方画像から算出される前記カーブミラーの取付角度と前記補正後正視画像とに基づいて前記接近物体と前記カーブミラーとの距離を算出するとともに、前記車両前方画像に基づいて前記車両と前記カーブミラーとの距離を算出し、これらの距離に基づいて前記危険度を算出することを特徴とする、請求項２記載の車両運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１２２８２１（Ｐ２０１０−１２２８２１Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９４７４３（Ｐ２００８−２９４７４３）
【出願日】平成２０年１１月１８日（２００８．１１．１８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月１８日（２００８．１１．１８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]