接近障害物検出装置及びプログラム
【課題】光源が自車両に接近することを検出して警告する接近障害物検出装置を提供する。
【解決手段】路面反射した光が、光源を起点として、撮影カメラの方向に延びる縦長の楕円形に類する形状を有することに着目して、路面湿潤時に自車両周辺を撮影した画像より、高輝度領域追跡部２５が特定の形状からなる高輝度領域の位置及び動きの時間的な変化を検出する。そして、光源接近判定部２９は、撮影画像において縦長楕円形で現れる路面反射部分の時間的な移動方向をもとに、自車両に接近してくる光源（自車方向に接近する障害物）を検出する。
【解決手段】路面反射した光が、光源を起点として、撮影カメラの方向に延びる縦長の楕円形に類する形状を有することに着目して、路面湿潤時に自車両周辺を撮影した画像より、高輝度領域追跡部２５が特定の形状からなる高輝度領域の位置及び動きの時間的な変化を検出する。そして、光源接近判定部２９は、撮影画像において縦長楕円形で現れる路面反射部分の時間的な移動方向をもとに、自車両に接近してくる光源（自車方向に接近する障害物）を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接近障害物検出装置及びプログラムに係り、特に夜間の雨天時における自車両への接近光源を検出する接近障害物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年において自動車等の車両に対して、高性能化のみならず、低燃費化や安全性の向上の要求が顕著になってきている。このような自動車の低燃費走行や安全走行を支援する技術として、例えば、カメラで撮影した画像やレーダーを利用して、自車両の周辺に存在する他の車両を検出し、自車両と他車両との相対的な位置関係を計測するものがある。特にカメラ画像を利用することで、夜間における車両の灯火類（尾灯や前照灯等）の色情報を用いた車両検出が可能となり、レーダーでは検出できない遠距離の車両をも検出することができる。
【０００３】
夜間における車両の検出、特に雨天時においてカメラ画像を用いて車両を検出する際には、路面が雨によって濡れて鏡のようになり、車両の灯火や周囲の様々な光源からの光を強く反射する場合には、カメラ画像中の光源の数が増えることになる。したがって、雨天時の夜間は、晴天時の夜間に比べて、車両や街灯等の光源が濡れている路面に反射して、その光源が車両の灯火なのか、路面反射なのか、あるいはそれ以外の光源なのかの区別が非常に難しくなる。また、車両の灯火のように路面に近い光源は、路面反射による鏡像との画像上の位置が近くなり、それによって車両灯火と路面反射による鏡像とが一体化し、車両灯火の正しい検出ができなくなるという課題がある。そのため、夜間にカメラで周囲の障害物等を検出するシステムを構築する場合、雨天時に車両灯火や他の様々な光源が路面で反射して、得られた画像が非常に複雑な画像となり、目的とする障害物を正しく検出できなくなるという問題がある。
【０００４】
このような路面反射による課題を解決するため、従来より様々な手法が提案されている。これらの多くは、路面反射による鏡像をいかに検出するか、あるいは路面反射による鏡像をいかに除去するかといった技術に属するものである。例えば、特許文献１は、カメラで撮影した画像の中から車両灯火を検出し、その車両灯火周辺のハレーション領域を抽出して、その領域をハレーションを起こさない明るさに補正している。また、特許文献２では、カメラで取得した画像中の高輝度領域の形状、位置等から車両灯火の路面反射光を検出し、その路面反射によるグレアを抑制した補正画像を生成して、路面反射による画像の見にくさを改善している。
【０００５】
また、例えば、特許文献３は、背景差分法により画像の中から高輝度部分を抽出し、その輝度を計測してヘッドライトの路面反射領域を検出することで、車頭及び車尾を検出している。その他、赤色あるいは白色の高輝度領域の縦幅と横幅を求め、その縦横の比から車両灯火を認識して車両を検出する技術（例えば、特許文献４）、テレビカメラの撮影画像からフレーム差分処理して路面反射部分を抽出し、テレビカメラのレンズの絞りを制御してヘッドライト光の路面反射による弱い光を除去し、ヘッドライト光のみを抽出する技術（例えば、特許文献５）、カメラ画像の走査線ごとの平均輝度を用いて、前照灯か、あるいは路面反射光かを判別する技術（例えば、特許文献６）が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−７３００９号公報
【特許文献２】特開２００９−６５３６０号公報
【特許文献３】特開２００７−２６５０１６号公報
【特許文献４】特開２００１−６０８９号公報
【特許文献５】特開平０５−１８９６９４号公報
【特許文献６】特開平０４−３１４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１，２に記載の画像処理装置では、例えば、光源と路面反射の輝度が等しく、光源と路面反射が明確に切り分けられない場合には、確実に画像処理ができなかったり、あるいは誤った処理をするという問題がある。特に、特許文献１は、撮影画像から車両を抽出できること、及び前照灯と路面反射が分離していることを前提としているが、前照灯の輝度が高い場合には車両の抽出が難しく、また、前照灯と路面反射が必ずしも分離しているとは限らない、という問題がある。
【０００８】
一方、特許文献３，５に記載の車両検出装置は、道路等にカメラを固定設置することを想定しており、仮にカメラを車両に搭載した場合には、背景等が時々刻々変化する動画像となるので、背景差分処理やフレーム差分処理が有効に機能しない、という問題がある。特に特許文献５において、レンズの絞りや露光を制御すると、例えば、尾灯のような輝度の低い光源の場合には、路面反射の影響を除去できても、前照灯やブレーキ灯のような輝度の高い光源の場合、路面反射そのものも非常に明るくなるため、露光制御では車両の検出に対処しきれない、という問題がある。
【０００９】
特許文献６に記載の車両動態計測方法も、上記特許文献２と同様の問題、すなわち、光源の輝度が高い場合、光源と路面反射との差別化が難しいという問題に加えて、前照灯等の光源や路面反射が一体化したり、他の光源と一体化する場合には、正しく路面反射を判定できない、という問題がある。また、特許文献４に係る車両検出装置においても、光源や路面反射が一体化したり、他の光源と一体化される場合、色情報や縦横の幅情報について正しい情報が得られない、という問題がある。なお、特許文献４では、固定カメラで車両を上方又は斜め上方から撮影した画像を想定しており、車両に取り付けたカメラで車両周囲を撮影した画像を想定していない。
【００１０】
本発明は、上述した課題を解決するために提案されたものであり、夜間の路面湿潤時に自車両周辺を撮影した画像をもとに、自車両に接近する光源（主に障害物としての対向車）を検出できる接近障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明に係る接近障害物検出装置は、夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段と、前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段と、前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段と、を備える。
【００１２】
本発明において、前記高輝度領域追跡手段が追跡する高輝度領域は、夜間の路面湿潤時に撮影された画像中の他車両の車両灯火部と該車両灯火部の路面反射とに対応する領域であり、前記第１の形状は前記他車両の車両灯火部による高輝度領域に対応し、前記第２の形状は該他車両の車両灯火部の路面反射による高輝度領域に対応する。
【００１３】
本発明の接近判定手段は、前記第１の形状が前記第２の形状の直近の上部に位置し、かつ、該第１の形状と該第２の形状とを結合した形状を有する前記高輝度領域が、前記車両灯火部と前記撮像手段の延長線上であって該第２の形状の長軸方向へ時間的に動く場合、該高輝度領域を形成する光源が自車両に接近すると判定する。
【００１４】
本発明は、接近判定手段によって、前記高輝度領域を形成する光源が自車両に接近すると判定された場合、所定の警告を発する手段をさらに備える。
【００１５】
このような構成とすることで、撮影画像において縦長楕円形もしくは縦長楕円形に類似した形状等で現れる路面反射部分の時間的な移動方向を求め、その移動方向をもとに自車両に接近してくる光源、つまり自車方向に接近する障害物を容易に検出することができる。さらには、障害物の接近についての警告をすることで、警告を受けた者は、その警告内容に応じて、対向車との衝突を未然に防止できる。
【００１６】
また、本発明の車両灯火検出装置は、夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段と、前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段と、前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段と、前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段と、を備える。
【００１７】
このような構成によって、雨天時の湿潤路面を撮影した画像から高輝度領域として検出した光源とその光源の路面反射より、路面反射部分に相当する部分の時間的な明暗の変化を求め、光源である車両灯火を容易かつ安定して検出できる。
【発明の効果】
【００１８】
本発明に係る接近障害物検出装置は、路面湿潤時の周辺撮影画像における路面反射の形状とその時間的な位置変化が持つ特徴を利用することで、自車両に接近してくる光源（主に障害物としての対向車両）を容易に検出できる、という優れた効果を有する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る接近障害物検出装置の全体構成を概略的に示すブロック図である。
【図２】第１の実施形態に係る接近障害物検出装置の画像処理部の詳細構成を示すブロック図である。
【図３】第１の実施形態に係る接近障害物検出装置における障害物の検出手順を示すフローチャートである。
【図４】撮像部(カメラ）で撮影した夜間雨天時（路面湿潤時）の周辺画像の一例である。
【図５】光源とその路面反射光の例を示す図である。
【図６】第１の実施形態に係る接近障害物検出装置における高輝度領域の追跡処理を説明するための図である。
【図７】本発明の第２の実施形態に係る車両灯火検出装置の画像処理部５０の詳細構成を示すブロック図である。
【図８】第２の実施形態に係る車両灯火検出装置における車両灯火の検出手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る接近障害物検出装置の全体構成を概略的に示すブロック図である。図１に示す接近障害物検出装置１において、撮像部５は、自車両（不図示）に搭載されたカメラであり、夜間の降雨時、又は夜間の雨上がり直後における自車両周辺を撮影する、例えば、高感度カメラ、又は暗視カメラ等である。撮像部５で撮影された画像は、所定のデータ形式の画像情報として画像処理部１０に入力される。画像処理部１０は、入力された画像情報をもとに、後述する画像処理等に行うことによって、自車両に接近する障害物を検出する。そして、表示部１５は、入力された画像情報や画像処理部１０における障害物の検出結果等を表示する。
【００２１】
なお、接近障害物検出装置１は、図示を省略するが、接近障害物検出装置１全体の制御を司る、例えばマイクロプロセッサからなる中央制御部（ＣＰＵ）と、オペレーティングシステム（ＯＳ）等の基本プログラムや障害物の検出制御手順を示すプログラム等が記録された記録媒体である読み取り専用メモリ（ＲＯＭ）と、障害物の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）とを備える。
【００２２】
図２は、第１の実施形態に係る接近障害物検出装置１の画像処理部１０を機能毎のブロックで示したときの詳細構成を示すブロック図である。図２において、高輝度領域検出部２１は、図１に示す撮像部(カメラ）５で撮影した夜間の雨天時、又は夜間の雨上がり直後（これらをまとめて、路面湿潤時ともいう）の画像の中から、周辺領域に比べて輝度の高い領域（以下、適宜、明領域ともいう）を抽出する。ここでは、例えば、高輝度領域検出部２１に入力された撮影画像の画像信号値と所定の２値化閾値とを比較し、それにより得られた２値化画像に基づいて高輝度領域を抽出する。形状抽出部２３は、高輝度領域検出部２１で検出された高輝度領域の形状を調べる。具体的には、高輝度領域の形状が円形状に現れるもの、縦長楕円形状として現れるもの、及び円形と楕円形とが上下又は左右に結合した形状として現れるものそれぞれを抽出する。
【００２３】
高輝度領域追跡部２５は、形状抽出部２３で抽出された高輝度領域としての円形状部分、縦長楕円形状部分、及び円形と楕円形の結合形状部分について、画像中での位置を時間的に追跡し、それら高輝度領域の動きを検出する。光源・路面反射判定部２７は、形状抽出部２３で抽出された円形状部分と縦長楕円形状部分、及び、高輝度領域追跡部２５における高輝度領域の動き検出結果をもとに、円形領域が楕円形領域の直近の上部に位置し、かつ、同じ動きをする（つまり、同一方向へ移動する）円形領域と楕円形領域を見出して関連づけする。そして、この関連づけの結果をもとに、円形領域と楕円形領域が同一の光源から発せられた光によるものかを判定する。光源接近判定部２９は、高輝度領域追跡部２５で追跡した円形と楕円形の結合形状領域、あるいは光源・路面反射判定部２７において関連づけされた円形領域と楕円形領域が、時間とともに縦長の楕円形の長軸方向に動くか否かを検出し、その検出結果をもとに、光源が自車両方向へ接近しているかどうかを判定する。
【００２４】
次に、第１の実施形態に係る接近障害物検出装置における画像処理及び障害物検出手順について説明する。図３は、第１の実施形態に係る接近障害物検出装置における障害物の検出手順を示すフローチャートである。図３のステップＳ１０１で、接近障害物検出装置１の中央制御部は、自車両に搭載した撮像部(カメラ）５を制御して、撮像部５によって自車両周辺の画像（夜間の路面湿潤時の周辺画像）を撮影し、撮像部５により得られた画像データを取り込む。そして、ステップＳ１０３において、高輝度領域追跡部２５を制御して、撮像部５により撮影された画像の中から、周辺領域に比べて輝度の高い領域（高輝度領域、あるいは明領域）を抽出する。
【００２５】
図４は、撮像部(カメラ）５で撮影した画像の一例であり、前照灯、尾灯、これら前照灯及び尾灯の路面上での反射光、街灯、及び反射板等が画像中で明るく写り、それらの画素の輝度値が周辺領域よりも高いことが分かる。そこで、接近障害物検出装置１は、高輝度領域検出部２１によって、このように輝度値の高い領域（高輝度領域）を撮影画像より抽出する処理を行う。このとき、路面からの距離がある街灯等による所定値以上の高輝度領域は、画像中では単独で現れるので、容易に除外できる。
【００２６】
前照灯と尾灯とでは色や明るさが異なるため、高輝度領域を抽出する際、それぞれに応じた形状、例えば、尾灯の場合、光源は小さく、その路面反射の幅も細いが、前照灯の場合は光源も路面反射も大きく、後述するように、光源と路面反射とが合体していることが多い、という特徴を用いる。また、高輝度領域の抽出方法としては、例えば、撮影画像の画像信号値と所定の２値化閾値とを比較し、それにより得られた２値化画像から、所定のフィルタデータに基づいて、その２値化画像の輪郭線を抽出する。その結果、撮影画像の中の明領域が輪郭線によって囲まれる。これにより、光源と路面反射の高輝度領域を精度よく抽出することができる。なお、２値化画像の輪郭線画像は、以降の処理に使用するため、撮影画像（画像フレーム）ごとに不図示のＲＡＭ等に記憶される。
【００２７】
ステップＳ１０５では、上記のステップＳ１０３で検出された高輝度領域の形状を求める。ここで、夜間の降雨時、又は夜間の雨上がり直後の路面湿潤時に路面反射した光の特徴について説明する。路面湿潤時に路面反射した光は、正反射成分を主とするため、光源を起点として、画像を撮影しているカメラの方向に延びる縦長の楕円形に類する形状をしている。通常のカメラ画像であれば、その画像上において、光源から真下の方向に路面反射が存在する。光源とその路面反射光は、大別すると、図５（ａ）に示すように、光源４１ａ，４１ｂと路面反射４３ａ，４３ｂとが別々に（すなわち、分離して）現れる場合と、図５（ｂ），（ｃ）のように、光源４５ａ，４５ｂ，４９ａ，４９ｂと路面反射４７ａ，４７ｂ，５１ａ，５１ｂとが合体して現れる場合とがある。より詳細には、図５（ｂ）は、光源４５ａ，４５ｂと路面反射４７ａ，４７ｂとが、一部合体して現れる場合を示しており、図５（ｃ）は、光源４９ａ，４９ｂと路面反射５１ａ，５１ｂとが、すべて合体して現れる場合を示している。
【００２８】
路面湿潤時に撮影した画像中において、「光源」は円形又は円形に類似した形状で現れ、「路面反射」は、路面の形状等によりとぎれとぎれになることはあるが、概して縦長の楕円形又は縦長楕円形に類似した形状で現れる。そこで、ステップＳ１０５では、ステップＳ１０３において高輝度領域の検出処理が行われ、不図示のＲＡＭ等に記憶された、画像中において輪郭線によって囲まれた部分の形状が円形又は円形に類似した形状のもの、縦長楕円形又は縦長楕円形に類似した形状のもの、及び円形と楕円形とが上下又は左右に結合した形状のものそれぞれを抽出する。抽出された形状は、それらを抽出した画像ごとに不図示のメモリ（例えば、ＲＡＭ）等に格納される。
【００２９】
ここでは、例えば、円形又は円形に類似した形状部分を抽出する場合、画像中の、ある高輝度点を注目点として、その周囲が円形又は円形に類似した形状に明るさが変化しているかどうかを評価し、縦長楕円形状又は縦長楕円形に類似した形状部分を抽出する場合には、ある高輝度点を注目点として、その周囲が縦長の楕円形状又は縦長楕円形に類似した形状に明るさが変化しているかどうかを評価する。また、円形と楕円形との結合形状部分を抽出する場合は、ある高輝度点を注目点として、その周囲が、上部が円形で下部が縦長楕円形となって明るさが変化しているかどうかを評価する。
【００３０】
次に、ステップＳ１０７において、接近障害物検出装置１の中央制御部は、時間的に連続する所定のフレーム数（例えば、３フレーム）の撮影画像について、上述した高輝度領域の検出、及び高輝度領域の形状抽出を行ったかどうかを判断する。第１の実施形態に係る接近障害物検出装置１は、時間的に連続してカメラ画像を撮影し、撮影した各々の画像の中から光源と路面反射の高輝度領域を抽出する。このような高輝度領域検出等の対象となった撮影画像が、所定のフレーム数に達していないとステップＳ１０７で判断されれば、接近障害物検出装置１の中央制御部は、再度、処理をステップＳ１０１に戻す。そして、自車両の周囲について、既に撮影した画像と時間的に連続する次の画像を撮影する。一方、自車両周囲の撮影画像が所定のフレーム数に達していれば、処理をステップＳ１０９に進める。
【００３１】
ステップＳ１０９では、上述のように時間的に連続して撮影したカメラ画像について、高輝度領域の対応づけ（追跡処理）を行う。例えば、図４において、街灯のように小さな光源は、その特徴を把握することが難しいため、追跡処理に誤りが生ずることがある。一方、光源とその光源の路面反射は、画像特徴が大きいため、それらの追跡処理も容易になる。ここでは、形状抽出後、ＲＡＭに格納された画像ごとの高輝度領域（円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分）について、画像中での時間的な位置を追跡する。例えば、時間の先後における画像パターンの類似度を利用したり、あるいは高輝度領域の形状の類似度を利用して、画像中での円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分の位置を時間を追って追跡する。
【００３２】
ステップＳ１１３において、障害物が自車両に接近しているか否かを判定する。ここでは、上述した処理によって検出・抽出された円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分について、円形領域が楕円形領域の直近の上部に位置しており、これら円形領域と楕円形領域が同じ動きをする場合、つまり、時間的な位置変化に類似度がある場合には、その円形領域が光源であり、楕円形領域が、その光源の路面反射であると判定する。さらに、円形と縦長楕円形の結合形状領域、又は円形領域と楕円形領域とが、時間とともに縦長の楕円形の長軸方向に移動しているかどうかを判定する。
【００３３】
ここで、抽出された円形領域と楕円形領域の時間的な位置変化について説明する。図６は、第１の実施形態に係る接近障害物検出装置１における高輝度領域の追跡処理を説明するための図である。図６は、連続する３つの時刻、すなわち時刻ｔ−１，時刻ｔ，及び時刻ｔ＋１それぞれにおいて撮影した３フレーム分の画像をもとに、時刻ｔ−１から時刻ｔの経過時、及び時刻ｔから時刻ｔ＋１の経過時それぞれにおける、画像中での高輝度領域（光源と路面反射）の位置変化を模式的に示している。
【００３４】
本実施形態に係る接近障害物検出装置１では、光源とその光源の路面反射について、路面反射の延びた形状が光源とカメラの延長線上に位置するという関係にあることに着目して、その路面反射の時間的な動きをもとに、障害物が自車両方向に近づいているか否かを判定する。例えば、図６（ｂ）に示すように、時刻ｔ−１における高輝度領域７１ａ，７１ｂの位置、時刻ｔにおける高輝度領域７３ａ，７３ｂの位置、そして、時刻ｔ＋１における高輝度領域７５ａ，７５ｂの位置の時間的な変化が、画面上において下方向（図６（ｂ）において矢印で示す、楕円形の長軸方向）に延びてきている場合、その高輝度領域である光源と、その光源の路面反射とが、撮影しているカメラの方向に向かって移動していると判断できる。
【００３５】
この場合、光源とその光源の路面反射光が撮影側（カメラ方向）に延びてきており、障害物が自車両に接近していると判定される。これは、光源とその光源の路面反射が、時間経過とともに路面反射の延びた形状の上に位置して近づいてくる場合、その光源は自車両に接近している（つまり、障害物が自車両の方向に接近している）、と特定できることに基づくものである。
【００３６】
これに対して、光源が自車両に接近するように移動していない場合には、図６（ａ）に示すように、時間の経過に伴う高輝度領域の位置変化は、図中において矢印で示すように、光源とその光源の路面反射について横方向の変化分が大きくなる。具体的には、時刻ｔ−１における高輝度領域６１ａ，６１ｂの位置、時刻ｔにおける高輝度領域６３ａ，６３ｂの位置、時刻ｔ＋１における高輝度領域６５ａ，６５ｂの位置の時間的な変化は、楕円形の長軸方向に延びておらず、光源とその光源の路面反射が、撮影しているカメラの方向に向かって移動していない。この場合、障害物は自車両の方向に接近していないと判定できる。
【００３７】
このように、画面上における路面反射の時間的な位置変化を捉え、その位置変化量において横移動が多いか、あるいは縦移動が多いかを判定する。横移動がほとんどなく、縦移動が主である場合には、その路面反射は、光源からカメラ方向（自車両方向）に向かって延びているため、何らかの障害物が自車両に接近していると判定できる。
【００３８】
ステップＳ１１５では、ステップＳ１１３における障害物の検出結果を表示部１５に表示する。具体的には、ステップＳ１１３の処理において、光源が自車両に接近していると判定された場合、その判定結果を表示部１５に可視的に表示するか、又は警報音や音声を使用して、運転者等に衝突防止警報を出す。そして、続くステップＳ１１７において、接近障害物検出装置１における障害物の検出を終了するか否かを判断する。例えば、運転者等が接近障害物検出装置１に設けられた不図示のスイッチを操作する等により、障害物の検出処理の続行を望む場合、処理をステップＳ１０１に戻し、接近障害物検出装置１による障害物検出を続行する。一方、不図示の他のスイッチ操作等によって、運転者等が障害物の検出処理の続行を望まない場合には、本処理を終了する。
【００３９】
以上説明したように、第１の実施形態に係る接近障害物検出装置では、夜間の路面湿潤時に撮影した車両周辺の画像から、光源である対向車両の前照灯が濡れた路面で反射した路面反射画像の特徴、すなわち、路面湿潤時に路面反射した光が、光源を起点として、撮影カメラの方向に延びる縦長の楕円形に類する形状を有することに着目する。そして、撮影画像において縦長楕円形で現れる路面反射部分の時間的な移動方向を求めることで、自車両に接近してくる光源、つまり自車方向に接近する障害物としての対向車両を容易に検出し、運転者等に対して、障害物が接近している旨の警告を発することができる。さらに、運転者等は、その警告内容に応じた適正な行動をとることができ、対向車両との衝突を未然に防止することが可能となる。
【００４０】
特に、光源とその光源の路面反射とが一体化している場合には、光源のみの特定は困難であるため、撮影画像において楕円形又は楕円形に類似する形状で現れる高輝度領域である路面反射について、自車両に接近してくる光源の時間的な位置変化が楕円形の長軸方向に延びるという特徴を利用することで、自車両に接近してくる障害物を確実に検出できる。よって、撮影された画像中の光源が何から発せられている光であるかが不明であっても、その光源の種類を特定することなく自車両に接近する光源（障害物）を検出できる、という効果がある。
【００４１】
＜第２の実施形態＞
以下、本発明の第２の実施形態に係る車両灯火検出装置について説明する。なお、第２の実施形態に係る車両灯火検出装置全体の構成は、図１に示す第１の実施形態に係る接近障害物検出装置と同じであるため、ここでは、その図示と説明を省略する。
【００４２】
図７は、本発明の第２の実施形態に係る車両灯火検出装置の画像処理部５０を機能毎のブロックで示したときの詳細構成を示すブロック図である。図７の高輝度領域検出部５１は、例えば、不図示の高感度カメラ、又は暗視カメラ等で撮影した夜間雨天時、又は夜間の雨上がり直後（路面湿潤時）の画像の中から、周辺領域に比べて輝度の高い領域（高輝度領域、あるいは明領域ともいう）を抽出する。なお、ここでの高輝度領域の抽出方法は、上述した第１の実施形態に係る接近障害物検出装置の高輝度領域検出部２１における方法と同じであるため、その説明を省略する。
【００４３】
形状判定部５３は、高輝度領域検出部５１で検出された高輝度領域の形状を調べる。ここでは、高輝度領域検出部５１で検出された高輝度領域（明領域）が、楕円形状を含む縦長形状もしくは縦長形状に類似した形状か否かが判定される。明暗変化検出部５５は、形状判定部５３で判定された縦長形状の高輝度領域に関し、その高輝度領域を上下方向にほぼ２分した場合の下部の明るさが、時間の経過とともに変化するかどうかを検出する。これは、第２の実施形態に係る車両灯火検出装置が、車両灯火の検出において、路面の光の反射率が路面の状況、場所等により変わり、一様ではないという特徴を有する、ということを利用していることによる。
【００４４】
路面反射部判定部５７は、明暗変化検出部５５で検出された、高輝度領域の下部分の明暗変化が非周期的に変化することを検出し、その検出結果に基づいて、高輝度領域の下部分が車両灯火の路面反射部であるか否かを判定する。そして、車両灯火検出部５９は、形状判定部５３で判定された縦長形状又は縦長形状に類似する形状を有する高輝度領域から、路面反射部判定部５７で判定した路面反射部を減じることで、車両灯火部を抽出する。
【００４５】
なお、図示を省略するが、第２の実施形態に係る車両灯火検出装置は、装置全体の制御を司る、例えばマイクロプロセッサからなる中央制御部（ＣＰＵ）と、オペレーティングシステム（ＯＳ）等の基本プログラムや車両灯火の検出制御手順を示すプログラム等が記録された記録媒体である読み取り専用メモリ（ＲＯＭ）と、車両灯火の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）とを備える。
【００４６】
次に、第２の実施形態に係る車両灯火検出装置における画像処理及び車両灯火検出手順について説明する。図８は、第２の実施形態に係る車両灯火検出装置における車両灯火の検出手順を示すフローチャートである。車両灯火検出装置の中央制御部は、図８のステップＳ３０１で、撮像部(カメラ）によって、夜間の降雨時、又は夜間の雨上がり直後に、自車や周辺車両が移動した状態で周囲環境の画像を撮影し、ステップＳ３０３において、撮影した画像の中から、周辺領域に比べて輝度の高い領域を抽出する。上記第１の実施形態において、図４を参照して説明したのと同様、撮影された画像中で前照灯、尾灯、街灯、及び反射板等が明るく写る。そこで、車両灯火検出装置は、高輝度領域検出部５１によって、撮影画像中の輝度値の高い領域（高輝度領域）を抜き出す処理をする。
【００４７】
ステップＳ３０５では、上記のステップＳ３０３で検出された高輝度領域の形状を求める。上記第１の実施形態と同様、光源とその光源の路面反射については、図５に示す画像パターンが現れる。そこで、光源及びその光源の路面反射による高輝度領域の形状が縦長形状あるいは縦長形状に類似する形状（以降において、これらの形状を判定対象形状ともいう）かどうかを判定する。高輝度領域の形状が判定対象形状と同一であれば、続くステップＳ３０７において、上記ステップＳ３０５で判定対象形状と判定された高輝度領域について、その高輝度領域を上下方向にほぼ２分した場合の下部分の輝度の変化（明暗の変化）を検出する。
【００４８】
降雨により湿潤状態にある路面は、雨水が道路表面を覆っているため、光を反射しやすい。一方、その光の反射率は、路面形状（凹凸）、路面上に溜まる水の量、路面の傾斜、路面のざらつき、路面マーク、雨滴の状況等の影響により、場所ごとに変化する。よって、自車両や対向車両が移動すると、路面の反射状態の変化により、路面反射部分に関して、その明暗が不規則に変化する。
【００４９】
そこで、ステップＳ３０７では、車載カメラによって時間的に連続して撮影した画像のうち、所定数のフレーム画像について、それらの画像より検出された判定対象形状の部分に関し、その領域の下部の明暗の変化（その部分の時間的な輝度変化）を検出する。ここでは、例えば、判定対象形状部分の下部を所定サイズの領域に分割し、各々の領域を構成する画像群の輝度の時間的な変化を見ることで、判定対象形状部分の下部の明暗の変化を検出する。なお、判定対象形状部分の下部の明暗の変化を見るのは、判定対象形状部分（路面反射部分）の下部分以外の部分、すなわち、高輝度領域の上部分は光源（例えば、前照灯）であり、その光源は、自らが発光しているため、時間経過による明るさの変化はほとんどないためである。
【００５０】
ステップＳ３０９では、所定時間に渡り、判定対象形状部分の下部の明暗の変化を検出したか否かを判定する。例えば、撮影画像のフレーム数が、判定対象形状部分の明暗変化の検出が可能となる数に達するまで時間が経過したかどうかを判断する。所定時間が経過していない場合、処理をステップＳ３０１に戻して、自車両の周囲環境について、既に撮影した画像と時間的に連続する次の画像を撮影する。また、所定時間が経過していれば、処理を次のステップＳ３１１に進める。
【００５１】
ステップＳ３１１において、上記ステップＳ３０７で検出した明暗変化をもとに、判定対象形状部分の下部が車両灯火の路面反射部であるか否かを判定する。ここでは、上述したように、路面の反射状態の変化が不規則であるため、路面反射部の明暗の変化も周期的ではなく、非周期的に変化することに着目して、高輝度領域である判定対象形状（縦長形状部分もしくは縦長形状に類似する部分）の下部の明暗が非周期的（ランダム）に変化する場合、その判定対象形状部分の下部が他車両の車両灯火の路面反射部であると判定する。そして、続くステップＳ３１３において、高輝度領域である判定対象形状部分から、上記ステップＳ３１１で判定した判定対象形状部分の下部（つまり、路面反射部）を減じる画像処理を行う。これは、縦長形状もしくは縦長形状に類似する形状の高輝度領域画像と路面反射部画像との差分画像を求める処理である。こうすることにより、第２の実施形態に係る車両灯火検出装置では、高輝度領域である縦長形状もしくは縦長形状に類似する形状の上部を車両灯火部として抽出する。
【００５２】
なお、図８には示していないが、ステップＳ３１３での処理の後、ステップＳ３１３において車両灯火部が抽出された旨を、例えば、表示部に可視表示したり、あるいは警報音や音声によって通知するようにしてもよい。
【００５３】
このように第２の実施形態に係る車両灯火検出装置は、撮影画像中の光源とその光源の路面反射部分とをまとめた形状部分（縦長形状部分もしくは縦長形状に類似する部分）の下部、つまり路面反射部分に相当する部分の明暗が、路面反射の状態変化に応じて不規則に変わることを利用する。そこで、路面反射部分に相当する部分の時間的な明暗の変化を検出することで、車両の前照灯等の光源とその光源の路面反射とが一体化するか否かにかかわらず、夜間における雨天時又は雨上がり直後の湿潤路面を撮影した画像から高輝度領域として検出した光源とその光源の路面反射をもとに、光源（車両灯火）を容易かつ安定して検出することができる。
【符号の説明】
【００５４】
１ 接近障害物検出装置
５ 撮像部
１０，５０ 画像処理部
１５ 表示部
２１，５１ 高輝度領域検出部
２３ 形状抽出部
２５ 高輝度領域追跡部
２７ 光源・路面反射判定部
２９ 光源接近判定部
４１ａ，４１ｂ，４５ａ，４５ｂ，４９ａ，４９ｂ 光源
４３ａ，４３ｂ，４７ａ，４７ｂ，５１ａ，５１ｂ 路面反射
５３ 形状判定部
５５ 明暗変化検出部
５７ 路面反射部判定部
５９ 車両灯火検出部
【技術分野】
【０００１】
本発明は、接近障害物検出装置及びプログラムに係り、特に夜間の雨天時における自車両への接近光源を検出する接近障害物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年において自動車等の車両に対して、高性能化のみならず、低燃費化や安全性の向上の要求が顕著になってきている。このような自動車の低燃費走行や安全走行を支援する技術として、例えば、カメラで撮影した画像やレーダーを利用して、自車両の周辺に存在する他の車両を検出し、自車両と他車両との相対的な位置関係を計測するものがある。特にカメラ画像を利用することで、夜間における車両の灯火類（尾灯や前照灯等）の色情報を用いた車両検出が可能となり、レーダーでは検出できない遠距離の車両をも検出することができる。
【０００３】
夜間における車両の検出、特に雨天時においてカメラ画像を用いて車両を検出する際には、路面が雨によって濡れて鏡のようになり、車両の灯火や周囲の様々な光源からの光を強く反射する場合には、カメラ画像中の光源の数が増えることになる。したがって、雨天時の夜間は、晴天時の夜間に比べて、車両や街灯等の光源が濡れている路面に反射して、その光源が車両の灯火なのか、路面反射なのか、あるいはそれ以外の光源なのかの区別が非常に難しくなる。また、車両の灯火のように路面に近い光源は、路面反射による鏡像との画像上の位置が近くなり、それによって車両灯火と路面反射による鏡像とが一体化し、車両灯火の正しい検出ができなくなるという課題がある。そのため、夜間にカメラで周囲の障害物等を検出するシステムを構築する場合、雨天時に車両灯火や他の様々な光源が路面で反射して、得られた画像が非常に複雑な画像となり、目的とする障害物を正しく検出できなくなるという問題がある。
【０００４】
このような路面反射による課題を解決するため、従来より様々な手法が提案されている。これらの多くは、路面反射による鏡像をいかに検出するか、あるいは路面反射による鏡像をいかに除去するかといった技術に属するものである。例えば、特許文献１は、カメラで撮影した画像の中から車両灯火を検出し、その車両灯火周辺のハレーション領域を抽出して、その領域をハレーションを起こさない明るさに補正している。また、特許文献２では、カメラで取得した画像中の高輝度領域の形状、位置等から車両灯火の路面反射光を検出し、その路面反射によるグレアを抑制した補正画像を生成して、路面反射による画像の見にくさを改善している。
【０００５】
また、例えば、特許文献３は、背景差分法により画像の中から高輝度部分を抽出し、その輝度を計測してヘッドライトの路面反射領域を検出することで、車頭及び車尾を検出している。その他、赤色あるいは白色の高輝度領域の縦幅と横幅を求め、その縦横の比から車両灯火を認識して車両を検出する技術（例えば、特許文献４）、テレビカメラの撮影画像からフレーム差分処理して路面反射部分を抽出し、テレビカメラのレンズの絞りを制御してヘッドライト光の路面反射による弱い光を除去し、ヘッドライト光のみを抽出する技術（例えば、特許文献５）、カメラ画像の走査線ごとの平均輝度を用いて、前照灯か、あるいは路面反射光かを判別する技術（例えば、特許文献６）が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−７３００９号公報
【特許文献２】特開２００９−６５３６０号公報
【特許文献３】特開２００７−２６５０１６号公報
【特許文献４】特開２００１−６０８９号公報
【特許文献５】特開平０５−１８９６９４号公報
【特許文献６】特開平０４−３１４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１，２に記載の画像処理装置では、例えば、光源と路面反射の輝度が等しく、光源と路面反射が明確に切り分けられない場合には、確実に画像処理ができなかったり、あるいは誤った処理をするという問題がある。特に、特許文献１は、撮影画像から車両を抽出できること、及び前照灯と路面反射が分離していることを前提としているが、前照灯の輝度が高い場合には車両の抽出が難しく、また、前照灯と路面反射が必ずしも分離しているとは限らない、という問題がある。
【０００８】
一方、特許文献３，５に記載の車両検出装置は、道路等にカメラを固定設置することを想定しており、仮にカメラを車両に搭載した場合には、背景等が時々刻々変化する動画像となるので、背景差分処理やフレーム差分処理が有効に機能しない、という問題がある。特に特許文献５において、レンズの絞りや露光を制御すると、例えば、尾灯のような輝度の低い光源の場合には、路面反射の影響を除去できても、前照灯やブレーキ灯のような輝度の高い光源の場合、路面反射そのものも非常に明るくなるため、露光制御では車両の検出に対処しきれない、という問題がある。
【０００９】
特許文献６に記載の車両動態計測方法も、上記特許文献２と同様の問題、すなわち、光源の輝度が高い場合、光源と路面反射との差別化が難しいという問題に加えて、前照灯等の光源や路面反射が一体化したり、他の光源と一体化する場合には、正しく路面反射を判定できない、という問題がある。また、特許文献４に係る車両検出装置においても、光源や路面反射が一体化したり、他の光源と一体化される場合、色情報や縦横の幅情報について正しい情報が得られない、という問題がある。なお、特許文献４では、固定カメラで車両を上方又は斜め上方から撮影した画像を想定しており、車両に取り付けたカメラで車両周囲を撮影した画像を想定していない。
【００１０】
本発明は、上述した課題を解決するために提案されたものであり、夜間の路面湿潤時に自車両周辺を撮影した画像をもとに、自車両に接近する光源（主に障害物としての対向車）を検出できる接近障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明に係る接近障害物検出装置は、夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段と、前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段と、前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段と、を備える。
【００１２】
本発明において、前記高輝度領域追跡手段が追跡する高輝度領域は、夜間の路面湿潤時に撮影された画像中の他車両の車両灯火部と該車両灯火部の路面反射とに対応する領域であり、前記第１の形状は前記他車両の車両灯火部による高輝度領域に対応し、前記第２の形状は該他車両の車両灯火部の路面反射による高輝度領域に対応する。
【００１３】
本発明の接近判定手段は、前記第１の形状が前記第２の形状の直近の上部に位置し、かつ、該第１の形状と該第２の形状とを結合した形状を有する前記高輝度領域が、前記車両灯火部と前記撮像手段の延長線上であって該第２の形状の長軸方向へ時間的に動く場合、該高輝度領域を形成する光源が自車両に接近すると判定する。
【００１４】
本発明は、接近判定手段によって、前記高輝度領域を形成する光源が自車両に接近すると判定された場合、所定の警告を発する手段をさらに備える。
【００１５】
このような構成とすることで、撮影画像において縦長楕円形もしくは縦長楕円形に類似した形状等で現れる路面反射部分の時間的な移動方向を求め、その移動方向をもとに自車両に接近してくる光源、つまり自車方向に接近する障害物を容易に検出することができる。さらには、障害物の接近についての警告をすることで、警告を受けた者は、その警告内容に応じて、対向車との衝突を未然に防止できる。
【００１６】
また、本発明の車両灯火検出装置は、夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段と、前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段と、前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段と、前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段と、を備える。
【００１７】
このような構成によって、雨天時の湿潤路面を撮影した画像から高輝度領域として検出した光源とその光源の路面反射より、路面反射部分に相当する部分の時間的な明暗の変化を求め、光源である車両灯火を容易かつ安定して検出できる。
【発明の効果】
【００１８】
本発明に係る接近障害物検出装置は、路面湿潤時の周辺撮影画像における路面反射の形状とその時間的な位置変化が持つ特徴を利用することで、自車両に接近してくる光源（主に障害物としての対向車両）を容易に検出できる、という優れた効果を有する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る接近障害物検出装置の全体構成を概略的に示すブロック図である。
【図２】第１の実施形態に係る接近障害物検出装置の画像処理部の詳細構成を示すブロック図である。
【図３】第１の実施形態に係る接近障害物検出装置における障害物の検出手順を示すフローチャートである。
【図４】撮像部(カメラ）で撮影した夜間雨天時（路面湿潤時）の周辺画像の一例である。
【図５】光源とその路面反射光の例を示す図である。
【図６】第１の実施形態に係る接近障害物検出装置における高輝度領域の追跡処理を説明するための図である。
【図７】本発明の第２の実施形態に係る車両灯火検出装置の画像処理部５０の詳細構成を示すブロック図である。
【図８】第２の実施形態に係る車両灯火検出装置における車両灯火の検出手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る接近障害物検出装置の全体構成を概略的に示すブロック図である。図１に示す接近障害物検出装置１において、撮像部５は、自車両（不図示）に搭載されたカメラであり、夜間の降雨時、又は夜間の雨上がり直後における自車両周辺を撮影する、例えば、高感度カメラ、又は暗視カメラ等である。撮像部５で撮影された画像は、所定のデータ形式の画像情報として画像処理部１０に入力される。画像処理部１０は、入力された画像情報をもとに、後述する画像処理等に行うことによって、自車両に接近する障害物を検出する。そして、表示部１５は、入力された画像情報や画像処理部１０における障害物の検出結果等を表示する。
【００２１】
なお、接近障害物検出装置１は、図示を省略するが、接近障害物検出装置１全体の制御を司る、例えばマイクロプロセッサからなる中央制御部（ＣＰＵ）と、オペレーティングシステム（ＯＳ）等の基本プログラムや障害物の検出制御手順を示すプログラム等が記録された記録媒体である読み取り専用メモリ（ＲＯＭ）と、障害物の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）とを備える。
【００２２】
図２は、第１の実施形態に係る接近障害物検出装置１の画像処理部１０を機能毎のブロックで示したときの詳細構成を示すブロック図である。図２において、高輝度領域検出部２１は、図１に示す撮像部(カメラ）５で撮影した夜間の雨天時、又は夜間の雨上がり直後（これらをまとめて、路面湿潤時ともいう）の画像の中から、周辺領域に比べて輝度の高い領域（以下、適宜、明領域ともいう）を抽出する。ここでは、例えば、高輝度領域検出部２１に入力された撮影画像の画像信号値と所定の２値化閾値とを比較し、それにより得られた２値化画像に基づいて高輝度領域を抽出する。形状抽出部２３は、高輝度領域検出部２１で検出された高輝度領域の形状を調べる。具体的には、高輝度領域の形状が円形状に現れるもの、縦長楕円形状として現れるもの、及び円形と楕円形とが上下又は左右に結合した形状として現れるものそれぞれを抽出する。
【００２３】
高輝度領域追跡部２５は、形状抽出部２３で抽出された高輝度領域としての円形状部分、縦長楕円形状部分、及び円形と楕円形の結合形状部分について、画像中での位置を時間的に追跡し、それら高輝度領域の動きを検出する。光源・路面反射判定部２７は、形状抽出部２３で抽出された円形状部分と縦長楕円形状部分、及び、高輝度領域追跡部２５における高輝度領域の動き検出結果をもとに、円形領域が楕円形領域の直近の上部に位置し、かつ、同じ動きをする（つまり、同一方向へ移動する）円形領域と楕円形領域を見出して関連づけする。そして、この関連づけの結果をもとに、円形領域と楕円形領域が同一の光源から発せられた光によるものかを判定する。光源接近判定部２９は、高輝度領域追跡部２５で追跡した円形と楕円形の結合形状領域、あるいは光源・路面反射判定部２７において関連づけされた円形領域と楕円形領域が、時間とともに縦長の楕円形の長軸方向に動くか否かを検出し、その検出結果をもとに、光源が自車両方向へ接近しているかどうかを判定する。
【００２４】
次に、第１の実施形態に係る接近障害物検出装置における画像処理及び障害物検出手順について説明する。図３は、第１の実施形態に係る接近障害物検出装置における障害物の検出手順を示すフローチャートである。図３のステップＳ１０１で、接近障害物検出装置１の中央制御部は、自車両に搭載した撮像部(カメラ）５を制御して、撮像部５によって自車両周辺の画像（夜間の路面湿潤時の周辺画像）を撮影し、撮像部５により得られた画像データを取り込む。そして、ステップＳ１０３において、高輝度領域追跡部２５を制御して、撮像部５により撮影された画像の中から、周辺領域に比べて輝度の高い領域（高輝度領域、あるいは明領域）を抽出する。
【００２５】
図４は、撮像部(カメラ）５で撮影した画像の一例であり、前照灯、尾灯、これら前照灯及び尾灯の路面上での反射光、街灯、及び反射板等が画像中で明るく写り、それらの画素の輝度値が周辺領域よりも高いことが分かる。そこで、接近障害物検出装置１は、高輝度領域検出部２１によって、このように輝度値の高い領域（高輝度領域）を撮影画像より抽出する処理を行う。このとき、路面からの距離がある街灯等による所定値以上の高輝度領域は、画像中では単独で現れるので、容易に除外できる。
【００２６】
前照灯と尾灯とでは色や明るさが異なるため、高輝度領域を抽出する際、それぞれに応じた形状、例えば、尾灯の場合、光源は小さく、その路面反射の幅も細いが、前照灯の場合は光源も路面反射も大きく、後述するように、光源と路面反射とが合体していることが多い、という特徴を用いる。また、高輝度領域の抽出方法としては、例えば、撮影画像の画像信号値と所定の２値化閾値とを比較し、それにより得られた２値化画像から、所定のフィルタデータに基づいて、その２値化画像の輪郭線を抽出する。その結果、撮影画像の中の明領域が輪郭線によって囲まれる。これにより、光源と路面反射の高輝度領域を精度よく抽出することができる。なお、２値化画像の輪郭線画像は、以降の処理に使用するため、撮影画像（画像フレーム）ごとに不図示のＲＡＭ等に記憶される。
【００２７】
ステップＳ１０５では、上記のステップＳ１０３で検出された高輝度領域の形状を求める。ここで、夜間の降雨時、又は夜間の雨上がり直後の路面湿潤時に路面反射した光の特徴について説明する。路面湿潤時に路面反射した光は、正反射成分を主とするため、光源を起点として、画像を撮影しているカメラの方向に延びる縦長の楕円形に類する形状をしている。通常のカメラ画像であれば、その画像上において、光源から真下の方向に路面反射が存在する。光源とその路面反射光は、大別すると、図５（ａ）に示すように、光源４１ａ，４１ｂと路面反射４３ａ，４３ｂとが別々に（すなわち、分離して）現れる場合と、図５（ｂ），（ｃ）のように、光源４５ａ，４５ｂ，４９ａ，４９ｂと路面反射４７ａ，４７ｂ，５１ａ，５１ｂとが合体して現れる場合とがある。より詳細には、図５（ｂ）は、光源４５ａ，４５ｂと路面反射４７ａ，４７ｂとが、一部合体して現れる場合を示しており、図５（ｃ）は、光源４９ａ，４９ｂと路面反射５１ａ，５１ｂとが、すべて合体して現れる場合を示している。
【００２８】
路面湿潤時に撮影した画像中において、「光源」は円形又は円形に類似した形状で現れ、「路面反射」は、路面の形状等によりとぎれとぎれになることはあるが、概して縦長の楕円形又は縦長楕円形に類似した形状で現れる。そこで、ステップＳ１０５では、ステップＳ１０３において高輝度領域の検出処理が行われ、不図示のＲＡＭ等に記憶された、画像中において輪郭線によって囲まれた部分の形状が円形又は円形に類似した形状のもの、縦長楕円形又は縦長楕円形に類似した形状のもの、及び円形と楕円形とが上下又は左右に結合した形状のものそれぞれを抽出する。抽出された形状は、それらを抽出した画像ごとに不図示のメモリ（例えば、ＲＡＭ）等に格納される。
【００２９】
ここでは、例えば、円形又は円形に類似した形状部分を抽出する場合、画像中の、ある高輝度点を注目点として、その周囲が円形又は円形に類似した形状に明るさが変化しているかどうかを評価し、縦長楕円形状又は縦長楕円形に類似した形状部分を抽出する場合には、ある高輝度点を注目点として、その周囲が縦長の楕円形状又は縦長楕円形に類似した形状に明るさが変化しているかどうかを評価する。また、円形と楕円形との結合形状部分を抽出する場合は、ある高輝度点を注目点として、その周囲が、上部が円形で下部が縦長楕円形となって明るさが変化しているかどうかを評価する。
【００３０】
次に、ステップＳ１０７において、接近障害物検出装置１の中央制御部は、時間的に連続する所定のフレーム数（例えば、３フレーム）の撮影画像について、上述した高輝度領域の検出、及び高輝度領域の形状抽出を行ったかどうかを判断する。第１の実施形態に係る接近障害物検出装置１は、時間的に連続してカメラ画像を撮影し、撮影した各々の画像の中から光源と路面反射の高輝度領域を抽出する。このような高輝度領域検出等の対象となった撮影画像が、所定のフレーム数に達していないとステップＳ１０７で判断されれば、接近障害物検出装置１の中央制御部は、再度、処理をステップＳ１０１に戻す。そして、自車両の周囲について、既に撮影した画像と時間的に連続する次の画像を撮影する。一方、自車両周囲の撮影画像が所定のフレーム数に達していれば、処理をステップＳ１０９に進める。
【００３１】
ステップＳ１０９では、上述のように時間的に連続して撮影したカメラ画像について、高輝度領域の対応づけ（追跡処理）を行う。例えば、図４において、街灯のように小さな光源は、その特徴を把握することが難しいため、追跡処理に誤りが生ずることがある。一方、光源とその光源の路面反射は、画像特徴が大きいため、それらの追跡処理も容易になる。ここでは、形状抽出後、ＲＡＭに格納された画像ごとの高輝度領域（円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分）について、画像中での時間的な位置を追跡する。例えば、時間の先後における画像パターンの類似度を利用したり、あるいは高輝度領域の形状の類似度を利用して、画像中での円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分の位置を時間を追って追跡する。
【００３２】
ステップＳ１１３において、障害物が自車両に接近しているか否かを判定する。ここでは、上述した処理によって検出・抽出された円形状部分、縦長楕円形状部分、及び円形と縦長楕円形の結合形状部分について、円形領域が楕円形領域の直近の上部に位置しており、これら円形領域と楕円形領域が同じ動きをする場合、つまり、時間的な位置変化に類似度がある場合には、その円形領域が光源であり、楕円形領域が、その光源の路面反射であると判定する。さらに、円形と縦長楕円形の結合形状領域、又は円形領域と楕円形領域とが、時間とともに縦長の楕円形の長軸方向に移動しているかどうかを判定する。
【００３３】
ここで、抽出された円形領域と楕円形領域の時間的な位置変化について説明する。図６は、第１の実施形態に係る接近障害物検出装置１における高輝度領域の追跡処理を説明するための図である。図６は、連続する３つの時刻、すなわち時刻ｔ−１，時刻ｔ，及び時刻ｔ＋１それぞれにおいて撮影した３フレーム分の画像をもとに、時刻ｔ−１から時刻ｔの経過時、及び時刻ｔから時刻ｔ＋１の経過時それぞれにおける、画像中での高輝度領域（光源と路面反射）の位置変化を模式的に示している。
【００３４】
本実施形態に係る接近障害物検出装置１では、光源とその光源の路面反射について、路面反射の延びた形状が光源とカメラの延長線上に位置するという関係にあることに着目して、その路面反射の時間的な動きをもとに、障害物が自車両方向に近づいているか否かを判定する。例えば、図６（ｂ）に示すように、時刻ｔ−１における高輝度領域７１ａ，７１ｂの位置、時刻ｔにおける高輝度領域７３ａ，７３ｂの位置、そして、時刻ｔ＋１における高輝度領域７５ａ，７５ｂの位置の時間的な変化が、画面上において下方向（図６（ｂ）において矢印で示す、楕円形の長軸方向）に延びてきている場合、その高輝度領域である光源と、その光源の路面反射とが、撮影しているカメラの方向に向かって移動していると判断できる。
【００３５】
この場合、光源とその光源の路面反射光が撮影側（カメラ方向）に延びてきており、障害物が自車両に接近していると判定される。これは、光源とその光源の路面反射が、時間経過とともに路面反射の延びた形状の上に位置して近づいてくる場合、その光源は自車両に接近している（つまり、障害物が自車両の方向に接近している）、と特定できることに基づくものである。
【００３６】
これに対して、光源が自車両に接近するように移動していない場合には、図６（ａ）に示すように、時間の経過に伴う高輝度領域の位置変化は、図中において矢印で示すように、光源とその光源の路面反射について横方向の変化分が大きくなる。具体的には、時刻ｔ−１における高輝度領域６１ａ，６１ｂの位置、時刻ｔにおける高輝度領域６３ａ，６３ｂの位置、時刻ｔ＋１における高輝度領域６５ａ，６５ｂの位置の時間的な変化は、楕円形の長軸方向に延びておらず、光源とその光源の路面反射が、撮影しているカメラの方向に向かって移動していない。この場合、障害物は自車両の方向に接近していないと判定できる。
【００３７】
このように、画面上における路面反射の時間的な位置変化を捉え、その位置変化量において横移動が多いか、あるいは縦移動が多いかを判定する。横移動がほとんどなく、縦移動が主である場合には、その路面反射は、光源からカメラ方向（自車両方向）に向かって延びているため、何らかの障害物が自車両に接近していると判定できる。
【００３８】
ステップＳ１１５では、ステップＳ１１３における障害物の検出結果を表示部１５に表示する。具体的には、ステップＳ１１３の処理において、光源が自車両に接近していると判定された場合、その判定結果を表示部１５に可視的に表示するか、又は警報音や音声を使用して、運転者等に衝突防止警報を出す。そして、続くステップＳ１１７において、接近障害物検出装置１における障害物の検出を終了するか否かを判断する。例えば、運転者等が接近障害物検出装置１に設けられた不図示のスイッチを操作する等により、障害物の検出処理の続行を望む場合、処理をステップＳ１０１に戻し、接近障害物検出装置１による障害物検出を続行する。一方、不図示の他のスイッチ操作等によって、運転者等が障害物の検出処理の続行を望まない場合には、本処理を終了する。
【００３９】
以上説明したように、第１の実施形態に係る接近障害物検出装置では、夜間の路面湿潤時に撮影した車両周辺の画像から、光源である対向車両の前照灯が濡れた路面で反射した路面反射画像の特徴、すなわち、路面湿潤時に路面反射した光が、光源を起点として、撮影カメラの方向に延びる縦長の楕円形に類する形状を有することに着目する。そして、撮影画像において縦長楕円形で現れる路面反射部分の時間的な移動方向を求めることで、自車両に接近してくる光源、つまり自車方向に接近する障害物としての対向車両を容易に検出し、運転者等に対して、障害物が接近している旨の警告を発することができる。さらに、運転者等は、その警告内容に応じた適正な行動をとることができ、対向車両との衝突を未然に防止することが可能となる。
【００４０】
特に、光源とその光源の路面反射とが一体化している場合には、光源のみの特定は困難であるため、撮影画像において楕円形又は楕円形に類似する形状で現れる高輝度領域である路面反射について、自車両に接近してくる光源の時間的な位置変化が楕円形の長軸方向に延びるという特徴を利用することで、自車両に接近してくる障害物を確実に検出できる。よって、撮影された画像中の光源が何から発せられている光であるかが不明であっても、その光源の種類を特定することなく自車両に接近する光源（障害物）を検出できる、という効果がある。
【００４１】
＜第２の実施形態＞
以下、本発明の第２の実施形態に係る車両灯火検出装置について説明する。なお、第２の実施形態に係る車両灯火検出装置全体の構成は、図１に示す第１の実施形態に係る接近障害物検出装置と同じであるため、ここでは、その図示と説明を省略する。
【００４２】
図７は、本発明の第２の実施形態に係る車両灯火検出装置の画像処理部５０を機能毎のブロックで示したときの詳細構成を示すブロック図である。図７の高輝度領域検出部５１は、例えば、不図示の高感度カメラ、又は暗視カメラ等で撮影した夜間雨天時、又は夜間の雨上がり直後（路面湿潤時）の画像の中から、周辺領域に比べて輝度の高い領域（高輝度領域、あるいは明領域ともいう）を抽出する。なお、ここでの高輝度領域の抽出方法は、上述した第１の実施形態に係る接近障害物検出装置の高輝度領域検出部２１における方法と同じであるため、その説明を省略する。
【００４３】
形状判定部５３は、高輝度領域検出部５１で検出された高輝度領域の形状を調べる。ここでは、高輝度領域検出部５１で検出された高輝度領域（明領域）が、楕円形状を含む縦長形状もしくは縦長形状に類似した形状か否かが判定される。明暗変化検出部５５は、形状判定部５３で判定された縦長形状の高輝度領域に関し、その高輝度領域を上下方向にほぼ２分した場合の下部の明るさが、時間の経過とともに変化するかどうかを検出する。これは、第２の実施形態に係る車両灯火検出装置が、車両灯火の検出において、路面の光の反射率が路面の状況、場所等により変わり、一様ではないという特徴を有する、ということを利用していることによる。
【００４４】
路面反射部判定部５７は、明暗変化検出部５５で検出された、高輝度領域の下部分の明暗変化が非周期的に変化することを検出し、その検出結果に基づいて、高輝度領域の下部分が車両灯火の路面反射部であるか否かを判定する。そして、車両灯火検出部５９は、形状判定部５３で判定された縦長形状又は縦長形状に類似する形状を有する高輝度領域から、路面反射部判定部５７で判定した路面反射部を減じることで、車両灯火部を抽出する。
【００４５】
なお、図示を省略するが、第２の実施形態に係る車両灯火検出装置は、装置全体の制御を司る、例えばマイクロプロセッサからなる中央制御部（ＣＰＵ）と、オペレーティングシステム（ＯＳ）等の基本プログラムや車両灯火の検出制御手順を示すプログラム等が記録された記録媒体である読み取り専用メモリ（ＲＯＭ）と、車両灯火の検出制御等に用いる各種データを一時的に記憶する記憶媒体である随時読出し／書込みメモリ（ＲＡＭ）とを備える。
【００４６】
次に、第２の実施形態に係る車両灯火検出装置における画像処理及び車両灯火検出手順について説明する。図８は、第２の実施形態に係る車両灯火検出装置における車両灯火の検出手順を示すフローチャートである。車両灯火検出装置の中央制御部は、図８のステップＳ３０１で、撮像部(カメラ）によって、夜間の降雨時、又は夜間の雨上がり直後に、自車や周辺車両が移動した状態で周囲環境の画像を撮影し、ステップＳ３０３において、撮影した画像の中から、周辺領域に比べて輝度の高い領域を抽出する。上記第１の実施形態において、図４を参照して説明したのと同様、撮影された画像中で前照灯、尾灯、街灯、及び反射板等が明るく写る。そこで、車両灯火検出装置は、高輝度領域検出部５１によって、撮影画像中の輝度値の高い領域（高輝度領域）を抜き出す処理をする。
【００４７】
ステップＳ３０５では、上記のステップＳ３０３で検出された高輝度領域の形状を求める。上記第１の実施形態と同様、光源とその光源の路面反射については、図５に示す画像パターンが現れる。そこで、光源及びその光源の路面反射による高輝度領域の形状が縦長形状あるいは縦長形状に類似する形状（以降において、これらの形状を判定対象形状ともいう）かどうかを判定する。高輝度領域の形状が判定対象形状と同一であれば、続くステップＳ３０７において、上記ステップＳ３０５で判定対象形状と判定された高輝度領域について、その高輝度領域を上下方向にほぼ２分した場合の下部分の輝度の変化（明暗の変化）を検出する。
【００４８】
降雨により湿潤状態にある路面は、雨水が道路表面を覆っているため、光を反射しやすい。一方、その光の反射率は、路面形状（凹凸）、路面上に溜まる水の量、路面の傾斜、路面のざらつき、路面マーク、雨滴の状況等の影響により、場所ごとに変化する。よって、自車両や対向車両が移動すると、路面の反射状態の変化により、路面反射部分に関して、その明暗が不規則に変化する。
【００４９】
そこで、ステップＳ３０７では、車載カメラによって時間的に連続して撮影した画像のうち、所定数のフレーム画像について、それらの画像より検出された判定対象形状の部分に関し、その領域の下部の明暗の変化（その部分の時間的な輝度変化）を検出する。ここでは、例えば、判定対象形状部分の下部を所定サイズの領域に分割し、各々の領域を構成する画像群の輝度の時間的な変化を見ることで、判定対象形状部分の下部の明暗の変化を検出する。なお、判定対象形状部分の下部の明暗の変化を見るのは、判定対象形状部分（路面反射部分）の下部分以外の部分、すなわち、高輝度領域の上部分は光源（例えば、前照灯）であり、その光源は、自らが発光しているため、時間経過による明るさの変化はほとんどないためである。
【００５０】
ステップＳ３０９では、所定時間に渡り、判定対象形状部分の下部の明暗の変化を検出したか否かを判定する。例えば、撮影画像のフレーム数が、判定対象形状部分の明暗変化の検出が可能となる数に達するまで時間が経過したかどうかを判断する。所定時間が経過していない場合、処理をステップＳ３０１に戻して、自車両の周囲環境について、既に撮影した画像と時間的に連続する次の画像を撮影する。また、所定時間が経過していれば、処理を次のステップＳ３１１に進める。
【００５１】
ステップＳ３１１において、上記ステップＳ３０７で検出した明暗変化をもとに、判定対象形状部分の下部が車両灯火の路面反射部であるか否かを判定する。ここでは、上述したように、路面の反射状態の変化が不規則であるため、路面反射部の明暗の変化も周期的ではなく、非周期的に変化することに着目して、高輝度領域である判定対象形状（縦長形状部分もしくは縦長形状に類似する部分）の下部の明暗が非周期的（ランダム）に変化する場合、その判定対象形状部分の下部が他車両の車両灯火の路面反射部であると判定する。そして、続くステップＳ３１３において、高輝度領域である判定対象形状部分から、上記ステップＳ３１１で判定した判定対象形状部分の下部（つまり、路面反射部）を減じる画像処理を行う。これは、縦長形状もしくは縦長形状に類似する形状の高輝度領域画像と路面反射部画像との差分画像を求める処理である。こうすることにより、第２の実施形態に係る車両灯火検出装置では、高輝度領域である縦長形状もしくは縦長形状に類似する形状の上部を車両灯火部として抽出する。
【００５２】
なお、図８には示していないが、ステップＳ３１３での処理の後、ステップＳ３１３において車両灯火部が抽出された旨を、例えば、表示部に可視表示したり、あるいは警報音や音声によって通知するようにしてもよい。
【００５３】
このように第２の実施形態に係る車両灯火検出装置は、撮影画像中の光源とその光源の路面反射部分とをまとめた形状部分（縦長形状部分もしくは縦長形状に類似する部分）の下部、つまり路面反射部分に相当する部分の明暗が、路面反射の状態変化に応じて不規則に変わることを利用する。そこで、路面反射部分に相当する部分の時間的な明暗の変化を検出することで、車両の前照灯等の光源とその光源の路面反射とが一体化するか否かにかかわらず、夜間における雨天時又は雨上がり直後の湿潤路面を撮影した画像から高輝度領域として検出した光源とその光源の路面反射をもとに、光源（車両灯火）を容易かつ安定して検出することができる。
【符号の説明】
【００５４】
１ 接近障害物検出装置
５ 撮像部
１０，５０ 画像処理部
１５ 表示部
２１，５１ 高輝度領域検出部
２３ 形状抽出部
２５ 高輝度領域追跡部
２７ 光源・路面反射判定部
２９ 光源接近判定部
４１ａ，４１ｂ，４５ａ，４５ｂ，４９ａ，４９ｂ 光源
４３ａ，４３ｂ，４７ａ，４７ｂ，５１ａ，５１ｂ 路面反射
５３ 形状判定部
５５ 明暗変化検出部
５７ 路面反射部判定部
５９ 車両灯火検出部
【特許請求の範囲】
【請求項１】
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、
前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、
前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段と、
前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段と、
前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段と、
を備える接近障害物検出装置。
【請求項２】
前記高輝度領域追跡手段が追跡する高輝度領域は、夜間の路面湿潤時に撮影された画像中の他車両の車両灯火部と該車両灯火部の路面反射とに対応する領域であり、前記第１の形状は前記他車両の車両灯火部による高輝度領域に対応し、前記第２の形状は該他車両の車両灯火部の路面反射による高輝度領域に対応する
請求項１に記載の接近障害物検出装置。
【請求項３】
前記接近判定手段は、前記第１の形状が前記第２の形状の直近の上部に位置し、かつ、該第１の形状と該第２の形状とを結合した形状を有する前記高輝度領域が、前記車両灯火部と前記撮像手段の延長線上であって該第２の形状の長軸方向へ時間的に動く場合、該高輝度領域を形成する光源が自車両に接近すると判定する
請求項２に記載の接近障害物検出装置。
【請求項４】
前記接近判定手段によって、前記高輝度領域を形成する光源が自車両に接近すると判定された場合、所定の警告を発する手段をさらに備える
請求項１〜３のいずれかに記載の接近障害物検出装置。
【請求項５】
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、
前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、
前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段と、
前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段と、
前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段と、
前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段と、
を備える車両灯火検出装置。
【請求項６】
コンピュータを、
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段で撮影した画像の中から、周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段、
前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段、
前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段、及び
前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段
として機能させるためのプログラム。
【請求項７】
コンピュータを、
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段、
前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段、
前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段、
前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段、及び
前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段
として機能させるためのプログラム。
【請求項１】
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、
前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、
前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段と、
前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段と、
前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段と、
を備える接近障害物検出装置。
【請求項２】
前記高輝度領域追跡手段が追跡する高輝度領域は、夜間の路面湿潤時に撮影された画像中の他車両の車両灯火部と該車両灯火部の路面反射とに対応する領域であり、前記第１の形状は前記他車両の車両灯火部による高輝度領域に対応し、前記第２の形状は該他車両の車両灯火部の路面反射による高輝度領域に対応する
請求項１に記載の接近障害物検出装置。
【請求項３】
前記接近判定手段は、前記第１の形状が前記第２の形状の直近の上部に位置し、かつ、該第１の形状と該第２の形状とを結合した形状を有する前記高輝度領域が、前記車両灯火部と前記撮像手段の延長線上であって該第２の形状の長軸方向へ時間的に動く場合、該高輝度領域を形成する光源が自車両に接近すると判定する
請求項２に記載の接近障害物検出装置。
【請求項４】
前記接近判定手段によって、前記高輝度領域を形成する光源が自車両に接近すると判定された場合、所定の警告を発する手段をさらに備える
請求項１〜３のいずれかに記載の接近障害物検出装置。
【請求項５】
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段と、
前記撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段と、
前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段と、
前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段と、
前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段と、
前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段と、
を備える車両灯火検出装置。
【請求項６】
コンピュータを、
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段で撮影した画像の中から、周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段、
前記高輝度領域検出手段で検出された高輝度領域の外形形状を抽出する形状抽出手段、
前記形状抽出手段で抽出された外形形状のうち、円形もしくは円形に類似した形状からなる第１の形状、縦長楕円形もしくは縦長楕円形に類似した形状からなる第２の形状、又は前記第１の形状と前記第２の形状とが上下又は左右に結合した形状からなる第３の形状を有する高輝度領域について、前記撮影された画像中における時間経過に伴う位置及び動きを追跡する高輝度領域追跡手段、及び
前記高輝度領域追跡手段で追跡された前記高輝度領域の位置及び動きの時間的な変化に基づいて、該高輝度領域を形成する光源が自車両に接近するか否かを判定する接近判定手段
として機能させるためのプログラム。
【請求項７】
コンピュータを、
夜間の路面湿潤時の自車両周辺の画像を撮影する撮影手段で撮影した画像の中から周辺画素よりも所定値以上輝度の高い画素群からなる高輝度領域を検出する高輝度領域検出手段、
前記高輝度領域検出手段で検出された高輝度領域が縦長形状もしくは縦長形状に類似した形状からなる判定対象形状か否かを判定する形状判定手段、
前記形状判定手段により前記高輝度領域の形状が前記判定対象形状と判定された場合、該高輝度領域を上下に２分したときの下部の明暗の時間的な変化を検出する明暗変化検出手段、
前記明暗変化検出手段により検出された前記下部の明暗の変化が時間的に不規則に変化する場合、該下部を他車両の車両灯火部の路面反射部と判定する灯火路面反射部判定手段、及び
前記形状判定手段によって判定された前記判定対象形状部分と、前記灯火路面反射部判定手段によって判定された前記路面反射部との差分をとって、前記他車両の車両灯火部を抽出する車両灯火部抽出手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【公開番号】特開２０１３−２５５６８（Ｐ２０１３−２５５６８Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９８２８（Ｐ２０１１−１５９８２８）
【出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]