信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法
【課題】前方画像中における信号機の認識を高い精度と処理速度で実現する。
【解決手段】前方画像中で赤色点で認識される複数の信号候補点Ｐ１〜Ｐ５を検出し、そのうち赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点Ｐ２を検出し、これら信号確定点Ｐ２と複数の信号候補点Ｐ１，Ｐ３〜Ｐ５間の幾何的な配置関係を解析した候補点パターンデータを生成、記憶する。同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータと、その時点で検出した信号候補点Ｐ１〜Ｐ５の集合に対して候補点パターンの配置と大きさを照合して当てはめることで、候補点パターンデータ中に設定された信号確定点Ｐ２に対応する信号候補点を、実際の信号機の表示位置を示す信号点として認識できる。
【解決手段】前方画像中で赤色点で認識される複数の信号候補点Ｐ１〜Ｐ５を検出し、そのうち赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点Ｐ２を検出し、これら信号確定点Ｐ２と複数の信号候補点Ｐ１，Ｐ３〜Ｐ５間の幾何的な配置関係を解析した候補点パターンデータを生成、記憶する。同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータと、その時点で検出した信号候補点Ｐ１〜Ｐ５の集合に対して候補点パターンの配置と大きさを照合して当てはめることで、候補点パターンデータ中に設定された信号確定点Ｐ２に対応する信号候補点を、実際の信号機の表示位置を示す信号点として認識できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両を含めた移動体の前方画像を解析処理することにより信号機を認識する信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法に関する。
【背景技術】
【０００２】
近年では、車両に搭載されたカメラで進行方向の前方画像を撮像し、その前方画像を解析処理することで当該車両の進行方向の信号機を認識する技術が利用されている。そして、その認識処理の精度と処理速度をさらに向上させるための技術も提案されている。
【０００３】
例えば、特許文献１に記載されているように、信号機の詳細な設置位置や設置高さ等を含む３次元の配置データをデータベースに登録し、自車両の現在位置とカメラの撮像方位との３次元的な位置関係に基づいて前方画像中における信号機の認識領域を算出する。これにより画像を解析処理する領域を絞り込めるため、信号機を認識する精度と処理速度を向上できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら現在のＧＰＳなどによる測位精度や、カメラの撮像素子の画素数の制限や取り付け誤差などにより、自車両の現在位置とカメラの撮像方位を十分高い精度で検出することは困難であり、上記従来技術によって前方画像中における信号機の認識領域を正確に算出することは実使用上では難しい。そのため、自車両の現在位置とカメラの撮像方位に多少の誤差がある場合でも、前方画像中における信号機の認識を高い精度と処理速度で実現できる技術が要望されていた。
【０００６】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶手段と、当該移動体の現在の測位情報に対応する前記候補点パターンデータを前記記憶手段から取得し、当該移動体から撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶手段から取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【０００８】
上記課題を解決するために、請求項９記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶させるよう外部の記憶装置に送信する送信手段と、を有する。
【０００９】
上記課題を解決するために、請求項１０記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信手段と、前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【００１０】
上記課題を解決するために、請求項１１記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、当該移動体の現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【００１１】
上記課題を解決するために、請求項１２記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信工程と、前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【図面の簡単な説明】
【００１２】
【図１】本発明の信号機認識装置を搭載した車両の構成例の一例を示す斜視図である。
【図２】実施形態の信号機認識装置のシステム構成の一例を示すブロック図である。
【図３】フロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図４】信号候補点を検出した図３中の候補点検出領域のみを拡大して表した図の一例である。
【図５】図４中の信号候補点だけを表した図の一例である。
【図６】信号機の点灯の切り替わりによる信号確定点の検出を説明する図である。
【図７】信号候補点の配置関係を２点間距離の比で解析する手法を説明する図である。
【図８】信号候補点の配置関係を２点間の相対ベクトルデータで解析する手法を説明する図である。
【図９】各信号候補点の識別をそれぞれの大きさの比で特定する手法を説明する図である。
【図１０】候補点パターンデータの生成、記録、取得、及び照合を行う測位条件を説明する図である。
【図１１】イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートである。
【図１２】車線消失点を説明する図である。
【図１３】車線消失点を利用した信号候補点の配置関係の解析手法の一例を説明する図である。
【図１４】ハイマウントストップランプを信号候補点として検出した場合の一例である。
【図１５】その他変形例の場合の信号機認識装置を搭載した車両の構成例を示す斜視図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面を参照しつつ説明する。
【００１４】
図１は、本実施形態の信号機認識装置を搭載した車両の構成例を示す斜視図である。この図１において、信号機認識装置Ｓは、車両Ｖの車内におけるルームミラー１０１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの前方画像を撮像可能な姿勢で取り付けられている。
【００１５】
図２は、信号機認識装置Ｓのハードウェア構成例を示すブロック図である。この図２において、信号機認識装置Ｓは、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
【００１６】
フロントカメラ１は例えばＣＣＤ撮像素子などを利用して、上述した当該車両Ｖの前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
【００１７】
ディスプレイ３は、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づいて前方画像を表示する機能を有する。
【００１８】
イメージングユニット２は、ＣＰＵ１１、記憶装置１２、ナビゲーション装置１３、車速センサ１４、グラフィックコントローラ１５を有している。
【００１９】
ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置Ｓ全体を制御する機能を有する。
【００２０】
記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは記憶手段に相当し、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【００２１】
ナビゲーション装置１３は、ＧＰＳセンサ（特に図示せず）を利用して車両Ｖの現在位置及び進行方向を含む測位情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【００２２】
車速センサ１４は、自車の走行速度を検出する機能（言い換えれば走行していることを検出する機能）を有する。ＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該自動車が走行中の状態であるか、停止中の状態であるかを識別することができる。
【００２３】
グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ナビゲーション装置１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。
【００２４】
以下、本実施形態の信号機認識装置Ｓによる信号機の認識手法について詳細に説明する。
【００２５】
図３は、上記図１に示したフロントカメラ１が撮像した前方画像のディスプレイ３での表示例を表している。この図３において、図示する表示例では、信号機が赤色点灯している交差点前で車列を形成して停止している状態の前方画像を示している。運転者はこのような信号待ちの時間を利用して前方の車窓景色から目を離し、ナビゲーション機能によって地図を参照したり他の機器の操作を行いたい場合がある。そこで本実施形態の信号機認識装置は、運転者に代わって信号機の赤色点灯から青色点灯への切り替わりを監視し、青色点灯した際に画像や音声で信号機の点灯の切り替わりを報知したり、地図表示を停止するなどの処理を行う。
【００２６】
そのために信号機認識装置Ｓは、信号機の点灯の切り替わりを十分な反応速度で検出できるよう、前方画像中における信号機の表示箇所を信号点として認識し、当該信号点の位置に絞り込んで点灯の切り替えを集中的に監視する。本実施形態の信号機認識装置Ｓでは、上記信号点の絞り込みとして前方画像中に表示される赤色点を公知の色認識処理により検出する。本実施形態では、この色認識処理を行う際、ムダな処理を回避して処理速度を向上させるために、前方画像中において信号機が表示され得る領域、例えば地平線より上方で上記車両軸方向Ｄｖを中心とした左右方向範囲の所定の領域（図中の破線枠の領域；以下、候補点検出領域Ｒという）においてのみ色認識処理を行う。
【００２７】
しかし、交差点の周囲には、信号機以外にも赤色の表示部分を有する標識や看板などの赤色表示物が多数存在する場合がある。このため、候補点検出領域Ｒのみを拡大した図４に示すように、当該候補点検出領域Ｒ中に表示されるこれら全ての赤色表示物が、上記色認識処理によって信号機の赤色点灯と同等に検出される。なお、図示するような各信号候補点の表示を実際にディスプレイ３の前方画像中において行ってもよいし、または表示しなくともよい。
【００２８】
本実施形態では、まず最初に車両より撮影された前方画像中の赤色表示物と信号機の赤色点灯は、一般的な色認識処理により赤色で構成される領域である赤色点として認識される。この赤色点を全て信号候補点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５として検出し、図５に示すように候補点検出領域Ｒにおける信号候補点それぞれの中心位置と大きさを記憶する。この時点では、信号機認識装置Ｓはどの信号候補点が実際の信号機の赤色点灯に相当するかを認識できない。しかしその後に、図６に示すように信号機が青色点灯に切り替わることで、複数ある信号候補点Ｐ１〜Ｐ５のいずれかの赤色点が消灯し、その近傍位置（ほとんどの場合は左側の近傍）で青色点を認識できる。このように赤色点の消灯と近傍位置の青色点の点灯がほぼ同時に認識された信号候補点（図示する例ではＰ２）は、実際の信号機に対応する信号確定点として設定される。
【００２９】
本実施形態では、これら複数の信号候補点Ｐ１，Ｐ３〜Ｐ５と信号確定点Ｐ２との間の幾何的な配置関係を解析し、その解析データを候補点パターンデータとして生成する。この候補点パターンデータが示す信号候補点Ｐ１〜Ｐ５（信号確定点Ｐ２を含む）どうしの幾何的な配置関係は、状況によらず常に概略的に相似の関係となる。つまり、同じ交差点に対し同じ進入方向で進入する場合であれば、色認識処理により検出される候補点パターンは、車両Ｖから当該交差点までの距離や車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらずあらかじめ生成された候補点パターンデータと常に概略的に相似の関係となる。
【００３０】
本実施形態では、この性質を利用して候補点検出領域Ｒ中に表示される信号機を迅速に認識する。すなわち、同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータを取得し、その時点で検出した信号候補点の集合Ｐ１〜Ｐ５に対して候補点パターンの配置と大きさを照合して当てはめる。これにより、候補点パターンデータ中に設定された信号確定点に対応する信号候補点Ｐ２を、実際の信号機の表示位置を示す信号点として認識できる。
【００３１】
候補点パターンデータを生成する際には、検出された複数の信号候補点の全てに対して赤色点の消灯とそれぞれの近傍位置の青色点の点灯の同時認識を監視し、いずれか１つを信号確定点に設定する必要がある。このため、負荷の高い色認識処理を複数箇所で長時間継続されるとともに、青色点灯に切り替わるまで実際の信号機を認識できない。しかし、同じ状況での候補点パターンデータがあらかじめ生成されていれば、その時点で検出された信号候補点の集合に当該候補点パターンデータを照合して当てはめるだけですぐに信号確定点に対応する実際の信号機を認識できる。その後は、認識した信号機の信号点位置だけを絞り込んで監視すればよく、その点灯の切り替わりを低負荷の処理で迅速に検出できる。
【００３２】
ここで、上記候補点パターンデータの生成において各信号候補点間の幾何的な配置関係を解析する手法についていくつか例示する。
【００３３】
まず、図７は、各信号候補点間の距離（ピクセル単位）の比で配置関係を解析する手法である。図示する例では、最も短いＰ３とＰ５の間の距離を１として、他の組み合わせの２点間の距離の比をそれぞれ算出して候補点パターンデータを構成する。これによれば、複数の信号候補点Ｐ１〜Ｐ５間の配置関係を簡易なデータ構成で記憶でき、信号候補点Ｐ１〜Ｐ５を検出した際の車両Ｖから交差点までの距離にかかわらず、配置パターンは相似の関係となる。
【００３４】
また、図８に示すように、各２点間の配置関係をそれぞれ相対ベクトルで解析する手法もある（図中ではＰ１→Ｐ２間の
のみ図示）。これによれば、各２点間の上下及び左右の配置関係まで相対ベクトルデータで特定できるため、信号候補点の検出数が少ない場合でも認識精度を上げることができる。
【００３５】
また、図９に示すように、各信号候補点Ｐ１〜Ｐ５の大きさの比で各点の識別精度を向上させる手法がある。これによれば、例えば複数の信号候補点がほぼ同一直線上で等間隔に配置されている場合（特に図示せず）などでも、それぞれの大きさの比を照合することで候補点パターンを適切な位置で当てはめることができる。また、大きさの異なる信号候補点が少なくとも２点あれば、幾何的な配置関係を考慮せずともそれらの大きさの比を照合するだけで信号確定点に対応する信号機の信号点を認識することもできる。
【００３６】
また、車両Ｖが交差点に近づくにしたがって、車両Ｖから遠くに位置する赤色表示物よりも車両Ｖの近くに位置する赤色表示物の方が大きく移動して見える。このため、車両Ｖの近くに位置する赤色表示物の信号候補点ほど、車両Ｖから交差点までの距離の変化に応じて候補点配置パターンとのズレが大きくなる。また、例えば大型車両が前方に待機している場合には信号候補点の一部が一時的に検出できなかったり、もしくは看板などの新設や撤去により赤色点が増減する場合がある。
【００３７】
これらの場合にも候補点パターンデータを適切に照合できるよう、候補点パターンデータは修正を繰り返して最適化可能に構成される。例えば、候補点パターンデータに各信号候補点のそれぞれの過去の検出回数や位置のズレ量などを含む履歴データを記録し、照合時には各点の検出信頼性や位置の許容誤差を参照できるようにする。少なくともその周囲に検出信頼性の高い信号候補点が２点（計３点）あれば、信号確定点を十分特定できる。また、許容誤差が大きい信号候補点ほど車両Ｖの近くに位置する赤色表示物と見なし、それを考慮した候補点パターンの当てはめが可能となる。
【００３８】
なお、以上に例示した解析手法を適宜複合して実施してもよい。これらは本実施形態への適用に好適なものであるが、これら以外にも例えば所定の信号候補点を頂点として他の２つの信号候補点の間の角度を利用して解析したり（図示省略）、または公知のパターン認識に用いられる解析手法などを利用してもよい。
【００３９】
以上のように生成、修正される候補点パターンデータは、同じ交差点に対する同じ進入方向に対して適用できる。このため、候補点パターンデータは、上記ナビゲーション装置１３のＧＰＳセンサから取得する現在位置及び進行方向を含む測位情報に対応して記憶、照合される。例えば、車両Ｖの現在地の表示例を表す図１０において、車両ＶがノードＡの交差点からノードＢの交差点へ向かう進行方向の経路上で生成、記憶した候補点パターンデータは、同じようにノードＡの交差点からノードＢの交差点へ向かう進行方向の経路上で取得、照合される。あるいは、ナビゲーション装置１３の地図情報を参照することで、候補点パターンデータを、前記測位情報の代わりに、例えば交差点名称などの交差点情報及びそれに向かう進行方向情報に対応して記録、照合させてもよい。また、本実施形態の例では、交差点の前で赤信号待ちをしている状態を信号機認識条件とし、この信号機認識条件を満たす場合に候補点パターンデータの生成と照合を行うが、例えば撮像が安定して行える速度以下で走行していることを信号識別条件としてもよい。
【００４０】
なお一般的に信号機がＬＥＤ式の場合、実際の信号機の点灯は５０Ｈｚまたは６０Ｈｚの周波数での点滅状態となっている。このためフロントカメラ１が撮像する際のフレームレートとの関係により、信号機が消灯している瞬間に撮像される場合がある。このような場合に備えてフロントカメラ１は上記周波数と異なる周期で複数回連続して撮像を行い、信号機認識装置Ｓはフロントカメラ１により撮影された複数の画像を監視し、信号機が点灯している瞬間の画像データを基にその後の処理を行うこととしてもよい。
【００４１】
図１１は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートである。なお、このフローは、当該車両Ｖの走行中でフロントカメラ１が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
【００４２】
図１１において、まずステップＳ５において、上記ナビゲーション装置１２から取得される測位情報や地図情報、及び上記車速センサ１４で検出される車両Ｖの停止状態などから、上述した信号機認識条件を満たしているか否かを判定する。信号機認識条件を満たしていない場合、判定は満たされず、そのままこのフローを終了する。
【００４３】
一方、信号機認識条件を満たしている場合、判定が満たされ、ステップＳ１０へ移る。
【００４４】
ステップＳ１０では、ナビゲーション装置１２から取得される測位情報に対応する候補点パターンデータがすでに記憶媒体１２ｃに記憶されているか否かを判定する。対応する候補点パターンデータがまだ生成、記憶されていない場合、判定は満たされず、ステップＳ１５へ移る。
【００４５】
ステップＳ１５では、現在フロントカメラ１で撮像している前方画像の画像データを記憶装置１２（ＲＡＭ１２ｂ）に取り込む。
【００４６】
次にステップＳ２０へ移り、上記ステップＳ１５で取り込んだ前方画像のうちの候補点検出領域Ｒ中で、色認識処理により赤色点を信号候補点として検出する。なお、このステップＳ２０の手順が、各請求項記載の信号候補点検出手段又は信号候補点検出工程に相当する。
【００４７】
次にステップＳ２５へ移り、上記ステップＳ２０で検出した全ての信号候補点に対し、その赤色点の消灯とその近傍位置の青色点灯を監視する。
【００４８】
次にステップＳ３０へ移り、いずれかの信号候補点においてその赤色点の消灯とその近傍位置の青色点灯が確認されたか否かを判定する。確認されていない場合、判定は満たされず、ステップＳ２５に戻り同様の手順を繰り返す。
【００４９】
一方、いずれかの信号候補点においてその赤色点の消灯とその近傍位置の青色点灯が確認された場合、判定が満たされ、ステップＳ３５へ移る。
【００５０】
ステップＳ３５では、上記ステップＳ３０で赤色点の消灯とその近傍位置の青色点灯が確認された信号候補点を信号確定点として設定する。
【００５１】
次に、ステップＳ４０へ移り、上述した解析手法によって信号確定点及びその他信号候補点の幾何的な配置関係や各赤色点の大きさを解析して候補点パターンデータを生成し、ナビゲーション装置１２から取得される測位情報に対応させて記憶する。そして、このフローを終了する。なお、上記のステップＳ２５〜ステップＳ４０の手順が、各請求項記載の候補点パターンデータ生成手段又は候補点パターンデータ生成工程に相当し、ステップＳ４０の手順が、各請求項記載の記憶工程に相当する。
【００５２】
また一方、上記ステップＳ１０の判定において、ナビゲーション装置１２から取得される測位情報に対応した候補点パターンデータがすでに記憶媒体１２ｃに記憶されている場合、判定が満たされ、ステップＳ４５へ移る。
【００５３】
ステップＳ４５では、上記ステップＳ１０で対応しているとみなされた候補点パターンデータを記憶媒体１２ｃから取得する。
【００５４】
次に、ステップＳ５０へ移り、現在フロントカメラ１で撮像している前方画像の画像データを記憶装置１２（ＲＡＭ１２ｂ）に取り込む。
【００５５】
次にステップＳ５５へ移り、上記ステップＳ５０で取り込んだ前方画像のうちの候補点検出領域Ｒ中で、色認識処理により赤色点を信号候補点として検出する。なお、このステップＳ５５の手順も、各請求項記載の信号候補点検出手段又は信号候補点検出工程に相当する。
【００５６】
次に、ステップＳ６０へ移り、上記ステップＳ５５で検出した信号候補点と上記ステップＳ４５で取得した候補点パターンデータとを照合する。この照合においては、ステップ５５で検出した信号候補点とＳ４５で取得した候補点パターンデータが全体あるいは部分的に相似する箇所を探したり、後述する信号候補点の大きさの比や、信号候補点間の相対ベクトルデータ、候補点パターンデータの履歴データを利用して、候補点パターンデータに全体あるいは部分的に対応する信号候補点があるかどうかを調べる。
【００５７】
次に、ステップＳ６５へ移り、上記ステップＳ６０での照合で、現在の前方画像上で検出した信号候補点が候補点パターンデータに一致するか否かを判定する。なお、すべての信号候補点間の幾何的な配置関係がほぼ相似の関係にあれば完全一致しているとみなし、ステップＳ７５へ移る。一部の信号候補点間の幾何的な配置関係がほぼ相似の関係にあれば部分一致しているとみなし、ステップＳ７０へ移る。部分一致となるケースは、例えば、候補点パターンデータとして登録されている赤い標識が、現在の前方画像には前方に停車中の大型車両の死角に入って写っていなかったり、あるいは、候補点パターンデータを生成、記録する際に、たまたま前方に停車中の車両のテールランプが登録されていた場合などが考えられる。一致する信号候補点が存在しない場合はステップＳ２５へ移り、各信号候補点の消灯とその近傍の青色点灯を監視する。
【００５８】
ステップＳ７０では、上記ステップＳ６５で判定された部分一致の内容に応じて、候補点パターンデータの履歴データを更新する。ここで、例えば候補点パターンデータの中で一致しなかった信号候補点に関する検出信頼性を減じて記録したり、今回の信号との候補点とのズレ量を記録してもよい。この候補点パターンデータの履歴データは、ステップＳ６０の照合の際に、信号候補パターンデータの中のどの信号候補点の一致を優先するかの判断材料としてもよい。そして、ステップＳ７５へ移る。
【００５９】
一方、上記ステップＳ６５の判定において、現在の前方画像上で検出した信号候補点が候補点パターンデータに完全一致する場合、判定が満たされ、そのままステップＳ７５へ移る。
【００６０】
ステップＳ７５では、上記ステップＳ６０での照合に基づいて、現在の前方画像中で検出された信号候補点に候補点パターンデータの信号候補点の位置及び大きさを調整して当てはめる。このとき、上記ステップＳ５５で検出された一部又は全ての信号候補点間の幾何的な配置関係が、上記履歴データによる補足も含めつつ候補点パターンデータとほぼ相似の関係にある。そのため、その時点の交差点までの距離の遠近や移動体が走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、候補点パターンデータを適切に当てはめることができる。
【００６１】
次に、ステップＳ８０へ移り、候補点パターンデータの信号確定点に対応する信号候補点を信号点として認識する。なお、上記のステップＳ６０〜ステップＳ８０の手順が、各請求項記載の信号機認識手段又は信号機認識工程に相当する。
【００６２】
次に、ステップＳ８５へ移り、上記ステップＳ８０で認識した信号点の信号機に対して、その赤色点の消灯とその近傍位置の青色点灯を監視する。
【００６３】
次にステップＳ９０へ移り、監視対象の信号点におけるその赤色点の消灯とその近傍位置の青色点灯が確認されたか否かを判定する。確認されていない場合、判定は満たされず、ステップＳ８５に戻り同様の手順を繰り返す。
【００６４】
一方、監視対象の信号点においてその赤色点の消灯とその近傍位置の青色点灯が確認された場合、判定が満たされ、ステップＳ９５へ移る。
【００６５】
ステップＳ９５では、前方の信号機が青点灯に切り替わったことをディスプレイ３での画像表示、または特に図示しないスピーカでの音声などによって運転者に報知する。そして、このフローを終了する。
【００６６】
以上説明したように、上記実施形態の信号機認識装置Ｓにおいては、車両Ｖから撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該車両Ｖの測位情報に対応して前記候補点パターンデータを記憶する記憶媒体１２ｃ（記憶手段に相当）と、当該車両Ｖの現在の測位情報に対応する前記候補点パターンデータを前記記憶媒体１２ｃから取得し、当該車両Ｖから撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶媒体１２ｃから取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【００６７】
また、上記実施形態の信号機認識装置Ｓが実行する信号機認識方法においては、車両Ｖから撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、前記前方画像を撮像した際の当該車両Ｖの測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、当該車両Ｖの現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【００６８】
このようにすると、同じ交差点に対し同じ進入方向で進入する場合であれば、前方画像中で検出される信号候補点の配置パターンは、車両Ｖから当該交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらずあらかじめ生成された候補点パターンデータと常に概略的に相似する。この性質を利用して、同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータと、その時点で検出した信号候補点の集合に対して候補点パターンの配置と大きさを照合して当てはめることができる。これにより、候補点パターンデータ中に設定された信号確定点に対応する信号候補点を、実際の信号機の表示位置を示す信号点として認識できる。
【００６９】
このようにして本実施形態の信号機認識装置Ｓは、候補点パターンデータがあらかじめ生成された交差点の信号機に対しては、その時点で検出された信号候補点に当該候補点パターンデータを照合して当てはめるだけで信号確定点に対応する実際の信号機を迅速に認識できる。つまり、車両Ｖと交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、前方画像中における信号機の認識を高い精度と処理速度で実現できる。
【００７０】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点間の距離の比を含んで構成される。
【００７１】
このようにすると、複数の信号候補点間の配置関係を簡易なデータ構成で記憶でき、信号候補点を検出した際の車両Ｖと交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、配置パターンの相似性にも対応しやすい。
【００７２】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点の大きさの比を含んで構成される。
【００７３】
このようにすると、車両Ｖから交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、複数の信号候補点の各点の識別精度が向上し、候補点パターンデータを照合して当てはめる精度が向上する。また、全ての信号候補点の大きさが異なっていれば、少なくとも２点以上で幾何的な配置関係を考慮せずともそれらの大きさの比を照合するだけで信号確定点に対応する信号機の信号点を認識することもできる。
【００７４】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点間の相対ベクトルデータを含んで構成される。
【００７５】
このようにすると、各２点間の上下及び左右の配置関係まで相対ベクトルデータで特定できるため、信号確定点の検出数が少ない場合でも認識精度を上げることができる。
【００７６】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、修正を繰り返して最適化できるよう参照可能な履歴データを含んで構成される。
【００７７】
このようにすると、信号候補点の検出の過不足やズレ量などにも対処して適切に照合できるよう、候補点パターンデータを最適化できる。
【００７８】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記前方画像中で信号機が表示され得る候補点検出領域Ｒにおいてだけ前記複数の信号候補点を検出する。
【００７９】
このようにすると、信号候補点である赤色点を色認識処理で検出する際に、その大きな負荷処理を行う対象をできるだけ低減させてムダな処理を回避し、処理速度を向上できる。
【００８０】
なお、上記実施形態では、候補点パターンデータを時間帯の区別に関係なく同じものを利用していた。しかし、昼間の明るい時間帯と、夜間の暗い時間帯とでは、信号候補点の検出に差が生じる場合がある。具体的には、電灯である信号機は昼夜のいずれも検出できるが、例えば夜間のみ点灯する赤色発光のネオン管を利用した看板があったり、逆にヘッドライトの光が十分に当たらないほど遠くに位置する赤色表示物は昼間だけ検出可能であったりする。この点を考慮して信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、時間帯別、季節別、または天候別の少なくともいずれか一つ対応して生成、適用されるようにしてもよい。
【００８１】
また、上記実施形態では、候補点パターンデータを生成する際、又は照合する際の信号候補点を、信号機の赤色点灯と同じ赤色点だけで検出していた。しかし、候補点パターンデータの照合時には、信号機の青色点灯も同様に信号候補点として検出可能とし、候補点パターンデータ中の信号確定点の近傍に位置する青色点も信号機の信号点として認識できるようにしてもよい。このようにすると、青信号中で停止することなく交差点へ向かっている場合も上述した信号機認識条件に含めることができ、手前の信号機を迅速に認識して黄色点灯及び赤色点灯への切り替わりを自動的に検出してシステムの制御に利用することができる。また、候補点パターンデータの生成時やその履歴データの更新時などにも青色点の信号候補点を参照可能としてもよい。
【００８２】
また、信号確定点を含めた信号候補点の集合の配置パターンは、車線消失点位置に大きく関係している。車線消失点Ｐｖとは、例えば図１２に示すように、前方画像中において自車両Ｖが走行している車線の無限遠方点に相当する点である。車線消失点Ｐｖを検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線、路面と縁石との境界線およびアスファルト道路の縁部の少なくとも一つを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における車線消失点Ｐｖとして検出される。図１２に示すように、走行車線がカーブ状の場合であっても、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐｖとして検出される。
【００８３】
以上のようにして検出される車線消失点Ｐｖは、信号候補点の集合の配置パターンにおける相対的な配置原点として利用できる。例えば、図１３に示すように、各信号候補点Ｐ１〜Ｐ５の配置関係をそれぞれ車線消失点Ｐｖとの２点間の距離の比で解析して候補点パターンデータを生成してもよいし、または２点間の相対ベクトルデータを含めてもよい。このようにすると、候補点パターンデータの照合当てはめが容易となる。
【００８４】
また、図１４に示すように、自車両Ｖの前方を走行する前方車両ＶｆのハイマウントストップランプＨも赤色点であるため、信号候補点として検出されやすい。これに対して、前方画像中において、ハイマウントストップランプＨが表示され得る領域Ｒｈを候補点検出領域Ｒから除外したり、または履歴データからハイマウントストップランプＨに対応する信号候補点を予測できるようにしてもよい。
【００８５】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【００８６】
（１）候補点パターンデータを外部のデータベースに記憶させる場合
上記実施形態では、当該信号機認識装置Ｓが自ら生成した候補点パターンデータを、その内部に備えた記憶媒体１２ｃに記憶させて照合に利用するいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図１５に示すように、信号機認識装置Ｓ２が無線通信装置とアンテナを備え、中継局２３との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベース２５（外部の記憶装置に相当）に候補点パターンデータを記憶させるいわゆるクラウド型としてもよい。
【００８７】
この場合には、上記図１１のフローにおけるステップＳ４０の手順で、生成した候補点パターンデータをデータセンター２４へ送信して記録させる処理を行う。また、ステップＳ１０での判定手順やステップＳ４５での取得手順では、データセンター２４に対して所望の候補点パターンデータをリクエストする処理と、受信する処理とを行う。
【００８８】
これにより、多数の信号機認識装置Ｓ２がそれぞれ各所の交差点で生成した候補点パターンデータを互いに共有することができ、履歴データの更新機会も増えて最適化の効率も向上できる。さらに、多数の信号機認識装置Ｓ２が生成した候補点パターンデータを共有して利用すれば、初めて訪れる交差点でも信号機認識をすることができる。
【００８９】
また、データセンター２４においては、候補点パターンデータをデータベース２５に記憶させるだけでなく、データセンター２４内に別途設けた演算装置によって信号機認識に関する演算の一部を信号機認識装置Ｓ２の代わりに行うようにしてもよい。例えば、信号機認識装置Ｓ２が上記図１１のフローにおけるステップＳ３５の信号確定点の設定までを行った後に、前方画像やそこから検出した信号候補点及び信号確定点を測位情報とともにデータセンター２４へ送信する。そして、それらを受信したデータセンター２４内の演算装置が、ステップＳ４０と同等に候補点パターンデータの生成を行い、データベース２５に記憶させる。または、信号機認識装置Ｓ２がステップＳ５０で撮像した前方画像を測位情報とともにデータセンター２４へ送信し、それを受信したデータセンター２４内の演算装置（信号機認識手段に相当）がステップＳ５５〜ステップＳ７５と同等に信号確定点に対応する信号候補点の算出までを行って信号機認識装置Ｓ２へ返信する。
【００９０】
このようにすることで、信号機認識装置Ｓ２の処理負担を大幅に軽減させることができ、またデータセンター２４も各候補点パターンデータの履歴データまでを一括管理できる。
【００９１】
（２）候補点パターンデータの生成、送信、記録に特化させる場合
上記実施形態及び上記第１変形例は、いずれも候補点パターンデータの生成と照合の両方の機能を有していたが、本発明はこれに限られない。例えば、候補点パターンデータの生成と、データセンター２４への送信、記録のみに特化した構成としてもよい。
【００９２】
この場合には、上記図１１のフローにおけるステップＳ５の判定を満足した際に、ステップＳ１０を省略してそのままステップＳ１５以降の手順を実行すればよく、その他のステップＳ４５以降の手順が不要となる。なお本変形例の場合も、ステップＳ４０の手順で、生成した候補点パターンデータをデータセンター２４へ送信して記録させる処理を行う。このステップＳ４０の手順が、各請求項記載の送信手段に相当する。
【００９３】
このようにすると、候補点パターンデータの生成と送信記録に特化した簡易な構成の信号機認識装置Ｓ２を実現できる。この構成は、例えば信号機情報収集用の調査車両への適用などが考えられる。これにより生成、送信記録された候補点パターンデータは、例えば、以下に説明する候補点パターンデータの受信と照合による信号機の認識に特化した簡易な構成の信号機認識装置で利用できるように共有されることが望ましい。
【００９４】
（３）候補点パターンデータの受信、照合に特化させる場合
上記第１変形例は、候補点パターンデータの生成と、データセンター２４への送信、記録のみに特化した構成であったが、逆に候補点パターンデータの受信と照合のみに特化した構成としてもよい。
【００９５】
この場合には、ステップＳ１０での判定手順やステップＳ４５での取得手順で、データセンター２４に対して所望の候補点パターンデータをリクエストする処理と、受信する処理とを行う。なお、このステップＳ４５の手順が、各請求項記載の受信手段に相当する。また、ステップＳ１０の判定を満足しなかった場合には、運転者にデータがない旨を報知してそのままフローを終了すればよい。
【００９６】
このようにすると、候補点パターンデータの受信と照合による信号機の認識に特化した簡易な構成の信号機認識装置Ｓ２を実現できる。さらに、前述の信号機情報収集用の調査車両ならびに他の移動体により生成された候補点パターンデータを受信、照合することで、初めて訪れる交差点でも信号機認識をすることができる。
【００９７】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【００９８】
１ フロントカメラ
２ イメージングユニット
３ ディスプレイ
１１ ＣＰＵ
１２ｃ 記憶媒体（記憶手段に相当）
１３ ナビゲーション装置
１５ グラフィックコントローラ
２４ データセンター
２５ データベース（外部の記憶装置に相当）
Ｄｃ 撮像方向
Ｄｖ 車両軸方向
Ｌｒ 車線輪郭線
Ｐ１〜Ｐ４ 信号候補点
Ｐ２ 信号確定点
Ｐｖ 車線消失点
Ｒ 候補点検出領域
Ｓ，Ｓ２ 信号機認識装置
Ｖ 車両
【技術分野】
【０００１】
本発明は、車両を含めた移動体の前方画像を解析処理することにより信号機を認識する信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法に関する。
【背景技術】
【０００２】
近年では、車両に搭載されたカメラで進行方向の前方画像を撮像し、その前方画像を解析処理することで当該車両の進行方向の信号機を認識する技術が利用されている。そして、その認識処理の精度と処理速度をさらに向上させるための技術も提案されている。
【０００３】
例えば、特許文献１に記載されているように、信号機の詳細な設置位置や設置高さ等を含む３次元の配置データをデータベースに登録し、自車両の現在位置とカメラの撮像方位との３次元的な位置関係に基づいて前方画像中における信号機の認識領域を算出する。これにより画像を解析処理する領域を絞り込めるため、信号機を認識する精度と処理速度を向上できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら現在のＧＰＳなどによる測位精度や、カメラの撮像素子の画素数の制限や取り付け誤差などにより、自車両の現在位置とカメラの撮像方位を十分高い精度で検出することは困難であり、上記従来技術によって前方画像中における信号機の認識領域を正確に算出することは実使用上では難しい。そのため、自車両の現在位置とカメラの撮像方位に多少の誤差がある場合でも、前方画像中における信号機の認識を高い精度と処理速度で実現できる技術が要望されていた。
【０００６】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶手段と、当該移動体の現在の測位情報に対応する前記候補点パターンデータを前記記憶手段から取得し、当該移動体から撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶手段から取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【０００８】
上記課題を解決するために、請求項９記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶させるよう外部の記憶装置に送信する送信手段と、を有する。
【０００９】
上記課題を解決するために、請求項１０記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信手段と、前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【００１０】
上記課題を解決するために、請求項１１記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、当該移動体の現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【００１１】
上記課題を解決するために、請求項１２記載の発明は、移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信工程と、前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【図面の簡単な説明】
【００１２】
【図１】本発明の信号機認識装置を搭載した車両の構成例の一例を示す斜視図である。
【図２】実施形態の信号機認識装置のシステム構成の一例を示すブロック図である。
【図３】フロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図４】信号候補点を検出した図３中の候補点検出領域のみを拡大して表した図の一例である。
【図５】図４中の信号候補点だけを表した図の一例である。
【図６】信号機の点灯の切り替わりによる信号確定点の検出を説明する図である。
【図７】信号候補点の配置関係を２点間距離の比で解析する手法を説明する図である。
【図８】信号候補点の配置関係を２点間の相対ベクトルデータで解析する手法を説明する図である。
【図９】各信号候補点の識別をそれぞれの大きさの比で特定する手法を説明する図である。
【図１０】候補点パターンデータの生成、記録、取得、及び照合を行う測位条件を説明する図である。
【図１１】イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートである。
【図１２】車線消失点を説明する図である。
【図１３】車線消失点を利用した信号候補点の配置関係の解析手法の一例を説明する図である。
【図１４】ハイマウントストップランプを信号候補点として検出した場合の一例である。
【図１５】その他変形例の場合の信号機認識装置を搭載した車両の構成例を示す斜視図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面を参照しつつ説明する。
【００１４】
図１は、本実施形態の信号機認識装置を搭載した車両の構成例を示す斜視図である。この図１において、信号機認識装置Ｓは、車両Ｖの車内におけるルームミラー１０１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの前方画像を撮像可能な姿勢で取り付けられている。
【００１５】
図２は、信号機認識装置Ｓのハードウェア構成例を示すブロック図である。この図２において、信号機認識装置Ｓは、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
【００１６】
フロントカメラ１は例えばＣＣＤ撮像素子などを利用して、上述した当該車両Ｖの前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
【００１７】
ディスプレイ３は、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づいて前方画像を表示する機能を有する。
【００１８】
イメージングユニット２は、ＣＰＵ１１、記憶装置１２、ナビゲーション装置１３、車速センサ１４、グラフィックコントローラ１５を有している。
【００１９】
ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置Ｓ全体を制御する機能を有する。
【００２０】
記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは記憶手段に相当し、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【００２１】
ナビゲーション装置１３は、ＧＰＳセンサ（特に図示せず）を利用して車両Ｖの現在位置及び進行方向を含む測位情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【００２２】
車速センサ１４は、自車の走行速度を検出する機能（言い換えれば走行していることを検出する機能）を有する。ＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該自動車が走行中の状態であるか、停止中の状態であるかを識別することができる。
【００２３】
グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ナビゲーション装置１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。
【００２４】
以下、本実施形態の信号機認識装置Ｓによる信号機の認識手法について詳細に説明する。
【００２５】
図３は、上記図１に示したフロントカメラ１が撮像した前方画像のディスプレイ３での表示例を表している。この図３において、図示する表示例では、信号機が赤色点灯している交差点前で車列を形成して停止している状態の前方画像を示している。運転者はこのような信号待ちの時間を利用して前方の車窓景色から目を離し、ナビゲーション機能によって地図を参照したり他の機器の操作を行いたい場合がある。そこで本実施形態の信号機認識装置は、運転者に代わって信号機の赤色点灯から青色点灯への切り替わりを監視し、青色点灯した際に画像や音声で信号機の点灯の切り替わりを報知したり、地図表示を停止するなどの処理を行う。
【００２６】
そのために信号機認識装置Ｓは、信号機の点灯の切り替わりを十分な反応速度で検出できるよう、前方画像中における信号機の表示箇所を信号点として認識し、当該信号点の位置に絞り込んで点灯の切り替えを集中的に監視する。本実施形態の信号機認識装置Ｓでは、上記信号点の絞り込みとして前方画像中に表示される赤色点を公知の色認識処理により検出する。本実施形態では、この色認識処理を行う際、ムダな処理を回避して処理速度を向上させるために、前方画像中において信号機が表示され得る領域、例えば地平線より上方で上記車両軸方向Ｄｖを中心とした左右方向範囲の所定の領域（図中の破線枠の領域；以下、候補点検出領域Ｒという）においてのみ色認識処理を行う。
【００２７】
しかし、交差点の周囲には、信号機以外にも赤色の表示部分を有する標識や看板などの赤色表示物が多数存在する場合がある。このため、候補点検出領域Ｒのみを拡大した図４に示すように、当該候補点検出領域Ｒ中に表示されるこれら全ての赤色表示物が、上記色認識処理によって信号機の赤色点灯と同等に検出される。なお、図示するような各信号候補点の表示を実際にディスプレイ３の前方画像中において行ってもよいし、または表示しなくともよい。
【００２８】
本実施形態では、まず最初に車両より撮影された前方画像中の赤色表示物と信号機の赤色点灯は、一般的な色認識処理により赤色で構成される領域である赤色点として認識される。この赤色点を全て信号候補点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５として検出し、図５に示すように候補点検出領域Ｒにおける信号候補点それぞれの中心位置と大きさを記憶する。この時点では、信号機認識装置Ｓはどの信号候補点が実際の信号機の赤色点灯に相当するかを認識できない。しかしその後に、図６に示すように信号機が青色点灯に切り替わることで、複数ある信号候補点Ｐ１〜Ｐ５のいずれかの赤色点が消灯し、その近傍位置（ほとんどの場合は左側の近傍）で青色点を認識できる。このように赤色点の消灯と近傍位置の青色点の点灯がほぼ同時に認識された信号候補点（図示する例ではＰ２）は、実際の信号機に対応する信号確定点として設定される。
【００２９】
本実施形態では、これら複数の信号候補点Ｐ１，Ｐ３〜Ｐ５と信号確定点Ｐ２との間の幾何的な配置関係を解析し、その解析データを候補点パターンデータとして生成する。この候補点パターンデータが示す信号候補点Ｐ１〜Ｐ５（信号確定点Ｐ２を含む）どうしの幾何的な配置関係は、状況によらず常に概略的に相似の関係となる。つまり、同じ交差点に対し同じ進入方向で進入する場合であれば、色認識処理により検出される候補点パターンは、車両Ｖから当該交差点までの距離や車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらずあらかじめ生成された候補点パターンデータと常に概略的に相似の関係となる。
【００３０】
本実施形態では、この性質を利用して候補点検出領域Ｒ中に表示される信号機を迅速に認識する。すなわち、同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータを取得し、その時点で検出した信号候補点の集合Ｐ１〜Ｐ５に対して候補点パターンの配置と大きさを照合して当てはめる。これにより、候補点パターンデータ中に設定された信号確定点に対応する信号候補点Ｐ２を、実際の信号機の表示位置を示す信号点として認識できる。
【００３１】
候補点パターンデータを生成する際には、検出された複数の信号候補点の全てに対して赤色点の消灯とそれぞれの近傍位置の青色点の点灯の同時認識を監視し、いずれか１つを信号確定点に設定する必要がある。このため、負荷の高い色認識処理を複数箇所で長時間継続されるとともに、青色点灯に切り替わるまで実際の信号機を認識できない。しかし、同じ状況での候補点パターンデータがあらかじめ生成されていれば、その時点で検出された信号候補点の集合に当該候補点パターンデータを照合して当てはめるだけですぐに信号確定点に対応する実際の信号機を認識できる。その後は、認識した信号機の信号点位置だけを絞り込んで監視すればよく、その点灯の切り替わりを低負荷の処理で迅速に検出できる。
【００３２】
ここで、上記候補点パターンデータの生成において各信号候補点間の幾何的な配置関係を解析する手法についていくつか例示する。
【００３３】
まず、図７は、各信号候補点間の距離（ピクセル単位）の比で配置関係を解析する手法である。図示する例では、最も短いＰ３とＰ５の間の距離を１として、他の組み合わせの２点間の距離の比をそれぞれ算出して候補点パターンデータを構成する。これによれば、複数の信号候補点Ｐ１〜Ｐ５間の配置関係を簡易なデータ構成で記憶でき、信号候補点Ｐ１〜Ｐ５を検出した際の車両Ｖから交差点までの距離にかかわらず、配置パターンは相似の関係となる。
【００３４】
また、図８に示すように、各２点間の配置関係をそれぞれ相対ベクトルで解析する手法もある（図中ではＰ１→Ｐ２間の
のみ図示）。これによれば、各２点間の上下及び左右の配置関係まで相対ベクトルデータで特定できるため、信号候補点の検出数が少ない場合でも認識精度を上げることができる。
【００３５】
また、図９に示すように、各信号候補点Ｐ１〜Ｐ５の大きさの比で各点の識別精度を向上させる手法がある。これによれば、例えば複数の信号候補点がほぼ同一直線上で等間隔に配置されている場合（特に図示せず）などでも、それぞれの大きさの比を照合することで候補点パターンを適切な位置で当てはめることができる。また、大きさの異なる信号候補点が少なくとも２点あれば、幾何的な配置関係を考慮せずともそれらの大きさの比を照合するだけで信号確定点に対応する信号機の信号点を認識することもできる。
【００３６】
また、車両Ｖが交差点に近づくにしたがって、車両Ｖから遠くに位置する赤色表示物よりも車両Ｖの近くに位置する赤色表示物の方が大きく移動して見える。このため、車両Ｖの近くに位置する赤色表示物の信号候補点ほど、車両Ｖから交差点までの距離の変化に応じて候補点配置パターンとのズレが大きくなる。また、例えば大型車両が前方に待機している場合には信号候補点の一部が一時的に検出できなかったり、もしくは看板などの新設や撤去により赤色点が増減する場合がある。
【００３７】
これらの場合にも候補点パターンデータを適切に照合できるよう、候補点パターンデータは修正を繰り返して最適化可能に構成される。例えば、候補点パターンデータに各信号候補点のそれぞれの過去の検出回数や位置のズレ量などを含む履歴データを記録し、照合時には各点の検出信頼性や位置の許容誤差を参照できるようにする。少なくともその周囲に検出信頼性の高い信号候補点が２点（計３点）あれば、信号確定点を十分特定できる。また、許容誤差が大きい信号候補点ほど車両Ｖの近くに位置する赤色表示物と見なし、それを考慮した候補点パターンの当てはめが可能となる。
【００３８】
なお、以上に例示した解析手法を適宜複合して実施してもよい。これらは本実施形態への適用に好適なものであるが、これら以外にも例えば所定の信号候補点を頂点として他の２つの信号候補点の間の角度を利用して解析したり（図示省略）、または公知のパターン認識に用いられる解析手法などを利用してもよい。
【００３９】
以上のように生成、修正される候補点パターンデータは、同じ交差点に対する同じ進入方向に対して適用できる。このため、候補点パターンデータは、上記ナビゲーション装置１３のＧＰＳセンサから取得する現在位置及び進行方向を含む測位情報に対応して記憶、照合される。例えば、車両Ｖの現在地の表示例を表す図１０において、車両ＶがノードＡの交差点からノードＢの交差点へ向かう進行方向の経路上で生成、記憶した候補点パターンデータは、同じようにノードＡの交差点からノードＢの交差点へ向かう進行方向の経路上で取得、照合される。あるいは、ナビゲーション装置１３の地図情報を参照することで、候補点パターンデータを、前記測位情報の代わりに、例えば交差点名称などの交差点情報及びそれに向かう進行方向情報に対応して記録、照合させてもよい。また、本実施形態の例では、交差点の前で赤信号待ちをしている状態を信号機認識条件とし、この信号機認識条件を満たす場合に候補点パターンデータの生成と照合を行うが、例えば撮像が安定して行える速度以下で走行していることを信号識別条件としてもよい。
【００４０】
なお一般的に信号機がＬＥＤ式の場合、実際の信号機の点灯は５０Ｈｚまたは６０Ｈｚの周波数での点滅状態となっている。このためフロントカメラ１が撮像する際のフレームレートとの関係により、信号機が消灯している瞬間に撮像される場合がある。このような場合に備えてフロントカメラ１は上記周波数と異なる周期で複数回連続して撮像を行い、信号機認識装置Ｓはフロントカメラ１により撮影された複数の画像を監視し、信号機が点灯している瞬間の画像データを基にその後の処理を行うこととしてもよい。
【００４１】
図１１は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートである。なお、このフローは、当該車両Ｖの走行中でフロントカメラ１が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
【００４２】
図１１において、まずステップＳ５において、上記ナビゲーション装置１２から取得される測位情報や地図情報、及び上記車速センサ１４で検出される車両Ｖの停止状態などから、上述した信号機認識条件を満たしているか否かを判定する。信号機認識条件を満たしていない場合、判定は満たされず、そのままこのフローを終了する。
【００４３】
一方、信号機認識条件を満たしている場合、判定が満たされ、ステップＳ１０へ移る。
【００４４】
ステップＳ１０では、ナビゲーション装置１２から取得される測位情報に対応する候補点パターンデータがすでに記憶媒体１２ｃに記憶されているか否かを判定する。対応する候補点パターンデータがまだ生成、記憶されていない場合、判定は満たされず、ステップＳ１５へ移る。
【００４５】
ステップＳ１５では、現在フロントカメラ１で撮像している前方画像の画像データを記憶装置１２（ＲＡＭ１２ｂ）に取り込む。
【００４６】
次にステップＳ２０へ移り、上記ステップＳ１５で取り込んだ前方画像のうちの候補点検出領域Ｒ中で、色認識処理により赤色点を信号候補点として検出する。なお、このステップＳ２０の手順が、各請求項記載の信号候補点検出手段又は信号候補点検出工程に相当する。
【００４７】
次にステップＳ２５へ移り、上記ステップＳ２０で検出した全ての信号候補点に対し、その赤色点の消灯とその近傍位置の青色点灯を監視する。
【００４８】
次にステップＳ３０へ移り、いずれかの信号候補点においてその赤色点の消灯とその近傍位置の青色点灯が確認されたか否かを判定する。確認されていない場合、判定は満たされず、ステップＳ２５に戻り同様の手順を繰り返す。
【００４９】
一方、いずれかの信号候補点においてその赤色点の消灯とその近傍位置の青色点灯が確認された場合、判定が満たされ、ステップＳ３５へ移る。
【００５０】
ステップＳ３５では、上記ステップＳ３０で赤色点の消灯とその近傍位置の青色点灯が確認された信号候補点を信号確定点として設定する。
【００５１】
次に、ステップＳ４０へ移り、上述した解析手法によって信号確定点及びその他信号候補点の幾何的な配置関係や各赤色点の大きさを解析して候補点パターンデータを生成し、ナビゲーション装置１２から取得される測位情報に対応させて記憶する。そして、このフローを終了する。なお、上記のステップＳ２５〜ステップＳ４０の手順が、各請求項記載の候補点パターンデータ生成手段又は候補点パターンデータ生成工程に相当し、ステップＳ４０の手順が、各請求項記載の記憶工程に相当する。
【００５２】
また一方、上記ステップＳ１０の判定において、ナビゲーション装置１２から取得される測位情報に対応した候補点パターンデータがすでに記憶媒体１２ｃに記憶されている場合、判定が満たされ、ステップＳ４５へ移る。
【００５３】
ステップＳ４５では、上記ステップＳ１０で対応しているとみなされた候補点パターンデータを記憶媒体１２ｃから取得する。
【００５４】
次に、ステップＳ５０へ移り、現在フロントカメラ１で撮像している前方画像の画像データを記憶装置１２（ＲＡＭ１２ｂ）に取り込む。
【００５５】
次にステップＳ５５へ移り、上記ステップＳ５０で取り込んだ前方画像のうちの候補点検出領域Ｒ中で、色認識処理により赤色点を信号候補点として検出する。なお、このステップＳ５５の手順も、各請求項記載の信号候補点検出手段又は信号候補点検出工程に相当する。
【００５６】
次に、ステップＳ６０へ移り、上記ステップＳ５５で検出した信号候補点と上記ステップＳ４５で取得した候補点パターンデータとを照合する。この照合においては、ステップ５５で検出した信号候補点とＳ４５で取得した候補点パターンデータが全体あるいは部分的に相似する箇所を探したり、後述する信号候補点の大きさの比や、信号候補点間の相対ベクトルデータ、候補点パターンデータの履歴データを利用して、候補点パターンデータに全体あるいは部分的に対応する信号候補点があるかどうかを調べる。
【００５７】
次に、ステップＳ６５へ移り、上記ステップＳ６０での照合で、現在の前方画像上で検出した信号候補点が候補点パターンデータに一致するか否かを判定する。なお、すべての信号候補点間の幾何的な配置関係がほぼ相似の関係にあれば完全一致しているとみなし、ステップＳ７５へ移る。一部の信号候補点間の幾何的な配置関係がほぼ相似の関係にあれば部分一致しているとみなし、ステップＳ７０へ移る。部分一致となるケースは、例えば、候補点パターンデータとして登録されている赤い標識が、現在の前方画像には前方に停車中の大型車両の死角に入って写っていなかったり、あるいは、候補点パターンデータを生成、記録する際に、たまたま前方に停車中の車両のテールランプが登録されていた場合などが考えられる。一致する信号候補点が存在しない場合はステップＳ２５へ移り、各信号候補点の消灯とその近傍の青色点灯を監視する。
【００５８】
ステップＳ７０では、上記ステップＳ６５で判定された部分一致の内容に応じて、候補点パターンデータの履歴データを更新する。ここで、例えば候補点パターンデータの中で一致しなかった信号候補点に関する検出信頼性を減じて記録したり、今回の信号との候補点とのズレ量を記録してもよい。この候補点パターンデータの履歴データは、ステップＳ６０の照合の際に、信号候補パターンデータの中のどの信号候補点の一致を優先するかの判断材料としてもよい。そして、ステップＳ７５へ移る。
【００５９】
一方、上記ステップＳ６５の判定において、現在の前方画像上で検出した信号候補点が候補点パターンデータに完全一致する場合、判定が満たされ、そのままステップＳ７５へ移る。
【００６０】
ステップＳ７５では、上記ステップＳ６０での照合に基づいて、現在の前方画像中で検出された信号候補点に候補点パターンデータの信号候補点の位置及び大きさを調整して当てはめる。このとき、上記ステップＳ５５で検出された一部又は全ての信号候補点間の幾何的な配置関係が、上記履歴データによる補足も含めつつ候補点パターンデータとほぼ相似の関係にある。そのため、その時点の交差点までの距離の遠近や移動体が走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、候補点パターンデータを適切に当てはめることができる。
【００６１】
次に、ステップＳ８０へ移り、候補点パターンデータの信号確定点に対応する信号候補点を信号点として認識する。なお、上記のステップＳ６０〜ステップＳ８０の手順が、各請求項記載の信号機認識手段又は信号機認識工程に相当する。
【００６２】
次に、ステップＳ８５へ移り、上記ステップＳ８０で認識した信号点の信号機に対して、その赤色点の消灯とその近傍位置の青色点灯を監視する。
【００６３】
次にステップＳ９０へ移り、監視対象の信号点におけるその赤色点の消灯とその近傍位置の青色点灯が確認されたか否かを判定する。確認されていない場合、判定は満たされず、ステップＳ８５に戻り同様の手順を繰り返す。
【００６４】
一方、監視対象の信号点においてその赤色点の消灯とその近傍位置の青色点灯が確認された場合、判定が満たされ、ステップＳ９５へ移る。
【００６５】
ステップＳ９５では、前方の信号機が青点灯に切り替わったことをディスプレイ３での画像表示、または特に図示しないスピーカでの音声などによって運転者に報知する。そして、このフローを終了する。
【００６６】
以上説明したように、上記実施形態の信号機認識装置Ｓにおいては、車両Ｖから撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、前記前方画像を撮像した際の当該車両Ｖの測位情報に対応して前記候補点パターンデータを記憶する記憶媒体１２ｃ（記憶手段に相当）と、当該車両Ｖの現在の測位情報に対応する前記候補点パターンデータを前記記憶媒体１２ｃから取得し、当該車両Ｖから撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶媒体１２ｃから取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、を有する。
【００６７】
また、上記実施形態の信号機認識装置Ｓが実行する信号機認識方法においては、車両Ｖから撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、前記前方画像を撮像した際の当該車両Ｖの測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、当該車両Ｖの現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、を有する。
【００６８】
このようにすると、同じ交差点に対し同じ進入方向で進入する場合であれば、前方画像中で検出される信号候補点の配置パターンは、車両Ｖから当該交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらずあらかじめ生成された候補点パターンデータと常に概略的に相似する。この性質を利用して、同じ交差点に対する同じ進入方向に対応してあらかじめ生成、記憶しておいた候補点パターンデータと、その時点で検出した信号候補点の集合に対して候補点パターンの配置と大きさを照合して当てはめることができる。これにより、候補点パターンデータ中に設定された信号確定点に対応する信号候補点を、実際の信号機の表示位置を示す信号点として認識できる。
【００６９】
このようにして本実施形態の信号機認識装置Ｓは、候補点パターンデータがあらかじめ生成された交差点の信号機に対しては、その時点で検出された信号候補点に当該候補点パターンデータを照合して当てはめるだけで信号確定点に対応する実際の信号機を迅速に認識できる。つまり、車両Ｖと交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、前方画像中における信号機の認識を高い精度と処理速度で実現できる。
【００７０】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点間の距離の比を含んで構成される。
【００７１】
このようにすると、複数の信号候補点間の配置関係を簡易なデータ構成で記憶でき、信号候補点を検出した際の車両Ｖと交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、配置パターンの相似性にも対応しやすい。
【００７２】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点の大きさの比を含んで構成される。
【００７３】
このようにすると、車両Ｖから交差点までの距離の遠近や当該車両Ｖが走行するレーンの違いや撮像方向Ｄｃの多少の違いに係わらず、複数の信号候補点の各点の識別精度が向上し、候補点パターンデータを照合して当てはめる精度が向上する。また、全ての信号候補点の大きさが異なっていれば、少なくとも２点以上で幾何的な配置関係を考慮せずともそれらの大きさの比を照合するだけで信号確定点に対応する信号機の信号点を認識することもできる。
【００７４】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、前記前方画像中における前記複数の信号候補点間の相対ベクトルデータを含んで構成される。
【００７５】
このようにすると、各２点間の上下及び左右の配置関係まで相対ベクトルデータで特定できるため、信号確定点の検出数が少ない場合でも認識精度を上げることができる。
【００７６】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、修正を繰り返して最適化できるよう参照可能な履歴データを含んで構成される。
【００７７】
このようにすると、信号候補点の検出の過不足やズレ量などにも対処して適切に照合できるよう、候補点パターンデータを最適化できる。
【００７８】
また、信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記前方画像中で信号機が表示され得る候補点検出領域Ｒにおいてだけ前記複数の信号候補点を検出する。
【００７９】
このようにすると、信号候補点である赤色点を色認識処理で検出する際に、その大きな負荷処理を行う対象をできるだけ低減させてムダな処理を回避し、処理速度を向上できる。
【００８０】
なお、上記実施形態では、候補点パターンデータを時間帯の区別に関係なく同じものを利用していた。しかし、昼間の明るい時間帯と、夜間の暗い時間帯とでは、信号候補点の検出に差が生じる場合がある。具体的には、電灯である信号機は昼夜のいずれも検出できるが、例えば夜間のみ点灯する赤色発光のネオン管を利用した看板があったり、逆にヘッドライトの光が十分に当たらないほど遠くに位置する赤色表示物は昼間だけ検出可能であったりする。この点を考慮して信号機認識装置Ｓにおいては、上述した構成に加えてさらに、前記候補点パターンデータが、時間帯別、季節別、または天候別の少なくともいずれか一つ対応して生成、適用されるようにしてもよい。
【００８１】
また、上記実施形態では、候補点パターンデータを生成する際、又は照合する際の信号候補点を、信号機の赤色点灯と同じ赤色点だけで検出していた。しかし、候補点パターンデータの照合時には、信号機の青色点灯も同様に信号候補点として検出可能とし、候補点パターンデータ中の信号確定点の近傍に位置する青色点も信号機の信号点として認識できるようにしてもよい。このようにすると、青信号中で停止することなく交差点へ向かっている場合も上述した信号機認識条件に含めることができ、手前の信号機を迅速に認識して黄色点灯及び赤色点灯への切り替わりを自動的に検出してシステムの制御に利用することができる。また、候補点パターンデータの生成時やその履歴データの更新時などにも青色点の信号候補点を参照可能としてもよい。
【００８２】
また、信号確定点を含めた信号候補点の集合の配置パターンは、車線消失点位置に大きく関係している。車線消失点Ｐｖとは、例えば図１２に示すように、前方画像中において自車両Ｖが走行している車線の無限遠方点に相当する点である。車線消失点Ｐｖを検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線、路面と縁石との境界線およびアスファルト道路の縁部の少なくとも一つを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における車線消失点Ｐｖとして検出される。図１２に示すように、走行車線がカーブ状の場合であっても、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐｖとして検出される。
【００８３】
以上のようにして検出される車線消失点Ｐｖは、信号候補点の集合の配置パターンにおける相対的な配置原点として利用できる。例えば、図１３に示すように、各信号候補点Ｐ１〜Ｐ５の配置関係をそれぞれ車線消失点Ｐｖとの２点間の距離の比で解析して候補点パターンデータを生成してもよいし、または２点間の相対ベクトルデータを含めてもよい。このようにすると、候補点パターンデータの照合当てはめが容易となる。
【００８４】
また、図１４に示すように、自車両Ｖの前方を走行する前方車両ＶｆのハイマウントストップランプＨも赤色点であるため、信号候補点として検出されやすい。これに対して、前方画像中において、ハイマウントストップランプＨが表示され得る領域Ｒｈを候補点検出領域Ｒから除外したり、または履歴データからハイマウントストップランプＨに対応する信号候補点を予測できるようにしてもよい。
【００８５】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【００８６】
（１）候補点パターンデータを外部のデータベースに記憶させる場合
上記実施形態では、当該信号機認識装置Ｓが自ら生成した候補点パターンデータを、その内部に備えた記憶媒体１２ｃに記憶させて照合に利用するいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図１５に示すように、信号機認識装置Ｓ２が無線通信装置とアンテナを備え、中継局２３との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベース２５（外部の記憶装置に相当）に候補点パターンデータを記憶させるいわゆるクラウド型としてもよい。
【００８７】
この場合には、上記図１１のフローにおけるステップＳ４０の手順で、生成した候補点パターンデータをデータセンター２４へ送信して記録させる処理を行う。また、ステップＳ１０での判定手順やステップＳ４５での取得手順では、データセンター２４に対して所望の候補点パターンデータをリクエストする処理と、受信する処理とを行う。
【００８８】
これにより、多数の信号機認識装置Ｓ２がそれぞれ各所の交差点で生成した候補点パターンデータを互いに共有することができ、履歴データの更新機会も増えて最適化の効率も向上できる。さらに、多数の信号機認識装置Ｓ２が生成した候補点パターンデータを共有して利用すれば、初めて訪れる交差点でも信号機認識をすることができる。
【００８９】
また、データセンター２４においては、候補点パターンデータをデータベース２５に記憶させるだけでなく、データセンター２４内に別途設けた演算装置によって信号機認識に関する演算の一部を信号機認識装置Ｓ２の代わりに行うようにしてもよい。例えば、信号機認識装置Ｓ２が上記図１１のフローにおけるステップＳ３５の信号確定点の設定までを行った後に、前方画像やそこから検出した信号候補点及び信号確定点を測位情報とともにデータセンター２４へ送信する。そして、それらを受信したデータセンター２４内の演算装置が、ステップＳ４０と同等に候補点パターンデータの生成を行い、データベース２５に記憶させる。または、信号機認識装置Ｓ２がステップＳ５０で撮像した前方画像を測位情報とともにデータセンター２４へ送信し、それを受信したデータセンター２４内の演算装置（信号機認識手段に相当）がステップＳ５５〜ステップＳ７５と同等に信号確定点に対応する信号候補点の算出までを行って信号機認識装置Ｓ２へ返信する。
【００９０】
このようにすることで、信号機認識装置Ｓ２の処理負担を大幅に軽減させることができ、またデータセンター２４も各候補点パターンデータの履歴データまでを一括管理できる。
【００９１】
（２）候補点パターンデータの生成、送信、記録に特化させる場合
上記実施形態及び上記第１変形例は、いずれも候補点パターンデータの生成と照合の両方の機能を有していたが、本発明はこれに限られない。例えば、候補点パターンデータの生成と、データセンター２４への送信、記録のみに特化した構成としてもよい。
【００９２】
この場合には、上記図１１のフローにおけるステップＳ５の判定を満足した際に、ステップＳ１０を省略してそのままステップＳ１５以降の手順を実行すればよく、その他のステップＳ４５以降の手順が不要となる。なお本変形例の場合も、ステップＳ４０の手順で、生成した候補点パターンデータをデータセンター２４へ送信して記録させる処理を行う。このステップＳ４０の手順が、各請求項記載の送信手段に相当する。
【００９３】
このようにすると、候補点パターンデータの生成と送信記録に特化した簡易な構成の信号機認識装置Ｓ２を実現できる。この構成は、例えば信号機情報収集用の調査車両への適用などが考えられる。これにより生成、送信記録された候補点パターンデータは、例えば、以下に説明する候補点パターンデータの受信と照合による信号機の認識に特化した簡易な構成の信号機認識装置で利用できるように共有されることが望ましい。
【００９４】
（３）候補点パターンデータの受信、照合に特化させる場合
上記第１変形例は、候補点パターンデータの生成と、データセンター２４への送信、記録のみに特化した構成であったが、逆に候補点パターンデータの受信と照合のみに特化した構成としてもよい。
【００９５】
この場合には、ステップＳ１０での判定手順やステップＳ４５での取得手順で、データセンター２４に対して所望の候補点パターンデータをリクエストする処理と、受信する処理とを行う。なお、このステップＳ４５の手順が、各請求項記載の受信手段に相当する。また、ステップＳ１０の判定を満足しなかった場合には、運転者にデータがない旨を報知してそのままフローを終了すればよい。
【００９６】
このようにすると、候補点パターンデータの受信と照合による信号機の認識に特化した簡易な構成の信号機認識装置Ｓ２を実現できる。さらに、前述の信号機情報収集用の調査車両ならびに他の移動体により生成された候補点パターンデータを受信、照合することで、初めて訪れる交差点でも信号機認識をすることができる。
【００９７】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【００９８】
１ フロントカメラ
２ イメージングユニット
３ ディスプレイ
１１ ＣＰＵ
１２ｃ 記憶媒体（記憶手段に相当）
１３ ナビゲーション装置
１５ グラフィックコントローラ
２４ データセンター
２５ データベース（外部の記憶装置に相当）
Ｄｃ 撮像方向
Ｄｖ 車両軸方向
Ｌｒ 車線輪郭線
Ｐ１〜Ｐ４ 信号候補点
Ｐ２ 信号確定点
Ｐｖ 車線消失点
Ｒ 候補点検出領域
Ｓ，Ｓ２ 信号機認識装置
Ｖ 車両
【特許請求の範囲】
【請求項１】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶手段と、
当該移動体の現在の測位情報に対応する前記候補点パターンデータを前記記憶手段から取得し、当該移動体から撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶手段から取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、
を有することを特徴とする信号機認識装置。
【請求項２】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点間の距離の比を含んで構成されることを特徴とする請求項１記載の信号機認識装置。
【請求項３】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点の大きさの比を含んで構成されることを特徴とする請求項１又は２記載の信号機認識装置。
【請求項４】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点間の相対ベクトルデータを含んで構成されることを特徴とする請求項１乃至３のいずれか１項に記載の信号機認識装置。
【請求項５】
前記候補点パターンデータは、修正を繰り返して最適化できるよう参照可能な履歴データを含んで構成されることを特徴とする請求項１乃至４のいずれか１項に記載の信号機認識装置。
【請求項６】
前記候補点パターンデータは、時間帯別、季節別、または天候別の少なくともいずれか一つ対応して生成、適用されることを特徴とする請求項１乃至５のいずれか１項に記載の信号機認識装置。
【請求項７】
信号候補点検出手段は、前記前方画像中で信号機が表示され得る領域においてだけ前記複数の信号候補点を検出することを特徴とする請求項１乃至６のいずれか１項に記載の信号機認識装置。
【請求項８】
前記信号候補点検出手段は青色点も認識可能であり、前記信号機認識手段は、その照合時において前記候補点パターンデータ中の前記信号確定点の近傍に位置する青色点も信号機として認識することを特徴とする請求項１乃至７のいずれか１項に記載の信号機認識装置。
【請求項９】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶させるよう外部の記憶装置に送信する送信手段と、
を有することを特徴とする候補点パターン送信装置。
【請求項１０】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信手段と、
前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、
を有することを特徴とする候補点パターン受信装置。
【請求項１１】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、
当該移動体の現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、
を有することを特徴とする信号機認識方法。
【請求項１２】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、
前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信工程と、
前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、
を有することを特徴とする候補点パターン受信方法。
【請求項１】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶手段と、
当該移動体の現在の測位情報に対応する前記候補点パターンデータを前記記憶手段から取得し、当該移動体から撮像された現在の前方画像において前記信号候補点検出手段により検出した信号候補点に対し、前記記憶手段から取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、
を有することを特徴とする信号機認識装置。
【請求項２】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点間の距離の比を含んで構成されることを特徴とする請求項１記載の信号機認識装置。
【請求項３】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点の大きさの比を含んで構成されることを特徴とする請求項１又は２記載の信号機認識装置。
【請求項４】
前記候補点パターンデータは、前記前方画像中における前記複数の信号候補点間の相対ベクトルデータを含んで構成されることを特徴とする請求項１乃至３のいずれか１項に記載の信号機認識装置。
【請求項５】
前記候補点パターンデータは、修正を繰り返して最適化できるよう参照可能な履歴データを含んで構成されることを特徴とする請求項１乃至４のいずれか１項に記載の信号機認識装置。
【請求項６】
前記候補点パターンデータは、時間帯別、季節別、または天候別の少なくともいずれか一つ対応して生成、適用されることを特徴とする請求項１乃至５のいずれか１項に記載の信号機認識装置。
【請求項７】
信号候補点検出手段は、前記前方画像中で信号機が表示され得る領域においてだけ前記複数の信号候補点を検出することを特徴とする請求項１乃至６のいずれか１項に記載の信号機認識装置。
【請求項８】
前記信号候補点検出手段は青色点も認識可能であり、前記信号機認識手段は、その照合時において前記候補点パターンデータ中の前記信号確定点の近傍に位置する青色点も信号機として認識することを特徴とする請求項１乃至７のいずれか１項に記載の信号機認識装置。
【請求項９】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成手段と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶させるよう外部の記憶装置に送信する送信手段と、
を有することを特徴とする候補点パターン送信装置。
【請求項１０】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出手段と、
前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信手段と、
前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識手段と、
を有することを特徴とする候補点パターン受信装置。
【請求項１１】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、
前記複数の信号候補点のいずれかにおいてその赤色点の消灯とともに近傍位置での青色点の点灯が認識される信号確定点を検出するとともに、前記前方画像中における当該信号確定点を含めた前記複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを生成する候補点パターンデータ生成工程と、
前記前方画像を撮像した際の当該移動体の測位情報に対応して前記候補点パターンデータを記憶する記憶工程と、
当該移動体の現在の測位情報に対応する前記候補点パターンデータを取得し、移動体から撮像された現在の前方画像において前記信号候補点検出工程により検出した信号候補点に対し、取得した候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、
を有することを特徴とする信号機認識方法。
【請求項１２】
移動体から撮像された前方画像において赤色点で認識される複数の信号候補点を検出する信号候補点検出工程と、
前記移動体または当該移動体とは異なる他の移動体が生成し、信号確定点を含めた複数の信号候補点間の幾何的な配置関係を解析した候補点パターンデータを、前記前方画像を撮像した際の当該移動体の測位情報に対応して外部の記憶装置から受信する受信工程と、
前記信号候補点検出手段により検出した信号候補点に対し、前記受信手段で受信した前記候補点パターンデータを照合して当てはめ、当該候補点パターンデータ中の前記信号確定点に対応する信号候補点を信号機として認識する信号機認識工程と、
を有することを特徴とする候補点パターン受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４５１７６（Ｐ２０１３−４５１７６Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８０８３８（Ｐ２０１１−１８０８３８）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]