信号機検出装置、信号機検出方法及びプログラム
【課題】自車両前方の信号機を正確に検出することが可能な信号機検出装置、信号機検出方法及びプログラムを提供する。
【解決手段】ＣＰＵ４１は、撮影画像上における色情報が近似する複数の発光体の点灯周期が一致する場合には、この複数の発光体を自車両の進路上の対となるＬＥＤ信号機として検出する（Ｓ１１〜Ｓ１８：ＹＥＳ〜Ｓ２１）。また、ＣＰＵ４１は、撮影画像上における色情報が近似する複数の発光体の点灯周期が一致しない場合には、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出し、地図データ上の対となるペア信号機の相対位置関係と近似若しくは一致した場合には、この複数の発光体を自車両の進路上の対となる電球式の信号機として検出する（Ｓ１１〜Ｓ１８：ＮＯ〜Ｓ２１）。
【解決手段】ＣＰＵ４１は、撮影画像上における色情報が近似する複数の発光体の点灯周期が一致する場合には、この複数の発光体を自車両の進路上の対となるＬＥＤ信号機として検出する（Ｓ１１〜Ｓ１８：ＹＥＳ〜Ｓ２１）。また、ＣＰＵ４１は、撮影画像上における色情報が近似する複数の発光体の点灯周期が一致しない場合には、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出し、地図データ上の対となるペア信号機の相対位置関係と近似若しくは一致した場合には、この複数の発光体を自車両の進路上の対となる電球式の信号機として検出する（Ｓ１１〜Ｓ１８：ＮＯ〜Ｓ２１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両前方の信号機を検出する信号機検出装置、信号機検出方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、自車両前方の信号機を検出する技術に関し種々提案されている。
例えば、車両に設けられ進行方向を撮影して撮影画像を出力する撮影手段と、この撮影手段による撮影画像から赤色発光部を抽出して信号機の赤色信号を検出する赤信号検出手段とを備え、この赤信号検出手段は、抽出した赤色発光部の輝度及び／又は該赤色発光部の高さに基づいて赤信号であることを検出するように構成された安全運転支援装置がある（例えば、特許文献１参照。）。
【特許文献１】特開２００７−０３４６９３号公報（段落（００１３）〜（００３７）、図１〜図１２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記した特許文献１に記載された安全運転支援装置では、街灯や車両のテールランプのような発光体と信号機の赤色発光部との区別がつかないことがあるため、自車両前方の信号機の発光体を誤認識してしまう虞があるという問題がある。
【０００４】
そこで、本発明は、上述した問題点を解決するためになされたものであり、自車両前方の信号機を正確に検出することが可能な信号機検出装置、信号機検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため請求項１に係る信号機検出装置は、自車位置を検出する自車位置検出手段（１１）と、信号機に関する信号機情報を含む地図情報を記憶する地図情報記憶手段（２５）と、前記自車位置と前記地図情報とに基づいて自車両前方の前記信号機情報を取得する信号機情報取得手段（１３）と、自車両前方を撮影する撮影手段（５１、５３）と、前記信号機情報取得手段によって取得した信号機情報に基づいて、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定手段（１３）と、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出手段（１３、５１）と、前記近似発光体抽出手段によって抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出手段（１３）と、前記点灯周期検出手段によって検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定手段（１３）と、前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出手段（１３）と、を備えたことを特徴とする。
【０００６】
また、請求項２に係る信号機検出装置は、請求項１に記載の信号機検出装置（１）において、前記複数の発光体のそれぞれの点灯周期が一致しないと判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された複数の発光体に関する該撮影画像内の映像位置関係を算出する映像位置算出手段（１３）と、前記複数の発光体の撮影時における前記自車位置と前記映像位置関係とから該複数の発光体の相対位置関係を算出する映像相対位置算出手段（１３）と、前記信号機情報に基づいて前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係を取得する地図相対位置取得手段（１３）と、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致するか否かを判定する位置関係判定手段（１３）と、を備え、前記信号機検出手段（１３）は、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として抽出することを特徴とする。
【０００７】
また、請求項３に係る信号機検出装置は、請求項１又は請求項２に記載の信号機検出装置（１）において、前記発光体の色情報を前記画像データに基づいて検出する色情報検出手段（１３）を有し、該近似発光体抽出手段（１３）は、前記色情報が近似する複数の発光体を抽出することを特徴とする。
【０００８】
また、請求項４に係る信号機検出方法は、自車位置を検出する自車位置検出工程（Ｓ１１）と、前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程（Ｓ１１）と、前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程（Ｓ１２〜Ｓ１３）と、前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程（Ｓ１４〜Ｓ１７）と、前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程（Ｓ１８）と、前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程（Ｓ１８）と、前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程（Ｓ２１）と、を備えたことを特徴とする。
【０００９】
更に、請求項５に係るプログラムは、コンピュータに、自車位置を検出する自車位置検出工程（Ｓ１１）と、前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程（Ｓ１１）と、前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程（Ｓ１２〜Ｓ１３）と、前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程（Ｓ１４〜Ｓ１７）と、前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程（Ｓ１８）と、前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程（Ｓ１８）と、前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程（Ｓ２１）と、を実行させるためのプログラムである。
【発明の効果】
【００１０】
前記構成を有する請求項１に係る信号機検出装置では、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。特に、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ（lightemitting diode）式の信号機（以下、「ＬＥＤ信号機」という。）の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【００１１】
また、請求項２に係る信号機検出装置では、近似する複数の発光体の点灯周期が一致しない場合には、撮影画像内に同時に撮影される複数の発光体の映像位置関係等から算出される相対位置関係と、この複数の信号機に関する信号機情報に基づいて取得した地図上の相対位置関係とから、自車両前方の複数の信号機を検出する。このため、信号機が、所定の周期で点灯しない信号機、例えば、電球式の信号機であっても、自車両前方の複数の信号機を正確に検出することが可能となる。
【００１２】
また、請求項３に係る信号機検出装置では、近似発光体抽出手段は、色情報が近似する複数の発光体を抽出するため、複数の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機をより正確に検出することが可能となる。
【００１３】
また、請求項４に係る信号機検出方法では、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。特に、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ信号機の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【００１４】
更に、請求項５に係るプログラムでは、コンピュータは当該プログラムを読み込むことによって、該コンピュータは、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、コンピュータは、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。また、コンピュータは、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ信号機の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る信号機検出装置、信号機検出方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。
【実施例】
【００１６】
［ナビゲーション装置の概略構成］
先ず、本実施例に係るナビゲーション装置の概略構成について図１に基づいて説明する。図１は本実施例に係るナビゲーション装置１を示したブロック図である。
図１に示すように、本実施例に係るナビゲーション装置１は、自車の現在位置（以下、「自車位置」という。）を検出する現在地検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して地図等の情報を表示する液晶ディスプレイ１５と、経路案内等に関する音声ガイダンスを出力するスピーカ１６と、不図示の道路交通情報センタや地図情報配信センタ等との間で携帯電話網等を介して通信を行う通信装置１７とから構成されている。また、ナビゲーション制御部１３には、自車の走行速度を検出する車速センサ２１が接続されている。
【００１７】
また、ナビゲーション制御部１３には、ＣＣＤカメラ等を駆動制御するカメラＥＣＵ（ElectronicControl Unit）５１が電気的に接続されている。そして、このカメラＥＣＵ５１には、ルームミラー付近に固定されたＣＣＤ（ステレオ）カメラ等により構成されて進行方向前方を撮影する前方撮像用カメラ５３が電気的に接続されている。
【００１８】
以下に、ナビゲーション装置１を構成する各構成要素について説明すると、現在地検出部１１は、ＧＰＳ３１、方位センサ３２、距離センサ３３、高度計（図示せず）等からなり、現在の自車の位置、方位、目標物（例えば、交差点）までの距離等を検出することが可能となっている。
【００１９】
具体的には、ＧＰＳ３１は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出する。また、方位センサ３２は、地磁気センサやジャイロセンサ、或いは、ステアリングホイール（図示せず）の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等により構成され、自車方位を検出する。また、距離センサ３３は、例えば、自車の車輪（図示せず）の回転速度を測定し、測定した回転速度に基づいて距離を検出するセンサ、加速度を測定し、測定した加速度を２回積分して距離を検出するセンサ等から構成され、自車の移動距離を検出する。
【００２０】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記憶された地図情報データベース（地図情報ＤＢ）２５及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。
【００２１】
また、地図情報ＤＢ２５には、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、施設の一種である道路（リンク）に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のＰＯＩ（Pointof Interest）に関する店舗データ、地点を検索するための検索データ、交差点における信号機に関する信号機情報等から構成されている。
【００２２】
この信号機情報には、交差点における信号機の位置座標や高さデータ及びペア信号機の場合には対になる信号機、信号機の種別（ＬＥＤ信号機又は電球式の通常信号機等である。）等の情報が含まれている。また、信号機情報には、ＬＥＤ信号機の場合には、発光部を構成するＬＥＤ素子の地域別の点灯周期（例えば、商用電源がＡＣ１００Ｖで６０Ｈｚの地域では、点灯周期は１２０Ｈｚである。）等が含まれている。
また、地図情報ＤＢ２５の内容は、不図示の情報配信センタから通信装置１７を介して配信された更新情報をダウンロードすることによって更新される。
【００２３】
また、図１に示すように、ナビゲーション装置１を構成するナビゲーション制御部１３は、ナビゲーション装置１の全体の制御を行う演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の進路方向前方の信号機を検出する信号機検出処理のプログラム（図２参照）等が記憶されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置や、時間を計測するタイマ４５等を備えている。
【００２４】
更に、前記ナビゲーション制御部１３には、操作部１４、液晶ディスプレイ１５、スピーカ１６、通信装置１７の各周辺装置（アクチュエータ）が電気的に接続されている。
【００２５】
操作部１４は、走行開始時の現在地を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う際等に操作され、各種のキー等の複数の操作スイッチから構成される。そして、ナビゲーション制御部１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４としては、キーボード、マウス等や、液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。
また、液晶ディスプレイ１５には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００２６】
また、スピーカ１６は、ナビゲーション制御部１３からの指示に基づいて、誘導経路に沿った走行案内等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「２００ｍ先、○○交差点を右方向です。」等である。
そして、通信装置１７は、情報配信センタや道路交通情報センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報等の送受信を行う。また、通信装置１７は情報配信センタ等に加えて、他の車両に搭載されたナビゲーション装置１とも双方向通信可能に構成されている。
【００２７】
また、カメラＥＣＵ５１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部５１Ａを備えると共に、この前方撮像用カメラ５３によって撮影された撮影画像の画像認識を行う画像認識部５１Ｂとを備えている。ここで、画像認識部５１Ｂは、前方撮像用カメラ５３の映像信号を画像処理して、撮影画像上における信号機の発光部等の発光体の位置、該発光体の高さ、該発光体の形状、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を抽出して出力する。
【００２８】
［信号機検出処理］
次に、上記のように構成されたナビゲーション装置１のＣＰＵ４１が実行する処理であって、自車両前方の信号機を検出する信号機検出処理について図２乃至図６に基づいて説明する。
【００２９】
図２は本実施例に係るナビゲーション装置１のＣＰＵ４１が実行する処理であって、自車両前方の信号機を検出する「信号機検出処理」を示すフローチャートである。図３は前方撮像用カメラ５３で撮影されたペア信号機の一例を示す図である。図４は撮影画像内の近似発光体を検出する一例を示す図である。図５は前方撮像用カメラ５３で撮影されたＬＥＤ信号機の発光部の点灯周期の一例を示す図である。図６は交差点におけるペア信号機の一例を示す図である。
尚、図２にフローチャートで示されるプログラムはナビゲーション装置１のナビゲーション制御部１３が備えているＲＯＭ４３に記憶されており、ＣＰＵ４１によって所定時間毎に（例えば、約０．５秒〜５秒毎である。）実行される。
【００３０】
図２に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ４１は、現在地検出部１１により自車位置及び自車の向きを表す自車方位を検出して、自車位置を表す座標データ（例えば、緯度と経度のデータである。）と自車方位をＲＡＭ４２に記憶する。また、ＣＰＵ４１は、地図情報ＤＢ２５に格納される地図情報から自車両前方（例えば、自車位置から所定距離（約２００ｍ〜３００ｍ）前方までである。）の信号機情報を取得して、ＲＡＭ４２に記憶する。
【００３１】
続いて、Ｓ１２において、ＣＰＵ４１は、自車両前方（例えば、自車位置から所定距離（約２００ｍ〜３００ｍ）前方までである。）に信号機があるか否かを判定する判定処理を実行する。
そして、自車両前方に信号機が無い場合には（Ｓ１２：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００３２】
一方、自車両前方に信号機がある場合には（Ｓ１２：ＹＥＳ）、ＣＰＵ４１は、Ｓ１３の処理に移行する。Ｓ１３において、ＣＰＵ４１は、自車両前方の信号機に関する信号機情報をＲＡＭ４２から再度読み出し、この自車両前方の信号機が対になるペア信号機（図６参照）であるか否かを判定する。そして、この自車両前方の信号機が対になるペア信号機でないと判定した場合には、ＣＰＵ４１は、当該処理を終了する。
【００３３】
一方、この自車両前方の信号機が対になるペア信号機であると判定した場合には、ＣＰＵ４１は、この自車両前方の各信号機に関する信号機情報と自車位置とに基づいて、地図データ上の各信号機と自車両との距離を算出する。そして、ＣＰＵ４１は、各信号機と自車両との距離、各信号機の高さと、前方撮像用カメラ５３の画角とから、この自車両前方のペア信号機が、前方撮像用カメラ５３によって撮影される同一撮影画像内に同時に映るか否かを判定する。そして、この自車両前方のペア信号機が同一撮影画像内に同時に映らないと判定した場合には、ＣＰＵ４１は、当該処理を終了する。
【００３４】
また一方、この自車両前方のペア信号機が同一撮影画像内に同時に映ると判定した場合には、ＣＰＵ４１は、Ｓ１４の処理に移行する。Ｓ１４において、ＣＰＵ４１は、カメラＥＣＵ５１に対して、前方撮像用カメラ５３の撮影画像の画像認識データを出力するように指示する制御信号を出力し、前方撮像用カメラ５３の撮影画像上において、信号機の認識候補となる発光体を輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）、形状等から抽出する。そして、この抽出した発光体の位置、高さ、形状、輝度、色情報等を取得してＲＡＭ４２に記憶する。即ち、ＣＰＵ４１は、認識候補としてのペア信号機に対応する発光体に関する画像認識データを取得してＲＡＭ４２に記憶する。
【００３５】
続いて、Ｓ１５において、ＣＰＵ４１は、取得した画像認識データから前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体があるか否か、即ち、複数の発光体があるか否かを判定する判定処理を実行する。
そして、前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体が無い場合、即ち、複数の発光体が無い場合には（Ｓ１５：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００３６】
一方、前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体がある場合、即ち、複数の発光体がある場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ４１は、Ｓ１６の処理に移行する。Ｓ１６において、ＣＰＵ４１は、前方撮像用カメラ５３の撮影画像上における認識候補としての各発光体の位置、高さ、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を再度、ＲＡＭ４２から読み出す。
【００３７】
例えば、図３に示すように、前方撮像用カメラ５３の撮影画像６１上に、ペア信号機を構成するＡ信号機６２の発光部である発光体６２Ａと、Ｂ信号機６３の発光部である発光体６３Ａ等が映っている場合には、ＣＰＵ４１は、撮影画像６１上における各発光体６２Ａ、６３Ａ等の位置、高さ、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を再度、ＲＡＭ４２から読み出す（Ｓ１６）。
【００３８】
続いて、Ｓ１７において、ＣＰＵ４１は、前方撮像用カメラ５３の撮影画像上に色情報（ＨＳＶ値やＲＧＢ値等である。）等が近似する複数の発光体があるか否かを判定する判定処理を実行する。
例えば、図４に示すように、ＣＰＵ４１は、撮影画像６１上における各発光体６２Ａ、６３Ａ等の位置、高さ及び輝度基づいて、この撮影画像６１上の上方から下方に向かって、各発光体６２Ａ、６３Ａ等の色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）を順次比較して、色情報が近似する複数の発光体があるか否かを判定する。
【００３９】
そして、前方撮像用カメラ５３の撮影画像上に色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）等が近似する複数の発光体が無い場合には（Ｓ１７：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
一方、前方撮像用カメラ５３の撮影画像上に色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）等が近似する若しくは一致する複数の発光体がある場合には（Ｓ１７：ＹＥＳ）、ＣＰＵ４１は、Ｓ１８の処理に移行する。
【００４０】
Ｓ１８において、ＣＰＵ４１は、この色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期を測定し、各発光体の点灯周期が一致するか否か、即ち、色情報が近似する複数の発光体は、ＬＥＤ信号機の発光部であるか否かを判定する判定処理を実行する。
【００４１】
そして、色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期が一致する場合には（Ｓ１８：ＹＥＳ）、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体は、それぞれ対になるＬＥＤ信号機の発光部であると判定して、Ｓ２１の処理に移行する。
Ｓ２１において、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体を自車両の進路上の交差点において対となるＬＥＤ信号機として検出する。そして、ＣＰＵ４１は、この検出した撮影画像上における対となるＬＥＤ信号機の発光部の色情報等に基づいて、当該各ＬＥＤ信号機の信号状態をＲＡＭ４２に記憶後、当該処理を終了する。
【００４２】
尚、前方撮像用カメラ５３によって撮影された対になるペア信号機が、ＬＥＤ信号機の場合には、各ＬＥＤ信号機の発光部である複数の発光体の色情報（ＨＳＶ値やＲＧＢ値等である。）等は近似すると共に、各発光体の明るさ、即ち、点灯周期は一定周期で変化する。このため、前方撮像用カメラ５３によって撮影された色情報が近似する複数の発光体の点灯周期が一致する場合には、この複数の発光体は、それぞれＬＥＤ信号機の発光部であると判断することができる。
【００４３】
ここで、前方撮像用カメラ５３によって撮影された図３に示されるＡ信号機６２とＢ信号機６３とがＬＥＤ信号機である場合に、前方撮像用カメラ５３によって撮影された各発光体６２Ａ、６３Ａの点灯周期、即ち、明るさの変化の一例について図５に基づいて説明する。尚、Ａ信号機とＢ信号機は、商用電源がＡＣ１００Ｖで６０Ｈｚの地域に設置され、それぞれの発光部である各発光体６２Ａ、６３Ａを構成するＬＥＤ素子の点灯周期は１２０Ｈｚである。また、前方撮像用カメラ５３の１秒当たりの撮影コマ数は２８ｆｐｓ（frameper second）とする。
【００４４】
図５に示すように、ＣＰＵ４１は、Ａ信号機６２とＢ信号機６３の各発光部である各発光体６２Ａ、６３Ａのそれぞれの消灯タイミングを測定して、各発光体６２Ａ、６３Ａの点灯周期、即ち、明るさの変化の周期を測定することができる。また、この場合には、各発光体６２Ａ、６３Ａの点灯周期、即ち、消灯周期は、約０．２５（秒／サイクル）で、消灯タイミングも一致している。一方、街灯や車両のテールランプ等の他の点灯物は、電灯式であるため、明るさの変化は無く、ほぼ一定である。尚、電球式の信号機の場合には、信号機の発光部である発光体の明るさの変化は無く、ほぼ一定である。
従って、図５に示すように、Ａ信号機６２とＢ信号機６３の発光部である各発光体６２Ａ、６３Ａの点灯周期が一致するため、色情報が近似する若しくは一致する各発光体６２Ａ、６３Ａは、それぞれ各ＬＥＤ信号機６２、６３の発光部であると判断することができる。
【００４５】
一方、色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期が一致しない、即ち、色情報が近似する若しくは一致する複数の発光体の明るさがほぼ一定の場合には（Ｓ１８：ＮＯ）、ＣＰＵ４１は、Ｓ１９の処理に移行する。
【００４６】
Ｓ１９において、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体の撮影画像上の位置、高さを再度ＲＡＭ４２から読み出し、撮影画像上におけるこの複数の発光体の相対位置関係を算出する。そして、ＣＰＵ４１は、自車位置及び自車方位をＲＡＭ４２から読み出し、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出してＲＡＭ４２に記憶する。
【００４７】
例えば、ＣＰＵ４１は、図３に示されるように、撮影画像上の各信号機６２、６３の各高さＨ１、Ｈ２、自車位置及び自車方位に基づいて、各発光体６２Ａ、６３Ａまでの自車両２（図６参照）からの距離を算出する。そして、ＣＰＵ４１は、進行方向前方の交差点７１（図６参照）における各信号機６２、６３間の進行方向の相対距離を算出する。また、ＣＰＵ４１は、撮影画像上の各信号機６２、６３間の水平距離Ｌ１、自車位置及び自車方位に基づいて、交差点７１（図６参照）における各信号機６２、６３間の進行方向に直交する方向の相対距離を算出する。そして、ＣＰＵ４１は、この算出した交差点７１における各信号機６２、６３間の進行方向の相対距離と、各信号機６２、６３間の進行方向に直交する方向の相対距離とを、各発光体６２Ａ、６３Ａの交差点上における相対位置関係としてＲＡＭ４２に記憶する。
【００４８】
続いて、Ｓ２０において、ＣＰＵ４１は、自車両前方における対となるペア信号機に関する信号機情報を地図情報ＤＢ２５から読み出して、交差点における前方のペア信号機のそれぞれの位置座標に基づいて、地図データ上の各信号機の相対位置関係（例えば、進行方向の相対距離と進行方向に直交する方向の相対距離である。）を算出する。そして、ＣＰＵ４１は、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致するか否かを判定する判定処理を実行する。
【００４９】
例えば、図６に示すように、ＣＰＵ４１は、自車両２の進行方向前方における対となるＡ信号機６２とＢ信号機６３の撮影画像データにもとづいて算出した交差点７１における各信号機６２、６３間の進行方向の相対距離と、各信号機６２、６３間の進行方向に直交する方向の相対距離とが、地図データ上の各信号機６２、６３間の各距離Ｙ、Ｘに近似若しくは一致するか否かを判定する。
【００５０】
そして、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致しない場合には（Ｓ２０：ＮＯ）、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体は、対となるペア信号機の発光部でないと判定して、当該処理を終了する。
【００５１】
一方、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致した場合には（Ｓ２０：ＹＥＳ）、ＣＰＵ４１は、Ｓ２１の処理に移行する。
Ｓ２１において、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体を自車両の進路上の交差点において対となる電球式の信号機として検出する。そして、ＣＰＵ４１は、この検出した撮影画像上における対となる電球式の信号機の発光部の色情報等に基づいて、当該各電球式の信号機の信号状態をＲＡＭ４２に記憶後、当該処理を終了する。
【００５２】
［上記実施例の効果］
以上詳細に説明した通り、本実施例に係るナビゲーション装置１では、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期が一致する場合には、この複数の発光体を自車両の進路上の交差点において対となるＬＥＤ信号機として検出する（Ｓ１１〜Ｓ１８：ＹＥＳ〜Ｓ２１）。これにより、ＣＰＵ４１は、街灯や車両のテールランプのような発光体をＬＥＤ信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上のＬＥＤ信号機の発光部の色が想定した色と異なっていても、自車両の進路上の交差点において対となるＬＥＤ信号機を正確に検出することが可能となる。
【００５３】
また、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期が一致しない場合には、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出し、地図データ上の対となるペア信号機の相対位置関係と近似若しくは一致した場合には、この複数の発光体を自車両の進路上の交差点において対となる電球式の信号機として検出する（Ｓ１１〜Ｓ１８：ＮＯ〜Ｓ２１）。これにより、ＣＰＵ４１は、街灯や車両のテールランプのような発光体を電球式の信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の電球式の信号機の発光部の色が想定した色と異なっていても、自車両の進路上の交差点において複数の電球式の信号機を正確に検出することが可能となる。
【００５４】
また、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期や相対位置関係に基づいて、自車両の進路上の交差点において対となるＬＥＤ信号機又は電球式の信号機を検出するため（Ｓ１７：ＹＥＳ〜Ｓ２１）、ペア信号機の発光部の色が想定した色と異なっていても、自車両の進路上の複数の信号機を正確に検出することが可能となる。
【００５５】
尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【図面の簡単な説明】
【００５６】
【図１】本実施例に係るナビゲーション装置を示したブロック図である。
【図２】ＣＰＵが実行する処理であって、自車両前方の信号機を検出する「信号機検出処理」を示すフローチャートである。
【図３】前方撮像用カメラで撮影されたペア信号機の一例を示す図である。
【図４】撮影画像内の近似発光体を検出する一例を示す図である。
【図５】前方撮像用カメラで撮影されたＬＥＤ信号機の発光部の点灯周期の一例を示す図である。
【図６】交差点におけるペア信号機の一例を示す図である。
【符号の説明】
【００５７】
１ ナビゲーション装置
２ 自車両
１１ 現在地検出部
１２ データ記録部
１３ ナビゲーション制御部
２５ 地図情報ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ カメラＥＣＵ
５３ 前方撮像用カメラ
６１ 撮影画像
６２ Ａ信号機
６３ Ｂ信号機
６２Ａ、６３Ａ 発光体
７１ 交差点
【技術分野】
【０００１】
本発明は、自車両前方の信号機を検出する信号機検出装置、信号機検出方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、自車両前方の信号機を検出する技術に関し種々提案されている。
例えば、車両に設けられ進行方向を撮影して撮影画像を出力する撮影手段と、この撮影手段による撮影画像から赤色発光部を抽出して信号機の赤色信号を検出する赤信号検出手段とを備え、この赤信号検出手段は、抽出した赤色発光部の輝度及び／又は該赤色発光部の高さに基づいて赤信号であることを検出するように構成された安全運転支援装置がある（例えば、特許文献１参照。）。
【特許文献１】特開２００７−０３４６９３号公報（段落（００１３）〜（００３７）、図１〜図１２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記した特許文献１に記載された安全運転支援装置では、街灯や車両のテールランプのような発光体と信号機の赤色発光部との区別がつかないことがあるため、自車両前方の信号機の発光体を誤認識してしまう虞があるという問題がある。
【０００４】
そこで、本発明は、上述した問題点を解決するためになされたものであり、自車両前方の信号機を正確に検出することが可能な信号機検出装置、信号機検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため請求項１に係る信号機検出装置は、自車位置を検出する自車位置検出手段（１１）と、信号機に関する信号機情報を含む地図情報を記憶する地図情報記憶手段（２５）と、前記自車位置と前記地図情報とに基づいて自車両前方の前記信号機情報を取得する信号機情報取得手段（１３）と、自車両前方を撮影する撮影手段（５１、５３）と、前記信号機情報取得手段によって取得した信号機情報に基づいて、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定手段（１３）と、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出手段（１３、５１）と、前記近似発光体抽出手段によって抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出手段（１３）と、前記点灯周期検出手段によって検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定手段（１３）と、前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出手段（１３）と、を備えたことを特徴とする。
【０００６】
また、請求項２に係る信号機検出装置は、請求項１に記載の信号機検出装置（１）において、前記複数の発光体のそれぞれの点灯周期が一致しないと判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された複数の発光体に関する該撮影画像内の映像位置関係を算出する映像位置算出手段（１３）と、前記複数の発光体の撮影時における前記自車位置と前記映像位置関係とから該複数の発光体の相対位置関係を算出する映像相対位置算出手段（１３）と、前記信号機情報に基づいて前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係を取得する地図相対位置取得手段（１３）と、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致するか否かを判定する位置関係判定手段（１３）と、を備え、前記信号機検出手段（１３）は、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として抽出することを特徴とする。
【０００７】
また、請求項３に係る信号機検出装置は、請求項１又は請求項２に記載の信号機検出装置（１）において、前記発光体の色情報を前記画像データに基づいて検出する色情報検出手段（１３）を有し、該近似発光体抽出手段（１３）は、前記色情報が近似する複数の発光体を抽出することを特徴とする。
【０００８】
また、請求項４に係る信号機検出方法は、自車位置を検出する自車位置検出工程（Ｓ１１）と、前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程（Ｓ１１）と、前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程（Ｓ１２〜Ｓ１３）と、前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程（Ｓ１４〜Ｓ１７）と、前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程（Ｓ１８）と、前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程（Ｓ１８）と、前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程（Ｓ２１）と、を備えたことを特徴とする。
【０００９】
更に、請求項５に係るプログラムは、コンピュータに、自車位置を検出する自車位置検出工程（Ｓ１１）と、前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程（Ｓ１１）と、前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程（Ｓ１２〜Ｓ１３）と、前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程（Ｓ１４〜Ｓ１７）と、前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程（Ｓ１８）と、前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程（Ｓ１８）と、前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程（Ｓ２１）と、を実行させるためのプログラムである。
【発明の効果】
【００１０】
前記構成を有する請求項１に係る信号機検出装置では、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。特に、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ（lightemitting diode）式の信号機（以下、「ＬＥＤ信号機」という。）の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【００１１】
また、請求項２に係る信号機検出装置では、近似する複数の発光体の点灯周期が一致しない場合には、撮影画像内に同時に撮影される複数の発光体の映像位置関係等から算出される相対位置関係と、この複数の信号機に関する信号機情報に基づいて取得した地図上の相対位置関係とから、自車両前方の複数の信号機を検出する。このため、信号機が、所定の周期で点灯しない信号機、例えば、電球式の信号機であっても、自車両前方の複数の信号機を正確に検出することが可能となる。
【００１２】
また、請求項３に係る信号機検出装置では、近似発光体抽出手段は、色情報が近似する複数の発光体を抽出するため、複数の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機をより正確に検出することが可能となる。
【００１３】
また、請求項４に係る信号機検出方法では、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。特に、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ信号機の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【００１４】
更に、請求項５に係るプログラムでは、コンピュータは当該プログラムを読み込むことによって、該コンピュータは、近似する複数の発光体の点灯周期が一致する場合には、この近似する複数の発光体を自車両前方の複数の信号機として検出する。このため、コンピュータは、街灯や車両のテールランプのような発光体を信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の信号機の発光部の色が想定した色と異なっていても、自車両前方の複数の信号機を正確に検出することが可能となる。また、コンピュータは、信号機が所定の周期で点灯する信号機、例えば、ＬＥＤ信号機の場合には、自車両前方の複数のＬＥＤ信号機を正確に検出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る信号機検出装置、信号機検出方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。
【実施例】
【００１６】
［ナビゲーション装置の概略構成］
先ず、本実施例に係るナビゲーション装置の概略構成について図１に基づいて説明する。図１は本実施例に係るナビゲーション装置１を示したブロック図である。
図１に示すように、本実施例に係るナビゲーション装置１は、自車の現在位置（以下、「自車位置」という。）を検出する現在地検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して地図等の情報を表示する液晶ディスプレイ１５と、経路案内等に関する音声ガイダンスを出力するスピーカ１６と、不図示の道路交通情報センタや地図情報配信センタ等との間で携帯電話網等を介して通信を行う通信装置１７とから構成されている。また、ナビゲーション制御部１３には、自車の走行速度を検出する車速センサ２１が接続されている。
【００１７】
また、ナビゲーション制御部１３には、ＣＣＤカメラ等を駆動制御するカメラＥＣＵ（ElectronicControl Unit）５１が電気的に接続されている。そして、このカメラＥＣＵ５１には、ルームミラー付近に固定されたＣＣＤ（ステレオ）カメラ等により構成されて進行方向前方を撮影する前方撮像用カメラ５３が電気的に接続されている。
【００１８】
以下に、ナビゲーション装置１を構成する各構成要素について説明すると、現在地検出部１１は、ＧＰＳ３１、方位センサ３２、距離センサ３３、高度計（図示せず）等からなり、現在の自車の位置、方位、目標物（例えば、交差点）までの距離等を検出することが可能となっている。
【００１９】
具体的には、ＧＰＳ３１は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出する。また、方位センサ３２は、地磁気センサやジャイロセンサ、或いは、ステアリングホイール（図示せず）の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等により構成され、自車方位を検出する。また、距離センサ３３は、例えば、自車の車輪（図示せず）の回転速度を測定し、測定した回転速度に基づいて距離を検出するセンサ、加速度を測定し、測定した加速度を２回積分して距離を検出するセンサ等から構成され、自車の移動距離を検出する。
【００２０】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記憶された地図情報データベース（地図情報ＤＢ）２５及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。
【００２１】
また、地図情報ＤＢ２５には、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、施設の一種である道路（リンク）に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のＰＯＩ（Pointof Interest）に関する店舗データ、地点を検索するための検索データ、交差点における信号機に関する信号機情報等から構成されている。
【００２２】
この信号機情報には、交差点における信号機の位置座標や高さデータ及びペア信号機の場合には対になる信号機、信号機の種別（ＬＥＤ信号機又は電球式の通常信号機等である。）等の情報が含まれている。また、信号機情報には、ＬＥＤ信号機の場合には、発光部を構成するＬＥＤ素子の地域別の点灯周期（例えば、商用電源がＡＣ１００Ｖで６０Ｈｚの地域では、点灯周期は１２０Ｈｚである。）等が含まれている。
また、地図情報ＤＢ２５の内容は、不図示の情報配信センタから通信装置１７を介して配信された更新情報をダウンロードすることによって更新される。
【００２３】
また、図１に示すように、ナビゲーション装置１を構成するナビゲーション制御部１３は、ナビゲーション装置１の全体の制御を行う演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の進路方向前方の信号機を検出する信号機検出処理のプログラム（図２参照）等が記憶されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置や、時間を計測するタイマ４５等を備えている。
【００２４】
更に、前記ナビゲーション制御部１３には、操作部１４、液晶ディスプレイ１５、スピーカ１６、通信装置１７の各周辺装置（アクチュエータ）が電気的に接続されている。
【００２５】
操作部１４は、走行開始時の現在地を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う際等に操作され、各種のキー等の複数の操作スイッチから構成される。そして、ナビゲーション制御部１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４としては、キーボード、マウス等や、液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。
また、液晶ディスプレイ１５には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００２６】
また、スピーカ１６は、ナビゲーション制御部１３からの指示に基づいて、誘導経路に沿った走行案内等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「２００ｍ先、○○交差点を右方向です。」等である。
そして、通信装置１７は、情報配信センタや道路交通情報センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報等の送受信を行う。また、通信装置１７は情報配信センタ等に加えて、他の車両に搭載されたナビゲーション装置１とも双方向通信可能に構成されている。
【００２７】
また、カメラＥＣＵ５１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部５１Ａを備えると共に、この前方撮像用カメラ５３によって撮影された撮影画像の画像認識を行う画像認識部５１Ｂとを備えている。ここで、画像認識部５１Ｂは、前方撮像用カメラ５３の映像信号を画像処理して、撮影画像上における信号機の発光部等の発光体の位置、該発光体の高さ、該発光体の形状、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を抽出して出力する。
【００２８】
［信号機検出処理］
次に、上記のように構成されたナビゲーション装置１のＣＰＵ４１が実行する処理であって、自車両前方の信号機を検出する信号機検出処理について図２乃至図６に基づいて説明する。
【００２９】
図２は本実施例に係るナビゲーション装置１のＣＰＵ４１が実行する処理であって、自車両前方の信号機を検出する「信号機検出処理」を示すフローチャートである。図３は前方撮像用カメラ５３で撮影されたペア信号機の一例を示す図である。図４は撮影画像内の近似発光体を検出する一例を示す図である。図５は前方撮像用カメラ５３で撮影されたＬＥＤ信号機の発光部の点灯周期の一例を示す図である。図６は交差点におけるペア信号機の一例を示す図である。
尚、図２にフローチャートで示されるプログラムはナビゲーション装置１のナビゲーション制御部１３が備えているＲＯＭ４３に記憶されており、ＣＰＵ４１によって所定時間毎に（例えば、約０．５秒〜５秒毎である。）実行される。
【００３０】
図２に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ４１は、現在地検出部１１により自車位置及び自車の向きを表す自車方位を検出して、自車位置を表す座標データ（例えば、緯度と経度のデータである。）と自車方位をＲＡＭ４２に記憶する。また、ＣＰＵ４１は、地図情報ＤＢ２５に格納される地図情報から自車両前方（例えば、自車位置から所定距離（約２００ｍ〜３００ｍ）前方までである。）の信号機情報を取得して、ＲＡＭ４２に記憶する。
【００３１】
続いて、Ｓ１２において、ＣＰＵ４１は、自車両前方（例えば、自車位置から所定距離（約２００ｍ〜３００ｍ）前方までである。）に信号機があるか否かを判定する判定処理を実行する。
そして、自車両前方に信号機が無い場合には（Ｓ１２：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００３２】
一方、自車両前方に信号機がある場合には（Ｓ１２：ＹＥＳ）、ＣＰＵ４１は、Ｓ１３の処理に移行する。Ｓ１３において、ＣＰＵ４１は、自車両前方の信号機に関する信号機情報をＲＡＭ４２から再度読み出し、この自車両前方の信号機が対になるペア信号機（図６参照）であるか否かを判定する。そして、この自車両前方の信号機が対になるペア信号機でないと判定した場合には、ＣＰＵ４１は、当該処理を終了する。
【００３３】
一方、この自車両前方の信号機が対になるペア信号機であると判定した場合には、ＣＰＵ４１は、この自車両前方の各信号機に関する信号機情報と自車位置とに基づいて、地図データ上の各信号機と自車両との距離を算出する。そして、ＣＰＵ４１は、各信号機と自車両との距離、各信号機の高さと、前方撮像用カメラ５３の画角とから、この自車両前方のペア信号機が、前方撮像用カメラ５３によって撮影される同一撮影画像内に同時に映るか否かを判定する。そして、この自車両前方のペア信号機が同一撮影画像内に同時に映らないと判定した場合には、ＣＰＵ４１は、当該処理を終了する。
【００３４】
また一方、この自車両前方のペア信号機が同一撮影画像内に同時に映ると判定した場合には、ＣＰＵ４１は、Ｓ１４の処理に移行する。Ｓ１４において、ＣＰＵ４１は、カメラＥＣＵ５１に対して、前方撮像用カメラ５３の撮影画像の画像認識データを出力するように指示する制御信号を出力し、前方撮像用カメラ５３の撮影画像上において、信号機の認識候補となる発光体を輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）、形状等から抽出する。そして、この抽出した発光体の位置、高さ、形状、輝度、色情報等を取得してＲＡＭ４２に記憶する。即ち、ＣＰＵ４１は、認識候補としてのペア信号機に対応する発光体に関する画像認識データを取得してＲＡＭ４２に記憶する。
【００３５】
続いて、Ｓ１５において、ＣＰＵ４１は、取得した画像認識データから前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体があるか否か、即ち、複数の発光体があるか否かを判定する判定処理を実行する。
そして、前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体が無い場合、即ち、複数の発光体が無い場合には（Ｓ１５：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００３６】
一方、前方撮像用カメラ５３の撮影画像上に認識候補としてのペア信号機に対応する発光体がある場合、即ち、複数の発光体がある場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ４１は、Ｓ１６の処理に移行する。Ｓ１６において、ＣＰＵ４１は、前方撮像用カメラ５３の撮影画像上における認識候補としての各発光体の位置、高さ、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を再度、ＲＡＭ４２から読み出す。
【００３７】
例えば、図３に示すように、前方撮像用カメラ５３の撮影画像６１上に、ペア信号機を構成するＡ信号機６２の発光部である発光体６２Ａと、Ｂ信号機６３の発光部である発光体６３Ａ等が映っている場合には、ＣＰＵ４１は、撮影画像６１上における各発光体６２Ａ、６３Ａ等の位置、高さ、輝度、色情報（例えば、色相（Hue）、彩度（Saturation）及び明度（Value）からなるＨＳＶ値やＲＧＢ値等である。）等を再度、ＲＡＭ４２から読み出す（Ｓ１６）。
【００３８】
続いて、Ｓ１７において、ＣＰＵ４１は、前方撮像用カメラ５３の撮影画像上に色情報（ＨＳＶ値やＲＧＢ値等である。）等が近似する複数の発光体があるか否かを判定する判定処理を実行する。
例えば、図４に示すように、ＣＰＵ４１は、撮影画像６１上における各発光体６２Ａ、６３Ａ等の位置、高さ及び輝度基づいて、この撮影画像６１上の上方から下方に向かって、各発光体６２Ａ、６３Ａ等の色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）を順次比較して、色情報が近似する複数の発光体があるか否かを判定する。
【００３９】
そして、前方撮像用カメラ５３の撮影画像上に色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）等が近似する複数の発光体が無い場合には（Ｓ１７：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
一方、前方撮像用カメラ５３の撮影画像上に色情報（例えば、ＨＳＶ値やＲＧＢ値等である。）等が近似する若しくは一致する複数の発光体がある場合には（Ｓ１７：ＹＥＳ）、ＣＰＵ４１は、Ｓ１８の処理に移行する。
【００４０】
Ｓ１８において、ＣＰＵ４１は、この色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期を測定し、各発光体の点灯周期が一致するか否か、即ち、色情報が近似する複数の発光体は、ＬＥＤ信号機の発光部であるか否かを判定する判定処理を実行する。
【００４１】
そして、色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期が一致する場合には（Ｓ１８：ＹＥＳ）、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体は、それぞれ対になるＬＥＤ信号機の発光部であると判定して、Ｓ２１の処理に移行する。
Ｓ２１において、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体を自車両の進路上の交差点において対となるＬＥＤ信号機として検出する。そして、ＣＰＵ４１は、この検出した撮影画像上における対となるＬＥＤ信号機の発光部の色情報等に基づいて、当該各ＬＥＤ信号機の信号状態をＲＡＭ４２に記憶後、当該処理を終了する。
【００４２】
尚、前方撮像用カメラ５３によって撮影された対になるペア信号機が、ＬＥＤ信号機の場合には、各ＬＥＤ信号機の発光部である複数の発光体の色情報（ＨＳＶ値やＲＧＢ値等である。）等は近似すると共に、各発光体の明るさ、即ち、点灯周期は一定周期で変化する。このため、前方撮像用カメラ５３によって撮影された色情報が近似する複数の発光体の点灯周期が一致する場合には、この複数の発光体は、それぞれＬＥＤ信号機の発光部であると判断することができる。
【００４３】
ここで、前方撮像用カメラ５３によって撮影された図３に示されるＡ信号機６２とＢ信号機６３とがＬＥＤ信号機である場合に、前方撮像用カメラ５３によって撮影された各発光体６２Ａ、６３Ａの点灯周期、即ち、明るさの変化の一例について図５に基づいて説明する。尚、Ａ信号機とＢ信号機は、商用電源がＡＣ１００Ｖで６０Ｈｚの地域に設置され、それぞれの発光部である各発光体６２Ａ、６３Ａを構成するＬＥＤ素子の点灯周期は１２０Ｈｚである。また、前方撮像用カメラ５３の１秒当たりの撮影コマ数は２８ｆｐｓ（frameper second）とする。
【００４４】
図５に示すように、ＣＰＵ４１は、Ａ信号機６２とＢ信号機６３の各発光部である各発光体６２Ａ、６３Ａのそれぞれの消灯タイミングを測定して、各発光体６２Ａ、６３Ａの点灯周期、即ち、明るさの変化の周期を測定することができる。また、この場合には、各発光体６２Ａ、６３Ａの点灯周期、即ち、消灯周期は、約０．２５（秒／サイクル）で、消灯タイミングも一致している。一方、街灯や車両のテールランプ等の他の点灯物は、電灯式であるため、明るさの変化は無く、ほぼ一定である。尚、電球式の信号機の場合には、信号機の発光部である発光体の明るさの変化は無く、ほぼ一定である。
従って、図５に示すように、Ａ信号機６２とＢ信号機６３の発光部である各発光体６２Ａ、６３Ａの点灯周期が一致するため、色情報が近似する若しくは一致する各発光体６２Ａ、６３Ａは、それぞれ各ＬＥＤ信号機６２、６３の発光部であると判断することができる。
【００４５】
一方、色情報が近似する若しくは一致する複数の発光体のそれぞれの点灯周期、即ち、明るさの変化の周期が一致しない、即ち、色情報が近似する若しくは一致する複数の発光体の明るさがほぼ一定の場合には（Ｓ１８：ＮＯ）、ＣＰＵ４１は、Ｓ１９の処理に移行する。
【００４６】
Ｓ１９において、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体の撮影画像上の位置、高さを再度ＲＡＭ４２から読み出し、撮影画像上におけるこの複数の発光体の相対位置関係を算出する。そして、ＣＰＵ４１は、自車位置及び自車方位をＲＡＭ４２から読み出し、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出してＲＡＭ４２に記憶する。
【００４７】
例えば、ＣＰＵ４１は、図３に示されるように、撮影画像上の各信号機６２、６３の各高さＨ１、Ｈ２、自車位置及び自車方位に基づいて、各発光体６２Ａ、６３Ａまでの自車両２（図６参照）からの距離を算出する。そして、ＣＰＵ４１は、進行方向前方の交差点７１（図６参照）における各信号機６２、６３間の進行方向の相対距離を算出する。また、ＣＰＵ４１は、撮影画像上の各信号機６２、６３間の水平距離Ｌ１、自車位置及び自車方位に基づいて、交差点７１（図６参照）における各信号機６２、６３間の進行方向に直交する方向の相対距離を算出する。そして、ＣＰＵ４１は、この算出した交差点７１における各信号機６２、６３間の進行方向の相対距離と、各信号機６２、６３間の進行方向に直交する方向の相対距離とを、各発光体６２Ａ、６３Ａの交差点上における相対位置関係としてＲＡＭ４２に記憶する。
【００４８】
続いて、Ｓ２０において、ＣＰＵ４１は、自車両前方における対となるペア信号機に関する信号機情報を地図情報ＤＢ２５から読み出して、交差点における前方のペア信号機のそれぞれの位置座標に基づいて、地図データ上の各信号機の相対位置関係（例えば、進行方向の相対距離と進行方向に直交する方向の相対距離である。）を算出する。そして、ＣＰＵ４１は、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致するか否かを判定する判定処理を実行する。
【００４９】
例えば、図６に示すように、ＣＰＵ４１は、自車両２の進行方向前方における対となるＡ信号機６２とＢ信号機６３の撮影画像データにもとづいて算出した交差点７１における各信号機６２、６３間の進行方向の相対距離と、各信号機６２、６３間の進行方向に直交する方向の相対距離とが、地図データ上の各信号機６２、６３間の各距離Ｙ、Ｘに近似若しくは一致するか否かを判定する。
【００５０】
そして、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致しない場合には（Ｓ２０：ＮＯ）、ＣＰＵ４１は、色情報が近似する若しくは一致する複数の発光体は、対となるペア信号機の発光部でないと判定して、当該処理を終了する。
【００５１】
一方、上記Ｓ１９で算出した複数の発光体の交差点上における相対位置関係と、地図データ上の進行方向前方における対となるペア信号機の相対位置関係とが近似若しくは一致した場合には（Ｓ２０：ＹＥＳ）、ＣＰＵ４１は、Ｓ２１の処理に移行する。
Ｓ２１において、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体を自車両の進路上の交差点において対となる電球式の信号機として検出する。そして、ＣＰＵ４１は、この検出した撮影画像上における対となる電球式の信号機の発光部の色情報等に基づいて、当該各電球式の信号機の信号状態をＲＡＭ４２に記憶後、当該処理を終了する。
【００５２】
［上記実施例の効果］
以上詳細に説明した通り、本実施例に係るナビゲーション装置１では、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期が一致する場合には、この複数の発光体を自車両の進路上の交差点において対となるＬＥＤ信号機として検出する（Ｓ１１〜Ｓ１８：ＹＥＳ〜Ｓ２１）。これにより、ＣＰＵ４１は、街灯や車両のテールランプのような発光体をＬＥＤ信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上のＬＥＤ信号機の発光部の色が想定した色と異なっていても、自車両の進路上の交差点において対となるＬＥＤ信号機を正確に検出することが可能となる。
【００５３】
また、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期が一致しない場合には、撮影画像上におけるこの複数の発光体の相対位置関係と自車位置及び自車方位とから、この複数の発光体の交差点上における相対位置関係を算出し、地図データ上の対となるペア信号機の相対位置関係と近似若しくは一致した場合には、この複数の発光体を自車両の進路上の交差点において対となる電球式の信号機として検出する（Ｓ１１〜Ｓ１８：ＮＯ〜Ｓ２１）。これにより、ＣＰＵ４１は、街灯や車両のテールランプのような発光体を電球式の信号機の発光部として誤認識することを防止することが可能となると共に、撮影画像上の電球式の信号機の発光部の色が想定した色と異なっていても、自車両の進路上の交差点において複数の電球式の信号機を正確に検出することが可能となる。
【００５４】
また、ＣＰＵ４１は、撮影画像上における色情報が近似する若しくは一致する複数の発光体の点灯周期や相対位置関係に基づいて、自車両の進路上の交差点において対となるＬＥＤ信号機又は電球式の信号機を検出するため（Ｓ１７：ＹＥＳ〜Ｓ２１）、ペア信号機の発光部の色が想定した色と異なっていても、自車両の進路上の複数の信号機を正確に検出することが可能となる。
【００５５】
尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【図面の簡単な説明】
【００５６】
【図１】本実施例に係るナビゲーション装置を示したブロック図である。
【図２】ＣＰＵが実行する処理であって、自車両前方の信号機を検出する「信号機検出処理」を示すフローチャートである。
【図３】前方撮像用カメラで撮影されたペア信号機の一例を示す図である。
【図４】撮影画像内の近似発光体を検出する一例を示す図である。
【図５】前方撮像用カメラで撮影されたＬＥＤ信号機の発光部の点灯周期の一例を示す図である。
【図６】交差点におけるペア信号機の一例を示す図である。
【符号の説明】
【００５７】
１ ナビゲーション装置
２ 自車両
１１ 現在地検出部
１２ データ記録部
１３ ナビゲーション制御部
２５ 地図情報ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ カメラＥＣＵ
５３ 前方撮像用カメラ
６１ 撮影画像
６２ Ａ信号機
６３ Ｂ信号機
６２Ａ、６３Ａ 発光体
７１ 交差点
【特許請求の範囲】
【請求項１】
自車位置を検出する自車位置検出手段と、
信号機に関する信号機情報を含む地図情報を記憶する地図情報記憶手段と、
前記自車位置と前記地図情報とに基づいて自車両前方の前記信号機情報を取得する信号機情報取得手段と、
自車両前方を撮影する撮影手段と、
前記信号機情報取得手段によって取得した信号機情報に基づいて、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定手段と、
前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出手段と、
前記近似発光体抽出手段によって抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出手段と、
前記点灯周期検出手段によって検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定手段と、
前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出手段と、
を備えたことを特徴とする信号機検出装置。
【請求項２】
前記複数の発光体のそれぞれの点灯周期が一致しないと判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された複数の発光体に関する該撮影画像内の映像位置関係を算出する映像位置算出手段と、
前記複数の発光体の撮影時における前記自車位置と前記映像位置関係とから該複数の発光体の相対位置関係を算出する映像相対位置算出手段と、
前記信号機情報に基づいて前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係を取得する地図相対位置取得手段と、
前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致するか否かを判定する位置関係判定手段と、
を備え、
前記信号機検出手段は、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として抽出することを特徴とする請求項１に記載の信号機検出装置。
【請求項３】
前記近似発光体抽出手段は、前記発光体の色情報を前記画像データに基づいて検出する色情報検出手段を有し、
該近似発光体抽出手段は、前記色情報が近似する複数の発光体を抽出することを特徴とする請求項１又は請求項２に記載の信号機検出装置。
【請求項４】
自車位置を検出する自車位置検出工程と、
前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程と、
前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程と、
前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程と、
前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程と、
前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程と、
前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程と、
を備えたことを特徴とする信号機検出方法。
【請求項５】
コンピュータに、
自車位置を検出する自車位置検出工程と、
前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取
得する信号機情報取得工程と、
前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する
撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程と、
前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の
信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程と、
前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯
周期を検出する点灯周期検出工程と、
前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致
するか否かを判定する点灯周期判定工程と、
前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定
された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程と、
を実行させるためのプログラム。
【請求項１】
自車位置を検出する自車位置検出手段と、
信号機に関する信号機情報を含む地図情報を記憶する地図情報記憶手段と、
前記自車位置と前記地図情報とに基づいて自車両前方の前記信号機情報を取得する信号機情報取得手段と、
自車両前方を撮影する撮影手段と、
前記信号機情報取得手段によって取得した信号機情報に基づいて、前記撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定手段と、
前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出手段と、
前記近似発光体抽出手段によって抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出手段と、
前記点灯周期検出手段によって検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定手段と、
前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出手段と、
を備えたことを特徴とする信号機検出装置。
【請求項２】
前記複数の発光体のそれぞれの点灯周期が一致しないと判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された複数の発光体に関する該撮影画像内の映像位置関係を算出する映像位置算出手段と、
前記複数の発光体の撮影時における前記自車位置と前記映像位置関係とから該複数の発光体の相対位置関係を算出する映像相対位置算出手段と、
前記信号機情報に基づいて前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係を取得する地図相対位置取得手段と、
前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致するか否かを判定する位置関係判定手段と、
を備え、
前記信号機検出手段は、前記複数の発光体の相対位置関係と前記撮影手段による撮影画像内に同時に撮影される複数の信号機の地図上の相対位置関係とが一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として抽出することを特徴とする請求項１に記載の信号機検出装置。
【請求項３】
前記近似発光体抽出手段は、前記発光体の色情報を前記画像データに基づいて検出する色情報検出手段を有し、
該近似発光体抽出手段は、前記色情報が近似する複数の発光体を抽出することを特徴とする請求項１又は請求項２に記載の信号機検出装置。
【請求項４】
自車位置を検出する自車位置検出工程と、
前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取得する信号機情報取得工程と、
前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程と、
前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程と、
前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯周期を検出する点灯周期検出工程と、
前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致するか否かを判定する点灯周期判定工程と、
前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程と、
を備えたことを特徴とする信号機検出方法。
【請求項５】
コンピュータに、
自車位置を検出する自車位置検出工程と、
前記自車位置と地図情報とに基づいて自車両前方の信号機に関する信号機情報を取
得する信号機情報取得工程と、
前記信号機情報取得工程で取得した信号機情報に基づいて、自車両前方を撮影する
撮影手段による撮影画像内に同時に撮影される複数の信号機があるか否かを判定する認識候補判定工程と、
前記認識候補判定工程で前記撮影手段による撮影画像内に同時に撮影される複数の
信号機があると判定された場合には、前記撮影画像の画像データに基づいて同時に撮影された近似する複数の発光体を抽出する近似発光体抽出工程と、
前記近似発光体抽出工程で抽出された前記近似する複数の発光体のそれぞれの点灯
周期を検出する点灯周期検出工程と、
前記点灯周期検出工程で検出された前記複数の発光体のそれぞれの点灯周期が一致
するか否かを判定する点灯周期判定工程と、
前記点灯周期判定工程で前記複数の発光体のそれぞれの点灯周期が一致すると判定
された場合には、前記撮影手段によって撮影された複数の発光体を自車両前方の複数の信号機として検出する信号機検出工程と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２９３２７７（Ｐ２００８−２９３２７７Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３８２１６（Ｐ２００７−１３８２１６）
【出願日】平成１９年５月２４日（２００７．５．２４）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２４日（２００７．５．２４）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]