地物認識装置
【課題】道路地図データベースに登録されている地物と対応付けて認識できる地物認識装置を提供する。
【解決手段】移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像に基づいて複数の特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、画像由来位置関係と地図由来位置関係とを照合することにより、近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている特定種地物とを対応付ける照合手段と、を備える地物認識装置。
【解決手段】移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像に基づいて複数の特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、画像由来位置関係と地図由来位置関係とを照合することにより、近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている特定種地物とを対応付ける照合手段と、を備える地物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載される地物認識装置、地物認識方法及び地物認識プログラムに関し、特に移動体の近傍に存在する信号機等の地物を認識する技術に関する。
【背景技術】
【０００２】
特許文献１には、信号機の色や道路標識を画像解析により認識し、信号機の色や道路標識の位置や種類など地物の属性に応じて車両を制御する方法が開示されている。しかし、特許文献１に記載された方法によると、例えば車両の前方に複数の信号機が配列されており、車載カメラによってそれらの信号機が一画面内に撮像される場合には、車両を制御するために色を判定すべき信号機がどれであるのかを判定することが困難であるという問題がある。すなわち、この場合、車両を制御するために色を判定すべき信号機は、車両が走行している道路上にあって車両の前方にあり車両から最も近い信号機であるが、そのような信号機を画像解析だけで認識することは困難である。
【０００３】
【特許文献１】特開平１１−３０６４９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上述した問題を解決するための創作されたものであって、移動体に搭載されたカメラユニットから取得される画像に表れる複数の同一種地物を、道路地図データベースに登録されている地物と対応付けて認識できる地物認識装置、地物認識方法及び地物認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）上記目的を達成するための地物認識装置は、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、を備える。
移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物の近傍画像内の位置は、地物と移動体の位置関係に応じて変化する。しかし、地物と移動体の位置関係が変化するとしても、複数の地物間の現実の位置関係によって、近傍画像に表れるそれら複数の地物間の近傍画像内での位置関係は決まる。したがって、移動体に搭載されたカメラユニットから取得される近傍画像を解析することにより、地物間の現実の位置関係も特定できる。一方、地物間の現実の位置関係は、道路地図データベースに登録されている地物の位置の解析によっても特定可能である。道路地図データベースに登録されている地物のうち、移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物は、移動体の近傍に存在する地物であって、移動体の現在位置に基づいて特定可能である。この地物認識装置は、移動体の近傍に存在する複数の特定種地物の位置を道路地図データベースから取得し、取得した複数の位置の解析によって特定種地物間の位置関係である地図由来位置関係を特定する。さらに、この地物認識装置は、移動体に搭載されたカメラユニットから取得した近傍画像に表れている複数の特定種地物間の位置関係である画像由来位置関係を近傍画像の解析によって特定する。この地物認識装置によると、このようにして特定された地図由来位置関係と画像由来位置関係とを照合することにより、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【０００６】
（２）上記目的を達成するための地物認識装置は、前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも１つを目標地物として特定する目標特定手段と、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備えてもよい。
移動体を信号機、停止線等の地物を目標として制御しようとするとき、道路網上における移動体の現在位置によって、道路網上にある地物のうちで目標となる地物が決まる。この地物認識装置によると、道路地図データベースと現在位置とに基づいて特定される目標地物の属性を移動体の制御部に出力することができる。
【０００７】
（３）上記目的を達成するための地物認識装置において、前記目標地物の属性は前記移動体に対する前記目標地物の位置であってもよい。
この地物認識装置が搭載された移動体の制御部は、移動体に対する目標地物の位置によって制御量を設定することができる。
【０００８】
（４）上記目的を達成するための地物認識装置において、前記目標地物の属性は信号機の色であってもよい。
この地物認識装置が搭載された移動体の制御部は、信号機の色によって制御量を設定することができる。尚、信号機の色とは信号機の点灯している点灯部の色である。
【０００９】
（５）上記目的を達成するための地物認識装置は、前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備えてもよい。この地物認識装置において、前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得してもよいし、前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付けてもよい。
移動体に搭載されたカメラユニットから取得される近傍画像に表れる特定種地物を認識するためには、特定種地物の形態属性に基づいたパターンマッチングなどが必要になる。しかし、移動体に搭載されたカメラユニットから取得される画像に表れる地物の形状は地面を基準として地物の向いている方向（絶対方向）と地面を基準としてカメラユニットが撮影する方向（絶対撮影方向）とに応じて変わる。この地物認識装置によると、画像由来位置関係と地図由来位置関係とを照合するとき、特定種地物の絶対方向を用いるため、近傍画像に表れている特定種地物と道路地図データベースに登録されている特定種地物とを正確に対応付けることができる。尚、位置、絶対撮影方向又は絶対方向というとき、それらは現実空間を二次元空間で捉えた場合の位置又は方向を意味する。
【００１０】
（６）上記目的を達成するための地物認識方法は、移動体の現在位置を取得し、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定し、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、ことを含む。
この地物認識方法によると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【００１１】
（７）上記目的を達成するための地物認識プログラムは、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、としてコンピュータを機能させる。
この地物認識プログラムによると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【００１２】
尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００１３】
以下、実施例に基づいて本発明の実施の形態を説明する。
［地物認識装置のハードウェア構成］
図２は、本発明を適用した地物認識装置１を示すブロック図である。地物認識装置１は、自動車、オートバイ等の移動体としての車両に搭載されるナビゲーションシステムとして構成されている。
【００１４】
出力手段としてのインタフェース１５は、ＡＤ変換器、ＤＡ変換器等で構成され、車両に搭載された外部ユニットと地物認識装置１との間でのデータの転送を制御する入出力機構である。
ハードディスク装置（ＨＤＤ）１８には、道路地図データベース及び地物認識プログラムが格納されている。道路地図データベースは、ＣＤ、ＤＶＤ等の他の大容量不揮発性記憶媒体に格納されていてもよい。地物認識プログラムはＲＯＭ２０に格納されていてもよい。道路地図データベース及び地物認識プログラムは、通信回線を介してダウンロードしたり、リムーバブルメモリから読み込むことにより、地物認識装置１にインストールすることができる。
【００１５】
方位センサ１６は推測航法に用いる地磁気センサ、左右車輪速度差センサ、振動ジャイロ、ガスレートジャイロ、光ファイバジャイロなどで構成され、自車の進行方向を検出する。
ＧＰＳユニット１４は、衛星航法に用いる３個または４個の衛星から送られてくる軌道データを受信し、自車の現在位置の緯度経度データを出力するためのアンテナ、ＡＳＩＣ等で構成される。
【００１６】
カメラユニット１０は、ＣＣＤイメージセンサなどのカラー撮像素子とその駆動回路と画像信号処理回路とを備えている所謂単眼カメラである。カメラユニット１０は車両の外界の前方視界を表すディジタルカラー画像が所定のフレームレートで生成する。以下、車両の外界の前方視界を表すディジタルカラー画像を単に近傍画像というものとする。
速度センサ１２は、推測航法に用いられる。単位時間当たりの車輪の回転数から求まる車速を時間で積分することにより走行距離が求まる。電波や超音波を用いたドップラ対地速度センサ、光と空間フィルタを用いた対地速度センサを用いて走行距離を求めてもよい。
【００１７】
ＲＯＭ２０は、フラッシュメモリなどの不揮発性記憶媒体であって、ブートプログラムが格納されている。
ＣＰＵ２２は、ＲＯＭ２０及びＨＤＤ１８に格納されている各種のプログラムを実行することにより、現在位置取得手段、地物情報取得手段、地図由来位置関係特定手段、画像取得手段、画像解析手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、および絶対撮影方向特定手段として機能する。
【００１８】
ＲＡＭ２４は、揮発性記憶媒体であって、ＣＰＵ２２に実行されるプログラムやプログラムの処理対象データが一時的に格納されるワークメモリとして機能する。
移動体の制御部としてのＡＴ制御ユニット２６は、オートマチックトランスミッションの油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。
移動体の制御部としてのブレーキ制御ユニット２８は、ブレーキを駆動するための油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。
【００１９】
［地物認識プログラムの構成］
図３は地物認識プログラム３２の構成を示すブロック図である。
地物認識プログラム３２によって利用される道路地図データベース（ＤＢ）４２は、グラフ構造で地図をディジタル表現した情報で構成されるデータベースであって、道路網上の自車の現在位置の特定、地物の位置の特定などに用いられる。道路地図ＤＢ４２では、交差点、合流点、曲がり点、行き止まり点などはノードであり、道路はノードとノードを結ぶリンクとして定義されている。また各リンクには信号機の有無、距離、制限速度、レーン数、幅員、道路種別（高速道路、一般道など）などが属性情報として定義され、各ノードにはノードの位置を表す緯度経度などが属性情報として定義されている。リンクに信号機が有る場合、信号機の点灯部の位置を表す緯度経度、点灯部の高さを表す絶対高さ、点灯部が向いている方位を表す絶対方向等がそのリンクに関連付けて定義されている。これらの他、例えば点灯部の指向性（視野角）に関する情報が信号機の属性として定義されていてもよい。
【００２０】
地物認識プログラム３２によって利用されるロケーティングモジュール４０は、ＣＰＵ２０を現在位置取得手段として機能させるプログラム部品である。ロケーティングモジュール４０は、ＧＰＳユニット１４、速度センサ１２及び方位センサ１６の出力に基づいて衛星航法及び推測航法を併用しながら自車の現在位置を特定する。
画像認識モジュール３８は、ＣＰＵ２２を画像取得手段及び画像解析手段として機能させるプログラム部品である。画像認識モジュール３８は、カメラユニット１０から出力される近傍画像を解析し、近傍画像に表れている特定種地物としての信号機を検出し、近傍画像内において信号機の点灯部が表れている位置と、信号機の色とを特定する。近傍画像の解析によって信号機を検出する方法としては、構造マッチング、テンプレートマッチング、弛緩法などのいかなるパターン認識方法をも採用しうる。減速、加速、停止、操舵などを制御するための目標となる種類の地物である目標種地物としては、信号機、停止線等の各種の道路標識が考えられるが、本実施形態では信号機が目標種地物として説明される。目標種地物の属性としては、道路標識の種類、状態、自車からの距離、自車からみて存在する方向等が考えられるが、本実施形態では信号機の色と自車に対する位置として説明される。
【００２１】
画像データ管理モジュール３６は、画像認識モジュール３８の実行によって特定された信号機の近傍画像内の位置と色とを信号機毎に認識データ３０としてＲＡＭ２４に蓄積し、制御目標判定モジュール３４のリクエストに応じて近傍画像に表れている特定の信号機について色と近傍画像内の位置とを制御目標判定モジュール３４に渡す。
制御目標判定モジュール３４は、ＣＰＵ２２を地物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段及び絶対撮影方向特定手段として機能させるプログラム部品である。制御目標判定モジュール３４は、近傍画像内で検出された信号機と道路地図ＤＢ４２に登録されている信号機とを対応付け、画像認識モジュール３８の実行によって検出された自車の近傍に存在する信号機のうち目標となる信号機の自車からの距離及び色をＡＴ制御ユニット２６、ブレーキ制御ユニット２８等の車両の制御部に出力する。
【００２２】
［複数の信号機間の位置関係を画像解析により特定する方法］
信号機の高さが揃っているという前提があれば、自車に近い信号機ほど画像の上辺近くに表れ、自車から遠い信号機ほど画像の底辺近くに表れるため、近傍画像に表れる複数の信号機の現実のＹ方向の配列順序は各信号機に対応する画素の座標の垂直成分の比較のみで特定可能である。尚、画像の底辺は撮像範囲の底面に対応し、画像の上辺は撮像範囲の上面に対応するものとし、自車の進行方向に垂直で水平面に平行な方向をＸ方向といい、自車の進行方向をＹ方向というものとする。また、各信号機は、自車を基準にして各信号機が存在する方位に応じて近傍画像内に表れる水平方向位置が決まるため、近傍画像に表れる複数の信号機の現実のＸ方向の配列順序は各信号機に対応する画素の座標の水平成分の比較のみで特定可能である。
【００２３】
次に、カメラユニット１０から出力される近傍画像の解析によって複数の信号機間の位置関係をより詳しく特定する方法を説明する。以下の説明では、図４に示すように近傍画像の画素の位置を画像の中央水平線及び中央垂直線を座標軸とする座標（ｘp、ｙp）で表す。
まず地面上の点Ｐと自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図４及び図５に基づいて説明する。地上からカメラユニット１０のレンズの焦点までの高さをＨcamera、カメラユニット１０のレンズの光軸と鉛直線がなす角度をθsetとし、点Ｐが表れている注目画素に対応する視線Ｓ（図４（Ｂ）参照）とカメラユニット１０のレンズの光軸とがなす角度をθpとし、カメラユニット１０のレンズの焦点位置を自車位置とみなして自車と点ＰまでのＹ方向の距離をＤpとするとき次式（１）の関係が成り立っている。
Ｄp＝Ｈcameraｔａｎ（θset＋θp）
＝Ｈcamera（ｔａｎθset＋ｔａｎθp）／（１−ｔａｎθsetｔａｎθp）［Ｄｅｇ］・・・（１）
【００２４】
カメラユニット１０の垂直画角の１／２をθr、カメラユニット１０のレンズの焦点距離をｆ、カメラユニット１０の撮像素子における画素の垂直方向の配列間隔をａ、カメラユニット１０の撮像素子の垂直方向画素数をＮhとするとき、次式（２）、（３）の関係が成り立っている。
ｔａｎθr＝ａＮh／ｆ・・・（２）
ｔａｎθp＝ａｙp／ｆ・・・（３）
よってｔａｎθpは注目画素の座標の垂直方向成分（ｙp）を用いて次式（４）で表すことができる。
ｔａｎθp＝ｙpｔａｎθr／Ｎh・・・（４）
したがって、自車と点ＰまでのＹ方向の距離Ｄpは次式（５）にｙpを代入することによって導出できる。
Ｄp＝Ｈcamera（ｔａｎθset＋ｙpｔａｎθr／Ｎh）／（１−ｔａｎθsetｙpｔａｎθr／Ｎh）［Ｄｅｇ］
【００２５】
次に、信号機と自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図６に基づいて説明する。信号機Ｓｃの点灯部の高さは一般に５〜６ｍである。例えば日本国内では点灯部の高さが５ｍ以上６ｍ以下である信号機は信号機全体の９０％以上に相当する。そこで、信号機Ｓｃの点灯部の高さＨsignalを一定とみなし、各信号機の点灯部を通る水平面を想定する。この水平面を地面と想定すれば、信号機Ｓｃの点灯部はそのように想定した地面にあることになる。自車から信号機ＳｃまでのＹ方向の距離をＤsignalとするとき、次式（５）の関係が成り立つため、式（４）を用いてＤsignalを求めることができる。
Ｄsignal＝（Ｈsignal−Ｈcamera）ｔａｎ（１８０−θset−θp）・・・（５）
自車から各信号機の点灯部までのＹ方向の距離Ｄsignalによって、複数の信号機間のＹ方向の位置関係は一義的に決まる。
【００２６】
次に、近傍画像内に表れている複数の信号機間のＸ方向の位置関係を詳しく特定する方法について図７に基づいて説明する。今、近傍画像内で検出された３つの信号機Ｓｃ1、Ｓｃ2、Ｓｃ3間の位置関係について考える。近傍画像内に表れる信号機と自車とのＸ方向の距離は、近傍画像内での信号機から中央垂直線までの距離に比例し、自車に対する信号機の車両の進行方向（Ｙ方向）の距離の比に反比例する。したがって、自車から信号機Ｓｃ1、Ｓｃ2、Ｓｃ3までのＹ方向の距離をそれぞれＤｃ1、Ｄｃ2、Ｄｃ3とし、信号機Ｓ1、Ｓ2間の現実のＸ方向の距離をＷｃ12、信号機Ｓｃ2、Ｓｃ3間の現実のＸ方向の距離をＷｃ23とし、信号機Ｓｃ1、Ｓｃ3間の現実のＸ方向の距離をＷｃ13、近傍画像内における信号機Ｓｃ1、Ｓｃ2、Ｓｃ3の座標の水平方向成分（ｘp）をＷｐ1、Ｗｐ2、Ｗｐ3とすると、Ｗｃ12とＷｃ23とＷｃ13の関係は次式（７）、（８）によって規定される。
Ｗｃ12／Ｗｃ23＝（Ｗｐ1／Ｄｃ1−Ｗｐ2／Ｄｃ2）／（Ｗｐ2／Ｄｃ2−Ｗｐ3／Ｄｃ3）・・・（７）
Ｗｃ13／Ｗｃ23＝（Ｗｐ1／Ｄｃ1−Ｗｐ3／Ｄｃ3）／（Ｗｐ2／Ｄｃ2−Ｗｐ3／Ｄｃ3）・・・（８）
すなわち、近傍画像内に表れている３個以上の信号機間のＸ方向の位置関係は、いずれか１個の信号機を基準として他の信号機がどれだけＸ方向に離れているかを比で表すことによって詳しく特定することができる。
以上、単眼カメラとしてカメラユニット１０が構成されている場合に複数の信号機間の位置関係を画像解析によって特定する方法について説明したが、ステレオカメラとしてカメラユニット１０が構成されている場合には、三角測量の原理を用いて複数の信号機間の位置関係を特定することができる。
【００２７】
［地物認識方法］
図１は地物認識装置１を用いた地物認識方法の処理のながれを示すフローチャートである。図１に示す処理ルーチンは、ＣＰＵ２２が地物認識プログラム３２を一定時間間隔（例えば１秒間隔）で繰り返し実行することによって、繰り返し実行される。
ステップＳ１００では、ＣＰＵ２２はロケーティングモジュール４０によって自車の現在位置が特定されているかを判定する。自車の現在位置が特定されていない場合、図１に示す処理ルーチンが終了する。
【００２８】
ステップＳ１０２では、ＣＰＵ２２はロケーティングモジュール４０から自車の現在位置を取得する。自車の現在位置は緯度及び経度によって表されている。
ステップＳ１０４では、ＣＰＵ２２は自車の近傍（例えば半径１００ｍ以内）に存在する目標種地物である信号機の情報を道路地図ＤＢ４２から取得する。自車の近傍に信号機が存在している場合（ステップＳ１０６で肯定判定される場合）、自車の近傍に存在している全ての信号機について、上述した信号機が存在するリンクの識別情報、信号機の位置、及び信号機の絶対方向がＣＰＵ２２によって道路地図ＤＢ４２から取得される。ここで、ＣＰＵ２２は各信号機の絶対高さを道路地図ＤＢ４２から取得し、各信号機の絶対高さが予め決められた範囲内に分布しているかを判定し、その範囲内に分布していない場合、図１に示す処理ルーチンを終了させてもよい。
【００２９】
自車の近傍に信号機が存在していない場合（ステップＳ１０６で否定判定される場合）、図１に示す処理ルーチンは終了する。
自車の近傍に信号機が存在している場合、ＣＰＵ２２は近傍画像の解析により近傍画像に表れている信号機を検出し、認識データをＲＡＭ２４に格納する（ステップＳ１０８）。具体的には、信号機の点灯部の形態に対応するパターンが近傍画像内で検索される。このとき、カメラユニット１０の画角内に存在する信号機であっても、図８に示すように自車の方を向いていない信号機Ｓｈ1、Ｓｈ2、Ｓｈ3、Ｓｈ4、Ｓｈ5は検出されない。信号機の点灯部の形態に対応するパターンが近傍画像内に表れている場合（後のステップＳ１１０で肯定判定される場合）、そのパターンが表れた近傍画像内の位置を表す座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。信号機の点灯部の形態に対応するパターンが近傍画像内に複数表れている場合（後のステップＳ１１２で肯定判定される場合）、そのパターンが表れた近傍画像内のそれぞれの位置を表す複数の座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。尚、自車と信号機との位置関係に応じて信号機が近傍画像内に表れる位置が変化し、時間の経過に伴って信号機の色が変化するため、ＣＰＵ２２は検出した信号機について認識データ３０をフレーム毎に更新する。
【００３０】
近傍画像の解析により信号機が検出されなかった場合（ステップＳ１１０で否定判定される場合）、図１に示す処理ルーチンは終了する。
近傍画像の解析により信号機が複数検出された場合（ステップＳ１１２で肯定判定される場合）、次に述べるステップＳ１１４の処理に進む。近傍画像の解析により信号機が１個だけ検出された場合（ステップＳ１１２で否定判定される場合）、ＣＰＵ２２は検出した信号機を目標信号機として設定し（ステップＳ１１３）、ステップＳ１２０の処理に進む。
【００３１】
・画像由来位置関係の特定
ステップＳ１１４では、ＣＰＵ２２は認識データ３０に基づいて複数の信号機間の位置関係を特定し、特定した位置関係を画像由来位置関係として記憶する。この処理について図９、図１０及び図７に基づいて具体的に説明する。まず、ＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の垂直方向成分Ｈｐ1、Ｈｐ2、Ｈｐ3に基づいて自車から近傍画像内で検出された信号機Ｓｃ1、Ｓｃ2、Ｓｃ3までのＹ方向の距離Ｄｃ1、Ｄｃ2、Ｄｃ3を特定する。次にＣＰＵ２２はＤｃ1、Ｄｃ2、Ｄｃ3に基づいて各信号機間のＹ方向の距離Ｄｃ12、Ｄｃ23、Ｄｃ13を求めることによって各信号機間のＹ方向の位置関係を特定する。さらにＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の水平方向成分Ｗｐ1、Ｗｐ2、Ｗｐ3に基づいてＷｃ12／Ｗｃ23、Ｗｃ13／Ｗｃ23を求めることによって信号機Ｓｃ1、Ｓｃ2、Ｓｃ3のＸ方向の位置関係を特定する。
【００３２】
・地図由来位置関係の特定
ステップＳ１１６では、ＣＰＵ２２はステップＳ１０４で道路地図ＤＢ４２から取得した信号機の位置に基づいて自車の近傍に存在する信号機間の位置関係を特定し、地図由来位置関係として記憶する。このとき、ＣＰＵ２２は各信号機の位置と向きと自車の現在位置と進行方向とに基づいて、画像解析によって検出されている可能性のある信号機についてのみ位置関係を特定する。例えば、自車の進行方向側に存在し、自車の進行方向と信号機の向き（絶対方向）のなす角が１８０度±４５度の範囲にある信号機Ｓｍ1、Ｓｍ2、Ｓｍ3についてのみ位置関係が特定される。地図由来位置関係は画像由来位置関係と照合されるものであるため、地図由来位置関係と画像由来位置関係を表す座標軸の方向が一致していなければならない。そこでＣＰＵ２２は道路地図ＤＢ４２に登録されている信号機の位置を表す座標を、Ｘ方向及びＹ方向に伸びる２軸を座標軸とする座標平面の座標に変換する（図１１参照）。具体的には例えば、ＣＰＵ２２はステップＳ１０２で取得した自車の進行方向と北の方位とがなす角度だけ信号機の位置を原点周りに回転移動させる行列変換式を用いて各信号機のＸ座標及びＹ座標を求める。さらにＣＰＵ２２は各信号機間のＹ方向の距離Ｄｍ12、Ｄｍ23、Ｄｍ13を信号機Ｓｍ1、Ｓｍ2、Ｓｍ3間のＹ方向の位置関係として求める。またＣＰＵ２２は各信号機間のＸ方向の距離Ｗｍ12、Ｗｍ23、Ｗｍ13を求め、信号機Ｓｍ1、Ｓｍ2、Ｓｍ3のＸ方向の位置関係をＷｍ12／Ｗｍ23とＷｍ13／Ｗｍ23を求めることによって特定する。
【００３３】
・画像由来位置関係と地図由来位置関係の照合
ステップＳ１１８ではＣＰＵ２２は図１２に示すサブルーチンを実行することによって画像由来位置関係と地図由来位置関係とを照合し、近傍画像に表れている信号機のうち目標となる信号機を特定する。
ステップＳ２００ではＣＰＵ２２はステップＳ１０４で取得した自車近傍に存在する信号機の情報に基づいて自車が現在走行している道路に存在する信号機を選抜する。具体的には、ＣＰＵ２２はロケーティングモジュール４０から自車が現在走行しているリンクの識別情報を取得し、取得したリンクの識別情報がステップＳ１０４で取得された信号機を選抜する。
【００３４】
ステップＳ２０２ではＣＰＵ２２はステップＳ２００で選抜された信号機のうち自車の進行方向に存在している信号機を目標地物としての目標信号機として選抜する。この処理では、道路地図ＤＢ４２において各リンクが双方向リンクとして定義されているために、各信号機について自車の進行方向に存在しているか否かが信号機の位置と自車の現在位置と自車の進行方向とに基づいて判断される。
ステップＳ２０２で複数の信号機情報が目標信号機として選抜される場合（ステップＳ２０４で肯定判定される場合）、具体的には例えばペア信号が自車の走行リンク上において自車の進行方向に存在している場合、ＣＰＵ２２は、自車の現在位置から最も近くに位置が道路地図ＤＢ４２に登録されている信号機を目標信号機として選抜する（ステップＳ２０６）。尚、ペア信号とは、交差点手前の１つの道路上にある車両に対して設けられ、同一のパターンで点灯する２つ１組の信号である。
【００３５】
ステップＳ２０８では、ＣＰＵ２２は画像由来位置関係と地図由来位置関係とを照合することによって、近傍画像内で検出された信号機のうちで目標信号機に対応する信号機を特定する。具体的には、ＣＰＵ２２は、近傍画像内で検出された複数の信号機と、地図由来関係を特定した複数の信号機との対応を順次仮定し、各仮定において画像由来位置関係と地図由来位置関係とが整合するかを判定し、整合する場合には、仮定した対応を確定させる。図１０及び図１３に基づいてより具体的に説明する。まず、近傍画像内で検出された複数の信号機のうち、例えば信号機Ｓｃ2が目標信号機Ｓｍ2に対応し、Ｓｃ1とＳｍ1、Ｓｃ3とＳｍ3がそれぞれ対応すると仮定される。次に、その仮定について、Ｗｍ12／Ｗｍ23≒Ｗｃ12／Ｗｃ23、Ｗｍ13／Ｗｍ23≒Ｗｃ13／Ｗｃ23、Ｄｍ12≒Ｄｃ12、Ｄｍ23≒Ｄｃ23が成立するかが判定される。成立する場合には、ＣＰＵ２２は仮定した対応付けを確定させる。成立しない場合には、ＣＰＵ２２は別の組み合わせで対応付けを仮定し、Ｗｍ12／Ｗｍ23≒Ｗｃ12／Ｗｃ23、Ｗｍ13／Ｗｍ23≒Ｗｃ13／Ｗｃ23、Ｄｍ12≒Ｄｃ12、Ｄｍ23≒Ｄｃ23が成立するかが判定される。
【００３６】
ステップＳ１２０では、ＣＰＵ２２は近傍画像の解析により目標信号機の属性を特定する。具体的には、目標信号機と対応付けられた近傍画像に表れている信号機について、属性としての色と自車までのＹ方向の距離とが近傍画像の解析によって特定される。
ステップＳ１２２では、ＣＰＵ２２はインタフェース１５を介してＡＴ制御ユニット２６及びブレーキ制御ユニット２８に画像解析によって特定した目標信号機の色と自車からのＹ方向の距離とを出力する。このとき、ＣＰＵ２２は信号機の色や道路標識の種類に応じた目標速度などの制御量をＡＴ制御ユニット２６及びブレーキ制御ユニット２８に出力することもできる。
【００３７】
［他の実施形態］
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、本発明は、近傍画像に表れている特定種地物と道路地図ＤＢ４２に登録されている特定種地物とを対応付けることにより、自車の現在位置を正確に特定する技術に適用することもできる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係るフローチャート。
【図２】本発明の実施形態に係るブロック図。
【図３】本発明の実施形態に係るブロック図。
【図４】本発明の実施形態に係る模式図。
【図５】本発明の実施形態に係る模式図。
【図６】本発明の実施形態に係る模式図。
【図７】本発明の実施形態に係る模式図。
【図８】本発明の実施形態に係る模式図。
【図９】本発明の実施形態に係る模式図。
【図１０】本発明の実施形態に係る模式図。
【図１１】本発明の実施形態に係る模式図。
【図１２】本発明の実施形態に係るフローチャート。
【図１３】本発明の実施形態に係る模式図。
【符号の説明】
【００３９】
１：地物認識装置、１０：カメラユニット、２２：ＣＰＵ、２６：ＡＴ制御ユニット（運動制御部）、２８：ブレーキ制御ユニット（運動制御部）、３２：地物認識プログラム、３４：制御目標判定モジュール（物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、絶対撮影方向特定手段）、３６：画像データ管理モジュール、３８：画像認識モジュール（画像取得手段、画像解析手段）、４０：ロケーティングモジュール、４２：道路地図データベース、
【技術分野】
【０００１】
本発明は、移動体に搭載される地物認識装置、地物認識方法及び地物認識プログラムに関し、特に移動体の近傍に存在する信号機等の地物を認識する技術に関する。
【背景技術】
【０００２】
特許文献１には、信号機の色や道路標識を画像解析により認識し、信号機の色や道路標識の位置や種類など地物の属性に応じて車両を制御する方法が開示されている。しかし、特許文献１に記載された方法によると、例えば車両の前方に複数の信号機が配列されており、車載カメラによってそれらの信号機が一画面内に撮像される場合には、車両を制御するために色を判定すべき信号機がどれであるのかを判定することが困難であるという問題がある。すなわち、この場合、車両を制御するために色を判定すべき信号機は、車両が走行している道路上にあって車両の前方にあり車両から最も近い信号機であるが、そのような信号機を画像解析だけで認識することは困難である。
【０００３】
【特許文献１】特開平１１−３０６４９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上述した問題を解決するための創作されたものであって、移動体に搭載されたカメラユニットから取得される画像に表れる複数の同一種地物を、道路地図データベースに登録されている地物と対応付けて認識できる地物認識装置、地物認識方法及び地物認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）上記目的を達成するための地物認識装置は、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、を備える。
移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物の近傍画像内の位置は、地物と移動体の位置関係に応じて変化する。しかし、地物と移動体の位置関係が変化するとしても、複数の地物間の現実の位置関係によって、近傍画像に表れるそれら複数の地物間の近傍画像内での位置関係は決まる。したがって、移動体に搭載されたカメラユニットから取得される近傍画像を解析することにより、地物間の現実の位置関係も特定できる。一方、地物間の現実の位置関係は、道路地図データベースに登録されている地物の位置の解析によっても特定可能である。道路地図データベースに登録されている地物のうち、移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物は、移動体の近傍に存在する地物であって、移動体の現在位置に基づいて特定可能である。この地物認識装置は、移動体の近傍に存在する複数の特定種地物の位置を道路地図データベースから取得し、取得した複数の位置の解析によって特定種地物間の位置関係である地図由来位置関係を特定する。さらに、この地物認識装置は、移動体に搭載されたカメラユニットから取得した近傍画像に表れている複数の特定種地物間の位置関係である画像由来位置関係を近傍画像の解析によって特定する。この地物認識装置によると、このようにして特定された地図由来位置関係と画像由来位置関係とを照合することにより、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【０００６】
（２）上記目的を達成するための地物認識装置は、前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも１つを目標地物として特定する目標特定手段と、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備えてもよい。
移動体を信号機、停止線等の地物を目標として制御しようとするとき、道路網上における移動体の現在位置によって、道路網上にある地物のうちで目標となる地物が決まる。この地物認識装置によると、道路地図データベースと現在位置とに基づいて特定される目標地物の属性を移動体の制御部に出力することができる。
【０００７】
（３）上記目的を達成するための地物認識装置において、前記目標地物の属性は前記移動体に対する前記目標地物の位置であってもよい。
この地物認識装置が搭載された移動体の制御部は、移動体に対する目標地物の位置によって制御量を設定することができる。
【０００８】
（４）上記目的を達成するための地物認識装置において、前記目標地物の属性は信号機の色であってもよい。
この地物認識装置が搭載された移動体の制御部は、信号機の色によって制御量を設定することができる。尚、信号機の色とは信号機の点灯している点灯部の色である。
【０００９】
（５）上記目的を達成するための地物認識装置は、前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備えてもよい。この地物認識装置において、前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得してもよいし、前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付けてもよい。
移動体に搭載されたカメラユニットから取得される近傍画像に表れる特定種地物を認識するためには、特定種地物の形態属性に基づいたパターンマッチングなどが必要になる。しかし、移動体に搭載されたカメラユニットから取得される画像に表れる地物の形状は地面を基準として地物の向いている方向（絶対方向）と地面を基準としてカメラユニットが撮影する方向（絶対撮影方向）とに応じて変わる。この地物認識装置によると、画像由来位置関係と地図由来位置関係とを照合するとき、特定種地物の絶対方向を用いるため、近傍画像に表れている特定種地物と道路地図データベースに登録されている特定種地物とを正確に対応付けることができる。尚、位置、絶対撮影方向又は絶対方向というとき、それらは現実空間を二次元空間で捉えた場合の位置又は方向を意味する。
【００１０】
（６）上記目的を達成するための地物認識方法は、移動体の現在位置を取得し、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定し、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、ことを含む。
この地物認識方法によると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【００１１】
（７）上記目的を達成するための地物認識プログラムは、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、としてコンピュータを機能させる。
この地物認識プログラムによると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。
【００１２】
尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００１３】
以下、実施例に基づいて本発明の実施の形態を説明する。
［地物認識装置のハードウェア構成］
図２は、本発明を適用した地物認識装置１を示すブロック図である。地物認識装置１は、自動車、オートバイ等の移動体としての車両に搭載されるナビゲーションシステムとして構成されている。
【００１４】
出力手段としてのインタフェース１５は、ＡＤ変換器、ＤＡ変換器等で構成され、車両に搭載された外部ユニットと地物認識装置１との間でのデータの転送を制御する入出力機構である。
ハードディスク装置（ＨＤＤ）１８には、道路地図データベース及び地物認識プログラムが格納されている。道路地図データベースは、ＣＤ、ＤＶＤ等の他の大容量不揮発性記憶媒体に格納されていてもよい。地物認識プログラムはＲＯＭ２０に格納されていてもよい。道路地図データベース及び地物認識プログラムは、通信回線を介してダウンロードしたり、リムーバブルメモリから読み込むことにより、地物認識装置１にインストールすることができる。
【００１５】
方位センサ１６は推測航法に用いる地磁気センサ、左右車輪速度差センサ、振動ジャイロ、ガスレートジャイロ、光ファイバジャイロなどで構成され、自車の進行方向を検出する。
ＧＰＳユニット１４は、衛星航法に用いる３個または４個の衛星から送られてくる軌道データを受信し、自車の現在位置の緯度経度データを出力するためのアンテナ、ＡＳＩＣ等で構成される。
【００１６】
カメラユニット１０は、ＣＣＤイメージセンサなどのカラー撮像素子とその駆動回路と画像信号処理回路とを備えている所謂単眼カメラである。カメラユニット１０は車両の外界の前方視界を表すディジタルカラー画像が所定のフレームレートで生成する。以下、車両の外界の前方視界を表すディジタルカラー画像を単に近傍画像というものとする。
速度センサ１２は、推測航法に用いられる。単位時間当たりの車輪の回転数から求まる車速を時間で積分することにより走行距離が求まる。電波や超音波を用いたドップラ対地速度センサ、光と空間フィルタを用いた対地速度センサを用いて走行距離を求めてもよい。
【００１７】
ＲＯＭ２０は、フラッシュメモリなどの不揮発性記憶媒体であって、ブートプログラムが格納されている。
ＣＰＵ２２は、ＲＯＭ２０及びＨＤＤ１８に格納されている各種のプログラムを実行することにより、現在位置取得手段、地物情報取得手段、地図由来位置関係特定手段、画像取得手段、画像解析手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、および絶対撮影方向特定手段として機能する。
【００１８】
ＲＡＭ２４は、揮発性記憶媒体であって、ＣＰＵ２２に実行されるプログラムやプログラムの処理対象データが一時的に格納されるワークメモリとして機能する。
移動体の制御部としてのＡＴ制御ユニット２６は、オートマチックトランスミッションの油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。
移動体の制御部としてのブレーキ制御ユニット２８は、ブレーキを駆動するための油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。
【００１９】
［地物認識プログラムの構成］
図３は地物認識プログラム３２の構成を示すブロック図である。
地物認識プログラム３２によって利用される道路地図データベース（ＤＢ）４２は、グラフ構造で地図をディジタル表現した情報で構成されるデータベースであって、道路網上の自車の現在位置の特定、地物の位置の特定などに用いられる。道路地図ＤＢ４２では、交差点、合流点、曲がり点、行き止まり点などはノードであり、道路はノードとノードを結ぶリンクとして定義されている。また各リンクには信号機の有無、距離、制限速度、レーン数、幅員、道路種別（高速道路、一般道など）などが属性情報として定義され、各ノードにはノードの位置を表す緯度経度などが属性情報として定義されている。リンクに信号機が有る場合、信号機の点灯部の位置を表す緯度経度、点灯部の高さを表す絶対高さ、点灯部が向いている方位を表す絶対方向等がそのリンクに関連付けて定義されている。これらの他、例えば点灯部の指向性（視野角）に関する情報が信号機の属性として定義されていてもよい。
【００２０】
地物認識プログラム３２によって利用されるロケーティングモジュール４０は、ＣＰＵ２０を現在位置取得手段として機能させるプログラム部品である。ロケーティングモジュール４０は、ＧＰＳユニット１４、速度センサ１２及び方位センサ１６の出力に基づいて衛星航法及び推測航法を併用しながら自車の現在位置を特定する。
画像認識モジュール３８は、ＣＰＵ２２を画像取得手段及び画像解析手段として機能させるプログラム部品である。画像認識モジュール３８は、カメラユニット１０から出力される近傍画像を解析し、近傍画像に表れている特定種地物としての信号機を検出し、近傍画像内において信号機の点灯部が表れている位置と、信号機の色とを特定する。近傍画像の解析によって信号機を検出する方法としては、構造マッチング、テンプレートマッチング、弛緩法などのいかなるパターン認識方法をも採用しうる。減速、加速、停止、操舵などを制御するための目標となる種類の地物である目標種地物としては、信号機、停止線等の各種の道路標識が考えられるが、本実施形態では信号機が目標種地物として説明される。目標種地物の属性としては、道路標識の種類、状態、自車からの距離、自車からみて存在する方向等が考えられるが、本実施形態では信号機の色と自車に対する位置として説明される。
【００２１】
画像データ管理モジュール３６は、画像認識モジュール３８の実行によって特定された信号機の近傍画像内の位置と色とを信号機毎に認識データ３０としてＲＡＭ２４に蓄積し、制御目標判定モジュール３４のリクエストに応じて近傍画像に表れている特定の信号機について色と近傍画像内の位置とを制御目標判定モジュール３４に渡す。
制御目標判定モジュール３４は、ＣＰＵ２２を地物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段及び絶対撮影方向特定手段として機能させるプログラム部品である。制御目標判定モジュール３４は、近傍画像内で検出された信号機と道路地図ＤＢ４２に登録されている信号機とを対応付け、画像認識モジュール３８の実行によって検出された自車の近傍に存在する信号機のうち目標となる信号機の自車からの距離及び色をＡＴ制御ユニット２６、ブレーキ制御ユニット２８等の車両の制御部に出力する。
【００２２】
［複数の信号機間の位置関係を画像解析により特定する方法］
信号機の高さが揃っているという前提があれば、自車に近い信号機ほど画像の上辺近くに表れ、自車から遠い信号機ほど画像の底辺近くに表れるため、近傍画像に表れる複数の信号機の現実のＹ方向の配列順序は各信号機に対応する画素の座標の垂直成分の比較のみで特定可能である。尚、画像の底辺は撮像範囲の底面に対応し、画像の上辺は撮像範囲の上面に対応するものとし、自車の進行方向に垂直で水平面に平行な方向をＸ方向といい、自車の進行方向をＹ方向というものとする。また、各信号機は、自車を基準にして各信号機が存在する方位に応じて近傍画像内に表れる水平方向位置が決まるため、近傍画像に表れる複数の信号機の現実のＸ方向の配列順序は各信号機に対応する画素の座標の水平成分の比較のみで特定可能である。
【００２３】
次に、カメラユニット１０から出力される近傍画像の解析によって複数の信号機間の位置関係をより詳しく特定する方法を説明する。以下の説明では、図４に示すように近傍画像の画素の位置を画像の中央水平線及び中央垂直線を座標軸とする座標（ｘp、ｙp）で表す。
まず地面上の点Ｐと自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図４及び図５に基づいて説明する。地上からカメラユニット１０のレンズの焦点までの高さをＨcamera、カメラユニット１０のレンズの光軸と鉛直線がなす角度をθsetとし、点Ｐが表れている注目画素に対応する視線Ｓ（図４（Ｂ）参照）とカメラユニット１０のレンズの光軸とがなす角度をθpとし、カメラユニット１０のレンズの焦点位置を自車位置とみなして自車と点ＰまでのＹ方向の距離をＤpとするとき次式（１）の関係が成り立っている。
Ｄp＝Ｈcameraｔａｎ（θset＋θp）
＝Ｈcamera（ｔａｎθset＋ｔａｎθp）／（１−ｔａｎθsetｔａｎθp）［Ｄｅｇ］・・・（１）
【００２４】
カメラユニット１０の垂直画角の１／２をθr、カメラユニット１０のレンズの焦点距離をｆ、カメラユニット１０の撮像素子における画素の垂直方向の配列間隔をａ、カメラユニット１０の撮像素子の垂直方向画素数をＮhとするとき、次式（２）、（３）の関係が成り立っている。
ｔａｎθr＝ａＮh／ｆ・・・（２）
ｔａｎθp＝ａｙp／ｆ・・・（３）
よってｔａｎθpは注目画素の座標の垂直方向成分（ｙp）を用いて次式（４）で表すことができる。
ｔａｎθp＝ｙpｔａｎθr／Ｎh・・・（４）
したがって、自車と点ＰまでのＹ方向の距離Ｄpは次式（５）にｙpを代入することによって導出できる。
Ｄp＝Ｈcamera（ｔａｎθset＋ｙpｔａｎθr／Ｎh）／（１−ｔａｎθsetｙpｔａｎθr／Ｎh）［Ｄｅｇ］
【００２５】
次に、信号機と自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図６に基づいて説明する。信号機Ｓｃの点灯部の高さは一般に５〜６ｍである。例えば日本国内では点灯部の高さが５ｍ以上６ｍ以下である信号機は信号機全体の９０％以上に相当する。そこで、信号機Ｓｃの点灯部の高さＨsignalを一定とみなし、各信号機の点灯部を通る水平面を想定する。この水平面を地面と想定すれば、信号機Ｓｃの点灯部はそのように想定した地面にあることになる。自車から信号機ＳｃまでのＹ方向の距離をＤsignalとするとき、次式（５）の関係が成り立つため、式（４）を用いてＤsignalを求めることができる。
Ｄsignal＝（Ｈsignal−Ｈcamera）ｔａｎ（１８０−θset−θp）・・・（５）
自車から各信号機の点灯部までのＹ方向の距離Ｄsignalによって、複数の信号機間のＹ方向の位置関係は一義的に決まる。
【００２６】
次に、近傍画像内に表れている複数の信号機間のＸ方向の位置関係を詳しく特定する方法について図７に基づいて説明する。今、近傍画像内で検出された３つの信号機Ｓｃ1、Ｓｃ2、Ｓｃ3間の位置関係について考える。近傍画像内に表れる信号機と自車とのＸ方向の距離は、近傍画像内での信号機から中央垂直線までの距離に比例し、自車に対する信号機の車両の進行方向（Ｙ方向）の距離の比に反比例する。したがって、自車から信号機Ｓｃ1、Ｓｃ2、Ｓｃ3までのＹ方向の距離をそれぞれＤｃ1、Ｄｃ2、Ｄｃ3とし、信号機Ｓ1、Ｓ2間の現実のＸ方向の距離をＷｃ12、信号機Ｓｃ2、Ｓｃ3間の現実のＸ方向の距離をＷｃ23とし、信号機Ｓｃ1、Ｓｃ3間の現実のＸ方向の距離をＷｃ13、近傍画像内における信号機Ｓｃ1、Ｓｃ2、Ｓｃ3の座標の水平方向成分（ｘp）をＷｐ1、Ｗｐ2、Ｗｐ3とすると、Ｗｃ12とＷｃ23とＷｃ13の関係は次式（７）、（８）によって規定される。
Ｗｃ12／Ｗｃ23＝（Ｗｐ1／Ｄｃ1−Ｗｐ2／Ｄｃ2）／（Ｗｐ2／Ｄｃ2−Ｗｐ3／Ｄｃ3）・・・（７）
Ｗｃ13／Ｗｃ23＝（Ｗｐ1／Ｄｃ1−Ｗｐ3／Ｄｃ3）／（Ｗｐ2／Ｄｃ2−Ｗｐ3／Ｄｃ3）・・・（８）
すなわち、近傍画像内に表れている３個以上の信号機間のＸ方向の位置関係は、いずれか１個の信号機を基準として他の信号機がどれだけＸ方向に離れているかを比で表すことによって詳しく特定することができる。
以上、単眼カメラとしてカメラユニット１０が構成されている場合に複数の信号機間の位置関係を画像解析によって特定する方法について説明したが、ステレオカメラとしてカメラユニット１０が構成されている場合には、三角測量の原理を用いて複数の信号機間の位置関係を特定することができる。
【００２７】
［地物認識方法］
図１は地物認識装置１を用いた地物認識方法の処理のながれを示すフローチャートである。図１に示す処理ルーチンは、ＣＰＵ２２が地物認識プログラム３２を一定時間間隔（例えば１秒間隔）で繰り返し実行することによって、繰り返し実行される。
ステップＳ１００では、ＣＰＵ２２はロケーティングモジュール４０によって自車の現在位置が特定されているかを判定する。自車の現在位置が特定されていない場合、図１に示す処理ルーチンが終了する。
【００２８】
ステップＳ１０２では、ＣＰＵ２２はロケーティングモジュール４０から自車の現在位置を取得する。自車の現在位置は緯度及び経度によって表されている。
ステップＳ１０４では、ＣＰＵ２２は自車の近傍（例えば半径１００ｍ以内）に存在する目標種地物である信号機の情報を道路地図ＤＢ４２から取得する。自車の近傍に信号機が存在している場合（ステップＳ１０６で肯定判定される場合）、自車の近傍に存在している全ての信号機について、上述した信号機が存在するリンクの識別情報、信号機の位置、及び信号機の絶対方向がＣＰＵ２２によって道路地図ＤＢ４２から取得される。ここで、ＣＰＵ２２は各信号機の絶対高さを道路地図ＤＢ４２から取得し、各信号機の絶対高さが予め決められた範囲内に分布しているかを判定し、その範囲内に分布していない場合、図１に示す処理ルーチンを終了させてもよい。
【００２９】
自車の近傍に信号機が存在していない場合（ステップＳ１０６で否定判定される場合）、図１に示す処理ルーチンは終了する。
自車の近傍に信号機が存在している場合、ＣＰＵ２２は近傍画像の解析により近傍画像に表れている信号機を検出し、認識データをＲＡＭ２４に格納する（ステップＳ１０８）。具体的には、信号機の点灯部の形態に対応するパターンが近傍画像内で検索される。このとき、カメラユニット１０の画角内に存在する信号機であっても、図８に示すように自車の方を向いていない信号機Ｓｈ1、Ｓｈ2、Ｓｈ3、Ｓｈ4、Ｓｈ5は検出されない。信号機の点灯部の形態に対応するパターンが近傍画像内に表れている場合（後のステップＳ１１０で肯定判定される場合）、そのパターンが表れた近傍画像内の位置を表す座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。信号機の点灯部の形態に対応するパターンが近傍画像内に複数表れている場合（後のステップＳ１１２で肯定判定される場合）、そのパターンが表れた近傍画像内のそれぞれの位置を表す複数の座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。尚、自車と信号機との位置関係に応じて信号機が近傍画像内に表れる位置が変化し、時間の経過に伴って信号機の色が変化するため、ＣＰＵ２２は検出した信号機について認識データ３０をフレーム毎に更新する。
【００３０】
近傍画像の解析により信号機が検出されなかった場合（ステップＳ１１０で否定判定される場合）、図１に示す処理ルーチンは終了する。
近傍画像の解析により信号機が複数検出された場合（ステップＳ１１２で肯定判定される場合）、次に述べるステップＳ１１４の処理に進む。近傍画像の解析により信号機が１個だけ検出された場合（ステップＳ１１２で否定判定される場合）、ＣＰＵ２２は検出した信号機を目標信号機として設定し（ステップＳ１１３）、ステップＳ１２０の処理に進む。
【００３１】
・画像由来位置関係の特定
ステップＳ１１４では、ＣＰＵ２２は認識データ３０に基づいて複数の信号機間の位置関係を特定し、特定した位置関係を画像由来位置関係として記憶する。この処理について図９、図１０及び図７に基づいて具体的に説明する。まず、ＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の垂直方向成分Ｈｐ1、Ｈｐ2、Ｈｐ3に基づいて自車から近傍画像内で検出された信号機Ｓｃ1、Ｓｃ2、Ｓｃ3までのＹ方向の距離Ｄｃ1、Ｄｃ2、Ｄｃ3を特定する。次にＣＰＵ２２はＤｃ1、Ｄｃ2、Ｄｃ3に基づいて各信号機間のＹ方向の距離Ｄｃ12、Ｄｃ23、Ｄｃ13を求めることによって各信号機間のＹ方向の位置関係を特定する。さらにＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の水平方向成分Ｗｐ1、Ｗｐ2、Ｗｐ3に基づいてＷｃ12／Ｗｃ23、Ｗｃ13／Ｗｃ23を求めることによって信号機Ｓｃ1、Ｓｃ2、Ｓｃ3のＸ方向の位置関係を特定する。
【００３２】
・地図由来位置関係の特定
ステップＳ１１６では、ＣＰＵ２２はステップＳ１０４で道路地図ＤＢ４２から取得した信号機の位置に基づいて自車の近傍に存在する信号機間の位置関係を特定し、地図由来位置関係として記憶する。このとき、ＣＰＵ２２は各信号機の位置と向きと自車の現在位置と進行方向とに基づいて、画像解析によって検出されている可能性のある信号機についてのみ位置関係を特定する。例えば、自車の進行方向側に存在し、自車の進行方向と信号機の向き（絶対方向）のなす角が１８０度±４５度の範囲にある信号機Ｓｍ1、Ｓｍ2、Ｓｍ3についてのみ位置関係が特定される。地図由来位置関係は画像由来位置関係と照合されるものであるため、地図由来位置関係と画像由来位置関係を表す座標軸の方向が一致していなければならない。そこでＣＰＵ２２は道路地図ＤＢ４２に登録されている信号機の位置を表す座標を、Ｘ方向及びＹ方向に伸びる２軸を座標軸とする座標平面の座標に変換する（図１１参照）。具体的には例えば、ＣＰＵ２２はステップＳ１０２で取得した自車の進行方向と北の方位とがなす角度だけ信号機の位置を原点周りに回転移動させる行列変換式を用いて各信号機のＸ座標及びＹ座標を求める。さらにＣＰＵ２２は各信号機間のＹ方向の距離Ｄｍ12、Ｄｍ23、Ｄｍ13を信号機Ｓｍ1、Ｓｍ2、Ｓｍ3間のＹ方向の位置関係として求める。またＣＰＵ２２は各信号機間のＸ方向の距離Ｗｍ12、Ｗｍ23、Ｗｍ13を求め、信号機Ｓｍ1、Ｓｍ2、Ｓｍ3のＸ方向の位置関係をＷｍ12／Ｗｍ23とＷｍ13／Ｗｍ23を求めることによって特定する。
【００３３】
・画像由来位置関係と地図由来位置関係の照合
ステップＳ１１８ではＣＰＵ２２は図１２に示すサブルーチンを実行することによって画像由来位置関係と地図由来位置関係とを照合し、近傍画像に表れている信号機のうち目標となる信号機を特定する。
ステップＳ２００ではＣＰＵ２２はステップＳ１０４で取得した自車近傍に存在する信号機の情報に基づいて自車が現在走行している道路に存在する信号機を選抜する。具体的には、ＣＰＵ２２はロケーティングモジュール４０から自車が現在走行しているリンクの識別情報を取得し、取得したリンクの識別情報がステップＳ１０４で取得された信号機を選抜する。
【００３４】
ステップＳ２０２ではＣＰＵ２２はステップＳ２００で選抜された信号機のうち自車の進行方向に存在している信号機を目標地物としての目標信号機として選抜する。この処理では、道路地図ＤＢ４２において各リンクが双方向リンクとして定義されているために、各信号機について自車の進行方向に存在しているか否かが信号機の位置と自車の現在位置と自車の進行方向とに基づいて判断される。
ステップＳ２０２で複数の信号機情報が目標信号機として選抜される場合（ステップＳ２０４で肯定判定される場合）、具体的には例えばペア信号が自車の走行リンク上において自車の進行方向に存在している場合、ＣＰＵ２２は、自車の現在位置から最も近くに位置が道路地図ＤＢ４２に登録されている信号機を目標信号機として選抜する（ステップＳ２０６）。尚、ペア信号とは、交差点手前の１つの道路上にある車両に対して設けられ、同一のパターンで点灯する２つ１組の信号である。
【００３５】
ステップＳ２０８では、ＣＰＵ２２は画像由来位置関係と地図由来位置関係とを照合することによって、近傍画像内で検出された信号機のうちで目標信号機に対応する信号機を特定する。具体的には、ＣＰＵ２２は、近傍画像内で検出された複数の信号機と、地図由来関係を特定した複数の信号機との対応を順次仮定し、各仮定において画像由来位置関係と地図由来位置関係とが整合するかを判定し、整合する場合には、仮定した対応を確定させる。図１０及び図１３に基づいてより具体的に説明する。まず、近傍画像内で検出された複数の信号機のうち、例えば信号機Ｓｃ2が目標信号機Ｓｍ2に対応し、Ｓｃ1とＳｍ1、Ｓｃ3とＳｍ3がそれぞれ対応すると仮定される。次に、その仮定について、Ｗｍ12／Ｗｍ23≒Ｗｃ12／Ｗｃ23、Ｗｍ13／Ｗｍ23≒Ｗｃ13／Ｗｃ23、Ｄｍ12≒Ｄｃ12、Ｄｍ23≒Ｄｃ23が成立するかが判定される。成立する場合には、ＣＰＵ２２は仮定した対応付けを確定させる。成立しない場合には、ＣＰＵ２２は別の組み合わせで対応付けを仮定し、Ｗｍ12／Ｗｍ23≒Ｗｃ12／Ｗｃ23、Ｗｍ13／Ｗｍ23≒Ｗｃ13／Ｗｃ23、Ｄｍ12≒Ｄｃ12、Ｄｍ23≒Ｄｃ23が成立するかが判定される。
【００３６】
ステップＳ１２０では、ＣＰＵ２２は近傍画像の解析により目標信号機の属性を特定する。具体的には、目標信号機と対応付けられた近傍画像に表れている信号機について、属性としての色と自車までのＹ方向の距離とが近傍画像の解析によって特定される。
ステップＳ１２２では、ＣＰＵ２２はインタフェース１５を介してＡＴ制御ユニット２６及びブレーキ制御ユニット２８に画像解析によって特定した目標信号機の色と自車からのＹ方向の距離とを出力する。このとき、ＣＰＵ２２は信号機の色や道路標識の種類に応じた目標速度などの制御量をＡＴ制御ユニット２６及びブレーキ制御ユニット２８に出力することもできる。
【００３７】
［他の実施形態］
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、本発明は、近傍画像に表れている特定種地物と道路地図ＤＢ４２に登録されている特定種地物とを対応付けることにより、自車の現在位置を正確に特定する技術に適用することもできる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係るフローチャート。
【図２】本発明の実施形態に係るブロック図。
【図３】本発明の実施形態に係るブロック図。
【図４】本発明の実施形態に係る模式図。
【図５】本発明の実施形態に係る模式図。
【図６】本発明の実施形態に係る模式図。
【図７】本発明の実施形態に係る模式図。
【図８】本発明の実施形態に係る模式図。
【図９】本発明の実施形態に係る模式図。
【図１０】本発明の実施形態に係る模式図。
【図１１】本発明の実施形態に係る模式図。
【図１２】本発明の実施形態に係るフローチャート。
【図１３】本発明の実施形態に係る模式図。
【符号の説明】
【００３９】
１：地物認識装置、１０：カメラユニット、２２：ＣＰＵ、２６：ＡＴ制御ユニット（運動制御部）、２８：ブレーキ制御ユニット（運動制御部）、３２：地物認識プログラム、３４：制御目標判定モジュール（物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、絶対撮影方向特定手段）、３６：画像データ管理モジュール、３８：画像認識モジュール（画像取得手段、画像解析手段）、４０：ロケーティングモジュール、４２：道路地図データベース、
【特許請求の範囲】
【請求項１】
移動体の現在位置を取得する現在位置取得手段と、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、
を備える地物認識装置。
【請求項２】
前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも１つを目標地物として特定する目標特定手段と、
前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、
前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備える、
請求項１に記載の地物認識装置。
【請求項３】
前記目標地物の属性は前記移動体に対する前記目標地物の位置である、
請求項２に記載の地物認識装置。
【請求項４】
前記目標地物の属性は信号機の色である、
請求項２に記載の地物認識装置。
【請求項５】
前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備え、
前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得し、
前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、
請求項１〜４のいずれか一項に記載の地物認識装置。
【請求項６】
移動体の現在位置を取得し、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定し、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、
ことを含む地物認識方法。
【請求項７】
移動体の現在位置を取得する現在位置取得手段と、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、
としてコンピュータを機能させる地物認識プログラム。
【請求項１】
移動体の現在位置を取得する現在位置取得手段と、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、
を備える地物認識装置。
【請求項２】
前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも１つを目標地物として特定する目標特定手段と、
前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、
前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備える、
請求項１に記載の地物認識装置。
【請求項３】
前記目標地物の属性は前記移動体に対する前記目標地物の位置である、
請求項２に記載の地物認識装置。
【請求項４】
前記目標地物の属性は信号機の色である、
請求項２に記載の地物認識装置。
【請求項５】
前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備え、
前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得し、
前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、
請求項１〜４のいずれか一項に記載の地物認識装置。
【請求項６】
移動体の現在位置を取得し、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定し、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、
ことを含む地物認識方法。
【請求項７】
移動体の現在位置を取得する現在位置取得手段と、
前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、
複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、
としてコンピュータを機能させる地物認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１７８２２３（Ｐ２００７−１７８２２３Ａ）
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願番号】特願２００５−３７５９０９（Ｐ２００５−３７５９０９）
【出願日】平成１７年１２月２７日（２００５．１２．２７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願日】平成１７年１２月２７日（２００５．１２．２７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]