基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
【課題】環境に応じて表示内容が変動する表示媒体を基準にして車両の位置を特定する技術の提供。
【解決手段】環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出し、前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得し、前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得し、前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する。
【解決手段】環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出し、前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得し、前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得し、前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識によって車両の位置を特定する技術に関する。
【背景技術】
【０００２】
従来、車載カメラによって撮影した画像内の特徴点を画像認識によって特定し、当該特徴点に基づいて車両の位置を特定する技術が知られている。例えば、特許文献１には、予め登録された道路標示の特徴点に対して位置情報を対応づけておき、当該道路標示の特徴点と車載カメラによって撮影した画像内の特徴点とを比較することによって車両の現在位置を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０８０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、道路標示が時間的に変化しないとみなして当該道路標示から特徴点を抽出し、車両の位置を決定するための基準としている。従って、時間的に変化する道路標示から特徴点を抽出して車両の位置を決定することはできない。しかし、実際には、気象の状態などの環境に応じて表示内容が変動する表示媒体など、時間的に変化する道路標示は多く、時間的に変化しない道路標示のみでは基準として利用可能な道路標示が少なくなってしまう。
本発明は、上記課題にかんがみてなされたもので、環境に応じて表示内容が変動する表示媒体を基準にして車両の位置を特定する技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から抽出された基準画像特徴点の位置を示す基準パターン情報に対して当該風景を撮影した時点での基準車両の位置である基準位置を示す情報を対応づける。さらに、当該基準パターン情報に含まれる基準画像特徴点の撮影画像上での位置は環境に依存するため、当該基準パターン情報に対して、基準車両環境を示す情報を対応づける。
【０００６】
すなわち、基準パターン情報は、基準車両環境ごとに所定の記録媒体に記録される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。
【０００７】
また、基準パターン情報を参照すれば、一般車両の位置を特定する際に、当該一般車両の周囲の一般車両環境での表示媒体の表示内容に応じた基準画像特徴点の位置を特定することが可能になる。すなわち、一般車両の車載カメラで撮影した時点での一般車両環境と一致する基準車両環境が対応づけられた基準画像特徴点を参照して画像特徴点との一致度を特定すれば、画像特徴点との一致度が所定の基準を満たす場合に基準位置を一般車両の位置とみなすことで、一般車両の位置を特定することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
【０００８】
ここで、基準画像特徴点抽出手段は、基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を基準画像特徴点をとすることができればよい。基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、基準画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
【０００９】
なお、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、環境によって表示すべき文字が変動する電光掲示板であっても良いし、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
【００１０】
基準位置取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得することができればよい。従って、ＧＰＳ受信部によって受信した信号に基づいて基準車両の位置を特定する構成や、各種センサの出力信号に基づいて基準車両の位置を特定する構成等を採用可能である。むろん、地図情報に基づく基準車両の位置補正を組み合わせても良い。
【００１１】
基準車両環境取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得することができればよい。すなわち、環境に応じて表示媒体の表示内容が変動し得るため、当該表示内容の変動を生じさせる原因となっている環境を示す情報として基準車両環境を示す情報が特定されればよい。また、基準車両環境を示す情報は、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、基準車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって基準車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
【００１２】
基準パターン情報記録手段は、基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して一般車両の位置を特定するための情報を対応づけて所定の記録媒体に記録し、一般車両に参照されるデータベースを構築することができればよい。本発明では、環境に応じて表示内容が変動する表示媒体を含む風景を撮影した撮影画像から基準画像特徴点を抽出し、当該基準画像特徴点に基づいて一般車両の位置を特定可能にするために、基準位置を示す情報に加え、基準車両環境を示す情報を対応づけて基準パターン情報を定義する。
【００１３】
すなわち、基準車両環境を示す情報を基準パターン情報に対応づけることにより、基準画像特徴点の抽出元である撮影画像を撮影した時点での基準車両の周囲の環境を示す構成とする。この結果、基準パターン情報を参照することにより、基準車両環境に応じた基準パターン情報を特定可能になる。
【００１４】
さらに、所定の記録媒体は、基準パターン情報を蓄積する記録媒体であり、基準パターン情報の参照法は特に限定されない。すなわち、通信等を介して一般車両から当該所定の記録媒体を参照しても良いし、当該所定の記録媒体に記録された基準パターン情報を、一般車両に搭載された記録媒体にコピーし、一般車両において当該一般車両に搭載された記録媒体に記録された基準パターン情報を参照しても良い。
【００１５】
さらに、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれる場合に基準画像特徴点に対して基準車両環境を示す情報を対応づける必要があるため、撮影画像に当該表示媒体が含まれるか否かを判定する必要がある。そこで、撮影画像に直線に囲まれた所定の地色の部分が含まれると判定し、撮影画像に直線に囲まれた所定の地色の部分が含まれる場合に、基準パターンに対して基準車両環境を示す情報を対応づける構成としても良い。
【００１６】
すなわち、撮影画像を解析し、当該撮影画像に表示媒体の像が含まれると判定された場合に、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を対応づける。以上の構成によれば、環境に応じて表示内容が変動する表示媒体の像が含まれる撮影画像に基づいて容易に基準車両環境が対応づけられた基準パターン情報を生成することが可能である。このため、基準車両環境が多数の環境に分類される場合であっても容易に基準パターン情報を生成することが可能である。むろん、撮影画像に表示媒体の像が含まれると判定されない場合には、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境は対応づけない。従って、この場合、基準パターン情報は環境に依存しない。
【００１７】
基準パターン情報は、一般車両の位置を特定する際に参照される情報である。一般車両においては、当該一般車両の位置を特定するため、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する。そして、基準パターン情報が示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定し、一致度が所定の基準を満たす場合に基準位置を一般車両の位置として特定する。但し、環境に応じて表示内容が変動する表示媒体が含まれる場合、基準画像特徴点の位置は環境に依存して変動し得る。そこで、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得し、当該一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照すれば、一般車両環境における表示媒体の表示内容に対応した基準パターン情報を参照することになる。そこで、本発明においては一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照して、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。そして、一致度が所定の基準を満たす場合に当該基準パターン情報に対応づけられた基準位置を一般車両の位置を特定する。
【００１８】
ここで、画像特徴点抽出手段は、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を画像特徴点とすることができればよい。画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
【００１９】
一般車両環境取得手段は、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得することができればよい。すなわち、基準車両環境と対比し得る情報として一般車両の周囲の一般車両環境を示す情報が特定されればよい。また、一般車両環境を示す情報は、基準車両環境と同様に、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、一般車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって一般車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
【００２０】
一致度特定手段は、基準パターン情報生成装置で作成された基準パターン情報を参照してパターンマッチング処理を行って基準画像特徴点の位置と画像特徴点の位置との一致度を特定することができればよい。すなわち、複数の基準画像特徴点と複数の画像特徴点との撮影画像上での位置を比較し、両者の位置のずれが小さいほど一致度が高くなるように一致度を定義すればよい。なお、この際、比較対象となる基準画像特徴点として、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報を参照すればよい。
【００２１】
一般車両位置特定手段は、一致度が所定の基準を満たす場合に、当該一致度を特定するために参照した基準パターン情報に対応づけられた基準位置を一般車両の位置として特定することができればよい。すなわち、一般車両において走行中に連続的に画像を撮影して画像特徴点を抽出し、基準画像特徴点と比較すれば、走行中に撮影された複数の画像について一致度を評価することができるため、一致度が最も高く、かつ、画像特徴点が基準画像特徴点に一致しているとみなすことができる程度の高い一致度になっている場合に所定の基準を満たすとすれば、当該基準画像特徴点を示す基準パターン情報に対応づけられた基準位置を一般車両の位置とみなすことができる。
【００２２】
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない（すなわち、環境に依存して撮影画像上の位置が変動しない）基準画像特徴点とを分けて定義しても良い。すなわち、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して、基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける。この結果、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。
【００２３】
すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点および背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。むろん、以上の構成は装置の他、方法やプログラムとしても実現可能である。
【００２４】
さらに、本発明のように、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【図面の簡単な説明】
【００２５】
【図１】基準パターン情報生成装置のブロック図である。
【図２】基準パターン情報生成処理を示すフローチャートである。
【図３】基準パターン情報の生成を説明する図である。
【図４】一般車両位置特定装置を含むナビゲーション装置のブロック図である。
【図５】一般車両位置特定処理を示すフローチャートである。
【図６】第２実施形態における基準パターン情報を説明する説明図である。
【発明を実施するための形態】
【００２６】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）基準パターン情報生成装置の構成：
（２）基準パターン情報生成処理：
（３）一般車両位置特定装置の構成：
（４）一般車両位置特定処理：
（５）他の実施形態：
【００２７】
（１）基準パターン情報生成装置の構成：
図１は、本発明にかかる基準パターン情報生成装置１０の構成を示すブロック図である。基準パターン情報生成装置１０は、基準パターン情報を生成するために運転される基準車両に搭載される。当該基準パターン情報生成装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えており、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムとして基準パターン情報生成プログラム２１を実行可能である。基準パターン情報生成プログラム２１は、環境に応じて表示内容が変動する表示媒体の像を含む風景の撮影画像から抽出された基準画像特徴点の撮影画像上での位置を示す基準パターン情報を生成する機能を備えている。
【００２８】
記録媒体３０には、予め地図情報３０ａが記録されている。地図情報３０ａは、基準車両の位置の特定等に利用される情報であり、基準車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。
【００２９】
本実施形態における基準パターン情報生成装置１０が搭載された基準車両は、前方カメラ４０とＧＰＳ受信部４１と車速センサ４２とジャイロセンサ４３と通信部４４と後方カメラ４５とを備えている。前方カメラ４０は、基準車両の前方の風景（路面および上空）を視野に含むように基準車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２０は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。また、後方カメラ４５は基準車両の後方の路面を視野に含むように基準車両に対して取り付けられており、撮影した路面の画像を示す路面画像データを出力する。制御部２０は、図示しないインタフェースを介してこの路面画像データを取得して画像解析を行う。
【００３０】
ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して基準車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して基準車両の現在位置を取得する。車速センサ４２は、基準車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、基準車両の速度を取得する。ジャイロセンサ４３は、基準車両に作用する角速度に対応した信号を出力する。制御部２０は図示しないインタフェースを介してこの信号を取得し、基準車両の走行方向を取得する。車速センサ４２およびジャイロセンサ４３等は、ＧＰＳ受信部４１の出力信号から特定される基準車両の現在位置を補正するなどのために利用される。また、基準車両の現在位置は、当該基準車両の走行軌跡および路面画像データに基づいて適宜補正される。すなわち、本実施形態においては、制御部２０が路面画像データを解析して路面上における特定のペイント（速度標示等）を検出し、地図情報３０ａを参照して当該特定のペイントを検出した時点における基準車両の位置を特定する処理を実行可能である。この処理を、走行軌跡に基づくマップマッチング処理とともに実行することによって、基準車両の位置を高精度に特定可能である。
【００３１】
本実施形態においては、以上の構成を備えた基準車両において基準パターン情報生成プログラム２１が実行され、基準車両の前方の風景を基にした基準パターン情報が生成される。この処理を行うため、基準パターン情報生成プログラム２１は、基準画像特徴点抽出部２１ａと基準位置取得部２１ｂと基準車両環境取得部２１ｃと基準パターン情報記録部２１ｄとを備えている。
【００３２】
基準画像特徴点抽出部２１ａは、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって、前方カメラ４０が出力する、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を示す撮影画像データに対して所定の画像処理を行い、基準画像特徴点を抽出する。本実施形態においては、撮影画像データを２値化するとともにハフ変換等を利用して直線を抽出し、直線の先端と直線の交点とを基準画像特徴点とする。
【００３３】
基準位置取得部２１ｂは、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準位置取得部２１ｂの処理により、前方カメラ４０が基準画像特徴点の抽出元となる撮影画像データを出力した時点における、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４５が出力する路面画像データおよび地図情報３０ａに基づいて基準車両の位置を特定し、基準位置とする。
【００３４】
基準車両環境取得部２１ｃは、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準車両環境取得部２１ｃの処理により、前方カメラ４０が基準画像特徴点の抽出元となる撮影画像データを出力した時点において通信部４４から取得した信号に基づいて、基準車両の周囲の気象状態を示す気象情報を特定し、基準車両環境とする。
【００３５】
基準パターン情報記録部２１ｄは、基準画像特徴点の撮影画像上での位置を示す基準パターン情報３０ｂを生成して記録媒体３０に記録する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって抽出された基準画像特徴点のそれぞれについての撮影画像上の位置（座標（Ｘ，Ｙ））を特定し、これらの位置を示す情報によって基準画像特徴点の配置パターンを示す基準パターン情報を構成する。さらに、当該基準パターン情報に対して、基準車両位置（（経度，緯度）＝（ｘ，ｙ））を対応づける。さらに、制御部２０は、基準パターン情報に対し、基準車両環境取得部２１ｃの処理によって取得された基準車両環境を対応づける。以上の処理は、異なる基準車両環境ごとに実行される。すなわち、環境が変わることによって表示媒体の表示内容が変動する場合に、異なる表示内容の表示媒体を撮影した撮影画像データから基準パターン情報を生成し、撮影画像データを撮影した時点での基準車両環境を対応づける。
【００３６】
以上の構成により、基準車両環境ごとに所定の記録媒体に記録された基準パターン情報が生成される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
【００３７】
（２）基準パターン情報生成処理：
次に、基準パターン情報生成プログラム２１による基準パターン情報生成処理を説明する。基準パターン情報生成プログラム２１は、所定の期間毎に実行される。図２は基準パターン情報生成プログラム２１が実行する基準パターン情報生成処理を示すフローチャートである。図３は、基準車両において撮影された撮影画像Ｉ1〜Ｉ3を例示するとともに、当該撮影画像Ｉ1〜Ｉ3に基づいて生成される基準パターン情報３０ｂの例を示している。以下、図２に示す基準パターン情報生成処理を図３に示す例を参照しながら説明する。基準パターン情報生成プログラム２１の処理が開始されると、制御部２０は、基準画像特徴点抽出部２１ａの処理により、前方カメラ４０が出力する撮影画像データを取得する（ステップＳ１００）。図３においては看板Ｄと信号機Ｓを含む風景を異なる環境にて撮影した撮影画像Ｉ1〜Ｉ3を例として示している。なお、本実施形態において、看板Ｄは矩形の表示媒体であるとともに黒い地色の表示面に対してＬＥＤ等によって文字等を表現する電光掲示板である。
【００３８】
次に、制御部２０は、基準位置取得部２１ｂの処理により、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４５が出力する路面画像データおよび地図情報３０ａに基づいて基準車両の位置を特定し、基準位置として取得する（ステップＳ１０５）。次に、制御部２０は、基準画像特徴点抽出部２１ａの処理により、基準画像特徴点を抽出する（ステップＳ１１０）。すなわち、制御部２０は、撮影画像を２値化した像から抽出される直線の端点と交点とを基準画像特徴点とする。図３においては、撮影画像Ｉ2の看板Ｄに表示されている文字の一つを例として、破線の枠内に基準画像特徴点を例示している。すなわち、破線の枠内に白丸で示すように、直線の端点と交点とのそれぞれが基準画像特徴点ＰN等となる。ここで、異なる環境で撮影された撮影画像Ｉ1〜Ｉ3を比較すると、看板Ｄ内に表示されている文字が異なる。従って、本実施形態においては、環境が異なる撮影画像Ｉ1〜Ｉ3から抽出される基準画像特徴点において、看板Ｄの内側から抽出される基準画像特徴点は環境によって異なる位置となり、環境に依存しない他の部分（信号機Ｓ等）から抽出される基準画像特徴点は共通の位置となる。
【００３９】
次に、制御部２０は、基準画像特徴点抽出部２１ａの処理により、撮影画像データが示す撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれるか否かを判定する（ステップＳ１１５）。すなわち、制御部２０は、撮影画像を２値化した像から抽出される直線によって囲まれた領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、２値化する以前の撮影画像における当該領域に含まれる所定比率以上の部分の色が特定の色（例えば、黒）であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。
【００４０】
ステップＳ１１５にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定された場合、制御部２０は、基準車両環境取得部２１ｃの処理により、通信部４４を介して基準車両環境を取得する（ステップＳ１２０）。すなわち、制御部２０は、ステップＳ１００にて撮影画像データを取得した時点における基準車両の周囲の気象状態を示す気象情報を取得する。
【００４１】
次に、制御部２０は、基準パターン情報記録部２１ｄの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体３０に記録する（ステップＳ１２５）。図３においては、撮影画像Ｉ1〜Ｉ3のそれぞれが撮影された場合に生成される基準パターン情報３０ｂの例を実線の枠内に示している。すなわち、撮影画像Ｉ1は気象状態が晴天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐm（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が晴天であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。
【００４２】
また、撮影画像Ｉ2は気象状態が雨天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐn（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が雨天であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。さらに、撮影画像Ｉ3は気象状態が降雪である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐo（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が降雪であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。
【００４３】
一方、ステップＳ１１５にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定されない場合、制御部２０は、基準パターン情報記録部２１ｄの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体３０に記録する（ステップＳ１３０）。すなわち、環境に応じて表示内容が変動する表示媒体が撮影画像に含まれない場合、基準パターン情報３０ｂに対して、基準車両環境を示す情報は対応づけられない。本実施形態においては、以上のような基準パターン情報３０ｂの生成処理が、所定の期間で実行されることにより、複数の基準位置についての基準パターン情報３０ｂが生成される。
【００４４】
（３）一般車両位置特定装置の構成：
以上のようにして作成された基準パターン情報３０ｂは、基準車両以外の一般車両において当該一般車両の位置を特定するために利用される。図４は、本発明にかかる一般車両位置特定装置を含むナビゲーション装置１００の構成を示すブロック図である。ナビゲーション装置１００は、一般車両に搭載される。当該ナビゲーション装置１００は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２００、記録媒体３００を備えており、記録媒体３００やＲＯＭに記憶されたプログラムを制御部２００で実行することができる。本実施形態においては、このプログラムとしてナビゲーションプログラムおよび一般車両位置特定プログラム２１０を実行可能である。
【００４５】
ナビゲーションプログラムは、記録媒体３００に予め記録された地図情報３００ａを参照して車両の現在位置や目的地までの経路を案内するためのプログラムである。地図情報３００ａは、一般車両の位置の特定等に利用される情報であり、一般車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。本実施形態において制御部２００は、ナビゲーションプログラムの処理により、地物データが示す任意の地物を目的地とし、一般車両の現在位置から目的地までの経路探索を行うことが可能である。また、一般車両の現在位置から目的地まで到達するための経路を後述するユーザＩ／Ｆ部４２０によって案内することが可能である。
【００４６】
本実施形態において、記録媒体３００には基準パターン情報３００ｂが記録される。当該基準パターン情報３００ｂは、上述の基準車両によって生成された基準パターン情報３０ｂと同じ内容の情報であり、基準車両によって生成された情報が、通信や可搬記録媒体等を介して記録媒体３００にコピーされることによって記録媒体３００に基準パターン情報３００ｂが記録された状態となる。
【００４７】
本実施形態におけるナビゲーション装置１００が搭載された一般車両は、前方カメラ４００と通信部４１０とユーザＩ／Ｆ部４２０とＧＰＳ受信部４３０と車速センサ４４０とジャイロセンサ４５０とを備えている。前方カメラ４００は、一般車両の前方の風景（路面および上空）を視野に含むように一般車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２００は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。
【００４８】
通信部４１０は、一般車両の外部の図示しない環境情報管理装置と通信を行う回路を備えており、制御部２００は、通信部４１０を介して当該環境情報管理装置と通信を行い、一般車両の現在位置の環境を示す一般車両環境情報を取得する。本実施形態において、当該一般車両環境情報は、一般車両の周囲の気象状態を示す気象情報である。
【００４９】
ユーザＩ／Ｆ部４２０は、運転者の指示を入力し、また運転者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネルディスプレイやスイッチ、スピーカ等を備えている。
【００５０】
ＧＰＳ受信部４３０は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して一般車両の現在位置を算出するための情報を出力する。制御部２００は、この信号を取得して一般車両の現在位置を取得する。車速センサ４４０は、一般車両が備える車輪の回転速度に対応した信号を出力する。制御部２００は、図示しないインタフェースを介してこの信号を取得し、一般車両の速度を取得する。ジャイロセンサ４５０は、一般車両に作用する角速度に対応した信号を出力する。制御部２００は図示しないインタフェースを介してこの信号を取得し、一般車両の走行方向を取得する。車速センサ４４０およびジャイロセンサ４５０等は、ＧＰＳ受信部４３０の出力信号から特定される一般車両の現在位置を補正するなどのために利用される。また、一般車両の現在位置は、当該一般車両の走行軌跡に基づいて適宜補正される。
【００５１】
本実施形態においては、以上のようにＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０および地図情報３００ａを利用して一般車両の現在位置を特定可能であるが、基準パターン情報３００ｂを利用して一般車両の現在位置を特定する構成も備えている。すなわち、ナビゲーションプログラムは両者のいずれかまたは双方を利用して一般車両の現在位置を特定しながら目的地までの経路を案内する。
【００５２】
本実施形態において、基準パターン情報３００ｂを利用した一般車両の現在位置の特定は、一般車両位置特定プログラム２１０によって実現される。以下、一般車両位置特定プログラム２１０を利用した一般車両の現在位置の特定について説明する。一般車両位置特定プログラム２１０は、画像特徴点抽出部２１０ａと一般車両環境取得部２１０ｂと一致度特定部２１０ｃと一般車両位置特定部２１０ｄとを備えている。
【００５３】
画像特徴点抽出部２１０ａは、一般車両の周囲の風景を撮影した撮影画像から基準となる画像特徴点を抽出する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、画像特徴点抽出部２１０ａの処理によって、前方カメラ４００が出力する撮影画像データに対して所定の画像処理を行い、画像特徴点を抽出する。
【００５４】
一般車両環境取得部２１０ｂは、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、一般車両環境取得部２１０ｂの処理により、前方カメラ４００が画像特徴点の抽出元となる撮影画像データを出力した時点において通信部４１０から取得した気象情報に基づいて、一般車両の周囲の気象状態を特定し、一般車両環境とする。
【００５５】
一致度特定部２１０ｃは、基準画像特徴点の位置と画像特徴点との位置を比較して一致度を特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０および地図情報３００ａを利用して特定された一般車両の位置を特定し、当該一般車両の位置を当該一般車両の推定位置とする。そして、画像特徴点抽出部２１０ａが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれる場合、制御部２００は、一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報３００ｂであって、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを検索する。
【００５６】
一方、画像特徴点抽出部２１０ａが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれない場合、制御部２００は、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを検索する。制御部２００は、検索された基準パターン情報３００ｂに基づいて基準画像特徴点の位置を特定し、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。一致度は、複数の基準画像特徴点についての総合判断であれば良く、例えば、各基準画像特徴点に対して最も近い画像特徴点と各基準画像特徴点との距離の２乗の和が小さくなるほど一致度が高くなるように一致度を定義する構成を採用可能である。
なお、本実施形態においては、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが複数個存在する場合、複数個の基準パターン情報３００ｂを参照して一致度を特定する処理を行う。
【００５７】
一般車両位置特定部２１０ｄは、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、一般車両位置特定部２１０ｄの処理により、複数の基準パターン情報３００ｂについての一致度を比較し、最も高い一致度となった基準パターン情報３００ｂを特定する。そして、当該最も高い一致度が所定の閾値を超えている場合に、当該最も高い一致度となった基準パターン情報３００ｂに対応づけられた基準位置が一般車両の位置であるとみなす。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが一つのみである場合には、当該基準パターン情報３００ｂについての一致度が所定の閾値を超えている場合に、当該基準パターン情報３００ｂに対応づけられた基準位置が一般車両の位置であるとみなす。
【００５８】
以上の処理によれば、一般車両の位置を特定する際に、基準パターン情報３００ｂを参照することによって、一般車両環境に一致する基準車両環境に対応した基準画像特徴点に基づいて一般車両の位置を特定することができる。従って、環境に応じて表示内容が変動する表示媒体の像に基づいて抽出された基準画像特徴点に基づいて一般車両の位置を特定することが可能になる。
【００５９】
（４）一般車両位置特定処理：
次に、一般車両位置特定プログラム２１０による基準パターン情報生成処理を説明する。一般車両位置特定プログラム２１０は、所定の期間毎に実行される。図５は一般車両位置特定プログラム２１０が実行する基準パターン情報生成処理を示すフローチャートである。一般車両位置特定プログラム２１０の処理が開始されると、制御部２００は、画像特徴点抽出部２１０ａの処理により、前方カメラ４００が出力する撮影画像データを取得する（ステップＳ２００）。ここで、制御部２００は、撮影画像データに対して撮影時刻を対応づけてＲＡＭに記録する。
【００６０】
次に、制御部２００は、画像特徴点抽出部２１０ａの処理により、画像特徴点を抽出する（ステップＳ２０５）。すなわち、制御部２００は、撮影画像を２値化した像から抽出される直線の端点と交点とを画像特徴点とする。次に、制御部２００は、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号および地図情報３００ａに基づいて一般車両の現在位置を推定する（ステップＳ２１０）。
【００６１】
次に、制御部２００は、一致度特定部２１０ｃの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在するか否か判定する（ステップＳ２１５）。すなわち、制御部２００は、基準パターン情報３００ｂのなかに、一般車両の現在位置として推定された推定位置から所定距離以内の範囲に含まれる基準位置が対応づけられた基準パターン情報が存在するか否かを判定する。ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定されない場合、制御部２００は、ステップＳ２２０以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。
【００６２】
一方、ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定された場合、１あるいは複数の基準パターン情報３００ｂが存在することになるため、一致度を特定するための参照対象となる基準パターン情報を決定するための処理を行う。このために、制御部２００は、一致度特定部２１０ｃの処理により、ステップＳ２００にて撮影した撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれるか否かを判定する（ステップＳ２２０）。すなわち、制御部２００は、撮影画像を２値化した像から抽出される直線によって囲まれる領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、２値化する以前の当該領域における所定比率以上の部分の色が特定の色（例えば、黒）であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。例えば、一般車両の前方カメラ４００において、図３に示すような表示媒体Ｄを含む画像が撮影された場合には、環境に応じて表示内容が変動する表示媒体が含まれると判定される。
【００６３】
ステップＳ２２０にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定された場合、制御部２００は、一般車両環境取得部２１０ｂの処理により、通信部４１０を介して一般車両環境を取得する（ステップＳ２２５）。すなわち、制御部２００は、撮影画像データを取得した撮影時刻における一般車両の周囲の気象状態を示す気象情報を取得する。
【００６４】
次に、制御部２００は、一致度特定部２１０ｃの処理により、ステップＳ２１５にて存在すると判定された推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報のうち、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報が存在するか否かを判定する（ステップＳ２３０）。例えば、図３に示す例において、一般車両環境が雨天である場合、撮影画像Ｉ2に対応する基準パターン情報３０ｂのように雨天を示す情報が対応づけられた基準パターン情報３００ｂが存在すれば、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報３００ｂが存在すると判定される。
【００６５】
ステップＳ２３０にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報が存在すると判定されない場合、制御部２００は、ステップＳ２３５以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。ステップＳ２３０にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報３００ｂが存在すると判定された場合、当該一般車両環境に一致する基準パターン情報３００ｂを参照対象として設定する（ステップＳ２３５）。なお、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報３００ｂが複数個存在する場合には、複数の基準パターン情報３００ｂが参照対象として設定される。
【００６６】
一方、ステップＳ２２０にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定されない場合、制御部２００は、一致度特定部２１０ｃの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを参照対象として設定する（ステップＳ２４０）。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが複数個存在する場合には、複数の基準パターン情報３００ｂが参照対象として設定される。
【００６７】
ステップＳ２３５またはＳ２４０にて参照対象の基準パターン情報３００ｂが設定されると、制御部２００は、一致度特定部２１０ｃの処理により、参照対象の基準パターン情報３００ｂが示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する（ステップＳ２４５）。複数の基準パターン情報３００ｂが参照対象として設定された場合、複数の基準パターン情報３００ｂが示す基準画像特徴点の組のそれぞれについて画像特徴点と比較され、複数の組のそれぞれについて一致度が特定される。
【００６８】
次に、制御部２００は、一般車両位置特定部２１０ｄの処理により、一致度が所定の基準を満たすか否かを判定する（ステップＳ２５０）。すなわち、ステップＳ２３５あるいはＳ２４０にて複数の基準パターン情報３００ｂについての一致度が特定されている場合には、最も高い一致度を特定し、当該最も高い一致度が所定の閾値よりも大きい場合に、当該最も高い一致度となった基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。ステップＳ２３５あるいはＳ２４０にて一つの基準パターン情報３００ｂについての一致度が特定されている場合には、当該基準パターン情報３００ｂについての一致度が所定の閾値よりも大きい場合に、当該基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。
【００６９】
ステップＳ２５０において、一致度が所定の基準を満たすと判定されない場合、制御部２００は、ステップＳ２５５をスキップして処理を終了する。一方、ステップＳ２５５において、一致度が所定の基準を満たすと判定された場合、制御部２００は、一致度が所定の基準を満たすと判定された基準パターン情報３００ｂに対応づけられた基準位置を一般車両の位置として特定する（ステップＳ２５５）。
【００７０】
以上の構成によれば、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号および地図情報３００ａのみを利用して一般車両の位置を特定する構成と比較して、正確に一般車両の現在位置を特定することが可能である。また、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号が取得されない区間においても一般車両の現在位置を特定することが可能である。
【００７１】
（５）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける限りにおいて、他にも種々の実施形態を採用可能である。例えば、基準パターン情報には、基準画像特徴点の抽出元となった撮影画像を撮影した時点における基準車両の向きを示す情報を対応づけても良い。この場合、一般車両にて位置を特定する際に、当該一般車両の向きを示す情報を特定し、当該一般車両の向きと同じ向きが対応づけられた基準パターン情報を参照して基準画像特徴点の位置と画像特徴点の位置との一致度を特定する。
【００７２】
さらに、基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であればよく、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。従って、上述の直線の端点や交点以外にも、直線を構成する点群等によって構成されてもよい。
【００７３】
さらん、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、上述の電光掲示板に限定されない。例えば、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
【００７４】
さらに、環境は気象状態に限定されない。すなわち、環境が表示媒体の表示内容が変動させ得る場合には、その環境を示す情報を基準車両環境や一般車両環境を示す情報として取得すればよい。例えば、渋滞の様子を示す交通情報によって環境を示す情報を構成してもよい。むろん環境を示す情報は、通信以外にも各種の手段で取得可能であり、カメラや各種のセンサによって環境を示す情報を取得しても良い。
【００７５】
さらに、一般車両によって参照される基準パターン情報を記録する媒体は特に限定されず、通信等を介して一般車両から所定の記録媒体を参照して基準パターン情報を取得しても良い。
【００７６】
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない（すなわち、環境に依存して撮影画像上の位置が変動しない）基準画像特徴点とを分けて定義する構成としても良い。この構成は図１に示す構成において、基準パターン情報３０ｂの定義を変更することによって実現可能である。
【００７７】
すなわち、この実施形態においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する構成とする。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する構成とする。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける構成とする。
【００７８】
例えば、図６に示すように基準車両に搭載された前方カメラ４０によって、環境に応じて表示内容が変動する看板Ｄと環境に依存しない信号機Ｓとを含む撮影画像Ｉ0が撮影された場合、看板Ｄの背景（すなわち、看板Ｄの像以外の像）から背景基準画像特徴点が抽出される。図６に示す例においては、背景基準画像特徴点Ｐ1〜Ｐmが抽出された場合の例を示している。この場合、背景基準画像特徴点の位置を示す情報（Ｐ1（Ｘ，Ｙ）〜Ｐm（Ｘ，Ｙ））に対して基準位置Ｐ（ｘ，ｙ）を示す情報が対応づけられて（図６の３０ｂ１）、基準パターン情報３０ｂの一部が構成される。
【００７９】
さらに、異なる基準環境において基準車両に搭載された前方カメラ４０によって撮影された複数の撮影画像から、看板Ｄの像が抽出され、看板Ｄの各像から表示媒体基準画像特徴点が抽出される。そして、各表示媒体基準画像特徴点に対して基準車両環境を示す情報が対応づけられる。図６に示す例においては、晴天時に撮影された看板Ｄ2の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Mが抽出され、雨天時に撮影された看板Ｄ3の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Nが抽出され、降雪時に撮影された看板Ｄ4の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Oが抽出された場合の例を示している。
【００８０】
この場合、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+M（Ｘ，Ｙ））に対して基準車両環境が晴天であることを示す情報が対応づけられて（図６の３０ｂ２）、基準パターン情報３０ｂの一部が構成される。また、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+N（Ｘ，Ｙ））に対して基準車両環境が雨天であることを示す情報が対応づけられて（図６の３０ｂ３）、基準パターン情報３０ｂの一部が構成される。さらに、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+O（Ｘ，Ｙ））に対して基準車両環境が降雪であることを示す情報が対応づけられて（図６の３０ｂ４）、基準パターン情報３０ｂの一部が構成される。すなわち、以上の３０ｂ１〜３０ｂ４によって基準パターン情報３０ｂが構成される。
【００８１】
以上のように基準パターン情報３０ｂが構成されると、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点の位置を特定し、さらに、環境に依存しない背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。
【００８２】
基準位置に基づく一般車両の位置の特定法は、上述の実施形態以外にも各種の方法を採用可能である。例えば、前方カメラ４００にて撮影した撮影画像データに対して撮影時刻を対応づけておき、現在以前の所定期間にて撮影した複数の撮影画像データから画像特徴点を抽出し、各時刻における撮影画像データから抽出された画像特徴点の位置と基準パターン情報３００ｂが示す基準画像特徴点の位置とを比較する構成を採用しても良い。すなわち、複数の時刻に関する画像特徴点の組のそれぞれについて一致度を特定し、最も一致度が高くなった時刻における一般車両の位置が、基準パターン情報３００ｂに対応づけられた基準位置であるとみなす構成としても良い。
【符号の説明】
【００８３】
１０…基準パターン情報生成装置、２０…制御部、２１…基準パターン情報生成プログラム、２１ａ…基準画像特徴点抽出部、２１ｂ…基準位置取得部、２１ｃ…基準車両環境取得部、２１ｄ…基準パターン情報記録部、３０…記録媒体、３０ａ…地図情報、３０ｂ…基準パターン情報、４０…前方カメラ、４１…ＧＰＳ受信部、４２…車速センサ、４３…ジャイロセンサ、４４…通信部、４５…後方カメラ、１００…ナビゲーション装置、２００…制御部、２１０…一般車両位置特定プログラム、２１０ａ…画像特徴点抽出部、２１０ｂ…一般車両環境取得部、２１０ｃ…一致度特定部、２１０ｄ…一般車両位置特定部、３００…記録媒体、３００ａ…地図情報、３００ｂ…基準パターン情報、４００…前方カメラ、４１０…通信部、４２０…ユーザＩ／Ｆ部、４３０…ＧＰＳ受信部、４４０…車速センサ、４５０…ジャイロセンサ
【技術分野】
【０００１】
本発明は、画像認識によって車両の位置を特定する技術に関する。
【背景技術】
【０００２】
従来、車載カメラによって撮影した画像内の特徴点を画像認識によって特定し、当該特徴点に基づいて車両の位置を特定する技術が知られている。例えば、特許文献１には、予め登録された道路標示の特徴点に対して位置情報を対応づけておき、当該道路標示の特徴点と車載カメラによって撮影した画像内の特徴点とを比較することによって車両の現在位置を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０８０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、道路標示が時間的に変化しないとみなして当該道路標示から特徴点を抽出し、車両の位置を決定するための基準としている。従って、時間的に変化する道路標示から特徴点を抽出して車両の位置を決定することはできない。しかし、実際には、気象の状態などの環境に応じて表示内容が変動する表示媒体など、時間的に変化する道路標示は多く、時間的に変化しない道路標示のみでは基準として利用可能な道路標示が少なくなってしまう。
本発明は、上記課題にかんがみてなされたもので、環境に応じて表示内容が変動する表示媒体を基準にして車両の位置を特定する技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から抽出された基準画像特徴点の位置を示す基準パターン情報に対して当該風景を撮影した時点での基準車両の位置である基準位置を示す情報を対応づける。さらに、当該基準パターン情報に含まれる基準画像特徴点の撮影画像上での位置は環境に依存するため、当該基準パターン情報に対して、基準車両環境を示す情報を対応づける。
【０００６】
すなわち、基準パターン情報は、基準車両環境ごとに所定の記録媒体に記録される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。
【０００７】
また、基準パターン情報を参照すれば、一般車両の位置を特定する際に、当該一般車両の周囲の一般車両環境での表示媒体の表示内容に応じた基準画像特徴点の位置を特定することが可能になる。すなわち、一般車両の車載カメラで撮影した時点での一般車両環境と一致する基準車両環境が対応づけられた基準画像特徴点を参照して画像特徴点との一致度を特定すれば、画像特徴点との一致度が所定の基準を満たす場合に基準位置を一般車両の位置とみなすことで、一般車両の位置を特定することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
【０００８】
ここで、基準画像特徴点抽出手段は、基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を基準画像特徴点をとすることができればよい。基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、基準画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
【０００９】
なお、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、環境によって表示すべき文字が変動する電光掲示板であっても良いし、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
【００１０】
基準位置取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得することができればよい。従って、ＧＰＳ受信部によって受信した信号に基づいて基準車両の位置を特定する構成や、各種センサの出力信号に基づいて基準車両の位置を特定する構成等を採用可能である。むろん、地図情報に基づく基準車両の位置補正を組み合わせても良い。
【００１１】
基準車両環境取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得することができればよい。すなわち、環境に応じて表示媒体の表示内容が変動し得るため、当該表示内容の変動を生じさせる原因となっている環境を示す情報として基準車両環境を示す情報が特定されればよい。また、基準車両環境を示す情報は、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、基準車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって基準車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
【００１２】
基準パターン情報記録手段は、基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して一般車両の位置を特定するための情報を対応づけて所定の記録媒体に記録し、一般車両に参照されるデータベースを構築することができればよい。本発明では、環境に応じて表示内容が変動する表示媒体を含む風景を撮影した撮影画像から基準画像特徴点を抽出し、当該基準画像特徴点に基づいて一般車両の位置を特定可能にするために、基準位置を示す情報に加え、基準車両環境を示す情報を対応づけて基準パターン情報を定義する。
【００１３】
すなわち、基準車両環境を示す情報を基準パターン情報に対応づけることにより、基準画像特徴点の抽出元である撮影画像を撮影した時点での基準車両の周囲の環境を示す構成とする。この結果、基準パターン情報を参照することにより、基準車両環境に応じた基準パターン情報を特定可能になる。
【００１４】
さらに、所定の記録媒体は、基準パターン情報を蓄積する記録媒体であり、基準パターン情報の参照法は特に限定されない。すなわち、通信等を介して一般車両から当該所定の記録媒体を参照しても良いし、当該所定の記録媒体に記録された基準パターン情報を、一般車両に搭載された記録媒体にコピーし、一般車両において当該一般車両に搭載された記録媒体に記録された基準パターン情報を参照しても良い。
【００１５】
さらに、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれる場合に基準画像特徴点に対して基準車両環境を示す情報を対応づける必要があるため、撮影画像に当該表示媒体が含まれるか否かを判定する必要がある。そこで、撮影画像に直線に囲まれた所定の地色の部分が含まれると判定し、撮影画像に直線に囲まれた所定の地色の部分が含まれる場合に、基準パターンに対して基準車両環境を示す情報を対応づける構成としても良い。
【００１６】
すなわち、撮影画像を解析し、当該撮影画像に表示媒体の像が含まれると判定された場合に、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を対応づける。以上の構成によれば、環境に応じて表示内容が変動する表示媒体の像が含まれる撮影画像に基づいて容易に基準車両環境が対応づけられた基準パターン情報を生成することが可能である。このため、基準車両環境が多数の環境に分類される場合であっても容易に基準パターン情報を生成することが可能である。むろん、撮影画像に表示媒体の像が含まれると判定されない場合には、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境は対応づけない。従って、この場合、基準パターン情報は環境に依存しない。
【００１７】
基準パターン情報は、一般車両の位置を特定する際に参照される情報である。一般車両においては、当該一般車両の位置を特定するため、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する。そして、基準パターン情報が示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定し、一致度が所定の基準を満たす場合に基準位置を一般車両の位置として特定する。但し、環境に応じて表示内容が変動する表示媒体が含まれる場合、基準画像特徴点の位置は環境に依存して変動し得る。そこで、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得し、当該一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照すれば、一般車両環境における表示媒体の表示内容に対応した基準パターン情報を参照することになる。そこで、本発明においては一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照して、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。そして、一致度が所定の基準を満たす場合に当該基準パターン情報に対応づけられた基準位置を一般車両の位置を特定する。
【００１８】
ここで、画像特徴点抽出手段は、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を画像特徴点とすることができればよい。画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
【００１９】
一般車両環境取得手段は、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得することができればよい。すなわち、基準車両環境と対比し得る情報として一般車両の周囲の一般車両環境を示す情報が特定されればよい。また、一般車両環境を示す情報は、基準車両環境と同様に、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、一般車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって一般車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
【００２０】
一致度特定手段は、基準パターン情報生成装置で作成された基準パターン情報を参照してパターンマッチング処理を行って基準画像特徴点の位置と画像特徴点の位置との一致度を特定することができればよい。すなわち、複数の基準画像特徴点と複数の画像特徴点との撮影画像上での位置を比較し、両者の位置のずれが小さいほど一致度が高くなるように一致度を定義すればよい。なお、この際、比較対象となる基準画像特徴点として、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報を参照すればよい。
【００２１】
一般車両位置特定手段は、一致度が所定の基準を満たす場合に、当該一致度を特定するために参照した基準パターン情報に対応づけられた基準位置を一般車両の位置として特定することができればよい。すなわち、一般車両において走行中に連続的に画像を撮影して画像特徴点を抽出し、基準画像特徴点と比較すれば、走行中に撮影された複数の画像について一致度を評価することができるため、一致度が最も高く、かつ、画像特徴点が基準画像特徴点に一致しているとみなすことができる程度の高い一致度になっている場合に所定の基準を満たすとすれば、当該基準画像特徴点を示す基準パターン情報に対応づけられた基準位置を一般車両の位置とみなすことができる。
【００２２】
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない（すなわち、環境に依存して撮影画像上の位置が変動しない）基準画像特徴点とを分けて定義しても良い。すなわち、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して、基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける。この結果、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。
【００２３】
すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点および背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。むろん、以上の構成は装置の他、方法やプログラムとしても実現可能である。
【００２４】
さらに、本発明のように、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【図面の簡単な説明】
【００２５】
【図１】基準パターン情報生成装置のブロック図である。
【図２】基準パターン情報生成処理を示すフローチャートである。
【図３】基準パターン情報の生成を説明する図である。
【図４】一般車両位置特定装置を含むナビゲーション装置のブロック図である。
【図５】一般車両位置特定処理を示すフローチャートである。
【図６】第２実施形態における基準パターン情報を説明する説明図である。
【発明を実施するための形態】
【００２６】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）基準パターン情報生成装置の構成：
（２）基準パターン情報生成処理：
（３）一般車両位置特定装置の構成：
（４）一般車両位置特定処理：
（５）他の実施形態：
【００２７】
（１）基準パターン情報生成装置の構成：
図１は、本発明にかかる基準パターン情報生成装置１０の構成を示すブロック図である。基準パターン情報生成装置１０は、基準パターン情報を生成するために運転される基準車両に搭載される。当該基準パターン情報生成装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えており、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムとして基準パターン情報生成プログラム２１を実行可能である。基準パターン情報生成プログラム２１は、環境に応じて表示内容が変動する表示媒体の像を含む風景の撮影画像から抽出された基準画像特徴点の撮影画像上での位置を示す基準パターン情報を生成する機能を備えている。
【００２８】
記録媒体３０には、予め地図情報３０ａが記録されている。地図情報３０ａは、基準車両の位置の特定等に利用される情報であり、基準車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。
【００２９】
本実施形態における基準パターン情報生成装置１０が搭載された基準車両は、前方カメラ４０とＧＰＳ受信部４１と車速センサ４２とジャイロセンサ４３と通信部４４と後方カメラ４５とを備えている。前方カメラ４０は、基準車両の前方の風景（路面および上空）を視野に含むように基準車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２０は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。また、後方カメラ４５は基準車両の後方の路面を視野に含むように基準車両に対して取り付けられており、撮影した路面の画像を示す路面画像データを出力する。制御部２０は、図示しないインタフェースを介してこの路面画像データを取得して画像解析を行う。
【００３０】
ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して基準車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して基準車両の現在位置を取得する。車速センサ４２は、基準車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、基準車両の速度を取得する。ジャイロセンサ４３は、基準車両に作用する角速度に対応した信号を出力する。制御部２０は図示しないインタフェースを介してこの信号を取得し、基準車両の走行方向を取得する。車速センサ４２およびジャイロセンサ４３等は、ＧＰＳ受信部４１の出力信号から特定される基準車両の現在位置を補正するなどのために利用される。また、基準車両の現在位置は、当該基準車両の走行軌跡および路面画像データに基づいて適宜補正される。すなわち、本実施形態においては、制御部２０が路面画像データを解析して路面上における特定のペイント（速度標示等）を検出し、地図情報３０ａを参照して当該特定のペイントを検出した時点における基準車両の位置を特定する処理を実行可能である。この処理を、走行軌跡に基づくマップマッチング処理とともに実行することによって、基準車両の位置を高精度に特定可能である。
【００３１】
本実施形態においては、以上の構成を備えた基準車両において基準パターン情報生成プログラム２１が実行され、基準車両の前方の風景を基にした基準パターン情報が生成される。この処理を行うため、基準パターン情報生成プログラム２１は、基準画像特徴点抽出部２１ａと基準位置取得部２１ｂと基準車両環境取得部２１ｃと基準パターン情報記録部２１ｄとを備えている。
【００３２】
基準画像特徴点抽出部２１ａは、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって、前方カメラ４０が出力する、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を示す撮影画像データに対して所定の画像処理を行い、基準画像特徴点を抽出する。本実施形態においては、撮影画像データを２値化するとともにハフ変換等を利用して直線を抽出し、直線の先端と直線の交点とを基準画像特徴点とする。
【００３３】
基準位置取得部２１ｂは、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準位置取得部２１ｂの処理により、前方カメラ４０が基準画像特徴点の抽出元となる撮影画像データを出力した時点における、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４５が出力する路面画像データおよび地図情報３０ａに基づいて基準車両の位置を特定し、基準位置とする。
【００３４】
基準車両環境取得部２１ｃは、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準車両環境取得部２１ｃの処理により、前方カメラ４０が基準画像特徴点の抽出元となる撮影画像データを出力した時点において通信部４４から取得した信号に基づいて、基準車両の周囲の気象状態を示す気象情報を特定し、基準車両環境とする。
【００３５】
基準パターン情報記録部２１ｄは、基準画像特徴点の撮影画像上での位置を示す基準パターン情報３０ｂを生成して記録媒体３０に記録する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって抽出された基準画像特徴点のそれぞれについての撮影画像上の位置（座標（Ｘ，Ｙ））を特定し、これらの位置を示す情報によって基準画像特徴点の配置パターンを示す基準パターン情報を構成する。さらに、当該基準パターン情報に対して、基準車両位置（（経度，緯度）＝（ｘ，ｙ））を対応づける。さらに、制御部２０は、基準パターン情報に対し、基準車両環境取得部２１ｃの処理によって取得された基準車両環境を対応づける。以上の処理は、異なる基準車両環境ごとに実行される。すなわち、環境が変わることによって表示媒体の表示内容が変動する場合に、異なる表示内容の表示媒体を撮影した撮影画像データから基準パターン情報を生成し、撮影画像データを撮影した時点での基準車両環境を対応づける。
【００３６】
以上の構成により、基準車両環境ごとに所定の記録媒体に記録された基準パターン情報が生成される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
【００３７】
（２）基準パターン情報生成処理：
次に、基準パターン情報生成プログラム２１による基準パターン情報生成処理を説明する。基準パターン情報生成プログラム２１は、所定の期間毎に実行される。図２は基準パターン情報生成プログラム２１が実行する基準パターン情報生成処理を示すフローチャートである。図３は、基準車両において撮影された撮影画像Ｉ1〜Ｉ3を例示するとともに、当該撮影画像Ｉ1〜Ｉ3に基づいて生成される基準パターン情報３０ｂの例を示している。以下、図２に示す基準パターン情報生成処理を図３に示す例を参照しながら説明する。基準パターン情報生成プログラム２１の処理が開始されると、制御部２０は、基準画像特徴点抽出部２１ａの処理により、前方カメラ４０が出力する撮影画像データを取得する（ステップＳ１００）。図３においては看板Ｄと信号機Ｓを含む風景を異なる環境にて撮影した撮影画像Ｉ1〜Ｉ3を例として示している。なお、本実施形態において、看板Ｄは矩形の表示媒体であるとともに黒い地色の表示面に対してＬＥＤ等によって文字等を表現する電光掲示板である。
【００３８】
次に、制御部２０は、基準位置取得部２１ｂの処理により、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４５が出力する路面画像データおよび地図情報３０ａに基づいて基準車両の位置を特定し、基準位置として取得する（ステップＳ１０５）。次に、制御部２０は、基準画像特徴点抽出部２１ａの処理により、基準画像特徴点を抽出する（ステップＳ１１０）。すなわち、制御部２０は、撮影画像を２値化した像から抽出される直線の端点と交点とを基準画像特徴点とする。図３においては、撮影画像Ｉ2の看板Ｄに表示されている文字の一つを例として、破線の枠内に基準画像特徴点を例示している。すなわち、破線の枠内に白丸で示すように、直線の端点と交点とのそれぞれが基準画像特徴点ＰN等となる。ここで、異なる環境で撮影された撮影画像Ｉ1〜Ｉ3を比較すると、看板Ｄ内に表示されている文字が異なる。従って、本実施形態においては、環境が異なる撮影画像Ｉ1〜Ｉ3から抽出される基準画像特徴点において、看板Ｄの内側から抽出される基準画像特徴点は環境によって異なる位置となり、環境に依存しない他の部分（信号機Ｓ等）から抽出される基準画像特徴点は共通の位置となる。
【００３９】
次に、制御部２０は、基準画像特徴点抽出部２１ａの処理により、撮影画像データが示す撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれるか否かを判定する（ステップＳ１１５）。すなわち、制御部２０は、撮影画像を２値化した像から抽出される直線によって囲まれた領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、２値化する以前の撮影画像における当該領域に含まれる所定比率以上の部分の色が特定の色（例えば、黒）であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。
【００４０】
ステップＳ１１５にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定された場合、制御部２０は、基準車両環境取得部２１ｃの処理により、通信部４４を介して基準車両環境を取得する（ステップＳ１２０）。すなわち、制御部２０は、ステップＳ１００にて撮影画像データを取得した時点における基準車両の周囲の気象状態を示す気象情報を取得する。
【００４１】
次に、制御部２０は、基準パターン情報記録部２１ｄの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体３０に記録する（ステップＳ１２５）。図３においては、撮影画像Ｉ1〜Ｉ3のそれぞれが撮影された場合に生成される基準パターン情報３０ｂの例を実線の枠内に示している。すなわち、撮影画像Ｉ1は気象状態が晴天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐm（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が晴天であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。
【００４２】
また、撮影画像Ｉ2は気象状態が雨天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐn（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が雨天であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。さらに、撮影画像Ｉ3は気象状態が降雪である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置Ｐ1（Ｘ，Ｙ）〜Ｐo（Ｘ，Ｙ）を示す情報に対して、基準位置Ｐ（ｘ、ｙ）を示す情報と基準車両環境が降雪であることを示す情報が対応づけられて基準パターン情報３０ｂとされる。
【００４３】
一方、ステップＳ１１５にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定されない場合、制御部２０は、基準パターン情報記録部２１ｄの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体３０に記録する（ステップＳ１３０）。すなわち、環境に応じて表示内容が変動する表示媒体が撮影画像に含まれない場合、基準パターン情報３０ｂに対して、基準車両環境を示す情報は対応づけられない。本実施形態においては、以上のような基準パターン情報３０ｂの生成処理が、所定の期間で実行されることにより、複数の基準位置についての基準パターン情報３０ｂが生成される。
【００４４】
（３）一般車両位置特定装置の構成：
以上のようにして作成された基準パターン情報３０ｂは、基準車両以外の一般車両において当該一般車両の位置を特定するために利用される。図４は、本発明にかかる一般車両位置特定装置を含むナビゲーション装置１００の構成を示すブロック図である。ナビゲーション装置１００は、一般車両に搭載される。当該ナビゲーション装置１００は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２００、記録媒体３００を備えており、記録媒体３００やＲＯＭに記憶されたプログラムを制御部２００で実行することができる。本実施形態においては、このプログラムとしてナビゲーションプログラムおよび一般車両位置特定プログラム２１０を実行可能である。
【００４５】
ナビゲーションプログラムは、記録媒体３００に予め記録された地図情報３００ａを参照して車両の現在位置や目的地までの経路を案内するためのプログラムである。地図情報３００ａは、一般車両の位置の特定等に利用される情報であり、一般車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。本実施形態において制御部２００は、ナビゲーションプログラムの処理により、地物データが示す任意の地物を目的地とし、一般車両の現在位置から目的地までの経路探索を行うことが可能である。また、一般車両の現在位置から目的地まで到達するための経路を後述するユーザＩ／Ｆ部４２０によって案内することが可能である。
【００４６】
本実施形態において、記録媒体３００には基準パターン情報３００ｂが記録される。当該基準パターン情報３００ｂは、上述の基準車両によって生成された基準パターン情報３０ｂと同じ内容の情報であり、基準車両によって生成された情報が、通信や可搬記録媒体等を介して記録媒体３００にコピーされることによって記録媒体３００に基準パターン情報３００ｂが記録された状態となる。
【００４７】
本実施形態におけるナビゲーション装置１００が搭載された一般車両は、前方カメラ４００と通信部４１０とユーザＩ／Ｆ部４２０とＧＰＳ受信部４３０と車速センサ４４０とジャイロセンサ４５０とを備えている。前方カメラ４００は、一般車両の前方の風景（路面および上空）を視野に含むように一般車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２００は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。
【００４８】
通信部４１０は、一般車両の外部の図示しない環境情報管理装置と通信を行う回路を備えており、制御部２００は、通信部４１０を介して当該環境情報管理装置と通信を行い、一般車両の現在位置の環境を示す一般車両環境情報を取得する。本実施形態において、当該一般車両環境情報は、一般車両の周囲の気象状態を示す気象情報である。
【００４９】
ユーザＩ／Ｆ部４２０は、運転者の指示を入力し、また運転者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネルディスプレイやスイッチ、スピーカ等を備えている。
【００５０】
ＧＰＳ受信部４３０は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して一般車両の現在位置を算出するための情報を出力する。制御部２００は、この信号を取得して一般車両の現在位置を取得する。車速センサ４４０は、一般車両が備える車輪の回転速度に対応した信号を出力する。制御部２００は、図示しないインタフェースを介してこの信号を取得し、一般車両の速度を取得する。ジャイロセンサ４５０は、一般車両に作用する角速度に対応した信号を出力する。制御部２００は図示しないインタフェースを介してこの信号を取得し、一般車両の走行方向を取得する。車速センサ４４０およびジャイロセンサ４５０等は、ＧＰＳ受信部４３０の出力信号から特定される一般車両の現在位置を補正するなどのために利用される。また、一般車両の現在位置は、当該一般車両の走行軌跡に基づいて適宜補正される。
【００５１】
本実施形態においては、以上のようにＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０および地図情報３００ａを利用して一般車両の現在位置を特定可能であるが、基準パターン情報３００ｂを利用して一般車両の現在位置を特定する構成も備えている。すなわち、ナビゲーションプログラムは両者のいずれかまたは双方を利用して一般車両の現在位置を特定しながら目的地までの経路を案内する。
【００５２】
本実施形態において、基準パターン情報３００ｂを利用した一般車両の現在位置の特定は、一般車両位置特定プログラム２１０によって実現される。以下、一般車両位置特定プログラム２１０を利用した一般車両の現在位置の特定について説明する。一般車両位置特定プログラム２１０は、画像特徴点抽出部２１０ａと一般車両環境取得部２１０ｂと一致度特定部２１０ｃと一般車両位置特定部２１０ｄとを備えている。
【００５３】
画像特徴点抽出部２１０ａは、一般車両の周囲の風景を撮影した撮影画像から基準となる画像特徴点を抽出する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、画像特徴点抽出部２１０ａの処理によって、前方カメラ４００が出力する撮影画像データに対して所定の画像処理を行い、画像特徴点を抽出する。
【００５４】
一般車両環境取得部２１０ｂは、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、一般車両環境取得部２１０ｂの処理により、前方カメラ４００が画像特徴点の抽出元となる撮影画像データを出力した時点において通信部４１０から取得した気象情報に基づいて、一般車両の周囲の気象状態を特定し、一般車両環境とする。
【００５５】
一致度特定部２１０ｃは、基準画像特徴点の位置と画像特徴点との位置を比較して一致度を特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０および地図情報３００ａを利用して特定された一般車両の位置を特定し、当該一般車両の位置を当該一般車両の推定位置とする。そして、画像特徴点抽出部２１０ａが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれる場合、制御部２００は、一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報３００ｂであって、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを検索する。
【００５６】
一方、画像特徴点抽出部２１０ａが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれない場合、制御部２００は、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを検索する。制御部２００は、検索された基準パターン情報３００ｂに基づいて基準画像特徴点の位置を特定し、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。一致度は、複数の基準画像特徴点についての総合判断であれば良く、例えば、各基準画像特徴点に対して最も近い画像特徴点と各基準画像特徴点との距離の２乗の和が小さくなるほど一致度が高くなるように一致度を定義する構成を採用可能である。
なお、本実施形態においては、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが複数個存在する場合、複数個の基準パターン情報３００ｂを参照して一致度を特定する処理を行う。
【００５７】
一般車両位置特定部２１０ｄは、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、一般車両位置特定部２１０ｄの処理により、複数の基準パターン情報３００ｂについての一致度を比較し、最も高い一致度となった基準パターン情報３００ｂを特定する。そして、当該最も高い一致度が所定の閾値を超えている場合に、当該最も高い一致度となった基準パターン情報３００ｂに対応づけられた基準位置が一般車両の位置であるとみなす。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが一つのみである場合には、当該基準パターン情報３００ｂについての一致度が所定の閾値を超えている場合に、当該基準パターン情報３００ｂに対応づけられた基準位置が一般車両の位置であるとみなす。
【００５８】
以上の処理によれば、一般車両の位置を特定する際に、基準パターン情報３００ｂを参照することによって、一般車両環境に一致する基準車両環境に対応した基準画像特徴点に基づいて一般車両の位置を特定することができる。従って、環境に応じて表示内容が変動する表示媒体の像に基づいて抽出された基準画像特徴点に基づいて一般車両の位置を特定することが可能になる。
【００５９】
（４）一般車両位置特定処理：
次に、一般車両位置特定プログラム２１０による基準パターン情報生成処理を説明する。一般車両位置特定プログラム２１０は、所定の期間毎に実行される。図５は一般車両位置特定プログラム２１０が実行する基準パターン情報生成処理を示すフローチャートである。一般車両位置特定プログラム２１０の処理が開始されると、制御部２００は、画像特徴点抽出部２１０ａの処理により、前方カメラ４００が出力する撮影画像データを取得する（ステップＳ２００）。ここで、制御部２００は、撮影画像データに対して撮影時刻を対応づけてＲＡＭに記録する。
【００６０】
次に、制御部２００は、画像特徴点抽出部２１０ａの処理により、画像特徴点を抽出する（ステップＳ２０５）。すなわち、制御部２００は、撮影画像を２値化した像から抽出される直線の端点と交点とを画像特徴点とする。次に、制御部２００は、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号および地図情報３００ａに基づいて一般車両の現在位置を推定する（ステップＳ２１０）。
【００６１】
次に、制御部２００は、一致度特定部２１０ｃの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在するか否か判定する（ステップＳ２１５）。すなわち、制御部２００は、基準パターン情報３００ｂのなかに、一般車両の現在位置として推定された推定位置から所定距離以内の範囲に含まれる基準位置が対応づけられた基準パターン情報が存在するか否かを判定する。ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定されない場合、制御部２００は、ステップＳ２２０以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。
【００６２】
一方、ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定された場合、１あるいは複数の基準パターン情報３００ｂが存在することになるため、一致度を特定するための参照対象となる基準パターン情報を決定するための処理を行う。このために、制御部２００は、一致度特定部２１０ｃの処理により、ステップＳ２００にて撮影した撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれるか否かを判定する（ステップＳ２２０）。すなわち、制御部２００は、撮影画像を２値化した像から抽出される直線によって囲まれる領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、２値化する以前の当該領域における所定比率以上の部分の色が特定の色（例えば、黒）であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。例えば、一般車両の前方カメラ４００において、図３に示すような表示媒体Ｄを含む画像が撮影された場合には、環境に応じて表示内容が変動する表示媒体が含まれると判定される。
【００６３】
ステップＳ２２０にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定された場合、制御部２００は、一般車両環境取得部２１０ｂの処理により、通信部４１０を介して一般車両環境を取得する（ステップＳ２２５）。すなわち、制御部２００は、撮影画像データを取得した撮影時刻における一般車両の周囲の気象状態を示す気象情報を取得する。
【００６４】
次に、制御部２００は、一致度特定部２１０ｃの処理により、ステップＳ２１５にて存在すると判定された推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報のうち、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報が存在するか否かを判定する（ステップＳ２３０）。例えば、図３に示す例において、一般車両環境が雨天である場合、撮影画像Ｉ2に対応する基準パターン情報３０ｂのように雨天を示す情報が対応づけられた基準パターン情報３００ｂが存在すれば、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報３００ｂが存在すると判定される。
【００６５】
ステップＳ２３０にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報が存在すると判定されない場合、制御部２００は、ステップＳ２３５以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。ステップＳ２３０にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報３００ｂが存在すると判定された場合、当該一般車両環境に一致する基準パターン情報３００ｂを参照対象として設定する（ステップＳ２３５）。なお、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報３００ｂが複数個存在する場合には、複数の基準パターン情報３００ｂが参照対象として設定される。
【００６６】
一方、ステップＳ２２０にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定されない場合、制御部２００は、一致度特定部２１０ｃの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを参照対象として設定する（ステップＳ２４０）。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが複数個存在する場合には、複数の基準パターン情報３００ｂが参照対象として設定される。
【００６７】
ステップＳ２３５またはＳ２４０にて参照対象の基準パターン情報３００ｂが設定されると、制御部２００は、一致度特定部２１０ｃの処理により、参照対象の基準パターン情報３００ｂが示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する（ステップＳ２４５）。複数の基準パターン情報３００ｂが参照対象として設定された場合、複数の基準パターン情報３００ｂが示す基準画像特徴点の組のそれぞれについて画像特徴点と比較され、複数の組のそれぞれについて一致度が特定される。
【００６８】
次に、制御部２００は、一般車両位置特定部２１０ｄの処理により、一致度が所定の基準を満たすか否かを判定する（ステップＳ２５０）。すなわち、ステップＳ２３５あるいはＳ２４０にて複数の基準パターン情報３００ｂについての一致度が特定されている場合には、最も高い一致度を特定し、当該最も高い一致度が所定の閾値よりも大きい場合に、当該最も高い一致度となった基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。ステップＳ２３５あるいはＳ２４０にて一つの基準パターン情報３００ｂについての一致度が特定されている場合には、当該基準パターン情報３００ｂについての一致度が所定の閾値よりも大きい場合に、当該基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。
【００６９】
ステップＳ２５０において、一致度が所定の基準を満たすと判定されない場合、制御部２００は、ステップＳ２５５をスキップして処理を終了する。一方、ステップＳ２５５において、一致度が所定の基準を満たすと判定された場合、制御部２００は、一致度が所定の基準を満たすと判定された基準パターン情報３００ｂに対応づけられた基準位置を一般車両の位置として特定する（ステップＳ２５５）。
【００７０】
以上の構成によれば、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号および地図情報３００ａのみを利用して一般車両の位置を特定する構成と比較して、正確に一般車両の現在位置を特定することが可能である。また、ＧＰＳ受信部４３０，車速センサ４４０，ジャイロセンサ４５０の出力信号が取得されない区間においても一般車両の現在位置を特定することが可能である。
【００７１】
（５）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける限りにおいて、他にも種々の実施形態を採用可能である。例えば、基準パターン情報には、基準画像特徴点の抽出元となった撮影画像を撮影した時点における基準車両の向きを示す情報を対応づけても良い。この場合、一般車両にて位置を特定する際に、当該一般車両の向きを示す情報を特定し、当該一般車両の向きと同じ向きが対応づけられた基準パターン情報を参照して基準画像特徴点の位置と画像特徴点の位置との一致度を特定する。
【００７２】
さらに、基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であればよく、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。従って、上述の直線の端点や交点以外にも、直線を構成する点群等によって構成されてもよい。
【００７３】
さらん、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、上述の電光掲示板に限定されない。例えば、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
【００７４】
さらに、環境は気象状態に限定されない。すなわち、環境が表示媒体の表示内容が変動させ得る場合には、その環境を示す情報を基準車両環境や一般車両環境を示す情報として取得すればよい。例えば、渋滞の様子を示す交通情報によって環境を示す情報を構成してもよい。むろん環境を示す情報は、通信以外にも各種の手段で取得可能であり、カメラや各種のセンサによって環境を示す情報を取得しても良い。
【００７５】
さらに、一般車両によって参照される基準パターン情報を記録する媒体は特に限定されず、通信等を介して一般車両から所定の記録媒体を参照して基準パターン情報を取得しても良い。
【００７６】
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない（すなわち、環境に依存して撮影画像上の位置が変動しない）基準画像特徴点とを分けて定義する構成としても良い。この構成は図１に示す構成において、基準パターン情報３０ｂの定義を変更することによって実現可能である。
【００７７】
すなわち、この実施形態においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する構成とする。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する構成とする。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける構成とする。
【００７８】
例えば、図６に示すように基準車両に搭載された前方カメラ４０によって、環境に応じて表示内容が変動する看板Ｄと環境に依存しない信号機Ｓとを含む撮影画像Ｉ0が撮影された場合、看板Ｄの背景（すなわち、看板Ｄの像以外の像）から背景基準画像特徴点が抽出される。図６に示す例においては、背景基準画像特徴点Ｐ1〜Ｐmが抽出された場合の例を示している。この場合、背景基準画像特徴点の位置を示す情報（Ｐ1（Ｘ，Ｙ）〜Ｐm（Ｘ，Ｙ））に対して基準位置Ｐ（ｘ，ｙ）を示す情報が対応づけられて（図６の３０ｂ１）、基準パターン情報３０ｂの一部が構成される。
【００７９】
さらに、異なる基準環境において基準車両に搭載された前方カメラ４０によって撮影された複数の撮影画像から、看板Ｄの像が抽出され、看板Ｄの各像から表示媒体基準画像特徴点が抽出される。そして、各表示媒体基準画像特徴点に対して基準車両環境を示す情報が対応づけられる。図６に示す例においては、晴天時に撮影された看板Ｄ2の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Mが抽出され、雨天時に撮影された看板Ｄ3の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Nが抽出され、降雪時に撮影された看板Ｄ4の像から表示媒体基準画像特徴点Ｐm+1〜Ｐm+Oが抽出された場合の例を示している。
【００８０】
この場合、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+M（Ｘ，Ｙ））に対して基準車両環境が晴天であることを示す情報が対応づけられて（図６の３０ｂ２）、基準パターン情報３０ｂの一部が構成される。また、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+N（Ｘ，Ｙ））に対して基準車両環境が雨天であることを示す情報が対応づけられて（図６の３０ｂ３）、基準パターン情報３０ｂの一部が構成される。さらに、背景基準画像特徴点の位置を示す情報（Ｐm+1（Ｘ，Ｙ）〜Ｐm+O（Ｘ，Ｙ））に対して基準車両環境が降雪であることを示す情報が対応づけられて（図６の３０ｂ４）、基準パターン情報３０ｂの一部が構成される。すなわち、以上の３０ｂ１〜３０ｂ４によって基準パターン情報３０ｂが構成される。
【００８１】
以上のように基準パターン情報３０ｂが構成されると、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点の位置を特定し、さらに、環境に依存しない背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。
【００８２】
基準位置に基づく一般車両の位置の特定法は、上述の実施形態以外にも各種の方法を採用可能である。例えば、前方カメラ４００にて撮影した撮影画像データに対して撮影時刻を対応づけておき、現在以前の所定期間にて撮影した複数の撮影画像データから画像特徴点を抽出し、各時刻における撮影画像データから抽出された画像特徴点の位置と基準パターン情報３００ｂが示す基準画像特徴点の位置とを比較する構成を採用しても良い。すなわち、複数の時刻に関する画像特徴点の組のそれぞれについて一致度を特定し、最も一致度が高くなった時刻における一般車両の位置が、基準パターン情報３００ｂに対応づけられた基準位置であるとみなす構成としても良い。
【符号の説明】
【００８３】
１０…基準パターン情報生成装置、２０…制御部、２１…基準パターン情報生成プログラム、２１ａ…基準画像特徴点抽出部、２１ｂ…基準位置取得部、２１ｃ…基準車両環境取得部、２１ｄ…基準パターン情報記録部、３０…記録媒体、３０ａ…地図情報、３０ｂ…基準パターン情報、４０…前方カメラ、４１…ＧＰＳ受信部、４２…車速センサ、４３…ジャイロセンサ、４４…通信部、４５…後方カメラ、１００…ナビゲーション装置、２００…制御部、２１０…一般車両位置特定プログラム、２１０ａ…画像特徴点抽出部、２１０ｂ…一般車両環境取得部、２１０ｃ…一致度特定部、２１０ｄ…一般車両位置特定部、３００…記録媒体、３００ａ…地図情報、３００ｂ…基準パターン情報、４００…前方カメラ、４１０…通信部、４２０…ユーザＩ／Ｆ部、４３０…ＧＰＳ受信部、４４０…車速センサ、４５０…ジャイロセンサ
【特許請求の範囲】
【請求項１】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出手段と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得手段と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録手段と、
を備える基準パターン情報生成装置。
【請求項２】
前記基準画像特徴点抽出手段は、前記撮影画像に直線に囲まれた所定の地色の部分が含まれるか否かを判定し、
前記基準パターン情報記録手段は、前記撮影画像に直線に囲まれた所定の地色の前記部分が含まれる場合に、前記基準パターンに対して前記基準車両環境を示す情報を対応づける、
請求項１に記載の基準パターン情報生成装置。
【請求項３】
一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
請求項１または請求項２のいずれかに記載の基準パターン情報生成装置で作成された、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報を参照し、前記基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
前記一致度が所定の基準を満たす場合に、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
を備える一般車両位置特定装置。
【請求項４】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における前記表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する基準画像特徴点抽出手段と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
前記基準車両の周囲の環境である基準車両環境が異なる状況で前記風景を撮影した複数の撮影画像における前記表示媒体の像から基準となる表示媒体基準画像特徴点を前記基準車両環境ごとに抽出する表示媒体基準画像特徴点抽出手段と、
前記背景基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記表示媒体基準画像特徴点の前記撮影画像上での位置を前記基準車両環境ごとに示す情報とを対応づけて所定の記録媒体に記録する基準パターン情報記録手段と、
を備える基準パターン情報生成装置。
【請求項５】
一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
請求項４に記載の基準パターン情報生成装置で作成された前記基準パターン情報を参照し、前記背景基準画像特徴点の位置と前記一般車両環境と一致する前記基準車両環境が対応づけられた前記表示媒体基準画像特徴点の位置とを特定し、特定された前記背景基準画像特徴点および前記表示媒体基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
前記一致度が所定の基準を満たす場合に、前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
を備える一般車両位置特定装置。
【請求項６】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出工程と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得工程と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得工程と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録工程と、
を含む基準パターン情報生成方法。
【請求項７】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出機能と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得機能と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得機能と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録機能と、
をコンピュータに実現させる基準パターン情報生成プログラム。
【請求項１】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出手段と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得手段と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録手段と、
を備える基準パターン情報生成装置。
【請求項２】
前記基準画像特徴点抽出手段は、前記撮影画像に直線に囲まれた所定の地色の部分が含まれるか否かを判定し、
前記基準パターン情報記録手段は、前記撮影画像に直線に囲まれた所定の地色の前記部分が含まれる場合に、前記基準パターンに対して前記基準車両環境を示す情報を対応づける、
請求項１に記載の基準パターン情報生成装置。
【請求項３】
一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
請求項１または請求項２のいずれかに記載の基準パターン情報生成装置で作成された、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報を参照し、前記基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
前記一致度が所定の基準を満たす場合に、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
を備える一般車両位置特定装置。
【請求項４】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における前記表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する基準画像特徴点抽出手段と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
前記基準車両の周囲の環境である基準車両環境が異なる状況で前記風景を撮影した複数の撮影画像における前記表示媒体の像から基準となる表示媒体基準画像特徴点を前記基準車両環境ごとに抽出する表示媒体基準画像特徴点抽出手段と、
前記背景基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記表示媒体基準画像特徴点の前記撮影画像上での位置を前記基準車両環境ごとに示す情報とを対応づけて所定の記録媒体に記録する基準パターン情報記録手段と、
を備える基準パターン情報生成装置。
【請求項５】
一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
請求項４に記載の基準パターン情報生成装置で作成された前記基準パターン情報を参照し、前記背景基準画像特徴点の位置と前記一般車両環境と一致する前記基準車両環境が対応づけられた前記表示媒体基準画像特徴点の位置とを特定し、特定された前記背景基準画像特徴点および前記表示媒体基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
前記一致度が所定の基準を満たす場合に、前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
を備える一般車両位置特定装置。
【請求項６】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出工程と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得工程と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得工程と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録工程と、
を含む基準パターン情報生成方法。
【請求項７】
環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する基準画像特徴点抽出機能と、
前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得機能と、
前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得機能と、
前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録機能と、
をコンピュータに実現させる基準パターン情報生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２１４８６９（Ｐ２０１１−２１４８６９Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８０７９３（Ｐ２０１０−８０７９３）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]