車両情報取得装置、車両情報取得方法及びプログラム
【課題】車両の自車位置情報を高精度に取得できると共に処理負荷の軽減化を図ることが可能となる車両情報取得装置、車両情報取得方法及びプログラムを提供する。
【解決手段】自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、を備える。
【解決手段】自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の自車位置情報を取得する車両情報取得装置、車両情報取得方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、車両の自車位置情報を取得する技術に関して種々提案されている。
例えば、ＧＰＳ受信機、方位センサ、及び距離センサからの出力に基づいて、緯度及び経度で表された自車両の現在位置（以下、「自車位置」という。）の情報、自車両の進行方位の情報を含む自車位置情報を取得する。
【０００３】
そして、自車両の後方の路面を撮像するバックカメラを用いて、一時停止義務のある停止線の手前の路面上に設けられた文字列「とまれ」の文字標示のうち、文字列「まれ」を画像認識した場合には、停止線についての画像認識を開始する。そして、画像情報に停止線が含まれると判定した場合には、当該停止線の位置が一時停止義務のある地点であると判定し、この地点の自車位置情報を停止義務地点情報として記憶するように構成された画像認識装置がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−９９１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記した特許文献１に記載された画像認識装置では、バックカメラで撮像した画像情報に基づいて画像認識した停止線の位置が一時停止義務のある地点であると判定した場合には、この地点の自車位置情報を停止義務地点情報として記憶する。
【０００６】
しかしながら、ＧＰＳ受信機、方位センサ、及び距離センサ等からの出力に基づいて取得した自車位置情報は、急ハンドルや車輪のスリップ等によりセンサ出力値の累積誤差が発生するため、当該自車位置情報の高精度化が難しい。また、バックカメラによって１０ｍｓｅｃ〜５０ｍｓｅｃ間隔で撮像した画像内の特徴点を連続して画像認識し、当該特徴点の画像内の移動位置及び形状に基づいて自車位置情報を取得すると処理負荷が増大してしまいリアルタイム処理が難しい。
【０００７】
そこで、本発明は、上述した問題点を解決するためになされたものであり、車両の自車位置情報を高精度に取得できると共に処理負荷の軽減化を図ることが可能となる車両情報取得装置、車両情報取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するため請求項１に係る車両情報取得装置は、自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、を備えたことを特徴とする。
【０００９】
また、請求項２に係る車両情報取得装置は、請求項１に記載の車両情報取得装置において、前記抽出手段は、前記撮像手段によって撮像された後方路面上の地物の進行方位側端部を前記特徴点として抽出することを特徴とする。
【００１０】
また、請求項３に係る車両情報取得装置は、請求項２に記載の車両情報取得装置において、前記抽出手段は、前記後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を前記特徴点として更に抽出することを特徴とする。
【００１１】
また、請求項４に係る車両情報取得方法は、自車両の進行方位と速度を取得する取得工程と、自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、を備えたことを特徴とする。
【００１２】
更に、請求項５に係るプログラムは、コンピュータに、自車両の進行方位と速度を取得する取得工程と、自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、を実行させるためのプログラムである。
【発明の効果】
【００１３】
請求項１に係る車両情報取得装置、請求項４に係る車両情報取得方法及び請求項５に係るプログラムでは、自車両後方を撮像する撮像手段によって撮像された画像内から抽出した特徴点が、撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されている場合には、自車両の進行方位と速度に基づいて自車位置情報を取得するため、迅速に自車位置情報を取得することができる。また、当該特徴点が撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されていない場合には、この特徴点の撮像された画像内と、この後に撮像された画像内での当該特徴点の移動位置及び形状に基づいて自車位置情報を取得するため、センサ情報の誤差の累積を防止し、高精度な自車位置情報を取得することができる。更に、特徴点の撮像された画像内と、この後に撮像された画像内とに当該特徴点があればよいため、各撮像画像を取り込むタイミングの時間間隔を長くして画像認識を行うことが可能となり、自車位置情報を取得する処理負荷の軽減化を図ることができる。
【００１４】
また、請求項２に係る車両情報取得装置では、後方路面上の地物の進行方位側端部を特徴点として抽出するため、後に撮像された画像内から当該地物の進行方位側端部を特徴点として確実に抽出することができる。
【００１５】
更に、請求項３に係る車両情報取得装置では、後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を特徴点として更に抽出するため、後に撮像された画像内から少なくとも他の地物の進行方位側端部を特徴点として確実に抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施例に係るナビゲーション装置が搭載される車両の概略構成図である。
【図２】車両に搭載されるナビゲーション装置を中心とした制御系を模式的に示すブロック図である。
【図３】各センサ及びバックカメラによって撮像された画像により自車位置情報を取得する自車位置情報取得処理を示すフローチャートである。
【図４】右方向へ旋回したときの画像認識の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係る車両情報取得装置、車両情報取得方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。
【００１８】
図１に示すように、自車両２に対して設置されたナビゲーション装置１のナビゲーション制御部１３には、ＣＣＤカメラ等を駆動制御するカメラＥＣＵ（Electronic Control Unit）５１が電気的に接続されている。また、自車両２の後端部の車幅方向略中央には、ＣＣＤカメラ等により構成されて後方路面上の停止線５５等を撮像するバックカメラ５３が設置され、カメラＥＣＵ５１に接続されている。
【００１９】
また、ナビゲーション装置１は、自車両２の室内のセンターコンソール又はパネル面に備え付けられ、液晶ディスプレイ（ＬＣＤ）１５に地図や目的地までの探索経路を表示すると共に、スピーカ１６によって経路案内に関する音声ガイダンスを出力する。また、ナビゲーション装置１は、カメラＥＣＵ５１に制御信号を送信し、車両２の後方路面上の停止線５５等を検出することができる。
【００２０】
次に、本実施例に係る車両２の制御系に係る構成について特にナビゲーション装置１を中心にして図２に基づき説明する。図２は車両２に搭載されるナビゲーション装置１を中心とした制御系を模式的に示すブロック図である。
図２に示すように、車両２の制御系は、ナビゲーション装置１と、このナビゲーション装置１に対して電気的に接続されたカメラＥＣＵ５１を基本にして構成され、各制御装置に対して所定の周辺機器が接続されている。
【００２１】
このナビゲーション装置１は、自車両２の現在位置（以下、「自車位置」という。）等を検出する現在地検出処理部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して地図等の情報を表示する液晶ディスプレイ１５と、経路案内等に関する音声ガイダンスを出力するスピーカ１６と、不図示の道路交通情報センタや地図情報配信センタ等との間で携帯電話網等を介して通信を行う通信装置１７とから構成されている。また、ナビゲーション制御部１３には自車両２の走行速度を検出する車速センサ２１が接続されている。
【００２２】
以下に、ナビゲーション装置１を構成する各構成要素について説明すると、現在地検出処理部１１は、ＧＰＳ３１、距離センサ３２、ステアリングセンサ３３、ジャイロセンサ３４等からなり、自車位置、自車の向きを表す自車方位、走行距離等を検出することが可能となっている。
【００２３】
具体的には、ＧＰＳ３１は、人工衛星によって発生させられた電波を受信することにより、地球上における自車両２の現在位置及び現在時刻を検出し、距離センサ３２は、道路上の所定の位置間の距離等を検出する。ここで、距離センサ３２としては、例えば、左右の各後輪ＷＬ、ＷＲの回転速度を測定し、測定した回転速度に基づいて距離を検出するセンサ、加速度を測定し、測定した加速度を２回積分して距離を検出するセンサ等を使用することができる。
【００２４】
また、ステアリングセンサ３３は自車両２の舵（だ）角を検出する。ここで、ステアリングセンサ３３としては、例えば、ステアリングホイール（図示せず）の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【００２５】
そして、ジャイロセンサ３４は自車両２の旋回角を検出する。ここで、ジャイロセンサ３４としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ３４によって検出された旋回角を積分することにより、自車方位を検出することができる。
【００２６】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記憶された地図情報データベース（地図情報ＤＢ）２５、テンプレートＤＢ２７、走行履歴ＤＢ２８及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバ（図示せず）を備えている。
【００２７】
また、地図情報ＤＢ２５には、ナビゲーション装置１の走行案内や経路探索に使用されるナビ地図情報２６が格納されている。また、テンプレートＤＢ２７には、自車両２が右左折などにより旋回したときに、道路上の停止線等の地物を画像認識するためのパターンマッチング用の各種テンプレートが格納されている。また、走行履歴ＤＢ２８には、後述のように自車位置（例えば、地図上の緯度と経度である。）、自車方位、自車両２の進行方向、走行速度、時刻、気温等を含む自車位置情報２９が時系列的に格納されている。
【００２８】
ここで、ナビ地図情報２６は、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路（リンク）に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のＰＯＩ（Point of Interest）に関する施設データ、地点を検索するための検索データ等から構成されている。
【００２９】
また、ナビ地図情報２６には、道路上の地物に関する地物データが記憶されている。この地物は、運転者に各種の走行上の情報を提供したり、各種の走行上の案内を行ったりするために道路上に設置、又は形成された表示物であり、表示線、路上標識（ペイント）、横断歩道、マンホール等から成る。この表示線には、車両を停止させるための停止線、各レーンを区分する「車道中央線」、「車線境界線」、「車道外側線」、「導流帯」等の区画線などが含まれる。
【００３０】
また、路上標識には、横断歩道、各レーンにおける進行方向表す矢印、「止まれ」等のように一時停止箇所を予告する文字等が含まれる。そして、地物データとして、各地物の位置を表す座標位置（例えば、緯度と経度である。）、各地物の種類、各地物をイメージで表す画像情報等が記憶されている。
【００３１】
また、リンクデータとしては、道路を構成する各リンクに関してリンクを特定するリンクＩＤ、リンクの長さを示すリンク長、リンクの始点と終点の座標位置（例えば、緯度と経度である。）、中央分離帯の有無、リンクの属する道路の幅員、勾（こう）配、カント、バンク、路面の状態、道路の車線数、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、Ｔ字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、国道、県道、細街路等の一般道のほか、高速自動車国道、都市高速道路、一般有料道路、有料橋等の有料道路を表すデータがそれぞれ記録される。
【００３２】
また、施設データとしては、各地域のホテル、遊園地、宮殿、病院、ガソリンスタンド、駐車場、駅、空港、フェリー乗り場等のＰＯＩに関する名称や住所、電話番号、地図上の座標位置（例えば、緯度と経度である。）、地図上に施設の位置を表示する施設アイコン等のデータがＰＯＩを特定するＩＤとともに記憶されている。
また、地図情報ＤＢ２５の内容やテンプレートＤＢ２７に格納されるパターンマッチング用の各種テンプレートは、不図示の情報配信センタから通信装置１７を介して配信された更新情報をダウンロードすることによって更新される。
【００３３】
また、図２に示すように、ナビゲーション装置１を構成するナビゲーション制御部１３は、ナビゲーション装置１の全体の制御を行う演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラム等が記憶されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置や、時間を計測するタイマ４５等を備えている。
【００３４】
また、ＲＯＭ４３には、後述の各センサ２１、３１〜３４及びバックカメラ５３によって撮像された画像により自車位置情報２９を取得する自車位置情報取得処理（図３参照）等のプログラムが記憶されている。
更に、ナビゲーション制御部１３には、操作部１４、液晶ディスプレイ１５、スピーカ１６、通信装置１７の各周辺装置（アクチュエータ）が電気的に接続されている。
【００３５】
この操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う場合等に操作され、各種のキーや複数の操作スイッチから構成される。そして、ナビゲーション制御部１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。
【００３６】
また、液晶ディスプレイ１５には、現在走行中の地図情報、目的地周辺の地図情報、操作案内、操作メニュー、キーの案内、現在地から目的地までの推奨経路、推奨経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００３７】
また、スピーカ１６は、ナビゲーション制御部１３からの指示に基づいて、推奨経路に沿った走行を案内する音声ガイダンス等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「２００ｍ先、○○交差点を右方向です。」等がある。
【００３８】
また、通信装置１７は、不図示の情報配信センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報や表示線、路上標識等の新しい更新テンプレート等の送受信を行う。また、通信装置１７は情報配信センタに加えて、道路交通情報センタ等から送信された渋滞情報やサービスエリアの混雑状況等の各情報から成る交通情報を受信する。
【００３９】
また、カメラＥＣＵ５１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部５１Ａを備えると共に、この受信した制御情報に基づきバックカメラ５３を制御すると共に画像認識を行って出力する画像認識部５１Ｂを備えている。
【００４０】
［自車位置情報取得処理］
次に、上記のように構成されたナビゲーション装置１のＣＰＵ４１が実行する処理であって、各センサ２１、３１〜３４及びバックカメラ５３によって撮像された画像により自車位置情報２９を取得する自車位置情報取得処理について図３及び図４に基づいて説明する。尚、図３にフローチャートで示されるプログラムは、ＣＰＵ４１により一定時間毎（例えば、１０ｍｓｅｃ毎）に実行される。
【００４１】
図３に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ４１は、自車両２の挙動に変化があったか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ３３により自車両２の舵角の変化があったか否か、つまり、ドライバによるハンドル操作がなされたか否かを判定する判定処理を実行する。
そして、自車両２の挙動に変化が無い、つまり、ドライバによるハンドル操作がなされていないと判定した場合には（Ｓ１１：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００４２】
一方、自車両２の挙動に変化があった、つまり、ドライバによるハンドル操作がなされたと判定した場合には（Ｓ１１：ＹＥＳ）、ＣＰＵ４１は、Ｓ１２の処理に移行する。Ｓ１２において、ＣＰＵ４１は、各センサ２１、３１〜３４によって自車両２の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、各計測値をＲＡＭ４２に記憶する。
【００４３】
そして、Ｓ１３において、ＣＰＵ４１は、カメラＥＣＵ５１に対して画像認識を行った第１画像データをナビゲーション装置１へ出力するように制御信号を出力して、後方路面の第１画像データを取得する。ここで、カメラＥＣＵ５１は、バックカメラ５３によって撮像した道路に沿って車線を分ける区画線や停止線等の地物に対して２値化処理やエッジ検出処理等を行い、当該地物の輪郭を抽出する画像認識を行った画像データを出力する。
【００４４】
その後、Ｓ１４において、ＣＰＵ４１は、第１画像データから後方路面上の地物の輪郭情報と、テンプレートＤＢ２７に格納される各地物のテンプレートとから形態の特徴量のパターンマッチングを行い、後方路面上の各地物を抽出する。そして、ＣＰＵ４１は、ＲＡＭ４２から自車両２の舵角を読み出して旋回方向を検出し、第１画像データから後方路面上の各地物の自車両２の進行方位側端縁部の形状を抽出して、当該地物の特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、当該地物の特徴点が撮像画像内で位置している位置データ（例えば、Ｘ、Ｙ座標位置である。）を抽出してＲＡＭ４２に記憶する。
【００４５】
例えば、図４の上側に示すように、ＣＰＵ４１は、第１画像データ６１から後方路面６２上の地物の輪郭情報と、テンプレートＤＢ２７に格納される区画線と停止線のテンプレートとから形態の特徴量のパターンマッチングを行い、各区画線６３Ｌ、６３Ｒ及び停止線６５を抽出する。そして、ＣＰＵ４１は、ＲＡＭ４２から自車両２の舵角を読み出して、右側方向への旋回を検出した場合には、各区画線６３Ｌ、６３Ｒのうち、右進行方向側の区画線６３Ｒを選択する。
【００４６】
そして、ＣＰＵ４１は、この右側の区画線６３Ｒの自車両２側の端縁部、つまり、右進行側端縁部６４を当該区画線６３Ｒの特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、停止線６５の右進行方向側の端縁部、つまり、右進行側端縁部６６を当該停止線６５の特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、各右進行側端縁部６４、６６が位置する第１画像データ内での位置データ（例えば、Ｘ、Ｙ座標位置である。）をＲＡＭ４２に記憶する。
【００４７】
尚、ＣＰＵ４１は、各右進行側端縁部６４、６６のうち、一方を後方路面６２上の地物の特徴点としてＲＡＭ４２に記憶すると共に、この一方の第１画像データ内での位置データをＲＡＭ４２に記憶するようにしてもよい。また、停止線６５に替えてマンホール等の丸い形状の地物が後方路面６２上の地物として抽出された場合には、当該丸い形状の地物の右進行方向側の端縁部を特徴点として記憶すると共に、右側の区画線６３Ｒの自車両２側の端縁部、つまり、右進行側端縁部６４を地物の特徴点として記憶するようにしてもよい。
【００４８】
これにより、マンホール等の丸い形状の地物の右進行方向側の端縁部を特徴点としても、右側の区画線６３Ｒの右進行側端縁部６４を地物の特徴点とすることによって、ＣＰＵ４１は、自車位置情報として旋回角も検出することが可能となる。
【００４９】
続いて、図３に示すように、Ｓ１５において、ＣＰＵ４１は、ＲＡＭ４２から自車両２の走行速度を読み出し、この走行速度に対応して第２画像データを取り込むまで待つ所定フレーム数をデータ記録部１２から読み出す。そして、ＣＰＵ４１は、カメラＥＣＵ５１に対して第１画像データから当該所定フレーム数目の画像認識を行った第２画像データをナビゲーション装置１へ出力するように制御信号を出力して、後方路面の第２画像データを取得する。
【００５０】
尚、各走行速度に対応する第２画像データを取り込むまで待つ「所定フレーム数」は、予めデータ記録部１２に記憶されている。例えば、第２画像データを取り込むまで待つフレーム数として、走行速度が時速５ｋｍ以下の場合には、「６０フレーム」で、時速１０ｋｍ以下の場合には、「３０フレーム」で、時速１５ｋｍ以下の場合には、「２０フレーム」等のデータが、複数の走行速度のそれぞれに対して予めデータ記録部１２に記憶されている。
【００５１】
また、この「所定フレーム数」は、各走行速度において、第１画像データから抽出された各地物の特徴点が第２画像データに存在する最大フレーム数であるように設定されていてもよい。また、バックカメラ５３は、後方路面を１秒間当たり一定のフレーム数で（例えば、約３０フレーム／秒である。）撮像してカメラＥＣＵ５１に出力する。
【００５２】
そして、Ｓ１６において、ＣＰＵ４１は、上記Ｓ１２でＲＡＭ４２に記憶した自車両２の走行速度、舵角、旋回角、自車位置、自車方位の各データから、上記Ｓ１５で取得したフレーム数だけ第２画像データの取り込みを待ったときの自車位置、自車方位、旋回角等を算出する。
【００５３】
そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、この演算された自車位置等と撮像領域との位置関係、及び、上記Ｓ１４で抽出した各地物の特徴点の位置データと形状から、第２画像データの撮像画像内における当該各地物の特徴点が位置する推定位置と当該各地物の特徴点の推定形状を算出する。尚、各地物の特徴点が位置する推定位置は、所定範囲の円形状や四角形状のエリアでもよい。
【００５４】
続いて、Ｓ１７において、ＣＰＵ４１は、第２画像データから後方路面上の地物の輪郭情報と、テンプレートＤＢ２７に格納される各地物の推定形状のテンプレートとのパターンマッチングを行い、後方路面上の各地物の特徴点を抽出する。その後、ＣＰＵ４１は、この推定形状の各地物の特徴点が撮像画像内で位置している位置データを抽出して、上記Ｓ１６で算出した推定位置にあるか否かを判定する判定処理を実行する。
【００５５】
そして、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記Ｓ１６で算出した推定位置にあると判定した場合には（Ｓ１７：ＹＥＳ）、ＣＰＵ４１は、Ｓ１８の処理に移行する。例えば、図４の上側と左下側に示すように、ＣＰＵ４１は、第１画像データ６１の各地物６３Ｒ、６５の特徴点である各右進行側端縁部６４、６６が、右側方向への旋回する自車両２のバックカメラ５３によって撮像された第２画像データ６８の円形状のエリアである推定位置６９内にあると判定した場合には（Ｓ１７：ＹＥＳ）、Ｓ１８の処理に移行する。
【００５６】
Ｓ１８において、ＣＰＵ４１は、各センサ２１、３１〜３４によって自車両２の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、また、不図示の温度計で気温を計測し、各計測値等を含む自車位置情報２９を作成して、ＲＡＭ４２に記憶後、後述のＳ２０の処理に移行する。
【００５７】
一方、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記Ｓ１６で算出した推定位置に存在しないと判定した場合には（Ｓ１７：ＮＯ）、ＣＰＵ４１は、Ｓ１９の処理に移行する。例えば、図４の上側と右下側に示すように、ＣＰＵ４１は、第１画像データ６１の区画線６３Ｒと停止線６５の特徴点である各右進行側端縁部６４、６６が、右側方向への旋回する自車両２のバックカメラ５３によって撮像された第２画像データ７０の円形状のエリアである推定位置６９内に存在しないと判定した場合には（Ｓ１７：ＮＯ）、Ｓ１９の処理に移行する。
【００５８】
Ｓ１９において、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、上記Ｓ１２で取得した自車位置と撮像領域との位置関係を用いて、第１画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、撮像領域と各地物の特徴点の第２画像データにおける位置データとから、各地物の特徴点の地図上の座標位置に対する自車位置、自車方位、旋回角、走行距離等を算出する。
【００５９】
例えば、図４の上側と右下側に示すように、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、上記Ｓ１２で取得した自車位置と撮像領域との位置関係を用いて、第１画像データ６１における各右進行側端縁部６４、６６の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、撮像領域と各右進行側端縁部６４、６６の第２画像データ７０における位置データとから、各右進行側端縁部６４、６６の地図上の座標位置に対する自車両２の自車位置、自車方位、旋回角、走行距離等を算出する。
【００６０】
そして、ＣＰＵ４１は、タイマ４５から時刻を読み出し、また、不図示の温度計で気温を計測し、第２画像データから算出した自車両２の自車位置、自車方位、旋回角、走行距離と、時刻及び気温の計測値等を含む自車位置情報２９を作成して、ＲＡＭ４２に記憶後、Ｓ２０の処理に移行する。
【００６１】
Ｓ２０において、上記Ｓ１８又はＳ１９でＲＡＭ４２に記憶した自車位置情報２９をＲＡＭ４２から再度読み出し、走行履歴ＤＢ２８に時系列的に記憶する。
続いて、Ｓ２１において、ＣＰＵ４１は、自車両２の挙動情報の取得が終了したか否か、つまり、ドライバによるハンドル操作が終了したか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ３３により検出した自車両２の舵角がほぼ０度になったか否かを判定する判定処理を実行する。
【００６２】
そして、自車両２の挙動情報の取得が終了していない、つまり、ステアリングセンサ３３により検出した自車両２の舵角が未だ０度になっていないと判定した場合には（Ｓ２１：ＮＯ）、ＣＰＵ４１は、再度Ｓ１２以降の処理を実行する。
一方、自車両２の挙動情報の取得が終了した、つまり、ステアリングセンサ３３により検出した自車両２の舵角が０度になったと判定した場合には（Ｓ２１：ＹＥＳ）、ＣＰＵ４１は、当該処理を終了する。
【００６３】
以上詳細に説明した通り、本実施例に係るナビゲーション装置１では、ＣＰＵ４１は、バックカメラ５３によって撮像された第１画像データから抽出した後方路面上の各地物の特徴点が、第１画像データから所定フレーム数目の第２画像データの撮像画像内の推定位置にある場合には、各センサ２１、３１〜３４によって計測した各計測値から走行速度、舵角、自車位置、自車方位等を含む自車位置情報２９を迅速に作成し、リアルタイムで走行履歴ＤＢ２８に記憶することができる。
【００６４】
また、ＣＰＵ４１は、バックカメラ５３によって撮像された第１画像データから抽出した後方路面上の各地物の特徴点が、第１画像データから所定フレーム数目の第２画像データの撮像画像内の推定位置に存在しない場合には、第１画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、第２画像データにおける各地物の特徴点の位置データから、各地物の特徴点の地図上の座標位置に対する自車両２の自車位置、自車方位、旋回角、走行距離等を算出して自車位置情報２９を作成する。これにより、ＣＰＵ４１は、各センサ２１、３１〜３４によって計測した計測値の誤差の累積を防止し、高精度な自車位置情報２９を作成して走行履歴ＤＢ２８に記憶することができる。
【００６５】
また、第１画像データから抽出した地物の特徴点が、この第１画像データから所定フレーム数目の第２画像データ内に撮像されていれば、ＣＰＵ４１は自車位置情報２９を作成することができる。これにより、ＣＰＵ４１は、第１画像データと第２画像データを取り込むタイミングの時間間隔を長くして、各画像内における地物の特徴点を画像認識して自車位置情報２９を作成することが可能となり、自車位置情報２９を作成する処理負荷の軽減化を図り、リアルタイム処理を行うことが可能となる。
【００６６】
また、ＣＰＵ４１は、第１画像データから後方路面上の各地物の自車両２の進行方位側端縁部の形状を抽出して、当該地物の特徴点とするため、第２画像データから当該地物の進行方位側端部を特徴点として確実に抽出することができる。また、ＣＰＵ４１は、後方路面上の地物が丸い形状の場合には、この地物の進行方位側端縁部だけでなく、他の地物の進行方位側端部も特徴点として抽出することによって、自車位置情報２９として旋回角も検出することが可能となる。
【００６７】
尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【符号の説明】
【００６８】
１ ナビゲーション装置
２１ 車速センサ
２５ 地図情報ＤＢ
２７ テンプレートＤＢ
２８ 走行履歴ＤＢ
３１ ＧＰＳ
３２ 距離センサ
３３ ステアリングセンサ
３４ ジャイロセンサ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ カメラＥＣＵ
５３ バックカメラ
６１ 第１画像データ
６２ 後方路面
６５ 停止線
６３Ｌ、６３Ｒ 区画線
６４、６６ 右進行側端縁部
６８、７０ 第２画像データ
６９ 推定位置
【技術分野】
【０００１】
本発明は、車両の自車位置情報を取得する車両情報取得装置、車両情報取得方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、車両の自車位置情報を取得する技術に関して種々提案されている。
例えば、ＧＰＳ受信機、方位センサ、及び距離センサからの出力に基づいて、緯度及び経度で表された自車両の現在位置（以下、「自車位置」という。）の情報、自車両の進行方位の情報を含む自車位置情報を取得する。
【０００３】
そして、自車両の後方の路面を撮像するバックカメラを用いて、一時停止義務のある停止線の手前の路面上に設けられた文字列「とまれ」の文字標示のうち、文字列「まれ」を画像認識した場合には、停止線についての画像認識を開始する。そして、画像情報に停止線が含まれると判定した場合には、当該停止線の位置が一時停止義務のある地点であると判定し、この地点の自車位置情報を停止義務地点情報として記憶するように構成された画像認識装置がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−９９１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記した特許文献１に記載された画像認識装置では、バックカメラで撮像した画像情報に基づいて画像認識した停止線の位置が一時停止義務のある地点であると判定した場合には、この地点の自車位置情報を停止義務地点情報として記憶する。
【０００６】
しかしながら、ＧＰＳ受信機、方位センサ、及び距離センサ等からの出力に基づいて取得した自車位置情報は、急ハンドルや車輪のスリップ等によりセンサ出力値の累積誤差が発生するため、当該自車位置情報の高精度化が難しい。また、バックカメラによって１０ｍｓｅｃ〜５０ｍｓｅｃ間隔で撮像した画像内の特徴点を連続して画像認識し、当該特徴点の画像内の移動位置及び形状に基づいて自車位置情報を取得すると処理負荷が増大してしまいリアルタイム処理が難しい。
【０００７】
そこで、本発明は、上述した問題点を解決するためになされたものであり、車両の自車位置情報を高精度に取得できると共に処理負荷の軽減化を図ることが可能となる車両情報取得装置、車両情報取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するため請求項１に係る車両情報取得装置は、自車両後方を撮像する撮像手段と、自車両の進行方位と速度を取得する取得手段と、前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、を備えたことを特徴とする。
【０００９】
また、請求項２に係る車両情報取得装置は、請求項１に記載の車両情報取得装置において、前記抽出手段は、前記撮像手段によって撮像された後方路面上の地物の進行方位側端部を前記特徴点として抽出することを特徴とする。
【００１０】
また、請求項３に係る車両情報取得装置は、請求項２に記載の車両情報取得装置において、前記抽出手段は、前記後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を前記特徴点として更に抽出することを特徴とする。
【００１１】
また、請求項４に係る車両情報取得方法は、自車両の進行方位と速度を取得する取得工程と、自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、を備えたことを特徴とする。
【００１２】
更に、請求項５に係るプログラムは、コンピュータに、自車両の進行方位と速度を取得する取得工程と、自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、を実行させるためのプログラムである。
【発明の効果】
【００１３】
請求項１に係る車両情報取得装置、請求項４に係る車両情報取得方法及び請求項５に係るプログラムでは、自車両後方を撮像する撮像手段によって撮像された画像内から抽出した特徴点が、撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されている場合には、自車両の進行方位と速度に基づいて自車位置情報を取得するため、迅速に自車位置情報を取得することができる。また、当該特徴点が撮像手段によって撮像された後に撮像された画像内の推定位置に撮像されていない場合には、この特徴点の撮像された画像内と、この後に撮像された画像内での当該特徴点の移動位置及び形状に基づいて自車位置情報を取得するため、センサ情報の誤差の累積を防止し、高精度な自車位置情報を取得することができる。更に、特徴点の撮像された画像内と、この後に撮像された画像内とに当該特徴点があればよいため、各撮像画像を取り込むタイミングの時間間隔を長くして画像認識を行うことが可能となり、自車位置情報を取得する処理負荷の軽減化を図ることができる。
【００１４】
また、請求項２に係る車両情報取得装置では、後方路面上の地物の進行方位側端部を特徴点として抽出するため、後に撮像された画像内から当該地物の進行方位側端部を特徴点として確実に抽出することができる。
【００１５】
更に、請求項３に係る車両情報取得装置では、後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を特徴点として更に抽出するため、後に撮像された画像内から少なくとも他の地物の進行方位側端部を特徴点として確実に抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施例に係るナビゲーション装置が搭載される車両の概略構成図である。
【図２】車両に搭載されるナビゲーション装置を中心とした制御系を模式的に示すブロック図である。
【図３】各センサ及びバックカメラによって撮像された画像により自車位置情報を取得する自車位置情報取得処理を示すフローチャートである。
【図４】右方向へ旋回したときの画像認識の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係る車両情報取得装置、車両情報取得方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。
【００１８】
図１に示すように、自車両２に対して設置されたナビゲーション装置１のナビゲーション制御部１３には、ＣＣＤカメラ等を駆動制御するカメラＥＣＵ（Electronic Control Unit）５１が電気的に接続されている。また、自車両２の後端部の車幅方向略中央には、ＣＣＤカメラ等により構成されて後方路面上の停止線５５等を撮像するバックカメラ５３が設置され、カメラＥＣＵ５１に接続されている。
【００１９】
また、ナビゲーション装置１は、自車両２の室内のセンターコンソール又はパネル面に備え付けられ、液晶ディスプレイ（ＬＣＤ）１５に地図や目的地までの探索経路を表示すると共に、スピーカ１６によって経路案内に関する音声ガイダンスを出力する。また、ナビゲーション装置１は、カメラＥＣＵ５１に制御信号を送信し、車両２の後方路面上の停止線５５等を検出することができる。
【００２０】
次に、本実施例に係る車両２の制御系に係る構成について特にナビゲーション装置１を中心にして図２に基づき説明する。図２は車両２に搭載されるナビゲーション装置１を中心とした制御系を模式的に示すブロック図である。
図２に示すように、車両２の制御系は、ナビゲーション装置１と、このナビゲーション装置１に対して電気的に接続されたカメラＥＣＵ５１を基本にして構成され、各制御装置に対して所定の周辺機器が接続されている。
【００２１】
このナビゲーション装置１は、自車両２の現在位置（以下、「自車位置」という。）等を検出する現在地検出処理部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して地図等の情報を表示する液晶ディスプレイ１５と、経路案内等に関する音声ガイダンスを出力するスピーカ１６と、不図示の道路交通情報センタや地図情報配信センタ等との間で携帯電話網等を介して通信を行う通信装置１７とから構成されている。また、ナビゲーション制御部１３には自車両２の走行速度を検出する車速センサ２１が接続されている。
【００２２】
以下に、ナビゲーション装置１を構成する各構成要素について説明すると、現在地検出処理部１１は、ＧＰＳ３１、距離センサ３２、ステアリングセンサ３３、ジャイロセンサ３４等からなり、自車位置、自車の向きを表す自車方位、走行距離等を検出することが可能となっている。
【００２３】
具体的には、ＧＰＳ３１は、人工衛星によって発生させられた電波を受信することにより、地球上における自車両２の現在位置及び現在時刻を検出し、距離センサ３２は、道路上の所定の位置間の距離等を検出する。ここで、距離センサ３２としては、例えば、左右の各後輪ＷＬ、ＷＲの回転速度を測定し、測定した回転速度に基づいて距離を検出するセンサ、加速度を測定し、測定した加速度を２回積分して距離を検出するセンサ等を使用することができる。
【００２４】
また、ステアリングセンサ３３は自車両２の舵（だ）角を検出する。ここで、ステアリングセンサ３３としては、例えば、ステアリングホイール（図示せず）の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【００２５】
そして、ジャイロセンサ３４は自車両２の旋回角を検出する。ここで、ジャイロセンサ３４としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ３４によって検出された旋回角を積分することにより、自車方位を検出することができる。
【００２６】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記憶された地図情報データベース（地図情報ＤＢ）２５、テンプレートＤＢ２７、走行履歴ＤＢ２８及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバ（図示せず）を備えている。
【００２７】
また、地図情報ＤＢ２５には、ナビゲーション装置１の走行案内や経路探索に使用されるナビ地図情報２６が格納されている。また、テンプレートＤＢ２７には、自車両２が右左折などにより旋回したときに、道路上の停止線等の地物を画像認識するためのパターンマッチング用の各種テンプレートが格納されている。また、走行履歴ＤＢ２８には、後述のように自車位置（例えば、地図上の緯度と経度である。）、自車方位、自車両２の進行方向、走行速度、時刻、気温等を含む自車位置情報２９が時系列的に格納されている。
【００２８】
ここで、ナビ地図情報２６は、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路（リンク）に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のＰＯＩ（Point of Interest）に関する施設データ、地点を検索するための検索データ等から構成されている。
【００２９】
また、ナビ地図情報２６には、道路上の地物に関する地物データが記憶されている。この地物は、運転者に各種の走行上の情報を提供したり、各種の走行上の案内を行ったりするために道路上に設置、又は形成された表示物であり、表示線、路上標識（ペイント）、横断歩道、マンホール等から成る。この表示線には、車両を停止させるための停止線、各レーンを区分する「車道中央線」、「車線境界線」、「車道外側線」、「導流帯」等の区画線などが含まれる。
【００３０】
また、路上標識には、横断歩道、各レーンにおける進行方向表す矢印、「止まれ」等のように一時停止箇所を予告する文字等が含まれる。そして、地物データとして、各地物の位置を表す座標位置（例えば、緯度と経度である。）、各地物の種類、各地物をイメージで表す画像情報等が記憶されている。
【００３１】
また、リンクデータとしては、道路を構成する各リンクに関してリンクを特定するリンクＩＤ、リンクの長さを示すリンク長、リンクの始点と終点の座標位置（例えば、緯度と経度である。）、中央分離帯の有無、リンクの属する道路の幅員、勾（こう）配、カント、バンク、路面の状態、道路の車線数、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、Ｔ字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、国道、県道、細街路等の一般道のほか、高速自動車国道、都市高速道路、一般有料道路、有料橋等の有料道路を表すデータがそれぞれ記録される。
【００３２】
また、施設データとしては、各地域のホテル、遊園地、宮殿、病院、ガソリンスタンド、駐車場、駅、空港、フェリー乗り場等のＰＯＩに関する名称や住所、電話番号、地図上の座標位置（例えば、緯度と経度である。）、地図上に施設の位置を表示する施設アイコン等のデータがＰＯＩを特定するＩＤとともに記憶されている。
また、地図情報ＤＢ２５の内容やテンプレートＤＢ２７に格納されるパターンマッチング用の各種テンプレートは、不図示の情報配信センタから通信装置１７を介して配信された更新情報をダウンロードすることによって更新される。
【００３３】
また、図２に示すように、ナビゲーション装置１を構成するナビゲーション制御部１３は、ナビゲーション装置１の全体の制御を行う演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラム等が記憶されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置や、時間を計測するタイマ４５等を備えている。
【００３４】
また、ＲＯＭ４３には、後述の各センサ２１、３１〜３４及びバックカメラ５３によって撮像された画像により自車位置情報２９を取得する自車位置情報取得処理（図３参照）等のプログラムが記憶されている。
更に、ナビゲーション制御部１３には、操作部１４、液晶ディスプレイ１５、スピーカ１６、通信装置１７の各周辺装置（アクチュエータ）が電気的に接続されている。
【００３５】
この操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う場合等に操作され、各種のキーや複数の操作スイッチから構成される。そして、ナビゲーション制御部１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。
【００３６】
また、液晶ディスプレイ１５には、現在走行中の地図情報、目的地周辺の地図情報、操作案内、操作メニュー、キーの案内、現在地から目的地までの推奨経路、推奨経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００３７】
また、スピーカ１６は、ナビゲーション制御部１３からの指示に基づいて、推奨経路に沿った走行を案内する音声ガイダンス等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「２００ｍ先、○○交差点を右方向です。」等がある。
【００３８】
また、通信装置１７は、不図示の情報配信センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報や表示線、路上標識等の新しい更新テンプレート等の送受信を行う。また、通信装置１７は情報配信センタに加えて、道路交通情報センタ等から送信された渋滞情報やサービスエリアの混雑状況等の各情報から成る交通情報を受信する。
【００３９】
また、カメラＥＣＵ５１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部５１Ａを備えると共に、この受信した制御情報に基づきバックカメラ５３を制御すると共に画像認識を行って出力する画像認識部５１Ｂを備えている。
【００４０】
［自車位置情報取得処理］
次に、上記のように構成されたナビゲーション装置１のＣＰＵ４１が実行する処理であって、各センサ２１、３１〜３４及びバックカメラ５３によって撮像された画像により自車位置情報２９を取得する自車位置情報取得処理について図３及び図４に基づいて説明する。尚、図３にフローチャートで示されるプログラムは、ＣＰＵ４１により一定時間毎（例えば、１０ｍｓｅｃ毎）に実行される。
【００４１】
図３に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ４１は、自車両２の挙動に変化があったか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ３３により自車両２の舵角の変化があったか否か、つまり、ドライバによるハンドル操作がなされたか否かを判定する判定処理を実行する。
そして、自車両２の挙動に変化が無い、つまり、ドライバによるハンドル操作がなされていないと判定した場合には（Ｓ１１：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
【００４２】
一方、自車両２の挙動に変化があった、つまり、ドライバによるハンドル操作がなされたと判定した場合には（Ｓ１１：ＹＥＳ）、ＣＰＵ４１は、Ｓ１２の処理に移行する。Ｓ１２において、ＣＰＵ４１は、各センサ２１、３１〜３４によって自車両２の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、各計測値をＲＡＭ４２に記憶する。
【００４３】
そして、Ｓ１３において、ＣＰＵ４１は、カメラＥＣＵ５１に対して画像認識を行った第１画像データをナビゲーション装置１へ出力するように制御信号を出力して、後方路面の第１画像データを取得する。ここで、カメラＥＣＵ５１は、バックカメラ５３によって撮像した道路に沿って車線を分ける区画線や停止線等の地物に対して２値化処理やエッジ検出処理等を行い、当該地物の輪郭を抽出する画像認識を行った画像データを出力する。
【００４４】
その後、Ｓ１４において、ＣＰＵ４１は、第１画像データから後方路面上の地物の輪郭情報と、テンプレートＤＢ２７に格納される各地物のテンプレートとから形態の特徴量のパターンマッチングを行い、後方路面上の各地物を抽出する。そして、ＣＰＵ４１は、ＲＡＭ４２から自車両２の舵角を読み出して旋回方向を検出し、第１画像データから後方路面上の各地物の自車両２の進行方位側端縁部の形状を抽出して、当該地物の特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、当該地物の特徴点が撮像画像内で位置している位置データ（例えば、Ｘ、Ｙ座標位置である。）を抽出してＲＡＭ４２に記憶する。
【００４５】
例えば、図４の上側に示すように、ＣＰＵ４１は、第１画像データ６１から後方路面６２上の地物の輪郭情報と、テンプレートＤＢ２７に格納される区画線と停止線のテンプレートとから形態の特徴量のパターンマッチングを行い、各区画線６３Ｌ、６３Ｒ及び停止線６５を抽出する。そして、ＣＰＵ４１は、ＲＡＭ４２から自車両２の舵角を読み出して、右側方向への旋回を検出した場合には、各区画線６３Ｌ、６３Ｒのうち、右進行方向側の区画線６３Ｒを選択する。
【００４６】
そして、ＣＰＵ４１は、この右側の区画線６３Ｒの自車両２側の端縁部、つまり、右進行側端縁部６４を当該区画線６３Ｒの特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、停止線６５の右進行方向側の端縁部、つまり、右進行側端縁部６６を当該停止線６５の特徴点としてＲＡＭ４２に記憶する。また、ＣＰＵ４１は、各右進行側端縁部６４、６６が位置する第１画像データ内での位置データ（例えば、Ｘ、Ｙ座標位置である。）をＲＡＭ４２に記憶する。
【００４７】
尚、ＣＰＵ４１は、各右進行側端縁部６４、６６のうち、一方を後方路面６２上の地物の特徴点としてＲＡＭ４２に記憶すると共に、この一方の第１画像データ内での位置データをＲＡＭ４２に記憶するようにしてもよい。また、停止線６５に替えてマンホール等の丸い形状の地物が後方路面６２上の地物として抽出された場合には、当該丸い形状の地物の右進行方向側の端縁部を特徴点として記憶すると共に、右側の区画線６３Ｒの自車両２側の端縁部、つまり、右進行側端縁部６４を地物の特徴点として記憶するようにしてもよい。
【００４８】
これにより、マンホール等の丸い形状の地物の右進行方向側の端縁部を特徴点としても、右側の区画線６３Ｒの右進行側端縁部６４を地物の特徴点とすることによって、ＣＰＵ４１は、自車位置情報として旋回角も検出することが可能となる。
【００４９】
続いて、図３に示すように、Ｓ１５において、ＣＰＵ４１は、ＲＡＭ４２から自車両２の走行速度を読み出し、この走行速度に対応して第２画像データを取り込むまで待つ所定フレーム数をデータ記録部１２から読み出す。そして、ＣＰＵ４１は、カメラＥＣＵ５１に対して第１画像データから当該所定フレーム数目の画像認識を行った第２画像データをナビゲーション装置１へ出力するように制御信号を出力して、後方路面の第２画像データを取得する。
【００５０】
尚、各走行速度に対応する第２画像データを取り込むまで待つ「所定フレーム数」は、予めデータ記録部１２に記憶されている。例えば、第２画像データを取り込むまで待つフレーム数として、走行速度が時速５ｋｍ以下の場合には、「６０フレーム」で、時速１０ｋｍ以下の場合には、「３０フレーム」で、時速１５ｋｍ以下の場合には、「２０フレーム」等のデータが、複数の走行速度のそれぞれに対して予めデータ記録部１２に記憶されている。
【００５１】
また、この「所定フレーム数」は、各走行速度において、第１画像データから抽出された各地物の特徴点が第２画像データに存在する最大フレーム数であるように設定されていてもよい。また、バックカメラ５３は、後方路面を１秒間当たり一定のフレーム数で（例えば、約３０フレーム／秒である。）撮像してカメラＥＣＵ５１に出力する。
【００５２】
そして、Ｓ１６において、ＣＰＵ４１は、上記Ｓ１２でＲＡＭ４２に記憶した自車両２の走行速度、舵角、旋回角、自車位置、自車方位の各データから、上記Ｓ１５で取得したフレーム数だけ第２画像データの取り込みを待ったときの自車位置、自車方位、旋回角等を算出する。
【００５３】
そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、この演算された自車位置等と撮像領域との位置関係、及び、上記Ｓ１４で抽出した各地物の特徴点の位置データと形状から、第２画像データの撮像画像内における当該各地物の特徴点が位置する推定位置と当該各地物の特徴点の推定形状を算出する。尚、各地物の特徴点が位置する推定位置は、所定範囲の円形状や四角形状のエリアでもよい。
【００５４】
続いて、Ｓ１７において、ＣＰＵ４１は、第２画像データから後方路面上の地物の輪郭情報と、テンプレートＤＢ２７に格納される各地物の推定形状のテンプレートとのパターンマッチングを行い、後方路面上の各地物の特徴点を抽出する。その後、ＣＰＵ４１は、この推定形状の各地物の特徴点が撮像画像内で位置している位置データを抽出して、上記Ｓ１６で算出した推定位置にあるか否かを判定する判定処理を実行する。
【００５５】
そして、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記Ｓ１６で算出した推定位置にあると判定した場合には（Ｓ１７：ＹＥＳ）、ＣＰＵ４１は、Ｓ１８の処理に移行する。例えば、図４の上側と左下側に示すように、ＣＰＵ４１は、第１画像データ６１の各地物６３Ｒ、６５の特徴点である各右進行側端縁部６４、６６が、右側方向への旋回する自車両２のバックカメラ５３によって撮像された第２画像データ６８の円形状のエリアである推定位置６９内にあると判定した場合には（Ｓ１７：ＹＥＳ）、Ｓ１８の処理に移行する。
【００５６】
Ｓ１８において、ＣＰＵ４１は、各センサ２１、３１〜３４によって自車両２の走行速度、舵角、旋回角、自車位置、自車方位、時刻等を計測し、また、不図示の温度計で気温を計測し、各計測値等を含む自車位置情報２９を作成して、ＲＡＭ４２に記憶後、後述のＳ２０の処理に移行する。
【００５７】
一方、この推定形状をした各地物の特徴点の撮像画像内での位置データが、上記Ｓ１６で算出した推定位置に存在しないと判定した場合には（Ｓ１７：ＮＯ）、ＣＰＵ４１は、Ｓ１９の処理に移行する。例えば、図４の上側と右下側に示すように、ＣＰＵ４１は、第１画像データ６１の区画線６３Ｒと停止線６５の特徴点である各右進行側端縁部６４、６６が、右側方向への旋回する自車両２のバックカメラ５３によって撮像された第２画像データ７０の円形状のエリアである推定位置６９内に存在しないと判定した場合には（Ｓ１７：ＮＯ）、Ｓ１９の処理に移行する。
【００５８】
Ｓ１９において、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、上記Ｓ１２で取得した自車位置と撮像領域との位置関係を用いて、第１画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、撮像領域と各地物の特徴点の第２画像データにおける位置データとから、各地物の特徴点の地図上の座標位置に対する自車位置、自車方位、旋回角、走行距離等を算出する。
【００５９】
例えば、図４の上側と右下側に示すように、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、上記Ｓ１２で取得した自車位置と撮像領域との位置関係を用いて、第１画像データ６１における各右進行側端縁部６４、６６の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、自車両２へのバックカメラ５３の取付位置、取付角度、及び画角等に基づいて、撮像領域と各右進行側端縁部６４、６６の第２画像データ７０における位置データとから、各右進行側端縁部６４、６６の地図上の座標位置に対する自車両２の自車位置、自車方位、旋回角、走行距離等を算出する。
【００６０】
そして、ＣＰＵ４１は、タイマ４５から時刻を読み出し、また、不図示の温度計で気温を計測し、第２画像データから算出した自車両２の自車位置、自車方位、旋回角、走行距離と、時刻及び気温の計測値等を含む自車位置情報２９を作成して、ＲＡＭ４２に記憶後、Ｓ２０の処理に移行する。
【００６１】
Ｓ２０において、上記Ｓ１８又はＳ１９でＲＡＭ４２に記憶した自車位置情報２９をＲＡＭ４２から再度読み出し、走行履歴ＤＢ２８に時系列的に記憶する。
続いて、Ｓ２１において、ＣＰＵ４１は、自車両２の挙動情報の取得が終了したか否か、つまり、ドライバによるハンドル操作が終了したか否かを判定する判定処理を実行する。具体的には、ステアリングセンサ３３により検出した自車両２の舵角がほぼ０度になったか否かを判定する判定処理を実行する。
【００６２】
そして、自車両２の挙動情報の取得が終了していない、つまり、ステアリングセンサ３３により検出した自車両２の舵角が未だ０度になっていないと判定した場合には（Ｓ２１：ＮＯ）、ＣＰＵ４１は、再度Ｓ１２以降の処理を実行する。
一方、自車両２の挙動情報の取得が終了した、つまり、ステアリングセンサ３３により検出した自車両２の舵角が０度になったと判定した場合には（Ｓ２１：ＹＥＳ）、ＣＰＵ４１は、当該処理を終了する。
【００６３】
以上詳細に説明した通り、本実施例に係るナビゲーション装置１では、ＣＰＵ４１は、バックカメラ５３によって撮像された第１画像データから抽出した後方路面上の各地物の特徴点が、第１画像データから所定フレーム数目の第２画像データの撮像画像内の推定位置にある場合には、各センサ２１、３１〜３４によって計測した各計測値から走行速度、舵角、自車位置、自車方位等を含む自車位置情報２９を迅速に作成し、リアルタイムで走行履歴ＤＢ２８に記憶することができる。
【００６４】
また、ＣＰＵ４１は、バックカメラ５３によって撮像された第１画像データから抽出した後方路面上の各地物の特徴点が、第１画像データから所定フレーム数目の第２画像データの撮像画像内の推定位置に存在しない場合には、第１画像データにおける各地物の特徴点の地図上の座標位置を正確に算出する。そして、ＣＰＵ４１は、第２画像データにおける各地物の特徴点の位置データから、各地物の特徴点の地図上の座標位置に対する自車両２の自車位置、自車方位、旋回角、走行距離等を算出して自車位置情報２９を作成する。これにより、ＣＰＵ４１は、各センサ２１、３１〜３４によって計測した計測値の誤差の累積を防止し、高精度な自車位置情報２９を作成して走行履歴ＤＢ２８に記憶することができる。
【００６５】
また、第１画像データから抽出した地物の特徴点が、この第１画像データから所定フレーム数目の第２画像データ内に撮像されていれば、ＣＰＵ４１は自車位置情報２９を作成することができる。これにより、ＣＰＵ４１は、第１画像データと第２画像データを取り込むタイミングの時間間隔を長くして、各画像内における地物の特徴点を画像認識して自車位置情報２９を作成することが可能となり、自車位置情報２９を作成する処理負荷の軽減化を図り、リアルタイム処理を行うことが可能となる。
【００６６】
また、ＣＰＵ４１は、第１画像データから後方路面上の各地物の自車両２の進行方位側端縁部の形状を抽出して、当該地物の特徴点とするため、第２画像データから当該地物の進行方位側端部を特徴点として確実に抽出することができる。また、ＣＰＵ４１は、後方路面上の地物が丸い形状の場合には、この地物の進行方位側端縁部だけでなく、他の地物の進行方位側端部も特徴点として抽出することによって、自車位置情報２９として旋回角も検出することが可能となる。
【００６７】
尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【符号の説明】
【００６８】
１ ナビゲーション装置
２１ 車速センサ
２５ 地図情報ＤＢ
２７ テンプレートＤＢ
２８ 走行履歴ＤＢ
３１ ＧＰＳ
３２ 距離センサ
３３ ステアリングセンサ
３４ ジャイロセンサ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ カメラＥＣＵ
５３ バックカメラ
６１ 第１画像データ
６２ 後方路面
６５ 停止線
６３Ｌ、６３Ｒ 区画線
６４、６６ 右進行側端縁部
６８、７０ 第２画像データ
６９ 推定位置
【特許請求の範囲】
【請求項１】
自車両後方を撮像する撮像手段と、
自車両の進行方位と速度を取得する取得手段と、
前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、
前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、
当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、
を備えたことを特徴とする車両情報取得装置。
【請求項２】
前記抽出手段は、前記撮像手段によって撮像された後方路面上の地物の進行方位側端部を前記特徴点として抽出することを特徴とする請求項１に記載の車両情報取得装置。
【請求項３】
前記抽出手段は、前記後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を前記特徴点として更に抽出することを特徴とする請求項２に記載の車両情報取得装置。
【請求項４】
自車両の進行方位と速度を取得する取得工程と、
自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、
前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、
を備えたことを特徴とする車両情報取得方法。
【請求項５】
コンピュータに、
自車両の進行方位と速度を取得する取得工程と、
自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、
前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、
を実行させるためのプログラム。
【請求項１】
自車両後方を撮像する撮像手段と、
自車両の進行方位と速度を取得する取得手段と、
前記撮像手段によって撮像された画像内から特徴点を抽出する抽出手段と、
前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定手段と、
当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得手段と、
を備えたことを特徴とする車両情報取得装置。
【請求項２】
前記抽出手段は、前記撮像手段によって撮像された後方路面上の地物の進行方位側端部を前記特徴点として抽出することを特徴とする請求項１に記載の車両情報取得装置。
【請求項３】
前記抽出手段は、前記後方路面上の地物が円形状地物である場合には、他の地物の進行方位側端部を前記特徴点として更に抽出することを特徴とする請求項２に記載の車両情報取得装置。
【請求項４】
自車両の進行方位と速度を取得する取得工程と、
自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、
前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、
を備えたことを特徴とする車両情報取得方法。
【請求項５】
コンピュータに、
自車両の進行方位と速度を取得する取得工程と、
自車両後方を撮像する撮像手段によって撮像された画像内から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記撮像手段によって撮像される画像内における前記特徴点の推定位置を前記進行方位と速度に基づいて算出し、当該特徴点が前記撮像手段によって撮像された後に撮像された画像内の前記推定位置に撮像されているか否かを判定する判定工程と、
前記判定工程で当該特徴点が前記推定位置に撮像されていると判定した場合には、前記進行方位と速度に基づいて自車位置情報を取得し、
前記判定工程で当該特徴点が前記推定位置に撮像されていないと判定した場合には、前記撮像手段によって撮像された画像内と前記撮像手段によって撮像された後に撮像された画像内の前記特徴点の移動位置及び形状に基づいて自車位置情報を取得する自車位置情報取得工程と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２０８８７７（Ｐ２０１２−２０８８７７Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５６９６（Ｐ２０１１−７５６９６）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]