説明

標識認識装置

【課題】認識した道路標識の有効範囲を正しく判定して、運転者への正確な道路標識の提示を可能とする標識認識装置を提供する。
【解決手段】標識及び補助標識が示す有効道路区間数、距離、有効時間帯、車両状態の条件等の有効範囲条件を予め格納している標識有効範囲データ記録部7と、車両前方を撮像した道路画像を用いて、標識と補助標識を認識する標識認識部2と、車両の現在位置、車種、状態等を示す車両情報を取得する車両情報取得部4と、車両周辺の地図情報を取得する地図情報取得部3と、標識有効範囲データ記録部7の有効範囲条件、車両情報及び地図情報を用いて、当該車両が、標識認識部2で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部5を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の走行中に道路標識を認識して、運転者に提示するための標識認識装置に関するものである。
【背景技術】
【0002】
従来の標識認識装置は、車両走行中に車載カメラで撮像した画像から道路標識を認識して、カーナビゲーション装置に認識した道路標識を画面表示させることにより、運転者に通知している。例えば、特許文献1の「道路標識等表示装置及び道路標識等画像の画像表示方法」では、車載カメラで撮像した画像から道路標識を認識してカーナビゲーション装置に画面表示し、認識した道路標識の認識位置からの走行距離が指定値を超えた場合、認識した時刻からの経過時間が指定値を超えた場合、又は運転者から指示があった場合に、その画面表示を終了する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−4410号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の標識認識装置は以上のように構成され、認識した道路標識に対し、走行距離又は経過時間により道路標識の有効範囲を判定してカーナビゲーション装置への表示/非表示を切り替えていた。このため、補助標識による有効時間指定や車種指定がある場合、急カーブや線路予告等、前方に存在する特定箇所を示す予告標識がある場合等においては、これらの標識を考慮しないので道路標識の有効範囲を正しく判定することができないという課題があった。また、道路標識の有効範囲は、標識位置からの距離ではなく、道路区間数で定義されているため、従来の方法では、正確な有効範囲の判定を行うことはできない。また、車両が右左折することで連続した道路区間から外れた場合には、認識した道路標識の有効範囲からも外れるので、正しい判定を行うことができないという課題があった。
【0005】
この発明は、上記のような課題を解決するためになされたもので、認識した道路標識の有効範囲を正しく判定して、運転者への正確な道路標識の提示を可能とする標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る標識認識装置は、標識と補助標識が示す有効範囲条件を予め格納している標識有効範囲データ記録部と、車両前方を撮像した画像を用いて、標識と補助標識を認識する標識認識部と、当該車両の情報、地図情報、及び標識有効範囲データ記録部内の有効範囲条件を用いて、当該車両が、標識認識部で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部とを備え、標識有効範囲判定部は、標識認識部で認識した標識と補助標識で指定された有効範囲の開始点の位置を判定し、当該車両が標識と補助標識の有効範囲に入ると標識と補助標識の認識結果を有効標識格納バッファに格納する開始点位置判定部と、有効標識格納バッファに格納された標識と補助標識で指定された有効範囲の終了点の位置を判定し、当該車両が標識と補助標識の有効範囲から外れると標識と補助標識の認識結果を有効標識格納バッファから削除する終了点位置判定部とを有するようにしたものである。
【発明の効果】
【0007】
この発明によれば、標識及び補助標識が示す有効範囲条件を用いて、車両が、認識した標識と補助標識で指定された有効範囲にいるか否かを判定するようにしたので、認識した道路標識の有効範囲を正しく判定することができ、運転者への正確な道路標識の提示が可能となる。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1に係る標識認識装置の構成を示すブロック図である。
【図2】図1に示す標識認識装置の動作を示すフローチャートである。
【図3】図1に示す画像取得部が取得した道路画像の一例を示す図である。
【図4】図1に示す標識認識部の認識結果の一例を示す説明図である。
【図5】図1に示す標識有効範囲データ記録に格納されている有効範囲データを示す説明図であり、図5(a)は標識の有効範囲データ、図5(b)は補助標識の有効範囲データである。
【図6】道路区間数の計算方法を説明するための図である。
【図7】図1に示す開始点位置判定部の開始点位置判定の詳細を示すフローチャートである。
【図8】図1に示す車両情報取得部が取得した車両情報の一例を示す説明図である。
【図9】図1に示す有効標識格納バッファが保持する現在有効な道路標識の情報を示す説明図である。
【図10】図1に示す終了点位置判定部の終了点位置判定の詳細を示すフローチャートである。
【図11】図9に示す有効標識格納バッファの“走行道路区間数”に対して更新を行った後の状態を示す説明図である。
【図12】実施の形態2に係る標識有効範囲データ記録部に格納されている有効範囲データを示す説明図であり、図12(a)は標識の有効範囲データ、図12(b)は補助標識の有効範囲データである。
【図13】実施の形態2による終了点位置判定部の終了点位置判定を説明するための図であり、“先行距離”に重みαを用いて、警戒標識の有効範囲を変更した例を示す。
【図14】実施の形態2による終了点位置判定部の終了点位置判定を説明するための図であり、基準位置と指定距離βを用いて、警戒標識の有効範囲を変更した例を示す。
【図15】実施の形態3に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識の終了点位置を示す補助標識を用いて終了点位置を判定する例を示す。
【図16】実施の形態3に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識の有効範囲を示す補助標識を用いて終了点位置を判定する例を示す。
【図17】実施の形態4に係る標識有効範囲データ記録部に格納されている有効範囲データを示す説明図であり、図17(a)は標識の有効範囲データ、図17(b)は補助標識の有効範囲データである。
【図18】実施の形態4に係る終了点位置判定部の終了点位置判定を説明するための図であり、車両センサ終了条件を用いて標識の終了点位置を判定する例を示す。
【発明を実施するための形態】
【0009】
実施の形態1.
図1は、この発明の実施の形態1に係る標識認識装置の構成を示すブロック図である。標識認識装置は車両に搭載され、この標識認識装置の出力は、カーナビゲーション装置の表示器に画面表示(又は音声出力)するために利用される。
【0010】
図1に示す標識認識装置において、画像取得部1は、車載カメラで車両前方を撮影した画像の取り込みを行う。標識認識部2は、画像取得部1が取得した画像情報から道路標識(標識と補助標識)を認識する。地図情報取得部3は、GPS(Global Positioning System)衛星から受信したデータ等に基づく自車両の位置と地図データとから、車両周辺の道路情報、構造物情報等の地図情報を取得する。車両情報取得部4は、GPS衛星からの受信データに基づく自車両の位置、車両に設置された各種センサの出力に基づくブレーキ状態等の車両状態、車種の情報等の車両情報を取得する。
【0011】
標識有効範囲データ記録部7には、標識及び補助標識の種類毎に、有効範囲条件を示すデータが予め格納されている。標識有効範囲判定部5は、地図情報取得部3の地図情報と車両情報取得部4の車両情報と標識有効範囲データ記録部7の情報とを用いて、車両が標識認識部2の認識した道路標識の有効範囲内にいるか否かの判定を行い、有効(即ち車両が道路標識の有効範囲内にいる)と判定した道路標識の情報を有効標識格納バッファ6へ格納させる。有効標識格納バッファ6は、標識有効範囲判定部5が有効と判定した道路標識の情報を必要に応じて格納する。
【0012】
標識有効範囲判定部5は、開始点位置判定部8と終了点位置判定部9からなる。開始点位置判定部8は、車両情報取得部4の車両情報と標識有効範囲データ記録部7の情報とを用いて、標識認識部2が認識した道路標識の有効範囲の開始点を車両が越えたか否か判定する。終了点位置判定部9は、地図情報取得部3の地図情報と車両情報取得部4の車両情報と標識有効範囲データ記録部7の情報とを用いて、標識認識部2が認識した道路標識の有効範囲の終了点を車両が越えたか否か判定する。
【0013】
次に、標識認識装置の動作を説明する。図2は、図1に示す標識認識装置の動作を示すフローチャートである。
ステップST10において、画像取得部1は、車載カメラで撮影された車両前方の道路画像の読み込みを行う。図3は、画像取得部1が取得した道路画像の一例を示す図である。以下、図3の道路画像を用いて説明する。
【0014】
ステップST20、標識有効範囲判定部5は、有効標識格納バッファ6に現在有効な標識と補助標識の情報が格納されているか探索する。格納されていれば(ステップST20“Yes”)、続くステップST30にて終了点位置判定部9が終了点位置判定を行う。格納されていなければ(ステップST20“No”)、標識有効範囲判定部5は処理をステップST40へ進める。ここでは、まだ有効標識格納バッファ6に標識と補助標識の情報が格納されていないので、ステップST40に進む。ステップST30の処理は後述する。
【0015】
ステップST40において、標識認識部2は、入力された道路画像から標識と補助標識の認識を行い、標識有効範囲データ記録部7を参照して認識結果を生成する。図4は、図3の道路画像から標識認識を行った結果を示す説明図である。また、図5は、標識有効範囲データ記録部7に格納されている有効範囲データを示す説明図であり、図5(a)は標識の有効範囲データ、図5(b)は補助標識の有効範囲データである。
図5に示すように、標識と補助標識とは、それぞれ固有のID番号で管理され、図5(a)の標識テーブルには“標識ID”毎に“標識分類”、“属性値”、“有効道路区間数”、“規定サイズ”、“画像パターン”の情報が予め格納されている。また、図5(b)の補助標識テーブルには“補助標識ID”毎に“種類”、“属性値”、“画像パターン”が予め格納されている。なお、“規定サイズ”とは、“画像パターン”の縦×横の画素数であり、“有効道路区間数”とは、標識が有効な道路区間数を示す値である。図6は、道路区間数の計算方法を説明するための図であり、道路区間は車線数が増減する区間、道路の分岐点等で区切られている。図6のその他の説明は後述する。
【0016】
標識認識部2は、図4に示すように、道路画像上から破線枠の標識10と補助標識11を認識し、標識10及び補助標識11の画像を標識有効範囲データ記録部7の“画像パターン”と照合して一致する標識ID及び補助標識IDを取得する。そして、図4中の表のように、標識10と補助標識11それぞれのID及びサイズの情報を含む認識結果を生成する。
【0017】
ステップ50において、標識認識部2は先のステップST40で道路標識を認識できた場合には(ステップST50“Yes”)、続くステップST60へ処理を進め、道路標識が認識できなかった場合には(ステップST50“No”)、処理を再びステップST10に戻す。
【0018】
ステップST60において、標識有効範囲判定部5は、有効標識格納バッファ6に現在有効な標識と補助標識の情報が格納されているか探索する。格納されていれば(ステップST60“Yes”)、続くステップST80にて終了点位置判定部9が終了点位置判定を行う。格納されていなければ(ステップST60“No”)、標識有効範囲判定部5は処理をステップST70へ進める。ここでは、まだ有効標識格納バッファ6に標識と補助標識の情報が格納されていないので、ステップST70に進む。ステップST80の処理は後述する。
【0019】
ステップST70において、開始点位置判定部8が開始点位置判定を行う。図7は、開始点位置判定部8の開始点位置判定の詳細を示すフローチャートである。
ステップST71において、開始点位置判定部8は、先ず、車両情報取得部4から車両情報を取得する。図8は、車両情報取得部4がGPS、各種車両センサ等から取得した車両情報の一例を示す説明図であり、車両情報には例えば“車種”、“現在日時”、“現在位置”、“車両向き”、“クラクション”の状態、“ブレーキ”の状態がある。
【0020】
ステップST72において、開始点位置判定部8は、標識認識部2が認識した標識IDをもとに、標識有効範囲データ記録部7の標識の有効範囲データから対応する標識IDの“規定サイズ”を取得し、この“規定サイズ”と標識認識部2が認識したサイズとを比較する。また、開始点位置判定部8は、標識認識部2が認識した補助標識IDをもとに、標識有効範囲データ記録部7の補助標識の有効範囲データから対応する補助標識IDの“種類”及び“属性値”を取得し、ステップST71で取得した車両情報と比較する。
【0021】
認識した標識のサイズが“規定サイズ”以上、かつ、車両情報が有効範囲データの条件に合致していた場合、開始点位置判定部8は車両が標識と補助標識の有効範囲に入ったと判定する(ステップST72“Yes”)。ここでは、標識認識部2が認識した標識10のサイズ「100×100」が、標識ID「2」の“規定サイズ”「80×80」以上であり、かつ、車両情報取得部4が取得した車両情報の“車種”「トラック」が、補助標識ID「6」の“車種”「トラック」と合致するため、開始点位置の条件に一致する。
【0022】
ステップST73において、開始点位置判定部8は、標識認識部2で認識した標識IDと、補助標識IDと、ステップST71で取得した“現在位置”情報とを、現在有効な道路標識の情報として有効標識格納バッファ6に格納する。図9は、有効標識格納バッファ6が保持する道路標識の情報を示す説明図である。“標識/補助標識ID”は、標識認識部2で認識した標識及び補助標識の標識ID及び補助標識IDである。“登録位置”は、車両情報取得部4から取得した車両情報中の“現在位置”情報である。“走行道路区間数”は、現在有効な道路標識の情報が有効標識格納バッファ6に格納されたときから、車両が走行した道路区間数を表しており、初期値は0とする。
開始点位置判定部8は、有効標識格納バッファ6に現在有効な道路標識の情報を格納した後、開始点位置判定を終了する。
【0023】
一方、条件が一致しない場合、開始点位置判定部8は車両が標識と補助標識の有効範囲に入っていないと判定して(ステップST72“No”)、有効標識格納バッファ6に道路標識の情報を格納させずに開始点位置判定を終了する。
【0024】
図2のステップST70において有効標識格納バッファ6に現在有効な道路標識の情報が格納された場合、処理は、再びステップST10に戻って標識認識部2に新たな道路画像が入力され、ステップST20で標識有効範囲判定部5が有効標識格納バッファ6に道路標識の情報が格納されていることを確認して、ステップST30に進む。
【0025】
ステップST30において、終了点位置判定部9が終了点位置判定を行う。図10は、終了点位置判定部9の終了点位置判定の詳細を示すフローチャートである。
ステップST31において、終了点位置判定部9は、先ず、地図情報取得部3から車両周辺の地図情報を、車両情報取得部4から車両情報をそれぞれ取得する。
【0026】
ステップST32において、終了点位置判定部9は、有効標識格納バッファ6に格納されている“登録位置”と、車両情報中の“現在位置”情報と、地図情報とから、車両が走行した道路区間数を算出する。図6において、車両が通過した道路区間の区切り目を走行道路区間数とすると、“登録位置”12から“現在位置”13までの走行道路区間数は2となる。
【0027】
終了点位置判定部9は、算出した走行道路区間数と、有効標識格納バッファ6に格納された“走行道路区間数”とを比較して変更があれば(ステップST32“Yes”)、続くステップST33で有効標識格納バッファ6の“走行道路区間数”を更新する。図11は、図9に示す有効標識格納バッファ6の“走行道路区間数”に対して更新を行った後の状態を示す説明図である。
一方、変更がなければ(ステップST32“No”)、終了点位置判定部9は有効標識格納バッファ6の更新を行わずに処理を終了する。
【0028】
ステップST34において、終了点位置判定部9は、有効標識格納バッファ6に格納されている標識IDをもとに、標識有効範囲データ記録部7からの“有効道路区間数”を取得し、“有効道路区間数”と“走行道路区間数”を比較する。
終了点位置判定部9は、“走行道路区間数”が“有効道路区間数”以上であれば、有効標識格納バッファ6に格納されている現在有効な道路標識の有効範囲の終了位置であると判定する(ステップST34“Yes”)。ここでは、現在有効な道路標識である有効標識ID「1」(標識ID「2」)の“走行道路区間数”「2」が、標識有効範囲データ記録部7の標識ID「2」の“有効道路区間数”「1」以上であるため、終了点位置の条件と一致する。
終了点位置判定部9は、ステップST35において、車両が有効範囲の終了位置を過ぎたと判定された有効標識IDの情報を有効標識格納バッファ6から削除して、終了点位置判定を終了する。
【0029】
一方、条件が一致しない場合、終了点位置判定部9は車両が標識と補助標識の有効範囲から出ていないと判定して(ステップST34“No”)、終了点位置判定を終了する。
【0030】
なお、ステップST80は、ステップST30と同様に終了点位置判定部9が図10の処理を行えばよいので説明を省略する。
【0031】
なお、上記の説明では、図7のステップST72において、開始点位置判定部8が、標識有効範囲データ記録部7の標識の“規定サイズ”と標識認識部2で取得したサイズとを比較することで、標識が有効範囲の開始点位置かどうかを判定するようにしたが、サイズ比較を行わずに、標識を認識したときの車両の“現在位置”を標識の有効範囲の開始点位置とするようにしてもよい。また、標識認識部2でいったん認識された標識が、車載カメラの撮影範囲から外れて認識されなくなった場合に、そのときの“現在位置”を標識の有効範囲の開始点位置とするようにしてもよい。
【0032】
また、上記の説明では、図7のステップST72において、開始点位置判定部8が、車両情報取得部4で取得した車両情報の“車種”と、標識有効範囲データ記録部7に格納されている補助標識の“車種”を比較することで、有効範囲の開始点位置の条件を満たしているかを判定するようにしたが、これに限定されるものではない。例えば、開始点位置判定部8が、車両情報の“現在日時”と標識有効範囲データ記録部7の補助標識の“時間”を比較し、“現在日時”が補助標識の指定する“時間”範囲内か否かで、開始点位置の条件を満たしているかを判定するようにしてもよい。また、これらの条件を組み合わせて判定するようにしてもよい。
【0033】
また、上記の説明では、図10のステップST34において、終了点位置判定部9が、標識有効範囲データ記録部7の“有効道路区間数”と有効標識格納バッファ6に格納されている標識の“走行道路区間数”を比較することで、標識の有効範囲の終了点位置を判定するようにしたが、これに限定されるものではない。例えば、終了点位置判定部9が、車両情報取得部4から得られる車両の“現在位置”や“車両向き”、地図情報取得部3から得られる地図情報をもとに、車両が道路を曲がる等して連続した道路区間から外れたか判定し、外れたときを標識の有効範囲の終了点位置と判定するようにしてもよい。また、これらの条件を組み合わせて判定するようにしてもよい。
あるいは、終了点位置判定部9は、有効標識格納バッファ6に格納されている標識の“属性値”を標識有効範囲データ記録部7から取得して、その“属性値”と同じ属性値を持つ標識が標識認識部2から得られた場合に、標識の有効範囲の終了点位置と判定するようにしてもよい。
【0034】
以上のように、この実施の形態1によれば、標識認識装置が、標識及び補助標識が示す有効道路区間数の有効範囲条件を予め格納している標識有効範囲データ記録部7と、車両前方を撮像した道路画像を用いて、標識と補助標識を認識する標識認識部2と、車両の現在位置、車種、状態等を示す車両情報を取得する車両情報取得部4と、車両周辺の地図情報を取得する地図情報取得部3と、標識有効範囲データ記録部7の有効範囲条件、車両情報及び地図情報を用いて、当該車両が、標識認識部2で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部5を備えるように構成した。このため、認識した道路標識の有効範囲を、道路区間数単位で正確に判定することができる。また、補助標識が指示する条件を考慮して、より正確に有効範囲を判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。
【0035】
実施の形態2.
本実施の形態2では、有効範囲判定対象の道路標識の例として、急カーブ予告、T字路予告、線路予告等の車両前方に存在する道路状況を予告する警戒標識を用いる。
また、警戒標識の場合、上記実施の形態1の標識有効範囲データ記録部7が予め格納している有効範囲データ(図5に示す)に、新たに“先行距離”情報を追加してもよい。図12(a)に、実施の形態2に係る標識有効範囲データ記録部7が格納している標識の有効範囲データを示し、図12(b)に補助標識の有効範囲データを示す。この“先行距離”は、警戒標識の位置から、この警戒標識が指し示す急カーブ、T字路、線路、踏み切り、学校・幼稚園等の特定箇所(以下、基準位置と称す)までの距離である。
【0036】
本実施の形態2に係る標識認識装置は、上記実施の形態1の標識認識装置と同一の構成であるが、終了点位置判定部9の動作が異なる。以下の説明では、図1のブロック図及び図2のフローチャートを援用して、実施の形態1と本実施の形態2とで動作が異なる部分を中心に説明する。
【0037】
図2に示すステップST30、又はステップST80において、終了点位置判定部9は終了点位置判定を開始する。終了点位置判定部9は、図10に示すステップST31〜ST33,ST35では上記実施の形態1と同一の処理を行い、ステップST34の処理のみが異なる。
ステップST34において、終了点位置判定部9は、有効標識格納バッファ6に格納されている標識の“登録位置”と、車両情報取得部4から取得する車両情報中の“現在位置”をもとに、車両の走行距離を計算して、この走行距離と、図12に示す標識有効範囲データ記録部7に格納されている“先行距離”とを比較して、走行距離が“先行距離”より大きければ標識の有効範囲の終了点位置と判定する(ステップST34“Yes”)。即ち、終了点位置判定部9は車両が有効範囲の終了位置を過ぎたと判定して、続くステップST35に進む。
一方、走行距離が“先行距離”以下であれば、終了点位置判定部9は車両が標識と補助標識の有効範囲から出ていないと判定して(ステップST34“No”)、終了点位置判定を終了する。
【0038】
なお、上記の説明では、図10のステップST34において、終了点位置判定部9が、計算で求めた車両の走行距離と標識有効範囲データ記録部7に格納されている“先行距離”を比較することで、標識の有効範囲の終了点位置を判定するようにしたが、この“先行距離”の有効範囲、即ち終了点の位置を、重みαを用いて制御するようにしてもよい。
図13は、実施の形態2による終了点位置判定部9の終了点位置判定を説明するための図であり、“先行距離”に重みαを用いて、警戒標識の有効範囲を変更した例を示す。図13の例では、標識認識装置において、車両14の前方にある警戒標識15を標識認識部2が認識して、開始点位置判定部8が警戒標識15を開始点位置に用いて車両14が警戒標識15の有効範囲に入ったか否か判定し、終了点位置判定部9が“先行距離”と重みαで表される終了点位置を用いて車両14が警戒標識15の有効範囲を出たか否か判定する。
【0039】
また、上記の説明では、図10のステップST34において、終了点位置判定部9が、有効標識格納バッファ6に格納されている標識の“登録位置”と車両情報取得部4で取得した車両情報の“現在位置”とをもとに計算した走行距離を、“先行距離”と比較することで、車両が標識の有効範囲を出たか否か判定するようにしたが、これに限定されるものではない。例えば、終了点位置判定部9が、車両情報の“現在位置”と地図情報取得部3で取得した地図情報とから、有効標識格納バッファ6に格納されている警戒標識が指し示す基準位置を取得して、車両の“現在位置”がこの基準位置を中心とした指定距離βの範囲外に出た場合に、車両が警戒標識の有効範囲を出たと判定するようにする。
図14は、実施の形態2による終了点位置判定部9の終了点位置判定を説明するための図であり、基準位置と指定距離βを用いて、警戒標識の有効範囲を変更した例を示す。図14の例では、終了点位置判定部9が、車両情報の“現在位置”に基づいて、警戒標識15の“属性値”が指し示す学校・幼稚園の位置を地図情報から取得して基準位置に用い、この基準位置を中心とした指定距離βを設定する。この場合には、基準位置を中心にして円で示された範囲を警戒標識15の有効範囲とし、開始点位置判定部8は警戒標識15の位置を開始点位置に用いてもよいし、この円と走行中の道路の接点を開始点位置16に用いてもよい。
【0040】
以上のように、この実施の形態2によれば、標識有効範囲データ記録部7が、標識及び補助標識が示す有効範囲条件として距離に関する情報を予め格納し、標識有効範囲判定部5が、標識有効範囲データ記録部7の距離に関する情報を用いて、車両が標識認識部2で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、車両前方に存在する道路状況を予告する警戒標識の場合にも、認識した道路標識の有効範囲を正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。
【0041】
実施の形態3.
本実施の形態3では、有効範囲判定対象の道路標識の例として、特定の標識に対する有効範囲の終了を示す補助標識を有する道路標識を用いる。
【0042】
本実施の形態3に係る標識認識装置は、上記実施の形態1の標識認識装置と同一の構成であるが、終了点位置判定部9の動作が異なる。以下の説明では、図1のブロック図及び図2のフローチャートを援用して、実施の形態1と本実施の形態3とで動作が異なる部分を中心に説明する。なお、本実施の形態3の標識有効範囲データ記録部7には、図5に示す標識と補助標識の有効範囲データが格納されているものとする。
【0043】
図15は、実施の形態3に係る終了点位置判定部9の終了点位置判定を説明するための図であり、標識17,19の終了点位置を示す補助標識20を用いて終了点位置を判定する例を示す。標識認識部2が標識17の標識IDと補助標識18の補助標識IDを認識して、開始点位置判定部8は車両14が標識17の有効範囲内に入っているものと判定して、既に有効標識格納バッファ6に標識17と補助標識18のIDが格納されているものとする(図2のステップST70)。そして、新たに、標識認識部2が標識19と補助標識20を認識して、ステップST80の終了点位置判定が行われる状況である。
【0044】
終了点位置判定部9は、ステップST80として図10に示すステップST31〜ST33を行い、続くステップST34において、有効標識格納バッファ6に格納されている補助標識18の補助標識IDから標識有効範囲データ記録部7に格納されている補助標識18の“属性値”「開始」を取得し(図5(b)参照)、新たに認識した補助標識20の補助標識IDから標識有効範囲データ記録部7に格納されている補助標識20の“属性値”「終了」を取得する。そして、終了点位置判定部9は、両“属性値”を照合して、両“属性値”が対応関係にあれば、終了点位置判定部9は標識19の有効範囲の終了点位置と判定する(ステップST34“Yes”)。この場合「開始」と「終了」で対応しているので、標識19と補助標識20が終了点位置となる。
一方、両“属性値”が対応関係になければ、終了点位置判定部9は車両14が標識17,19の有効範囲から出ていないと判定して(ステップST34“No”)、終了点位置判定を終了する。
【0045】
なお、図5(b)では補助標識ID「1」及び「2」の“属性値”が「開始」と「終了」で対応関係にあるが、図12(b)に示すように単に「区間」である場合には、両“属性値”が一致していれば、有効標識格納バッファ6に格納されている標識に対する有効範囲の終了点位置であると判定するようにしてもよい。
【0046】
また、上記の説明では、図15に示すような、特定の標識に対し、補助標識が有効範囲の終了を示す場合の例を説明したが、図16に示すような、特定の標識に対し、補助標識が標識位置からの有効範囲を示す場合であっても、終了点位置判定部9は終了点位置を判定することができる。
図16は、実施の形態3に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識21の有効範囲を示す補助標識22を用いて終了点位置を判定する例を示す。有効標識格納バッファ6に格納されている補助標識が図16に示す補助標識22の場合、終了点位置判定部9は、先ず、車両情報取得部4が取得した車両情報の“現在位置”と、有効標識格納バッファ6に格納されている“登録位置”とから、車両の走行距離を計算する。そして、終了点位置判定部9は、この走行距離と、標識有効範囲データ記録部7に格納されている補助標識22の補助標識IDの“属性値”「距離」(例えば補助標識ID3の“属性値”「100」m)とを比較して、走行距離が補助標識20の示す距離より大きかった場合に、標識21の有効範囲の終了点位置として判定する。
【0047】
なお、上記の説明では、終了点位置判定部9は、標識有効範囲データ記録部7に格納されている補助標識の“属性値”に予め設定されている「距離」を用いて比較判定するようにしたが、車載カメラで撮影した画像から補助標識が示す距離を文字認識した結果を用いて比較判定するようにしてもよい。
【0048】
以上のように、この実施の形態3によれば、標識有効範囲データ記録部7が、補助標識が示す有効範囲条件を予め格納し、標識有効範囲判定部5が、標識有効範囲データ記録部7の補助標識の有効範囲条件を用いて、車両が標識認識部2で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、認識した道路標識の有効範囲を、標識が示す情報に加え、補助標識が示す情報を用いて正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。
【0049】
実施の形態4.
本実施の形態4では、道路標識の有効範囲の終了点位置の判定に、標識及び補助標識の情報だけでなく、車両に設置された各種センサの出力に基づくブレーキ状態等の車両状態の情報を用いる。このため、上記実施の形態1の標識有効範囲データ記録部7が予め格納している有効範囲データ(図5)に示すに、新たに“車両センサ終了条件”情報を追加する。この“車両センサ終了条件”は、条件を満たす場合に標識の有効範囲の終了点位置と判定するための、車両情報に基づく設定条件である。図17(a)に、実施の形態4に係る標識有効範囲データ記録部7が格納している標識の有効範囲データを示し、図17(b)に補助標識の有効範囲データを示す。
【0050】
本実施の形態4に係る標識認識装置は、上記実施の形態1の標識認識装置と同一の構成であるが、終了点位置判定部9の動作が異なる。以下の説明では、図1のブロック図及び図2のフローチャートを援用して、実施の形態1と本実施の形態4とで動作が異なる部分を中心に説明する。
図2に示すステップST30、又はステップST80において、終了点位置判定部9は終了点位置判定を開始する。終了点位置判定部9は、図10に示すステップST31〜33,ST35では上記実施の形態1と同一の処理を行い、ステップST34の処理のみが異なる。
【0051】
図18は、実施の形態4に係る終了点位置判定部9の終了点位置判定を説明するための図であり、車両センサ終了条件を用いて規制標識23の終了点位置を判定する例を示す。標識認識部2が規制標識23の標識IDを認識して、開始点位置判定部8は車両14が有効範囲内に入っているものと判定して、既に有効標識格納バッファ6に規制標識23のIDが格納されているものとする(図2のステップST70)。
【0052】
ステップST34において、終了点位置判定部9は、有効標識格納バッファ6に格納されている有効範囲判定対象の規制標識23の標識IDを用いて、標識有効範囲データ記録部7から“車両センサ終了条件”を取得し、この条件と車両情報取得部4から得られる“クラクション”情報、“ブレーキ”情報とを照合する。終了点位置判定部9は、照合の結果、条件を満たした場合に、規制標識23の有効範囲の終了点位置と判定する。
【0053】
図18において、規制標識23は「止まれ」を指示する標識である。そこで、規制標識23に対応する標識IDの“車両センサ終了条件”を「ブレーキ=ON」と設定しておく。規制標識23の位置を開始点位置とした場合、車両14がこの開始点位置に入ったと判定された後、終了点位置判定部9が、標識有効範囲データ記録部7に格納されている“車両センサ終了条件”「ブレーキ=ON」を取得し、これと車両情報取得部4から得られる車両情報の“ブレーキ”情報とを照合し、運転者がブレーキを踏んだ(ON)という車両情報が得られた場合に、ブレーキを踏んだ地点を終了点位置に用いて、規制標識23の有効範囲から外れたと判定する。なお、図18に示す終了点は、上記実施の形態1の終了点位置判定部9が判定する、“有効道路区間数”に基づく終了点位置である。
【0054】
以上のように、この実施の形態4によれば、標識有効範囲データ記録部7が、標識及び補助標識が示す有効範囲条件として標識の示す指示に対応した車両状態の条件を予め格納し、標識有効範囲判定部5が、標識有効範囲データ記録部7の車両状態の条件を用いて、車両が標識認識部2で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、道路標識が示す指示が実施されたか否かに応じて、認識した道路標識の有効範囲を正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。
【0055】
なお、上述した説明では、上記実施の形態1で示した構成に対して上記実施の形態2から上記実施の形態4までをそれぞれ適用する場合を示したが、これに限らず、上記実施の形態2から上記実施の形態4までの構成を適宜組み合わせたものであっても構わない。開始点位置判定部8の開始点位置判定の方法を併用した場合には、いずれかの方法によって判定された有効範囲の開始点位置を用いて車両が有効範囲内にいるか否か判断すればよい。また、同様に、終了点位置判定部9の終了点位置判定の方法を併用した場合には、標識認識装置がいずれかの方法によって判定された有効範囲の終了点位置を用いて車両が有効範囲内にいるか否か判断すればよい。
【符号の説明】
【0056】
1 画像取得部、2 標識認識部、3 地図情報取得部、4 車両情報取得部、5 標識有効範囲判定部、6 有効標識格納バッファ、7 標識有効範囲データ記録部、8 開始点位置判定部、9 終了点位置判定部、10,17,19,21 標識、11,18,20,22 補助標識、12 登録位置、13 現在位置、14 車両、15 警戒標識、16 開始点位置、23 規制標識。

【特許請求の範囲】
【請求項1】
標識と補助標識が示す有効範囲条件を予め格納している標識有効範囲データ記録部と、
車両前方を撮像した画像を用いて、標識と補助標識を認識する標識認識部と、
当該車両の情報、地図情報、及び前記標識有効範囲データ記録部内の有効範囲条件を用いて、当該車両が、前記標識認識部で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部とを備え、
前記標識有効範囲判定部は、
前記標識認識部で認識した標識と補助標識で指定された有効範囲の開始点の位置を判定し、当該車両が前記標識と補助標識の有効範囲に入ると前記標識と補助標識の認識結果を有効標識格納バッファに格納する開始点位置判定部と、
前記有効標識格納バッファに格納された前記標識と補助標識で指定された有効範囲の終了点の位置を判定し、当該車両が前記標識と補助標識の有効範囲から外れると前記標識と補助標識の認識結果を前記有効標識格納バッファから削除する終了点位置判定部とを有することを特徴とする標識認識装置。
【請求項2】
標識有効範囲データ記録部は、標識の種類毎に、有効範囲を示す有効道路区間数を予め格納しており、
終了点位置判定部は、車両の現在位置を示す車両情報を用いて、有効標識格納バッファに格納された標識の開始点から前記現在位置までの走行道路区間数を算出し、当該走行道路区間数が前記標識が示す有効道路区間数を超えると当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項3】
標識有効範囲データ記録部は、補助標識の種類毎に、有効範囲を示す有効道路区間数又は距離を予め格納しており、
終了点位置判定部は、標識認識部が有効道路区間数又は距離を示す補助標識を認識した場合に、車両の現在位置を示す車両情報を用いて、前記現在位置が前記補助標識が示す有効道路区間数又は距離を超えると当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項4】
標識有効範囲データ記録部は、標識と補助標識の種類毎に、有効範囲を示す有効道路区間数又は距離を予め格納しており、
終了点位置判定部は、車両の現在位置を示す車両情報を用いて、当該車両が道路を曲がって連続した道路区間から外れたと判断すると、当該車両が有効標識格納バッファに格納された標識又は補助標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項5】
終了点位置判定部は、標識認識部が特定の標識に対する有効範囲の終了を示す補助標識を認識した場合に、前記特定の標識に該当する標識が有効標識格納バッファに存在すれば、車両が前記特定の標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項6】
終了点位置判定部は、標識認識部が車両前方に存在する道路状況を予告する標識を認識した場合に、当該車両周辺の地図情報を用いて、前記標識が予告する道路状況が存在する基準位置を取得し、当該車両の現在位置を示す車両情報を用いて、当該車両が前記基準位置から所定距離外に出ると当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項7】
標識有効範囲データ記録部は、標識の種類毎に、標識の示す指示に対応した車両状態の条件を予め格納しており、
終了点位置判定部は、車両の状態を示す車両情報を用いて、当該車両の状態が、有効標識格納バッファに格納された標識の車両状態の条件を満たすと、当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項8】
標識有効範囲データ記録部は、補助標識の種類毎に、属性情報を予め格納しており、
終了点位置判定部は、標識認識部が認識した補助標識の属性情報と、有効標識格納バッファに格納された補助標識の属性情報とが一致すると、車両が前記有効標識格納バッファに格納された標識の有効範囲から外れたと判定することを特徴とする請求項1記載の標識認識装置。
【請求項9】
標識有効範囲判定部は、請求項2から請求項8のうちの少なくとも1項以上に記載の終了点位置判定部を有し、
いずれかの終了点位置判定部が、車両が、有効標識格納バッファに格納された標識の有効範囲から外れたと判定した場合に、前記標識と補助標識の認識結果を前記有効標識格納バッファから削除することを特徴とする請求項1記載の標識認識装置。
【請求項10】
標識有効範囲データ記録部は、標識と補助標識の規定サイズを予め格納しており、
開始点位置判定部は、標識認識部が認識した標識又は補助標識のサイズが前記規定サイズ以上の場合に、車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項1から請求項9のうちのいずれか1項記載の標識認識装置。
【請求項11】
開始点位置判定部は、標識認識部がいったん認識した標識又は補助標識が認識されなくなると、車両が、当該標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項1から請求項9のうちのいずれか1項記載の標識認識装置。
【請求項12】
標識有効範囲データ記録部は、標識と補助標識に対応した車種の情報が格納されており、
開始点位置判定部は、標識認識部が特定の車種を示す標識又は補助標識を認識した場合に、車両の車種を示す車両情報を用いて、当該車両の車種が前記特定の車種に一致すれば、当該車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項1から請求項9のうちのいずれか1項記載の標識認識装置。
【請求項13】
標識有効範囲データ記録部は、標識と補助標識に対応した有効時間帯の情報が格納されており、
開始点位置判定部は、標識認識部が特定の有効時間帯を示す標識又は補助標識を認識した場合に、現在日時が前記特定の有効時間帯に一致すれば、車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項1から請求項9のうちのいずれか1項記載の標識認識装置。
【請求項14】
標識有効範囲判定部は、請求項10から請求項13のうちの少なくとも1項以上に記載の開始点位置判定部を有し、
いずれかの開始点位置判定部が、車両が、標識認識部が認識した標識の有効範囲に入ったと判定した場合に、前記標識と補助標識の認識結果を有効標識格納バッファに格納することを特徴とする請求項1から請求項9のうちのいずれか1項記載の標識認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2010−282278(P2010−282278A)
【公開日】平成22年12月16日(2010.12.16)
【国際特許分類】
【出願番号】特願2009−133115(P2009−133115)
【出願日】平成21年6月2日(2009.6.2)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】