走行支援システム、走行支援プログラム、及び走行支援方法
【課題】それぞれの走行支援処理の目的に応じた認識精度を確保しつつ、簡易かつ迅速に走行支援処理を実行することができる走行支援システムを実現する。
【解決手段】車両の走行支援に関する複数の支援処理APを実行可能な走行支援システム1。画像データ中に含まれる認識対象物の画像認識処理を行う画像認識部36と、画像認識処理の結果に基づいて動作する支援処理APのそれぞれについて当該支援処理APの実行のための要求認識精度に応じた画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部73と、実行候補支援処理を抽出する候補処理抽出部31と、抽出された実行候補支援処理について、画像認識処理により認識対象物が認識された画像データ中の位置が当該実行候補支援処理についての設定認識領域内に含まれていることを条件として当該実行候補支援処理の実行を許可する支援処理実行管理部37と、を備える。
【解決手段】車両の走行支援に関する複数の支援処理APを実行可能な走行支援システム1。画像データ中に含まれる認識対象物の画像認識処理を行う画像認識部36と、画像認識処理の結果に基づいて動作する支援処理APのそれぞれについて当該支援処理APの実行のための要求認識精度に応じた画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部73と、実行候補支援処理を抽出する候補処理抽出部31と、抽出された実行候補支援処理について、画像認識処理により認識対象物が認識された画像データ中の位置が当該実行候補支援処理についての設定認識領域内に含まれていることを条件として当該実行候補支援処理の実行を許可する支援処理実行管理部37と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の走行支援に関する複数の支援処理を実行可能な走行支援システム、並びに当該走行支援システムにおける走行支援プログラム及び走行支援方法に関する。
【背景技術】
【0002】
上記のような走行支援システムとして、例えば下記の特許文献1に記載されたシステムが既に知られている。すなわち、特許文献1の走行支援システムは、ナビゲーションシステム1(当該特許文献1における符号を引用して説明している;以下同様)と車両制御システム2との協調システムとして構成されていて、アクチュエータによる自動ブレーキ制御処理や自動車速制御処理等、車両の走行支援に関する複数の支援処理を実行可能である。また、この特許文献1には、路面を指向するように配置された車載カメラとしてのリアカメラ24が捉えた映像から画像データを生成し、当該画像データ中に含まれる所定の認識対象物(例えば、交差点の先にある横断歩道)の画像認識処理結果に基づいて車両の加速制御を実行することが記載されている。
【0003】
画像認識処理結果に基づく位置同定を利用して車両の走行支援を行なう場合、車載カメラを用いた画像処理系の光学特性により、画像認識処理を行う際の画像データ中における位置に応じて、認識対象物の測位精度及びそれに伴う認識精度(以下、「認識精度等」と称する場合がある。)や認識成功率に差異が生じる。すなわち、画像データ中の消失点に近い領域では、画像認識処理において特徴点が欠落しにくく認識成功率は比較的高く維持されるものの、画像データ中の周縁部に近い領域に比べて画像データ中における1画素当たりのずれに対応する実際の道路上での位置ずれがより大きくなって測位精度が低下する。一方、画像データ中の周縁部に近い領域では、画像データ中の消失点に近い領域に比べて認識精度等は比較的高く維持されるものの、走行中の車両の位置ずれや進行方位ずれによる影響が比較的大きくなって認識成功率が低下する。一般に、各支援処理にはそれぞれの目的があり、当該目的に応じて要求される認識精度等や認識成功率は様々である。そのため、それぞれの支援処理に対応付けられた認識対象物の画像認識処理を行う際には、それぞれの支援処理の目的に応じた認識精度等及び認識成功率が確保されていることが好ましい(一般に、認識精度等と認識成功率とは、トレードオフの関係にある)。特許文献1では、この点に関して特段の考慮がなされていなかった。
【0004】
一方、下記の特許文献2には、走行支援システムの分野とは異なるが、画像認識技術を利用した重畳型画像観察装置100(当該特許文献2における符号を引用して説明している;以下同様)が記載されている。この特許文献2の装置では、被写体110に含まれる被服等の商品に係る情報を検索する商品情報プログラム、及び使用者OBSの現在位置を求めるナビゲーションプログラム、の2つのプログラムが実行可能とされている。この装置では、画像認識部105によるパターンマッチング処理のために撮像部104からの画像データを取得する際には、実行中のプログラムに応じて撮像部104の撮像画角Aを切り替えるように構成されている。すなわち、目的の商品を確実に特定すべき商品情報プログラムでは、撮像部104は変倍光学系を望遠端側に変倍し、一方、現在位置の特定のためにより多くの被写体110を撮像すべきナビゲーションプログラムでは、撮像部104は変倍光学系を広角端側に変倍する。
【0005】
ここで、それぞれの支援処理の目的に応じた認識精度等及び認識成功率を確保するべく、特許文献1の走行支援システムに特許文献2の撮像画角の切り替え動作を適用することも考えられる。しかし、一般に走行支援システムでは支援処理の種類が多く、支援処理に応じた撮像画角の切り替え動作は煩雑となり易い。また、例えばこれから実行しようとする支援処理が同時に複数存在する場合において、それぞれの目的に応じた認識精度等及び認識成功率が異なる場合には、撮像画角の変更という機械的動作を伴いながらそれぞれの支援処理に対応付けられた認識対象物の画像認識処理を順次行う必要があり、即時性(リアルタイム性)を確保できない可能性がある。そのため、特許文献1の走行支援システムに対して、単純に特許文献2の撮像画角の切り替え動作を適用することは、処理の迅速性の観点から適当とは言えなかった。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−221858号公報
【特許文献2】特開2006−71707号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、それぞれの走行支援処理の目的に応じた認識精度を確保しつつ、簡易かつ迅速に走行支援処理を実行することができる走行支援システムの実現が望まれる。
【課題を解決するための手段】
【0008】
本発明に係る、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムの特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識部と、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定された前記画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部と、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出部と、抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理部と、を備えた点にある。
【0009】
なお、「支援処理の実行のために要求される認識対象物の認識精度」とは、画像認識に成功した認識対象物に対応付けられた支援処理を誤りなく実行するために要求される画像認識の精度である。通常、正確な位置で実行すべき要請が強い支援処理ほど、その実行のために要求される認識対象物の認識精度が高くなる。
【0010】
上記の特徴構成によれば、画像認識部による画像データ中に含まれる認識対象物の画像認識処理の認識結果に基づいて、当該認識対象物に対応付けられた支援処理を実行するか否かを判定することができる。このとき、複数の支援処理のそれぞれについて画像データ中の設定認識領域の情報が認識領域情報記憶部に記憶され、この設定認識領域はそれぞれの支援処理の実行のために要求される認識対象物の認識精度に応じて設定されている。そのため、複数の支援処理の中から抽出された1又は2以上の実行候補支援処理について、画像認識処理により認識対象物が認識された画像データ中の位置が当該実行候補支援処理について設定された設定認識領域内に含まれていることを条件として当該実行候補支援処理の実行を許可する構成とすることで、その実行候補支援処理の目的に応じた認識精度を適切に確保することができる。
また、上記の特徴構成では、支援処理実行管理部は、実行候補支援処理を実行するか否かを、画像認識処理により認識対象物が認識された画像データ中の位置と実行候補支援処理について設定された設定認識領域との対応関係に基づいて規則的に判定することができる。よって、簡易かつ迅速に走行支援処理を実行することができる。
従って、それぞれの走行支援処理の目的に応じた認識精度を確保しつつ、簡易かつ迅速に走行支援処理を実行することができる走行支援システムが実現できる。
【0011】
ここで、複数の前記支援処理には、第一支援処理と、実行のために要求される前記認識対象物の認識精度が前記第一支援処理に要求される認識精度よりも低い第二支援処理と、が含まれ、前記第二支援処理について設定された前記設定認識領域は、前記第一支援処理について設定された前記設定認識領域に比べて前記画像データ中の消失点に近い領域を含む構成とすると好適である。
【0012】
この構成によれば、実行のために要求される認識対象物の認識精度が比較的低い第二支援処理について、実行のために要求される認識対象物の認識精度が第二支援処理より高い第一支援処理について設定された設定認識領域に比べて、画像データ中の消失点に近い領域を含むように設定認識領域が設定される。画像データ中の消失点に近い領域では、画像データ中の周縁部に近い領域に比べて、車載カメラによる撮影範囲の変動が小さく同一の認識対象物が撮影されている時間も長いため、認識対象物の認識成功率が高く維持される。よって、必要な状況の下で第二支援処理を実行できる可能性を高くすることができる。
また、この構成によれば、実行のために要求される認識対象物の認識精度が比較的高い第一支援処理について、実行のために要求される認識対象物の認識精度が第一支援処理より低い第二支援処理について設定された設定認識領域に比べて、画像データ中の消失点から遠い領域(画像データ中の周縁部に近い領域)のみを含むように設定認識領域が設定される。画像データ中の周縁部に近い領域では、画像データ中の消失点に近い領域に比べて、車両から近い位置に存在する認識対象物が撮影されるため、当該認識対象物の測位精度及びそれに伴う認識精度が高く維持される。よって、認識対象物の画像認識に成功した場合には、第一支援処理を正確な位置で誤りなく実行できる可能性を高くすることができる。
【0013】
また、複数の前記支援処理が、前記支援処理毎に要求される認識精度に応じて複数の精度グループに区分され、前記認識領域情報記憶部には、前記精度グループ毎に要求される認識精度に応じて設定された前記設定認識領域の情報が記憶されている構成とすると好適である。
【0014】
この構成によれば、それぞれの支援処理についての設定認識領域を、認識精度に応じて区分された複数の精度グループに応じて設定することができる。すなわち、要求される認識精度に応じて複数の支援処理をグループ化することで、それぞれの支援処理について、比較的単純な処理で設定認識領域を設定することができる。
【0015】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、抽出されたそれぞれの前記実行候補支援処理についての前記設定認識領域に基づいて、前記認識対象物の画像認識処理を実行する前に前記画像データ中の領域である認識処理領域を決定する認識処理領域決定部と、を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記支援処理実行管理部は、前記認識処理領域決定部により決定された前記認識処理領域において前記実行候補支援処理に対応付けられた前記認識対象物が認識された場合に、当該実行候補支援処理の実行を許可する構成とすると好適である。
【0016】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、画像認識処理を実行する前にそれぞれの実行候補支援処理についての設定認識領域の情報に基づいて認識処理領域が決定されるので、当該認識処理領域において実行候補支援処理に対応付けられた認識対象物が認識された場合には、直ちにその実行候補支援処理の実行を許可することができる。
【0017】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、抽出されたそれぞれの前記実行候補支援処理に対して、当該実行候補支援処理に要求される認識精度が高いほど高くなる優先度を決定する優先度決定部と、を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記支援処理実行管理部は、前記優先度が高い前記実行候補支援処理から順に、当該実行候補支援処理に対応付けられた前記認識対象物の前記画像認識処理を実行させ、最初に認識された前記認識対象物に対応付けられた前記実行候補支援処理の実行を少なくとも許可する構成とすると好適である。
【0018】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、優先度のより高い支援処理を優先的に実行することができる。すなわち、要求される認識精度が高く正確な位置で実行することがより強く要請される支援処理を、優先的に実行することができる。
【0019】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記画像認識部は、前記画像データの全体に対して、抽出された前記実行候補支援処理に対応付けられた前記認識対象物の画像認識処理を実行し、前記支援処理実行管理部は、抽出された前記実行候補支援処理の中で、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が当該実行候補支援処理について設定された前記設定認識領域内に含まれている前記実行候補支援処理の少なくとも一つの実行を許可する構成とすると好適である。
【0020】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、画像データの全体に対して画像認識処理を実行した後、認識対象地物が認識された画像データ中の位置と設定認識領域との対応関係に基づいて、実行候補支援処理の実行の可否を事後的に判定することができる。よって、従来からある通常の画像認識技術を用いた走行支援システムを利用して、新たな機能を一部追加するだけで本発明に係る走行支援システムを構成することができる。
【0021】
以上の各構成を備えた本発明に係る走行支援システムの技術的特徴は、走行支援プログラムや走行支援方法にも適用可能であり、そのため、本発明は、そのようなプログラムや方法も権利の対象とすることができる。
【0022】
その場合における、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援プログラムの特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、をコンピュータに実行させる点にある。
【0023】
また、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援方法の特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、を備える点にある。
【0024】
当然ながら、これらの走行支援プログラムや走行支援方法も上述した走行支援システムに係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことが可能である。
【図面の簡単な説明】
【0025】
【図1】第一の実施形態に係る走行支援システムの概念を示す模式図である。
【図2】第一の実施形態に係る走行支援システムの概略構成を示す模式図である。
【図3】第一の実施形態に係る要求精度テーブルの一例を示す模式図である。
【図4】第一の実施形態に係る設定認識領域テーブルの一例を示す模式図である。
【図5】認識精度に応じた設定認識領域の設定原理を説明するためのグラフである。
【図6】第一の実施形態に係る支援処理実行管理処理の手順を示すフローチャートである。
【図7】第二の実施形態に係る走行支援システムの概略構成を示す模式図である。
【図8】第二の実施形態に係る支援処理実行管理処理の概念を示す模式図である。
【図9】第二の実施形態に係る支援処理実行管理処理の手順を示すフローチャートである。
【図10】実行支援処理決定処理の手順を示すフローチャートである。
【図11】その他の実施形態に係る設定認識領域テーブルの一例を示す模式図である。
【発明を実施するための形態】
【0026】
1.第一の実施形態
本発明に係る走行支援システムの第一の実施形態について、図面を参照して説明する。本実施形態に係る走行支援システム1は、車両Vに搭載されており、当該車両Vの走行支援に関する複数の支援処理(アプリケーション・プログラム)APを実行可能なシステムである。以下、本実施形態に係る走行支援システム1について、詳細に説明する。
【0027】
1−1.走行支援システムの概略
まず、本実施形態に係る走行支援システム1の概念について、図1を参照して説明する。この走行支援システム1は、概略的には、車両Vに搭載された車載カメラ14(図2を参照)により撮影されて得られる画像データについて、道路上に設けられた所定の地物を対象としてパターンマッチング処理(画像認識処理の一例であり、以下「マッチング処理」と略称する場合がある。)を実行し、そのマッチング処理の結果に基づいて複数の支援処理APのうちの1又は2以上を実行させる。本例では、走行支援システム1において、所定周期で自車位置情報が取得され(ステップ#01)、取得された自車位置情報に基づいて、複数の支援処理APの中から1又は2以上の実行候補支援処理Cが抽出される(ステップ#02)。ここで、実行候補支援処理Cは、これから実行しようとする(その後近いうちに実行することが予定される)支援処理APである。
【0028】
それぞれの支援処理AP(実行候補支援処理Cを含む;以下同様)には、認識対象地物情報が関連付けられている。この認識対象地物情報は、それぞれの支援処理APに対して対応付けられた認識対象地物OBに関する情報である。更に、それぞれの認識対象地物情報には、認識精度情報が関連付けられている。この認識精度情報は、それぞれの支援処理APを実行するために要求される、当該支援処理APに対応付けられた認識対象地物OBの認識精度の情報である。ここで、「認識精度」は、マッチング処理により認識対象地物OBを認識できる精度の度合いを示す指標である。
【0029】
ステップ#02で抽出されたそれぞれの実行候補支援処理Cに対応付けられた認識対象地物OBの認識精度の情報に基づいて、各実行候補支援処理Cの優先度が決定され(ステップ#03)、複数の実行候補支援処理Cが優先順位付けされる。また、最も優先度が高い(優先順位が1番の)実行候補支援処理C(以下、優先順位が第N番の実行候補支援処理Cを、「第N実行候補支援処理CN」と称する。)について、認識精度の情報に基づいて本願特有の認識処理領域PAが決定される(ステップ#04)。この認識処理領域PAは、マッチング処理を行うべき画像データ中の領域である。本実施形態では、認識処理領域PAは、実行候補支援処理Cについての後述する設定認識領域RAに一致している。また、自車位置情報と第一実行候補支援処理C1に対応付けられた認識対象地物情報とに基づいて、地物データベース72からマッチング用の地物データが抽出される(ステップ#05)。
【0030】
ステップ#01〜ステップ#05の処理とは別系統で、車載カメラ14により得られる実撮影画像から画像データが生成される(ステップ#06)。そして、ステップ#06で生成された画像データと、ステップ#05で抽出されたマッチング用地物データと、更にステップ#04で決定された認識処理領域PAと、に基づいてマッチング処理が行われる(ステップ#07)。そして、認識処理領域PAにおいて、画像データ中から第一実行候補支援処理C1に対応付けられた認識対象地物OBが認識された場合に、当該第一実行候補支援処理C1の実行が許可され、その後第一実行候補支援処理C1が実際に実行される(ステップ#08)。
【0031】
本実施形態では、複数の支援処理APには、車両制御用支援処理AP1と、案内用支援処理AP2と、が含まれる。車両制御用支援処理AP1は、主に走行支援システム1が搭載された車両Vの挙動を制御するための支援処理である。車両制御用支援処理AP1には、例えば変速制御処理、サスペンション制御処理、ブレーキ制御処理、ステアリング制御処理、エアバッグ制御処理、駆動力制御処理、ライト調節制御処理、警告制御処理、及び警報制御処理が含まれる。これらのうち、変速制御処理、サスペンション制御処理、及び警告制御処理が走行制御用の支援処理AP(走行制御用支援処理AP1b)であり、残りのブレーキ制御処理、ステアリング制御処理、エアバッグ制御処理、駆動力制御処理、ライト調節制御処理、及び警報制御処理が安全制御用の支援処理AP(安全制御用支援処理AP1a)である。
【0032】
変速制御処理は、車両Vに備えられる変速機の変速比を状況に応じて変更させる処理である。サスペンション制御処理は、車両Vのサスペンション特性を状況に応じて調整する処理である。ブレーキ制御処理は、電子制御ブレーキ等により状況に応じて制動力を調整する処理である。ステアリング制御処理は、車両Vのステアリング角度を状況に応じて調整する処理である。エアバッグ制御処理は、車両Vの衝突時に運転席や助手席のエアバッグを展開させる処理である。駆動力制御処理は、車両Vの車輪に伝達されるトルクを状況に応じて調整する処理である。ライト調節制御処理は、車両Vの進行方向に応じてヘッドライトの光軸方向を調整する処理である。警告制御処理は、車両Vの状況に応じて警告音声を出力する処理である。警報制御処理は、車両Vの状況に応じて警報音声を出力する処理である。
【0033】
案内用支援処理AP2は、主に車両Vに装備されたナビゲーション装置(図示せず)を介して、車両Vの乗員に各種の情報を提供するための支援処理である。案内用支援処理AP2には、情報提供処理及び注意喚起処理が含まれる。情報提供処理は、車両Vの周辺の道路状態や施設等に関する情報を乗員に提供する処理である。注意喚起処理は、車両Vの状況から見て予測される危険を乗員に通知して注意喚起を行う処理である。本実施形態においては、これらのそれぞれの処理が、本発明における「支援処理」に相当する。
【0034】
1−2.走行支援システムの概略構成
次に、上述した走行支援システム1の概略構成について、図2を参照して説明する。図2に示すように、走行支援システム1は、自車位置検出モジュール2と、支援処理実行管理モジュール3と、車両制御モジュール4と、ナビ制御モジュール5と、記憶装置7と、を備えている。記憶装置7には、道路地図データベース71と、地物データベース72と、記憶メモリ73と、が含まれる。
【0035】
自車位置検出モジュール2、支援処理実行管理モジュール3、車両制御モジュール4、及びナビ制御モジュール5のそれぞれは、後述するように、1又は2以上の機能部を備えている。そして、これらの各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、ハードウェア又はソフトウェア(プログラム)或いはその両方により構成されている。また、これらの各機能部は、CAN(Controller Area Network)等の車両通信ラインを介して相互に情報の受け渡しを行うことができるように構成されている。更に、これらの機能部は、必要に応じて所定のデータを記憶装置7から抽出することができるように構成されている。
【0036】
また、記憶装置7は、例えばハードディスクドライブやフラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備えている。なお、記憶装置7を構成する道路地図データベース71、地物データベース72、及び記憶メモリ73は、それぞれ独立のハードウェアを有していても良いし、共通のハードウェアに備えられていても良い。
【0037】
1−2−1.自車位置検出モジュール
自車位置検出モジュール2は、GPS処理部21、推測航法処理部22、推定自車位置導出部24、及びマップマッチング部25を備えている。また、本実施形態では、図2に示すように、自車位置検出モジュール2は、車両Vに備えられたGPS測定ユニット15、距離センサ16、方位センサ17、及び道路地図データベース71に接続されており、これらからの情報を取得可能に構成されている。
【0038】
道路地図データベース71は、道路地図データを格納したデータベースである。ここで、道路地図データには、複数のノードと複数のリンクとで表される道路間の接続情報や、それぞれの道路の種別(高速道路、有料道路、国道、県道等の種別)や長さ、形状、識別子等の属性情報が含まれている。この道路地図データベース71は、ナビゲーション装置(図示せず)による通常の経路探索処理や経路案内処理を実行する際や、後述するマップマッチング処理を実行する際等に参照される。
【0039】
GPS処理部21には、GPS(Global Positioning System)衛星からのGPS信号を受信するGPS測定ユニット15が接続されている。GPS処理部21は、GPS測定ユニット15で受信されたGPS衛星からの信号を解析して車両Vの現在位置(緯度及び経度で表わされる現在位置座標)を導出し、導出結果としてのGPS位置データを推定自車位置導出部24に出力する。
【0040】
推測航法処理部22には、距離センサ16と方位センサ17とが接続されている。距離センサ16は、車両Vの車速や移動距離を検出するセンサである。距離センサ16は、その検出結果としての車速及び移動距離の情報を推測航法処理部22へ出力する。方位センサ17は、例えばジャイロセンサや地磁気センサ等により構成され、その検出結果としての方位の情報を推測航法処理部22へ出力する。推測航法処理部22は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を導出し、導出結果としての推測航法位置データを推定自車位置導出部24に出力する。
【0041】
推定自車位置導出部24は、GPS位置データと推測航法位置データとに基づいて、公知の方法により車両Vの推定される現在位置(推定自車位置)を導出する。ここで、推定自車位置導出部24により導出された推定自車位置は、測定誤差等を含んだ情報となっている。そのため、マップマッチング部25は、道路地図データベース71に記憶された地図データを参照して、推定自車位置が道路地図データに含まれるいずれかの道路上となるように自車位置座標を補正する。マップマッチング部25は、その補正後の自車位置座標を含む情報として、車両Vの現在位置を表す自車位置情報を生成して取得する。本実施形態においては、推定自車位置導出部24とマップマッチング部25とにより、「自車位置情報取得部23」が構成されている。なお、自車位置情報取得部23は、後述する画像認識部36によるマッチング処理の処理結果に基づいて、更に高精度な自車位置情報を取得することも可能である。自車位置情報取得部23(マップマッチング部25)は、取得された自車位置情報を、後述する候補処理抽出部31や認識対象地物抽出部35等に出力する。
【0042】
1−2−2.支援処理実行管理モジュール
支援処理実行管理モジュール3は、候補処理抽出部31、優先度決定部32、認識処理領域決定部33、撮影画像処理部34、認識対象地物抽出部35、画像認識部36、及び支援処理実行管理部37を備えている。また、本実施形態では、図2に示すように、支援処理実行管理モジュール3は、車両Vに備えられた車載カメラ14、及び地物データベース72、及び記憶メモリ73に接続されており、これらからの情報を取得可能に構成されている。
【0043】
車載カメラ14は、所定のタイミングで車両Vの周辺の風景を撮影する撮像装置である。本実施形態では、車載カメラ14は、光軸が車両Vの進行方向前方を向くように設置されており、車両Vの前方を撮影するフロントカメラとされている。この車載カメラ14は、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の公知の撮像素子と、魚眼レンズやプリズム等の公知の光学部品と、を用いて構成されている。この車載カメラ14により、車両Vの周辺の風景の撮影画像が実撮影画像として得られる。
【0044】
地物データベース72は、地物データを格納したデータベースである。ここで、本実施形態では、「地物」には道路上に設けられる標識や道路標示等が含まれる。また、地物データには、それぞれの地物の種別(車線、停止線、横断歩道、規制標識、マンホール等の種別)、位置、大きさ、形状、高さ、色等の属性情報が含まれている。また、それぞれの地物データは、識別子等の関連付け情報を用いて、道路地図データベース71に格納された道路地図データに関連付けられている。この地物データベース72は、後述するパターンマッチング処理を実行する際等に参照される。そのため、それぞれの地物データには、特徴点群に関する情報も含まれている。
【0045】
候補処理抽出部31は、複数の支援処理APの中から1又は2以上の支援処理APを実行候補支援処理Cとして抽出する。本実施形態においては、候補処理抽出部31は、自車位置情報取得部23(マップマッチング部25)から自車位置情報を受け取り、当該自車位置情報に基づいて実行候補支援処理Cを抽出する。候補処理抽出部31は、車両Vの現在位置から見てその後実行されると予測される1又は2以上の支援処理APを、実行候補支援処理Cとして抽出する。一例として、車両Vが一時停止義務のある交差点から所定距離内に接近している場合には、所定のタイミングで注意喚起を行うべく、候補処理抽出部31は注意喚起処理を実行候補支援処理Cとして抽出する。また、その後車両Vの挙動から見て実際に一時停止地点において適切に停止できない可能性があると判断される場合には、警告音声や警報音声を出力すると共に電子制御ブレーキ等によりブレーキアシストを行う必要があるため、候補処理抽出部31は警告制御処理、警報制御処理、及びブレーキ制御処理を実行候補支援処理Cとして抽出する。候補処理抽出部31は、抽出した実行候補支援処理Cを、優先度決定部32、認識処理領域決定部33、及び認識対象地物抽出部35に出力する。
【0046】
優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して、優先度を決定する。ここで、優先度決定部32は、それぞれの実行候補支援処理Cに要求される認識精度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度を決定する。ここで、「支援処理APに要求される認識精度」とは、マッチングに成功した認識対象地物OBに対応付けられた支援処理APを誤りなく実行するために要求される画像認識の精度である。誤実行が厳しく回避されるべき支援処理APほど要求される認識精度が高くなり、誤実行がある程度許容される支援処理APほど要求される認識精度が低くなる。なお、「誤実行」とは、本来実行すべきではない位置においてその支援処理APが実行されることを意味している。
【0047】
本実施形態では、車両制御用支援処理AP1に要求される認識精度は、案内用支援処理AP2に要求される認識精度よりも高く設定されている。また、車両制御用支援処理AP1のうち、安全制御用支援処理AP1aに要求される認識精度は、それ以外の支援処理(走行制御用支援処理AP1b)に要求される認識精度よりも高く設定されている。そして、本実施形態では、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて複数の精度グループGに区分されている。本実施形態では、要求される認識精度が高い方から順に、安全制御用支援処理AP1aが含まれる高精度グループGH、走行制御用支援処理AP1bが含まれる中精度グループGM、及び案内用支援処理AP2が含まれる低精度グループGL、の3つの精度グループGに区分されている。
【0048】
ここで、高精度グループGHに帰属される安全制御用支援処理AP1aは、車両Vの挙動を強制的に変化させる支援処理であるため、正確な位置において誤りなく実行すべきことが要求される。一方、低精度グループGLに帰属される案内用支援処理AP2は、車両Vの乗員の便宜のための支援処理であるため、作動頻度が重要視されて多少の誤実行(すなわち、位置ずれ)がある程度許容される。中精度グループGMに帰属される走行制御用支援処理AP1bは、位置正確性及び作動頻度の双方がそれぞれ適度に要求される。そのため、この点を考慮して、上記のようなグループ分けがなされている。
【0049】
本実施形態では、それぞれの支援処理APに要求される認識精度に応じた精度グループGの情報は、要求精度テーブル74の形態で記憶メモリ73に格納されている。図3は、本実施形態に係る要求精度テーブル74の一例を示す模式図である。図3に示すように、この要求精度テーブル74には、それぞれの支援処理AP毎に、その属性(用途)及び精度グループG(図3においては、「要求精度レベルG」と表示)が関連付けて記憶されている。優先度決定部32は、要求精度テーブル74を参照して、それぞれの実行候補支援処理Cの優先度を決定する。優先度決定部32は、決定された優先度の情報を支援処理実行管理部37に出力する。
【0050】
本実施形態では、記憶メモリ73には設定認識領域テーブル75が更に格納されている。この設定認識領域テーブル75は、精度グループ(要求精度レベル)G毎に要求される認識精度に応じて設定された画像データ中の設定認識領域RAの情報を記憶したテーブルである。本実施形態においては、記憶メモリ73が本発明における「認識領域情報記憶部」に相当する。図4には、設定認識領域テーブル75の一例を示している。ここで、認識精度に応じた設定認識領域RAの設定原理について説明する。図5のグラフには、画像データ中における外縁からの距離(画素数)と、車両Vの単位移動距離当たりの画像データ中における移動量(画素数変化量)と、の関係が示されている。
【0051】
このグラフを参照すると、画像データ中における外縁に近いほど車両Vの単位移動距離当たりの画像データ中における移動量が大きく、一方、画像データ中における外縁から遠いほど(消失点Dに近いほど)車両Vの単位移動距離当たりの画像データ中における移動量が小さいことが分かる。逆に言えば、画像データ中における外縁に近いほど画像データ中における1画素当たりの実際の道路上での距離の重みが小さく、一方、画像データ中における外縁から遠いほど(消失点Dに近いほど)画像データ中における1画素当たりの実際の道路上での距離の重みが大きいことが分かる。なお、「消失点D」は、実際には平行な直線成分(例えば、直線道路)が画像データ中において互いに交差する点である。
【0052】
この点を考慮すれば、外縁に近い領域である外縁領域には、比較的高い位置精度かつ比較的高速な移動速度で被写体が撮像されることになる。そのため、その被写体がパターンマッチング処理の対象となる場合には、測位精度及びそれに伴う認識精度は比較的高くなる。このような特性は、高精度グループGHに帰属される支援処理APに対する上記の要請に適合する。一方、消失点Dに近い領域である消失領域には、比較的緩慢な移動速度で被写体が撮像されることになる。そのため、その被写体がパターンマッチング処理の対象となる場合には、認識成功率は比較的高くなる。このような特性は、低精度グループGLに帰属される支援処理APに対する上記の要請に適合する。
【0053】
そこで本実施形態においては、図4に示すように、高精度グループGHの支援処理AP(安全制御用支援処理AP1a)には、画像データ中の周縁部領域が設定認識領域RAとして設定されている。中精度グループGMの支援処理AP(走行制御用支援処理AP1b)には、画像データ中の消失点Dの周辺を除く領域が設定認識領域RAとして設定されている。低精度グループGLの支援処理AP(案内用支援処理AP2)には、画像データ中の全体領域が設定認識領域RAとして設定されている。すなわち、本実施形態では、各精度グループGの設定認識領域RAは、共通の外縁を有しつつ要求精度レベルが低くなるに従って消失点Dに近い領域を含むように設定されている。
【0054】
このような設定では、案内用支援処理AP2について設定された設定認識領域RAは、車両制御用支援処理AP1(安全制御用支援処理AP1a及び走行制御用支援処理AP1bの双方を含む)について設定された設定認識領域RAに比べて画像データ中の消失点Dに近い領域を含む。従って、本実施形態においては、車両制御用支援処理AP1と案内用支援処理AP2との間の関係では、車両制御用支援処理AP1が本発明における「第一支援処理」に相当し、案内用支援処理AP2が本発明における「第二支援処理」に相当する。
【0055】
また、車両制御用支援処理AP1のうち、走行制御用支援処理AP1bについて設定された設定認識領域RAは、安全制御用支援処理AP1aについて設定された設定認識領域RAに比べて画像データ中の消失点Dに近い領域を含む。従って、本実施形態においては、安全制御用支援処理AP1aと走行制御用支援処理AP1bとの間の関係では、安全制御用支援処理AP1aが本発明における「第一支援処理」に相当し、走行制御用支援処理AP1bが本発明における「第二支援処理」に相当する。
【0056】
認識処理領域決定部33は、抽出されたそれぞれの実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング処理を実行するための認識処理領域PAを決定する。ここで、認識処理領域PAは画像データ中の所定領域であり、実行候補支援処理Cに要求される認識精度に応じてその範囲が定められる。本実施形態では、認識処理領域決定部33は、設定認識領域テーブル75を参照して、それぞれの実行候補支援処理Cについての設定認識領域RAに基づいて、認識処理領域PAを決定する。本例では、認識処理領域決定部33は、それぞれの実行候補支援処理Cの設定認識領域RAと同一の認識処理領域PAを決定する。これにより、本例では、それぞれの実行候補支援処理Cについて設定認識領域RAと認識処理領域PAとは一致する。
【0057】
すなわち、本実施形態においては、上記したような設定認識領域RAの設定に応じて、高精度グループGHの支援処理AP(安全制御用支援処理AP1a)には、画像データ中の周縁部領域(図4の下段における第一領域A1のみ)が認識処理領域PAとして設定される。中精度グループGMの支援処理AP(走行制御用支援処理AP1b)には、画像データ中の消失点Dの周辺を除く領域(図4の下段における第一領域A1と第二領域A2とからなる領域)が認識処理領域PAとして設定される。低精度グループGLの支援処理AP(案内用支援処理AP2)には、画像データ中の全体領域(図4の下段における第一領域A1と第二領域A2と第三領域A3とからなる領域)が認識処理領域PAとして設定される。認識処理領域決定部33は、決定した認識処理領域PAの情報を画像認識部36に出力する。
【0058】
撮影画像処理部34は、車載カメラ14による車両Vの周辺の風景の撮影画像である実撮影画像から複数の特徴点を抽出して画像データを生成する。本実施形態では、撮影画像処理部34は、実撮影画像にエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点として抽出して、特徴点群からなる画像データを生成する。なお、エッジ検出処理に際しては、実撮影画像中における輝度差(濃度差)、彩度差、及び色相差等に基づいてエッジ点を抽出する構成とすることができる。撮影画像処理部34は、生成した画像データを画像認識部36に出力する。
【0059】
認識対象地物抽出部35は、自車位置情報取得部23(マップマッチング部25)から自車位置情報を受け取ると共に、候補処理抽出部31から実行候補支援処理Cの情報を受け取り、これらの情報に基づいて認識対象地物OBを抽出する。認識対象地物抽出部35は、地物データベース72を参照して、実行候補支援処理Cに対応付けられている自車位置周辺の地物を、認識対象地物OBとして抽出する。一例として、車両Vが一時停止義務のある交差点から所定距離内に接近している場合には、注意喚起処理に対応付けられた例えば「とまれ」の規制標識を認識対象地物OBとして抽出する。また、また、その後実際に一時停止地点において適切に停止できない可能性があると判断される場合には、ブレーキ制御処理に対応付けられた例えば停止線の道路標示を認識対象地物OBとして抽出する。本実施形態においては、認識対象地物OBが本発明における「認識対象物」に相当する。認識対象地物抽出部35は、抽出した認識対象地物OBについての地物データを、マッチング用地物データとして画像認識部36に出力する。
【0060】
画像認識部36は、撮影画像処理部34から画像データを受け取ると共に、認識対象地物抽出部35からマッチング用地物データを受け取り、画像データとマッチング用地物データとのパターンマッチング処理を行う。その際、本実施形態においては、画像認識部36は更に認識処理領域決定部33から認識処理領域PAの情報を受け取り、当該認識処理領域PAにおいてマッチング処理を行う。また、画像認識部36は、支援処理実行管理部37からの指令に従い、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング用地物データから順に、マッチング処理を行う。
【0061】
マッチング処理において、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と、画像データ中の認識処理領域PAに含まれる特徴点群の配置と、に基づいてマッチングの成否を判定する。すなわち、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と一致する特徴点群の少なくとも一部が画像データ中の認識処理領域PAに含まれる場合には、マッチングに成功したと判定する。一方、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と一致する特徴点群が画像データ中の認識処理領域PAに一切含まれていない場合には、マッチングに失敗したと判定する。画像認識部36は、マッチング処理の判定結果の情報を支援処理実行管理部37に出力する。
【0062】
なお、マッチングに成功した場合には、画像認識部36は、マッチング用地物データに含まれる位置情報を読み出して、当該位置情報を自車位置情報取得部23にも出力する。自車位置情報取得部23は、その位置情報を受け取り、先に取得された自車位置情報を新たに受け取った位置情報に置き換える自車位置修正を行う。これにより、自車位置情報取得部23は、画像認識部36によるマッチング処理の処理結果に基づいて、より高精度な自車位置情報を取得することが可能である。
【0063】
支援処理実行管理部37は、画像認識部36からマッチング処理の判定結果を受け取って、当該判定結果に基づいて実行候補支援処理Cの実行の可否を判定する。支援処理実行管理部37は、マッチング処理により認識対象地物OBが認識された画像データ中の位置が、実行候補支援処理Cについて設定された設定認識領域RA内に含まれていることを条件として、当該実行候補支援処理Cの実行を許可する。ここで、本実施形態では、上記のとおりマッチング処理を実行する前に認識処理領域PAが設定され、当該認識処理領域PAにおいてマッチング処理が実行される。また、その認識処理領域PAは設定認識領域RAに一致している。よって、マッチングに成功したとの判定結果が得られた場合には、マッチング処理により認識対象地物OBが認識された画像データ中の位置は、実行候補支援処理Cについて設定された設定認識領域RA内に必ず含まれていることになる。
【0064】
そのため、本実施形態では、支援処理実行管理部37は、マッチングに成功したとの判定結果を得た場合には、認識対象地物OBに対応付けられた実行候補支援処理Cの実行をそのまま許可する。一方、支援処理実行管理部37は、マッチングに失敗したとの判定結果を得た場合には、認識対象地物OBに対応付けられた実行候補支援処理Cの実行を禁止(破棄)すると共に、画像認識部36に対して、優先度がその次に高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング処理を行わせる。そして、支援処理実行管理部37は、それをマッチングに成功したとの判定結果が得られるまで繰り返し実行する。
【0065】
すなわち、支援処理実行管理部37は、最初にマッチングに成功したとの判定結果が得られるまで、第一実行候補支援処理C1、第二実行候補支援処理C2、第三実行候補支援処理C3、・・・の順に、それぞれに対応付けられた認識対象地物OBのマッチング処理を行わせる。支援処理実行管理部37は、いずれかの実行候補支援処理Cの実行を許可した場合には、マッチング処理の判定結果(ここでは、マッチングに成功したとの判定結果)の情報を、その実行候補支援処理Cの属性に応じて車両制御モジュール4又はナビ制御モジュール5に出力する。
【0066】
1−2−3.車両制御モジュール
車両制御モジュール4は、上述した複数の車両制御用支援処理AP1(安全制御用支援処理AP1a及び走行制御用支援処理AP1bの双方を含む)を実行可能に備えている。車両制御モジュール4は、支援処理実行管理部37からマッチングに成功したとの判定結果を受け取った場合には、マッチングに成功した認識対象地物OBに対応付けられた車両制御用支援処理AP1を実行させ、車両ECU(Electronic Control Unit、図示せず)を介して車両Vの各種挙動を制御する。図1には、一例としてブレーキ制御処理が実行されて電子制御ブレーキが発動された場合の例を示している。
【0067】
1−2−4.ナビ制御モジュール
ナビ制御モジュール5は、上述した複数の案内用支援処理AP2を実行可能に備えている。ナビ制御モジュール5は、支援処理実行管理部37からマッチングに成功したとの判定結果を受け取った場合には、マッチングに成功した認識対象地物OBに対応付けられた案内用支援処理AP2を実行させ、ナビゲーション装置(図示せず)、モニタ12、及びスピーカ13を介して車両Vの乗員に各種の情報を提供する。図1には、一例として警報制御処理が実行されてスピーカ13から「ブレーキを踏んで下さい!」との警報音声が出力された場合の例を示している。
【0068】
1−3.支援処理実行管理処理の手順
次に、本実施形態に係る走行支援システム1において実行される支援処理実行管理処理を含む走行支援処理の手順(支援処理実行管理方法を含む走行支援方法)について説明する。以下に説明する走行支援処理の手順は、走行支援システム1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、走行支援システム1が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
【0069】
図6のフローチャートに示すように、まず自車位置情報取得部23は自車位置情報を取得する(ステップ#11)。候補処理抽出部31は、自車位置情報に基づいて1又は2以上の実行候補支援処理Cを抽出する(ステップ#12)。優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して優先度を決定する(ステップ#13)。支援処理実行管理部37は、抽出された複数の実行候補支援処理Cの中から最も高い優先度が割り当てられた実行候補支援処理C(第一実行候補支援処理C1)を選択し、当該実行候補支援処理Cを基準処理として設定する(ステップ#14)。認識処理領域決定部33は、設定認識領域テーブル75を参照して、基準処理に対応付けられた認識対象地物OBのマッチング処理を実行するための認識処理領域PAを、当該基準処理に要求される認識精度に応じて決定する(ステップ#15)。
【0070】
また別系統で、撮影画像処理部34は、車載カメラ14による実撮影画像から画像データを生成している(図1のステップ#06を参照)。認識対象地物抽出部35は、自車位置周辺の、基準処理に対応付けられている認識対象地物OBをマッチング用地物データとして抽出する(ステップ#16)。画像認識部36は、認識処理領域PAにおいて、画像データと基準処理についてのマッチング用地物データとのパターンマッチング処理を行う(ステップ#17)。マッチングに失敗した場合には(ステップ#18:No)、支援処理実行管理部37はその時点で設定されている基準処理の実行を棄却(禁止)する(ステップ#19)。別の実行候補支援処理Cがある場合には(ステップ#20:Yes)、その時点で設定されている基準処理の次に優先度が高い実行候補支援処理Cを選択し、当該実行候補支援処理Cを基準処理として再設定する(ステップ#21)。なお、実行候補支援処理Cが他にない場合には(ステップ#20:No)、そのまま支援処理実行管理処理を終了する。
【0071】
ステップ#15〜ステップ#21の各処理は、マッチングに成功するまで繰り返し実行される。その際、認識処理領域決定部33は、基準処理が再設定される度に新たな基準処理に応じた認識処理領域PAを再決定し、同様に認識対象地物抽出部35も、基準処理が再設定される度に新たな基準処理に応じたマッチング用地物データを再抽出する。そして、画像認識部36は、優先度が高い実行候補支援処理Cから順にマッチング処理を行うことになる。いずれかの実行候補支援処理Cに関して、マッチングに成功した場合には(ステップ#18:Yes)、支援処理実行管理部37はその時点で設定されている基準処理の実行を許可する(ステップ#22)。その後、車両制御モジュール4又はナビ制御モジュール5は、その基準処理を実際に実行する。以上で、支援処理実行管理処理を終了する。なお、以上の支援処理実行管理処理は、車両Vの走行中、逐次繰り返して実行される。
【0072】
2.第二の実施形態
本発明に係る走行支援システムの第二の実施形態について、図面を参照して説明する。本実施形態に係る走行支援システム1は、支援処理実行管理モジュール3の構成及び支援処理実行管理処理の具体的な処理手順が、上記第一の実施形態の構成と一部相違している。以下では、本実施形態に係る走行支援システム1について、上記第一の実施形態との相違点を中心に説明する。なお、特に明記しない点に関しては、上記第一の実施形態と同様とする。
【0073】
2−1.支援処理実行管理モジュール
本実施形態に係る支援処理実行管理モジュール3は、候補処理抽出部31、優先度決定部32、撮影画像処理部34、認識対象地物抽出部35、画像認識部36、及び支援処理実行管理部37を備えている。なお、上記第一の実施形態とは異なり、支援処理実行管理モジュール3には認識処理領域決定部33は備えられていない。
【0074】
そのため、本実施形態では、上記第一の実施形態のようにパターンマッチング処理に先立って認識処理領域PAが設定されることはない。画像認識部36は、それぞれの実行候補支援処理Cに要求される認識精度とは無関係に、画像データの全体に対してマッチング処理を実行する。本実施形態では、画像認識部36は、画像データと認識対象地物OBのマッチング用地物データとのマッチングに成功した場合には、当該マッチング処理により認識対象地物OBのマッチング用地物データが認識された画像データ中の位置情報(マッチング位置情報)を生成して取得する。そして、画像認識部36は、マッチング処理の判定結果の情報と共にマッチング位置情報を支援処理実行管理部37に出力する。
【0075】
支援処理実行管理部37は、記憶メモリ73の設定認識領域テーブル75を参照して、それぞれの実行候補支援処理Cについての設定認識領域RAの情報を取得する。そして、支援処理実行管理部37は、画像認識部36から受け取ったマッチング位置情報と設定認識領域テーブル75を参照して取得した設定認識領域RAの情報とを照合し、その照合結果に基づいて、実行候補支援処理Cの実行の可否を事後的に判定する。本実施形態では、支援処理実行管理部37は、マッチング処理による画像データ中のマッチング位置が、当該実行候補支援処理Cについて設定された設定認識領域RA内に含まれている場合には、当該実行候補支援処理Cの実行を許可する。一方、支援処理実行管理部37は、マッチング位置が、当該実行候補支援処理Cについて設定された設定認識領域RA内に含まれていない場合には、当該実行候補支援処理Cの実行を棄却する。
【0076】
図8は、本実施形態に係る支援処理実行管理処理の概念を示す模式図である。なお、本実施形態でも、高精度グループGHの安全制御用支援処理AP1aには画像データ中の周縁部領域(第一領域A1のみ)が設定認識領域RAとして設定され、中精度グループGMの走行制御用支援処理AP1bには画像データ中の消失点Dの周辺を除く領域(第一領域A1と第二領域A2とからなる領域)が設定認識領域RAとして設定され、低精度グループGLの案内用支援処理AP2には画像データ中の全体領域(第一領域A1と第二領域A2と第三領域A3とからなる領域)が設定認識領域RAとして設定されている。
【0077】
図8に示すように、実行候補支援処理Cが高精度グループGHの安全制御用支援処理AP1aである場合において、マッチング位置が第一領域A1に含まれる場合には((a)を参照)、当該マッチング位置が安全制御用支援処理AP1aの設定認識領域RAに含まれることになるため、その実行候補支援処理Cの実行が許可される(図8において、「OK」と表示;以下同様)。一方、マッチング位置が第二領域A2に含まれる場合には((b)を参照)、当該マッチング位置は安全制御用支援処理AP1aの設定認識領域RAには含まれないことになるため、その実行候補支援処理Cの実行が棄却される(図8において、「NG」と表示;以下同様)。
【0078】
また、実行候補支援処理Cが中精度グループGMの走行制御用支援処理AP1bである場合において、マッチング位置が第二領域A2に含まれる場合には((c)を参照)、当該マッチング位置が走行制御用支援処理AP1bの設定認識領域RAに含まれることになるため、その実行候補支援処理Cの実行が許可される。一方、マッチング位置が第三領域A3に含まれる場合には((d)を参照)、当該マッチング位置は走行制御用支援処理AP1bの設定認識領域RAには含まれないことになるため、その実行候補支援処理Cの実行が棄却される。また、実行候補支援処理Cが低精度グループGLの案内用支援処理AP2である場合には、画像データ中の全体領域が設定認識領域RAとして設定されているため、マッチング位置によらずにその実行候補支援処理Cの実行が許可される。
【0079】
支援処理実行管理部37は、上記の演算処理を、抽出された全ての実行候補支援処理Cについて実行する。そして、支援処理実行管理部37は、1又は2以上の実行候補支援処理Cの実行を許可した場合には、マッチング処理の判定結果(ここでは、マッチングに成功したとの判定結果)の情報を、それらの実行候補支援処理Cの属性に応じて車両制御モジュール4又はナビ制御モジュール5に出力する。なお、走行支援システム1において複数の支援処理APの同時実行が不可能な場合には、優先度決定部32により決定された優先度の情報に基づいて、最も優先度が高い実行候補支援処理Cのみを実行させる。
【0080】
2−2.支援処理実行管理処理の手順
次に、本実施形態に係る走行支援システム1において実行される支援処理実行管理処理を含む走行支援処理の手順(支援処理実行管理方法を含む走行支援方法)について説明する。図9に示すように、まず自車位置情報取得部23は自車位置情報を取得する(ステップ#31)。候補処理抽出部31は、自車位置情報に基づいて1又は2以上の実行候補支援処理Cを抽出する(ステップ#32)。優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して優先度を決定する(ステップ#33)。
【0081】
また別系統で、撮影画像処理部34は、車載カメラ14による実撮影画像から画像データを生成している(図示せず)。認識対象地物抽出部35は、それぞれの実行候補支援処理Cに対応付けられている認識対象地物OBをマッチング用地物データとして抽出する(ステップ#34)。画像認識部36は、画像データの全体に対して、当該画像データと抽出された全てのマッチング用地物データとのパターンマッチング処理を行う(ステップ#35)。全てのマッチング用地物データとのマッチングに失敗した場合には(ステップ#36:No)、そのまま支援処理実行管理処理を終了する。一方、いずれかのマッチング用地物データとのマッチングに成功した場合には(ステップ#36:Yes)、実行支援処理決定処理を実行する(ステップ#37)。
【0082】
図10に示す実行支援処理決定処理では、支援処理実行管理部37は、マッチングに成功したマッチング用地物データに対応する実行候補支援処理Cの中から1つの支援処理を選択する(ステップ#41)。支援処理実行管理部37は、設定認識領域テーブル75を参照して、選択した実行候補支援処理Cについての設定認識領域RAの情報を取得する(ステップ#42)。支援処理実行管理部37は、選択した実行候補支援処理Cについてのマッチング位置が設定認識領域RAに含まれているか否かを判定する(ステップ#43)。マッチング位置が設定認識領域RAに含まれる場合には(ステップ#43:Yes)、支援処理実行管理部37は選択した実行候補支援処理Cの実行を許可する(ステップ#44)。一方、マッチング位置が設定認識領域RAに含まれない場合には(ステップ#43:No)、支援処理実行管理部37は選択した実行候補支援処理Cの実行を棄却する(ステップ#45)。ステップ#41〜ステップ#45の各処理は、未選択の実行候補支援処理Cがなくなるまで(ステップ#46:No)繰り返し実行される。
【0083】
許可された実行候補支援処理Cがない場合又は1つだけの場合には(ステップ#47:No)、そのまま実行支援処理決定処理を終了してステップ#37に戻る。許可された実行候補支援処理Cが複数ある場合には(ステップ#47:Yes)、支援処理実行管理部37はそれらの支援処理が同時に実行可能であるか否かを判定する(ステップ#48)。同時実行可能な場合には(ステップ#48:Yes)、そのまま実行支援処理決定処理を終了してステップ#37に戻る。一方、同時実行不可能な場合には(ステップ#48:No)、支援処理実行管理部37は、最も優先度が高い実行候補支援処理C以外の支援処理の実行を棄却し(ステップ#49)、実行支援処理決定処理を終了してステップ#37に戻る。その後、車両制御モジュール4又はナビ制御モジュール5は、実行支援処理決定処理で最終的に許可された実行候補支援処理Cを実際に実行する。以上で、支援処理実行管理処理を終了する。なお、以上の支援処理実行管理処理は、車両Vの走行中、逐次繰り返して実行される。
【0084】
3.その他の実施形態
最後に、本発明に係る走行支援システムの、その他の実施形態について説明する。なお、以下のそれぞれの実施形態で開示される構成は、その実施形態でのみ適用されるものではなく、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することも可能である。
【0085】
(1)上記の各実施形態においては、各精度グループGの設定認識領域RAが、共通の外縁を有しつつ要求精度レベルが低くなるに従って消失点Dに近い領域を含むように設定されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、各精度グループGにおける設定認識領域RAの外縁が順次消失点Dに近づくように設定され、各精度グループGの設定認識領域RAが重複部分を有さないように設定された構成とすることも、本発明の好適な実施形態の一つである。この場合における設定認識領域テーブル75の一例を、図11に示している。この図に示すように、例えば高精度グループGHの支援処理APには画像データ中の周縁部領域(図11の下段における第一領域A1のみ)が設定認識領域RAとして設定され、中精度グループGMの支援処理APには画像データ中の消失点Dの周辺と周縁部とを除く領域(図11の下段における第二領域A2のみ)が設定認識領域RAとして設定され、低精度グループGLの支援処理APには画像データ中の消失点Dの周辺領域(図11の下段における第三領域A3のみ)が設定認識領域RAとして設定された構成とすることも、本発明の好適な実施形態の一つである(上記第一の実施形態においては認識処理領域PAについても同様)。この場合において、例えば互いに隣接する設定認識領域RAどうしの間で境界部分の周辺のみが重複するように、各精度グループGにおける設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0086】
(2)上記の各実施形態においては、支援処理AP毎の精度グループGの情報が要求精度テーブル74に記憶されると共に、精度グループG毎の設定認識領域RAの情報が設定認識領域テーブル75に記憶されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば各精度グループGの支援処理AP毎に設定認識領域RAの情報が直接的に関連付けられて記憶された構成とすることも、本発明の好適な実施形態の一つである。
【0087】
(3)上記の各実施形態においては、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて複数の精度グループGに区分され、要求精度テーブル74には精度グループG毎に設定された設定認識領域RAの情報が記憶されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、そのようなグループ化をすることなく、要求精度テーブル74には支援処理AP毎に要求精度を個別に記憶して備えた構成とすることも、本発明の好適な実施形態の一つである。或いは、支援処理AP毎に個別に設定認識領域RAの情報が直接的に関連付けられて記憶された構成とすることも、本発明の好適な実施形態の一つである。
【0088】
(4)上記の各実施形態においては、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて3つの精度グループGに区分されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば複数の支援処理APが2つの精度グループGに区分されて各精度グループGに設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。或いは、複数の支援処理APが4つ以上の精度グループGに区分されて各精度グループGに設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0089】
(5)上記の各実施形態においては、それぞれの実行候補支援処理Cに要求される認識精度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度が決定される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えばそれぞれの実行候補支援処理Cに要求される作動頻度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度が決定される構成とすることも、本発明の好適な実施形態の一つである。
【0090】
(6)上記第一の実施形態においては、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBから順にマッチング処理が実行され、最初にマッチングに成功した認識対象地物OBに対応付けられた実行候補支援処理Cの実行のみが許可される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、マッチング処理により認識対象地物OBが認識された画像データ中の位置が、少なくとも実行候補支援処理Cについて設定された設定認識領域RA内に含まれているのであれば、2番目以降にマッチングに成功した認識対象地物OBに対応付けられた実行候補支援処理Cの実行も許可される構成とすることも、本発明の好適な実施形態の一つである。
【0091】
(7)上記第二の実施形態においては、優先度決定部32により決定された優先度の情報が、走行支援システム1において複数の支援処理APの同時実行が不可能な場合にのみ利用されるように構成されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば上記第二の実施形態においても、上記第一の実施形態と同様に、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング用地物データから順にマッチング処理を行う構成としても良い。この場合、設定された設定認識領域RA内にマッチング位置が含まれていると最初に判定された実行候補支援処理Cのみの実行を許可する構成としても良いし、2番目以降にそのように判定された実行候補支援処理Cの実行をも許可する構成としても良い。
【0092】
(8)上記第一の実施形態においては、それぞれの実行候補支援処理Cについて設定認識領域RAと認識処理領域PAとが一致している場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、設定認識領域RAと認識処理領域PAとは必ずしも一致している必要はなく、例えばそれぞれの実行候補支援処理Cについて、設定認識領域RAを包含するように、或いは設定認識領域RAに包含されるように認識処理領域PAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0093】
(9)上記の各実施形態においては、地物データベース72に記憶された規制標識や道路標示がマッチング処理における「認識対象物」とされている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば道路周辺に存在する建築物や建造物等を認識対象物としてマッチング処理を行う構成とすることも、本発明の好適な実施形態の一つである。この場合、少なくともそれらの認識対象物の特徴点群データと位置情報とを含む参照データベースを構築して走行支援システム1に備えておくと好適である。
【0094】
(10)上記の各実施形態においては、GPS位置データと推測航法位置データとに基づいて導出される推定自車位置をマップマッチング処理により補正することで自車位置情報を取得する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば所謂道路インフラである路車間通信又は車車間通信によって自車位置情報を取得する構成とすることも、本発明の好適な実施形態の一つである。
【0095】
(11)上記の各実施形態においては、走行支援システム1の全体が車両Vに搭載されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば上述した走行支援システム1の一部の構成がサーバコンピュータ等の中央管理装置に備えられ、携帯電話網や無線LAN(Local Area Network)等の通信網を介して全体として車両Vの走行支援に関する複数の支援処理APが実行可能に構成されていても好適である。
【0096】
(12)その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載された構成及びこれと均等な構成を備えている限り、特許請求の範囲に記載されていない構成の一部を適宜改変した構成も、当然に本発明の技術的範囲に属する。
【産業上の利用可能性】
【0097】
本発明は、車両の走行支援に関する複数の支援処理を実行可能な走行支援システム、並びに当該走行支援システムにおける走行支援プログラム及び走行支援方法に好適に利用することができる。
【符号の説明】
【0098】
1 走行支援システム
14 車載カメラ
23 自車位置情報取得部
31 候補処理抽出部
32 優先度決定部
33 認識処理領域決定部
36 画像認識部
37 支援処理実行管理部
73 記憶メモリ(認識領域情報記憶部)
AP 支援処理
AP1 車両制御用支援処理(第一支援処理)
AP2 案内用支援処理(第二支援処理)
C 実行候補支援処理
RA 設定認識領域
PA 認識処理領域
G 精度グループ
OB 認識対象地物(認識対象物)
D 消失点
【技術分野】
【0001】
本発明は、車両の走行支援に関する複数の支援処理を実行可能な走行支援システム、並びに当該走行支援システムにおける走行支援プログラム及び走行支援方法に関する。
【背景技術】
【0002】
上記のような走行支援システムとして、例えば下記の特許文献1に記載されたシステムが既に知られている。すなわち、特許文献1の走行支援システムは、ナビゲーションシステム1(当該特許文献1における符号を引用して説明している;以下同様)と車両制御システム2との協調システムとして構成されていて、アクチュエータによる自動ブレーキ制御処理や自動車速制御処理等、車両の走行支援に関する複数の支援処理を実行可能である。また、この特許文献1には、路面を指向するように配置された車載カメラとしてのリアカメラ24が捉えた映像から画像データを生成し、当該画像データ中に含まれる所定の認識対象物(例えば、交差点の先にある横断歩道)の画像認識処理結果に基づいて車両の加速制御を実行することが記載されている。
【0003】
画像認識処理結果に基づく位置同定を利用して車両の走行支援を行なう場合、車載カメラを用いた画像処理系の光学特性により、画像認識処理を行う際の画像データ中における位置に応じて、認識対象物の測位精度及びそれに伴う認識精度(以下、「認識精度等」と称する場合がある。)や認識成功率に差異が生じる。すなわち、画像データ中の消失点に近い領域では、画像認識処理において特徴点が欠落しにくく認識成功率は比較的高く維持されるものの、画像データ中の周縁部に近い領域に比べて画像データ中における1画素当たりのずれに対応する実際の道路上での位置ずれがより大きくなって測位精度が低下する。一方、画像データ中の周縁部に近い領域では、画像データ中の消失点に近い領域に比べて認識精度等は比較的高く維持されるものの、走行中の車両の位置ずれや進行方位ずれによる影響が比較的大きくなって認識成功率が低下する。一般に、各支援処理にはそれぞれの目的があり、当該目的に応じて要求される認識精度等や認識成功率は様々である。そのため、それぞれの支援処理に対応付けられた認識対象物の画像認識処理を行う際には、それぞれの支援処理の目的に応じた認識精度等及び認識成功率が確保されていることが好ましい(一般に、認識精度等と認識成功率とは、トレードオフの関係にある)。特許文献1では、この点に関して特段の考慮がなされていなかった。
【0004】
一方、下記の特許文献2には、走行支援システムの分野とは異なるが、画像認識技術を利用した重畳型画像観察装置100(当該特許文献2における符号を引用して説明している;以下同様)が記載されている。この特許文献2の装置では、被写体110に含まれる被服等の商品に係る情報を検索する商品情報プログラム、及び使用者OBSの現在位置を求めるナビゲーションプログラム、の2つのプログラムが実行可能とされている。この装置では、画像認識部105によるパターンマッチング処理のために撮像部104からの画像データを取得する際には、実行中のプログラムに応じて撮像部104の撮像画角Aを切り替えるように構成されている。すなわち、目的の商品を確実に特定すべき商品情報プログラムでは、撮像部104は変倍光学系を望遠端側に変倍し、一方、現在位置の特定のためにより多くの被写体110を撮像すべきナビゲーションプログラムでは、撮像部104は変倍光学系を広角端側に変倍する。
【0005】
ここで、それぞれの支援処理の目的に応じた認識精度等及び認識成功率を確保するべく、特許文献1の走行支援システムに特許文献2の撮像画角の切り替え動作を適用することも考えられる。しかし、一般に走行支援システムでは支援処理の種類が多く、支援処理に応じた撮像画角の切り替え動作は煩雑となり易い。また、例えばこれから実行しようとする支援処理が同時に複数存在する場合において、それぞれの目的に応じた認識精度等及び認識成功率が異なる場合には、撮像画角の変更という機械的動作を伴いながらそれぞれの支援処理に対応付けられた認識対象物の画像認識処理を順次行う必要があり、即時性(リアルタイム性)を確保できない可能性がある。そのため、特許文献1の走行支援システムに対して、単純に特許文献2の撮像画角の切り替え動作を適用することは、処理の迅速性の観点から適当とは言えなかった。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−221858号公報
【特許文献2】特開2006−71707号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、それぞれの走行支援処理の目的に応じた認識精度を確保しつつ、簡易かつ迅速に走行支援処理を実行することができる走行支援システムの実現が望まれる。
【課題を解決するための手段】
【0008】
本発明に係る、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムの特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識部と、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定された前記画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部と、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出部と、抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理部と、を備えた点にある。
【0009】
なお、「支援処理の実行のために要求される認識対象物の認識精度」とは、画像認識に成功した認識対象物に対応付けられた支援処理を誤りなく実行するために要求される画像認識の精度である。通常、正確な位置で実行すべき要請が強い支援処理ほど、その実行のために要求される認識対象物の認識精度が高くなる。
【0010】
上記の特徴構成によれば、画像認識部による画像データ中に含まれる認識対象物の画像認識処理の認識結果に基づいて、当該認識対象物に対応付けられた支援処理を実行するか否かを判定することができる。このとき、複数の支援処理のそれぞれについて画像データ中の設定認識領域の情報が認識領域情報記憶部に記憶され、この設定認識領域はそれぞれの支援処理の実行のために要求される認識対象物の認識精度に応じて設定されている。そのため、複数の支援処理の中から抽出された1又は2以上の実行候補支援処理について、画像認識処理により認識対象物が認識された画像データ中の位置が当該実行候補支援処理について設定された設定認識領域内に含まれていることを条件として当該実行候補支援処理の実行を許可する構成とすることで、その実行候補支援処理の目的に応じた認識精度を適切に確保することができる。
また、上記の特徴構成では、支援処理実行管理部は、実行候補支援処理を実行するか否かを、画像認識処理により認識対象物が認識された画像データ中の位置と実行候補支援処理について設定された設定認識領域との対応関係に基づいて規則的に判定することができる。よって、簡易かつ迅速に走行支援処理を実行することができる。
従って、それぞれの走行支援処理の目的に応じた認識精度を確保しつつ、簡易かつ迅速に走行支援処理を実行することができる走行支援システムが実現できる。
【0011】
ここで、複数の前記支援処理には、第一支援処理と、実行のために要求される前記認識対象物の認識精度が前記第一支援処理に要求される認識精度よりも低い第二支援処理と、が含まれ、前記第二支援処理について設定された前記設定認識領域は、前記第一支援処理について設定された前記設定認識領域に比べて前記画像データ中の消失点に近い領域を含む構成とすると好適である。
【0012】
この構成によれば、実行のために要求される認識対象物の認識精度が比較的低い第二支援処理について、実行のために要求される認識対象物の認識精度が第二支援処理より高い第一支援処理について設定された設定認識領域に比べて、画像データ中の消失点に近い領域を含むように設定認識領域が設定される。画像データ中の消失点に近い領域では、画像データ中の周縁部に近い領域に比べて、車載カメラによる撮影範囲の変動が小さく同一の認識対象物が撮影されている時間も長いため、認識対象物の認識成功率が高く維持される。よって、必要な状況の下で第二支援処理を実行できる可能性を高くすることができる。
また、この構成によれば、実行のために要求される認識対象物の認識精度が比較的高い第一支援処理について、実行のために要求される認識対象物の認識精度が第一支援処理より低い第二支援処理について設定された設定認識領域に比べて、画像データ中の消失点から遠い領域(画像データ中の周縁部に近い領域)のみを含むように設定認識領域が設定される。画像データ中の周縁部に近い領域では、画像データ中の消失点に近い領域に比べて、車両から近い位置に存在する認識対象物が撮影されるため、当該認識対象物の測位精度及びそれに伴う認識精度が高く維持される。よって、認識対象物の画像認識に成功した場合には、第一支援処理を正確な位置で誤りなく実行できる可能性を高くすることができる。
【0013】
また、複数の前記支援処理が、前記支援処理毎に要求される認識精度に応じて複数の精度グループに区分され、前記認識領域情報記憶部には、前記精度グループ毎に要求される認識精度に応じて設定された前記設定認識領域の情報が記憶されている構成とすると好適である。
【0014】
この構成によれば、それぞれの支援処理についての設定認識領域を、認識精度に応じて区分された複数の精度グループに応じて設定することができる。すなわち、要求される認識精度に応じて複数の支援処理をグループ化することで、それぞれの支援処理について、比較的単純な処理で設定認識領域を設定することができる。
【0015】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、抽出されたそれぞれの前記実行候補支援処理についての前記設定認識領域に基づいて、前記認識対象物の画像認識処理を実行する前に前記画像データ中の領域である認識処理領域を決定する認識処理領域決定部と、を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記支援処理実行管理部は、前記認識処理領域決定部により決定された前記認識処理領域において前記実行候補支援処理に対応付けられた前記認識対象物が認識された場合に、当該実行候補支援処理の実行を許可する構成とすると好適である。
【0016】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、画像認識処理を実行する前にそれぞれの実行候補支援処理についての設定認識領域の情報に基づいて認識処理領域が決定されるので、当該認識処理領域において実行候補支援処理に対応付けられた認識対象物が認識された場合には、直ちにその実行候補支援処理の実行を許可することができる。
【0017】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、抽出されたそれぞれの前記実行候補支援処理に対して、当該実行候補支援処理に要求される認識精度が高いほど高くなる優先度を決定する優先度決定部と、を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記支援処理実行管理部は、前記優先度が高い前記実行候補支援処理から順に、当該実行候補支援処理に対応付けられた前記認識対象物の前記画像認識処理を実行させ、最初に認識された前記認識対象物に対応付けられた前記実行候補支援処理の実行を少なくとも許可する構成とすると好適である。
【0018】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、優先度のより高い支援処理を優先的に実行することができる。すなわち、要求される認識精度が高く正確な位置で実行することがより強く要請される支援処理を、優先的に実行することができる。
【0019】
また、車両の現在位置を表す自車位置情報を取得する自車位置情報取得部を備え、前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、前記画像認識部は、前記画像データの全体に対して、抽出された前記実行候補支援処理に対応付けられた前記認識対象物の画像認識処理を実行し、前記支援処理実行管理部は、抽出された前記実行候補支援処理の中で、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が当該実行候補支援処理について設定された前記設定認識領域内に含まれている前記実行候補支援処理の少なくとも一つの実行を許可する構成とすると好適である。
【0020】
この構成によれば、自車位置情報取得部により取得される自車位置情報に基づいて、1又は2以上の実行候補支援処理を適切に抽出することができる。
また、この構成では、画像データの全体に対して画像認識処理を実行した後、認識対象地物が認識された画像データ中の位置と設定認識領域との対応関係に基づいて、実行候補支援処理の実行の可否を事後的に判定することができる。よって、従来からある通常の画像認識技術を用いた走行支援システムを利用して、新たな機能を一部追加するだけで本発明に係る走行支援システムを構成することができる。
【0021】
以上の各構成を備えた本発明に係る走行支援システムの技術的特徴は、走行支援プログラムや走行支援方法にも適用可能であり、そのため、本発明は、そのようなプログラムや方法も権利の対象とすることができる。
【0022】
その場合における、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援プログラムの特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、をコンピュータに実行させる点にある。
【0023】
また、車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援方法の特徴構成は、車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、を備える点にある。
【0024】
当然ながら、これらの走行支援プログラムや走行支援方法も上述した走行支援システムに係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことが可能である。
【図面の簡単な説明】
【0025】
【図1】第一の実施形態に係る走行支援システムの概念を示す模式図である。
【図2】第一の実施形態に係る走行支援システムの概略構成を示す模式図である。
【図3】第一の実施形態に係る要求精度テーブルの一例を示す模式図である。
【図4】第一の実施形態に係る設定認識領域テーブルの一例を示す模式図である。
【図5】認識精度に応じた設定認識領域の設定原理を説明するためのグラフである。
【図6】第一の実施形態に係る支援処理実行管理処理の手順を示すフローチャートである。
【図7】第二の実施形態に係る走行支援システムの概略構成を示す模式図である。
【図8】第二の実施形態に係る支援処理実行管理処理の概念を示す模式図である。
【図9】第二の実施形態に係る支援処理実行管理処理の手順を示すフローチャートである。
【図10】実行支援処理決定処理の手順を示すフローチャートである。
【図11】その他の実施形態に係る設定認識領域テーブルの一例を示す模式図である。
【発明を実施するための形態】
【0026】
1.第一の実施形態
本発明に係る走行支援システムの第一の実施形態について、図面を参照して説明する。本実施形態に係る走行支援システム1は、車両Vに搭載されており、当該車両Vの走行支援に関する複数の支援処理(アプリケーション・プログラム)APを実行可能なシステムである。以下、本実施形態に係る走行支援システム1について、詳細に説明する。
【0027】
1−1.走行支援システムの概略
まず、本実施形態に係る走行支援システム1の概念について、図1を参照して説明する。この走行支援システム1は、概略的には、車両Vに搭載された車載カメラ14(図2を参照)により撮影されて得られる画像データについて、道路上に設けられた所定の地物を対象としてパターンマッチング処理(画像認識処理の一例であり、以下「マッチング処理」と略称する場合がある。)を実行し、そのマッチング処理の結果に基づいて複数の支援処理APのうちの1又は2以上を実行させる。本例では、走行支援システム1において、所定周期で自車位置情報が取得され(ステップ#01)、取得された自車位置情報に基づいて、複数の支援処理APの中から1又は2以上の実行候補支援処理Cが抽出される(ステップ#02)。ここで、実行候補支援処理Cは、これから実行しようとする(その後近いうちに実行することが予定される)支援処理APである。
【0028】
それぞれの支援処理AP(実行候補支援処理Cを含む;以下同様)には、認識対象地物情報が関連付けられている。この認識対象地物情報は、それぞれの支援処理APに対して対応付けられた認識対象地物OBに関する情報である。更に、それぞれの認識対象地物情報には、認識精度情報が関連付けられている。この認識精度情報は、それぞれの支援処理APを実行するために要求される、当該支援処理APに対応付けられた認識対象地物OBの認識精度の情報である。ここで、「認識精度」は、マッチング処理により認識対象地物OBを認識できる精度の度合いを示す指標である。
【0029】
ステップ#02で抽出されたそれぞれの実行候補支援処理Cに対応付けられた認識対象地物OBの認識精度の情報に基づいて、各実行候補支援処理Cの優先度が決定され(ステップ#03)、複数の実行候補支援処理Cが優先順位付けされる。また、最も優先度が高い(優先順位が1番の)実行候補支援処理C(以下、優先順位が第N番の実行候補支援処理Cを、「第N実行候補支援処理CN」と称する。)について、認識精度の情報に基づいて本願特有の認識処理領域PAが決定される(ステップ#04)。この認識処理領域PAは、マッチング処理を行うべき画像データ中の領域である。本実施形態では、認識処理領域PAは、実行候補支援処理Cについての後述する設定認識領域RAに一致している。また、自車位置情報と第一実行候補支援処理C1に対応付けられた認識対象地物情報とに基づいて、地物データベース72からマッチング用の地物データが抽出される(ステップ#05)。
【0030】
ステップ#01〜ステップ#05の処理とは別系統で、車載カメラ14により得られる実撮影画像から画像データが生成される(ステップ#06)。そして、ステップ#06で生成された画像データと、ステップ#05で抽出されたマッチング用地物データと、更にステップ#04で決定された認識処理領域PAと、に基づいてマッチング処理が行われる(ステップ#07)。そして、認識処理領域PAにおいて、画像データ中から第一実行候補支援処理C1に対応付けられた認識対象地物OBが認識された場合に、当該第一実行候補支援処理C1の実行が許可され、その後第一実行候補支援処理C1が実際に実行される(ステップ#08)。
【0031】
本実施形態では、複数の支援処理APには、車両制御用支援処理AP1と、案内用支援処理AP2と、が含まれる。車両制御用支援処理AP1は、主に走行支援システム1が搭載された車両Vの挙動を制御するための支援処理である。車両制御用支援処理AP1には、例えば変速制御処理、サスペンション制御処理、ブレーキ制御処理、ステアリング制御処理、エアバッグ制御処理、駆動力制御処理、ライト調節制御処理、警告制御処理、及び警報制御処理が含まれる。これらのうち、変速制御処理、サスペンション制御処理、及び警告制御処理が走行制御用の支援処理AP(走行制御用支援処理AP1b)であり、残りのブレーキ制御処理、ステアリング制御処理、エアバッグ制御処理、駆動力制御処理、ライト調節制御処理、及び警報制御処理が安全制御用の支援処理AP(安全制御用支援処理AP1a)である。
【0032】
変速制御処理は、車両Vに備えられる変速機の変速比を状況に応じて変更させる処理である。サスペンション制御処理は、車両Vのサスペンション特性を状況に応じて調整する処理である。ブレーキ制御処理は、電子制御ブレーキ等により状況に応じて制動力を調整する処理である。ステアリング制御処理は、車両Vのステアリング角度を状況に応じて調整する処理である。エアバッグ制御処理は、車両Vの衝突時に運転席や助手席のエアバッグを展開させる処理である。駆動力制御処理は、車両Vの車輪に伝達されるトルクを状況に応じて調整する処理である。ライト調節制御処理は、車両Vの進行方向に応じてヘッドライトの光軸方向を調整する処理である。警告制御処理は、車両Vの状況に応じて警告音声を出力する処理である。警報制御処理は、車両Vの状況に応じて警報音声を出力する処理である。
【0033】
案内用支援処理AP2は、主に車両Vに装備されたナビゲーション装置(図示せず)を介して、車両Vの乗員に各種の情報を提供するための支援処理である。案内用支援処理AP2には、情報提供処理及び注意喚起処理が含まれる。情報提供処理は、車両Vの周辺の道路状態や施設等に関する情報を乗員に提供する処理である。注意喚起処理は、車両Vの状況から見て予測される危険を乗員に通知して注意喚起を行う処理である。本実施形態においては、これらのそれぞれの処理が、本発明における「支援処理」に相当する。
【0034】
1−2.走行支援システムの概略構成
次に、上述した走行支援システム1の概略構成について、図2を参照して説明する。図2に示すように、走行支援システム1は、自車位置検出モジュール2と、支援処理実行管理モジュール3と、車両制御モジュール4と、ナビ制御モジュール5と、記憶装置7と、を備えている。記憶装置7には、道路地図データベース71と、地物データベース72と、記憶メモリ73と、が含まれる。
【0035】
自車位置検出モジュール2、支援処理実行管理モジュール3、車両制御モジュール4、及びナビ制御モジュール5のそれぞれは、後述するように、1又は2以上の機能部を備えている。そして、これらの各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、ハードウェア又はソフトウェア(プログラム)或いはその両方により構成されている。また、これらの各機能部は、CAN(Controller Area Network)等の車両通信ラインを介して相互に情報の受け渡しを行うことができるように構成されている。更に、これらの機能部は、必要に応じて所定のデータを記憶装置7から抽出することができるように構成されている。
【0036】
また、記憶装置7は、例えばハードディスクドライブやフラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備えている。なお、記憶装置7を構成する道路地図データベース71、地物データベース72、及び記憶メモリ73は、それぞれ独立のハードウェアを有していても良いし、共通のハードウェアに備えられていても良い。
【0037】
1−2−1.自車位置検出モジュール
自車位置検出モジュール2は、GPS処理部21、推測航法処理部22、推定自車位置導出部24、及びマップマッチング部25を備えている。また、本実施形態では、図2に示すように、自車位置検出モジュール2は、車両Vに備えられたGPS測定ユニット15、距離センサ16、方位センサ17、及び道路地図データベース71に接続されており、これらからの情報を取得可能に構成されている。
【0038】
道路地図データベース71は、道路地図データを格納したデータベースである。ここで、道路地図データには、複数のノードと複数のリンクとで表される道路間の接続情報や、それぞれの道路の種別(高速道路、有料道路、国道、県道等の種別)や長さ、形状、識別子等の属性情報が含まれている。この道路地図データベース71は、ナビゲーション装置(図示せず)による通常の経路探索処理や経路案内処理を実行する際や、後述するマップマッチング処理を実行する際等に参照される。
【0039】
GPS処理部21には、GPS(Global Positioning System)衛星からのGPS信号を受信するGPS測定ユニット15が接続されている。GPS処理部21は、GPS測定ユニット15で受信されたGPS衛星からの信号を解析して車両Vの現在位置(緯度及び経度で表わされる現在位置座標)を導出し、導出結果としてのGPS位置データを推定自車位置導出部24に出力する。
【0040】
推測航法処理部22には、距離センサ16と方位センサ17とが接続されている。距離センサ16は、車両Vの車速や移動距離を検出するセンサである。距離センサ16は、その検出結果としての車速及び移動距離の情報を推測航法処理部22へ出力する。方位センサ17は、例えばジャイロセンサや地磁気センサ等により構成され、その検出結果としての方位の情報を推測航法処理部22へ出力する。推測航法処理部22は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を導出し、導出結果としての推測航法位置データを推定自車位置導出部24に出力する。
【0041】
推定自車位置導出部24は、GPS位置データと推測航法位置データとに基づいて、公知の方法により車両Vの推定される現在位置(推定自車位置)を導出する。ここで、推定自車位置導出部24により導出された推定自車位置は、測定誤差等を含んだ情報となっている。そのため、マップマッチング部25は、道路地図データベース71に記憶された地図データを参照して、推定自車位置が道路地図データに含まれるいずれかの道路上となるように自車位置座標を補正する。マップマッチング部25は、その補正後の自車位置座標を含む情報として、車両Vの現在位置を表す自車位置情報を生成して取得する。本実施形態においては、推定自車位置導出部24とマップマッチング部25とにより、「自車位置情報取得部23」が構成されている。なお、自車位置情報取得部23は、後述する画像認識部36によるマッチング処理の処理結果に基づいて、更に高精度な自車位置情報を取得することも可能である。自車位置情報取得部23(マップマッチング部25)は、取得された自車位置情報を、後述する候補処理抽出部31や認識対象地物抽出部35等に出力する。
【0042】
1−2−2.支援処理実行管理モジュール
支援処理実行管理モジュール3は、候補処理抽出部31、優先度決定部32、認識処理領域決定部33、撮影画像処理部34、認識対象地物抽出部35、画像認識部36、及び支援処理実行管理部37を備えている。また、本実施形態では、図2に示すように、支援処理実行管理モジュール3は、車両Vに備えられた車載カメラ14、及び地物データベース72、及び記憶メモリ73に接続されており、これらからの情報を取得可能に構成されている。
【0043】
車載カメラ14は、所定のタイミングで車両Vの周辺の風景を撮影する撮像装置である。本実施形態では、車載カメラ14は、光軸が車両Vの進行方向前方を向くように設置されており、車両Vの前方を撮影するフロントカメラとされている。この車載カメラ14は、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の公知の撮像素子と、魚眼レンズやプリズム等の公知の光学部品と、を用いて構成されている。この車載カメラ14により、車両Vの周辺の風景の撮影画像が実撮影画像として得られる。
【0044】
地物データベース72は、地物データを格納したデータベースである。ここで、本実施形態では、「地物」には道路上に設けられる標識や道路標示等が含まれる。また、地物データには、それぞれの地物の種別(車線、停止線、横断歩道、規制標識、マンホール等の種別)、位置、大きさ、形状、高さ、色等の属性情報が含まれている。また、それぞれの地物データは、識別子等の関連付け情報を用いて、道路地図データベース71に格納された道路地図データに関連付けられている。この地物データベース72は、後述するパターンマッチング処理を実行する際等に参照される。そのため、それぞれの地物データには、特徴点群に関する情報も含まれている。
【0045】
候補処理抽出部31は、複数の支援処理APの中から1又は2以上の支援処理APを実行候補支援処理Cとして抽出する。本実施形態においては、候補処理抽出部31は、自車位置情報取得部23(マップマッチング部25)から自車位置情報を受け取り、当該自車位置情報に基づいて実行候補支援処理Cを抽出する。候補処理抽出部31は、車両Vの現在位置から見てその後実行されると予測される1又は2以上の支援処理APを、実行候補支援処理Cとして抽出する。一例として、車両Vが一時停止義務のある交差点から所定距離内に接近している場合には、所定のタイミングで注意喚起を行うべく、候補処理抽出部31は注意喚起処理を実行候補支援処理Cとして抽出する。また、その後車両Vの挙動から見て実際に一時停止地点において適切に停止できない可能性があると判断される場合には、警告音声や警報音声を出力すると共に電子制御ブレーキ等によりブレーキアシストを行う必要があるため、候補処理抽出部31は警告制御処理、警報制御処理、及びブレーキ制御処理を実行候補支援処理Cとして抽出する。候補処理抽出部31は、抽出した実行候補支援処理Cを、優先度決定部32、認識処理領域決定部33、及び認識対象地物抽出部35に出力する。
【0046】
優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して、優先度を決定する。ここで、優先度決定部32は、それぞれの実行候補支援処理Cに要求される認識精度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度を決定する。ここで、「支援処理APに要求される認識精度」とは、マッチングに成功した認識対象地物OBに対応付けられた支援処理APを誤りなく実行するために要求される画像認識の精度である。誤実行が厳しく回避されるべき支援処理APほど要求される認識精度が高くなり、誤実行がある程度許容される支援処理APほど要求される認識精度が低くなる。なお、「誤実行」とは、本来実行すべきではない位置においてその支援処理APが実行されることを意味している。
【0047】
本実施形態では、車両制御用支援処理AP1に要求される認識精度は、案内用支援処理AP2に要求される認識精度よりも高く設定されている。また、車両制御用支援処理AP1のうち、安全制御用支援処理AP1aに要求される認識精度は、それ以外の支援処理(走行制御用支援処理AP1b)に要求される認識精度よりも高く設定されている。そして、本実施形態では、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて複数の精度グループGに区分されている。本実施形態では、要求される認識精度が高い方から順に、安全制御用支援処理AP1aが含まれる高精度グループGH、走行制御用支援処理AP1bが含まれる中精度グループGM、及び案内用支援処理AP2が含まれる低精度グループGL、の3つの精度グループGに区分されている。
【0048】
ここで、高精度グループGHに帰属される安全制御用支援処理AP1aは、車両Vの挙動を強制的に変化させる支援処理であるため、正確な位置において誤りなく実行すべきことが要求される。一方、低精度グループGLに帰属される案内用支援処理AP2は、車両Vの乗員の便宜のための支援処理であるため、作動頻度が重要視されて多少の誤実行(すなわち、位置ずれ)がある程度許容される。中精度グループGMに帰属される走行制御用支援処理AP1bは、位置正確性及び作動頻度の双方がそれぞれ適度に要求される。そのため、この点を考慮して、上記のようなグループ分けがなされている。
【0049】
本実施形態では、それぞれの支援処理APに要求される認識精度に応じた精度グループGの情報は、要求精度テーブル74の形態で記憶メモリ73に格納されている。図3は、本実施形態に係る要求精度テーブル74の一例を示す模式図である。図3に示すように、この要求精度テーブル74には、それぞれの支援処理AP毎に、その属性(用途)及び精度グループG(図3においては、「要求精度レベルG」と表示)が関連付けて記憶されている。優先度決定部32は、要求精度テーブル74を参照して、それぞれの実行候補支援処理Cの優先度を決定する。優先度決定部32は、決定された優先度の情報を支援処理実行管理部37に出力する。
【0050】
本実施形態では、記憶メモリ73には設定認識領域テーブル75が更に格納されている。この設定認識領域テーブル75は、精度グループ(要求精度レベル)G毎に要求される認識精度に応じて設定された画像データ中の設定認識領域RAの情報を記憶したテーブルである。本実施形態においては、記憶メモリ73が本発明における「認識領域情報記憶部」に相当する。図4には、設定認識領域テーブル75の一例を示している。ここで、認識精度に応じた設定認識領域RAの設定原理について説明する。図5のグラフには、画像データ中における外縁からの距離(画素数)と、車両Vの単位移動距離当たりの画像データ中における移動量(画素数変化量)と、の関係が示されている。
【0051】
このグラフを参照すると、画像データ中における外縁に近いほど車両Vの単位移動距離当たりの画像データ中における移動量が大きく、一方、画像データ中における外縁から遠いほど(消失点Dに近いほど)車両Vの単位移動距離当たりの画像データ中における移動量が小さいことが分かる。逆に言えば、画像データ中における外縁に近いほど画像データ中における1画素当たりの実際の道路上での距離の重みが小さく、一方、画像データ中における外縁から遠いほど(消失点Dに近いほど)画像データ中における1画素当たりの実際の道路上での距離の重みが大きいことが分かる。なお、「消失点D」は、実際には平行な直線成分(例えば、直線道路)が画像データ中において互いに交差する点である。
【0052】
この点を考慮すれば、外縁に近い領域である外縁領域には、比較的高い位置精度かつ比較的高速な移動速度で被写体が撮像されることになる。そのため、その被写体がパターンマッチング処理の対象となる場合には、測位精度及びそれに伴う認識精度は比較的高くなる。このような特性は、高精度グループGHに帰属される支援処理APに対する上記の要請に適合する。一方、消失点Dに近い領域である消失領域には、比較的緩慢な移動速度で被写体が撮像されることになる。そのため、その被写体がパターンマッチング処理の対象となる場合には、認識成功率は比較的高くなる。このような特性は、低精度グループGLに帰属される支援処理APに対する上記の要請に適合する。
【0053】
そこで本実施形態においては、図4に示すように、高精度グループGHの支援処理AP(安全制御用支援処理AP1a)には、画像データ中の周縁部領域が設定認識領域RAとして設定されている。中精度グループGMの支援処理AP(走行制御用支援処理AP1b)には、画像データ中の消失点Dの周辺を除く領域が設定認識領域RAとして設定されている。低精度グループGLの支援処理AP(案内用支援処理AP2)には、画像データ中の全体領域が設定認識領域RAとして設定されている。すなわち、本実施形態では、各精度グループGの設定認識領域RAは、共通の外縁を有しつつ要求精度レベルが低くなるに従って消失点Dに近い領域を含むように設定されている。
【0054】
このような設定では、案内用支援処理AP2について設定された設定認識領域RAは、車両制御用支援処理AP1(安全制御用支援処理AP1a及び走行制御用支援処理AP1bの双方を含む)について設定された設定認識領域RAに比べて画像データ中の消失点Dに近い領域を含む。従って、本実施形態においては、車両制御用支援処理AP1と案内用支援処理AP2との間の関係では、車両制御用支援処理AP1が本発明における「第一支援処理」に相当し、案内用支援処理AP2が本発明における「第二支援処理」に相当する。
【0055】
また、車両制御用支援処理AP1のうち、走行制御用支援処理AP1bについて設定された設定認識領域RAは、安全制御用支援処理AP1aについて設定された設定認識領域RAに比べて画像データ中の消失点Dに近い領域を含む。従って、本実施形態においては、安全制御用支援処理AP1aと走行制御用支援処理AP1bとの間の関係では、安全制御用支援処理AP1aが本発明における「第一支援処理」に相当し、走行制御用支援処理AP1bが本発明における「第二支援処理」に相当する。
【0056】
認識処理領域決定部33は、抽出されたそれぞれの実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング処理を実行するための認識処理領域PAを決定する。ここで、認識処理領域PAは画像データ中の所定領域であり、実行候補支援処理Cに要求される認識精度に応じてその範囲が定められる。本実施形態では、認識処理領域決定部33は、設定認識領域テーブル75を参照して、それぞれの実行候補支援処理Cについての設定認識領域RAに基づいて、認識処理領域PAを決定する。本例では、認識処理領域決定部33は、それぞれの実行候補支援処理Cの設定認識領域RAと同一の認識処理領域PAを決定する。これにより、本例では、それぞれの実行候補支援処理Cについて設定認識領域RAと認識処理領域PAとは一致する。
【0057】
すなわち、本実施形態においては、上記したような設定認識領域RAの設定に応じて、高精度グループGHの支援処理AP(安全制御用支援処理AP1a)には、画像データ中の周縁部領域(図4の下段における第一領域A1のみ)が認識処理領域PAとして設定される。中精度グループGMの支援処理AP(走行制御用支援処理AP1b)には、画像データ中の消失点Dの周辺を除く領域(図4の下段における第一領域A1と第二領域A2とからなる領域)が認識処理領域PAとして設定される。低精度グループGLの支援処理AP(案内用支援処理AP2)には、画像データ中の全体領域(図4の下段における第一領域A1と第二領域A2と第三領域A3とからなる領域)が認識処理領域PAとして設定される。認識処理領域決定部33は、決定した認識処理領域PAの情報を画像認識部36に出力する。
【0058】
撮影画像処理部34は、車載カメラ14による車両Vの周辺の風景の撮影画像である実撮影画像から複数の特徴点を抽出して画像データを生成する。本実施形態では、撮影画像処理部34は、実撮影画像にエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点として抽出して、特徴点群からなる画像データを生成する。なお、エッジ検出処理に際しては、実撮影画像中における輝度差(濃度差)、彩度差、及び色相差等に基づいてエッジ点を抽出する構成とすることができる。撮影画像処理部34は、生成した画像データを画像認識部36に出力する。
【0059】
認識対象地物抽出部35は、自車位置情報取得部23(マップマッチング部25)から自車位置情報を受け取ると共に、候補処理抽出部31から実行候補支援処理Cの情報を受け取り、これらの情報に基づいて認識対象地物OBを抽出する。認識対象地物抽出部35は、地物データベース72を参照して、実行候補支援処理Cに対応付けられている自車位置周辺の地物を、認識対象地物OBとして抽出する。一例として、車両Vが一時停止義務のある交差点から所定距離内に接近している場合には、注意喚起処理に対応付けられた例えば「とまれ」の規制標識を認識対象地物OBとして抽出する。また、また、その後実際に一時停止地点において適切に停止できない可能性があると判断される場合には、ブレーキ制御処理に対応付けられた例えば停止線の道路標示を認識対象地物OBとして抽出する。本実施形態においては、認識対象地物OBが本発明における「認識対象物」に相当する。認識対象地物抽出部35は、抽出した認識対象地物OBについての地物データを、マッチング用地物データとして画像認識部36に出力する。
【0060】
画像認識部36は、撮影画像処理部34から画像データを受け取ると共に、認識対象地物抽出部35からマッチング用地物データを受け取り、画像データとマッチング用地物データとのパターンマッチング処理を行う。その際、本実施形態においては、画像認識部36は更に認識処理領域決定部33から認識処理領域PAの情報を受け取り、当該認識処理領域PAにおいてマッチング処理を行う。また、画像認識部36は、支援処理実行管理部37からの指令に従い、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング用地物データから順に、マッチング処理を行う。
【0061】
マッチング処理において、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と、画像データ中の認識処理領域PAに含まれる特徴点群の配置と、に基づいてマッチングの成否を判定する。すなわち、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と一致する特徴点群の少なくとも一部が画像データ中の認識処理領域PAに含まれる場合には、マッチングに成功したと判定する。一方、画像認識部36は、マッチング用地物データに含まれる特徴点群の配置と一致する特徴点群が画像データ中の認識処理領域PAに一切含まれていない場合には、マッチングに失敗したと判定する。画像認識部36は、マッチング処理の判定結果の情報を支援処理実行管理部37に出力する。
【0062】
なお、マッチングに成功した場合には、画像認識部36は、マッチング用地物データに含まれる位置情報を読み出して、当該位置情報を自車位置情報取得部23にも出力する。自車位置情報取得部23は、その位置情報を受け取り、先に取得された自車位置情報を新たに受け取った位置情報に置き換える自車位置修正を行う。これにより、自車位置情報取得部23は、画像認識部36によるマッチング処理の処理結果に基づいて、より高精度な自車位置情報を取得することが可能である。
【0063】
支援処理実行管理部37は、画像認識部36からマッチング処理の判定結果を受け取って、当該判定結果に基づいて実行候補支援処理Cの実行の可否を判定する。支援処理実行管理部37は、マッチング処理により認識対象地物OBが認識された画像データ中の位置が、実行候補支援処理Cについて設定された設定認識領域RA内に含まれていることを条件として、当該実行候補支援処理Cの実行を許可する。ここで、本実施形態では、上記のとおりマッチング処理を実行する前に認識処理領域PAが設定され、当該認識処理領域PAにおいてマッチング処理が実行される。また、その認識処理領域PAは設定認識領域RAに一致している。よって、マッチングに成功したとの判定結果が得られた場合には、マッチング処理により認識対象地物OBが認識された画像データ中の位置は、実行候補支援処理Cについて設定された設定認識領域RA内に必ず含まれていることになる。
【0064】
そのため、本実施形態では、支援処理実行管理部37は、マッチングに成功したとの判定結果を得た場合には、認識対象地物OBに対応付けられた実行候補支援処理Cの実行をそのまま許可する。一方、支援処理実行管理部37は、マッチングに失敗したとの判定結果を得た場合には、認識対象地物OBに対応付けられた実行候補支援処理Cの実行を禁止(破棄)すると共に、画像認識部36に対して、優先度がその次に高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング処理を行わせる。そして、支援処理実行管理部37は、それをマッチングに成功したとの判定結果が得られるまで繰り返し実行する。
【0065】
すなわち、支援処理実行管理部37は、最初にマッチングに成功したとの判定結果が得られるまで、第一実行候補支援処理C1、第二実行候補支援処理C2、第三実行候補支援処理C3、・・・の順に、それぞれに対応付けられた認識対象地物OBのマッチング処理を行わせる。支援処理実行管理部37は、いずれかの実行候補支援処理Cの実行を許可した場合には、マッチング処理の判定結果(ここでは、マッチングに成功したとの判定結果)の情報を、その実行候補支援処理Cの属性に応じて車両制御モジュール4又はナビ制御モジュール5に出力する。
【0066】
1−2−3.車両制御モジュール
車両制御モジュール4は、上述した複数の車両制御用支援処理AP1(安全制御用支援処理AP1a及び走行制御用支援処理AP1bの双方を含む)を実行可能に備えている。車両制御モジュール4は、支援処理実行管理部37からマッチングに成功したとの判定結果を受け取った場合には、マッチングに成功した認識対象地物OBに対応付けられた車両制御用支援処理AP1を実行させ、車両ECU(Electronic Control Unit、図示せず)を介して車両Vの各種挙動を制御する。図1には、一例としてブレーキ制御処理が実行されて電子制御ブレーキが発動された場合の例を示している。
【0067】
1−2−4.ナビ制御モジュール
ナビ制御モジュール5は、上述した複数の案内用支援処理AP2を実行可能に備えている。ナビ制御モジュール5は、支援処理実行管理部37からマッチングに成功したとの判定結果を受け取った場合には、マッチングに成功した認識対象地物OBに対応付けられた案内用支援処理AP2を実行させ、ナビゲーション装置(図示せず)、モニタ12、及びスピーカ13を介して車両Vの乗員に各種の情報を提供する。図1には、一例として警報制御処理が実行されてスピーカ13から「ブレーキを踏んで下さい!」との警報音声が出力された場合の例を示している。
【0068】
1−3.支援処理実行管理処理の手順
次に、本実施形態に係る走行支援システム1において実行される支援処理実行管理処理を含む走行支援処理の手順(支援処理実行管理方法を含む走行支援方法)について説明する。以下に説明する走行支援処理の手順は、走行支援システム1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、走行支援システム1が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
【0069】
図6のフローチャートに示すように、まず自車位置情報取得部23は自車位置情報を取得する(ステップ#11)。候補処理抽出部31は、自車位置情報に基づいて1又は2以上の実行候補支援処理Cを抽出する(ステップ#12)。優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して優先度を決定する(ステップ#13)。支援処理実行管理部37は、抽出された複数の実行候補支援処理Cの中から最も高い優先度が割り当てられた実行候補支援処理C(第一実行候補支援処理C1)を選択し、当該実行候補支援処理Cを基準処理として設定する(ステップ#14)。認識処理領域決定部33は、設定認識領域テーブル75を参照して、基準処理に対応付けられた認識対象地物OBのマッチング処理を実行するための認識処理領域PAを、当該基準処理に要求される認識精度に応じて決定する(ステップ#15)。
【0070】
また別系統で、撮影画像処理部34は、車載カメラ14による実撮影画像から画像データを生成している(図1のステップ#06を参照)。認識対象地物抽出部35は、自車位置周辺の、基準処理に対応付けられている認識対象地物OBをマッチング用地物データとして抽出する(ステップ#16)。画像認識部36は、認識処理領域PAにおいて、画像データと基準処理についてのマッチング用地物データとのパターンマッチング処理を行う(ステップ#17)。マッチングに失敗した場合には(ステップ#18:No)、支援処理実行管理部37はその時点で設定されている基準処理の実行を棄却(禁止)する(ステップ#19)。別の実行候補支援処理Cがある場合には(ステップ#20:Yes)、その時点で設定されている基準処理の次に優先度が高い実行候補支援処理Cを選択し、当該実行候補支援処理Cを基準処理として再設定する(ステップ#21)。なお、実行候補支援処理Cが他にない場合には(ステップ#20:No)、そのまま支援処理実行管理処理を終了する。
【0071】
ステップ#15〜ステップ#21の各処理は、マッチングに成功するまで繰り返し実行される。その際、認識処理領域決定部33は、基準処理が再設定される度に新たな基準処理に応じた認識処理領域PAを再決定し、同様に認識対象地物抽出部35も、基準処理が再設定される度に新たな基準処理に応じたマッチング用地物データを再抽出する。そして、画像認識部36は、優先度が高い実行候補支援処理Cから順にマッチング処理を行うことになる。いずれかの実行候補支援処理Cに関して、マッチングに成功した場合には(ステップ#18:Yes)、支援処理実行管理部37はその時点で設定されている基準処理の実行を許可する(ステップ#22)。その後、車両制御モジュール4又はナビ制御モジュール5は、その基準処理を実際に実行する。以上で、支援処理実行管理処理を終了する。なお、以上の支援処理実行管理処理は、車両Vの走行中、逐次繰り返して実行される。
【0072】
2.第二の実施形態
本発明に係る走行支援システムの第二の実施形態について、図面を参照して説明する。本実施形態に係る走行支援システム1は、支援処理実行管理モジュール3の構成及び支援処理実行管理処理の具体的な処理手順が、上記第一の実施形態の構成と一部相違している。以下では、本実施形態に係る走行支援システム1について、上記第一の実施形態との相違点を中心に説明する。なお、特に明記しない点に関しては、上記第一の実施形態と同様とする。
【0073】
2−1.支援処理実行管理モジュール
本実施形態に係る支援処理実行管理モジュール3は、候補処理抽出部31、優先度決定部32、撮影画像処理部34、認識対象地物抽出部35、画像認識部36、及び支援処理実行管理部37を備えている。なお、上記第一の実施形態とは異なり、支援処理実行管理モジュール3には認識処理領域決定部33は備えられていない。
【0074】
そのため、本実施形態では、上記第一の実施形態のようにパターンマッチング処理に先立って認識処理領域PAが設定されることはない。画像認識部36は、それぞれの実行候補支援処理Cに要求される認識精度とは無関係に、画像データの全体に対してマッチング処理を実行する。本実施形態では、画像認識部36は、画像データと認識対象地物OBのマッチング用地物データとのマッチングに成功した場合には、当該マッチング処理により認識対象地物OBのマッチング用地物データが認識された画像データ中の位置情報(マッチング位置情報)を生成して取得する。そして、画像認識部36は、マッチング処理の判定結果の情報と共にマッチング位置情報を支援処理実行管理部37に出力する。
【0075】
支援処理実行管理部37は、記憶メモリ73の設定認識領域テーブル75を参照して、それぞれの実行候補支援処理Cについての設定認識領域RAの情報を取得する。そして、支援処理実行管理部37は、画像認識部36から受け取ったマッチング位置情報と設定認識領域テーブル75を参照して取得した設定認識領域RAの情報とを照合し、その照合結果に基づいて、実行候補支援処理Cの実行の可否を事後的に判定する。本実施形態では、支援処理実行管理部37は、マッチング処理による画像データ中のマッチング位置が、当該実行候補支援処理Cについて設定された設定認識領域RA内に含まれている場合には、当該実行候補支援処理Cの実行を許可する。一方、支援処理実行管理部37は、マッチング位置が、当該実行候補支援処理Cについて設定された設定認識領域RA内に含まれていない場合には、当該実行候補支援処理Cの実行を棄却する。
【0076】
図8は、本実施形態に係る支援処理実行管理処理の概念を示す模式図である。なお、本実施形態でも、高精度グループGHの安全制御用支援処理AP1aには画像データ中の周縁部領域(第一領域A1のみ)が設定認識領域RAとして設定され、中精度グループGMの走行制御用支援処理AP1bには画像データ中の消失点Dの周辺を除く領域(第一領域A1と第二領域A2とからなる領域)が設定認識領域RAとして設定され、低精度グループGLの案内用支援処理AP2には画像データ中の全体領域(第一領域A1と第二領域A2と第三領域A3とからなる領域)が設定認識領域RAとして設定されている。
【0077】
図8に示すように、実行候補支援処理Cが高精度グループGHの安全制御用支援処理AP1aである場合において、マッチング位置が第一領域A1に含まれる場合には((a)を参照)、当該マッチング位置が安全制御用支援処理AP1aの設定認識領域RAに含まれることになるため、その実行候補支援処理Cの実行が許可される(図8において、「OK」と表示;以下同様)。一方、マッチング位置が第二領域A2に含まれる場合には((b)を参照)、当該マッチング位置は安全制御用支援処理AP1aの設定認識領域RAには含まれないことになるため、その実行候補支援処理Cの実行が棄却される(図8において、「NG」と表示;以下同様)。
【0078】
また、実行候補支援処理Cが中精度グループGMの走行制御用支援処理AP1bである場合において、マッチング位置が第二領域A2に含まれる場合には((c)を参照)、当該マッチング位置が走行制御用支援処理AP1bの設定認識領域RAに含まれることになるため、その実行候補支援処理Cの実行が許可される。一方、マッチング位置が第三領域A3に含まれる場合には((d)を参照)、当該マッチング位置は走行制御用支援処理AP1bの設定認識領域RAには含まれないことになるため、その実行候補支援処理Cの実行が棄却される。また、実行候補支援処理Cが低精度グループGLの案内用支援処理AP2である場合には、画像データ中の全体領域が設定認識領域RAとして設定されているため、マッチング位置によらずにその実行候補支援処理Cの実行が許可される。
【0079】
支援処理実行管理部37は、上記の演算処理を、抽出された全ての実行候補支援処理Cについて実行する。そして、支援処理実行管理部37は、1又は2以上の実行候補支援処理Cの実行を許可した場合には、マッチング処理の判定結果(ここでは、マッチングに成功したとの判定結果)の情報を、それらの実行候補支援処理Cの属性に応じて車両制御モジュール4又はナビ制御モジュール5に出力する。なお、走行支援システム1において複数の支援処理APの同時実行が不可能な場合には、優先度決定部32により決定された優先度の情報に基づいて、最も優先度が高い実行候補支援処理Cのみを実行させる。
【0080】
2−2.支援処理実行管理処理の手順
次に、本実施形態に係る走行支援システム1において実行される支援処理実行管理処理を含む走行支援処理の手順(支援処理実行管理方法を含む走行支援方法)について説明する。図9に示すように、まず自車位置情報取得部23は自車位置情報を取得する(ステップ#31)。候補処理抽出部31は、自車位置情報に基づいて1又は2以上の実行候補支援処理Cを抽出する(ステップ#32)。優先度決定部32は、抽出されたそれぞれの実行候補支援処理Cに対して優先度を決定する(ステップ#33)。
【0081】
また別系統で、撮影画像処理部34は、車載カメラ14による実撮影画像から画像データを生成している(図示せず)。認識対象地物抽出部35は、それぞれの実行候補支援処理Cに対応付けられている認識対象地物OBをマッチング用地物データとして抽出する(ステップ#34)。画像認識部36は、画像データの全体に対して、当該画像データと抽出された全てのマッチング用地物データとのパターンマッチング処理を行う(ステップ#35)。全てのマッチング用地物データとのマッチングに失敗した場合には(ステップ#36:No)、そのまま支援処理実行管理処理を終了する。一方、いずれかのマッチング用地物データとのマッチングに成功した場合には(ステップ#36:Yes)、実行支援処理決定処理を実行する(ステップ#37)。
【0082】
図10に示す実行支援処理決定処理では、支援処理実行管理部37は、マッチングに成功したマッチング用地物データに対応する実行候補支援処理Cの中から1つの支援処理を選択する(ステップ#41)。支援処理実行管理部37は、設定認識領域テーブル75を参照して、選択した実行候補支援処理Cについての設定認識領域RAの情報を取得する(ステップ#42)。支援処理実行管理部37は、選択した実行候補支援処理Cについてのマッチング位置が設定認識領域RAに含まれているか否かを判定する(ステップ#43)。マッチング位置が設定認識領域RAに含まれる場合には(ステップ#43:Yes)、支援処理実行管理部37は選択した実行候補支援処理Cの実行を許可する(ステップ#44)。一方、マッチング位置が設定認識領域RAに含まれない場合には(ステップ#43:No)、支援処理実行管理部37は選択した実行候補支援処理Cの実行を棄却する(ステップ#45)。ステップ#41〜ステップ#45の各処理は、未選択の実行候補支援処理Cがなくなるまで(ステップ#46:No)繰り返し実行される。
【0083】
許可された実行候補支援処理Cがない場合又は1つだけの場合には(ステップ#47:No)、そのまま実行支援処理決定処理を終了してステップ#37に戻る。許可された実行候補支援処理Cが複数ある場合には(ステップ#47:Yes)、支援処理実行管理部37はそれらの支援処理が同時に実行可能であるか否かを判定する(ステップ#48)。同時実行可能な場合には(ステップ#48:Yes)、そのまま実行支援処理決定処理を終了してステップ#37に戻る。一方、同時実行不可能な場合には(ステップ#48:No)、支援処理実行管理部37は、最も優先度が高い実行候補支援処理C以外の支援処理の実行を棄却し(ステップ#49)、実行支援処理決定処理を終了してステップ#37に戻る。その後、車両制御モジュール4又はナビ制御モジュール5は、実行支援処理決定処理で最終的に許可された実行候補支援処理Cを実際に実行する。以上で、支援処理実行管理処理を終了する。なお、以上の支援処理実行管理処理は、車両Vの走行中、逐次繰り返して実行される。
【0084】
3.その他の実施形態
最後に、本発明に係る走行支援システムの、その他の実施形態について説明する。なお、以下のそれぞれの実施形態で開示される構成は、その実施形態でのみ適用されるものではなく、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することも可能である。
【0085】
(1)上記の各実施形態においては、各精度グループGの設定認識領域RAが、共通の外縁を有しつつ要求精度レベルが低くなるに従って消失点Dに近い領域を含むように設定されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、各精度グループGにおける設定認識領域RAの外縁が順次消失点Dに近づくように設定され、各精度グループGの設定認識領域RAが重複部分を有さないように設定された構成とすることも、本発明の好適な実施形態の一つである。この場合における設定認識領域テーブル75の一例を、図11に示している。この図に示すように、例えば高精度グループGHの支援処理APには画像データ中の周縁部領域(図11の下段における第一領域A1のみ)が設定認識領域RAとして設定され、中精度グループGMの支援処理APには画像データ中の消失点Dの周辺と周縁部とを除く領域(図11の下段における第二領域A2のみ)が設定認識領域RAとして設定され、低精度グループGLの支援処理APには画像データ中の消失点Dの周辺領域(図11の下段における第三領域A3のみ)が設定認識領域RAとして設定された構成とすることも、本発明の好適な実施形態の一つである(上記第一の実施形態においては認識処理領域PAについても同様)。この場合において、例えば互いに隣接する設定認識領域RAどうしの間で境界部分の周辺のみが重複するように、各精度グループGにおける設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0086】
(2)上記の各実施形態においては、支援処理AP毎の精度グループGの情報が要求精度テーブル74に記憶されると共に、精度グループG毎の設定認識領域RAの情報が設定認識領域テーブル75に記憶されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば各精度グループGの支援処理AP毎に設定認識領域RAの情報が直接的に関連付けられて記憶された構成とすることも、本発明の好適な実施形態の一つである。
【0087】
(3)上記の各実施形態においては、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて複数の精度グループGに区分され、要求精度テーブル74には精度グループG毎に設定された設定認識領域RAの情報が記憶されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、そのようなグループ化をすることなく、要求精度テーブル74には支援処理AP毎に要求精度を個別に記憶して備えた構成とすることも、本発明の好適な実施形態の一つである。或いは、支援処理AP毎に個別に設定認識領域RAの情報が直接的に関連付けられて記憶された構成とすることも、本発明の好適な実施形態の一つである。
【0088】
(4)上記の各実施形態においては、複数の支援処理APが、支援処理AP毎に要求される認識精度に応じて3つの精度グループGに区分されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば複数の支援処理APが2つの精度グループGに区分されて各精度グループGに設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。或いは、複数の支援処理APが4つ以上の精度グループGに区分されて各精度グループGに設定認識領域RAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0089】
(5)上記の各実施形態においては、それぞれの実行候補支援処理Cに要求される認識精度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度が決定される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えばそれぞれの実行候補支援処理Cに要求される作動頻度が高いほど優先度が高くなるように、それぞれの実行候補支援処理Cの優先度が決定される構成とすることも、本発明の好適な実施形態の一つである。
【0090】
(6)上記第一の実施形態においては、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBから順にマッチング処理が実行され、最初にマッチングに成功した認識対象地物OBに対応付けられた実行候補支援処理Cの実行のみが許可される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、マッチング処理により認識対象地物OBが認識された画像データ中の位置が、少なくとも実行候補支援処理Cについて設定された設定認識領域RA内に含まれているのであれば、2番目以降にマッチングに成功した認識対象地物OBに対応付けられた実行候補支援処理Cの実行も許可される構成とすることも、本発明の好適な実施形態の一つである。
【0091】
(7)上記第二の実施形態においては、優先度決定部32により決定された優先度の情報が、走行支援システム1において複数の支援処理APの同時実行が不可能な場合にのみ利用されるように構成されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば上記第二の実施形態においても、上記第一の実施形態と同様に、優先度が高い実行候補支援処理Cに対応付けられた認識対象地物OBのマッチング用地物データから順にマッチング処理を行う構成としても良い。この場合、設定された設定認識領域RA内にマッチング位置が含まれていると最初に判定された実行候補支援処理Cのみの実行を許可する構成としても良いし、2番目以降にそのように判定された実行候補支援処理Cの実行をも許可する構成としても良い。
【0092】
(8)上記第一の実施形態においては、それぞれの実行候補支援処理Cについて設定認識領域RAと認識処理領域PAとが一致している場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、設定認識領域RAと認識処理領域PAとは必ずしも一致している必要はなく、例えばそれぞれの実行候補支援処理Cについて、設定認識領域RAを包含するように、或いは設定認識領域RAに包含されるように認識処理領域PAが設定された構成とすることも、本発明の好適な実施形態の一つである。
【0093】
(9)上記の各実施形態においては、地物データベース72に記憶された規制標識や道路標示がマッチング処理における「認識対象物」とされている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば道路周辺に存在する建築物や建造物等を認識対象物としてマッチング処理を行う構成とすることも、本発明の好適な実施形態の一つである。この場合、少なくともそれらの認識対象物の特徴点群データと位置情報とを含む参照データベースを構築して走行支援システム1に備えておくと好適である。
【0094】
(10)上記の各実施形態においては、GPS位置データと推測航法位置データとに基づいて導出される推定自車位置をマップマッチング処理により補正することで自車位置情報を取得する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば所謂道路インフラである路車間通信又は車車間通信によって自車位置情報を取得する構成とすることも、本発明の好適な実施形態の一つである。
【0095】
(11)上記の各実施形態においては、走行支援システム1の全体が車両Vに搭載されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば上述した走行支援システム1の一部の構成がサーバコンピュータ等の中央管理装置に備えられ、携帯電話網や無線LAN(Local Area Network)等の通信網を介して全体として車両Vの走行支援に関する複数の支援処理APが実行可能に構成されていても好適である。
【0096】
(12)その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載された構成及びこれと均等な構成を備えている限り、特許請求の範囲に記載されていない構成の一部を適宜改変した構成も、当然に本発明の技術的範囲に属する。
【産業上の利用可能性】
【0097】
本発明は、車両の走行支援に関する複数の支援処理を実行可能な走行支援システム、並びに当該走行支援システムにおける走行支援プログラム及び走行支援方法に好適に利用することができる。
【符号の説明】
【0098】
1 走行支援システム
14 車載カメラ
23 自車位置情報取得部
31 候補処理抽出部
32 優先度決定部
33 認識処理領域決定部
36 画像認識部
37 支援処理実行管理部
73 記憶メモリ(認識領域情報記憶部)
AP 支援処理
AP1 車両制御用支援処理(第一支援処理)
AP2 案内用支援処理(第二支援処理)
C 実行候補支援処理
RA 設定認識領域
PA 認識処理領域
G 精度グループ
OB 認識対象地物(認識対象物)
D 消失点
【特許請求の範囲】
【請求項1】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムであって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識部と、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定された前記画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部と、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出部と、
抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理部と、
を備えた走行支援システム。
【請求項2】
複数の前記支援処理には、第一支援処理と、実行のために要求される前記認識対象物の認識精度が前記第一支援処理に要求される認識精度よりも低い第二支援処理と、が含まれ、
前記第二支援処理について設定された前記設定認識領域は、前記第一支援処理について設定された前記設定認識領域に比べて前記画像データ中の消失点に近い領域を含む請求項1に記載の走行支援システム。
【請求項3】
複数の前記支援処理が、前記支援処理毎に要求される認識精度に応じて複数の精度グループに区分され、
前記認識領域情報記憶部には、前記精度グループ毎に要求される認識精度に応じて設定された前記設定認識領域の情報が記憶されている請求項1又は2に記載の走行支援システム。
【請求項4】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、
抽出されたそれぞれの前記実行候補支援処理についての前記設定認識領域に基づいて、前記認識対象物の画像認識処理を実行する前に前記画像データ中の領域である認識処理領域を決定する認識処理領域決定部と、を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記支援処理実行管理部は、前記認識処理領域決定部により決定された前記認識処理領域において前記実行候補支援処理に対応付けられた前記認識対象物が認識された場合に、当該実行候補支援処理の実行を許可する請求項1から3のいずれか一項に記載の走行支援システム。
【請求項5】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、
抽出されたそれぞれの前記実行候補支援処理に対して、当該実行候補支援処理に要求される認識精度が高いほど高くなる優先度を決定する優先度決定部と、を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記支援処理実行管理部は、前記優先度が高い前記実行候補支援処理から順に、当該実行候補支援処理に対応付けられた前記認識対象物の前記画像認識処理を実行させ、最初に認識された前記認識対象物に対応付けられた前記実行候補支援処理の実行を少なくとも許可する請求項1から4のいずれか一項に記載の走行支援システム。
【請求項6】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記画像認識部は、前記画像データの全体に対して、抽出された前記実行候補支援処理に対応付けられた前記認識対象物の画像認識処理を実行し、
前記支援処理実行管理部は、抽出された前記実行候補支援処理の中で、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が当該実行候補支援処理について設定された前記設定認識領域内に含まれている前記実行候補支援処理の少なくとも一つの実行を許可する請求項1から3のいずれか一項に記載の走行支援システム。
【請求項7】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援プログラムであって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、
をコンピュータに実行させる走行支援プログラム。
【請求項8】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援方法であって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、
を備える走行支援方法。
【請求項1】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムであって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識部と、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定された前記画像データ中の設定認識領域の情報を記憶した認識領域情報記憶部と、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出部と、
抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理部と、
を備えた走行支援システム。
【請求項2】
複数の前記支援処理には、第一支援処理と、実行のために要求される前記認識対象物の認識精度が前記第一支援処理に要求される認識精度よりも低い第二支援処理と、が含まれ、
前記第二支援処理について設定された前記設定認識領域は、前記第一支援処理について設定された前記設定認識領域に比べて前記画像データ中の消失点に近い領域を含む請求項1に記載の走行支援システム。
【請求項3】
複数の前記支援処理が、前記支援処理毎に要求される認識精度に応じて複数の精度グループに区分され、
前記認識領域情報記憶部には、前記精度グループ毎に要求される認識精度に応じて設定された前記設定認識領域の情報が記憶されている請求項1又は2に記載の走行支援システム。
【請求項4】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、
抽出されたそれぞれの前記実行候補支援処理についての前記設定認識領域に基づいて、前記認識対象物の画像認識処理を実行する前に前記画像データ中の領域である認識処理領域を決定する認識処理領域決定部と、を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記支援処理実行管理部は、前記認識処理領域決定部により決定された前記認識処理領域において前記実行候補支援処理に対応付けられた前記認識対象物が認識された場合に、当該実行候補支援処理の実行を許可する請求項1から3のいずれか一項に記載の走行支援システム。
【請求項5】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部と、
抽出されたそれぞれの前記実行候補支援処理に対して、当該実行候補支援処理に要求される認識精度が高いほど高くなる優先度を決定する優先度決定部と、を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記支援処理実行管理部は、前記優先度が高い前記実行候補支援処理から順に、当該実行候補支援処理に対応付けられた前記認識対象物の前記画像認識処理を実行させ、最初に認識された前記認識対象物に対応付けられた前記実行候補支援処理の実行を少なくとも許可する請求項1から4のいずれか一項に記載の走行支援システム。
【請求項6】
車両の現在位置を表す自車位置情報を取得する自車位置情報取得部を備え、
前記候補処理抽出部は、前記自車位置情報に基づいて前記実行候補支援処理を抽出し、
前記画像認識部は、前記画像データの全体に対して、抽出された前記実行候補支援処理に対応付けられた前記認識対象物の画像認識処理を実行し、
前記支援処理実行管理部は、抽出された前記実行候補支援処理の中で、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が当該実行候補支援処理について設定された前記設定認識領域内に含まれている前記実行候補支援処理の少なくとも一つの実行を許可する請求項1から3のいずれか一項に記載の走行支援システム。
【請求項7】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援プログラムであって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、
をコンピュータに実行させる走行支援プログラム。
【請求項8】
車両の走行支援に関する複数の支援処理を実行可能な走行支援システムにおける走行支援方法であって、
車載カメラにより撮影された画像データ中に含まれる、前記支援処理毎に対応付けられた認識対象物の画像認識処理を行う画像認識ステップと、
前記複数の支援処理の中から1又は2以上の実行候補支援処理を抽出する候補処理抽出ステップと、
前記画像認識処理の結果に基づいて動作する複数の前記支援処理のそれぞれについて、当該支援処理の実行のために要求される前記認識対象物の認識精度に応じて設定されて認識領域情報記憶部に記憶された前記画像データ中の設定認識領域の情報を用い、前記候補処理抽出ステップで抽出された前記実行候補支援処理について、前記画像認識処理により前記認識対象物が認識された前記画像データ中の位置が、当該実行候補支援処理について設定された前記設定認識領域内に含まれていることを条件として、当該実行候補支援処理の実行を許可する支援処理実行管理ステップと、
を備える走行支援方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−118871(P2012−118871A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−269474(P2010−269474)
【出願日】平成22年12月2日(2010.12.2)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願日】平成22年12月2日(2010.12.2)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]