道路環境認識方法及び道路環境認識装置
【課題】 道路環境を高精度に認識することができる道路環境認識方法及び道路環境認識装置を提供することを課題とする。
【解決手段】 車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置１であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、認識すべき道路を撮像する撮像手段２と、撮像手段２で撮像した撮像画像から線分を検出する線分検出手段３ａと、線分検出手段３ａで検出した線分に対して複数の特徴を算出する特徴算出手段３ｂと、記憶手段に記憶している属性推定規則に基づいて、特徴算出手段３ｂで算出した複数の特徴から線分の属性を推定する属性推定手段３ｃとを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【解決手段】 車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置１であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、認識すべき道路を撮像する撮像手段２と、撮像手段２で撮像した撮像画像から線分を検出する線分検出手段３ａと、線分検出手段３ａで検出した線分に対して複数の特徴を算出する特徴算出手段３ｂと、記憶手段に記憶している属性推定規則に基づいて、特徴算出手段３ｂで算出した複数の特徴から線分の属性を推定する属性推定手段３ｃとを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から道路環境を認識する道路環境認識方法及び道路環境認識装置に関する。
【背景技術】
【０００２】
レーンキープや自動操舵等に利用するために、車線（白線）を認識する装置が開発されている。白線を認識する手法としては、例えば、カメラで道路を撮像し、その撮像画像の画像輝度が暗→明に変化する正エッジと明→暗に変化する負エッジを検出し、各エッジをそれぞれＨｏｕｇｈ変換することによって白線を認識している（特許文献１参照）。この手法では、白線が正エッジと負エッジとの組み合せで表されることを利用して認識精度を向上させている。
【特許文献１】特開平１１−８５９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、道路の撮像画像には、ガードレールの影など、上記手法では除去しきれない相似パターンが多数存在する。そのため、上記手法では、白線を検出できない場合がある。また、レーンキープや自動操舵等を実現するためには、白線以外にも道路境界（路肩、道路と歩道との境界）等の他の道路環境も認識する必要がある。
【０００４】
そこで、本発明は、道路環境を高精度に認識することができる道路環境認識方法及び道路環境認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る道路環境認識方法は、道路を撮像した撮像画像から道路環境を認識する道路環境認識方法であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習ステップと、認識すべき道路を撮像する撮像ステップと、撮像ステップで撮像した撮像画像から線分を検出する線分検出ステップと、線分検出ステップで検出した線分に対して複数の特徴を算出する特徴算出ステップと、学習ステップで生成した属性推定規則に基づいて、特徴算出ステップで算出した複数の特徴から線分の属性を推定する属性推定ステップとを含み、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【０００６】
この道路環境認識方法では、実際に撮像画像から道路環境を認識する前に、道路環境の属性を推定するための属性推定規則を生成するために学習を行う。属性推定規則を生成するためには、任意の道路の撮像画像から線分を検出し、検出した線分に対して属性を推定する上で必要となる様々な特徴を算出する。属性（道路環境）によって、各線分が有している特徴は異なる。そこで、各線分に対する複数の特徴と属性との関係を学習し、その学習結果から属性推定規則を生成する。道路環境認識方法では、実際に道路環境を認識する段階で、撮像手段により道路を撮像し、撮像画像を取得する。そして、道路環境認識方法では、撮像画像から線分を検出し、検出した線分に対して特徴を算出する。さらに、道路環境認識方法では、各線分に対して、属性推定規則に基づいて検出した特徴から属性を推定し、その属性から道路環境を認識する。このように、この道路環境認識方法では、各線分の複数の特徴と属性との関係の学習結果である属性推定規則に基づいて、複数の特徴による総合的な判断から線分の属性を推定する。その結果、道路環境を高精度に認識することができる。
【０００７】
なお、道路環境としては、道路上及び道路周辺に存在する様々なものであり、例えば、レーンマーカ（白実線、黄実線、白破線等）、道路境界（路肩、車道と歩道との段差、ブロック、側溝、縁石、草むら等）である。属性は、認識対象の道路環境にそれぞれ対応して設けられる属性である。撮像画像から検出される線分は、様々な道路環境の輪郭の一部又は全部を構成する線分である。属性推定規則としては、各種統計分析手法が用いられ、例えば、ベイジアンネット、ニューラルネットである。
【０００８】
本発明の上記道路環境認識方法では、学習ステップ及び線分検出ステップの少なくとも一方のステップにおいて、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【０００９】
この道路環境認識方法では、撮像画像から線分を検出する際に、撮像画像を複数の矩形領域に分割し、分割した矩形領域から線分をそれぞれ検出する。さらに、隣接する矩形領域間において一方の矩形領域の線分から他方の矩形領域の線分への連続性を評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を評価する。この際、隣接する矩形領域の線分間の位置関係と角度関係に基づいて評価を行う。そして、一方の矩形領域の線分と他方の矩形領域の線分とが連続性を有していると評価すると、その一方の矩形領域の線分と他方の矩形領域の線分とを１本の線分として近似する。このように、道路環境認識装置では、撮像画像を矩形領域に分割し、隣接する矩形領域における線分の連続性を両方向から評価することにより、隣接する矩形領域間で線分が連続した線分か否かを高精度に判定することができる。さらに、道路環境認識装置では、連続性を有している場合には１本の線分に近似するので、撮像画像から滑らかな線分を検出することができる。このように、この道路環境認識装置では、ノイズの影響の少ない滑らかな線分を用いることにより道路環境をより高精度に認識することができる。また、この線分検出手法は、従来の手法より高速である。
【００１０】
本発明の上記道路環境認識方法では、学習ステップ及び属性推定ステップの少なくとも一方のステップにおいて、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００１１】
この道路環境認識方法では、属性を推定する際に、撮像画像から検出した線分が各属性である確率をそれぞれ算出し、複数の線分間の位置関係に基づいてその算出した確率を更新する。そして、道路環境認識装置では、その更新した各属性である確率に基づいて、線分の属性を推定する。このように、道路環境認識装置では、線分間の位置関係も加味して属性を推定するので、道路環境をより高精度に認識することができる。
【００１２】
本発明の上記道路環境認識方法では、現在位置を取得する位置取得ステップと、位置取得ステップで取得した現在位置の地図情報を取得する地図情報取得ステップと、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定ステップとを含み、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００１３】
この道路環境認識方法では、現在位置を取得し、この現在位置周辺の地図情報を取得する。そして、道路環境認識方法では、属性推定規則及び地図情報を用いて道路状態を推定し、この道路状態に応じて線分の属性を推定する。このように、道路環境認識装置では、道路環境が異なる道路状態に応じて線分の属性を推定するので、道路環境をより高精度に推定することができる。
【００１４】
なお、道路状態としては、例えば、車線なし、片側一車線、片側二車線、片側三車線、中央分離帯の有無、交差点である。
【００１５】
本発明に係る道路環境認識装置は、車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、認識すべき道路を撮像する撮像手段と、撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、記憶手段に記憶している属性推定規則に基づいて、特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段とを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【００１６】
本発明の上記道路環境認識装置では、線分検出手段を、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【００１７】
本発明の上記道路環境認識装置では、属性推定手段を、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００１８】
本発明の上記道路環境認識装置では、現在位置を取得する位置取得手段と、位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定手段とを備え、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００１９】
また、本発明に係る道路環境認識装置は、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習手段と、認識すべき道路を撮像する撮像手段と、撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、学習手段で生成した属性推定規則に基づいて、特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段とを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【００２０】
本発明の上記道路環境認識装置では、学習手段及び線分検出手段の少なくとも一方の手段を、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【００２１】
本発明の上記道路環境認識装置では、学習手段及び属性推定手段の少なくとも一方の手段を、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００２２】
本発明の上記道路環境認識装置では、現在位置を取得する位置取得手段と、位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定手段とを備え、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００２３】
なお、上記した各道路環境認識装置では、上記道路環境認識方法と同様の作用効果を奏する。ただし、車両に搭載される道路環境認識装置では、学習によって得られた属性推定規則が記憶手段に予め記憶されており、この記憶手段に記憶されている属性推定規則を用いて属性を推定する。
【発明の効果】
【００２４】
本発明によれば、道路環境を高精度に認識することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して、本発明に係る道路環境認識方法及び道路環境認識装置の実施の形態を説明する。
【００２６】
本実施の形態では、本発明を、コンピュータと車載される道路環境認識装置からなる道路環境認識システムに提供する。本実施の形態に係るコンピュータでは、事前に学習を行い、属性推定規則に相当する推論規則を生成する。本実施の形態に係る道路環境認識装置では、コンピュータで生成した推論規則を保持し、この推論規則に基づいて道路環境を認識する。本実施の形態では、推論規則としてベイジアンネットを利用し、道路環境としてレーンマーカと道路境界を認識する。本実施の形態には、４つの形態があり、第１の実施の形態がセグメント（線分）の各特徴量を考慮した推論規則を用いる基本構成の形態であり、第２の実施の形態がセグメントを検出する際にセグメント間の連続性を考慮する形態であり、第３の実施の形態が２つのセグメントの位置関係を考慮した推論規則も用いる形態であり、第４の実施の形態が道路構造（道路状態）を考慮した推論規則も用いる形態である。
【００２７】
図１〜図８を参照して、第１の実施の形態に係る道路環境認識システムについて説明する。図１は、第１の実施の形態に係る道路環境認識装置の構成図である。図２は、認識対象の道路環境の説明図である。図３は、撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が矩形領域に分割した撮像画像である。図４は、本実施の形態におけるセグメントの特徴量の説明図であり、（ａ）が水平位置、鉛直位置、角度の説明図であり、（ｂ）が平行線分距離、平行線分角度差の説明図であり、（ｃ）が輝度比、勾配方向の説明図である。図５は、第１の実施の形態における各セグメントの属性及び特徴量からなるデータベースの一例である。図６は、第１の実施の形態における推論規則（ベイジアンネット）のテーブルの一例であり、（ａ）が生起回数テーブルであり、（ｂ）が条件付確率テーブルである。図７は、第１の実施の形態における推論規則（ベイジアンネット）のネットワーク構造の一例である。図８は、クラスとセグメントの関係を示す図である。
【００２８】
第１の実施の形態に係る道路環境認識システムは、事前に学習を行うためのコンピュータ（図示せず）と実際に道路環境を認識するための道路環境認識装置１からなる。コンピュータは、カメラで撮像された動画像を処理することができるコンピュータであり、例えば、パーソナルコンピュータである。コンピュータでは、道路環境認識装置１に保持させる推論規則（ベイジアンネット）を生成する。道路環境認識装置１は、車両に搭載され、推論規則に基づいて車両前方の道路環境を認識する。この認識した道路環境の情報は、レーンキープ、自動操舵、歩行者衝突警報、車線変更可否判断等の各種制御に利用される。
【００２９】
まず、図２を参照して、認識対象となる道路環境と属性について説明しておく。道路環境としては、レーンマーカと道路境界である。レーンマーカとしては、車線を示し、例えば、白実線、白破線、黄実線がある。道路境界としては、車道の端部であり、例えば、路肩、車道と歩道との段差、ブロック、側溝、縁石、草むらである。各種制御で利用する場合には自車両が走行している車線とその車線の左右両側の車線情報が判ればよいので、自車両が走行している車線とその両側の車線に関するレーンマーカと道路境界のみを認識対象の道路境界として定義する。
【００３０】
レーンマーカについては、自車両Ｖの位置を基準として相対位置を考慮し、自車両Ｖの左側のレーンマーカＲＬ１を「レーンマーカ左１」、レーンマーカＲＬ１の左側のレーンマーカＲＬ２を「レーンマーカ左２」、自車両Ｖの右側のレーンマーカＲＲ１を「レーンマーカ右１」、レーンマーカＲＲ１の右側のレーンマーカＲＲ２を「レーンマーカ右２」とそれぞれ定義する。道路境界についても、自車両Ｖの位置を基準として相対位置を考慮し、自車両Ｖの左側の道路境界ＢＬ１を「道路境界左１」、道路境界ＢＬ１の左側の道路境界ＢＬ２を「道路境界左２」、自車両Ｖの右側の道路境界ＲＲ１を「道路境界右１」、道路境界ＲＲ１の右側の道路境界ＲＲ２を「道路境界右２」とそれぞれ定義する。「道路境界左１」は「レーンマーカ左１」の外側にある道路境界であり、「道路境界右１」は「レーンマーカ右１」の外側にある道路境界であり、「道路境界左２」は「レーンマーカ左２」の外側にある道路境界であり、「道路境界右２」は「レーンマーカ右２」の外側にある道路境界である。
【００３１】
本実施の形態では、上記で定義した「レーンマーカ左１」、「レーンマーカ左２」、「レーンマーカ右１」、「レーンマーカ右２」、「道路境界左１」、「道路境界左２」、「道路境界右１」、「道路境界右２」に「どれでもない」を加えた９種類がセグメント属性である。このセグメント属性には、０，１，・・・と属性を示す番号がそれぞれ付与される。また、レーンマーカについては、白実線、白破線、黄実線などのレーンマーカ属性がある。道路境界については、車道と歩道とのブロック、縁石、側溝、草むらなどの道路境界属性がある。
なお、道路には車線なし、片側一車線、片側二車線、片側三車線など様々な構造があるので、道路構造によっては定義したセグメント属性が全て存在するわけではない。
【００３２】
まず、コンピュータで事前に行う学習について説明する。コンピュータでは、オペレータによる指令に基づいて、セグメント属性を推定するための推論規則を求める。そのために、コンピュータには、予め学習用のプログラムが組み込まれており、オペレータによって操作される。また、コンピュータには、学習用の撮像画像が入力される。学習用の撮像画像は、数百〜数千枚程度の多数枚であり、カメラにより様々な道路を撮像した撮像画像である。撮像する道路としては、片側一車線など様々な道路構造の道路、同じ道路構造の道路でも道路境界の違う道路あるいは直線路やカーブ路路などの様々な道路である。図３（ａ）には、片側一車線の撮像画像の一例を示しており、道路の両側に白実線のレーンマーカがあり、中央に黄実線のレーンマーカがあり、さらに、白実線のレーンマーカの外側に車道と歩道とを区画するブロックが存在する。したがって、図３の例では、レーンマーカ左１、レーンマーカ右１、レーンマーカ右２、道路境界左１、道路境界右２が存在する。
【００３３】
コンピュータでは、オペレータによって学習用プログラムが起動されると、ディスプレイ上に学習用ツールを表示させる。そして、コンピュータでは、オペレータからの指令に従って、学習用の撮像画像から認識対象（レーンマーカ、道路境界）の候補となる線（直線、曲線など）を抽出する。この線の抽出手法は、撮像画像の処理すべき画像範囲（通常、道路の存在する画像の下側）に対してＳｏｂｅｌフィルタやＬａｐｌａｃｅフィルタなどを用いてエッジ抽出を行い、エッジ画像に対してＨｏｕｇｈ変換を行う。そして、式（１）で表される曲線（直線も含む）を抽出する。
【００３４】
【数１】
（１）式において、ｘは画像上の横方向、ｙは縦方向とする。コンピュータでは、撮像画像毎に式（１）の曲線を抽出すると、撮像画像を任意の高さ毎に矩形領域に区画する。この矩形領域に区画された曲線を線分（以下、セグメントを呼ぶ）に近似する。図３（ｂ）に示すように、図３（ａ）の撮像画像の下側が複数の矩形領域に分割されている。ちなみに、各矩形領域には縦位置番号が付与され、縦位置番号は撮像画像の最下の矩形領域から０，１，・・・と付与される。
【００３５】
ここで、セグメントが抽出されると、オペレータは、撮像画像を見ながら、各セグメントに対してそのセグメント属性の正解を入力する。このセグメント属性の正解の付与については、セグメント抽出のパラメータの調整毎に新たに正解を付与する必要があり、効率的でない。そこで、オペレータが学習画像毎に事前に各認識対象の正解位置を付与し、コンピュータ側で正解位置との距離が閾値以内で最も近いセグメントにそのセグメント属性を付与するようにしてもよい。これにより、セグメント抽出のパラメータ調整をした場合、その正解付与をやり直す必要がなく、工数を大幅に削減できる。また、オペレータは、レーンマーカに対しては白実線、白破線、黄実線などのレーンマーカ属性を入力し、道路境界に対しては車道と歩道とのブロック、縁石、側溝、草むらなどの道路境界属性を入力する。
【００３６】
属性の正解が入力されると、コンピュータでは、セグメント毎に、その特徴量を算出する。特徴量は、図４（ａ）〜（ｃ）に示すように、水平位置、鉛直位置、角度、平行線分距離、平行線分角度差、輝度比、勾配方向の７つある。水平位置は、画像の左端を基準としたセグメントの中点の水平方向の位置である。鉛直位置は、画像の上端を基準としたセグメントの中点の鉛直方向の位置である。角度は、鉛直線を基準としたセグメントの角度である。平行線分距離は、セグメントの中点から高輝度側に水平方向一定距離以内に角度差が閾値以下、かつ、勾配方向が逆のセグメントが存在する場合には２つのセグメントの水平位置の差であり、該当するセグメントが存在しない場合には平行線分が存在しないことを示す値である。平行線分角度差は、セグメントの中点から高輝度側に水平方向一定距離以内に角度差が閾値以下、かつ、勾配方向が逆のセグメントが存在する場合には２つのセグメントの角度差であり、該当するセグメントが存在しない場合には平行線分が存在しないことを示す値である。輝度比は、セグメントの中点から水平方向一定距離内にある画素の最大輝度値と最小輝度値との比である。勾配方向は、セグメントの中点から水平方向一定距離内で最大輝度値と最小輝度値を与える画素の水平位置の差である。なお、特徴量としては、これら以外のものを設定してもよい。
【００３７】
続いて、コンピュータでは、セグメント毎に、セグメント属性、レーンマーカ属性、道路境界属性及び７つの特徴量をデータベースに格納する。図５には、そのデータベースの一例を示している。ちなみに、撮像画像から抽出されるセグメントにはレーンマーカや道路境界以外の道路上のもの（例えば、横断歩道）のセグメントも存在するので、それらセグメントにはセグメント属性として「どれでもない」が付与されている。コンピュータでは、入力した全ての学習用の撮像画像に対して以上の処理を行い、データベースを構築する。
【００３８】
そして、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、データベースに基づいて各セグメントの属性を推定するための推論規則を作成する。ここでは、各ノード間の親子関係の有無、親子関係にある場合には親ノードの状態が決まったときに子ノードの状態に関する事後確率（条件付確率）を算出する。そして、ノードの親子関係を示したネットワークを構築する。ノードは、各データ項目からなる。データ項目は、７つの特徴量と３つの属性（セグメント属性、レーンマーカ属性、道路境界属性）である。ノードとなるデータ項目には、０，１，・・・と番号がそれぞれ付与される。
【００３９】
具体的には、まず、１０個のデータ項目を順に基準ノードとし、基準ノードに対して親候補となるノードをデータ項目から選択する。この選択では、各データ項目の定性的な意味を利用できる。例えば、水平位置がセグメント属性により決まると考えられる場合、セグメント属性を水平位置の親候補のノードとする。このような知識が使えない場合、自ノードより若いノード番号（データ項目番号）を持つノード（データ項目）を全て親候補とするなどのルールを用いる。
【００４０】
さらに、親候補のノードの数をＮ個とし、Ｎ個の親候補の組み合せ（２Ｎ個）を求める。例えば、番号８のノードの親候補が番号２、番号４、番号５の３つのノードとすると、実際の親は、（ＮＵＬＬ）、（２）、（４）、（５）、（２，４）、（２，５）、（４，５）、（２，４，５）の８通りの組み合せのいずれかである。これら組み合せに対して０から２Ｎ−１までの組み合せ番号を付与する。そして、各組み合せ番号の親候補に対して、条件付確率をそれぞれ算出する。各ノードが離散値の場合、条件付確率は、単純に生起回数をカウントし、正規化することによって求めることができる。各ノードが連続値をとる場合には、Ｋ−ｍｅａｎなどの手法で離散化することにより、離散値として取り扱うことができる。
【００４１】
図６には、（ａ）に生起回数をカウントしたテーブル及び（ｂ）に条件付確率のテーブルの一例を示している。この例では、番号８のノード（データ項目８）の番号２、番号４、番号５の３つの組み合せ（データ項目２、データ項目４、データ項目５）の親候補に対するテーブルである。ここでは、簡略化して各ノードの離散値と「Ｙ」と「Ｎ」としているが、実際にはデータ項目毎に値やその離散値の個数が異なる。例えば、ノード（データ項目）がセグメント属性の場合にはレーンマーカ左１、レーンマーカ左２などであり、水平位置の場合には０，１，・・・である。図６（ａ）に示す生起回数のテーブルには、全ての学習用の撮像画像から抽出されたセグメントにおいて、データ項目８及びデータ項目２、データ項目４、データ項目５の各離散値に該当するセグメントがある場合にはそのセグメントの個数がカウントされ、そのカウント値が生起回数として示されている。そして、図６（ｂ）に示す条件付確率テーブルには、全ての学習用の撮像画像から抽出されたセグメントの全数と各生起回数とから正規化した条件付確率が示されている。
【００４２】
続いて、親候補の組み合せ毎に、評価値を算出する。評価値は、式（２）で示すＡＩＣ[Akaike's Information Criteria]（赤池の情報基準）などの情報量基準を利用する。この条件付確率と評価値については、基準ノード毎に、２Ｎ個の親候補の全ての組み合せについて求める。そして、各組み合せの評価値から、最大の評価値の親候補の組み合せを基準ノードの親とする。
【００４３】
【数２】
式（２）では、右辺第１項が親候補の組み合せにより基準ノード（データ項目）がよく表現されているかを表しており、右辺第２項が親の数が増えてモデルが複雑になることへのペナルティを表している。
【００４４】
以上の処理を全てのデータ項目を基準ノードとして行い、各基準ノード（データ項目）の親をそれぞれ決める。そして、この親子関係から、ベイジアンネットのネットワーク構造を求める。図７には、ネットワーク構造の一例を示している。図７の例では、例えば、平行線分距離の親はセグメント属性と鉛直位置であり、セグメント属性は親がなく、子が道路境界属性、レーンマーカ属性、勾配方向、角度、平行線分距離、水平位置であり、鉛直位置は親がなく、子が平行線分距離、平行線分角度、水平位置である。ちなみに、セグメント属性を推定する場合、その子である道路境界属性、レーンマーカ属性、勾配方向、角度、平行線分距離、水平位置を参照し、更に、その子の親や子を参照することによりセグメント属性を推定することができる。
【００４５】
このように、コンピュータによる事前の学習により、各セグメントの特徴量からセグメント属性を推定するための推論規則を求める。推論規則は、ベイジアンネットのネットワーク構造と条件付確率を組み合せたものである。
【００４６】
次に、道路環境認識装置１について説明する。道路環境認識装置１は、車両に搭載され、走行中の道路における道路環境を認識する。特に、道路環境認識装置１では、事前の学習のよって作成した推論規則を用いてセグメント毎にセグメント属性を推定し、道路環境を認識する。そして、道路環境認識装置１では、認識結果をレーンマーカや道路境界の情報を必要とする他の装置に出力する。そのために、道路環境認識装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備え、画像ＥＣＵ３にセグメント検出部３ａ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、結果出力部３ｄが構成される。
【００４７】
なお、第１の実施の形態ではカメラ２が特許請求の範囲に記載する撮像手段に相当し、セグメント検出部３ａが特許請求の範囲に記載する線分検出手段に相当し、セグメント特徴算出部３ｂが特許請求の範囲に記載する特徴算出手段に相当し、セグメント属性推定部３ｃが特許請求の範囲に記載する属性推定手段に相当する。
【００４８】
カメラ２は、例えば、ＣＣＤ[Charge Coupled Device]カメラであり、道路環境認識装置１を搭載する自動車の前方かつ中央に取り付けられる。カメラ２では、自動車の前方を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。カメラ２では、その撮像画像のデータを画像ＥＣＵ３に送信する。カメラ２は、左右方向に撮像範囲が広く、車道の外側に設けられる歩道、路側帯等まで撮像可能である。
【００４９】
画像ＥＣＵ３は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、各処理部が構成される。画像ＥＣＵ３では、カメラ２から撮像画像のデータを取り入れ、その撮像画像からセグメントを抽出し、各セグメントの特徴量を算出する。そして、画像ＥＣＵ３では、推論規則を用いて、セグメントの特徴量に基づいてセグメント属性を推定し、道路環境を認識する。画像ＥＣＵ３には、ＲＯＭにコンピュータで作成した推論規則（ベイジアンネットのネットワーク構造と条件付確率）が記憶されている。なお、第１の実施の形態では、画像ＥＣＵ３のＲＯＭが特許請求の範囲に記載する記憶手段に相当する。
【００５０】
セグメント検出部３ａでは、撮像画像から認識対象（レーンマーカ、道路境界）の候補となるセグメントを検出する。この検出手法は、コンピュータで行った手法と同じである。セグメント特徴算出部３ｂでは、セグメント毎に、その特徴量を算出する。
【００５１】
セグメント属性推定部３ｃでは、推論規則を用いて、セグメント毎に、そのセグメントが各セグメント属性である生起確率を求める。さらに、各レーンマーカ属性である生起確率や各道路境界属性である生起確率を求めてもよい。生起確率を求める場合、ベイジアンネットワークの確率伝播技術を用いる。さらに、セグメント属性推定部３ｃでは、セグメント毎に、各セグメント属性に対する生起確率に基づいてセグメント属性を推定する。このセグメント属性の推定では、基本的には、最も生起確率の高いセグメント属性を採用する。また、同じ矩形領域において同一のセグメント属性となるセグメントが２つ以上存在する場合、２つ以上のセグメントの中からそのセグメント属性である生起確率が最も高いセグメントを１つ採用する。
【００５２】
結果出力部３ｄでは、ノイズを取り除くために、フィルタリングを行う。このフィルタリングでは、セグメントのクラスタリングを行い、属するセグメントが最も多いクラスを、各セグメント属性に対する真の解釈として採用する。具体的には、まず、処理対象のセグメント属性を決定し、さらに、処理対象の矩形領域を決定する。そして、処理対象の矩形領域から処理対象のセグメント属性と確定されているセグメントを抽出し、式（３）により、既に作成しているクラスとその抽出したセグメントとの距離を算出する。クラスが複数ある場合、各クラスとの距離を算出する。図８には、式（３）で用いるパラメータを示している。Ｓ１は既に作成されているクラスに属する矩形領域の縦位置が最も上方のセグメントであり、Ｓ２は現在処理対象のセグメントである。θはセグメントＳ１とセグメントＳ２との角度差であり、ｈはセグメントＳ１とセグメントＳ２との鉛直位置差であり、ｄは同じ矩形領域におけるセグメントＳ１の延長線とセグメントＳ２との水平位置差である。
【００５３】
【数３】
式（３）におけるα、βは、実験やシミュレーション等によって求められた定数である。式（３）では、セグメントＳ１とセグメントＳ２の位置関係と角度関係からセグメントＳ１とセグメントＳ２との距離が算出される。また、式（３）では、θｔｈｄは角度差θの閾値であり、ｄｔｈｄは（水平位置差ｄ／鉛直位置差ｈ）の閾値値であり、角度差θがθｔｈｄ以上かあるいは（水平位置差ｄ／鉛直位置差ｈ）がｄｔｈｄ以上の場合、そのセグメントはクラスに属さないこと示すために、距離として無限大が設定される。
【００５４】
各クラスと現在処理対象セグメントとの距離を算出すると、その距離が閾値以下か否かをそれぞれ判定する。閾値以下の場合、そのセグメントを距離が最小のクラスに帰属させる。閾値より大きい場合や最下の矩形領域のセグメントの場合、新たにクラスを作成し、そのセグメントを帰属させる。以上の処理を全ての矩形領域に対して行い、処理対象の全てのセグメントをいずれかのクラスに帰属させる。
【００５５】
そして、投票数最大の（すなわち、属するセグメントの数が最も多い）クラスに属するセグメント群を、その処理対象のセグメント属性であると確定する。以上の処理を全てのセグメント属性に対して行い、各セグメント属性のセグメント群を確定する。このように、各セグメント属性について、各矩形領域から最も距離が近く、繋がる可能性の高いセグメントが選ばれ、撮像画像におけるセグメント群が確定する。この際、矩形領域間で繋がらないセグメントは排除され、ノイズとして除去される。
【００５６】
結果出力部３ｄでは、各セグメント属性とその確定されたセグメント群とを認識結果として出力する。この際、セグメント群を１本の線（曲線、直線）の情報としてもよい。また、セグメント属性の他に、レーンマーカ属性や道路境界属性も情報としてもよい。
【００５７】
次に、道路環境認識システムにおける動作について説明する。ここでは、コンピュータによる学習については、図９のフローチャートに沿って説明し、特に、推測規則作成処理については図１０のフローチャートに沿って説明する。また、道路環境認識装置１における実際の道路環境認識については、図１１のフローチャートに沿って説明し、特に、フィルタリング処理については図１２のフローチャートに沿って説明する。図９は、第１の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。図１０は、図９のフローチャートにおける推測規則作成処理の流れを示すフローチャートである。図１１は、図１の道路環境認識装置における処理の流れを示すフローチャートである。図１２は、図１１のフローチャートにおけるフィルタリング処理の流れを示すフローチャートである。
【００５８】
まず、コンピュータによる学習について説明する。コンピュータでは、学習用の撮像画像毎に、レーンマーカや道路環境の候補となるセグメント（矩形領域単位）を抽出する（Ｓ１０）。コンピュータでは、オペレータによって、各セグメントに対してセグメント属性、レーンマーカ属性、道路境界属性の正解が入力される（Ｓ１１）。さらに、コンピュータでは、各セグメントについてその特徴量を算出する（Ｓ１２）。そして、コンピュータでは、セグメント毎に各データ項目（３つの属性の正解と７つの特徴量）をデータベースに格納する（Ｓ１３）。学習用撮像画像中の全てのセグメントについてデータベースの格納が終了すると、コンピュータでは、全ての学習用撮像画像についてＳ１０〜Ｓ１３の処理が終了したか否かを判定し、全ての学習用撮像画像について処理が終了するまでＳ１０〜Ｓ１３の処理を繰り返し実行する（Ｓ１４）。
【００５９】
全ての学習用撮像画像について処理が終了すると、コンピュータでは、データベースに格納されているセグメント毎の各データ項目の相関関係（条件付確率）を求め、セグメント属性を推論するための推論規則（ベイジアンネット）を作成する（Ｓ１５）。以下で、この推論規則の作成処理について説明する。
【００６０】
まず、コンピュータでは、基準ノード番号Ｉを０に初期化する（Ｓ１５ａ）。ノードとなる各データ項目については番号が付与されているので、基準ノード番号Ｉと一致する番号のデータ項目が処理対象となる。
【００６１】
続いて、コンピュータでは、データ項目から、基準ノードＩの親候補となるノード（Ｎ個）を選択する（Ｓ１５ｂ）。そして、コンピュータでは、親候補のノードの組み合せを求め、各組み合せに対して通し番号を組み合せ番号Ｊとして付与する（Ｓ１５ｃ）。組み合せ番号Ｊは、０，１，・・・２Ｎ−１である。コンピュータでは、組み合せ番号Ｊを０に初期化する（Ｓ１５ｄ）。
【００６２】
コンピュータでは、データベースに格納されているセグメント毎の各データ項目に基づいて、基準ノードＩにおける組み合せ番号Ｊの親候補ノードの組み合せに対して、生起回数をカウントし、正規化することにより条件付確率Ｐを算出する（Ｓ１５ｅ）。さらに、コンピュータでは、式（２）により、組み合せ番号Ｊの親候補ノードの組み合せについて評価値（ＡＩＣ）を算出する（Ｓ１５ｆ）。コンピュータでは、次の親候補ノードの組み合せについて処理を行うために、組み合せ番号Ｊに１を加算する（Ｓ１５ｇ）。そして、コンピュータでは、組み合せ番号Ｊが組み合せ番号の最大番号２Ｎ−１より大きいか否かを判定し、組み合せ番号Ｊが２Ｎ−１より大きくなるまでＳ１５ｅ〜Ｓ１５ｇの処理を繰り返し実行する（Ｓ１５ｈ）。ここでは、基準ノードＩについて、その親候補ノードの全ての組み合せに対する評価値を求める。
【００６３】
組み合せ番号Ｊが２Ｎ−１より大きくなると、コンピュータでは、基準ノードＩについて算出された全ての評価値から最大の評価値を抽出し、その最大の評価値の親候補ノードの組み合せを基準ノードＩの親に設定する（Ｓ１５ｉ）。コンピュータでは、次のデータ項目について処理を行うために、基準ノード番号Ｉに１を加算する（Ｓ１５ｊ）。そして、コンピュータでは、基準ノード番号Ｉが（データ項目数−１）より大きいか否かを判定し、基準ノード番号Ｉが（データ項目数−１）より大きくなるまでＳ１５ｂ〜Ｓ１５ｊの処理を繰り返し実行する（Ｓ１５ｋ）。ここでは、全てのデータ項目を基準ノードとし、全ての基準ノードに対する親をそれぞれ設定する。そして、コンピュータでは、各データ項目の親子関係からベイジアンネットのネットワーク構造を求める。
【００６４】
次に、道路環境認識装置１における道路環境認識について説明する。道路環境認識装置１では、カメラ２により前方の道路を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像からレーンマーカや道路環境の候補となるセグメント（矩形領域単位）を抽出する（Ｓ２０）。そして、道路環境認識装置１では、各セグメントについてその特徴量を算出する（Ｓ２１）。
【００６５】
画像ＥＣＵ３では、推論規則（ベイジアンネットのネットワーク構造と条件付確率）を用いて、セグメント毎に、そのセグメントの特徴量から各セグメント属性である生起確率を推論する（Ｓ２２）。そして、画像ＥＣＵ３では、セグメント毎に、生起確率からセグメント属性を確定する（Ｓ２３）。ここでは、レーンマーカ属性や道路境界属性についても同様の処理を行い、各属性を確定するようにしてもよい。Ｓ２３までの処理により、画像ＥＣＵ３では、撮像画像の全ての矩形領域に対して、全てのセグメントについて属性をそれぞれ確定する。
【００６６】
そして、画像ＥＣＵ３では、フィルタリングを行い、ノイズのセグメントを除去するとともに各セグメント属性に対して矩形領域間で繋がるセグメント群を確定する（Ｓ２４）。そして、画像ＥＣＵ３では、各セグメント属性とそのセグメント群を認識結果として、道路環境の情報を必要とする他の装置に出力する（Ｓ２５）。最後に、画像ＥＣＵ３では、カメラ２から送信された全ての撮像画像に対して処理が終了したか否かを判定し、全て終了していない場合には終了するまでＳ２０〜Ｓ２５の処理を繰り返し実行する（Ｓ２６）。なお、Ｓ２４のフィルタリング処理については以下で詳細に説明する。
【００６７】
画像ＥＣＵ３では、処理対象のセグメントの属性番号Ｐを０に初期化し（Ｓ２４ａ）、処理対象の矩形領域の縦位置番号Ｖを０に初期化する（Ｓ２４ｂ）。
【００６８】
画像ＥＣＵ３では、縦位置番号Ｖの矩形領域において、属性番号Ｐのセグメント属性のセグメントを抽出し、式（３）により、そのセグメントと既に作成されているクラスとの距離を算出する（Ｓ２４ｃ）。ここでは、縦位置番号Ｖの矩形領域中の属性番号Ｐのセグメント属性の全てのセグメントについて、既に作成されている全てのクラスに対する距離がそれぞれ算出される。ただし、クラスが全く作成されていない場合、Ｓ２４ｆの処理において新しいクラスを作成する。
【００６９】
画像ＥＣＵ３では、属性番号Ｐのセグメント属性の全てのセグメントについて、各距離が閾値以下のクラスが存在するか否かを判定する（Ｓ２４ｄ）。画像ＥＣＵ３では、閾値以下のクラスが複数存在する場合には複数のクラスから最小の距離のクラスにセグメントを帰属させ、閾値以下のクラスが一つ存在する場合にはそのクラスにセグメントを帰属させる（Ｓ２４ｅ）。一方、画像ＥＣＵ３では、閾値以下のクラスが存在しない場合には新たにクラスを作成し、そのクラスにセグメントを帰属させる（Ｓ２４ｆ）。これにより、縦位置番号Ｖの矩形領域中の属性番号Ｐの全てのセグメントが、いずれかのクラスに属すことになる。
【００７０】
画像ＥＣＵ３では、属性番号Ｐのセグメント属性に対して、撮像画像の全ての矩形領域について処理が終了したか否かを判定する（Ｓ２４ｇ）。全ての矩形領域について処理が終了していない場合、画像ＥＣＵ３では、次の矩形領域に処理対象を変えるために、縦位置番号Ｖに１を加算し、Ｓ２４ｃの処理に戻る（Ｓ２４ｈ）。これにより、撮像画像における全ての矩形領域中の属性番号Ｐの全てのセグメントが、いずれかのクラスに属することになる。
【００７１】
全ての矩形領域について処理が終了した場合、画像ＥＣＵ３では、属性番号Ｐのセグメントに対するクラスタリング結果に基づいて、投票数最大のクラスに属するセグメント群を属性番号Ｐのセグメント属性の解釈として出力する（Ｓ２４ｉ）。つまり、セグメントの数が最大のクラスを構成するセグメント群が属性番号Ｐのセグメント属性として認識される。
【００７２】
画像ＥＣＵ３では、全てのセグメント属性について処理が終了したか否かを判定する（Ｓ２４ｊ）。全てのセグメント属性について処理が終了していない場合、画像ＥＣＵ３では、次のセグメント属性に処理対象を変えるために、属性番号Ｐに１を加算し、Ｓ２４ｂの処理に戻る（Ｓ２４ｋ）。一方、全てのセグメント属性について処理が終了した場合、画像ＥＣＵ３では、処理を終了する。これにより、各セグメント属性となるセグメント群（線）が抽出され、いずれのセグメント属性にならないセグメントがノイズとして除去される。この抽出されたセグメント群は、矩形領域間での繋がり性もよい。
【００７３】
図１３に、ベイジアンネットのネットワークにおいて使用したノードに応じて、道路環境認識装置１によりセグメント属性（道路環境）の認識を行った認識性能を示す。図１３に示すグラフでは、横軸「Ｒｅｃａｌｌ」が認識しなければいけない道路環境を認識した確率であり、縦軸「Ｐｒｅｃｉｓｉｏｎ」が認識してはいけない道路環境を認識しなかった確率であり、１を最大として、１に近づくほど正確に認識したことを表す。全てのノード（データ項目）を使用した場合、「Ｒｅｃａｌｌ」、「Ｐｒｅｃｉｓｉｏｎ」共に１に近く、認識性能が最も高いことを示す（黒塗りの菱形参照）。ノードの一部を使用しなかった場合（勾配方向なし、水平位置なし、平行線分角度差なし、平行線分距離なし、角度なし）、全てのノードを使用した場合に比べて「Ｒｅｃａｌｌ」、「Ｐｒｅｃｉｓｉｏｎ」のうちの少なくとも一方が低く、認識性能が低下する。
【００７４】
この第１の実施の形態に係る道路環境認識システムによれば、ベイジアンネットを利用することにより、各セグメントの複数の特徴量を用いてセグメント属性を総合的に判断でき、セグメント属性（道路環境）の認識精度が高い。また、この道路環境認識システムによれば、画像全体ではなく矩形領域に分けて処理を行うので、処理負荷を軽減できる。さらに、道路環境認識装置１では、フィルタリングを行うので、矩形領域間で繋がりのよいセグメント群を抽出できるとともに、ノイズも除去できる。
【００７５】
次に、図１４〜図１６を参照して、第２の実施の形態に係る道路環境認識システムについて説明する。図１４は、第２の実施の形態に係る道路環境認識装置の構成図である。図１５は、図１４の連続性評価部における第１段階の連続性評価の説明図である。図１６は、図１４の連続性評価部における第２段階の連続性評価の説明図である。なお、第２の実施の形態では、第１の実施の形態に係る道路環境認識システムと同様の構成について同一の符号を付し、その説明を省略する。
【００７６】
第２の実施の形態に係る道路環境認識システムは、第１の実施の形態と同様にコンピュータと道路環境認識装置１１からなるが、コンピュータ及び道路環境認識装置１１におけるセグメントの検出処理が第１の実施の形態と異なる。この道路環境認識システムでは、撮像画像から滑らかな線（曲線や直線）の一部としてのセグメントを検出するために、隣接する矩形領域のセグメント間の連続性を考慮してセグメント検出を行う。なお、第２の実施の形態では、道路環境認識装置１１についてのみ説明するが、コンピュータでも道路環境認識装置１１と同様の処理によりセグメント検出を行う。
【００７７】
道路環境認識装置１１は、第１の実施の形態に係る道路環境認識装置１に対して、セグメント検出処理のみが異なる。そのために、道路環境認識装置１１は、カメラ２及び画像ＥＣＵ１３を備え、画像ＥＣＵ１３に画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、結果出力部３ｄが構成される。
【００７８】
画像ＥＣＵ１３では、ノイズの影響が少なくかつ高速に、矩形領域間の繋がりが滑らかなセグメントを抽出することができる。そのために、画像ＥＣＵ１３では、隣接する矩形領域のセグメント間の連続性を評価し、隣接する矩形領域間で連続性を有しているセグメント群を曲線（直線を含む）に当てはめてからセグメント化する。以下の説明では、画像ＥＣＵ１３における画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄの処理について詳細に説明する。なお、第２の実施の形態では、画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ及び曲線近似部１３ｄが特許請求の範囲に記載する線分検出手段を構成する。
【００７９】
画像分割部１３ａでは、撮像画像を任意の高さ毎に矩形領域に区画する。各矩形領域には、第１の実施の形態と同様に、縦位置番号が付与される。
【００８０】
セグメント検出部１３ｂでは、Ｓｏｂｅｌフィルタなどを用いて、撮像画像からエッジを抽出する。そして、セグメント検出部１３ｂでは、エッジの影響を低減するために、抽出したエッジを細線化する。さらに、セグメント検出部１３ｂでは、細線化したエッジを２値化する。この２値化では、閾値を画像の輝度に比例して変化させ、日陰などのコントラストの絶対値が小さいところでも安定してエッジを抽出できるようにしている。そして、セグメント検出部１３ｂでは、Ｈｏｕｇｈ変換を用いて、矩形領域毎に２値化したエッジからセグメントを抽出する。この際、処理を安定化させるために、エッジ勾配角度とρ−θ空間のθの誤差が閾値より大きい場合は投票せず、また、１つのセグメント抽出後にそのセグメントに属するエッジ点の投票を投票空間から削除する。
【００８１】
連続性評価部１３ｃでは、隣接する矩形領域におけるセグメントの連続性を評価する。そのために、連続性評価部１３ｃでは、まず、矩形領域（縦位置番号Ｖ）内のセグメントから基準セグメント（基準セグメント番号Ｓ）を順次抽出する。この基準セグメントを（Ｖ，Ｓ）で表す（図１５参照）。連続性評価部１３ｃでは、Ｖ＝０の矩形領域、Ｓ＝０の基準セグメントから処理を開始する。ちなみに、各矩形領域内のセグメントには、０，１，・・・と通し番号が付与されている。次に、連続性評価部１３ｃでは、式（４）により、縦位置番号Ｖの矩形領域の上側に隣接する縦位置番号Ｖ＋１の矩形領域の各セグメントと基準セグメント（Ｖ，Ｓ）との距離をそれぞれ算出する。図１５には、式（４）で用いるパラメータを示している。θは２つのセグメント間の角度差であり、ｄは２つのセグメント間の水平位置の差である。
【００８２】
【数４】
式（４）のα，βは、実験やシミュレーション等によって求まられた定数である。式（４）では、２つのセグメントの位置関係と角度関係から２つのセグメント間の距離が算出される。連続性評価部１３ｃでは、縦位置番号Ｖ＋１の矩形領域から、基準セグメント（Ｖ，Ｓ）との距離が最小となるセグメントを抽出する。このセグメントを（Ｖ＋１，Ｓ１）で表す（図１５参照）。さらに、連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメントを（Ｖ＋１，Ｓ１）との距離が閾値以下か否かを判定し、閾値より大きい場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと評価する。ここでは、まだ、セグメント（Ｖ＋１，Ｓ１）は縦位置番号Ｖの矩形領域において基準セグメント（Ｖ，Ｓ）より距離が小さいセグメントが存在するかもしれないので、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があるとは評価できない。
【００８３】
そこで、連続性評価部１３ｃでは、式（４）により、縦位置番号Ｖの矩形領域の各セグメントとセグメント（Ｖ＋１，Ｓ１）との距離をそれぞれ算出する。そして、連続性評価部１３ｃでは、縦位置番号Ｖの矩形領域から、セグメント（Ｖ＋１，Ｓ１）との距離が最小となるセグメントを抽出する。このセグメントを（Ｖ，Ｓ２）で表す（図１６参照）。ここで、連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致するか否かを判定し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致する場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると評価し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致しない場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと評価する。連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると評価した場合には、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とを結合する。
【００８４】
連続性評価部１３ｃでは、以上の処理を縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントとして実行する。さらに、連続性評価部１３ｃでは、以上の処理を撮像画像の全ての矩形領域に対して実行する。このように、連続性評価部１３ｃでは、撮像画像の全てのセグメントに対してその上側に隣接する矩形領域に存在するセグメントとの連続性を評価し、撮像画像において連続性を有しているセグメント群を結合する。このように、隣接する矩形領域において２つのセグメントが連続性を有するか否かを、その２つのセグメントの位置関係及び角度関係に基づいて２つの矩形領域の両方向から評価する。
【００８５】
曲線近似部１３ｄでは、結合されたセグメント群に対して、最小２乗法を用いて周辺のエッジ点を曲線式に当てはめる。その際、短いセグメント群に高次のモデルを当てはめると、エッジ点に過剰にフィッティングして大きく曲がった曲線が得られる。逆に、長いセグメント群に低次のモデルを当てはめるとフィッティングしきれないエッジ点が多く存在する。そこで、セグメント群の長さとモデル次数の最適な関係を実験やシミュレーションによって予め求め、その最適な関係を用いて最適なフィッティングを行っている。このように、最小２乗法による当てはめを行う前にセグメント群の長さが判っているので、適正なモデル次数をコントロールすることができる。
【００８６】
そして、曲線近似部１３ｄでは、求めた曲線（直線も含む）を矩形領域単位で分割し、セグメント化する。なお、曲線近似部１３ｄでは、フィッティングによって求めた曲線の長さや形状等に基づいてその曲線がレーンマーカや道路境界を表すものか否かを判定し、その曲線についてのみセグメント化を行う。このように、連続性を有するセグメント群を曲線に当てはめ、その曲線からセグメントを抽出するので、非常に滑らかなセグメントを得ることができる。
【００８７】
次に、道路環境認識装置１１におけるセグメント処理を図１７のフローチャートに沿って説明する。図１７は、図１４の道路環境認識装置におけるセグメント検出処理の流れを示すフローチャートである。
【００８８】
道路環境認識装置１１では、カメラ２で撮像した撮像画像のデータを画像ＥＣＵ１３に送信する。画像ＥＣＵ１３では、その撮像画像からエッジを抽出する（Ｓ３０）。そして、画像ＥＣＵ１３では、その抽出したエッジを細線化し（Ｓ３１）、細線化したエッジを２値化する（Ｓ３２）。さらに、画像ＥＣＵ１３では、Ｈｏｕｇｈ変換を用いて、各矩形領域の２値化エッジからセグメントを抽出する（Ｓ３３）。
【００８９】
画像ＥＣＵ１３では、矩形領域の縦位置番号を０に初期化するとともに（Ｓ３４）、基準セグメント番号Ｓを０に初期化する（Ｓ３５）。そして、画像ＥＣＵ１３では、縦位置番号Ｖ＋１の矩形領域において、基準セグメント（Ｖ，Ｓ）との距離が最小となるセグメント（Ｖ＋１，Ｓ１）を抽出する（Ｓ３６）。画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）との距離が閾値以下か否かを判定する（Ｓ３７）。Ｓ３７にて距離が閾値より大きい場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと判断し、Ｓ４１の処理に移行する。
【００９０】
Ｓ３７にて距離が閾値以下の場合、画像ＥＣＵ１３では、縦位置番号Ｖの矩形領域において、セグメント（Ｖ＋１，Ｓ１）との距離が最小となるセグメント（Ｖ，Ｓ２）を抽出する（Ｓ３８）。そして、画像ＥＣＵ１３では、セグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致するか否かを判定する（Ｓ３９）。Ｓ３９にてセグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致しない場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと判断し、Ｓ４１の処理に移行する。Ｓ３９にてセグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致する場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると判断し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とを結合する（Ｓ４０）。
【００９１】
そして、画像ＥＣＵ１３では、縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントとした処理が終了したか否かを判定する（Ｓ４１）。Ｓ４１にて全てのセグメントに対して終了していない場合、画像ＥＣＵ１３では、基準セグメント番号Ｓに１を加算し（Ｓ４２）、Ｓ３６の処理に戻る。Ｓ４１にて全てのセグメントに対して終了している場合、画像ＥＣＵ１３では、Ｓ４３の処理に移行する。さらに、画像ＥＣＵ１３では、撮像画像の全ての矩形領域に対して処理が終了したか否かを判定する（Ｓ４３）。Ｓ４３にて全ての矩形領域に対して終了していない場合、画像ＥＣＵ１３では、縦位置番号Ｖに１を加算し（Ｓ４４）、Ｓ３５の処理に戻る。Ｓ４３にて全ての矩形領域に対して終了している場合、画像ＥＣＵ１３では、Ｓ４５の処理に移行する。
【００９２】
そして、画像ＥＣＵ１３では、結合したセグメント群を最小２乗法により曲線式に当てはめ、フィッティングを行う（Ｓ４５）。さらに、画像ＥＣＵ１３では、求められた曲線を縦方向に等間隔で（すなわち、矩形領域単位で）分割し、セグメント化する（Ｓ４６）。
【００９３】
第２の実施の形態に係る道路環境認識システムによれば、第１の実施の形態に係る道路環境認識システムと同様の効果を有する上に、非常に滑らかな曲線の一部であるセグメントを抽出でき、セグメント属性（道路環境）の認識精度が更に向上する。特に、この道路環境認識システムによれば、隣接する矩形領域間において２つのセグメントの連続性を、２つのセグメントの位置関係と角度関係に基づいて矩形領域の両方向から評価を行うので、隣接する矩形領域から連続性の有するセグメントを高精度に抽出することができ、ノイズも除去できる。
【００９４】
次に、図１８〜図２２を参照して、第３の実施の形態に係る道路環境認識システムについて説明する。図１８は、第３の実施の形態に係る道路環境認識装置の構成図である。図１９は、第３実施の形態における各セグメント対属性の鉛直位置及び水平相対位置からなる第２データベースの一例である。図２０は、第３の実施の形態における推論規則２（ベイジアンネット）のネットワーク構造の一例である。図２１は、第３に実施の形態における推論規則１による推論の説明図であり、（ａ）が基準セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｂ）が参照セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｃ）が基準セグメントと参照セグメントの一例である。図２２は、第３の実施の形態における推論規則２によるセグメント対属性に対する生起確率テーブルの一例である。
【００９５】
第３の実施の形態に係る道路環境認識システムは、第１〜第２の実施の形態と同様にコンピュータと道路環境認識装置２１からなるが、同じ矩形領域内の２つのセグメントの位置関係も考慮してセグメント属性の認識を行う点で第１〜第２の実施の形態と異なる。そのために、この道路環境認識システムでは、第１の実施の形態で用いた推論規則を推論規則１とし、２つのセグメントの位置関係を推論するための推論規則を推論規則２とし、２つの推論規則を用いる。したがって、コンピュータでは２つの推論規則を作成し、道路環境認識装置２１では２つの推論規則を保持して認識を行う。なお、第３の実施の形態では、セグメント検出については、第１の実施の形態での処理を適用してもよいし、第２の実施の形態での処理を適用してもよい。
【００９６】
まず、コンピュータで事前に行う学習について説明する。コンピュータは、第１の実施の形態や第２の実施の形態に係るコンピュータに対して、推論規則２を作成する点が異なる。コンピュータでは、第１の実施の形態と同様の処理により、入力した全ての学習用の撮像画像のセグメント毎にセグメント属性、レーンマーカ属性、道路境界属性及び７つの特徴量のデータからなる第１データベースを構築し、第１データベースに基づいて各セグメントの属性を推定するための推論規則１を作成する。この第１データベースは、第１の実施の形態で構築するデータベースである（図５参照）。この推論規則１は、第１の実施の形態で作成する推論規則であり（図６、図７参照）、セグメント単独の特徴量と属性から導かれたものである。これは、セグメントの画像上での絶対位置を特徴として、例えば、「レーンマーカ右１」は画像の中央からやや右に存在するなどの条件を表現したものである。実際に認識を行う上では、絶対位置のみでなく、セグメント間の相対位置も重要となる。そこで、このセグメント間の相対位置の関係を表す推論規則２を作成する。
【００９７】
コンピュータでは、同じ矩形領域における２つのセグメントの全ての組み合せに対して、２つのセグメントのセグメント属性の正解、鉛直位置、水平相対位置のデータを第２データベースに格納する。鉛直位置は矩形領域の縦位置番号であり、水平相対位置は２つのセグメント間の水平位置の差である。ここでは、２つのセグメントのセグメント属性正解を組み合せて１つの変数（セグメント対属性）として表す。例えば、「レーンマーカ左１」と「レーンマーカ右１」の組み合せであれば、「レーンマーカ左１＆レーンマーカ右１」とする。この際、「レーンマーカ左２」は「レーンマーカ左１」より右側にないなど、セグメント属性正解の左右関係が既知であり、セグメント属性名の先頭にくるセグメントを画像上の左側にあるものと定義することにより、処理負荷を軽減できる。図１９には、その第２データベースの一例を示している。コンピュータでは、入力した全ての学習用の撮像画像に対して以上の処理を行い、第２データベースを構築する。
【００９８】
そして、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、第２データベースに基づいて２つのセグメント間（セグメント対属性）の相対位置関係を表す推論規則２を作成する。この推論規則２は、セグメント対属性、鉛直位置及び水平相対位置の関係からなる。図２０には、その推論規則２のベイジアンネットのネットワーク構造の一例を示している。
【００９９】
次に、道路環境認識装置２１について説明する。道路環境認識装置２１は、第１の実施の形態に係る道路環境認識装置１や第２の実施の形態に係る道路環境認識装置１１に対して、２つの推論規則を用いて道路環境（セグメント属性）を認識する点が異なる。そのために、道路環境認識装置２１は、カメラ２及び画像ＥＣＵ２３を備え、画像ＥＣＵ２３にセグメント検出部３ａ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、セグメント属性更新部２３ａ、結果出力部３ｄが構成される。なお、セグメント検出部３ａの代わりに、第２の実施の形態の画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄを構成してもよい。
【０１００】
画像ＥＣＵ２３では、第１の実施の形態に係る画像ＥＣＵ３や第２の実施の形態に係る画像ＥＣＵ１３より、更に高い認識精度でセグメント属性を認識することができる。そのため、画像ＥＣＵ２３では、推論規則１によりセグメント属性を推定し、さらに、推論規則２を用いてその推定したセグメント属性を更新する。画像ＥＣＵ２３には、ＲＯＭにコンピュータで作成した推論規則１及び推論規則２が記憶されている。以下の説明では、画像ＥＣＵ２３におけるセグメント属性更新部２３ａの処理について詳細に説明する。なお、第３の実施の形態では、セグメント属性推定部３ｃ及びセグメント属性更新部２３ａが特許請求の範囲に記載する属性推定手段を構成し、画像ＥＣＵ２３のＲＯＭが特許請求の範囲に記載する記憶手段に相当する。
【０１０１】
セグメント属性推定部３ｃでは、第１の実施の形態と同様に、推論規則１を用いてセグメント毎にそのセグメントが各セグメント属性である生起確率を求め、セグメント属性を推定する。図２１（ａ）、（ｂ）には、ある矩形領域における２つのセグメント（基準セグメントＩ、参照セグメントＪ）の各セグメント属性に対する生起確率をテーブル化したものを示している。ちなみに、第１の実施の形態では、基準セグメントＩに対しては生起確率が最も大きい「レーンマーカ右１」がセグメント属性とされ（図２１（ａ）参照）、参照セグメントＪに対しては「どちらでもない」とされる（図２１（ｂ）参照）。
【０１０２】
セグメント属性更新部２３ａでは、まず、矩形領域（縦位置番号Ｖ）内のセグメントから、基準セグメント（基準セグメント番号Ｉ）と参照セグメント（参照セグメント番号Ｊ）を順次抽出する（図２１（ｃ）参照）。セグメント属性更新部２３ａでは、Ｖ＝０の矩形領域、Ｉ＝０の基準セグメント、Ｊ＝０の参照セグメントから処理を開始する。セグメント属性更新部２３ａでは、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）との水平位置の差（水平相対位置）を算出する。そして、セグメント属性更新部２３ａでは、推論規則２を用いて、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）毎に、水平相対位置から、この２つのセグメントが各セグメント属性である場合の各セグメント対属性である生起確率を求める。図２２には、ある２つのセグメントの各セグメント対属性の生起確率をテーブル化したものを示している。同じセグメント属性の場合やセグメント属性の左右関係からありえない関係の場合、生起確率は算出されずに、「−」としている。
【０１０３】
そして、セグメント属性更新部２３ａでは、式（５）の更新式により、基準セグメントＩの各セグメント属性である生起確率の更新値をそれぞれ算出する。そして、セグメント属性更新部２３ａでは、基準セグメントＩの生起確率の更新値を正規化し、その各正規化した確率を基準セグメントＩの各セグメント属性である生起確率とする。
【０１０４】
【数５】
式（５）では、推論規則１によって求めた基準セグメントＩの各セグメント属性の生起確率に対して、推論規則１によって求めた参照セグメントＪの各セグメント属性の生起確率と推論規則２によって求めた基準セグメントＩと参照セグメントＪとのセグメント対属性の生起確率を加味して、基準セグメントＩの各セグメント属性の生起確率の更新値を求めている。なお、式（５−１）、式（５−２）には、図２１の推論規則１による各セグメントの生起確率の一例と図２２の推論規則２によるセグメント対属性の生起確率の一例とを用いた場合の基準セグメントＩの「レーンマーカ左２」と「レーンマーカ左１」の生起確率の更新式を示している。
【０１０５】
セグメント属性更新部２３ａでは、以上の処理を縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントと参照セグメントとして実行する。さらに、セグメント属性更新部２３ａでは、以上の処理を撮像画像の全ての矩形領域に対して実行する。そして、セグメント属性更新部２３ａでは、セグメント毎に、各セグメント属性に対する生起確率（更新値）に基づいてセグメント属性を確定する。このように、同一の矩形領域における２つのセグメントのセグメント対属性の水平位置関係も考慮して、各セグメントのセグメント属性を決定する。
【０１０６】
次に、道路環境認識システムにおける動作について説明する。ここでは、コンピュータによる学習については、図２３のフローチャートに沿って説明する。また、道路環境認識装置２１における実際の道路環境認識については、図２４のフローチャートに沿って説明し、特に、セグメント属性更新処理については図２５のフローチャートに沿って説明する。２３は、第３の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。図２４は、図１８の道路環境認識装置における処理の流れを示すフローチャートである。図２５は、図２４のフローチャートにおけるセグメント属性更新処理の流れを示すフローチャートである。
【０１０７】
まず、コンピュータによる学習について説明する。コンピュータにおけるＳ４０〜Ｓ４３の各処理は、第１の実施の形態に係るコンピュータにおけるＳ１０〜Ｓ１３の各処理と同様の処理でなので、その説明を省略する（図９参照）。コンピュータでは、同じ矩形領域にある２つのセグメントを順次抽出し、２つのセグメント間の水平相対位置を求める。そして、コンピュータでは、セグメント対属性毎に、鉛直位置と水平相対位置を第２データベースに格納する（Ｓ４４）。学習用撮像画像中の全てのセグメントについて第１データベース及び第２データベースの格納が終了すると、コンピュータでは、全ての学習用撮像画像についてＳ４０〜Ｓ４４の処理が終了したか否かを判定し、全ての学習用撮像画像について処理が終了するまでＳ４０〜Ｓ４４の処理を繰り返し実行する（Ｓ４５）。
【０１０８】
全ての学習用撮像画像について処理が終了すると、コンピュータでは、第１データベースに格納されているセグメント毎の各データ項目の相関関係（条件付確率）を求め、推論規則１（ベイジアンネット）を作成する（Ｓ４６）。さらに、コンピュータでは、第２データベースに格納されているセグメント間（セグメント対属性）の相関関係を求め、推論規則２（ベイジアンネット）を作成する（Ｓ４７）。
【０１０９】
次に、道路環境認識装置２１における道路環境認識について説明する。道路環境認識装置２１におけるＳ５０〜Ｓ５１及びＳ５４〜Ｓ５６の各処理は、第１の実施の形態に係る道路環境認識装置１におけるＳ２０〜Ｓ２１及びＳ２４〜Ｓ２６の各処理と同様の処理でなので、その説明を省略する（図１１参照）。
【０１１０】
画像ＥＣＵ２３では、推論規則１を用いて、セグメント毎に各セグメント属性である生起確率を求め、その生起確率から各セグメントのセグメント属性を推論する（Ｓ５２）。さらに、画像ＥＣＵ２３では、推論規則２を用いて、同じ矩形領域内の２つのセグメント毎にセグメント対属性である生起確率を求める。そして、画像ＥＣＵ３では、推論規則１による生起確率と推論規則２による生起確率によりセグメント毎の各セグメント属性である生起確率を更新し、各セグメントのセグメント属性を更新する（Ｓ５３）。なお、Ｓ５３のセグメント属性更新処理については以下で詳細に説明する。
【０１１１】
画像ＥＣＵ２３では、矩形領域の縦位置番号Ｖを０に初期化する（Ｓ５３ａ）。さらに、画像ＥＣＵ２３では、基準セグメント番号Ｉを０に初期化し（Ｓ５３ｂ）、参照セグメント番号Ｊを０に初期化する（Ｓ５３ｃ）。画像ＥＣＵ２３では、基準セグメント番号Ｉと参照セグメント番号Ｊとが一致するか否かを判定し、一致する場合にはＳ５３ｈの処理に移行する（Ｓ５３ｄ）。
【０１１２】
Ｓ５３ｄにて一致しない場合、画像ＥＣＵ２３では、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）との水平相対位置を算出する（Ｓ５３ｅ）。そして、画像ＥＣＵ２３では、推論規則２により、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）の全てのセグメント対属性の生起確率を算出する（Ｓ５３ｆ）。画像ＥＣＵ２３では、推論規則１による基準セグメント（Ｖ，Ｉ）の各セグメント属性の生起確率、推論規則１による参照セグメント（Ｖ，Ｊ）の各セグメント属性の生起確率及び推論規則２による各セグメント対属性の生起確率を用いて、基準セグメント（Ｖ，Ｉ）の各セグメント属性の生起確率を更新する（Ｓ５３ｇ）。
【０１１３】
画像ＥＣＵ２３では、次のセグメントを参照セグメントとして処理を行うために、参照セグメント番号Ｊに１を加算する（Ｓ５３ｈ）。そして、画像ＥＣＵ２３では、参照セグメント番号Ｊが縦位置番号Ｖの矩形領域内に存在するセグメントの数Ｎ以上か否かを判定する（Ｓ５３ｉ）。Ｓ５３ｉにて参照セグメント番号ＪがＮ未満の場合、画像ＥＣＵ２３では、Ｓ５３ｄの処理に戻る。Ｓ５３ｉにて参照セグメント番号ＪがＮ以上の場合、画像ＥＣＵ２３では、次のセグメントを基準セグメントとして処理を行うために、基準セグメント番号Ｉに１を加算する（Ｓ５３ｊ）。そして、画像ＥＣＵ２３では、基準セグメント番号Ｉが縦位置番号Ｖの矩形領域内に存在するセグメントの数Ｎ以上か否かを判定する（Ｓ５３ｋ）。Ｓ５３ｋにて基準セグメント番号ＩがＮ未満の場合、画像ＥＣＵ２３では、Ｓ５３ｃの処理に戻る。Ｓ５３ｋにて基準セグメント番号ＩがＮ以上の場合、画像ＥＣＵ２３では、次の矩形領域に対して処理を行うために、縦位置番号Ｖに１を加算する（Ｓ５３ｌ）。そして、画像ＥＣＵ２３では、縦位置番号Ｖが撮像画像内に存在する矩形領域数以上か否かを判定する（Ｓ５３ｍ）。画像ＥＣＵ２３では、Ｓ５３ｍにて縦位置番号Ｖが矩形領域数未満の場合にはＳ５３ｂの処理に戻り、Ｓ５３ｍにて縦位置番号Ｖが矩形領域数以上の場合には処理を終了する。
【０１１４】
第３の実施の形態に係る道路環境認識システムによれば、第１の実施の形態に係る道路環境認識システムと同様の効果を有する上に、セグメント属性を推定するために同じ矩形領域の２つのセグメント間の水平位置関係も加味しているので、セグメント属性（道路環境）の認識精度が更に向上する。
【０１１５】
次に、図２６〜図２９を参照して、第４の実施の形態に係る道路環境認識システムについて説明する。図２６は、第４の実施の形態に係る道路環境認識装置の構成図である。図２７は、第４の実施の形態における推論規則３（ベイジアンネット）のネットワーク構造の一例である。図２８は、第４の実施の形態における推論規則妥当性に対する評価基準を説明するための一例である。図２９は、第４の実施の形態における各道路構造に対する評価基準値を説明するための一例である。
【０１１６】
第４の実施の形態に係る道路環境認識システムは、第１〜第３の実施の形態と同様にコンピュータと道路環境認識装置３１からなるが、道路構造も考慮してセグメント属性の認識を行う点で第１〜第３の実施の形態と異なる。そのために、この道路環境認識システムでは、第１〜第３の実施の形態で用いた推論規則の他に、道路構造を推論するための推論規則３を用いる。道路構造としては、例えば、車線なし、片側一車線、片側二車線、交差点である。第１〜第３の実施の形態で用いた推論規則（推論規則１、推論規則２）については、道路構造毎に必要となる。したがって、コンピュータでは道路構造毎の推論規則１あるいは推論規則１と推論規則２及び推論規則３を作成し、道路環境認識装置３１ではこれらの推論規則を保持して認識を行う。なお、第４の実施の形態では、セグメント検出については第１の実施の形態での処理を適用してもよいし、第２の実施の形態での処理を適用してもよい。また、第４の実施の形態では、セグメント属性の推定については、第１の実施の形態での処理を適用してもよいし、第３の実施の形態での処理を適用してもよい。
【０１１７】
まず、コンピュータで事前に行う学習について説明する。コンピュータでは、第１の実施の形態のコンピュータで作成した推論規則１あるいは第３の実施の形態のコンピュータで作成した推論規則１及び推論規則２を作成する。この際、コンピュータでは、道路構造（車線なし、片側一車線等）に応じて推論規則１あるいは推論規則１及び推論規則２をそれぞれ作成する。
【０１１８】
また、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、ＧＰＳ[Global Positioning System]による妥当性と撮像画像による妥当性とを組み合せて総合的に判断を行うための推論規則３を作成する。この推論規則３は、ＧＰＳデータから求めた妥当性、道路構造に応じた利用すべき推論規則、画像認識結果からの妥当性の評価尺度からなる。ＧＰＳデータから求めた妥当性とは、ＧＰＳを利用した現在位置から得られた現在位置から得られた地図情報に基づく道路構造についての妥当性である。図２７には、推論規則３のベイジアンネットのネットワーク構造の一例を示している。
【０１１９】
次に、道路環境認識装置３１について説明する。道路環境認識装置３１は、第１〜３の実施の形態に係る道路環境認識装置１，１１，２１に対して、道路構造を考慮した推論規則３を用いて道路環境（セグメント属性）を認識する点が異なる。そのために、道路環境認識装置３１は、カメラ２，ＧＰＳ受信機３２及び画像ＥＣＵ３３を備え、画像ＥＣＵ３３に道路構造仮説生成部３３ａ、仮説検証部３３ｂ、最適道路構造選択部３３ｃ、結果出力部３ｄが構成される。
【０１２０】
なお、第４の実施の形態では、ＧＰＳ衛星３２が特許請求の範囲に記載する位置取得手段に相当し、道路構造仮説生成部３３ａが特許請求の範囲に記載する地図情報取得手段に相当し、仮説検証部３３ｂ及び最適道路構造選択部３３ｃが特許請求の範囲に記載する道路状態推定手段に相当する。
【０１２１】
ＧＰＳ受信機３２は、ＧＰＳ衛星から発信される電波を受信する受信機である。ＧＰＳ受信機３２では、２４個ＧＰＳ衛星のうちのいくつかのＧＰＳ衛星の電波を受信し、その受信した電波をＧＰＳ信号として画像ＥＣＵ３３に送信する。ちなみに、少なくとも３つのＧＰＳ衛星からの電波を受信できれば、ＧＰＳ衛星の位置と電波の到達時間等から現在位置（緯度、経度）を計算することができる。
【０１２２】
画像ＥＣＵ３３では、第１〜第３の実施の形態に係る画像ＥＣＵ３，１３，２３より、更に高い認識精度でセグメント属性を認識することができる。そのために、画像ＥＣＵ３３では、推論規則３により推定した道路構造に応じて、セグメント属性を推定するための推論規則１あるいは推論規則１及び推論規則２を切り替える。その際、画像ＥＣＵ３３では、ＧＰＳを利用して現在位置を取得し、取得した現在位置の地図情報を利用する。画像ＥＣＵ２３には、ＲＯＭにコンピュータで作成した推論規則３及び推論規則１あるいは推論規則１と推論規則２が記憶され、さらに、ＲＯＭに地図情報が記憶されている。この地図情報は、少なくとも各道路の道幅情報を含む道路地図とする。なお、各道路の車線数の情報を備える道路地図がある場合、その地図情報を利用する。
【０１２３】
なお、現在位置を取得する手段としては、ＧＰＳを利用する手段だけでなく、路車間通信あるいはナビゲーションシステムが搭載されている場合にはそのシステムの現在位置情報を利用するなど、他の手段を用いてもよい。さらに、ナビゲーションシステムが搭載されている場合、そのシステムから地図情報を取得してもよい。また、道路構造を推定する手段としては、ＧＰＳと地図情報を利用するが、信号機や横断歩道等の画像による認識など、他の手段を用いてもよい。
【０１２４】
道路構造仮説生成部３３ａでは、ＧＰＳ受信機３２から複数のＧＰＳ信号を受信し、これらのＧＰＳ信号に基づいて現在位置を算出する。ただし、ＧＰＳ測位による位置情報には数１０〜数１００ｍ程度の誤差が含まれているので、現在位置は誤差楕円として与えられる。そして、道路構造仮説生成部３３ａでは、取得した現在位置周辺の地図情報を読み出す。この際、地図情報では各道路の道幅が判るので、この道幅から各道路の車線数を推定でき、複数の道路の交差状態から交差点を推定することができる。道路構造仮説生成部３３ａでは、現在位置周辺の地図情報と現在位置の誤差楕円とを比較し、現在位置周辺の各道路構造の生起確率を算出する。例えば、現在位置周辺に２本の道路があり、その２本の道路が道幅から「車線なし」と「片側一車線」の場合、誤差楕円の中心からの距離に基づいて、「車線なし」の生起確率をＸ％、「片側一車線」の生起確率を（１００−Ｘ）％とする。
【０１２５】
ちなみに、利用する道路構造が一意に定まらないのは、現在位置に誤差を含んでいること及び道路構造を完全に区別する情報を有する道路地図がないことによる。一般に、ナビゲーションで現在利用されている道路地図は、道幅に対する大まかな情報は持っているが、正確な車線数を持っていない。
【０１２６】
仮説検証部３３ｂでは、道路構造仮説生成部３３ａで仮説生成した各道路構造に対する推論規則を用いてセグメント属性の認識処理をそれぞれ行う。ここでは、第１の実施の形態（推論規則１のみ）または第３の実施の形態（推論規則１及び推論規則２）で説明したいずれかの手法によって認識を行う。この際、生起確率がない道路構造の推論規則については認識処理を行う必要はない。また、道路構造が異なるので、異なる推論規則を利用して認識する場合、セグメントを抽出する処理については共通であり、各セグメント属性を推定する処理については各推論規則を利用して道路構造毎に処理を行う。セグメント属性を推定する処理は処理負荷が軽いので、複数の道路構造に対して行っても全体の処理速度に大きな影響は与えない。なお、セグメントを抽出する処理については、第１の実施の形態あるいは第２の実施の形態で説明したいずれかの手法によって行う。
【０１２７】
最適道路構造選択部３３ｃでは、推論規則３を用いて各道路構造に対する推論規則を利用する妥当性を評価し、最適な道路構造を選択する。つまり、ＧＰＳと地図情報による道路構造の妥当性と各道路構造に対する推論規則を利用した場合の認識結果の妥当性から総合的に判断し、最も妥当な道路構造に対する推論規則によるセグメント属性を採用する。
【０１２８】
この総合的な判断の手法について説明する。ＧＰＳと地図情報による妥当性は明確であるので、各推論規則を利用した認識結果から妥当性を求める基準を決める。一般に、推論規則作成時より車線が少ない道路構造を認識すると、必要なセグメント属性が全て認識することができない。例えば、「片側一車線」で作成した推論規則で「車線なし」の道路構造を認識する場合、「レーンマーカ右２」は認識されない。逆に、推論規則作成時より車線が多い道路構造を認識すると、必要なセグメント属性が全て認識され、その推論規則を利用する妥当性を判断することが困難である。そこで、多い車線数に対して学習された推論規則を利用して認識を行った場合に認識できないセグメント属性がどれだけあるかで、推論規則の妥当性を評価する。
【０１２９】
実際の評価では、推論規則作成時の道路構造にあるべきセグメント属性（例えば、「片側一車線」の場合、「レーンマーカ左１」、「レーンマーカ右１」、「レーンマーカ右２」、「道路境界左１」、「道路境界右２」）として認識されたセグメント属性全てに対してそのセグメント属性である生起確率を矩形領域の縦位置番号毎にそれぞれ算出し、その生起確率の総和を算出する。この生起確率の総和が高いほど、認識対象の撮像画像から推論規則作成時の道路構造にあるべきセグメント属性を認識できているので、利用している推論規則の妥当性が高い。この生起確率の総和に対する評価とＧＰＳと地図情報による各道路構造の生起確率に基づいて、最も妥当性の高い道路構造を決め、その道路構造に対する推論規則を利用した場合の認識結果を最終的な認識結果とする。
【０１３０】
図２８には、「片側一車線」の推論規則を利用した場合に認識された各セグメント属性の矩形領域の縦位置番号毎の生起確率の一例を示している。また、図２９には、「片側一車線」の道路構造を撮像した撮像画像または「車線なし」の道路構造を撮像した撮像画像を認識対象として、「片側一車線」の推論規則を利用した場合の評価の一例をグラフ化している。このグラフでは、横軸が認識対象の撮像画像毎の生起確率の総和であり、縦軸が多数枚の撮像画像に対して評価を行った場合の各生起確率の総和であった撮像画像の枚数（度数）である。「車線なし」を認識対象とした場合、生起確率の総和は、殆どの撮像画像について１０以下となり、低い値である（図２９の一点鎖線のグラフ参照）。「片側一車線」を認識対象とした場合、生起確率の総和は、殆どの撮像画像について１０以上となり、高い値である（図２９の実線のグラフ参照）。この場合、生起確率の総和に対する評価基準値を１０とすることにより、推論規則の妥当性を判断することができる。つまり、生起確率の総和が１０以上となった場合、認識対象の道路構造（「片側一車線」）と利用している推論規則の道路構造（「片側一車線」）が一致していると判断できる。この生起確率の総和に対する評価基準値については、コンピュータにおいて予め各道路構造に評価基準値を求め、道路環境認識装置３１のＲＯＭに記憶させておく。
【０１３１】
次に、道路環境認識システムにおける動作について説明する。ここでは、道路環境認識装置３１における実際の道路環境認識については、図３０のフローチャートに沿って説明する。図３０は、図２６の道路環境認識装置における処理の流れを示すフローチャートである。
【０１３２】
まず、コンピュータによる学習について説明する。コンピュータでは、第１の実施の形態あるいは第３の実施の形態と同様の手法により、各道路構造に対する推論規則をそれぞれ作成する。また、コンピュータでは、ＧＰＳデータから求めた妥当性、利用すべき推論規則の妥当性及び画像認識結果からの妥当性評価尺度からなる推論規則３を作成する。さらに、コンピュータでは、画像認識結果からの妥当性評価を行うために、各道路構造に対する評価基準値を求める。
【０１３３】
次に、道路環境認識装置３１における道路環境認識について説明する。道路環境認識装置３１では、ＧＰＳ受信機３２により複数のＧＰＳ衛星からの電波を受信し、その電波をＧＰＳ信号として画像ＥＣＵ３３に送信する。また、道路環境認識装置３１では、カメラ２により前方の道路を撮像し、その撮像画像のデータを画像ＥＣＵ３３に送信する。
【０１３４】
画像ＥＣＵ３３では、複数のＧＰＳ信号から現在位置を誤差楕円として算出する（Ｓ６０）。そして、画像ＥＣＵ３３では、現在位置周辺の地図情報を取得する（Ｓ６１）。さらに、画像ＥＣＵ３３では、その地図情報から得られる各道路の道幅に基づいて、現在位置周辺の各道路構造の生起確率を算出する（Ｓ６２）。
【０１３５】
また、画像ＥＣＵ３３では、ＧＰＳと地図情報によって得られた各道路構造の推論規則をそれぞれ利用し、撮像画像に対するセグメント属性の認識処理をそれぞれ行う（Ｓ６３）。
【０１３６】
さらに、画像ＥＣＵ３３では、ＧＰＳと地図情報によって得られた道路構造のうち車線数の多い道路構造に対する推論規則を利用して認識処理を行った場合に認識された全てのセグメント属性の生起確率の総和を算出する。そして、画像ＥＣＵ３３では、その生起確率の総和を評価基準値と比較し、撮像画像の認識結果からの妥当性を評価する。さらに、画像ＥＣＵ３３では、その認識結果からの妥当性の評価にＧＰＳデータから求めた妥当性（すなわち、ＧＰＳと地図情報による各道路構造の生起確率）を加味して各推論規則を利用する妥当性を検証し、最も妥当な推論規則を決定する（Ｓ６４）。利用すべき推論規則が決まるということは、必然的に、道路構造も判る。
【０１３７】
画像ＥＣＵ３３では、最も妥当な推論規則によって推論したセグメント属性を最終的な認識結果とする（Ｓ６５）。そして、画像ＥＣＵ３３では、第１の実施の形態などと同様に、その認識結果に対してフィルタリングを行い、各セグメント属性とそのセグメント群を認識結果として道路環境の情報を必要とする他の装置に出力する（Ｓ６５）。
【０１３８】
第４の実施の形態に係る道路環境認識システムによれば、第１〜第３の実施の形態に係る道路環境認識システムと同様の効果を有する上に、セグメント属性を推定するために道路構造も加味しているので、セグメント属性（道路環境）の認識精度が更に向上する。
【０１３９】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【０１４０】
例えば、本実施の形態ではコンピュータと道路環境認識装置からなる道路環境認識システムとして構成したが、学習機能も有する道路環境認識装置だけで構成するなどの他の構成としてもよい。
【０１４１】
また、本実施の形態では認識対象の属性としてレーンマーカ左１、道路境界左１等の８つとしたが、これら以外の属性としてもよい。例えば、レーンマーカや道路境界以外の横断歩道等の他の道路環境を属性としてもよい。
【０１４２】
また、本実施の形態では統計分析手法としてベイジアンネットを利用したが、ニューラルネットなどの他の手法を利用してもよい。
【図面の簡単な説明】
【０１４３】
【図１】第１の実施の形態に係る道路環境認識装置の構成図である。
【図２】認識対象の道路環境の説明図である。
【図３】撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が矩形領域に分割した撮像画像である。
【図４】本実施の形態におけるセグメントの特徴量の説明図であり、（ａ）が水平位置、鉛直位置、角度の説明図であり、（ｂ）が平行線分距離、平行線分角度差の説明図であり、（ｃ）が輝度比、勾配方向の説明図である。
【図５】第１実施の形態における各セグメントの属性及び特徴量からなるデータベースの一例である。
【図６】第１の実施の形態における推論規則（ベイジアンネット）のテーブルの一例であり、（ａ）が生起回数テーブルであり、（ｂ）が条件付確率テーブルである。
【図７】第１の実施の形態における推論規則（ベイジアンネット）のネットワーク構造の一例である。
【図８】クラスとセグメントの関係を示す図である。
【図９】第１の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。
【図１０】図９のフローチャートにおける推測規則作成処理の流れを示すフローチャートである。
【図１１】図１の道路環境認識装置における処理の流れを示すフローチャートである。
【図１２】図１１のフローチャートにおけるフィルタリング処理の流れを示すフローチャートである。
【図１３】第１の実施の形態における属性の認識性能を示すグラフである。
【図１４】第２の実施の形態に係る道路環境認識装置の構成図である。
【図１５】図１４の連続性評価部における第１段階の連続性評価の説明図である。
【図１６】図１４の連続性評価部における第２段階の連続性評価の説明図である。
【図１７】図１４の道路環境認識装置におけるセグメント検出処理の流れを示すフローチャートである。
【図１８】第３の実施の形態に係る道路環境認識装置の構成図である。
【図１９】第３実施の形態における各セグメント対属性の鉛直位置及び水平相対位置からなる第２データベースの一例である。
【図２０】第３の実施の形態における推論規則２（ベイジアンネット）のネットワーク構造の一例である。
【図２１】第３に実施の形態における推論規則１による推論の説明図であり、（ａ）が基準セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｂ）が参照セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｃ）が基準セグメントと参照セグメントの一例である。
【図２２】第３の実施の形態における推論規則２によるセグメント対属性に対する生起確率テーブルの一例である。
【図２３】第３の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。
【図２４】図１８の道路環境認識装置における処理の流れを示すフローチャートである。
【図２５】図２４のフローチャートにおけるセグメント属性更新処理の流れを示すフローチャートである。
【図２６】第４の実施の形態に係る道路環境認識装置の構成図である。
【図２７】第４の実施の形態における推論規則３（ベイジアンネット）のネットワーク構造の一例である。
【図２８】第４の実施の形態における推論規則妥当性に対する評価基準を説明するための一例である。
【図２９】第４の実施の形態における各道路構造に対する評価基準値を説明するための一例である。
【図３０】図２６の道路環境認識装置における処理の流れを示すフローチャートである。
【符号の説明】
【０１４４】
１，１１，２１，３１…道路環境認識装置、２…カメラ、３，１３，２３，３３…画像ＥＣＵ、３ａ…セグメント検出部、３ｂ…セグメント特徴算出部、３ｃ…セグメント属性推定部、３ｄ…結果出力部，１３ａ…画像分割部、１３ｂ…セグメント検出部、１３ｃ…連続性評価部、１３ｄ…曲線近似部、２３ａ…セグメント属性更新部，３２…ＧＰＳ受信機、３３ａ…道路構造仮説生成部、３３ｂ…仮説検証部、３３ｃ…最適道路構造選択部
【技術分野】
【０００１】
本発明は、撮像画像から道路環境を認識する道路環境認識方法及び道路環境認識装置に関する。
【背景技術】
【０００２】
レーンキープや自動操舵等に利用するために、車線（白線）を認識する装置が開発されている。白線を認識する手法としては、例えば、カメラで道路を撮像し、その撮像画像の画像輝度が暗→明に変化する正エッジと明→暗に変化する負エッジを検出し、各エッジをそれぞれＨｏｕｇｈ変換することによって白線を認識している（特許文献１参照）。この手法では、白線が正エッジと負エッジとの組み合せで表されることを利用して認識精度を向上させている。
【特許文献１】特開平１１−８５９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、道路の撮像画像には、ガードレールの影など、上記手法では除去しきれない相似パターンが多数存在する。そのため、上記手法では、白線を検出できない場合がある。また、レーンキープや自動操舵等を実現するためには、白線以外にも道路境界（路肩、道路と歩道との境界）等の他の道路環境も認識する必要がある。
【０００４】
そこで、本発明は、道路環境を高精度に認識することができる道路環境認識方法及び道路環境認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る道路環境認識方法は、道路を撮像した撮像画像から道路環境を認識する道路環境認識方法であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習ステップと、認識すべき道路を撮像する撮像ステップと、撮像ステップで撮像した撮像画像から線分を検出する線分検出ステップと、線分検出ステップで検出した線分に対して複数の特徴を算出する特徴算出ステップと、学習ステップで生成した属性推定規則に基づいて、特徴算出ステップで算出した複数の特徴から線分の属性を推定する属性推定ステップとを含み、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【０００６】
この道路環境認識方法では、実際に撮像画像から道路環境を認識する前に、道路環境の属性を推定するための属性推定規則を生成するために学習を行う。属性推定規則を生成するためには、任意の道路の撮像画像から線分を検出し、検出した線分に対して属性を推定する上で必要となる様々な特徴を算出する。属性（道路環境）によって、各線分が有している特徴は異なる。そこで、各線分に対する複数の特徴と属性との関係を学習し、その学習結果から属性推定規則を生成する。道路環境認識方法では、実際に道路環境を認識する段階で、撮像手段により道路を撮像し、撮像画像を取得する。そして、道路環境認識方法では、撮像画像から線分を検出し、検出した線分に対して特徴を算出する。さらに、道路環境認識方法では、各線分に対して、属性推定規則に基づいて検出した特徴から属性を推定し、その属性から道路環境を認識する。このように、この道路環境認識方法では、各線分の複数の特徴と属性との関係の学習結果である属性推定規則に基づいて、複数の特徴による総合的な判断から線分の属性を推定する。その結果、道路環境を高精度に認識することができる。
【０００７】
なお、道路環境としては、道路上及び道路周辺に存在する様々なものであり、例えば、レーンマーカ（白実線、黄実線、白破線等）、道路境界（路肩、車道と歩道との段差、ブロック、側溝、縁石、草むら等）である。属性は、認識対象の道路環境にそれぞれ対応して設けられる属性である。撮像画像から検出される線分は、様々な道路環境の輪郭の一部又は全部を構成する線分である。属性推定規則としては、各種統計分析手法が用いられ、例えば、ベイジアンネット、ニューラルネットである。
【０００８】
本発明の上記道路環境認識方法では、学習ステップ及び線分検出ステップの少なくとも一方のステップにおいて、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【０００９】
この道路環境認識方法では、撮像画像から線分を検出する際に、撮像画像を複数の矩形領域に分割し、分割した矩形領域から線分をそれぞれ検出する。さらに、隣接する矩形領域間において一方の矩形領域の線分から他方の矩形領域の線分への連続性を評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を評価する。この際、隣接する矩形領域の線分間の位置関係と角度関係に基づいて評価を行う。そして、一方の矩形領域の線分と他方の矩形領域の線分とが連続性を有していると評価すると、その一方の矩形領域の線分と他方の矩形領域の線分とを１本の線分として近似する。このように、道路環境認識装置では、撮像画像を矩形領域に分割し、隣接する矩形領域における線分の連続性を両方向から評価することにより、隣接する矩形領域間で線分が連続した線分か否かを高精度に判定することができる。さらに、道路環境認識装置では、連続性を有している場合には１本の線分に近似するので、撮像画像から滑らかな線分を検出することができる。このように、この道路環境認識装置では、ノイズの影響の少ない滑らかな線分を用いることにより道路環境をより高精度に認識することができる。また、この線分検出手法は、従来の手法より高速である。
【００１０】
本発明の上記道路環境認識方法では、学習ステップ及び属性推定ステップの少なくとも一方のステップにおいて、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００１１】
この道路環境認識方法では、属性を推定する際に、撮像画像から検出した線分が各属性である確率をそれぞれ算出し、複数の線分間の位置関係に基づいてその算出した確率を更新する。そして、道路環境認識装置では、その更新した各属性である確率に基づいて、線分の属性を推定する。このように、道路環境認識装置では、線分間の位置関係も加味して属性を推定するので、道路環境をより高精度に認識することができる。
【００１２】
本発明の上記道路環境認識方法では、現在位置を取得する位置取得ステップと、位置取得ステップで取得した現在位置の地図情報を取得する地図情報取得ステップと、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定ステップとを含み、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００１３】
この道路環境認識方法では、現在位置を取得し、この現在位置周辺の地図情報を取得する。そして、道路環境認識方法では、属性推定規則及び地図情報を用いて道路状態を推定し、この道路状態に応じて線分の属性を推定する。このように、道路環境認識装置では、道路環境が異なる道路状態に応じて線分の属性を推定するので、道路環境をより高精度に推定することができる。
【００１４】
なお、道路状態としては、例えば、車線なし、片側一車線、片側二車線、片側三車線、中央分離帯の有無、交差点である。
【００１５】
本発明に係る道路環境認識装置は、車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、認識すべき道路を撮像する撮像手段と、撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、記憶手段に記憶している属性推定規則に基づいて、特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段とを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【００１６】
本発明の上記道路環境認識装置では、線分検出手段を、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【００１７】
本発明の上記道路環境認識装置では、属性推定手段を、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００１８】
本発明の上記道路環境認識装置では、現在位置を取得する位置取得手段と、位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定手段とを備え、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００１９】
また、本発明に係る道路環境認識装置は、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習手段と、認識すべき道路を撮像する撮像手段と、撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、学習手段で生成した属性推定規則に基づいて、特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段とを備え、各線分に対して推定した属性から道路環境を認識することを特徴とする。
【００２０】
本発明の上記道路環境認識装置では、学習手段及び線分検出手段の少なくとも一方の手段を、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似する構成としてもよい。
【００２１】
本発明の上記道路環境認識装置では、学習手段及び属性推定手段の少なくとも一方の手段を、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて線分が各属性である確率を更新する構成としてもよい。
【００２２】
本発明の上記道路環境認識装置では、現在位置を取得する位置取得手段と、位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、属性推定規則及び地図情報を用いて、道路状態を推定する道路状態推定手段とを備え、推定した道路状態に応じて線分の属性を推定する構成としてもよい。
【００２３】
なお、上記した各道路環境認識装置では、上記道路環境認識方法と同様の作用効果を奏する。ただし、車両に搭載される道路環境認識装置では、学習によって得られた属性推定規則が記憶手段に予め記憶されており、この記憶手段に記憶されている属性推定規則を用いて属性を推定する。
【発明の効果】
【００２４】
本発明によれば、道路環境を高精度に認識することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して、本発明に係る道路環境認識方法及び道路環境認識装置の実施の形態を説明する。
【００２６】
本実施の形態では、本発明を、コンピュータと車載される道路環境認識装置からなる道路環境認識システムに提供する。本実施の形態に係るコンピュータでは、事前に学習を行い、属性推定規則に相当する推論規則を生成する。本実施の形態に係る道路環境認識装置では、コンピュータで生成した推論規則を保持し、この推論規則に基づいて道路環境を認識する。本実施の形態では、推論規則としてベイジアンネットを利用し、道路環境としてレーンマーカと道路境界を認識する。本実施の形態には、４つの形態があり、第１の実施の形態がセグメント（線分）の各特徴量を考慮した推論規則を用いる基本構成の形態であり、第２の実施の形態がセグメントを検出する際にセグメント間の連続性を考慮する形態であり、第３の実施の形態が２つのセグメントの位置関係を考慮した推論規則も用いる形態であり、第４の実施の形態が道路構造（道路状態）を考慮した推論規則も用いる形態である。
【００２７】
図１〜図８を参照して、第１の実施の形態に係る道路環境認識システムについて説明する。図１は、第１の実施の形態に係る道路環境認識装置の構成図である。図２は、認識対象の道路環境の説明図である。図３は、撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が矩形領域に分割した撮像画像である。図４は、本実施の形態におけるセグメントの特徴量の説明図であり、（ａ）が水平位置、鉛直位置、角度の説明図であり、（ｂ）が平行線分距離、平行線分角度差の説明図であり、（ｃ）が輝度比、勾配方向の説明図である。図５は、第１の実施の形態における各セグメントの属性及び特徴量からなるデータベースの一例である。図６は、第１の実施の形態における推論規則（ベイジアンネット）のテーブルの一例であり、（ａ）が生起回数テーブルであり、（ｂ）が条件付確率テーブルである。図７は、第１の実施の形態における推論規則（ベイジアンネット）のネットワーク構造の一例である。図８は、クラスとセグメントの関係を示す図である。
【００２８】
第１の実施の形態に係る道路環境認識システムは、事前に学習を行うためのコンピュータ（図示せず）と実際に道路環境を認識するための道路環境認識装置１からなる。コンピュータは、カメラで撮像された動画像を処理することができるコンピュータであり、例えば、パーソナルコンピュータである。コンピュータでは、道路環境認識装置１に保持させる推論規則（ベイジアンネット）を生成する。道路環境認識装置１は、車両に搭載され、推論規則に基づいて車両前方の道路環境を認識する。この認識した道路環境の情報は、レーンキープ、自動操舵、歩行者衝突警報、車線変更可否判断等の各種制御に利用される。
【００２９】
まず、図２を参照して、認識対象となる道路環境と属性について説明しておく。道路環境としては、レーンマーカと道路境界である。レーンマーカとしては、車線を示し、例えば、白実線、白破線、黄実線がある。道路境界としては、車道の端部であり、例えば、路肩、車道と歩道との段差、ブロック、側溝、縁石、草むらである。各種制御で利用する場合には自車両が走行している車線とその車線の左右両側の車線情報が判ればよいので、自車両が走行している車線とその両側の車線に関するレーンマーカと道路境界のみを認識対象の道路境界として定義する。
【００３０】
レーンマーカについては、自車両Ｖの位置を基準として相対位置を考慮し、自車両Ｖの左側のレーンマーカＲＬ１を「レーンマーカ左１」、レーンマーカＲＬ１の左側のレーンマーカＲＬ２を「レーンマーカ左２」、自車両Ｖの右側のレーンマーカＲＲ１を「レーンマーカ右１」、レーンマーカＲＲ１の右側のレーンマーカＲＲ２を「レーンマーカ右２」とそれぞれ定義する。道路境界についても、自車両Ｖの位置を基準として相対位置を考慮し、自車両Ｖの左側の道路境界ＢＬ１を「道路境界左１」、道路境界ＢＬ１の左側の道路境界ＢＬ２を「道路境界左２」、自車両Ｖの右側の道路境界ＲＲ１を「道路境界右１」、道路境界ＲＲ１の右側の道路境界ＲＲ２を「道路境界右２」とそれぞれ定義する。「道路境界左１」は「レーンマーカ左１」の外側にある道路境界であり、「道路境界右１」は「レーンマーカ右１」の外側にある道路境界であり、「道路境界左２」は「レーンマーカ左２」の外側にある道路境界であり、「道路境界右２」は「レーンマーカ右２」の外側にある道路境界である。
【００３１】
本実施の形態では、上記で定義した「レーンマーカ左１」、「レーンマーカ左２」、「レーンマーカ右１」、「レーンマーカ右２」、「道路境界左１」、「道路境界左２」、「道路境界右１」、「道路境界右２」に「どれでもない」を加えた９種類がセグメント属性である。このセグメント属性には、０，１，・・・と属性を示す番号がそれぞれ付与される。また、レーンマーカについては、白実線、白破線、黄実線などのレーンマーカ属性がある。道路境界については、車道と歩道とのブロック、縁石、側溝、草むらなどの道路境界属性がある。
なお、道路には車線なし、片側一車線、片側二車線、片側三車線など様々な構造があるので、道路構造によっては定義したセグメント属性が全て存在するわけではない。
【００３２】
まず、コンピュータで事前に行う学習について説明する。コンピュータでは、オペレータによる指令に基づいて、セグメント属性を推定するための推論規則を求める。そのために、コンピュータには、予め学習用のプログラムが組み込まれており、オペレータによって操作される。また、コンピュータには、学習用の撮像画像が入力される。学習用の撮像画像は、数百〜数千枚程度の多数枚であり、カメラにより様々な道路を撮像した撮像画像である。撮像する道路としては、片側一車線など様々な道路構造の道路、同じ道路構造の道路でも道路境界の違う道路あるいは直線路やカーブ路路などの様々な道路である。図３（ａ）には、片側一車線の撮像画像の一例を示しており、道路の両側に白実線のレーンマーカがあり、中央に黄実線のレーンマーカがあり、さらに、白実線のレーンマーカの外側に車道と歩道とを区画するブロックが存在する。したがって、図３の例では、レーンマーカ左１、レーンマーカ右１、レーンマーカ右２、道路境界左１、道路境界右２が存在する。
【００３３】
コンピュータでは、オペレータによって学習用プログラムが起動されると、ディスプレイ上に学習用ツールを表示させる。そして、コンピュータでは、オペレータからの指令に従って、学習用の撮像画像から認識対象（レーンマーカ、道路境界）の候補となる線（直線、曲線など）を抽出する。この線の抽出手法は、撮像画像の処理すべき画像範囲（通常、道路の存在する画像の下側）に対してＳｏｂｅｌフィルタやＬａｐｌａｃｅフィルタなどを用いてエッジ抽出を行い、エッジ画像に対してＨｏｕｇｈ変換を行う。そして、式（１）で表される曲線（直線も含む）を抽出する。
【００３４】
【数１】
（１）式において、ｘは画像上の横方向、ｙは縦方向とする。コンピュータでは、撮像画像毎に式（１）の曲線を抽出すると、撮像画像を任意の高さ毎に矩形領域に区画する。この矩形領域に区画された曲線を線分（以下、セグメントを呼ぶ）に近似する。図３（ｂ）に示すように、図３（ａ）の撮像画像の下側が複数の矩形領域に分割されている。ちなみに、各矩形領域には縦位置番号が付与され、縦位置番号は撮像画像の最下の矩形領域から０，１，・・・と付与される。
【００３５】
ここで、セグメントが抽出されると、オペレータは、撮像画像を見ながら、各セグメントに対してそのセグメント属性の正解を入力する。このセグメント属性の正解の付与については、セグメント抽出のパラメータの調整毎に新たに正解を付与する必要があり、効率的でない。そこで、オペレータが学習画像毎に事前に各認識対象の正解位置を付与し、コンピュータ側で正解位置との距離が閾値以内で最も近いセグメントにそのセグメント属性を付与するようにしてもよい。これにより、セグメント抽出のパラメータ調整をした場合、その正解付与をやり直す必要がなく、工数を大幅に削減できる。また、オペレータは、レーンマーカに対しては白実線、白破線、黄実線などのレーンマーカ属性を入力し、道路境界に対しては車道と歩道とのブロック、縁石、側溝、草むらなどの道路境界属性を入力する。
【００３６】
属性の正解が入力されると、コンピュータでは、セグメント毎に、その特徴量を算出する。特徴量は、図４（ａ）〜（ｃ）に示すように、水平位置、鉛直位置、角度、平行線分距離、平行線分角度差、輝度比、勾配方向の７つある。水平位置は、画像の左端を基準としたセグメントの中点の水平方向の位置である。鉛直位置は、画像の上端を基準としたセグメントの中点の鉛直方向の位置である。角度は、鉛直線を基準としたセグメントの角度である。平行線分距離は、セグメントの中点から高輝度側に水平方向一定距離以内に角度差が閾値以下、かつ、勾配方向が逆のセグメントが存在する場合には２つのセグメントの水平位置の差であり、該当するセグメントが存在しない場合には平行線分が存在しないことを示す値である。平行線分角度差は、セグメントの中点から高輝度側に水平方向一定距離以内に角度差が閾値以下、かつ、勾配方向が逆のセグメントが存在する場合には２つのセグメントの角度差であり、該当するセグメントが存在しない場合には平行線分が存在しないことを示す値である。輝度比は、セグメントの中点から水平方向一定距離内にある画素の最大輝度値と最小輝度値との比である。勾配方向は、セグメントの中点から水平方向一定距離内で最大輝度値と最小輝度値を与える画素の水平位置の差である。なお、特徴量としては、これら以外のものを設定してもよい。
【００３７】
続いて、コンピュータでは、セグメント毎に、セグメント属性、レーンマーカ属性、道路境界属性及び７つの特徴量をデータベースに格納する。図５には、そのデータベースの一例を示している。ちなみに、撮像画像から抽出されるセグメントにはレーンマーカや道路境界以外の道路上のもの（例えば、横断歩道）のセグメントも存在するので、それらセグメントにはセグメント属性として「どれでもない」が付与されている。コンピュータでは、入力した全ての学習用の撮像画像に対して以上の処理を行い、データベースを構築する。
【００３８】
そして、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、データベースに基づいて各セグメントの属性を推定するための推論規則を作成する。ここでは、各ノード間の親子関係の有無、親子関係にある場合には親ノードの状態が決まったときに子ノードの状態に関する事後確率（条件付確率）を算出する。そして、ノードの親子関係を示したネットワークを構築する。ノードは、各データ項目からなる。データ項目は、７つの特徴量と３つの属性（セグメント属性、レーンマーカ属性、道路境界属性）である。ノードとなるデータ項目には、０，１，・・・と番号がそれぞれ付与される。
【００３９】
具体的には、まず、１０個のデータ項目を順に基準ノードとし、基準ノードに対して親候補となるノードをデータ項目から選択する。この選択では、各データ項目の定性的な意味を利用できる。例えば、水平位置がセグメント属性により決まると考えられる場合、セグメント属性を水平位置の親候補のノードとする。このような知識が使えない場合、自ノードより若いノード番号（データ項目番号）を持つノード（データ項目）を全て親候補とするなどのルールを用いる。
【００４０】
さらに、親候補のノードの数をＮ個とし、Ｎ個の親候補の組み合せ（２Ｎ個）を求める。例えば、番号８のノードの親候補が番号２、番号４、番号５の３つのノードとすると、実際の親は、（ＮＵＬＬ）、（２）、（４）、（５）、（２，４）、（２，５）、（４，５）、（２，４，５）の８通りの組み合せのいずれかである。これら組み合せに対して０から２Ｎ−１までの組み合せ番号を付与する。そして、各組み合せ番号の親候補に対して、条件付確率をそれぞれ算出する。各ノードが離散値の場合、条件付確率は、単純に生起回数をカウントし、正規化することによって求めることができる。各ノードが連続値をとる場合には、Ｋ−ｍｅａｎなどの手法で離散化することにより、離散値として取り扱うことができる。
【００４１】
図６には、（ａ）に生起回数をカウントしたテーブル及び（ｂ）に条件付確率のテーブルの一例を示している。この例では、番号８のノード（データ項目８）の番号２、番号４、番号５の３つの組み合せ（データ項目２、データ項目４、データ項目５）の親候補に対するテーブルである。ここでは、簡略化して各ノードの離散値と「Ｙ」と「Ｎ」としているが、実際にはデータ項目毎に値やその離散値の個数が異なる。例えば、ノード（データ項目）がセグメント属性の場合にはレーンマーカ左１、レーンマーカ左２などであり、水平位置の場合には０，１，・・・である。図６（ａ）に示す生起回数のテーブルには、全ての学習用の撮像画像から抽出されたセグメントにおいて、データ項目８及びデータ項目２、データ項目４、データ項目５の各離散値に該当するセグメントがある場合にはそのセグメントの個数がカウントされ、そのカウント値が生起回数として示されている。そして、図６（ｂ）に示す条件付確率テーブルには、全ての学習用の撮像画像から抽出されたセグメントの全数と各生起回数とから正規化した条件付確率が示されている。
【００４２】
続いて、親候補の組み合せ毎に、評価値を算出する。評価値は、式（２）で示すＡＩＣ[Akaike's Information Criteria]（赤池の情報基準）などの情報量基準を利用する。この条件付確率と評価値については、基準ノード毎に、２Ｎ個の親候補の全ての組み合せについて求める。そして、各組み合せの評価値から、最大の評価値の親候補の組み合せを基準ノードの親とする。
【００４３】
【数２】
式（２）では、右辺第１項が親候補の組み合せにより基準ノード（データ項目）がよく表現されているかを表しており、右辺第２項が親の数が増えてモデルが複雑になることへのペナルティを表している。
【００４４】
以上の処理を全てのデータ項目を基準ノードとして行い、各基準ノード（データ項目）の親をそれぞれ決める。そして、この親子関係から、ベイジアンネットのネットワーク構造を求める。図７には、ネットワーク構造の一例を示している。図７の例では、例えば、平行線分距離の親はセグメント属性と鉛直位置であり、セグメント属性は親がなく、子が道路境界属性、レーンマーカ属性、勾配方向、角度、平行線分距離、水平位置であり、鉛直位置は親がなく、子が平行線分距離、平行線分角度、水平位置である。ちなみに、セグメント属性を推定する場合、その子である道路境界属性、レーンマーカ属性、勾配方向、角度、平行線分距離、水平位置を参照し、更に、その子の親や子を参照することによりセグメント属性を推定することができる。
【００４５】
このように、コンピュータによる事前の学習により、各セグメントの特徴量からセグメント属性を推定するための推論規則を求める。推論規則は、ベイジアンネットのネットワーク構造と条件付確率を組み合せたものである。
【００４６】
次に、道路環境認識装置１について説明する。道路環境認識装置１は、車両に搭載され、走行中の道路における道路環境を認識する。特に、道路環境認識装置１では、事前の学習のよって作成した推論規則を用いてセグメント毎にセグメント属性を推定し、道路環境を認識する。そして、道路環境認識装置１では、認識結果をレーンマーカや道路境界の情報を必要とする他の装置に出力する。そのために、道路環境認識装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備え、画像ＥＣＵ３にセグメント検出部３ａ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、結果出力部３ｄが構成される。
【００４７】
なお、第１の実施の形態ではカメラ２が特許請求の範囲に記載する撮像手段に相当し、セグメント検出部３ａが特許請求の範囲に記載する線分検出手段に相当し、セグメント特徴算出部３ｂが特許請求の範囲に記載する特徴算出手段に相当し、セグメント属性推定部３ｃが特許請求の範囲に記載する属性推定手段に相当する。
【００４８】
カメラ２は、例えば、ＣＣＤ[Charge Coupled Device]カメラであり、道路環境認識装置１を搭載する自動車の前方かつ中央に取り付けられる。カメラ２では、自動車の前方を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。カメラ２では、その撮像画像のデータを画像ＥＣＵ３に送信する。カメラ２は、左右方向に撮像範囲が広く、車道の外側に設けられる歩道、路側帯等まで撮像可能である。
【００４９】
画像ＥＣＵ３は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、各処理部が構成される。画像ＥＣＵ３では、カメラ２から撮像画像のデータを取り入れ、その撮像画像からセグメントを抽出し、各セグメントの特徴量を算出する。そして、画像ＥＣＵ３では、推論規則を用いて、セグメントの特徴量に基づいてセグメント属性を推定し、道路環境を認識する。画像ＥＣＵ３には、ＲＯＭにコンピュータで作成した推論規則（ベイジアンネットのネットワーク構造と条件付確率）が記憶されている。なお、第１の実施の形態では、画像ＥＣＵ３のＲＯＭが特許請求の範囲に記載する記憶手段に相当する。
【００５０】
セグメント検出部３ａでは、撮像画像から認識対象（レーンマーカ、道路境界）の候補となるセグメントを検出する。この検出手法は、コンピュータで行った手法と同じである。セグメント特徴算出部３ｂでは、セグメント毎に、その特徴量を算出する。
【００５１】
セグメント属性推定部３ｃでは、推論規則を用いて、セグメント毎に、そのセグメントが各セグメント属性である生起確率を求める。さらに、各レーンマーカ属性である生起確率や各道路境界属性である生起確率を求めてもよい。生起確率を求める場合、ベイジアンネットワークの確率伝播技術を用いる。さらに、セグメント属性推定部３ｃでは、セグメント毎に、各セグメント属性に対する生起確率に基づいてセグメント属性を推定する。このセグメント属性の推定では、基本的には、最も生起確率の高いセグメント属性を採用する。また、同じ矩形領域において同一のセグメント属性となるセグメントが２つ以上存在する場合、２つ以上のセグメントの中からそのセグメント属性である生起確率が最も高いセグメントを１つ採用する。
【００５２】
結果出力部３ｄでは、ノイズを取り除くために、フィルタリングを行う。このフィルタリングでは、セグメントのクラスタリングを行い、属するセグメントが最も多いクラスを、各セグメント属性に対する真の解釈として採用する。具体的には、まず、処理対象のセグメント属性を決定し、さらに、処理対象の矩形領域を決定する。そして、処理対象の矩形領域から処理対象のセグメント属性と確定されているセグメントを抽出し、式（３）により、既に作成しているクラスとその抽出したセグメントとの距離を算出する。クラスが複数ある場合、各クラスとの距離を算出する。図８には、式（３）で用いるパラメータを示している。Ｓ１は既に作成されているクラスに属する矩形領域の縦位置が最も上方のセグメントであり、Ｓ２は現在処理対象のセグメントである。θはセグメントＳ１とセグメントＳ２との角度差であり、ｈはセグメントＳ１とセグメントＳ２との鉛直位置差であり、ｄは同じ矩形領域におけるセグメントＳ１の延長線とセグメントＳ２との水平位置差である。
【００５３】
【数３】
式（３）におけるα、βは、実験やシミュレーション等によって求められた定数である。式（３）では、セグメントＳ１とセグメントＳ２の位置関係と角度関係からセグメントＳ１とセグメントＳ２との距離が算出される。また、式（３）では、θｔｈｄは角度差θの閾値であり、ｄｔｈｄは（水平位置差ｄ／鉛直位置差ｈ）の閾値値であり、角度差θがθｔｈｄ以上かあるいは（水平位置差ｄ／鉛直位置差ｈ）がｄｔｈｄ以上の場合、そのセグメントはクラスに属さないこと示すために、距離として無限大が設定される。
【００５４】
各クラスと現在処理対象セグメントとの距離を算出すると、その距離が閾値以下か否かをそれぞれ判定する。閾値以下の場合、そのセグメントを距離が最小のクラスに帰属させる。閾値より大きい場合や最下の矩形領域のセグメントの場合、新たにクラスを作成し、そのセグメントを帰属させる。以上の処理を全ての矩形領域に対して行い、処理対象の全てのセグメントをいずれかのクラスに帰属させる。
【００５５】
そして、投票数最大の（すなわち、属するセグメントの数が最も多い）クラスに属するセグメント群を、その処理対象のセグメント属性であると確定する。以上の処理を全てのセグメント属性に対して行い、各セグメント属性のセグメント群を確定する。このように、各セグメント属性について、各矩形領域から最も距離が近く、繋がる可能性の高いセグメントが選ばれ、撮像画像におけるセグメント群が確定する。この際、矩形領域間で繋がらないセグメントは排除され、ノイズとして除去される。
【００５６】
結果出力部３ｄでは、各セグメント属性とその確定されたセグメント群とを認識結果として出力する。この際、セグメント群を１本の線（曲線、直線）の情報としてもよい。また、セグメント属性の他に、レーンマーカ属性や道路境界属性も情報としてもよい。
【００５７】
次に、道路環境認識システムにおける動作について説明する。ここでは、コンピュータによる学習については、図９のフローチャートに沿って説明し、特に、推測規則作成処理については図１０のフローチャートに沿って説明する。また、道路環境認識装置１における実際の道路環境認識については、図１１のフローチャートに沿って説明し、特に、フィルタリング処理については図１２のフローチャートに沿って説明する。図９は、第１の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。図１０は、図９のフローチャートにおける推測規則作成処理の流れを示すフローチャートである。図１１は、図１の道路環境認識装置における処理の流れを示すフローチャートである。図１２は、図１１のフローチャートにおけるフィルタリング処理の流れを示すフローチャートである。
【００５８】
まず、コンピュータによる学習について説明する。コンピュータでは、学習用の撮像画像毎に、レーンマーカや道路環境の候補となるセグメント（矩形領域単位）を抽出する（Ｓ１０）。コンピュータでは、オペレータによって、各セグメントに対してセグメント属性、レーンマーカ属性、道路境界属性の正解が入力される（Ｓ１１）。さらに、コンピュータでは、各セグメントについてその特徴量を算出する（Ｓ１２）。そして、コンピュータでは、セグメント毎に各データ項目（３つの属性の正解と７つの特徴量）をデータベースに格納する（Ｓ１３）。学習用撮像画像中の全てのセグメントについてデータベースの格納が終了すると、コンピュータでは、全ての学習用撮像画像についてＳ１０〜Ｓ１３の処理が終了したか否かを判定し、全ての学習用撮像画像について処理が終了するまでＳ１０〜Ｓ１３の処理を繰り返し実行する（Ｓ１４）。
【００５９】
全ての学習用撮像画像について処理が終了すると、コンピュータでは、データベースに格納されているセグメント毎の各データ項目の相関関係（条件付確率）を求め、セグメント属性を推論するための推論規則（ベイジアンネット）を作成する（Ｓ１５）。以下で、この推論規則の作成処理について説明する。
【００６０】
まず、コンピュータでは、基準ノード番号Ｉを０に初期化する（Ｓ１５ａ）。ノードとなる各データ項目については番号が付与されているので、基準ノード番号Ｉと一致する番号のデータ項目が処理対象となる。
【００６１】
続いて、コンピュータでは、データ項目から、基準ノードＩの親候補となるノード（Ｎ個）を選択する（Ｓ１５ｂ）。そして、コンピュータでは、親候補のノードの組み合せを求め、各組み合せに対して通し番号を組み合せ番号Ｊとして付与する（Ｓ１５ｃ）。組み合せ番号Ｊは、０，１，・・・２Ｎ−１である。コンピュータでは、組み合せ番号Ｊを０に初期化する（Ｓ１５ｄ）。
【００６２】
コンピュータでは、データベースに格納されているセグメント毎の各データ項目に基づいて、基準ノードＩにおける組み合せ番号Ｊの親候補ノードの組み合せに対して、生起回数をカウントし、正規化することにより条件付確率Ｐを算出する（Ｓ１５ｅ）。さらに、コンピュータでは、式（２）により、組み合せ番号Ｊの親候補ノードの組み合せについて評価値（ＡＩＣ）を算出する（Ｓ１５ｆ）。コンピュータでは、次の親候補ノードの組み合せについて処理を行うために、組み合せ番号Ｊに１を加算する（Ｓ１５ｇ）。そして、コンピュータでは、組み合せ番号Ｊが組み合せ番号の最大番号２Ｎ−１より大きいか否かを判定し、組み合せ番号Ｊが２Ｎ−１より大きくなるまでＳ１５ｅ〜Ｓ１５ｇの処理を繰り返し実行する（Ｓ１５ｈ）。ここでは、基準ノードＩについて、その親候補ノードの全ての組み合せに対する評価値を求める。
【００６３】
組み合せ番号Ｊが２Ｎ−１より大きくなると、コンピュータでは、基準ノードＩについて算出された全ての評価値から最大の評価値を抽出し、その最大の評価値の親候補ノードの組み合せを基準ノードＩの親に設定する（Ｓ１５ｉ）。コンピュータでは、次のデータ項目について処理を行うために、基準ノード番号Ｉに１を加算する（Ｓ１５ｊ）。そして、コンピュータでは、基準ノード番号Ｉが（データ項目数−１）より大きいか否かを判定し、基準ノード番号Ｉが（データ項目数−１）より大きくなるまでＳ１５ｂ〜Ｓ１５ｊの処理を繰り返し実行する（Ｓ１５ｋ）。ここでは、全てのデータ項目を基準ノードとし、全ての基準ノードに対する親をそれぞれ設定する。そして、コンピュータでは、各データ項目の親子関係からベイジアンネットのネットワーク構造を求める。
【００６４】
次に、道路環境認識装置１における道路環境認識について説明する。道路環境認識装置１では、カメラ２により前方の道路を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像からレーンマーカや道路環境の候補となるセグメント（矩形領域単位）を抽出する（Ｓ２０）。そして、道路環境認識装置１では、各セグメントについてその特徴量を算出する（Ｓ２１）。
【００６５】
画像ＥＣＵ３では、推論規則（ベイジアンネットのネットワーク構造と条件付確率）を用いて、セグメント毎に、そのセグメントの特徴量から各セグメント属性である生起確率を推論する（Ｓ２２）。そして、画像ＥＣＵ３では、セグメント毎に、生起確率からセグメント属性を確定する（Ｓ２３）。ここでは、レーンマーカ属性や道路境界属性についても同様の処理を行い、各属性を確定するようにしてもよい。Ｓ２３までの処理により、画像ＥＣＵ３では、撮像画像の全ての矩形領域に対して、全てのセグメントについて属性をそれぞれ確定する。
【００６６】
そして、画像ＥＣＵ３では、フィルタリングを行い、ノイズのセグメントを除去するとともに各セグメント属性に対して矩形領域間で繋がるセグメント群を確定する（Ｓ２４）。そして、画像ＥＣＵ３では、各セグメント属性とそのセグメント群を認識結果として、道路環境の情報を必要とする他の装置に出力する（Ｓ２５）。最後に、画像ＥＣＵ３では、カメラ２から送信された全ての撮像画像に対して処理が終了したか否かを判定し、全て終了していない場合には終了するまでＳ２０〜Ｓ２５の処理を繰り返し実行する（Ｓ２６）。なお、Ｓ２４のフィルタリング処理については以下で詳細に説明する。
【００６７】
画像ＥＣＵ３では、処理対象のセグメントの属性番号Ｐを０に初期化し（Ｓ２４ａ）、処理対象の矩形領域の縦位置番号Ｖを０に初期化する（Ｓ２４ｂ）。
【００６８】
画像ＥＣＵ３では、縦位置番号Ｖの矩形領域において、属性番号Ｐのセグメント属性のセグメントを抽出し、式（３）により、そのセグメントと既に作成されているクラスとの距離を算出する（Ｓ２４ｃ）。ここでは、縦位置番号Ｖの矩形領域中の属性番号Ｐのセグメント属性の全てのセグメントについて、既に作成されている全てのクラスに対する距離がそれぞれ算出される。ただし、クラスが全く作成されていない場合、Ｓ２４ｆの処理において新しいクラスを作成する。
【００６９】
画像ＥＣＵ３では、属性番号Ｐのセグメント属性の全てのセグメントについて、各距離が閾値以下のクラスが存在するか否かを判定する（Ｓ２４ｄ）。画像ＥＣＵ３では、閾値以下のクラスが複数存在する場合には複数のクラスから最小の距離のクラスにセグメントを帰属させ、閾値以下のクラスが一つ存在する場合にはそのクラスにセグメントを帰属させる（Ｓ２４ｅ）。一方、画像ＥＣＵ３では、閾値以下のクラスが存在しない場合には新たにクラスを作成し、そのクラスにセグメントを帰属させる（Ｓ２４ｆ）。これにより、縦位置番号Ｖの矩形領域中の属性番号Ｐの全てのセグメントが、いずれかのクラスに属すことになる。
【００７０】
画像ＥＣＵ３では、属性番号Ｐのセグメント属性に対して、撮像画像の全ての矩形領域について処理が終了したか否かを判定する（Ｓ２４ｇ）。全ての矩形領域について処理が終了していない場合、画像ＥＣＵ３では、次の矩形領域に処理対象を変えるために、縦位置番号Ｖに１を加算し、Ｓ２４ｃの処理に戻る（Ｓ２４ｈ）。これにより、撮像画像における全ての矩形領域中の属性番号Ｐの全てのセグメントが、いずれかのクラスに属することになる。
【００７１】
全ての矩形領域について処理が終了した場合、画像ＥＣＵ３では、属性番号Ｐのセグメントに対するクラスタリング結果に基づいて、投票数最大のクラスに属するセグメント群を属性番号Ｐのセグメント属性の解釈として出力する（Ｓ２４ｉ）。つまり、セグメントの数が最大のクラスを構成するセグメント群が属性番号Ｐのセグメント属性として認識される。
【００７２】
画像ＥＣＵ３では、全てのセグメント属性について処理が終了したか否かを判定する（Ｓ２４ｊ）。全てのセグメント属性について処理が終了していない場合、画像ＥＣＵ３では、次のセグメント属性に処理対象を変えるために、属性番号Ｐに１を加算し、Ｓ２４ｂの処理に戻る（Ｓ２４ｋ）。一方、全てのセグメント属性について処理が終了した場合、画像ＥＣＵ３では、処理を終了する。これにより、各セグメント属性となるセグメント群（線）が抽出され、いずれのセグメント属性にならないセグメントがノイズとして除去される。この抽出されたセグメント群は、矩形領域間での繋がり性もよい。
【００７３】
図１３に、ベイジアンネットのネットワークにおいて使用したノードに応じて、道路環境認識装置１によりセグメント属性（道路環境）の認識を行った認識性能を示す。図１３に示すグラフでは、横軸「Ｒｅｃａｌｌ」が認識しなければいけない道路環境を認識した確率であり、縦軸「Ｐｒｅｃｉｓｉｏｎ」が認識してはいけない道路環境を認識しなかった確率であり、１を最大として、１に近づくほど正確に認識したことを表す。全てのノード（データ項目）を使用した場合、「Ｒｅｃａｌｌ」、「Ｐｒｅｃｉｓｉｏｎ」共に１に近く、認識性能が最も高いことを示す（黒塗りの菱形参照）。ノードの一部を使用しなかった場合（勾配方向なし、水平位置なし、平行線分角度差なし、平行線分距離なし、角度なし）、全てのノードを使用した場合に比べて「Ｒｅｃａｌｌ」、「Ｐｒｅｃｉｓｉｏｎ」のうちの少なくとも一方が低く、認識性能が低下する。
【００７４】
この第１の実施の形態に係る道路環境認識システムによれば、ベイジアンネットを利用することにより、各セグメントの複数の特徴量を用いてセグメント属性を総合的に判断でき、セグメント属性（道路環境）の認識精度が高い。また、この道路環境認識システムによれば、画像全体ではなく矩形領域に分けて処理を行うので、処理負荷を軽減できる。さらに、道路環境認識装置１では、フィルタリングを行うので、矩形領域間で繋がりのよいセグメント群を抽出できるとともに、ノイズも除去できる。
【００７５】
次に、図１４〜図１６を参照して、第２の実施の形態に係る道路環境認識システムについて説明する。図１４は、第２の実施の形態に係る道路環境認識装置の構成図である。図１５は、図１４の連続性評価部における第１段階の連続性評価の説明図である。図１６は、図１４の連続性評価部における第２段階の連続性評価の説明図である。なお、第２の実施の形態では、第１の実施の形態に係る道路環境認識システムと同様の構成について同一の符号を付し、その説明を省略する。
【００７６】
第２の実施の形態に係る道路環境認識システムは、第１の実施の形態と同様にコンピュータと道路環境認識装置１１からなるが、コンピュータ及び道路環境認識装置１１におけるセグメントの検出処理が第１の実施の形態と異なる。この道路環境認識システムでは、撮像画像から滑らかな線（曲線や直線）の一部としてのセグメントを検出するために、隣接する矩形領域のセグメント間の連続性を考慮してセグメント検出を行う。なお、第２の実施の形態では、道路環境認識装置１１についてのみ説明するが、コンピュータでも道路環境認識装置１１と同様の処理によりセグメント検出を行う。
【００７７】
道路環境認識装置１１は、第１の実施の形態に係る道路環境認識装置１に対して、セグメント検出処理のみが異なる。そのために、道路環境認識装置１１は、カメラ２及び画像ＥＣＵ１３を備え、画像ＥＣＵ１３に画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、結果出力部３ｄが構成される。
【００７８】
画像ＥＣＵ１３では、ノイズの影響が少なくかつ高速に、矩形領域間の繋がりが滑らかなセグメントを抽出することができる。そのために、画像ＥＣＵ１３では、隣接する矩形領域のセグメント間の連続性を評価し、隣接する矩形領域間で連続性を有しているセグメント群を曲線（直線を含む）に当てはめてからセグメント化する。以下の説明では、画像ＥＣＵ１３における画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄの処理について詳細に説明する。なお、第２の実施の形態では、画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ及び曲線近似部１３ｄが特許請求の範囲に記載する線分検出手段を構成する。
【００７９】
画像分割部１３ａでは、撮像画像を任意の高さ毎に矩形領域に区画する。各矩形領域には、第１の実施の形態と同様に、縦位置番号が付与される。
【００８０】
セグメント検出部１３ｂでは、Ｓｏｂｅｌフィルタなどを用いて、撮像画像からエッジを抽出する。そして、セグメント検出部１３ｂでは、エッジの影響を低減するために、抽出したエッジを細線化する。さらに、セグメント検出部１３ｂでは、細線化したエッジを２値化する。この２値化では、閾値を画像の輝度に比例して変化させ、日陰などのコントラストの絶対値が小さいところでも安定してエッジを抽出できるようにしている。そして、セグメント検出部１３ｂでは、Ｈｏｕｇｈ変換を用いて、矩形領域毎に２値化したエッジからセグメントを抽出する。この際、処理を安定化させるために、エッジ勾配角度とρ−θ空間のθの誤差が閾値より大きい場合は投票せず、また、１つのセグメント抽出後にそのセグメントに属するエッジ点の投票を投票空間から削除する。
【００８１】
連続性評価部１３ｃでは、隣接する矩形領域におけるセグメントの連続性を評価する。そのために、連続性評価部１３ｃでは、まず、矩形領域（縦位置番号Ｖ）内のセグメントから基準セグメント（基準セグメント番号Ｓ）を順次抽出する。この基準セグメントを（Ｖ，Ｓ）で表す（図１５参照）。連続性評価部１３ｃでは、Ｖ＝０の矩形領域、Ｓ＝０の基準セグメントから処理を開始する。ちなみに、各矩形領域内のセグメントには、０，１，・・・と通し番号が付与されている。次に、連続性評価部１３ｃでは、式（４）により、縦位置番号Ｖの矩形領域の上側に隣接する縦位置番号Ｖ＋１の矩形領域の各セグメントと基準セグメント（Ｖ，Ｓ）との距離をそれぞれ算出する。図１５には、式（４）で用いるパラメータを示している。θは２つのセグメント間の角度差であり、ｄは２つのセグメント間の水平位置の差である。
【００８２】
【数４】
式（４）のα，βは、実験やシミュレーション等によって求まられた定数である。式（４）では、２つのセグメントの位置関係と角度関係から２つのセグメント間の距離が算出される。連続性評価部１３ｃでは、縦位置番号Ｖ＋１の矩形領域から、基準セグメント（Ｖ，Ｓ）との距離が最小となるセグメントを抽出する。このセグメントを（Ｖ＋１，Ｓ１）で表す（図１５参照）。さらに、連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメントを（Ｖ＋１，Ｓ１）との距離が閾値以下か否かを判定し、閾値より大きい場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと評価する。ここでは、まだ、セグメント（Ｖ＋１，Ｓ１）は縦位置番号Ｖの矩形領域において基準セグメント（Ｖ，Ｓ）より距離が小さいセグメントが存在するかもしれないので、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があるとは評価できない。
【００８３】
そこで、連続性評価部１３ｃでは、式（４）により、縦位置番号Ｖの矩形領域の各セグメントとセグメント（Ｖ＋１，Ｓ１）との距離をそれぞれ算出する。そして、連続性評価部１３ｃでは、縦位置番号Ｖの矩形領域から、セグメント（Ｖ＋１，Ｓ１）との距離が最小となるセグメントを抽出する。このセグメントを（Ｖ，Ｓ２）で表す（図１６参照）。ここで、連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致するか否かを判定し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致する場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると評価し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ，Ｓ２）とが一致しない場合には基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと評価する。連続性評価部１３ｃでは、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると評価した場合には、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とを結合する。
【００８４】
連続性評価部１３ｃでは、以上の処理を縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントとして実行する。さらに、連続性評価部１３ｃでは、以上の処理を撮像画像の全ての矩形領域に対して実行する。このように、連続性評価部１３ｃでは、撮像画像の全てのセグメントに対してその上側に隣接する矩形領域に存在するセグメントとの連続性を評価し、撮像画像において連続性を有しているセグメント群を結合する。このように、隣接する矩形領域において２つのセグメントが連続性を有するか否かを、その２つのセグメントの位置関係及び角度関係に基づいて２つの矩形領域の両方向から評価する。
【００８５】
曲線近似部１３ｄでは、結合されたセグメント群に対して、最小２乗法を用いて周辺のエッジ点を曲線式に当てはめる。その際、短いセグメント群に高次のモデルを当てはめると、エッジ点に過剰にフィッティングして大きく曲がった曲線が得られる。逆に、長いセグメント群に低次のモデルを当てはめるとフィッティングしきれないエッジ点が多く存在する。そこで、セグメント群の長さとモデル次数の最適な関係を実験やシミュレーションによって予め求め、その最適な関係を用いて最適なフィッティングを行っている。このように、最小２乗法による当てはめを行う前にセグメント群の長さが判っているので、適正なモデル次数をコントロールすることができる。
【００８６】
そして、曲線近似部１３ｄでは、求めた曲線（直線も含む）を矩形領域単位で分割し、セグメント化する。なお、曲線近似部１３ｄでは、フィッティングによって求めた曲線の長さや形状等に基づいてその曲線がレーンマーカや道路境界を表すものか否かを判定し、その曲線についてのみセグメント化を行う。このように、連続性を有するセグメント群を曲線に当てはめ、その曲線からセグメントを抽出するので、非常に滑らかなセグメントを得ることができる。
【００８７】
次に、道路環境認識装置１１におけるセグメント処理を図１７のフローチャートに沿って説明する。図１７は、図１４の道路環境認識装置におけるセグメント検出処理の流れを示すフローチャートである。
【００８８】
道路環境認識装置１１では、カメラ２で撮像した撮像画像のデータを画像ＥＣＵ１３に送信する。画像ＥＣＵ１３では、その撮像画像からエッジを抽出する（Ｓ３０）。そして、画像ＥＣＵ１３では、その抽出したエッジを細線化し（Ｓ３１）、細線化したエッジを２値化する（Ｓ３２）。さらに、画像ＥＣＵ１３では、Ｈｏｕｇｈ変換を用いて、各矩形領域の２値化エッジからセグメントを抽出する（Ｓ３３）。
【００８９】
画像ＥＣＵ１３では、矩形領域の縦位置番号を０に初期化するとともに（Ｓ３４）、基準セグメント番号Ｓを０に初期化する（Ｓ３５）。そして、画像ＥＣＵ１３では、縦位置番号Ｖ＋１の矩形領域において、基準セグメント（Ｖ，Ｓ）との距離が最小となるセグメント（Ｖ＋１，Ｓ１）を抽出する（Ｓ３６）。画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）との距離が閾値以下か否かを判定する（Ｓ３７）。Ｓ３７にて距離が閾値より大きい場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと判断し、Ｓ４１の処理に移行する。
【００９０】
Ｓ３７にて距離が閾値以下の場合、画像ＥＣＵ１３では、縦位置番号Ｖの矩形領域において、セグメント（Ｖ＋１，Ｓ１）との距離が最小となるセグメント（Ｖ，Ｓ２）を抽出する（Ｓ３８）。そして、画像ＥＣＵ１３では、セグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致するか否かを判定する（Ｓ３９）。Ｓ３９にてセグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致しない場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性がないと判断し、Ｓ４１の処理に移行する。Ｓ３９にてセグメント（Ｖ，Ｓ２）と基準セグメント（Ｖ，Ｓ）とが一致する場合、画像ＥＣＵ１３では、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とは連続性があると判断し、基準セグメント（Ｖ，Ｓ）とセグメント（Ｖ＋１，Ｓ１）とを結合する（Ｓ４０）。
【００９１】
そして、画像ＥＣＵ１３では、縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントとした処理が終了したか否かを判定する（Ｓ４１）。Ｓ４１にて全てのセグメントに対して終了していない場合、画像ＥＣＵ１３では、基準セグメント番号Ｓに１を加算し（Ｓ４２）、Ｓ３６の処理に戻る。Ｓ４１にて全てのセグメントに対して終了している場合、画像ＥＣＵ１３では、Ｓ４３の処理に移行する。さらに、画像ＥＣＵ１３では、撮像画像の全ての矩形領域に対して処理が終了したか否かを判定する（Ｓ４３）。Ｓ４３にて全ての矩形領域に対して終了していない場合、画像ＥＣＵ１３では、縦位置番号Ｖに１を加算し（Ｓ４４）、Ｓ３５の処理に戻る。Ｓ４３にて全ての矩形領域に対して終了している場合、画像ＥＣＵ１３では、Ｓ４５の処理に移行する。
【００９２】
そして、画像ＥＣＵ１３では、結合したセグメント群を最小２乗法により曲線式に当てはめ、フィッティングを行う（Ｓ４５）。さらに、画像ＥＣＵ１３では、求められた曲線を縦方向に等間隔で（すなわち、矩形領域単位で）分割し、セグメント化する（Ｓ４６）。
【００９３】
第２の実施の形態に係る道路環境認識システムによれば、第１の実施の形態に係る道路環境認識システムと同様の効果を有する上に、非常に滑らかな曲線の一部であるセグメントを抽出でき、セグメント属性（道路環境）の認識精度が更に向上する。特に、この道路環境認識システムによれば、隣接する矩形領域間において２つのセグメントの連続性を、２つのセグメントの位置関係と角度関係に基づいて矩形領域の両方向から評価を行うので、隣接する矩形領域から連続性の有するセグメントを高精度に抽出することができ、ノイズも除去できる。
【００９４】
次に、図１８〜図２２を参照して、第３の実施の形態に係る道路環境認識システムについて説明する。図１８は、第３の実施の形態に係る道路環境認識装置の構成図である。図１９は、第３実施の形態における各セグメント対属性の鉛直位置及び水平相対位置からなる第２データベースの一例である。図２０は、第３の実施の形態における推論規則２（ベイジアンネット）のネットワーク構造の一例である。図２１は、第３に実施の形態における推論規則１による推論の説明図であり、（ａ）が基準セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｂ）が参照セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｃ）が基準セグメントと参照セグメントの一例である。図２２は、第３の実施の形態における推論規則２によるセグメント対属性に対する生起確率テーブルの一例である。
【００９５】
第３の実施の形態に係る道路環境認識システムは、第１〜第２の実施の形態と同様にコンピュータと道路環境認識装置２１からなるが、同じ矩形領域内の２つのセグメントの位置関係も考慮してセグメント属性の認識を行う点で第１〜第２の実施の形態と異なる。そのために、この道路環境認識システムでは、第１の実施の形態で用いた推論規則を推論規則１とし、２つのセグメントの位置関係を推論するための推論規則を推論規則２とし、２つの推論規則を用いる。したがって、コンピュータでは２つの推論規則を作成し、道路環境認識装置２１では２つの推論規則を保持して認識を行う。なお、第３の実施の形態では、セグメント検出については、第１の実施の形態での処理を適用してもよいし、第２の実施の形態での処理を適用してもよい。
【００９６】
まず、コンピュータで事前に行う学習について説明する。コンピュータは、第１の実施の形態や第２の実施の形態に係るコンピュータに対して、推論規則２を作成する点が異なる。コンピュータでは、第１の実施の形態と同様の処理により、入力した全ての学習用の撮像画像のセグメント毎にセグメント属性、レーンマーカ属性、道路境界属性及び７つの特徴量のデータからなる第１データベースを構築し、第１データベースに基づいて各セグメントの属性を推定するための推論規則１を作成する。この第１データベースは、第１の実施の形態で構築するデータベースである（図５参照）。この推論規則１は、第１の実施の形態で作成する推論規則であり（図６、図７参照）、セグメント単独の特徴量と属性から導かれたものである。これは、セグメントの画像上での絶対位置を特徴として、例えば、「レーンマーカ右１」は画像の中央からやや右に存在するなどの条件を表現したものである。実際に認識を行う上では、絶対位置のみでなく、セグメント間の相対位置も重要となる。そこで、このセグメント間の相対位置の関係を表す推論規則２を作成する。
【００９７】
コンピュータでは、同じ矩形領域における２つのセグメントの全ての組み合せに対して、２つのセグメントのセグメント属性の正解、鉛直位置、水平相対位置のデータを第２データベースに格納する。鉛直位置は矩形領域の縦位置番号であり、水平相対位置は２つのセグメント間の水平位置の差である。ここでは、２つのセグメントのセグメント属性正解を組み合せて１つの変数（セグメント対属性）として表す。例えば、「レーンマーカ左１」と「レーンマーカ右１」の組み合せであれば、「レーンマーカ左１＆レーンマーカ右１」とする。この際、「レーンマーカ左２」は「レーンマーカ左１」より右側にないなど、セグメント属性正解の左右関係が既知であり、セグメント属性名の先頭にくるセグメントを画像上の左側にあるものと定義することにより、処理負荷を軽減できる。図１９には、その第２データベースの一例を示している。コンピュータでは、入力した全ての学習用の撮像画像に対して以上の処理を行い、第２データベースを構築する。
【００９８】
そして、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、第２データベースに基づいて２つのセグメント間（セグメント対属性）の相対位置関係を表す推論規則２を作成する。この推論規則２は、セグメント対属性、鉛直位置及び水平相対位置の関係からなる。図２０には、その推論規則２のベイジアンネットのネットワーク構造の一例を示している。
【００９９】
次に、道路環境認識装置２１について説明する。道路環境認識装置２１は、第１の実施の形態に係る道路環境認識装置１や第２の実施の形態に係る道路環境認識装置１１に対して、２つの推論規則を用いて道路環境（セグメント属性）を認識する点が異なる。そのために、道路環境認識装置２１は、カメラ２及び画像ＥＣＵ２３を備え、画像ＥＣＵ２３にセグメント検出部３ａ、セグメント特徴算出部３ｂ、セグメント属性推定部３ｃ、セグメント属性更新部２３ａ、結果出力部３ｄが構成される。なお、セグメント検出部３ａの代わりに、第２の実施の形態の画像分割部１３ａ、セグメント検出部１３ｂ、連続性評価部１３ｃ、曲線近似部１３ｄを構成してもよい。
【０１００】
画像ＥＣＵ２３では、第１の実施の形態に係る画像ＥＣＵ３や第２の実施の形態に係る画像ＥＣＵ１３より、更に高い認識精度でセグメント属性を認識することができる。そのため、画像ＥＣＵ２３では、推論規則１によりセグメント属性を推定し、さらに、推論規則２を用いてその推定したセグメント属性を更新する。画像ＥＣＵ２３には、ＲＯＭにコンピュータで作成した推論規則１及び推論規則２が記憶されている。以下の説明では、画像ＥＣＵ２３におけるセグメント属性更新部２３ａの処理について詳細に説明する。なお、第３の実施の形態では、セグメント属性推定部３ｃ及びセグメント属性更新部２３ａが特許請求の範囲に記載する属性推定手段を構成し、画像ＥＣＵ２３のＲＯＭが特許請求の範囲に記載する記憶手段に相当する。
【０１０１】
セグメント属性推定部３ｃでは、第１の実施の形態と同様に、推論規則１を用いてセグメント毎にそのセグメントが各セグメント属性である生起確率を求め、セグメント属性を推定する。図２１（ａ）、（ｂ）には、ある矩形領域における２つのセグメント（基準セグメントＩ、参照セグメントＪ）の各セグメント属性に対する生起確率をテーブル化したものを示している。ちなみに、第１の実施の形態では、基準セグメントＩに対しては生起確率が最も大きい「レーンマーカ右１」がセグメント属性とされ（図２１（ａ）参照）、参照セグメントＪに対しては「どちらでもない」とされる（図２１（ｂ）参照）。
【０１０２】
セグメント属性更新部２３ａでは、まず、矩形領域（縦位置番号Ｖ）内のセグメントから、基準セグメント（基準セグメント番号Ｉ）と参照セグメント（参照セグメント番号Ｊ）を順次抽出する（図２１（ｃ）参照）。セグメント属性更新部２３ａでは、Ｖ＝０の矩形領域、Ｉ＝０の基準セグメント、Ｊ＝０の参照セグメントから処理を開始する。セグメント属性更新部２３ａでは、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）との水平位置の差（水平相対位置）を算出する。そして、セグメント属性更新部２３ａでは、推論規則２を用いて、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）毎に、水平相対位置から、この２つのセグメントが各セグメント属性である場合の各セグメント対属性である生起確率を求める。図２２には、ある２つのセグメントの各セグメント対属性の生起確率をテーブル化したものを示している。同じセグメント属性の場合やセグメント属性の左右関係からありえない関係の場合、生起確率は算出されずに、「−」としている。
【０１０３】
そして、セグメント属性更新部２３ａでは、式（５）の更新式により、基準セグメントＩの各セグメント属性である生起確率の更新値をそれぞれ算出する。そして、セグメント属性更新部２３ａでは、基準セグメントＩの生起確率の更新値を正規化し、その各正規化した確率を基準セグメントＩの各セグメント属性である生起確率とする。
【０１０４】
【数５】
式（５）では、推論規則１によって求めた基準セグメントＩの各セグメント属性の生起確率に対して、推論規則１によって求めた参照セグメントＪの各セグメント属性の生起確率と推論規則２によって求めた基準セグメントＩと参照セグメントＪとのセグメント対属性の生起確率を加味して、基準セグメントＩの各セグメント属性の生起確率の更新値を求めている。なお、式（５−１）、式（５−２）には、図２１の推論規則１による各セグメントの生起確率の一例と図２２の推論規則２によるセグメント対属性の生起確率の一例とを用いた場合の基準セグメントＩの「レーンマーカ左２」と「レーンマーカ左１」の生起確率の更新式を示している。
【０１０５】
セグメント属性更新部２３ａでは、以上の処理を縦位置番号Ｖの矩形領域の全てのセグメントを基準セグメントと参照セグメントとして実行する。さらに、セグメント属性更新部２３ａでは、以上の処理を撮像画像の全ての矩形領域に対して実行する。そして、セグメント属性更新部２３ａでは、セグメント毎に、各セグメント属性に対する生起確率（更新値）に基づいてセグメント属性を確定する。このように、同一の矩形領域における２つのセグメントのセグメント対属性の水平位置関係も考慮して、各セグメントのセグメント属性を決定する。
【０１０６】
次に、道路環境認識システムにおける動作について説明する。ここでは、コンピュータによる学習については、図２３のフローチャートに沿って説明する。また、道路環境認識装置２１における実際の道路環境認識については、図２４のフローチャートに沿って説明し、特に、セグメント属性更新処理については図２５のフローチャートに沿って説明する。２３は、第３の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。図２４は、図１８の道路環境認識装置における処理の流れを示すフローチャートである。図２５は、図２４のフローチャートにおけるセグメント属性更新処理の流れを示すフローチャートである。
【０１０７】
まず、コンピュータによる学習について説明する。コンピュータにおけるＳ４０〜Ｓ４３の各処理は、第１の実施の形態に係るコンピュータにおけるＳ１０〜Ｓ１３の各処理と同様の処理でなので、その説明を省略する（図９参照）。コンピュータでは、同じ矩形領域にある２つのセグメントを順次抽出し、２つのセグメント間の水平相対位置を求める。そして、コンピュータでは、セグメント対属性毎に、鉛直位置と水平相対位置を第２データベースに格納する（Ｓ４４）。学習用撮像画像中の全てのセグメントについて第１データベース及び第２データベースの格納が終了すると、コンピュータでは、全ての学習用撮像画像についてＳ４０〜Ｓ４４の処理が終了したか否かを判定し、全ての学習用撮像画像について処理が終了するまでＳ４０〜Ｓ４４の処理を繰り返し実行する（Ｓ４５）。
【０１０８】
全ての学習用撮像画像について処理が終了すると、コンピュータでは、第１データベースに格納されているセグメント毎の各データ項目の相関関係（条件付確率）を求め、推論規則１（ベイジアンネット）を作成する（Ｓ４６）。さらに、コンピュータでは、第２データベースに格納されているセグメント間（セグメント対属性）の相関関係を求め、推論規則２（ベイジアンネット）を作成する（Ｓ４７）。
【０１０９】
次に、道路環境認識装置２１における道路環境認識について説明する。道路環境認識装置２１におけるＳ５０〜Ｓ５１及びＳ５４〜Ｓ５６の各処理は、第１の実施の形態に係る道路環境認識装置１におけるＳ２０〜Ｓ２１及びＳ２４〜Ｓ２６の各処理と同様の処理でなので、その説明を省略する（図１１参照）。
【０１１０】
画像ＥＣＵ２３では、推論規則１を用いて、セグメント毎に各セグメント属性である生起確率を求め、その生起確率から各セグメントのセグメント属性を推論する（Ｓ５２）。さらに、画像ＥＣＵ２３では、推論規則２を用いて、同じ矩形領域内の２つのセグメント毎にセグメント対属性である生起確率を求める。そして、画像ＥＣＵ３では、推論規則１による生起確率と推論規則２による生起確率によりセグメント毎の各セグメント属性である生起確率を更新し、各セグメントのセグメント属性を更新する（Ｓ５３）。なお、Ｓ５３のセグメント属性更新処理については以下で詳細に説明する。
【０１１１】
画像ＥＣＵ２３では、矩形領域の縦位置番号Ｖを０に初期化する（Ｓ５３ａ）。さらに、画像ＥＣＵ２３では、基準セグメント番号Ｉを０に初期化し（Ｓ５３ｂ）、参照セグメント番号Ｊを０に初期化する（Ｓ５３ｃ）。画像ＥＣＵ２３では、基準セグメント番号Ｉと参照セグメント番号Ｊとが一致するか否かを判定し、一致する場合にはＳ５３ｈの処理に移行する（Ｓ５３ｄ）。
【０１１２】
Ｓ５３ｄにて一致しない場合、画像ＥＣＵ２３では、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）との水平相対位置を算出する（Ｓ５３ｅ）。そして、画像ＥＣＵ２３では、推論規則２により、基準セグメント（Ｖ，Ｉ）と参照セグメント（Ｖ，Ｊ）の全てのセグメント対属性の生起確率を算出する（Ｓ５３ｆ）。画像ＥＣＵ２３では、推論規則１による基準セグメント（Ｖ，Ｉ）の各セグメント属性の生起確率、推論規則１による参照セグメント（Ｖ，Ｊ）の各セグメント属性の生起確率及び推論規則２による各セグメント対属性の生起確率を用いて、基準セグメント（Ｖ，Ｉ）の各セグメント属性の生起確率を更新する（Ｓ５３ｇ）。
【０１１３】
画像ＥＣＵ２３では、次のセグメントを参照セグメントとして処理を行うために、参照セグメント番号Ｊに１を加算する（Ｓ５３ｈ）。そして、画像ＥＣＵ２３では、参照セグメント番号Ｊが縦位置番号Ｖの矩形領域内に存在するセグメントの数Ｎ以上か否かを判定する（Ｓ５３ｉ）。Ｓ５３ｉにて参照セグメント番号ＪがＮ未満の場合、画像ＥＣＵ２３では、Ｓ５３ｄの処理に戻る。Ｓ５３ｉにて参照セグメント番号ＪがＮ以上の場合、画像ＥＣＵ２３では、次のセグメントを基準セグメントとして処理を行うために、基準セグメント番号Ｉに１を加算する（Ｓ５３ｊ）。そして、画像ＥＣＵ２３では、基準セグメント番号Ｉが縦位置番号Ｖの矩形領域内に存在するセグメントの数Ｎ以上か否かを判定する（Ｓ５３ｋ）。Ｓ５３ｋにて基準セグメント番号ＩがＮ未満の場合、画像ＥＣＵ２３では、Ｓ５３ｃの処理に戻る。Ｓ５３ｋにて基準セグメント番号ＩがＮ以上の場合、画像ＥＣＵ２３では、次の矩形領域に対して処理を行うために、縦位置番号Ｖに１を加算する（Ｓ５３ｌ）。そして、画像ＥＣＵ２３では、縦位置番号Ｖが撮像画像内に存在する矩形領域数以上か否かを判定する（Ｓ５３ｍ）。画像ＥＣＵ２３では、Ｓ５３ｍにて縦位置番号Ｖが矩形領域数未満の場合にはＳ５３ｂの処理に戻り、Ｓ５３ｍにて縦位置番号Ｖが矩形領域数以上の場合には処理を終了する。
【０１１４】
第３の実施の形態に係る道路環境認識システムによれば、第１の実施の形態に係る道路環境認識システムと同様の効果を有する上に、セグメント属性を推定するために同じ矩形領域の２つのセグメント間の水平位置関係も加味しているので、セグメント属性（道路環境）の認識精度が更に向上する。
【０１１５】
次に、図２６〜図２９を参照して、第４の実施の形態に係る道路環境認識システムについて説明する。図２６は、第４の実施の形態に係る道路環境認識装置の構成図である。図２７は、第４の実施の形態における推論規則３（ベイジアンネット）のネットワーク構造の一例である。図２８は、第４の実施の形態における推論規則妥当性に対する評価基準を説明するための一例である。図２９は、第４の実施の形態における各道路構造に対する評価基準値を説明するための一例である。
【０１１６】
第４の実施の形態に係る道路環境認識システムは、第１〜第３の実施の形態と同様にコンピュータと道路環境認識装置３１からなるが、道路構造も考慮してセグメント属性の認識を行う点で第１〜第３の実施の形態と異なる。そのために、この道路環境認識システムでは、第１〜第３の実施の形態で用いた推論規則の他に、道路構造を推論するための推論規則３を用いる。道路構造としては、例えば、車線なし、片側一車線、片側二車線、交差点である。第１〜第３の実施の形態で用いた推論規則（推論規則１、推論規則２）については、道路構造毎に必要となる。したがって、コンピュータでは道路構造毎の推論規則１あるいは推論規則１と推論規則２及び推論規則３を作成し、道路環境認識装置３１ではこれらの推論規則を保持して認識を行う。なお、第４の実施の形態では、セグメント検出については第１の実施の形態での処理を適用してもよいし、第２の実施の形態での処理を適用してもよい。また、第４の実施の形態では、セグメント属性の推定については、第１の実施の形態での処理を適用してもよいし、第３の実施の形態での処理を適用してもよい。
【０１１７】
まず、コンピュータで事前に行う学習について説明する。コンピュータでは、第１の実施の形態のコンピュータで作成した推論規則１あるいは第３の実施の形態のコンピュータで作成した推論規則１及び推論規則２を作成する。この際、コンピュータでは、道路構造（車線なし、片側一車線等）に応じて推論規則１あるいは推論規則１及び推論規則２をそれぞれ作成する。
【０１１８】
また、コンピュータでは、ベイジアンネットによる統計分析手法を利用して、ＧＰＳ[Global Positioning System]による妥当性と撮像画像による妥当性とを組み合せて総合的に判断を行うための推論規則３を作成する。この推論規則３は、ＧＰＳデータから求めた妥当性、道路構造に応じた利用すべき推論規則、画像認識結果からの妥当性の評価尺度からなる。ＧＰＳデータから求めた妥当性とは、ＧＰＳを利用した現在位置から得られた現在位置から得られた地図情報に基づく道路構造についての妥当性である。図２７には、推論規則３のベイジアンネットのネットワーク構造の一例を示している。
【０１１９】
次に、道路環境認識装置３１について説明する。道路環境認識装置３１は、第１〜３の実施の形態に係る道路環境認識装置１，１１，２１に対して、道路構造を考慮した推論規則３を用いて道路環境（セグメント属性）を認識する点が異なる。そのために、道路環境認識装置３１は、カメラ２，ＧＰＳ受信機３２及び画像ＥＣＵ３３を備え、画像ＥＣＵ３３に道路構造仮説生成部３３ａ、仮説検証部３３ｂ、最適道路構造選択部３３ｃ、結果出力部３ｄが構成される。
【０１２０】
なお、第４の実施の形態では、ＧＰＳ衛星３２が特許請求の範囲に記載する位置取得手段に相当し、道路構造仮説生成部３３ａが特許請求の範囲に記載する地図情報取得手段に相当し、仮説検証部３３ｂ及び最適道路構造選択部３３ｃが特許請求の範囲に記載する道路状態推定手段に相当する。
【０１２１】
ＧＰＳ受信機３２は、ＧＰＳ衛星から発信される電波を受信する受信機である。ＧＰＳ受信機３２では、２４個ＧＰＳ衛星のうちのいくつかのＧＰＳ衛星の電波を受信し、その受信した電波をＧＰＳ信号として画像ＥＣＵ３３に送信する。ちなみに、少なくとも３つのＧＰＳ衛星からの電波を受信できれば、ＧＰＳ衛星の位置と電波の到達時間等から現在位置（緯度、経度）を計算することができる。
【０１２２】
画像ＥＣＵ３３では、第１〜第３の実施の形態に係る画像ＥＣＵ３，１３，２３より、更に高い認識精度でセグメント属性を認識することができる。そのために、画像ＥＣＵ３３では、推論規則３により推定した道路構造に応じて、セグメント属性を推定するための推論規則１あるいは推論規則１及び推論規則２を切り替える。その際、画像ＥＣＵ３３では、ＧＰＳを利用して現在位置を取得し、取得した現在位置の地図情報を利用する。画像ＥＣＵ２３には、ＲＯＭにコンピュータで作成した推論規則３及び推論規則１あるいは推論規則１と推論規則２が記憶され、さらに、ＲＯＭに地図情報が記憶されている。この地図情報は、少なくとも各道路の道幅情報を含む道路地図とする。なお、各道路の車線数の情報を備える道路地図がある場合、その地図情報を利用する。
【０１２３】
なお、現在位置を取得する手段としては、ＧＰＳを利用する手段だけでなく、路車間通信あるいはナビゲーションシステムが搭載されている場合にはそのシステムの現在位置情報を利用するなど、他の手段を用いてもよい。さらに、ナビゲーションシステムが搭載されている場合、そのシステムから地図情報を取得してもよい。また、道路構造を推定する手段としては、ＧＰＳと地図情報を利用するが、信号機や横断歩道等の画像による認識など、他の手段を用いてもよい。
【０１２４】
道路構造仮説生成部３３ａでは、ＧＰＳ受信機３２から複数のＧＰＳ信号を受信し、これらのＧＰＳ信号に基づいて現在位置を算出する。ただし、ＧＰＳ測位による位置情報には数１０〜数１００ｍ程度の誤差が含まれているので、現在位置は誤差楕円として与えられる。そして、道路構造仮説生成部３３ａでは、取得した現在位置周辺の地図情報を読み出す。この際、地図情報では各道路の道幅が判るので、この道幅から各道路の車線数を推定でき、複数の道路の交差状態から交差点を推定することができる。道路構造仮説生成部３３ａでは、現在位置周辺の地図情報と現在位置の誤差楕円とを比較し、現在位置周辺の各道路構造の生起確率を算出する。例えば、現在位置周辺に２本の道路があり、その２本の道路が道幅から「車線なし」と「片側一車線」の場合、誤差楕円の中心からの距離に基づいて、「車線なし」の生起確率をＸ％、「片側一車線」の生起確率を（１００−Ｘ）％とする。
【０１２５】
ちなみに、利用する道路構造が一意に定まらないのは、現在位置に誤差を含んでいること及び道路構造を完全に区別する情報を有する道路地図がないことによる。一般に、ナビゲーションで現在利用されている道路地図は、道幅に対する大まかな情報は持っているが、正確な車線数を持っていない。
【０１２６】
仮説検証部３３ｂでは、道路構造仮説生成部３３ａで仮説生成した各道路構造に対する推論規則を用いてセグメント属性の認識処理をそれぞれ行う。ここでは、第１の実施の形態（推論規則１のみ）または第３の実施の形態（推論規則１及び推論規則２）で説明したいずれかの手法によって認識を行う。この際、生起確率がない道路構造の推論規則については認識処理を行う必要はない。また、道路構造が異なるので、異なる推論規則を利用して認識する場合、セグメントを抽出する処理については共通であり、各セグメント属性を推定する処理については各推論規則を利用して道路構造毎に処理を行う。セグメント属性を推定する処理は処理負荷が軽いので、複数の道路構造に対して行っても全体の処理速度に大きな影響は与えない。なお、セグメントを抽出する処理については、第１の実施の形態あるいは第２の実施の形態で説明したいずれかの手法によって行う。
【０１２７】
最適道路構造選択部３３ｃでは、推論規則３を用いて各道路構造に対する推論規則を利用する妥当性を評価し、最適な道路構造を選択する。つまり、ＧＰＳと地図情報による道路構造の妥当性と各道路構造に対する推論規則を利用した場合の認識結果の妥当性から総合的に判断し、最も妥当な道路構造に対する推論規則によるセグメント属性を採用する。
【０１２８】
この総合的な判断の手法について説明する。ＧＰＳと地図情報による妥当性は明確であるので、各推論規則を利用した認識結果から妥当性を求める基準を決める。一般に、推論規則作成時より車線が少ない道路構造を認識すると、必要なセグメント属性が全て認識することができない。例えば、「片側一車線」で作成した推論規則で「車線なし」の道路構造を認識する場合、「レーンマーカ右２」は認識されない。逆に、推論規則作成時より車線が多い道路構造を認識すると、必要なセグメント属性が全て認識され、その推論規則を利用する妥当性を判断することが困難である。そこで、多い車線数に対して学習された推論規則を利用して認識を行った場合に認識できないセグメント属性がどれだけあるかで、推論規則の妥当性を評価する。
【０１２９】
実際の評価では、推論規則作成時の道路構造にあるべきセグメント属性（例えば、「片側一車線」の場合、「レーンマーカ左１」、「レーンマーカ右１」、「レーンマーカ右２」、「道路境界左１」、「道路境界右２」）として認識されたセグメント属性全てに対してそのセグメント属性である生起確率を矩形領域の縦位置番号毎にそれぞれ算出し、その生起確率の総和を算出する。この生起確率の総和が高いほど、認識対象の撮像画像から推論規則作成時の道路構造にあるべきセグメント属性を認識できているので、利用している推論規則の妥当性が高い。この生起確率の総和に対する評価とＧＰＳと地図情報による各道路構造の生起確率に基づいて、最も妥当性の高い道路構造を決め、その道路構造に対する推論規則を利用した場合の認識結果を最終的な認識結果とする。
【０１３０】
図２８には、「片側一車線」の推論規則を利用した場合に認識された各セグメント属性の矩形領域の縦位置番号毎の生起確率の一例を示している。また、図２９には、「片側一車線」の道路構造を撮像した撮像画像または「車線なし」の道路構造を撮像した撮像画像を認識対象として、「片側一車線」の推論規則を利用した場合の評価の一例をグラフ化している。このグラフでは、横軸が認識対象の撮像画像毎の生起確率の総和であり、縦軸が多数枚の撮像画像に対して評価を行った場合の各生起確率の総和であった撮像画像の枚数（度数）である。「車線なし」を認識対象とした場合、生起確率の総和は、殆どの撮像画像について１０以下となり、低い値である（図２９の一点鎖線のグラフ参照）。「片側一車線」を認識対象とした場合、生起確率の総和は、殆どの撮像画像について１０以上となり、高い値である（図２９の実線のグラフ参照）。この場合、生起確率の総和に対する評価基準値を１０とすることにより、推論規則の妥当性を判断することができる。つまり、生起確率の総和が１０以上となった場合、認識対象の道路構造（「片側一車線」）と利用している推論規則の道路構造（「片側一車線」）が一致していると判断できる。この生起確率の総和に対する評価基準値については、コンピュータにおいて予め各道路構造に評価基準値を求め、道路環境認識装置３１のＲＯＭに記憶させておく。
【０１３１】
次に、道路環境認識システムにおける動作について説明する。ここでは、道路環境認識装置３１における実際の道路環境認識については、図３０のフローチャートに沿って説明する。図３０は、図２６の道路環境認識装置における処理の流れを示すフローチャートである。
【０１３２】
まず、コンピュータによる学習について説明する。コンピュータでは、第１の実施の形態あるいは第３の実施の形態と同様の手法により、各道路構造に対する推論規則をそれぞれ作成する。また、コンピュータでは、ＧＰＳデータから求めた妥当性、利用すべき推論規則の妥当性及び画像認識結果からの妥当性評価尺度からなる推論規則３を作成する。さらに、コンピュータでは、画像認識結果からの妥当性評価を行うために、各道路構造に対する評価基準値を求める。
【０１３３】
次に、道路環境認識装置３１における道路環境認識について説明する。道路環境認識装置３１では、ＧＰＳ受信機３２により複数のＧＰＳ衛星からの電波を受信し、その電波をＧＰＳ信号として画像ＥＣＵ３３に送信する。また、道路環境認識装置３１では、カメラ２により前方の道路を撮像し、その撮像画像のデータを画像ＥＣＵ３３に送信する。
【０１３４】
画像ＥＣＵ３３では、複数のＧＰＳ信号から現在位置を誤差楕円として算出する（Ｓ６０）。そして、画像ＥＣＵ３３では、現在位置周辺の地図情報を取得する（Ｓ６１）。さらに、画像ＥＣＵ３３では、その地図情報から得られる各道路の道幅に基づいて、現在位置周辺の各道路構造の生起確率を算出する（Ｓ６２）。
【０１３５】
また、画像ＥＣＵ３３では、ＧＰＳと地図情報によって得られた各道路構造の推論規則をそれぞれ利用し、撮像画像に対するセグメント属性の認識処理をそれぞれ行う（Ｓ６３）。
【０１３６】
さらに、画像ＥＣＵ３３では、ＧＰＳと地図情報によって得られた道路構造のうち車線数の多い道路構造に対する推論規則を利用して認識処理を行った場合に認識された全てのセグメント属性の生起確率の総和を算出する。そして、画像ＥＣＵ３３では、その生起確率の総和を評価基準値と比較し、撮像画像の認識結果からの妥当性を評価する。さらに、画像ＥＣＵ３３では、その認識結果からの妥当性の評価にＧＰＳデータから求めた妥当性（すなわち、ＧＰＳと地図情報による各道路構造の生起確率）を加味して各推論規則を利用する妥当性を検証し、最も妥当な推論規則を決定する（Ｓ６４）。利用すべき推論規則が決まるということは、必然的に、道路構造も判る。
【０１３７】
画像ＥＣＵ３３では、最も妥当な推論規則によって推論したセグメント属性を最終的な認識結果とする（Ｓ６５）。そして、画像ＥＣＵ３３では、第１の実施の形態などと同様に、その認識結果に対してフィルタリングを行い、各セグメント属性とそのセグメント群を認識結果として道路環境の情報を必要とする他の装置に出力する（Ｓ６５）。
【０１３８】
第４の実施の形態に係る道路環境認識システムによれば、第１〜第３の実施の形態に係る道路環境認識システムと同様の効果を有する上に、セグメント属性を推定するために道路構造も加味しているので、セグメント属性（道路環境）の認識精度が更に向上する。
【０１３９】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【０１４０】
例えば、本実施の形態ではコンピュータと道路環境認識装置からなる道路環境認識システムとして構成したが、学習機能も有する道路環境認識装置だけで構成するなどの他の構成としてもよい。
【０１４１】
また、本実施の形態では認識対象の属性としてレーンマーカ左１、道路境界左１等の８つとしたが、これら以外の属性としてもよい。例えば、レーンマーカや道路境界以外の横断歩道等の他の道路環境を属性としてもよい。
【０１４２】
また、本実施の形態では統計分析手法としてベイジアンネットを利用したが、ニューラルネットなどの他の手法を利用してもよい。
【図面の簡単な説明】
【０１４３】
【図１】第１の実施の形態に係る道路環境認識装置の構成図である。
【図２】認識対象の道路環境の説明図である。
【図３】撮像画像の一例であり、（ａ）が撮像画像であり、（ｂ）が矩形領域に分割した撮像画像である。
【図４】本実施の形態におけるセグメントの特徴量の説明図であり、（ａ）が水平位置、鉛直位置、角度の説明図であり、（ｂ）が平行線分距離、平行線分角度差の説明図であり、（ｃ）が輝度比、勾配方向の説明図である。
【図５】第１実施の形態における各セグメントの属性及び特徴量からなるデータベースの一例である。
【図６】第１の実施の形態における推論規則（ベイジアンネット）のテーブルの一例であり、（ａ）が生起回数テーブルであり、（ｂ）が条件付確率テーブルである。
【図７】第１の実施の形態における推論規則（ベイジアンネット）のネットワーク構造の一例である。
【図８】クラスとセグメントの関係を示す図である。
【図９】第１の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。
【図１０】図９のフローチャートにおける推測規則作成処理の流れを示すフローチャートである。
【図１１】図１の道路環境認識装置における処理の流れを示すフローチャートである。
【図１２】図１１のフローチャートにおけるフィルタリング処理の流れを示すフローチャートである。
【図１３】第１の実施の形態における属性の認識性能を示すグラフである。
【図１４】第２の実施の形態に係る道路環境認識装置の構成図である。
【図１５】図１４の連続性評価部における第１段階の連続性評価の説明図である。
【図１６】図１４の連続性評価部における第２段階の連続性評価の説明図である。
【図１７】図１４の道路環境認識装置におけるセグメント検出処理の流れを示すフローチャートである。
【図１８】第３の実施の形態に係る道路環境認識装置の構成図である。
【図１９】第３実施の形態における各セグメント対属性の鉛直位置及び水平相対位置からなる第２データベースの一例である。
【図２０】第３の実施の形態における推論規則２（ベイジアンネット）のネットワーク構造の一例である。
【図２１】第３に実施の形態における推論規則１による推論の説明図であり、（ａ）が基準セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｂ）が参照セグメントに対する各セグメント属性の生起確率テーブルの一例であり、（ｃ）が基準セグメントと参照セグメントの一例である。
【図２２】第３の実施の形態における推論規則２によるセグメント対属性に対する生起確率テーブルの一例である。
【図２３】第３の実施の形態に係るコンピュータにおける学習過程の処理の流れを示すフローチャートである。
【図２４】図１８の道路環境認識装置における処理の流れを示すフローチャートである。
【図２５】図２４のフローチャートにおけるセグメント属性更新処理の流れを示すフローチャートである。
【図２６】第４の実施の形態に係る道路環境認識装置の構成図である。
【図２７】第４の実施の形態における推論規則３（ベイジアンネット）のネットワーク構造の一例である。
【図２８】第４の実施の形態における推論規則妥当性に対する評価基準を説明するための一例である。
【図２９】第４の実施の形態における各道路構造に対する評価基準値を説明するための一例である。
【図３０】図２６の道路環境認識装置における処理の流れを示すフローチャートである。
【符号の説明】
【０１４４】
１，１１，２１，３１…道路環境認識装置、２…カメラ、３，１３，２３，３３…画像ＥＣＵ、３ａ…セグメント検出部、３ｂ…セグメント特徴算出部、３ｃ…セグメント属性推定部、３ｄ…結果出力部，１３ａ…画像分割部、１３ｂ…セグメント検出部、１３ｃ…連続性評価部、１３ｄ…曲線近似部、２３ａ…セグメント属性更新部，３２…ＧＰＳ受信機、３３ａ…道路構造仮説生成部、３３ｂ…仮説検証部、３３ｃ…最適道路構造選択部
【特許請求の範囲】
【請求項１】
道路を撮像した撮像画像から道路環境を認識する道路環境認識方法であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習ステップと、
認識すべき道路を撮像する撮像ステップと、
前記撮像ステップで撮像した撮像画像から線分を検出する線分検出ステップと、
前記線分検出ステップで検出した線分に対して複数の特徴を算出する特徴算出ステップと、
前記学習ステップで生成した属性推定規則に基づいて、前記特徴算出ステップで算出した複数の特徴から線分の属性を推定する属性推定ステップと
を含み、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識方法。
【請求項２】
前記学習ステップ及び前記線分検出ステップの少なくとも一方のステップにおいて、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項１に記載する道路環境認識方法。
【請求項３】
前記学習ステップ及び前記属性推定ステップの少なくとも一方のステップにおいて、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項１に記載する道路環境認識方法。
【請求項４】
現在位置を取得する位置取得ステップと、
前記位置取得ステップで取得した現在位置の地図情報を取得する地図情報取得ステップと、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定ステップと
を含み、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項１に記載する道路環境認識方法。
【請求項５】
車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、
認識すべき道路を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、
前記線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、
前記記憶手段に記憶している属性推定規則に基づいて、前記特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段と
を備え、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識装置。
【請求項６】
前記線分検出手段では、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項５に記載する道路環境認識装置。
【請求項７】
前記属性推定手段では、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項５に記載する道路環境認識装置。
【請求項８】
現在位置を取得する位置取得手段と、
前記位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定手段と
を備え、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項５に記載する道路環境認識装置。
【請求項９】
道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習手段と、
認識すべき道路を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、
前記線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、
前記学習手段で生成した属性推定規則に基づいて、前記特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段と
を備え、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識装置。
【請求項１０】
前記学習手段及び前記線分検出手段の少なくとも一方の手段では、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項９に記載する道路環境認識装置。
【請求項１１】
前記学習手段及び前記属性推定手段の少なくとも一方の手段では、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項９に記載する道路環境認識装置。
【請求項１２】
現在位置を取得する位置取得手段と、
前記位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定手段と
を備え、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項９に記載する道路環境認識装置。
【請求項１】
道路を撮像した撮像画像から道路環境を認識する道路環境認識方法であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習ステップと、
認識すべき道路を撮像する撮像ステップと、
前記撮像ステップで撮像した撮像画像から線分を検出する線分検出ステップと、
前記線分検出ステップで検出した線分に対して複数の特徴を算出する特徴算出ステップと、
前記学習ステップで生成した属性推定規則に基づいて、前記特徴算出ステップで算出した複数の特徴から線分の属性を推定する属性推定ステップと
を含み、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識方法。
【請求項２】
前記学習ステップ及び前記線分検出ステップの少なくとも一方のステップにおいて、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項１に記載する道路環境認識方法。
【請求項３】
前記学習ステップ及び前記属性推定ステップの少なくとも一方のステップにおいて、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項１に記載する道路環境認識方法。
【請求項４】
現在位置を取得する位置取得ステップと、
前記位置取得ステップで取得した現在位置の地図情報を取得する地図情報取得ステップと、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定ステップと
を含み、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項１に記載する道路環境認識方法。
【請求項５】
車両に搭載され、道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習することによって得られた属性推定規則を記憶する記憶手段と、
認識すべき道路を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、
前記線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、
前記記憶手段に記憶している属性推定規則に基づいて、前記特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段と
を備え、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識装置。
【請求項６】
前記線分検出手段では、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項５に記載する道路環境認識装置。
【請求項７】
前記属性推定手段では、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項５に記載する道路環境認識装置。
【請求項８】
現在位置を取得する位置取得手段と、
前記位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定手段と
を備え、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項５に記載する道路環境認識装置。
【請求項９】
道路を撮像した撮像画像から道路環境を認識する道路環境認識装置であって、
任意の道路を撮像した撮像画像から線分を検出し、検出した線分に対して複数の特徴を算出し、各線分に対する複数の特徴と属性との関係を学習し、当該学習結果から線分の属性を推定するための属性推定規則を生成する学習手段と、
認識すべき道路を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から線分を検出する線分検出手段と、
前記線分検出手段で検出した線分に対して複数の特徴を算出する特徴算出手段と、
前記学習手段で生成した属性推定規則に基づいて、前記特徴算出手段で算出した複数の特徴から線分の属性を推定する属性推定手段と
を備え、
各線分に対して推定した属性から道路環境を認識することを特徴とする道路環境認識装置。
【請求項１０】
前記学習手段及び前記線分検出手段の少なくとも一方の手段では、撮像画像を複数の矩形領域に分割し、当該分割した各矩形領域から線分を検出し、隣接する矩形領域において一方の矩形領域の線分から他方の矩形領域の線分への連続性を位置と角度に基づいて評価するとともに他方の矩形領域の線分から一方の矩形領域の線分への連続性を位置と角度に基づいて評価し、隣接する矩形領域の線分間で連続性を有していると評価すると当該線分を連続した１本の線分として近似することを特徴とする請求項９に記載する道路環境認識装置。
【請求項１１】
前記学習手段及び前記属性推定手段の少なくとも一方の手段では、検出した線分が各属性である確率をそれぞれ算出し、線分間の位置関係に基づいて前記線分が各属性である確率を更新することを特徴とする請求項９に記載する道路環境認識装置。
【請求項１２】
現在位置を取得する位置取得手段と、
前記位置取得手段で取得した現在位置の地図情報を取得する地図情報取得手段と、
前記属性推定規則及び前記地図情報を用いて、道路状態を推定する道路状態推定手段と
を備え、
推定した道路状態に応じて線分の属性を推定することを特徴とする請求項９に記載する道路環境認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２００６−１８６８８（Ｐ２００６−１８６８８Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９７２４４（Ｐ２００４−１９７２４４）
【出願日】平成１６年７月２日（２００４．７．２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年７月２日（２００４．７．２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]