路面標示認識装置
【課題】従来の路面標示認識装置は、カメラでの撮影画像全体を領域分割した後、2次元平面への投影などの変換処理を行うので、CPU負荷が大きく、また、検知ライン上の明るさの変化位置に基づき路面標示を認識する計算量抑制方法は、自車両前方に他車両が位置し、路面標示の一部を隠蔽した場合、路面標示を正しく認識できない。
【解決手段】画像入力手段で得られた自車両の走行路を含む所定領域を撮影した画像中の、部分領域を監視領域とし監視領域設定手段で設定し、監視領域から、画像特徴を画像特徴抽出手段で抽出し、この特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に予め格納されている路面標示モデルとをHMMを用いてHMM識別手段で比較評価して路面標示の認識を行う。
【解決手段】画像入力手段で得られた自車両の走行路を含む所定領域を撮影した画像中の、部分領域を監視領域とし監視領域設定手段で設定し、監視領域から、画像特徴を画像特徴抽出手段で抽出し、この特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に予め格納されている路面標示モデルとをHMMを用いてHMM識別手段で比較評価して路面標示の認識を行う。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両の路面標示を認識する路面標示認識装置に関する。
【背景技術】
【0002】
路面標示を認識する方法として、例えば「道路情景画像からの路面標示の抽出と認識の実験」(非特許文献1)に示されるものがある。この方法では、まず車載カメラで撮影された道路情景画像を、輪郭線をもとに領域分割を施し、その後、道路構造を利用した再結合処理により道路領域を決定し、次に、この領域を2次元平面に投影変換し、路面標示領域の抽出を行う。最後に、抽出した路面標示領域の周辺分布を用いて類似度を評価することで路面標示を認識する。
【0003】
また、走行路の半径あるいは曲率を含む走行路の形状を予め記憶しておき、車載カメラで撮影された撮影画像において走行路の進行方向に伸びる検知ライン数を走行路の形状に応じて変化させ、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方法があり、この方法として、例えば「車両の路面標識検出装置」(特許文献1)に示されるものがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4234071号公報
【非特許文献】
【0005】
【非特許文献1】太田寛志、塩野充、「道路情景画像からの路面標示の抽出と認識の実験」、信学技報、PRMU95−188、pp.79-86、1995
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の路面標示認識装置は以上のように構成されており、車載カメラで撮影した画像全体を領域分割し、その後、2次元平面に投影するなどの変換処理を行う必要があるため、路面標示認識を利用するカーナビゲーションシステムでは、CPU(Central Processing Unit)負荷が大きくなるという課題があった。
また、計算量を抑制する方法として、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方式では、自車両前方に他車両が位置し、路面標示の一部を隠蔽した場合、路面標示を正しく認識することができないという課題があった。
【0007】
この発明は、上記のような課題を解決するためになされたもので、計算負荷量を軽減でき、かつ、他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る路面標示認識装置は、
自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備える。
【発明の効果】
【0009】
この発明に係る路面標示認識装置によれば、
監視領域設定手段で自車両の走行路を含む所定領域の画像から、部分領域を監視領域として設定し、画像特徴抽出手段で監視領域内の画像から特徴を抽出し、この画像特徴を、路面標示モデル記録部に予め格納された路面標示モデルとHMM(Hidden Markov Model)で比較評価して路面標示の認識を行うことで、計算負荷を軽減できるとともに、監視領域設定により他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能となる効果を奏する。
【図面の簡単な説明】
【0010】
【図1】この発明の実施の形態1を示す構成図である。
【図2】この発明の実施の形態1による路面標示認識装置の処理内容を示すフローチャートである。
【図3】走行車両での撮影画像から認識する対象の路面標示画像の図である。
【図4】時刻Tにカメラで撮影された道路画像を模写した画像図である。
【図5】図4の模写画像に対し、監視領域Rの設定結果例を示す画像図である。
【図6】時刻Tにおける監視領域Rを示す画像図である。
【図7】HMMの実例を示す説明図である。
【図8】時刻T+1における入力模写画像に監視領域Rを設定した結果例を示す画像図である。
【図9】時刻T+1における監視領域Rを示す画像図である。
【図10】一致度が閾値を超えた時に特徴抽出に用いた画像例を示す画像図である。
【図11】この発明の実施の形態2を示す構成図である。
【図12】この発明の実施の形態2による路面標示認識装置の処理内容を示すフローチャートである。
【図13】自車両速度が閾値以上の場合で監視領域を2個設定した例を示す模写画像図である。
【図14】時刻Tにおける監視領域R1、R2を示す画像図である。
【図15】自車両速度が速い場合の監視領域例を示す模写画像図である。
【図16】消失点や白線検出結果を利用した監視領域を示す模写画像図である。
【発明を実施するための形態】
【0011】
実施の形態1.
以下、この発明の実施の形態1について図面を参照して説明する。
【0012】
図1は、この発明の実施の形態1を示す構成図である。図において、画像入力部1は、自車両に搭載されたカメラで自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部2は、画像入力部1で得られた画像において、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する。画像特徴抽出部3は、監視領域設定部2で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部4は、前記画像特徴抽出部3で時系列に得られた画像特徴と路面標示モデル記録部5に予め格納されている路面標示モデルとをHMM を用いて比較評価し路面標示の認識を行う。
【0013】
図2は、この発明の実施の形態1による路面標示認識装置の処理内容を示すフローチャートである。
【0014】
次に本実施の形態の動作について、走行する車両から自車両に搭載されたカメラで図3に示す路面標示を撮影した画像を例に説明する。画像入力部1は、自車両の走行路を含む所定領域が撮影された道路画像の読み込みを行う(ステップST11)。ここでは、時刻Tに撮影された道路画像を模写した画像の例を図4に示す。
【0015】
次に、ステップST12において、監視領域設定部2は、他車両の隠蔽の影響を受け難い自車両近傍の部分画像を監視領域として設定する。図5は、図4の模写画像に対し、監視領域Rを設定した結果例を示す図である。
【0016】
次に、ステップST13に進み、画像特徴抽出部3は、監視領域Rから、画像特徴として、式1を用いて監視領域Rからエッジの勾配情報を抽出し、次に式2を用いて、監視領域Rにおけるエッジの勾配分布を特徴F(j) として抽出する。(ここで、1≦j≦M1、1≦t≦M2、M1はエッジの勾配分割数であり、M2は時刻の上限値である。)
図6は、時刻Tにおける監視領域Rの画像を示しており、該領域から特徴F(j)を抽出する。
【0017】
【数1】
【0018】
【数2】
【0019】
ここでは、画像特徴抽出部3として、監視領域Rのエッジ勾配分布特徴を抽出する例を示したが、その他の特徴を用いても良い。例えば、「西村広光、小林誠、丸山稔、中野康明、“多方向特徴抽出HMMとBaggingによる多数決を利用した文字認識”、信学論、D-II Vol.J82、No.9、pp1429-1434、1999」に開示されている2値化処理後の白黒画素のランレングスを特徴として用いても良い。
【0020】
ステップST14に進み、路面標示モデル記憶部5に格納された路面標示モデルと画像特徴抽出部3で抽出した特徴とをHMM識別部4で識別する。路面標示モデル記憶部5は、予め認識対象となる路面標示の種類だけモデルを用意し、それぞれのモデルで学習用データにおいて最も高い確率が一致度として出力されるように学習した路面標示モデルが格納されている。
【0021】
図7はHMMの実例を示す説明図である。図7において、HMMの各弧には、状態間の遷移の確率と、記号の出力確率の値が与えられており、これらの値に基づいて確率的に記号列を出力することができる。識別時には、画像特徴抽出部3で抽出された特徴を用いて、路面標示モデル記憶部5に格納された全ての路面標示モデルから出力される一致度を計算し、最も高い一致度Dmを与えるモデルを式3で求め、この値が所定の閾値以上である場合に、この最大値を与える路面標示を認識結果とする。
【0022】
【数3】
【0023】
ここでは、時刻Tでの特徴と路面標示モデルとの識別結果の一致度Dmが閾値を超えなかったこととして、ステップST11に戻る。
【0024】
ステップST11で、先に画像読み込みをした時刻より1ポイント経過した時の走行中の車両から自車両に搭載されたカメラで撮影した車両周辺の道路画像の読み込みを画像入力部1において行い、ステップST12において、監視領域設定部2が監視領域Rを設定する。図8は、時刻T+1の入力画像に監視領域Rを設定した結果例である。
【0025】
次に、ステップST13に進み、画像特徴抽出部3は、監視領域から、画像特徴の抽出を行う。図9は、時刻T+1において特徴抽出の対象となる画像である。
【0026】
次にステップST14に進み、路面標示モデル記憶部5に格納された路面標示モデルと画像特徴抽出部3で抽出した特徴とをHMM識別部4で識別する。ここでは、時刻T+1での撮影画像の特徴と路面標示モデルとの識別結果の一致度Dmが閾値を超えなかったこととして、ステップST11に戻る。
【0027】
同様にステップST11からステップST14を一致度Dmが閾値を超えまで繰り返し処理する。一致度Dmが閾値を超えた時に特徴抽出に用いた画像例を図10に示す。
【0028】
以上で明らかなように、この実施の形態1によれば、予め認識対象となる路面標示モデルを格納する路面標示モデル記憶部5と、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する監視領域設定部2と、監視領域からエッジ勾配分布やランレングス特徴を時系列に取得する画像特徴抽出部3と、前記画像特徴抽出部3で抽出した時間方向に相関のある特徴をHMMで認識するHMM識別部4を備えることにより、他車両による路面標示の隠蔽の影響を受けることなく安定した路面標示の認識が可能となる。
【0029】
また、監視領域設定部2において、自車両近傍部のみの部分領域を監視領域として設定することで、画像特徴抽出部3において入力画像全体を処理する必要がなく処理負荷を軽減できる効果を奏する。
【0030】
なお、この実施の形態1では、HMM識別部4において、画像特徴抽出部3で抽出した特徴量を用いて識別を行う例を示したが、これに限るものではなく、例えば、画像特徴抽出部3で時系列に取得した特徴ベクトルを「米山昇吾、宮原景泰、川又武典、“正準判別分析法による道路標識認識に関する一検討”、ViEW2008、pp.327-330、2008」に示される方法を用いて一致度を評価するようにしてもよい。
【0031】
実施の形態2.
次に、この発明の実施の形態2による路面標示認識装置について説明する。
図11は、実施の形態2を示す構成図である。図において、画像入力部1は、自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部2は、画像入力部1で得られた画像において、自車両の速度の検出を行う車両速度取得部6から入力する車両速度に応じて任意の位置、大きさ、個数の部分領域を監視領域として逐次変更して設定する。画像特徴抽出部3は、監視領域設定部2で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部4は、前記画像特徴抽出部3で時系列に得られた画像特徴と路面標示モデル記録部5に格納されている路面標示モデルとをHMMを用いて比較評価し路面標示の認識を行う。
【0032】
図12はこの発明の実施の形態2による路面標示認装置の処理内容を示すフローチャートである。実施の形態1の動作と同様の処理を行うステップST11〜ステップST14および路面標示モデル記録部5については、同様の番号を付し説明を省略する。
【0033】
画像入力部1は、車載カメラで撮影された道路画像の読み込みを行い(ステップST11)。次にステップST101に進む。
【0034】
ステップST101では、車両速度取得部6が自車両の車両速度を検出し、監視領域設定部2に出力する。
【0035】
次に、ステップST12に進み、監視領域設定部2が車両速度取得部6からの車両速度に応じて監視領域の大きさ、位置、個数を決定する。ここでは自車両速度が予め設定した閾値以上の場合は、2つの監視領域を設け、それ以下の場合は1つの監視領域を設定するものとする。図13は、自車両速度が予め設定した閾値以上の場合の監視領域R1、R2の2個設定した例を示している。
【0036】
次に、ステップST13に進み、実施の形態1同様に画像特徴抽出部3は、監視領域から、画像特徴の抽出を行う。図14は、時刻Tにおける監視領域R1、R2の画像を示しており、該領域から特徴F(j)を抽出する。
【0037】
ステップST14に進み、HMM識別部4は、監視領域設定部2で設定した監視領域に応じて路面標示モデルを路面標示モデル記録部5から選択し、画像特徴抽出部3で抽出した画像特徴と路面標示モデル記録部5から選択された路面標示モデルとを比較評価することで路面標示の認識を行う。
【0038】
ここでHMM識別部4は、実施の形態1の動作と同様、識別結果の一致度Dmが所定の閾値を超えなかった場合、ステップST11に戻り、ある時刻経過後におけるステップST11からステップST14の処理を識別結果の一致度Dmが所定の閾値を超える場合まで繰り返し、識別結果の一致度Dmが所定の閾値を超えた場合に該結果を路面標示認識結果とする。
【0039】
以上のように、本実施の形態2によれば、車両速度検出部6において抽出した車両速度に応じて、監視領域設定部2が監視領域の個数を変更することで、計算負荷を軽減することが可能になるとともに、安定した識別が可能となる。
【0040】
また、本実施の形態2では、監視領域設定部2は、監視領域を車両速度が所定の閾値以上の場合に2つに設定する例について示したが、2つ以上の複数を監視領域として設定するように切り替えるようにしてもよい。
【0041】
また、本実施の形態2では、車両速度に応じて監視領域の個数を切り替える例について示したが、車両速度が所定の閾値よりも大きい場合は、監視領域の位置を図15に示すように画像上部に変更するとともに、監視領域を大きくするなど、位置や大きさを切り替えるようにしてもよい。
【0042】
また、本実施の形態2では、監視領域設定部2は、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域内のエッジ数の増減に応じて監視領域の大きさや位置、個数を切り替えるようにしてもよい。
【0043】
また、本実施の形態2では、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域設定部2は、車両速度や監視領域内のエッジ数の増減、白線や白線の消失点の検出結果の何れかを併用し、監視領域の大きさや位置、個数を切り替えるようにしてもよい。
【産業上の利用可能性】
【0044】
車載カメラの撮影画像に対する画像処理により路面標示を認識し、この路面標示認識を利用するカーナビゲーションシステムに適用可能である。
【符号の説明】
【0045】
1;画像入力部、2;監視領域設定部、3;画像特徴抽出部、4;HMM識別部、5;路面標示モデル記録部、6;車両速度取得部。
【技術分野】
【0001】
この発明は、車両の路面標示を認識する路面標示認識装置に関する。
【背景技術】
【0002】
路面標示を認識する方法として、例えば「道路情景画像からの路面標示の抽出と認識の実験」(非特許文献1)に示されるものがある。この方法では、まず車載カメラで撮影された道路情景画像を、輪郭線をもとに領域分割を施し、その後、道路構造を利用した再結合処理により道路領域を決定し、次に、この領域を2次元平面に投影変換し、路面標示領域の抽出を行う。最後に、抽出した路面標示領域の周辺分布を用いて類似度を評価することで路面標示を認識する。
【0003】
また、走行路の半径あるいは曲率を含む走行路の形状を予め記憶しておき、車載カメラで撮影された撮影画像において走行路の進行方向に伸びる検知ライン数を走行路の形状に応じて変化させ、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方法があり、この方法として、例えば「車両の路面標識検出装置」(特許文献1)に示されるものがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4234071号公報
【非特許文献】
【0005】
【非特許文献1】太田寛志、塩野充、「道路情景画像からの路面標示の抽出と認識の実験」、信学技報、PRMU95−188、pp.79-86、1995
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の路面標示認識装置は以上のように構成されており、車載カメラで撮影した画像全体を領域分割し、その後、2次元平面に投影するなどの変換処理を行う必要があるため、路面標示認識を利用するカーナビゲーションシステムでは、CPU(Central Processing Unit)負荷が大きくなるという課題があった。
また、計算量を抑制する方法として、検知ライン上の明るさの変化位置に基づいて路面標示を認識する方式では、自車両前方に他車両が位置し、路面標示の一部を隠蔽した場合、路面標示を正しく認識することができないという課題があった。
【0007】
この発明は、上記のような課題を解決するためになされたもので、計算負荷量を軽減でき、かつ、他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る路面標示認識装置は、
自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備える。
【発明の効果】
【0009】
この発明に係る路面標示認識装置によれば、
監視領域設定手段で自車両の走行路を含む所定領域の画像から、部分領域を監視領域として設定し、画像特徴抽出手段で監視領域内の画像から特徴を抽出し、この画像特徴を、路面標示モデル記録部に予め格納された路面標示モデルとHMM(Hidden Markov Model)で比較評価して路面標示の認識を行うことで、計算負荷を軽減できるとともに、監視領域設定により他車両の隠蔽の影響を受けることなく安定した路面標示認識が可能となる効果を奏する。
【図面の簡単な説明】
【0010】
【図1】この発明の実施の形態1を示す構成図である。
【図2】この発明の実施の形態1による路面標示認識装置の処理内容を示すフローチャートである。
【図3】走行車両での撮影画像から認識する対象の路面標示画像の図である。
【図4】時刻Tにカメラで撮影された道路画像を模写した画像図である。
【図5】図4の模写画像に対し、監視領域Rの設定結果例を示す画像図である。
【図6】時刻Tにおける監視領域Rを示す画像図である。
【図7】HMMの実例を示す説明図である。
【図8】時刻T+1における入力模写画像に監視領域Rを設定した結果例を示す画像図である。
【図9】時刻T+1における監視領域Rを示す画像図である。
【図10】一致度が閾値を超えた時に特徴抽出に用いた画像例を示す画像図である。
【図11】この発明の実施の形態2を示す構成図である。
【図12】この発明の実施の形態2による路面標示認識装置の処理内容を示すフローチャートである。
【図13】自車両速度が閾値以上の場合で監視領域を2個設定した例を示す模写画像図である。
【図14】時刻Tにおける監視領域R1、R2を示す画像図である。
【図15】自車両速度が速い場合の監視領域例を示す模写画像図である。
【図16】消失点や白線検出結果を利用した監視領域を示す模写画像図である。
【発明を実施するための形態】
【0011】
実施の形態1.
以下、この発明の実施の形態1について図面を参照して説明する。
【0012】
図1は、この発明の実施の形態1を示す構成図である。図において、画像入力部1は、自車両に搭載されたカメラで自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部2は、画像入力部1で得られた画像において、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する。画像特徴抽出部3は、監視領域設定部2で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部4は、前記画像特徴抽出部3で時系列に得られた画像特徴と路面標示モデル記録部5に予め格納されている路面標示モデルとをHMM を用いて比較評価し路面標示の認識を行う。
【0013】
図2は、この発明の実施の形態1による路面標示認識装置の処理内容を示すフローチャートである。
【0014】
次に本実施の形態の動作について、走行する車両から自車両に搭載されたカメラで図3に示す路面標示を撮影した画像を例に説明する。画像入力部1は、自車両の走行路を含む所定領域が撮影された道路画像の読み込みを行う(ステップST11)。ここでは、時刻Tに撮影された道路画像を模写した画像の例を図4に示す。
【0015】
次に、ステップST12において、監視領域設定部2は、他車両の隠蔽の影響を受け難い自車両近傍の部分画像を監視領域として設定する。図5は、図4の模写画像に対し、監視領域Rを設定した結果例を示す図である。
【0016】
次に、ステップST13に進み、画像特徴抽出部3は、監視領域Rから、画像特徴として、式1を用いて監視領域Rからエッジの勾配情報を抽出し、次に式2を用いて、監視領域Rにおけるエッジの勾配分布を特徴F(j) として抽出する。(ここで、1≦j≦M1、1≦t≦M2、M1はエッジの勾配分割数であり、M2は時刻の上限値である。)
図6は、時刻Tにおける監視領域Rの画像を示しており、該領域から特徴F(j)を抽出する。
【0017】
【数1】
【0018】
【数2】
【0019】
ここでは、画像特徴抽出部3として、監視領域Rのエッジ勾配分布特徴を抽出する例を示したが、その他の特徴を用いても良い。例えば、「西村広光、小林誠、丸山稔、中野康明、“多方向特徴抽出HMMとBaggingによる多数決を利用した文字認識”、信学論、D-II Vol.J82、No.9、pp1429-1434、1999」に開示されている2値化処理後の白黒画素のランレングスを特徴として用いても良い。
【0020】
ステップST14に進み、路面標示モデル記憶部5に格納された路面標示モデルと画像特徴抽出部3で抽出した特徴とをHMM識別部4で識別する。路面標示モデル記憶部5は、予め認識対象となる路面標示の種類だけモデルを用意し、それぞれのモデルで学習用データにおいて最も高い確率が一致度として出力されるように学習した路面標示モデルが格納されている。
【0021】
図7はHMMの実例を示す説明図である。図7において、HMMの各弧には、状態間の遷移の確率と、記号の出力確率の値が与えられており、これらの値に基づいて確率的に記号列を出力することができる。識別時には、画像特徴抽出部3で抽出された特徴を用いて、路面標示モデル記憶部5に格納された全ての路面標示モデルから出力される一致度を計算し、最も高い一致度Dmを与えるモデルを式3で求め、この値が所定の閾値以上である場合に、この最大値を与える路面標示を認識結果とする。
【0022】
【数3】
【0023】
ここでは、時刻Tでの特徴と路面標示モデルとの識別結果の一致度Dmが閾値を超えなかったこととして、ステップST11に戻る。
【0024】
ステップST11で、先に画像読み込みをした時刻より1ポイント経過した時の走行中の車両から自車両に搭載されたカメラで撮影した車両周辺の道路画像の読み込みを画像入力部1において行い、ステップST12において、監視領域設定部2が監視領域Rを設定する。図8は、時刻T+1の入力画像に監視領域Rを設定した結果例である。
【0025】
次に、ステップST13に進み、画像特徴抽出部3は、監視領域から、画像特徴の抽出を行う。図9は、時刻T+1において特徴抽出の対象となる画像である。
【0026】
次にステップST14に進み、路面標示モデル記憶部5に格納された路面標示モデルと画像特徴抽出部3で抽出した特徴とをHMM識別部4で識別する。ここでは、時刻T+1での撮影画像の特徴と路面標示モデルとの識別結果の一致度Dmが閾値を超えなかったこととして、ステップST11に戻る。
【0027】
同様にステップST11からステップST14を一致度Dmが閾値を超えまで繰り返し処理する。一致度Dmが閾値を超えた時に特徴抽出に用いた画像例を図10に示す。
【0028】
以上で明らかなように、この実施の形態1によれば、予め認識対象となる路面標示モデルを格納する路面標示モデル記憶部5と、他車両の影響を受け難い自車両近傍の部分領域を監視領域として設定する監視領域設定部2と、監視領域からエッジ勾配分布やランレングス特徴を時系列に取得する画像特徴抽出部3と、前記画像特徴抽出部3で抽出した時間方向に相関のある特徴をHMMで認識するHMM識別部4を備えることにより、他車両による路面標示の隠蔽の影響を受けることなく安定した路面標示の認識が可能となる。
【0029】
また、監視領域設定部2において、自車両近傍部のみの部分領域を監視領域として設定することで、画像特徴抽出部3において入力画像全体を処理する必要がなく処理負荷を軽減できる効果を奏する。
【0030】
なお、この実施の形態1では、HMM識別部4において、画像特徴抽出部3で抽出した特徴量を用いて識別を行う例を示したが、これに限るものではなく、例えば、画像特徴抽出部3で時系列に取得した特徴ベクトルを「米山昇吾、宮原景泰、川又武典、“正準判別分析法による道路標識認識に関する一検討”、ViEW2008、pp.327-330、2008」に示される方法を用いて一致度を評価するようにしてもよい。
【0031】
実施の形態2.
次に、この発明の実施の形態2による路面標示認識装置について説明する。
図11は、実施の形態2を示す構成図である。図において、画像入力部1は、自車両の走行路を含む所定領域を撮影した画像の入力を行う。監視領域設定部2は、画像入力部1で得られた画像において、自車両の速度の検出を行う車両速度取得部6から入力する車両速度に応じて任意の位置、大きさ、個数の部分領域を監視領域として逐次変更して設定する。画像特徴抽出部3は、監視領域設定部2で設定された監視領域からエッジ勾配分布やランレングス特徴などの画像特徴の抽出を行う。HMM識別部4は、前記画像特徴抽出部3で時系列に得られた画像特徴と路面標示モデル記録部5に格納されている路面標示モデルとをHMMを用いて比較評価し路面標示の認識を行う。
【0032】
図12はこの発明の実施の形態2による路面標示認装置の処理内容を示すフローチャートである。実施の形態1の動作と同様の処理を行うステップST11〜ステップST14および路面標示モデル記録部5については、同様の番号を付し説明を省略する。
【0033】
画像入力部1は、車載カメラで撮影された道路画像の読み込みを行い(ステップST11)。次にステップST101に進む。
【0034】
ステップST101では、車両速度取得部6が自車両の車両速度を検出し、監視領域設定部2に出力する。
【0035】
次に、ステップST12に進み、監視領域設定部2が車両速度取得部6からの車両速度に応じて監視領域の大きさ、位置、個数を決定する。ここでは自車両速度が予め設定した閾値以上の場合は、2つの監視領域を設け、それ以下の場合は1つの監視領域を設定するものとする。図13は、自車両速度が予め設定した閾値以上の場合の監視領域R1、R2の2個設定した例を示している。
【0036】
次に、ステップST13に進み、実施の形態1同様に画像特徴抽出部3は、監視領域から、画像特徴の抽出を行う。図14は、時刻Tにおける監視領域R1、R2の画像を示しており、該領域から特徴F(j)を抽出する。
【0037】
ステップST14に進み、HMM識別部4は、監視領域設定部2で設定した監視領域に応じて路面標示モデルを路面標示モデル記録部5から選択し、画像特徴抽出部3で抽出した画像特徴と路面標示モデル記録部5から選択された路面標示モデルとを比較評価することで路面標示の認識を行う。
【0038】
ここでHMM識別部4は、実施の形態1の動作と同様、識別結果の一致度Dmが所定の閾値を超えなかった場合、ステップST11に戻り、ある時刻経過後におけるステップST11からステップST14の処理を識別結果の一致度Dmが所定の閾値を超える場合まで繰り返し、識別結果の一致度Dmが所定の閾値を超えた場合に該結果を路面標示認識結果とする。
【0039】
以上のように、本実施の形態2によれば、車両速度検出部6において抽出した車両速度に応じて、監視領域設定部2が監視領域の個数を変更することで、計算負荷を軽減することが可能になるとともに、安定した識別が可能となる。
【0040】
また、本実施の形態2では、監視領域設定部2は、監視領域を車両速度が所定の閾値以上の場合に2つに設定する例について示したが、2つ以上の複数を監視領域として設定するように切り替えるようにしてもよい。
【0041】
また、本実施の形態2では、車両速度に応じて監視領域の個数を切り替える例について示したが、車両速度が所定の閾値よりも大きい場合は、監視領域の位置を図15に示すように画像上部に変更するとともに、監視領域を大きくするなど、位置や大きさを切り替えるようにしてもよい。
【0042】
また、本実施の形態2では、監視領域設定部2は、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域内のエッジ数の増減に応じて監視領域の大きさや位置、個数を切り替えるようにしてもよい。
【0043】
また、本実施の形態2では、車両速度に応じて監視領域の個数を切り替える例について示したが、監視領域設定部2は、車両速度や監視領域内のエッジ数の増減、白線や白線の消失点の検出結果の何れかを併用し、監視領域の大きさや位置、個数を切り替えるようにしてもよい。
【産業上の利用可能性】
【0044】
車載カメラの撮影画像に対する画像処理により路面標示を認識し、この路面標示認識を利用するカーナビゲーションシステムに適用可能である。
【符号の説明】
【0045】
1;画像入力部、2;監視領域設定部、3;画像特徴抽出部、4;HMM識別部、5;路面標示モデル記録部、6;車両速度取得部。
【特許請求の範囲】
【請求項1】
自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備えることを特徴とする路面標示認識装置。
【請求項2】
前記監視領域設定手段は、前記画像入力手段で得られた画像中の、任意の位置、任意の大きさ、任意の個数の部分領域を監視領域として設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項3】
前記監視領域設定手段は、自車両の速度に応じて少なくとも、監視領域の位置、大きさ、個数の何れか1つを変更することを特徴とする請求項1に記載の路面標示認識装置。
【請求項4】
前記画像特徴抽出手段は、画像特徴として、エッジ数またはエッジ勾配またはランレングスを抽出することを特徴とする請求項1に記載の路面標示認識装置。
【請求項5】
前記監視領域設定手段は、前記画像特徴抽出手段が画像特徴として、エッジ数を抽出する場合、監視領域のエッジ数の増減に応じて監視領域の位置、大きさ、個数を逐次変更することを特徴とする請求項1に記載の路面標示認識装置。
【請求項6】
前記監視領域設定手段は、自車両が走行している白線内に監視領域を設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項7】
前記監視領域設定手段は、自車両が走行している白線の消失点を基に自車両が走行している路面上に監視領域を設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項8】
前記HMM識別手段は、前記監視領域設定手段で設定された監視領域の位置、大きさ、個数の少なくとも1つの変更に応じて前記路面標示モデル記憶手段に格納されている路面標示モデルを選択し、前記特徴抽出手段で得られた特徴と路面標示モデルとをHMMを用いて比較評価することで路面標示の認識を行うことを特徴とする請求項1に記載の路面標示認識装置。
【請求項1】
自車両の走行路を含む所定領域を撮影した画像を入力する画像入力手段と、
前記画像入力手段で得られた画像中の、部分領域を監視領域として設定する監視領域設定手段と、
前記監視領域設定手段が設定した監視領域から、画像特徴を抽出する画像特徴抽出手段と、
認識対象となる路面標示モデルが予め格納されている路面標示モデル記憶手段と、
前記特徴抽出手段で得られた特徴と、路面標示モデル記憶手段に格納されている路面標示モデルとをHidden Markov Modelを用いて比較評価して路面標示の認識を行うHMM識別手段を備えることを特徴とする路面標示認識装置。
【請求項2】
前記監視領域設定手段は、前記画像入力手段で得られた画像中の、任意の位置、任意の大きさ、任意の個数の部分領域を監視領域として設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項3】
前記監視領域設定手段は、自車両の速度に応じて少なくとも、監視領域の位置、大きさ、個数の何れか1つを変更することを特徴とする請求項1に記載の路面標示認識装置。
【請求項4】
前記画像特徴抽出手段は、画像特徴として、エッジ数またはエッジ勾配またはランレングスを抽出することを特徴とする請求項1に記載の路面標示認識装置。
【請求項5】
前記監視領域設定手段は、前記画像特徴抽出手段が画像特徴として、エッジ数を抽出する場合、監視領域のエッジ数の増減に応じて監視領域の位置、大きさ、個数を逐次変更することを特徴とする請求項1に記載の路面標示認識装置。
【請求項6】
前記監視領域設定手段は、自車両が走行している白線内に監視領域を設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項7】
前記監視領域設定手段は、自車両が走行している白線の消失点を基に自車両が走行している路面上に監視領域を設定することを特徴とする請求項1に記載の路面標示認識装置。
【請求項8】
前記HMM識別手段は、前記監視領域設定手段で設定された監視領域の位置、大きさ、個数の少なくとも1つの変更に応じて前記路面標示モデル記憶手段に格納されている路面標示モデルを選択し、前記特徴抽出手段で得られた特徴と路面標示モデルとをHMMを用いて比較評価することで路面標示の認識を行うことを特徴とする請求項1に記載の路面標示認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−43995(P2011−43995A)
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願番号】特願2009−191887(P2009−191887)
【出願日】平成21年8月21日(2009.8.21)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願日】平成21年8月21日(2009.8.21)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]