レーン認識装置
【課題】撮像画像上でレーンが映らない場合でもレーン認識を可能にする。
【解決手段】レーン認識装置１０は、自車両走行路の撮像画像内に第１画像処理領域を左右個別に設定して車線標示を検出する車線標示検出部３１と、検出した撮像画像内の左右一方の車線標示及び車線幅に基づき撮像画像内において左右他方の車線標示位置を推定する車線標示位置推定部３３と、自車両走行路の撮像画像内に第１画像処理領域を含みかつ第１画像処理領域よりも広い第２画像処理領域を設定して車線標示を検出する広域車線標示検出部３４と、車線標示検出部３１による車線標示の検出結果及び車線標示位置推定部３３による車線標示位置の推定結果それぞれに対し広域車線標示検出部３４による車線標示の検出結果とのマッチングを行う検出結果照合部３５と、検出結果照合部３５のマッチング結果に基づきレーンを認識するレーン認識状況判断部３６とを備える。
【解決手段】レーン認識装置１０は、自車両走行路の撮像画像内に第１画像処理領域を左右個別に設定して車線標示を検出する車線標示検出部３１と、検出した撮像画像内の左右一方の車線標示及び車線幅に基づき撮像画像内において左右他方の車線標示位置を推定する車線標示位置推定部３３と、自車両走行路の撮像画像内に第１画像処理領域を含みかつ第１画像処理領域よりも広い第２画像処理領域を設定して車線標示を検出する広域車線標示検出部３４と、車線標示検出部３１による車線標示の検出結果及び車線標示位置推定部３３による車線標示位置の推定結果それぞれに対し広域車線標示検出部３４による車線標示の検出結果とのマッチングを行う検出結果照合部３５と、検出結果照合部３５のマッチング結果に基づきレーンを認識するレーン認識状況判断部３６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーンを認識する技術に関する。
【背景技術】
【０００２】
レーンを認識する技術としては、例えば特許文献１に記載の従来技術がある。
この従来技術では、先ず、撮像画像内に路面輝度算出用ウインドウを設定する。そして、この従来技術では、設定した路面輝度算出用ウインドウ内の画像における輝度の平均値又は最頻値を路面輝度として算出する。そして、この従来技術では、算出した路面輝度よりも大きい輝度を有するエッジを抽出してレーン認識を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５７７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来技術では、処理の周期ごとに撮像した道路画像から車線標示を検出するにあたって、前回の処理にて車線標示を検出した付近に画像処理領域を設けて自車両が走行するレーンの車線標示を検出する構成であったため、一度誤検出して処理領域が誤った場所に設定されてしまうと、実際の車線標示が処理領域に入らなくなり、レーン認識が不安定になる、或いは、誤った対象（ノイズ）を誤検出し続けてしまうという課題があった。
本発明は、このような従来の技術が有する未解決の課題に着目してなされたものであって、より安定的なレーン認識が行えるレーン認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明の一態様は、自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、各第１画像処理領域内から個別に車線標示を検出する。また、本発明の一態様は、自車両の走行路の車線幅を検出する。さらに、本発明の一態様は、検出した撮像画像内の左右一方の車線標示の検出結果及び車線幅に基づいて、撮像画像内において左右他方の車線標示位置を推定する。そして、本発明の一態様は、自車両の走行路の撮像画像内に、左右２つの第１画像処理領域を含み、かつ左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、第２画像処理領域内に存在する車線標示を検出する。さらに、本発明の一態様は、第１画像処理領域を設定して検出した車線標示の検出結果及び車線標示位置の推定結果それぞれに対し、第２画像処理領域を設定して検出した車線標示の検出結果とのマッチングを行う。そして、本発明の一態様は、マッチング結果に基づいてレーンを認識する。
【発明の効果】
【０００６】
本発明によれば、第１画像処理領域を設定して検出した撮像画像内の左右一方の車線標示に基づいて左右他方の車線標示位置を推定し、さらに第２画像処理領域を設定して撮像画像内の車線標示を検出する。そして、本発明によれば、推定した車線標示位置及び検出した車線標示を用いてレーン認識のためのマッチング処理を行う。これによって、本発明では、誤検知などによって第１画像処理領域内に車線標示が入らない状況となっても、第１車線標示検出手段の画像処理領域、検出結果を適切に修正することができる。
【図面の簡単な説明】
【０００７】
【図１】車線逸脱警報システムの構成例を示すブロック図である。
【図２】車線標示位置検出部の構成例を示すブロック図である。
【図３】撮像画像内のレーンに沿うように左右それぞれに設定される画像処理領域を示す図である。
【図４】車線標示位置を推定する処理を説明する図である。
【図５】撮像画像内に設定される広域画像処理領域を示す図である。
【図６】広域画像処理領域を設定した車線標示の検出を説明する図である。
【図７】車線標示検出部の車線標示の検出結果と広域車線標示検出部の車線標示の検出結果とのマッチングの処理を説明する図である。
【図８】車線境界位置推定手段が推定した車線標示位置と広域車線標示検出部の車線標示の検出結果とのマッチングの処理を説明する図である。
【図９】レーン認識装置における一連の処理手順を示すフローチャートである。
【図１０】車線標示位置検出部における処理の説明に使用した図である。
【図１１】第２実施形態の処理の概要を示すフローチャートである。
【図１２】第３実施形態の車線標示位置検出部の構成を示すブロック図である。
【図１３】第３実施形態の処理の概要を示すフローチャートである。
【発明を実施するための形態】
【０００８】
本実施形態を図面を参照しつつ説明する。
本実施形態は、車線逸脱警報システムに搭載されるレーン認識装置である。
（構成）
図１は、車線逸脱警報システム１の構成例を示すブロック図である。
車線逸脱警報システム１は、図１に示すように、レーン認識装置１０、車線逸脱警報部２、車速センサ３、及びブザー４を有している。
レーン認識装置１０は、自車走行路を認識し、車線に対する車両状態量（車両位置、車両姿勢等）及び道路形状を検出する。
レーン認識装置１０は、図１に示すように、カメラ１１及びコントローラ２０を有している。
【０００９】
カメラ１１は、車両前方を撮像する。カメラ１１は、撮像した画像をコントローラ２０に出力する。
ここで、カメラ１１は、車両室内の天井の前方中央部に取り付けられている。そして、カメラ１１は、フロントガラスを通して車両前方の走行路を撮像する。なお、この取り付け位置の例は、レーン認識を行うカメラの一般例であり、自車走行路を撮像できる位置であればこの例に限定しない。例えば、バックビューカメラのように車両後方にカメラを取り付けたり、車両前端にカメラを取り付けたりしても良い。
【００１０】
コントローラ２０は、マイクロコンピュータ及びその周辺回路を備えている。すなわち例えば、コントローラ２０は、一般的なＥＣＵ（Electronic Control Unit）と同様にＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。そして、ＲＯＭには、各種処理を実現する１又は２以上のプログラムが格納されている。ＣＰＵは、ＲＯＭに格納されている１又は２以上のプログラムに従って各種処理を実行する。
そして、コントローラ２０は、図１に示すように、プログラムにより実現される機能として車線標示位置検出部３０及び道路パラメータ推定部２１を有している。
【００１１】
なお、車線標示位置検出部３０及び道路パラメータ推定部２１は、それぞれがデバイスによって構成されていても良い。
車線標示位置検出部３０は、撮像画像に対して画像処理を行い車線標示位置を検出する。そして、車線標示位置検出部３０は、車線標示位置の検出結果を道路パラメータ推定部２１に出力する。車線標示位置検出部３０の詳細については後で詳述する。
道路パラメータ推定部２１は、状態推定器を用いて、車線標示位置に基づいて道路パラメータ（道路形状及びこの道路に対する車両位置、車両姿勢等）を推定する。そして、道路パラメータ推定部２１は、推定した道路パラメータを車線逸脱警報部２に出力する。
【００１２】
ここで、具体的には、道路パラメータ推定部２１は、道路モデル式として下記（１）式を用いて、車線標示位置に基づいて道路パラメータを推定する。
ｘ＝（（Ａ−Ｗ／２）／Ｈ）（ｙ＋ｆ・Ｄ）−（Ｂ・Ｈ・ｆ２）／（ｙ＋ｆ・Ｄ）−Ｃ・ｆ＋ｊ・Ｗ・（ｙ＋ｆ・Ｄ） ・・・（１）
【００１３】
ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、パラメータであり、道路パラメータ推定部２１において推定する道路パラメータ、車両状態量となる。具体的には、Ａは車線に対する自車両の横変位を表す。Ｂは道路曲率を表す。Ｃは車線に対する自車両のヨー角を表す。Ｄは自車両のピッチ角を表す。Ｈは路面からカメラ１１までの高さを表す。また、Ｗは、車線幅（左右白線の内側間の距離）を示す定数である。また、ｆはカメラ透視変換定数である。また、ｊは、左右の白線を区別するパラメータであり、左標示線のときにｊ＝０となり、右標示線のときにｊ＝１となる。また、（ｘ，ｙ）は、左又は右の標示線内端上の任意の点の道路画像上の座標である。この場合、道路画像左上を原点にとって、右方向をｘ軸正方向とし、下方向をｙ軸正方向とする。
【００１４】
なお、前記（１）式は道路モデルを表す式の一般例であり、走行路を推定するにあたってはこの（１）式を用いることに限定されない。
車線逸脱警報部２は、レーン認識装置１０が検出した道路パラメータ（車線に対する車両位置や車両姿勢等）及び車速センサ３が検出した自車速に基づいて、自車両の車線逸脱を検出する。そして、車線逸脱警報部２は、自車両の車線逸脱を検出すると、ブザー４を作動させて運転者に車線逸脱を警告する。
ここで、例えば、車線逸脱警報部２は、前記コントローラ２０の機能として実現されても良く、デバイスによって構成されても良い。
【００１５】
次に、車線標示位置検出部３０の構成例を、図２を参照して説明する。
図２は、車線標示位置検出部３０の構成例を示すブロック図である。
車線標示位置検出部３０は、図２に示すように、車線標示検出部３１、車線幅算出部３２、車線標示位置推定部３３、広域車線標示検出部３４、検出結果照合部３５、レーン認識状況判断部３６、及び車線標示検出結果修正部３７を有している。
【００１６】
車線標示検出部３１は、撮像画像に対して画像処理を施して左右一対の車線標示を検出する。そして、車線標示検出部３１は、検出した左右一対の車線標示を車線幅算出部３２、車線標示位置推定部３３、検出結果照合部３５、及び車線標示検出結果修正部３７に出力する。
ここで、具体的には、先ず、車線標示検出部３１は、図３に示すように、撮像画像１００内のレーン１０１，１０２に沿うように撮像画像１００内の左右両方に画像処理領域（検出領域）１２１，１２２を設定する。このとき、車線標示検出部３１は、レーン認識装置１０内に記憶されている道路パラメータ又は車線標示の検出位置の過去履歴に基づいて画像処理領域１２１，１２２を設定する。
【００１７】
さらに、車線標示検出部３１は、設定した画像処理領域１２１，１２２内の画像に対して、例えばＳｏｂｅｌフィルタによる一次空間微分を施して、車線標示と路面との境界となるエッジを強調する。その後、車線標示検出部３１は、車線標示に対して直行する方向に走査を行い車線標示エッジを抽出する。
そして、車線標示検出部３１は、抽出した車線標示エッジから車線標示を直線近似する。具体的には、車線標示検出部３１は、車線標示エッジが検出されている画素を予め設定した値以上通過しかつ画像処理領域（検出領域）の上辺の１点と下辺の１点とを結ぶ直線をハフ変換によって検出する。そして、車線標示検出部３１は、検出した直線を車線標示の近似直線として取得する。
【００１８】
また、ハフ変換によって複数の車線標示の候補を検出した場合には、車線標示検出部３１は、車線標示検出結果の過去履歴や道路形状の拘束条件などから、道路境界に対応する左右一対の車線標示を選択する。
車線幅算出部３２は、自車両が走行している道路の車線幅を算出する。そして、車線幅算出部３２は、算出した道路の車線幅を車線標示位置推定部３３に出力する。
【００１９】
ここで、例えば、車線幅算出部３２は、レーン認識結果から車線幅を算出しても良い。また、車両にナビゲーション装置が搭載されている場合には、車線幅算出部３２は、ナビゲーション装置から車線幅の情報を取得しても良い。
車線標示位置推定部３３は、車線標示検出部３１が検出した左右一方の車線標示（左右の画像処理領域から検出した車線標示）と車線幅算出部３２で算出した車線幅とに基づいて、左右一方の車線標示について対となる反対側（左右他方側）の車線標示位置を推定する。そして、車線標示位置推定部３３は、推定した車線標示位置を検出結果照合部３５に出力する。
ここで、車線標示位置推定部３３は、具体的には次のように車線標示位置を推定する。
【００２０】
図４は、車線標示位置を推定する処理を説明する図である。
車線標示位置推定部３３は、図４（ａ）及び（ｂ）に示すように、車線標示検出部３１が検出した撮像画像１００内の左側の車線標示１３１Ｌと車線幅算出部３２が算出した車線幅とに基づいて、対となる右側の車線標示位置（車線標示１３１ＬＤの位置）を推定する。また、車線標示位置推定部３３は、図４（ａ）及び（ｃ）に示すように、車線標示検出部３１が検出した撮像画像１００内の右側の車線標示１３２Ｒと車線幅算出部３２が算出した車線幅とに基づいて、対となる左側の車線標示位置（車線標示１３２ＲＤの位置）を推定する。
【００２１】
広域車線標示検出部３４は、カメラ１１からの撮像画像を圧縮し低解像度化した画像に基づいて車線標示を検出する。そして、広域車線標示検出部３４は、検出した車線標示を検出結果照合部３５に出力する。
ここで、具体的には、先ず、広域車線標示検出部３４は、カメラ１１からの撮像画像を圧縮し低解像度化する。
【００２２】
次に、広域車線標示検出部３４は、図５に示すように、車線標示検出部３１で用いた左右２つの画像処理領域（図５中破線で示す領域）１２１，１２２を含み、かつ左右２つの画像処理領域１２１，１２２よりも広い画像処理領域（以下、広域画像処理領域という。）１４１を低解像度化した画像内に設定する。このとき、広域車線標示検出部３４は、レーン認識装置１０内に記憶されている道路パラメータ又は車線標示検出位置の過去履歴に依存することなく、広域画像処理領域１４１を画像内に設定する。
【００２３】
そして、広域車線標示検出部３４は、広域画像処理領域１４１内に存在する車線標示を検出する。このとき、広域車線標示検出部３４は、車線標示検出部３１のように左右の画像処理領域１２１，１２２それぞれから車線標示をそれぞれ検出するのではなく、図６に示す例のように、広域画像処理領域１４１に存在する全ての車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒを検出する。
【００２４】
検出結果照合部３５は、車線標示検出部３１の車線標示の検出結果及び車線標示位置推定部３３の車線標示位置の推定結果それぞれに対して、広域車線標示検出部３４の車線標示の検出結果とのマッチングを行う。そして、検出結果照合部３５は、マッチングの結果をレーン認識状況判断部３６に出力する。
ここで、検出結果照合部３５は、具体的には次のようにマッチングを行う。
【００２５】
ここで、マッチング処理を図７及び図８を参照しつつ説明する。図７は、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とのマッチングの処理を説明する図である。また、図８は、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４の車線標示の検出結果とのマッチングの処理を説明する図である。
【００２６】
検出結果照合部３５は、図７に示すように、車線標示検出部３１の検出結果である左右の画像処理領域１２１，１２２内で検出した車線標示１３１Ｌ，１３２Ｒと（図７（ａ））、広域車線標示検出部３４の検出結果である広域画像処理領域１４１内で検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５５Ｒと（図７（ｂ））でマッチングできた車線標示１６１Ｌ，１６２Ｒを特定する（図７（ｃ））。
【００２７】
すなわち、この図７に示す例では、検出結果照合部３５は、車線標示検出部３１が左側の画像処理領域１２１内で検出した車線標示１３１Ｌと、広域車線標示検出部３４が広域画像処理領域１４１内で検出した左側の２本の車線標示１５１Ｌ，１５２Ｌのうちの中央寄りの車線標示１５１Ｌとをマッチングでき、車線標示１６１Ｌを特定している。さらに、検出結果照合部３５は、車線標示検出部３１が右側の画像処理領域１２２内で検出した車線標示１３２Ｒと、広域車線標示検出部３４が広域画像処理領域１４１内で検出した右側の２本の車線標示１５３Ｒ，１５５Ｒのうちの外寄りの車線標示１５３Ｒとをマッチングでき、車線標示１６２Ｒを特定している。
【００２８】
また、検出結果照合部３５は、図８に示すように、車線標示位置推定部３３の推定結果である車線標示位置（車線標示１３１ＬＤ，１３２ＲＤの位置）と（図８（ａ））、広域車線標示検出部３４の検出結果である広域画像処理領域１４１内で検出した車線標示と（図８（ｂ））でマッチングできた車線標示１７１Ｌ，１７２Ｒを特定する（図８（ｃ））。
【００２９】
すなわち、この図８に示す例では、検出結果照合部３５は、車線標示位置推定部３３が推定した左側の車線標示位置（車線標示１３２ＲＤの位置）と、広域車線標示検出部３４が広域画像処理領域１４１内で検出した左側の２本の車線標示１５１Ｌ，１５２Ｌのうちの中央寄りの車線標示１５１Ｌとをマッチングでき、車線標示１７１Ｌを特定している。さらに、検出結果照合部３５は、車線標示位置推定部３３が推定した右側の車線標示位置（車線標示１３１ＬＤの位置）と、広域車線標示検出部３４が広域画像処理領域１４１内で検出した右側の２本の車線標示１５３Ｒ，１５５Ｒのうちの外寄りの車線標示１５３Ｒとをマッチングでき、車線標示１７２Ｒを特定している。
【００３０】
レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、レーン認識状況判断を行う。そして、レーン認識状況判断部３６は、そのレーン認識状況判断結果を車線標示検出結果修正部３７に出力する。
ここで、具体的には、レーン認識状況判断部３６は、次の第１及び第２条件の両条件を満たす場合、車線標示検出部３１が誤検出していると判断する。
【００３１】
第１条件は、撮像画像内の左右一方において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできた車線標示が、車線標示位置推定部３３の車線標示位置の推定結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできた車線標示と同一ではないことである。
なお、第１条件として、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできていない場合であって、車線標示位置推定部３３の車線標示位置の推定結果と車線標示検出部３１の車線標示の検出結果が乖離していることを用いても良い。
【００３２】
或いは、これら二つの条件を論理和（ＯＲ）として用いても良い。
第２条件は、撮像画面内の左右他方（反対側）において、車線標示位置推定部３３の車線標示位置の推定結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングする車線標示の候補がないことである。
以上の第１及び第２条件の両条件を満たす場合、レーン認識状況判断部３６は、前記左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。そして、レーン認識状況判断部３６は、その判断結果をレーン認識状況判断結果として車線標示検出結果修正部３７に出力する。
車線標示検出結果修正部３７は、レーン認識状況判断部３６のレーン認識状況判断結果に基づいて車線標示検出部３１の検出結果を修正する。そして、車線標示検出結果修正部３７は、修正した検出結果を道路パラメータ推定部２１に出力する。
【００３３】
ここで、具体的には、車線標示検出結果修正部３７は、レーン認識状況判断部３６のレーン認識状況判断結果が誤検出を示す場合、広域車線標示検出部３４の車線標示の検出結果を用いて車線標示検出部３１の車線標示の検出結果を修正する。例えば、車線標示検出結果修正部３７は、広域車線標示検出部３４が検出した車線標示であって車線標示検出部３１が誤検出した車線標示以外の車線標示を、車線標示検出部３１の車線標示の検出結果とする。ここでいう広域車線標示検出部３４が検出している車線標示とは、撮像画像内において車線標示検出部３１が誤検出している車線標示が存在する側（左右何れか一方側）の車線標示である。また、このとき、例えば、車線標示検出結果修正部３７は、車線標示位置推定部３３が推定した車線標示位置を参照して前記車線標示以外の車線標示の選定を行っても良い。
また、道路パラメータを用いて車線標示検出部３１の画像処理領域を配置する構成となっているレーン認識装置１０で、道路パラメータの更新の遅れによって次回処理周期における車線標示検出部３１の画像処理領域を車線区分線上に配置できない場合は、次回処理周期において画像処理領域を修正する。
【００３４】
次に、レーン認識装置１０における一連の処理手順を、図９を参照しつつ説明する。
図９は、レーン認識装置１０における一連の処理手順を示すフローチャートである。ここで、レーン認識装置１０では、カメラ１１の画像取得周期に同期してフローチャートに基づくループ処理を繰り返すものとする。
先ず、ステップＳ１において、車線標示位置検出部３０は、カメラ１１にて撮像した自車走行路の道路画像を取得する。
【００３５】
次に、ステップＳ２において、車線標示検出部３１は、前記ステップＳ１で取得した道路画像に対して画像処理を行い、道路画像内の左右両方に設定した画像処理領域内から車線標示を検出する。すなわち、車線標示検出部３１は、左右１候補ずつ車線標示を検出する。
次に、ステップＳ３において、広域車線標示検出部３４は、前記ステップＳ１で取得した道路画像に対して画像処理を行い、道路画像内に設定した広域画像処理領域内に存在する全ての車線標示を検出する。
【００３６】
次に、ステップＳ４において、車線幅算出部３２は車線幅を算出する。
次に、ステップＳ５において、車線標示位置推定部３３は、前記ステップＳ２の車線標示検出結果とステップＳ４で算出した車線幅の情報とを用いて車線標示位置を推定する。
次に、ステップＳ６において、検出結果照合部３５は、前記ステップＳ２の車線標示検出結果及び前記ステップＳ５の車線標示位置の推定結果に対して、前記ステップＳ３の広域画像処理領域を用いた車線標示検出結果とのマッチング処理を行う。
【００３７】
次に、ステップＳ７において、レーン認識状況判断部３６は、前記ステップＳ６のマッチング結果を用いてレーン認識状況を判断する。
次に、ステップＳ８において、車線標示検出結果修正部３７は、前記ステップＳ７のレーン認識状況判断結果が誤検出を示す場合、前記ステップＳ３の広域画像処理領域を用いた車線標示検出結果に基づいて、前記ステップＳ２の車線標示検出結果を修正する。
次に、ステップＳ９において、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００３８】
（動作等）
車線標示位置検出部３０における処理を、図１０に示す撮像画像１００の例を用いて説明する。
車線標示位置検出部３０は、図１０（ａ）及び（ｂ）に示すように、カメラ１１の撮像画像に対して左右それぞれに画像処理領域１２１，１２２を設定する。そして、車線標示位置検出部３０は、設定した画像処理領域１２１，１２２内からそれぞれ車線標示１３３Ｌ，１３２Ｒを検出する。
【００３９】
さらに、車線標示位置検出部３０は、図１０（ｂ）、（ｃ）及び（ｄ）に示すように、検出した左右それぞれの車線標示１３３Ｌ，１３２Ｒと自車両走行路の車線幅とに基づいて、左右それぞれの車線標示１３３Ｌ，１３２Ｒについて対となる反対側の車線標示位置（車線標示１３３ＬＤ，１３２ＲＤの位置）を推定する。
一方、車線標示位置検出部３０は、図１０（ａ）及び（ｅ）に示すように、カメラ１１の撮像画像を圧縮し低解像度化した画像に対して広域画像処理領域１４１を設定する。そして、車線標示位置検出部３０は、設定した広域画像処理領域１４１内から車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒを検出する。
【００４０】
そして、車線標示位置検出部３０は、図１０（ｂ）、（ｅ）及び（ｆ）に示すように、画像処理領域１２１，１２２を設定して検出した車線標示１３３Ｌ，１３２Ｒと、広域画像処理領域１４１を設定して検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒとでマッチングできた車線標示１６３Ｌ，１６２Ｒを特定する。
また、車線標示位置検出部３０は、図１０（ｃ）、（ｄ）、（ｅ）及び（ｇ）に示すように、推定した車線標示位置（車線標示１３３ＬＤ，１３２ＲＤの位置）と、広域画像処理領域１４１を設定して検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒとでマッチングできた車線標示１７１Ｌを特定する。
【００４１】
そして、車線標示位置検出部３０は、次の第１及び第２条件の両条件を満たす場合、車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。
第１条件は、撮像画像１００内の左右一方において、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６３Ｌ，１６２Ｒが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１７１Ｌと同一ではないことである。また、第２条件は、撮像画像１００内の左右他方（反対側）において、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングするものがないことである。
【００４２】
この場合、車線標示位置検出部３０は、撮像画像１００内の左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。
この例では、車線標示位置検出部３０は、図１０（ｆ）及び（ｇ）に示すように、撮像画像１００内の左側において、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６３Ｌが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１７１Ｌと同一ではないと判断する。
【００４３】
また、車線標示位置検出部３０は、図１０（ｄ）及び（ｇ）に示すように、撮像画像１００内の左側において、車線標示位置推定部３３が推定した車線標示位置（車線標示１３２ＲＤ）と広域車線標示検出部３４が検出した車線標示１５１Ｌとがマッチングすると判断する。
また、車線標示位置検出部３０は、図１０（ｆ）及び（ｇ）に示すように、撮像画像１００内の右側については、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできない。そのため、撮像画像１００内の右側については、マッチングする車線標示の候補が存在しないことになる。
【００４４】
この結果、車線標示位置検出部３０は、撮像画像１００内の右側について、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６２Ｒが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングする車線標示の候補と同一ではないと判断することにもなる。
以上から、この例では、車線標示位置検出部３０は、撮像画像１００内の左側における車線標示検出部３１の車線標示１３３Ｌの検出結果が誤検出によるものと判断する。
【００４５】
ここで、本実施形態において、車線標示検出部３１は、例えば、第１車線標示検出手段を構成する。また、車線幅算出部３２は、例えば、車線幅検出手段を構成する。また、車線標示位置推定部３３は、例えば、車線標示位置推定手段を構成する。また、広域車線標示検出部３４は、例えば、第２車線標示検出手段を構成する。また、検出結果照合部３５は、例えば、マッチング手段を構成する。また、レーン認識状況判断部３６は、例えば、レーン認識手段を構成する。また、車線標示検出結果修正部３７は、例えば、車線標示検出結果修正手段や画像処理領域修正手段を構成する。
また、車線標示検出部３１が設定する画像処理領域は、例えば、第１画像処理領域を構成する。また、広域車線標示検出部３４が設定する広域画像処理領域は、例えば、第２画像処理領域を構成する。
【００４６】
（本実施形態の効果）
本実施形態は、次のような効果を奏する。
（１）車線標示検出部３１は、自車両の走行路の撮像画像内に画像処理領域を左右個別に設定して、画像処理領域内から個別に車線標示を検出する。また、車線幅算出部３２は、自車両の走行路の車線幅を算出する。さらに、車線標示位置推定部３３は、車線標示検出部３１が検出した撮像画像内の左右一方の車線標示の検出結果、及び車線幅算出部３２が算出した車線幅に基づいて、撮像画像内において左右他方の車線標示位置を推定する。そして、広域車線標示検出部３４は、自車両の走行路の撮像画像内に、車線標示検出部３１が設定した左右２つの画像処理領域を含み、かつその左右２つの画像処理領域よりも広い広域画像処理領域を設定して、広域画像処理領域内に存在する車線標示を検出する。さらに、検出結果照合部３５は、車線標示検出部３１による車線標示の検出結果及び車線標示位置推定部３３による車線標示位置の推定結果それぞれに対し、広域車線標示検出部３４による車線標示の検出結果とのマッチングを行う。そして、レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいてレーンを認識する。
【００４７】
この場合、レーン認識装置１０は、車線標示検出部３１が検出した撮像画像内の左右一方の車線標示に基づいて左右他方の車線標示位置を推定し、さらに広域車線標示検出部３４が広域画像処理領域を設定して撮像画像内の車線標示を検出する。そして、レーン認識装置１０は、推定した車線標示位置及び検出した車線標示を用いてレーン認識のためのマッチング処理を行う。これによって、レーン認識装置１０は、車線標示検出部３１が画像処理領域内でレーンを検出できない状況になっていてもレーン認識できる。
【００４８】
よって、レーン認識装置１０は、撮像画像上でレーンが映らない場合でもレーン認識できる。例えば、レーン認識装置１０は、西日や朝日がタールで反射してカメラの撮像画像が黒くなり撮像画像上でレーンが映らない場合でもレーン認識できる。よって、例えば、レーン認識装置１０は、撮像画像内のレーン以外のノイズを誤認識し続けてしまうといったことを防止できる。ここでいうノイズとは、図１０に示す例では、車線標示検出部３１が検出している車線標示１３３Ｌである。
【００４９】
（２）車線標示検出結果修正部３７は、検出結果照合部３５のマッチング結果に基づいて、車線標示検出部３１の車線標示の検出結果を修正する。
これにより、レーン認識装置１０は、レーン認識の精度を向上させることができる。
（３）車線標示検出結果修正部３７は、検出結果照合部３５のマッチング結果に基づいて、車線標示検出部３１が車線標示の検出に用いる画像処理領域を修正する。
これにより、レーン認識装置１０は、レーン認識の精度を向上させることができる。
【００５０】
（４）広域車線標示検出部３４は、撮像画像を圧縮して低解像度化した画像上に広域画像処理領域を設定する。さらに、広域車線標示検出部３４は、設定した広域画像処理領域内の画像に対して時間積分して広域画像処理領域内からエッジを抽出する。そして、広域車線標示検出部３４は、抽出したエッジに基づいて車線標示を検出する。
これにより、広域車線標示検出部３４は、車線標示検出のための処理負荷を抑えることができる。また、広域車線標示検出部３４は、広域画像処理領域内の画像に対して時間積分してエッジを抽出しているので、低解像度の画像からも安定して車線標示を検出できる。
【００５１】
（５）レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、撮像画像内の左右一方において、車線標示検出部３１が検出した車線標示とマッチングする広域車線標示検出部３４が検出した車線標示が、車線標示位置推定部３３が推定した車線標示位置とマッチングする広域車線標示検出部３４が検出した車線標示と同一ではなく（第１条件）、かつ撮像画像内の左右他方において、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とがマッチングしない（第２条件）と判定すると、車線標示検出部３１が撮像画像内の左右一方の車線標示を誤検出していると判断する。
このように、レーン認識状況判断部３６は、車線標示検出部３１が検出した左右の車線標示の検出結果から各々反対側の車線標示を推定することで、互いの車線標示位置を相互確認できないときには車線標示検出部３１が誤検出していると判断する。
【００５２】
ここで、車線標示検出部３１が車線標示を誤検出している場合には、その車線標示の検出結果とマッチングする広域車線標示検出部３４の検出車線標示の候補が、車線標示位置推定部３３が推定した車線標示位置とマッチングする広域車線標示検出部３４の検出車線標示の候補と異なる。さらに、車線標示検出部３１が車線標示を誤検出している場合には、その誤検出した車線標示から推定した車線標示位置にマッチングする車線標示の候補を広域車線標示検出部３４が検出することができない。このような理由から、レーン認識状況判断部３６では、前記第１及び第２条件の両条件を満たす場合に、車線標示検出部３１が誤検出しているとの判断を行うことができるようになる。
この結果、レーン認識状況判断部３６は、撮像画像上でレーンが映らないような場合にレーン以外のノイズを誤検出しているとの判断を行うことができるようになる。
【００５３】
（６）レーン認識状況判断部３６が車線標示を誤検出していると判断した場合、車線標示検出結果修正部３７は、広域車線標示検出部３４が検出した車線標示であって車線標示検出部３１が誤検出した車線標示以外の車線標示を、車線標示検出部３１の車線標示の検出結果とする修正を行う。
これにより、レーン認識装置１０は、レーン認識の精度をより確実に向上させることができる。
【００５４】
（第２実施形態）
以下、本発明の第２実施形態を説明する。なお、レーン認識装置１０の構成は、上記第１実施形態と同様であるため、その図示及び説明は省略する。
ここで、実際の道路環境では、一部区間において左右どちらか一方の車線標示が見えにくいことがあり、路面によっては左右どちらか一方の車線標示自体が消えてしまっている場合もある。そのような状況では、本来の車線標示がそもそも路面に存在しないため、第１実施形態のような処理では対処できない可能性もある。
【００５５】
そこで、車線標示検出部３１の左右どちらかの検出結果と広域車線標示検出部３４の検出結果とがマッチングできない場合には、マッチングできない側でのレーン認識の確からしさが低いと判断できるため、マッチングがとれている反対側の車線標示から既知の車線幅を用いて車線標示位置を推定し、その推定された車線標示位置と、車線標示検出部３１により検出された車線標示位置とが乖離している場合には、ノイズを誤検出している（車線標示を確認できなかった）として、ロスト処理を行う。
即ち、この第２実施形態の第１実施形態からの変更点は、レーン認識状況判断部３６及び車線標示検出結果修正部３７における処理の内容である。
【００５６】
レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、レーン認識状況判断を行う。そして、レーン認識状況判断部３６は、そのレーン認識状況判断結果を車線標示検出結果修正部３７に出力する。
ここで、具体的には、レーン認識状況判断部３６は、第１実施形態における条件とは別に、下記の第１及び第２条件の両条件を満たす場合に、車線標示検出部３１が誤検出していると判断する。
【００５７】
第１条件は、撮像画像内の左右一方において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできていないというものである。
第２条件は、撮像画面内の左右他方（反対側）において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果がマッチングできていて、この広域車線標示検出部３４の車線標示の検出結果より車線標示位置推定部３３で推定された上記マッチングがとれてない側の車線標示位置と、車線標示検出部３１で検出した車線標示位置とが、所定以上離れているというものである。
【００５８】
以上の第１及び第２条件の両条件を満たす場合、レーン認識状況判断部３６は、前記左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。そして、レーン認識状況判断部３６は、その判断結果をレーン認識状況判断結果として車線標示検出結果修正部３７に出力する。
車線標示検出結果修正部３７において、誤検出していると判断した側の車線標示の検出結果をロスト処理（不検出処理）する。
【００５９】
これによって、車線標示が見えにくい、もしくは消えている区間において誤検出が発生し、車線標示検出部３１の画像処理領域を適切に修正できない場合であっても、ロスト処理を行うことでレーン認識が不安定になることを回避できる。
図１１は、第２実施形態における処理の概要を示すフローチャートである。なお、上記第１実施形態と同様の処理を実行するステップには、同じ符号を付している。
即ち、ステップＳ１〜Ｓ６の処理を行ったら、ステップＳ２７に移行し、上記条件１及び２を用いて、レーン認識状況を判断する。
【００６０】
そして、ステップＳ２８に移行し、車線標示検出結果修正部３７は、ステップＳ７のレーン認識状況判断結果がノイズを誤検出していると判断した場合、ステップＳ３の広域画像処理領域を用いた車線標示検出結果に基づいて、ステップＳ２の車線標示検出結果の誤検出している方をロスト処理する。
その後、ステップＳ９に移行し、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００６１】
（第２実施形態の効果）
車線標示検出部３１の検出結果と広域車線標示検出部３４の検出結果とでマッチングがとれない場合は、レーン認識の確からしさが低い状態であるため、確からしさが高い方から既知の車線幅を用いて推定した車線標示の位置と車線標示検出部３１の検出結果とが乖離している場合には、車線標示以外のノイズを誤検出している可能性が高いためロスト処理を行うという構成としたことで、誤検出を回避することができる。
【００６２】
（第３実施形態）
以下、本発明の第３実施形態について説明する。
この第３実施形態では、車線標示検出部３１の検出結果の連続性と、その車線標示検出部３１の検出結果及び広域車線標示検出部３４の検出結果のマッチング結果とに基づき、現在の処理における車線標示の検出結果が正しく行われているか否かの確からしさを判断し、その確からしさが低い場合には、ロスト処理を行うことで誤検出を回避するというものである。
【００６３】
そこで、本実施形態の車線標示位置検出部３０の構成は、図１２に示すようになっている。即ち、本実施形態の車線標示位置検出部３０は、第１実施形態における車線標示位置検出部３０との対比において、車線幅算出部３２及び車線標示位置推定部３３を削除するとともに、連続性判断部３８を追加した点で相違し、その他の構成は同じである。
そして、連続性判断部３８は、第１車線標示検出手段の検出結果について、過去の検出履歴と現在の検出位置（現在の画像処理領域における検出位置）とを比較することで、自車走行レーンの車遠標示を連続的に検出できているかどうかを判定し、検出結果照合手段３５に出力する。この判定処理は、左右それぞれについて行う。
【００６４】
具体的には、連続性判断手段３８によって、車線標示検出部３１の検出位置のばらつきが大きく連続性がないと判断された場合であって、現在の画像処理領域における車線標示部３１の検出結果と広域車線標示検出部３４の検出結果とのマッチングが取れていない場合には、車線標示を正しく検出している確からしさが低いとして、ロスト処理を行い、誤検出を回避する。
これによって、車線標示を正しく検出できていない状況を判断し、車線標示を検出している確からしさが低い対象をロスト処理することで、誤検出を回避することができる。
【００６５】
図１３は、第３実施形態における処理の概要を示すフローチャートである。なお、上記第１実施形態と同様の処理を実行するステップには、同じ符号を付している。
即ち、ステップＳ１〜Ｓ３を終えたら、ステップＳ３４に移行し、連続性判断手段３８は、ステップＳ２で検出した車線標示の位置について過去の検出履歴と現在の検出結果とで比較を行い、自車レーンの車線標示を連続的に検出できているかを判定する。例えば、検出位置のばらつきが大きい場合には、連続性がないと判断する。
【００６６】
次に、ステップＳ６において、検出結果照合部３５は、ステップＳ２の車線標示検出結果に対して、ステップＳ３の広域画像処理領域を用いた車線標示検出結果とのマッチング処理を行い、そして、ステップＳ３７に移行する。
ステップＳ３７では、レーン認識状況判断部３６は、ステップＳ３４の連続性判断の結果と、ステップＳ６のマッチング結果とを用いて、レーン認識状況を判断する。
【００６７】
そして、ステップＳ３８に移行し、車線標示検出結果修正部３７は、ステップＳ３７のレーン認識状況判断結果がノイズを誤検出していると判断した場合には、ステップＳ２の車線標示検出結果の誤検出している方を、ロスト処理する。
次に、ステップＳ９において、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００６８】
（第３実施形態の効果）
車線標示検出部３１の誤検出に起因して車線標示がその車線標示検出部３１の画像処理領域に入らない状況となった場合であっても、広域車線標示検出部３４によって、車線標示検出部３１における画像処理領域外にある車線標示を検出し、この結果に基づいて車線標示検出３１の検出結果を修正することで、車線標示検出部３１の画像処理領域内に車線標示が入らないことに起因してレーン認識が不安定になることを回避することができる。
また、連続性判断部３８で連続性が確認できず、かつ検出結果照合部３５において車線標示検出部３１の検出結果と広域車線標示検出部３４の検出結果とのマッチングが取れない場合には、車線標示検出部３１で検出した対象が車線標示である確からしさが低いと判断できるため、ロスト処理を行うことで誤った対象を誤検出することを避けることができる。
【００６９】
（実施形態の変形例）
上記各実施形態では、レーン認識装置１０からの道路形状及び車両状態量を用いて、車両制御として車線逸脱警報を行っているが、これに限定されない。例えば、本発明の実施形態は、レーン認識装置１０にステアリングアクチュエーターと車両センサとを組み合わせてレーンキープを行うような運転支援装置でも良い。
【符号の説明】
【００７０】
１ 車線逸脱警報システム、１０ レーン認識装置、２１ 道路パラメータ推定部、３０ 車線標示位置検出部、３１ 車線標示検出部、３２ 車線幅算出部、３３ 車線標示位置推定部、３４ 広域車線標示検出部、３５ 検出結果照合部、３６ レーン認識状況判断部、３７ 車線標示検出結果修正部
【技術分野】
【０００１】
本発明は、レーンを認識する技術に関する。
【背景技術】
【０００２】
レーンを認識する技術としては、例えば特許文献１に記載の従来技術がある。
この従来技術では、先ず、撮像画像内に路面輝度算出用ウインドウを設定する。そして、この従来技術では、設定した路面輝度算出用ウインドウ内の画像における輝度の平均値又は最頻値を路面輝度として算出する。そして、この従来技術では、算出した路面輝度よりも大きい輝度を有するエッジを抽出してレーン認識を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５７７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来技術では、処理の周期ごとに撮像した道路画像から車線標示を検出するにあたって、前回の処理にて車線標示を検出した付近に画像処理領域を設けて自車両が走行するレーンの車線標示を検出する構成であったため、一度誤検出して処理領域が誤った場所に設定されてしまうと、実際の車線標示が処理領域に入らなくなり、レーン認識が不安定になる、或いは、誤った対象（ノイズ）を誤検出し続けてしまうという課題があった。
本発明は、このような従来の技術が有する未解決の課題に着目してなされたものであって、より安定的なレーン認識が行えるレーン認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明の一態様は、自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、各第１画像処理領域内から個別に車線標示を検出する。また、本発明の一態様は、自車両の走行路の車線幅を検出する。さらに、本発明の一態様は、検出した撮像画像内の左右一方の車線標示の検出結果及び車線幅に基づいて、撮像画像内において左右他方の車線標示位置を推定する。そして、本発明の一態様は、自車両の走行路の撮像画像内に、左右２つの第１画像処理領域を含み、かつ左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、第２画像処理領域内に存在する車線標示を検出する。さらに、本発明の一態様は、第１画像処理領域を設定して検出した車線標示の検出結果及び車線標示位置の推定結果それぞれに対し、第２画像処理領域を設定して検出した車線標示の検出結果とのマッチングを行う。そして、本発明の一態様は、マッチング結果に基づいてレーンを認識する。
【発明の効果】
【０００６】
本発明によれば、第１画像処理領域を設定して検出した撮像画像内の左右一方の車線標示に基づいて左右他方の車線標示位置を推定し、さらに第２画像処理領域を設定して撮像画像内の車線標示を検出する。そして、本発明によれば、推定した車線標示位置及び検出した車線標示を用いてレーン認識のためのマッチング処理を行う。これによって、本発明では、誤検知などによって第１画像処理領域内に車線標示が入らない状況となっても、第１車線標示検出手段の画像処理領域、検出結果を適切に修正することができる。
【図面の簡単な説明】
【０００７】
【図１】車線逸脱警報システムの構成例を示すブロック図である。
【図２】車線標示位置検出部の構成例を示すブロック図である。
【図３】撮像画像内のレーンに沿うように左右それぞれに設定される画像処理領域を示す図である。
【図４】車線標示位置を推定する処理を説明する図である。
【図５】撮像画像内に設定される広域画像処理領域を示す図である。
【図６】広域画像処理領域を設定した車線標示の検出を説明する図である。
【図７】車線標示検出部の車線標示の検出結果と広域車線標示検出部の車線標示の検出結果とのマッチングの処理を説明する図である。
【図８】車線境界位置推定手段が推定した車線標示位置と広域車線標示検出部の車線標示の検出結果とのマッチングの処理を説明する図である。
【図９】レーン認識装置における一連の処理手順を示すフローチャートである。
【図１０】車線標示位置検出部における処理の説明に使用した図である。
【図１１】第２実施形態の処理の概要を示すフローチャートである。
【図１２】第３実施形態の車線標示位置検出部の構成を示すブロック図である。
【図１３】第３実施形態の処理の概要を示すフローチャートである。
【発明を実施するための形態】
【０００８】
本実施形態を図面を参照しつつ説明する。
本実施形態は、車線逸脱警報システムに搭載されるレーン認識装置である。
（構成）
図１は、車線逸脱警報システム１の構成例を示すブロック図である。
車線逸脱警報システム１は、図１に示すように、レーン認識装置１０、車線逸脱警報部２、車速センサ３、及びブザー４を有している。
レーン認識装置１０は、自車走行路を認識し、車線に対する車両状態量（車両位置、車両姿勢等）及び道路形状を検出する。
レーン認識装置１０は、図１に示すように、カメラ１１及びコントローラ２０を有している。
【０００９】
カメラ１１は、車両前方を撮像する。カメラ１１は、撮像した画像をコントローラ２０に出力する。
ここで、カメラ１１は、車両室内の天井の前方中央部に取り付けられている。そして、カメラ１１は、フロントガラスを通して車両前方の走行路を撮像する。なお、この取り付け位置の例は、レーン認識を行うカメラの一般例であり、自車走行路を撮像できる位置であればこの例に限定しない。例えば、バックビューカメラのように車両後方にカメラを取り付けたり、車両前端にカメラを取り付けたりしても良い。
【００１０】
コントローラ２０は、マイクロコンピュータ及びその周辺回路を備えている。すなわち例えば、コントローラ２０は、一般的なＥＣＵ（Electronic Control Unit）と同様にＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。そして、ＲＯＭには、各種処理を実現する１又は２以上のプログラムが格納されている。ＣＰＵは、ＲＯＭに格納されている１又は２以上のプログラムに従って各種処理を実行する。
そして、コントローラ２０は、図１に示すように、プログラムにより実現される機能として車線標示位置検出部３０及び道路パラメータ推定部２１を有している。
【００１１】
なお、車線標示位置検出部３０及び道路パラメータ推定部２１は、それぞれがデバイスによって構成されていても良い。
車線標示位置検出部３０は、撮像画像に対して画像処理を行い車線標示位置を検出する。そして、車線標示位置検出部３０は、車線標示位置の検出結果を道路パラメータ推定部２１に出力する。車線標示位置検出部３０の詳細については後で詳述する。
道路パラメータ推定部２１は、状態推定器を用いて、車線標示位置に基づいて道路パラメータ（道路形状及びこの道路に対する車両位置、車両姿勢等）を推定する。そして、道路パラメータ推定部２１は、推定した道路パラメータを車線逸脱警報部２に出力する。
【００１２】
ここで、具体的には、道路パラメータ推定部２１は、道路モデル式として下記（１）式を用いて、車線標示位置に基づいて道路パラメータを推定する。
ｘ＝（（Ａ−Ｗ／２）／Ｈ）（ｙ＋ｆ・Ｄ）−（Ｂ・Ｈ・ｆ２）／（ｙ＋ｆ・Ｄ）−Ｃ・ｆ＋ｊ・Ｗ・（ｙ＋ｆ・Ｄ） ・・・（１）
【００１３】
ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、パラメータであり、道路パラメータ推定部２１において推定する道路パラメータ、車両状態量となる。具体的には、Ａは車線に対する自車両の横変位を表す。Ｂは道路曲率を表す。Ｃは車線に対する自車両のヨー角を表す。Ｄは自車両のピッチ角を表す。Ｈは路面からカメラ１１までの高さを表す。また、Ｗは、車線幅（左右白線の内側間の距離）を示す定数である。また、ｆはカメラ透視変換定数である。また、ｊは、左右の白線を区別するパラメータであり、左標示線のときにｊ＝０となり、右標示線のときにｊ＝１となる。また、（ｘ，ｙ）は、左又は右の標示線内端上の任意の点の道路画像上の座標である。この場合、道路画像左上を原点にとって、右方向をｘ軸正方向とし、下方向をｙ軸正方向とする。
【００１４】
なお、前記（１）式は道路モデルを表す式の一般例であり、走行路を推定するにあたってはこの（１）式を用いることに限定されない。
車線逸脱警報部２は、レーン認識装置１０が検出した道路パラメータ（車線に対する車両位置や車両姿勢等）及び車速センサ３が検出した自車速に基づいて、自車両の車線逸脱を検出する。そして、車線逸脱警報部２は、自車両の車線逸脱を検出すると、ブザー４を作動させて運転者に車線逸脱を警告する。
ここで、例えば、車線逸脱警報部２は、前記コントローラ２０の機能として実現されても良く、デバイスによって構成されても良い。
【００１５】
次に、車線標示位置検出部３０の構成例を、図２を参照して説明する。
図２は、車線標示位置検出部３０の構成例を示すブロック図である。
車線標示位置検出部３０は、図２に示すように、車線標示検出部３１、車線幅算出部３２、車線標示位置推定部３３、広域車線標示検出部３４、検出結果照合部３５、レーン認識状況判断部３６、及び車線標示検出結果修正部３７を有している。
【００１６】
車線標示検出部３１は、撮像画像に対して画像処理を施して左右一対の車線標示を検出する。そして、車線標示検出部３１は、検出した左右一対の車線標示を車線幅算出部３２、車線標示位置推定部３３、検出結果照合部３５、及び車線標示検出結果修正部３７に出力する。
ここで、具体的には、先ず、車線標示検出部３１は、図３に示すように、撮像画像１００内のレーン１０１，１０２に沿うように撮像画像１００内の左右両方に画像処理領域（検出領域）１２１，１２２を設定する。このとき、車線標示検出部３１は、レーン認識装置１０内に記憶されている道路パラメータ又は車線標示の検出位置の過去履歴に基づいて画像処理領域１２１，１２２を設定する。
【００１７】
さらに、車線標示検出部３１は、設定した画像処理領域１２１，１２２内の画像に対して、例えばＳｏｂｅｌフィルタによる一次空間微分を施して、車線標示と路面との境界となるエッジを強調する。その後、車線標示検出部３１は、車線標示に対して直行する方向に走査を行い車線標示エッジを抽出する。
そして、車線標示検出部３１は、抽出した車線標示エッジから車線標示を直線近似する。具体的には、車線標示検出部３１は、車線標示エッジが検出されている画素を予め設定した値以上通過しかつ画像処理領域（検出領域）の上辺の１点と下辺の１点とを結ぶ直線をハフ変換によって検出する。そして、車線標示検出部３１は、検出した直線を車線標示の近似直線として取得する。
【００１８】
また、ハフ変換によって複数の車線標示の候補を検出した場合には、車線標示検出部３１は、車線標示検出結果の過去履歴や道路形状の拘束条件などから、道路境界に対応する左右一対の車線標示を選択する。
車線幅算出部３２は、自車両が走行している道路の車線幅を算出する。そして、車線幅算出部３２は、算出した道路の車線幅を車線標示位置推定部３３に出力する。
【００１９】
ここで、例えば、車線幅算出部３２は、レーン認識結果から車線幅を算出しても良い。また、車両にナビゲーション装置が搭載されている場合には、車線幅算出部３２は、ナビゲーション装置から車線幅の情報を取得しても良い。
車線標示位置推定部３３は、車線標示検出部３１が検出した左右一方の車線標示（左右の画像処理領域から検出した車線標示）と車線幅算出部３２で算出した車線幅とに基づいて、左右一方の車線標示について対となる反対側（左右他方側）の車線標示位置を推定する。そして、車線標示位置推定部３３は、推定した車線標示位置を検出結果照合部３５に出力する。
ここで、車線標示位置推定部３３は、具体的には次のように車線標示位置を推定する。
【００２０】
図４は、車線標示位置を推定する処理を説明する図である。
車線標示位置推定部３３は、図４（ａ）及び（ｂ）に示すように、車線標示検出部３１が検出した撮像画像１００内の左側の車線標示１３１Ｌと車線幅算出部３２が算出した車線幅とに基づいて、対となる右側の車線標示位置（車線標示１３１ＬＤの位置）を推定する。また、車線標示位置推定部３３は、図４（ａ）及び（ｃ）に示すように、車線標示検出部３１が検出した撮像画像１００内の右側の車線標示１３２Ｒと車線幅算出部３２が算出した車線幅とに基づいて、対となる左側の車線標示位置（車線標示１３２ＲＤの位置）を推定する。
【００２１】
広域車線標示検出部３４は、カメラ１１からの撮像画像を圧縮し低解像度化した画像に基づいて車線標示を検出する。そして、広域車線標示検出部３４は、検出した車線標示を検出結果照合部３５に出力する。
ここで、具体的には、先ず、広域車線標示検出部３４は、カメラ１１からの撮像画像を圧縮し低解像度化する。
【００２２】
次に、広域車線標示検出部３４は、図５に示すように、車線標示検出部３１で用いた左右２つの画像処理領域（図５中破線で示す領域）１２１，１２２を含み、かつ左右２つの画像処理領域１２１，１２２よりも広い画像処理領域（以下、広域画像処理領域という。）１４１を低解像度化した画像内に設定する。このとき、広域車線標示検出部３４は、レーン認識装置１０内に記憶されている道路パラメータ又は車線標示検出位置の過去履歴に依存することなく、広域画像処理領域１４１を画像内に設定する。
【００２３】
そして、広域車線標示検出部３４は、広域画像処理領域１４１内に存在する車線標示を検出する。このとき、広域車線標示検出部３４は、車線標示検出部３１のように左右の画像処理領域１２１，１２２それぞれから車線標示をそれぞれ検出するのではなく、図６に示す例のように、広域画像処理領域１４１に存在する全ての車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒを検出する。
【００２４】
検出結果照合部３５は、車線標示検出部３１の車線標示の検出結果及び車線標示位置推定部３３の車線標示位置の推定結果それぞれに対して、広域車線標示検出部３４の車線標示の検出結果とのマッチングを行う。そして、検出結果照合部３５は、マッチングの結果をレーン認識状況判断部３６に出力する。
ここで、検出結果照合部３５は、具体的には次のようにマッチングを行う。
【００２５】
ここで、マッチング処理を図７及び図８を参照しつつ説明する。図７は、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とのマッチングの処理を説明する図である。また、図８は、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４の車線標示の検出結果とのマッチングの処理を説明する図である。
【００２６】
検出結果照合部３５は、図７に示すように、車線標示検出部３１の検出結果である左右の画像処理領域１２１，１２２内で検出した車線標示１３１Ｌ，１３２Ｒと（図７（ａ））、広域車線標示検出部３４の検出結果である広域画像処理領域１４１内で検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５５Ｒと（図７（ｂ））でマッチングできた車線標示１６１Ｌ，１６２Ｒを特定する（図７（ｃ））。
【００２７】
すなわち、この図７に示す例では、検出結果照合部３５は、車線標示検出部３１が左側の画像処理領域１２１内で検出した車線標示１３１Ｌと、広域車線標示検出部３４が広域画像処理領域１４１内で検出した左側の２本の車線標示１５１Ｌ，１５２Ｌのうちの中央寄りの車線標示１５１Ｌとをマッチングでき、車線標示１６１Ｌを特定している。さらに、検出結果照合部３５は、車線標示検出部３１が右側の画像処理領域１２２内で検出した車線標示１３２Ｒと、広域車線標示検出部３４が広域画像処理領域１４１内で検出した右側の２本の車線標示１５３Ｒ，１５５Ｒのうちの外寄りの車線標示１５３Ｒとをマッチングでき、車線標示１６２Ｒを特定している。
【００２８】
また、検出結果照合部３５は、図８に示すように、車線標示位置推定部３３の推定結果である車線標示位置（車線標示１３１ＬＤ，１３２ＲＤの位置）と（図８（ａ））、広域車線標示検出部３４の検出結果である広域画像処理領域１４１内で検出した車線標示と（図８（ｂ））でマッチングできた車線標示１７１Ｌ，１７２Ｒを特定する（図８（ｃ））。
【００２９】
すなわち、この図８に示す例では、検出結果照合部３５は、車線標示位置推定部３３が推定した左側の車線標示位置（車線標示１３２ＲＤの位置）と、広域車線標示検出部３４が広域画像処理領域１４１内で検出した左側の２本の車線標示１５１Ｌ，１５２Ｌのうちの中央寄りの車線標示１５１Ｌとをマッチングでき、車線標示１７１Ｌを特定している。さらに、検出結果照合部３５は、車線標示位置推定部３３が推定した右側の車線標示位置（車線標示１３１ＬＤの位置）と、広域車線標示検出部３４が広域画像処理領域１４１内で検出した右側の２本の車線標示１５３Ｒ，１５５Ｒのうちの外寄りの車線標示１５３Ｒとをマッチングでき、車線標示１７２Ｒを特定している。
【００３０】
レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、レーン認識状況判断を行う。そして、レーン認識状況判断部３６は、そのレーン認識状況判断結果を車線標示検出結果修正部３７に出力する。
ここで、具体的には、レーン認識状況判断部３６は、次の第１及び第２条件の両条件を満たす場合、車線標示検出部３１が誤検出していると判断する。
【００３１】
第１条件は、撮像画像内の左右一方において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできた車線標示が、車線標示位置推定部３３の車線標示位置の推定結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできた車線標示と同一ではないことである。
なお、第１条件として、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできていない場合であって、車線標示位置推定部３３の車線標示位置の推定結果と車線標示検出部３１の車線標示の検出結果が乖離していることを用いても良い。
【００３２】
或いは、これら二つの条件を論理和（ＯＲ）として用いても良い。
第２条件は、撮像画面内の左右他方（反対側）において、車線標示位置推定部３３の車線標示位置の推定結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングする車線標示の候補がないことである。
以上の第１及び第２条件の両条件を満たす場合、レーン認識状況判断部３６は、前記左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。そして、レーン認識状況判断部３６は、その判断結果をレーン認識状況判断結果として車線標示検出結果修正部３７に出力する。
車線標示検出結果修正部３７は、レーン認識状況判断部３６のレーン認識状況判断結果に基づいて車線標示検出部３１の検出結果を修正する。そして、車線標示検出結果修正部３７は、修正した検出結果を道路パラメータ推定部２１に出力する。
【００３３】
ここで、具体的には、車線標示検出結果修正部３７は、レーン認識状況判断部３６のレーン認識状況判断結果が誤検出を示す場合、広域車線標示検出部３４の車線標示の検出結果を用いて車線標示検出部３１の車線標示の検出結果を修正する。例えば、車線標示検出結果修正部３７は、広域車線標示検出部３４が検出した車線標示であって車線標示検出部３１が誤検出した車線標示以外の車線標示を、車線標示検出部３１の車線標示の検出結果とする。ここでいう広域車線標示検出部３４が検出している車線標示とは、撮像画像内において車線標示検出部３１が誤検出している車線標示が存在する側（左右何れか一方側）の車線標示である。また、このとき、例えば、車線標示検出結果修正部３７は、車線標示位置推定部３３が推定した車線標示位置を参照して前記車線標示以外の車線標示の選定を行っても良い。
また、道路パラメータを用いて車線標示検出部３１の画像処理領域を配置する構成となっているレーン認識装置１０で、道路パラメータの更新の遅れによって次回処理周期における車線標示検出部３１の画像処理領域を車線区分線上に配置できない場合は、次回処理周期において画像処理領域を修正する。
【００３４】
次に、レーン認識装置１０における一連の処理手順を、図９を参照しつつ説明する。
図９は、レーン認識装置１０における一連の処理手順を示すフローチャートである。ここで、レーン認識装置１０では、カメラ１１の画像取得周期に同期してフローチャートに基づくループ処理を繰り返すものとする。
先ず、ステップＳ１において、車線標示位置検出部３０は、カメラ１１にて撮像した自車走行路の道路画像を取得する。
【００３５】
次に、ステップＳ２において、車線標示検出部３１は、前記ステップＳ１で取得した道路画像に対して画像処理を行い、道路画像内の左右両方に設定した画像処理領域内から車線標示を検出する。すなわち、車線標示検出部３１は、左右１候補ずつ車線標示を検出する。
次に、ステップＳ３において、広域車線標示検出部３４は、前記ステップＳ１で取得した道路画像に対して画像処理を行い、道路画像内に設定した広域画像処理領域内に存在する全ての車線標示を検出する。
【００３６】
次に、ステップＳ４において、車線幅算出部３２は車線幅を算出する。
次に、ステップＳ５において、車線標示位置推定部３３は、前記ステップＳ２の車線標示検出結果とステップＳ４で算出した車線幅の情報とを用いて車線標示位置を推定する。
次に、ステップＳ６において、検出結果照合部３５は、前記ステップＳ２の車線標示検出結果及び前記ステップＳ５の車線標示位置の推定結果に対して、前記ステップＳ３の広域画像処理領域を用いた車線標示検出結果とのマッチング処理を行う。
【００３７】
次に、ステップＳ７において、レーン認識状況判断部３６は、前記ステップＳ６のマッチング結果を用いてレーン認識状況を判断する。
次に、ステップＳ８において、車線標示検出結果修正部３７は、前記ステップＳ７のレーン認識状況判断結果が誤検出を示す場合、前記ステップＳ３の広域画像処理領域を用いた車線標示検出結果に基づいて、前記ステップＳ２の車線標示検出結果を修正する。
次に、ステップＳ９において、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００３８】
（動作等）
車線標示位置検出部３０における処理を、図１０に示す撮像画像１００の例を用いて説明する。
車線標示位置検出部３０は、図１０（ａ）及び（ｂ）に示すように、カメラ１１の撮像画像に対して左右それぞれに画像処理領域１２１，１２２を設定する。そして、車線標示位置検出部３０は、設定した画像処理領域１２１，１２２内からそれぞれ車線標示１３３Ｌ，１３２Ｒを検出する。
【００３９】
さらに、車線標示位置検出部３０は、図１０（ｂ）、（ｃ）及び（ｄ）に示すように、検出した左右それぞれの車線標示１３３Ｌ，１３２Ｒと自車両走行路の車線幅とに基づいて、左右それぞれの車線標示１３３Ｌ，１３２Ｒについて対となる反対側の車線標示位置（車線標示１３３ＬＤ，１３２ＲＤの位置）を推定する。
一方、車線標示位置検出部３０は、図１０（ａ）及び（ｅ）に示すように、カメラ１１の撮像画像を圧縮し低解像度化した画像に対して広域画像処理領域１４１を設定する。そして、車線標示位置検出部３０は、設定した広域画像処理領域１４１内から車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒを検出する。
【００４０】
そして、車線標示位置検出部３０は、図１０（ｂ）、（ｅ）及び（ｆ）に示すように、画像処理領域１２１，１２２を設定して検出した車線標示１３３Ｌ，１３２Ｒと、広域画像処理領域１４１を設定して検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒとでマッチングできた車線標示１６３Ｌ，１６２Ｒを特定する。
また、車線標示位置検出部３０は、図１０（ｃ）、（ｄ）、（ｅ）及び（ｇ）に示すように、推定した車線標示位置（車線標示１３３ＬＤ，１３２ＲＤの位置）と、広域画像処理領域１４１を設定して検出した車線標示１５１Ｌ，１５２Ｌ，１５３Ｒ，１５４Ｒとでマッチングできた車線標示１７１Ｌを特定する。
【００４１】
そして、車線標示位置検出部３０は、次の第１及び第２条件の両条件を満たす場合、車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。
第１条件は、撮像画像１００内の左右一方において、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６３Ｌ，１６２Ｒが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１７１Ｌと同一ではないことである。また、第２条件は、撮像画像１００内の左右他方（反対側）において、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングするものがないことである。
【００４２】
この場合、車線標示位置検出部３０は、撮像画像１００内の左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。
この例では、車線標示位置検出部３０は、図１０（ｆ）及び（ｇ）に示すように、撮像画像１００内の左側において、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６３Ｌが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１７１Ｌと同一ではないと判断する。
【００４３】
また、車線標示位置検出部３０は、図１０（ｄ）及び（ｇ）に示すように、撮像画像１００内の左側において、車線標示位置推定部３３が推定した車線標示位置（車線標示１３２ＲＤ）と広域車線標示検出部３４が検出した車線標示１５１Ｌとがマッチングすると判断する。
また、車線標示位置検出部３０は、図１０（ｆ）及び（ｇ）に示すように、撮像画像１００内の右側については、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングできない。そのため、撮像画像１００内の右側については、マッチングする車線標示の候補が存在しないことになる。
【００４４】
この結果、車線標示位置検出部３０は、撮像画像１００内の右側について、車線標示検出部３１が検出した車線標示と広域車線標示検出部３４が検出した車線標示とでマッチングできた車線標示１６２Ｒが、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とでマッチングする車線標示の候補と同一ではないと判断することにもなる。
以上から、この例では、車線標示位置検出部３０は、撮像画像１００内の左側における車線標示検出部３１の車線標示１３３Ｌの検出結果が誤検出によるものと判断する。
【００４５】
ここで、本実施形態において、車線標示検出部３１は、例えば、第１車線標示検出手段を構成する。また、車線幅算出部３２は、例えば、車線幅検出手段を構成する。また、車線標示位置推定部３３は、例えば、車線標示位置推定手段を構成する。また、広域車線標示検出部３４は、例えば、第２車線標示検出手段を構成する。また、検出結果照合部３５は、例えば、マッチング手段を構成する。また、レーン認識状況判断部３６は、例えば、レーン認識手段を構成する。また、車線標示検出結果修正部３７は、例えば、車線標示検出結果修正手段や画像処理領域修正手段を構成する。
また、車線標示検出部３１が設定する画像処理領域は、例えば、第１画像処理領域を構成する。また、広域車線標示検出部３４が設定する広域画像処理領域は、例えば、第２画像処理領域を構成する。
【００４６】
（本実施形態の効果）
本実施形態は、次のような効果を奏する。
（１）車線標示検出部３１は、自車両の走行路の撮像画像内に画像処理領域を左右個別に設定して、画像処理領域内から個別に車線標示を検出する。また、車線幅算出部３２は、自車両の走行路の車線幅を算出する。さらに、車線標示位置推定部３３は、車線標示検出部３１が検出した撮像画像内の左右一方の車線標示の検出結果、及び車線幅算出部３２が算出した車線幅に基づいて、撮像画像内において左右他方の車線標示位置を推定する。そして、広域車線標示検出部３４は、自車両の走行路の撮像画像内に、車線標示検出部３１が設定した左右２つの画像処理領域を含み、かつその左右２つの画像処理領域よりも広い広域画像処理領域を設定して、広域画像処理領域内に存在する車線標示を検出する。さらに、検出結果照合部３５は、車線標示検出部３１による車線標示の検出結果及び車線標示位置推定部３３による車線標示位置の推定結果それぞれに対し、広域車線標示検出部３４による車線標示の検出結果とのマッチングを行う。そして、レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいてレーンを認識する。
【００４７】
この場合、レーン認識装置１０は、車線標示検出部３１が検出した撮像画像内の左右一方の車線標示に基づいて左右他方の車線標示位置を推定し、さらに広域車線標示検出部３４が広域画像処理領域を設定して撮像画像内の車線標示を検出する。そして、レーン認識装置１０は、推定した車線標示位置及び検出した車線標示を用いてレーン認識のためのマッチング処理を行う。これによって、レーン認識装置１０は、車線標示検出部３１が画像処理領域内でレーンを検出できない状況になっていてもレーン認識できる。
【００４８】
よって、レーン認識装置１０は、撮像画像上でレーンが映らない場合でもレーン認識できる。例えば、レーン認識装置１０は、西日や朝日がタールで反射してカメラの撮像画像が黒くなり撮像画像上でレーンが映らない場合でもレーン認識できる。よって、例えば、レーン認識装置１０は、撮像画像内のレーン以外のノイズを誤認識し続けてしまうといったことを防止できる。ここでいうノイズとは、図１０に示す例では、車線標示検出部３１が検出している車線標示１３３Ｌである。
【００４９】
（２）車線標示検出結果修正部３７は、検出結果照合部３５のマッチング結果に基づいて、車線標示検出部３１の車線標示の検出結果を修正する。
これにより、レーン認識装置１０は、レーン認識の精度を向上させることができる。
（３）車線標示検出結果修正部３７は、検出結果照合部３５のマッチング結果に基づいて、車線標示検出部３１が車線標示の検出に用いる画像処理領域を修正する。
これにより、レーン認識装置１０は、レーン認識の精度を向上させることができる。
【００５０】
（４）広域車線標示検出部３４は、撮像画像を圧縮して低解像度化した画像上に広域画像処理領域を設定する。さらに、広域車線標示検出部３４は、設定した広域画像処理領域内の画像に対して時間積分して広域画像処理領域内からエッジを抽出する。そして、広域車線標示検出部３４は、抽出したエッジに基づいて車線標示を検出する。
これにより、広域車線標示検出部３４は、車線標示検出のための処理負荷を抑えることができる。また、広域車線標示検出部３４は、広域画像処理領域内の画像に対して時間積分してエッジを抽出しているので、低解像度の画像からも安定して車線標示を検出できる。
【００５１】
（５）レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、撮像画像内の左右一方において、車線標示検出部３１が検出した車線標示とマッチングする広域車線標示検出部３４が検出した車線標示が、車線標示位置推定部３３が推定した車線標示位置とマッチングする広域車線標示検出部３４が検出した車線標示と同一ではなく（第１条件）、かつ撮像画像内の左右他方において、車線標示位置推定部３３が推定した車線標示位置と広域車線標示検出部３４が検出した車線標示とがマッチングしない（第２条件）と判定すると、車線標示検出部３１が撮像画像内の左右一方の車線標示を誤検出していると判断する。
このように、レーン認識状況判断部３６は、車線標示検出部３１が検出した左右の車線標示の検出結果から各々反対側の車線標示を推定することで、互いの車線標示位置を相互確認できないときには車線標示検出部３１が誤検出していると判断する。
【００５２】
ここで、車線標示検出部３１が車線標示を誤検出している場合には、その車線標示の検出結果とマッチングする広域車線標示検出部３４の検出車線標示の候補が、車線標示位置推定部３３が推定した車線標示位置とマッチングする広域車線標示検出部３４の検出車線標示の候補と異なる。さらに、車線標示検出部３１が車線標示を誤検出している場合には、その誤検出した車線標示から推定した車線標示位置にマッチングする車線標示の候補を広域車線標示検出部３４が検出することができない。このような理由から、レーン認識状況判断部３６では、前記第１及び第２条件の両条件を満たす場合に、車線標示検出部３１が誤検出しているとの判断を行うことができるようになる。
この結果、レーン認識状況判断部３６は、撮像画像上でレーンが映らないような場合にレーン以外のノイズを誤検出しているとの判断を行うことができるようになる。
【００５３】
（６）レーン認識状況判断部３６が車線標示を誤検出していると判断した場合、車線標示検出結果修正部３７は、広域車線標示検出部３４が検出した車線標示であって車線標示検出部３１が誤検出した車線標示以外の車線標示を、車線標示検出部３１の車線標示の検出結果とする修正を行う。
これにより、レーン認識装置１０は、レーン認識の精度をより確実に向上させることができる。
【００５４】
（第２実施形態）
以下、本発明の第２実施形態を説明する。なお、レーン認識装置１０の構成は、上記第１実施形態と同様であるため、その図示及び説明は省略する。
ここで、実際の道路環境では、一部区間において左右どちらか一方の車線標示が見えにくいことがあり、路面によっては左右どちらか一方の車線標示自体が消えてしまっている場合もある。そのような状況では、本来の車線標示がそもそも路面に存在しないため、第１実施形態のような処理では対処できない可能性もある。
【００５５】
そこで、車線標示検出部３１の左右どちらかの検出結果と広域車線標示検出部３４の検出結果とがマッチングできない場合には、マッチングできない側でのレーン認識の確からしさが低いと判断できるため、マッチングがとれている反対側の車線標示から既知の車線幅を用いて車線標示位置を推定し、その推定された車線標示位置と、車線標示検出部３１により検出された車線標示位置とが乖離している場合には、ノイズを誤検出している（車線標示を確認できなかった）として、ロスト処理を行う。
即ち、この第２実施形態の第１実施形態からの変更点は、レーン認識状況判断部３６及び車線標示検出結果修正部３７における処理の内容である。
【００５６】
レーン認識状況判断部３６は、検出結果照合部３５のマッチング結果に基づいて、レーン認識状況判断を行う。そして、レーン認識状況判断部３６は、そのレーン認識状況判断結果を車線標示検出結果修正部３７に出力する。
ここで、具体的には、レーン認識状況判断部３６は、第１実施形態における条件とは別に、下記の第１及び第２条件の両条件を満たす場合に、車線標示検出部３１が誤検出していると判断する。
【００５７】
第１条件は、撮像画像内の左右一方において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果とでマッチングできていないというものである。
第２条件は、撮像画面内の左右他方（反対側）において、車線標示検出部３１の車線標示の検出結果と広域車線標示検出部３４の車線標示の検出結果がマッチングできていて、この広域車線標示検出部３４の車線標示の検出結果より車線標示位置推定部３３で推定された上記マッチングがとれてない側の車線標示位置と、車線標示検出部３１で検出した車線標示位置とが、所定以上離れているというものである。
【００５８】
以上の第１及び第２条件の両条件を満たす場合、レーン認識状況判断部３６は、前記左右一方における車線標示検出部３１の車線標示の検出結果が誤検出によるものと判断する。そして、レーン認識状況判断部３６は、その判断結果をレーン認識状況判断結果として車線標示検出結果修正部３７に出力する。
車線標示検出結果修正部３７において、誤検出していると判断した側の車線標示の検出結果をロスト処理（不検出処理）する。
【００５９】
これによって、車線標示が見えにくい、もしくは消えている区間において誤検出が発生し、車線標示検出部３１の画像処理領域を適切に修正できない場合であっても、ロスト処理を行うことでレーン認識が不安定になることを回避できる。
図１１は、第２実施形態における処理の概要を示すフローチャートである。なお、上記第１実施形態と同様の処理を実行するステップには、同じ符号を付している。
即ち、ステップＳ１〜Ｓ６の処理を行ったら、ステップＳ２７に移行し、上記条件１及び２を用いて、レーン認識状況を判断する。
【００６０】
そして、ステップＳ２８に移行し、車線標示検出結果修正部３７は、ステップＳ７のレーン認識状況判断結果がノイズを誤検出していると判断した場合、ステップＳ３の広域画像処理領域を用いた車線標示検出結果に基づいて、ステップＳ２の車線標示検出結果の誤検出している方をロスト処理する。
その後、ステップＳ９に移行し、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００６１】
（第２実施形態の効果）
車線標示検出部３１の検出結果と広域車線標示検出部３４の検出結果とでマッチングがとれない場合は、レーン認識の確からしさが低い状態であるため、確からしさが高い方から既知の車線幅を用いて推定した車線標示の位置と車線標示検出部３１の検出結果とが乖離している場合には、車線標示以外のノイズを誤検出している可能性が高いためロスト処理を行うという構成としたことで、誤検出を回避することができる。
【００６２】
（第３実施形態）
以下、本発明の第３実施形態について説明する。
この第３実施形態では、車線標示検出部３１の検出結果の連続性と、その車線標示検出部３１の検出結果及び広域車線標示検出部３４の検出結果のマッチング結果とに基づき、現在の処理における車線標示の検出結果が正しく行われているか否かの確からしさを判断し、その確からしさが低い場合には、ロスト処理を行うことで誤検出を回避するというものである。
【００６３】
そこで、本実施形態の車線標示位置検出部３０の構成は、図１２に示すようになっている。即ち、本実施形態の車線標示位置検出部３０は、第１実施形態における車線標示位置検出部３０との対比において、車線幅算出部３２及び車線標示位置推定部３３を削除するとともに、連続性判断部３８を追加した点で相違し、その他の構成は同じである。
そして、連続性判断部３８は、第１車線標示検出手段の検出結果について、過去の検出履歴と現在の検出位置（現在の画像処理領域における検出位置）とを比較することで、自車走行レーンの車遠標示を連続的に検出できているかどうかを判定し、検出結果照合手段３５に出力する。この判定処理は、左右それぞれについて行う。
【００６４】
具体的には、連続性判断手段３８によって、車線標示検出部３１の検出位置のばらつきが大きく連続性がないと判断された場合であって、現在の画像処理領域における車線標示部３１の検出結果と広域車線標示検出部３４の検出結果とのマッチングが取れていない場合には、車線標示を正しく検出している確からしさが低いとして、ロスト処理を行い、誤検出を回避する。
これによって、車線標示を正しく検出できていない状況を判断し、車線標示を検出している確からしさが低い対象をロスト処理することで、誤検出を回避することができる。
【００６５】
図１３は、第３実施形態における処理の概要を示すフローチャートである。なお、上記第１実施形態と同様の処理を実行するステップには、同じ符号を付している。
即ち、ステップＳ１〜Ｓ３を終えたら、ステップＳ３４に移行し、連続性判断手段３８は、ステップＳ２で検出した車線標示の位置について過去の検出履歴と現在の検出結果とで比較を行い、自車レーンの車線標示を連続的に検出できているかを判定する。例えば、検出位置のばらつきが大きい場合には、連続性がないと判断する。
【００６６】
次に、ステップＳ６において、検出結果照合部３５は、ステップＳ２の車線標示検出結果に対して、ステップＳ３の広域画像処理領域を用いた車線標示検出結果とのマッチング処理を行い、そして、ステップＳ３７に移行する。
ステップＳ３７では、レーン認識状況判断部３６は、ステップＳ３４の連続性判断の結果と、ステップＳ６のマッチング結果とを用いて、レーン認識状況を判断する。
【００６７】
そして、ステップＳ３８に移行し、車線標示検出結果修正部３７は、ステップＳ３７のレーン認識状況判断結果がノイズを誤検出していると判断した場合には、ステップＳ２の車線標示検出結果の誤検出している方を、ロスト処理する。
次に、ステップＳ９において、道路パラメータ推定部２１は、車線標示位置検出部３０（車線標示検出結果修正部３７）から出力された車線標示位置検出結果を用いて道路パラメータを推定する。
【００６８】
（第３実施形態の効果）
車線標示検出部３１の誤検出に起因して車線標示がその車線標示検出部３１の画像処理領域に入らない状況となった場合であっても、広域車線標示検出部３４によって、車線標示検出部３１における画像処理領域外にある車線標示を検出し、この結果に基づいて車線標示検出３１の検出結果を修正することで、車線標示検出部３１の画像処理領域内に車線標示が入らないことに起因してレーン認識が不安定になることを回避することができる。
また、連続性判断部３８で連続性が確認できず、かつ検出結果照合部３５において車線標示検出部３１の検出結果と広域車線標示検出部３４の検出結果とのマッチングが取れない場合には、車線標示検出部３１で検出した対象が車線標示である確からしさが低いと判断できるため、ロスト処理を行うことで誤った対象を誤検出することを避けることができる。
【００６９】
（実施形態の変形例）
上記各実施形態では、レーン認識装置１０からの道路形状及び車両状態量を用いて、車両制御として車線逸脱警報を行っているが、これに限定されない。例えば、本発明の実施形態は、レーン認識装置１０にステアリングアクチュエーターと車両センサとを組み合わせてレーンキープを行うような運転支援装置でも良い。
【符号の説明】
【００７０】
１ 車線逸脱警報システム、１０ レーン認識装置、２１ 道路パラメータ推定部、３０ 車線標示位置検出部、３１ 車線標示検出部、３２ 車線幅算出部、３３ 車線標示位置推定部、３４ 広域車線標示検出部、３５ 検出結果照合部、３６ レーン認識状況判断部、３７ 車線標示検出結果修正部
【特許請求の範囲】
【請求項１】
自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、前記各第１画像処理領域内から１本ずつ車線標示を検出する第１車線標示検出手段と、
前記自車両の走行路の車線幅を検出する車線幅検出手段と、
前記第１車線標示検出手段が検出した前記撮像画像内の左右一方の車線標示の検出結果、及び前記車線幅検出手段が検出した車線幅に基づいて、前記撮像画像内において左右他方の車線標示位置を推定する車線標示位置推定手段と、
自車両の走行路の撮像画像内に、前記左右２つの第１画像処理領域を含み、かつ前記左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、前記第２画像処理領域内に存在する車線標示を検出する第２車線標示検出手段と、
前記第１車線標示検出手段による車線標示の検出結果及び前記車線標示位置推定手段による車線標示位置の推定結果それぞれに対し、前記第２車線標示検出手段による車線標示の検出結果とのマッチングを行うマッチング手段と、
前記マッチング手段のマッチング結果に基づいて、レーンを認識するレーン認識手段と、
を備えることを特徴とするレーン認識装置。
【請求項２】
前記マッチング手段のマッチング結果に基づいて、前記第１車線標示検出手段による車線標示の検出結果を修正する車線標示検出結果修正手段をさらに備えることを特徴とする請求項１に記載したレーン認識装置。
【請求項３】
前記マッチング手段のマッチング結果に基づいて、前記第１画像処理領域を修正する画像処理領域修正手段をさらに備えることを特徴とする請求項１又は請求項２に記載したレーン認識装置。
【請求項４】
前記第２車線標示検出手段は、前記撮像画像を圧縮して低解像度化した画像内に前記第２画像処理領域を設定し、前記第２画像処理領域内の車線標示の特徴量を時間積分して前記第２画像処理領域内から車線標示の候補を抽出し、抽出した車線標示の候補に基づいて車線標示を検出することを特徴とする請求項１〜請求項３のいずれか１項に記載したレーン認識装置。
【請求項５】
前記レーン認識手段は、前記マッチング手段のマッチング結果に基づいて、前記撮像画像内の左右一方において、前記第１車線標示検出手段が検出した車線標示とマッチングする前記第２車線標示検出手段が検出した車線標示が、前記車線標示位置推定手段が推定した車線標示位置とマッチングする前記第２車線標示検出手段が検出した車線標示と同一ではなく、かつ前記撮像画像内の左右他方において、前記車線標示位置推定手段が推定した車線標示位置と前記第２車線標示検出手段が検出した車線標示とがマッチングしないと判定すると、前記第１車線標示検出手段が前記撮像画像内の左右一方の車線標示を誤検出していると判断することを特徴とする請求項１〜請求項４のいずれか１項に記載したレーン認識装置。
【請求項６】
前記レーン認識手段は、前記誤検出していると判断した場合には、前記第１車線標示検出手段が検出した車線標示を、前記車線標示位置推定手段が推定した車線標示位置とマッチングする前記第２車線標示検出手段が検出した車線標示に修正することを特徴とする請求項５記載のレーン認識装置。
【請求項７】
前記レーン認識手段は、前記マッチング手段のマッチング結果に基づいて、前記撮像画像内の左右一方において、前記第１車線標示検出手段が検出した車線標示と前記第２車線標示手段が検出した車線標示とがマッチングせず、前記車線標示位置推定手段が推定した車線標示位置と前記第１車線標示検出手段が検出した車線標示の位置とが乖離している場合には、レーンの認識を行えなかったと判断することを特徴とする請求項１乃至請求項６のいずれか１項に記載したレーン認識装置。
【請求項８】
自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、前記各第１画像処理領域内から１本ずつ車線標示を検出する第１車線標示検出手段と、
自車両の走行路の撮像画像内に、前記左右２つの第１画像処理領域を含み、かつ前記左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、前記第２画像処理領域内に存在する車線標示を検出する第２車線標示検出手段と、
前記第１車線標示検出手段による車線標示の検出結果に対し、前記第２車線標示検出手段による車線標示の検出結果とのマッチングを行うマッチング手段と、
前記マッチング手段のマッチング結果に基づいて、レーンを認識するレーン認識手段と、
を備えることを特徴とするレーン認識装置。
【請求項９】
前記第１車線標示検出手段が過去に検出した車線標示と、当該第１車線標示検出手段が現在の前記第１画像処理領域で検出した車線標示とを比較することで、前記車線標示の連続性を判断する連続性判断手段をさらに備え、
前記レーン認識手段は、前記マッチング手段のマッチング結果及び前記連続性判断手段の判断結果に基づき、車線標識を誤検出しているか否かを判断することを特徴とする請求項８記載のレーン認識装置。
【請求項１】
自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、前記各第１画像処理領域内から１本ずつ車線標示を検出する第１車線標示検出手段と、
前記自車両の走行路の車線幅を検出する車線幅検出手段と、
前記第１車線標示検出手段が検出した前記撮像画像内の左右一方の車線標示の検出結果、及び前記車線幅検出手段が検出した車線幅に基づいて、前記撮像画像内において左右他方の車線標示位置を推定する車線標示位置推定手段と、
自車両の走行路の撮像画像内に、前記左右２つの第１画像処理領域を含み、かつ前記左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、前記第２画像処理領域内に存在する車線標示を検出する第２車線標示検出手段と、
前記第１車線標示検出手段による車線標示の検出結果及び前記車線標示位置推定手段による車線標示位置の推定結果それぞれに対し、前記第２車線標示検出手段による車線標示の検出結果とのマッチングを行うマッチング手段と、
前記マッチング手段のマッチング結果に基づいて、レーンを認識するレーン認識手段と、
を備えることを特徴とするレーン認識装置。
【請求項２】
前記マッチング手段のマッチング結果に基づいて、前記第１車線標示検出手段による車線標示の検出結果を修正する車線標示検出結果修正手段をさらに備えることを特徴とする請求項１に記載したレーン認識装置。
【請求項３】
前記マッチング手段のマッチング結果に基づいて、前記第１画像処理領域を修正する画像処理領域修正手段をさらに備えることを特徴とする請求項１又は請求項２に記載したレーン認識装置。
【請求項４】
前記第２車線標示検出手段は、前記撮像画像を圧縮して低解像度化した画像内に前記第２画像処理領域を設定し、前記第２画像処理領域内の車線標示の特徴量を時間積分して前記第２画像処理領域内から車線標示の候補を抽出し、抽出した車線標示の候補に基づいて車線標示を検出することを特徴とする請求項１〜請求項３のいずれか１項に記載したレーン認識装置。
【請求項５】
前記レーン認識手段は、前記マッチング手段のマッチング結果に基づいて、前記撮像画像内の左右一方において、前記第１車線標示検出手段が検出した車線標示とマッチングする前記第２車線標示検出手段が検出した車線標示が、前記車線標示位置推定手段が推定した車線標示位置とマッチングする前記第２車線標示検出手段が検出した車線標示と同一ではなく、かつ前記撮像画像内の左右他方において、前記車線標示位置推定手段が推定した車線標示位置と前記第２車線標示検出手段が検出した車線標示とがマッチングしないと判定すると、前記第１車線標示検出手段が前記撮像画像内の左右一方の車線標示を誤検出していると判断することを特徴とする請求項１〜請求項４のいずれか１項に記載したレーン認識装置。
【請求項６】
前記レーン認識手段は、前記誤検出していると判断した場合には、前記第１車線標示検出手段が検出した車線標示を、前記車線標示位置推定手段が推定した車線標示位置とマッチングする前記第２車線標示検出手段が検出した車線標示に修正することを特徴とする請求項５記載のレーン認識装置。
【請求項７】
前記レーン認識手段は、前記マッチング手段のマッチング結果に基づいて、前記撮像画像内の左右一方において、前記第１車線標示検出手段が検出した車線標示と前記第２車線標示手段が検出した車線標示とがマッチングせず、前記車線標示位置推定手段が推定した車線標示位置と前記第１車線標示検出手段が検出した車線標示の位置とが乖離している場合には、レーンの認識を行えなかったと判断することを特徴とする請求項１乃至請求項６のいずれか１項に記載したレーン認識装置。
【請求項８】
自車両の走行路の撮像画像内に左右個別に左右の車線標示を検出するための第１画像処理領域を設定して、前記各第１画像処理領域内から１本ずつ車線標示を検出する第１車線標示検出手段と、
自車両の走行路の撮像画像内に、前記左右２つの第１画像処理領域を含み、かつ前記左右２つの第１画像処理領域よりも広い第２画像処理領域を設定して、前記第２画像処理領域内に存在する車線標示を検出する第２車線標示検出手段と、
前記第１車線標示検出手段による車線標示の検出結果に対し、前記第２車線標示検出手段による車線標示の検出結果とのマッチングを行うマッチング手段と、
前記マッチング手段のマッチング結果に基づいて、レーンを認識するレーン認識手段と、
を備えることを特徴とするレーン認識装置。
【請求項９】
前記第１車線標示検出手段が過去に検出した車線標示と、当該第１車線標示検出手段が現在の前記第１画像処理領域で検出した車線標示とを比較することで、前記車線標示の連続性を判断する連続性判断手段をさらに備え、
前記レーン認識手段は、前記マッチング手段のマッチング結果及び前記連続性判断手段の判断結果に基づき、車線標識を誤検出しているか否かを判断することを特徴とする請求項８記載のレーン認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−６１９３４（Ｐ２０１３−６１９３４Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−１７６０６５（Ｐ２０１２−１７６０６５）
【出願日】平成２４年８月８日（２０１２．８．８）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年８月８日（２０１２．８．８）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]