車線境界線認識装置
【課題】車線境界線の検出精度の改善。
【解決手段】車両の進行方向の路面の画像を所定時間の経過毎に取得し（ステップ２１０）、その画像に基いて輝度の変化点をエッジ点として抽出する（ステップ２２０）。更に、抽出されたエッジ点を通る白線候補線を抽出し（ステップ２３０）、その抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する（ステップ２５０）。この車線境界線認識装置は、前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量Ｓと見做すとともに、前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量Ｎと見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値（Ｓ／Ｎ比）に基づいて算出される画像評価値（ステップ２４０を参照。）が閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄する（ステップ２６０）。
【解決手段】車両の進行方向の路面の画像を所定時間の経過毎に取得し（ステップ２１０）、その画像に基いて輝度の変化点をエッジ点として抽出する（ステップ２２０）。更に、抽出されたエッジ点を通る白線候補線を抽出し（ステップ２３０）、その抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する（ステップ２５０）。この車線境界線認識装置は、前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量Ｓと見做すとともに、前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量Ｎと見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値（Ｓ／Ｎ比）に基づいて算出される画像評価値（ステップ２４０を参照。）が閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄する（ステップ２６０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走路（車両前方の道路、車両の進行方向の路面）を撮像する撮像手段により取得された画像に基いて道路上に描かれた白線等の道路の車線境界線を検出する車線境界線認識装置に関する。
【背景技術】
【０００２】
従来から知られる車線境界線認識装置（以下、「従来装置」とも称呼する。）は、車両に搭載されたカメラにより所定時間（例えば、０．１秒）の経過毎に車両前方の路面の画像（画像信号）を取得する。一回の撮像により得られる画像信号の集合は１フレームとも称呼される。更に、従来装置は、その画像に基いて道路の車線境界線（例えば、白線）を検出する。
【０００３】
より具体的に述べると、従来装置は、取得した画像に基づいて輝度の変化点をエッジ点として抽出し、その抽出されたエッジ点を最も多く貫く線を車線境界線（白線）として選択（認識）するようになっている。
【０００４】
加えて、従来技術は、選択した車線境界線に基づいて算出される道路形状を表す道路パラメータからその車線境界線上の点を白線候補点として推定するとともに、その推定された白線候補点の位置と実際に検出されていたエッジ点（白線候補線の選択に使用された点）の位置との二乗誤差が大きい場合、及び、検出された白線候補点の数が小さい場合、選択した車線境界線の信頼度は低いと判定している（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６７７５５号公報
【発明の概要】
【０００６】
しかしながら、路面状況によっては、ノイズであるエッジ点が多数得られる場合があり、エッジ点を最も多く貫く線が車線境界線ではない場合があるので、上記のように評価される信頼度自体が正しくない場合がある。
【０００７】
本発明は、上述した課題に対処するためになされたものである。即ち、本発明の目的の一つは、ノイズである可能性が高いエッジ点の割合が高いか否か、即ち、取得された画像自体が車線境界線の元となる白線候補線を選択するのに適した画像でないか否か、を判定することができ、その判定結果に基づいて、不適切な画像に基づいては車線境界線を選択しない（選択された車線境界線を破棄・削除する）車線境界線認識装置を提供することにある。
【０００８】
本発明による車線境界線認識装置（以下、「本発明装置」とも称呼する。）は、撮像手段と、エッジ点抽出手段と、候補線抽出手段と、車線境界線選択手段と、を備える。
【０００９】
前記撮像手段は、車両に搭載されるとともに、その車両の進行方向の路面の画像を取得する。前記撮像手段は、例えば、車両前方に固定されたカメラ（例えば、ＣＣＤカメラ）等を含む。
前記エッジ点抽出手段は、前記取得された画像に基いて輝度の変化点をエッジ点として抽出する。
【００１０】
前記候補線抽出手段は、前記抽出されたエッジ点を通る白線候補線を抽出する。この白線候補線の抽出は、例えば、ハフ変換等の周知の手法により行うことができる。
前記車線境界線選択手段は、前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する。所定の条件とは、例えば、車線境界線として選択される候補線に対し、一本の白線の幅程度の距離だけ離間した位置にその候補線と平行な別の候補線が存在していることである。
【００１１】
更に、前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄するように構成される。
【００１２】
前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値とは、ノイズ量に対するシグナル量の比（Ｓ／Ｎ）であってもよく、後述する（１）式に示したような周知のＳ／Ｎ比であってもよい。更に、前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値に基づいて取得される画像評価値は、後述するように「前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値そのもの（瞬時値）」であってもよく、複数の「前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値」の平均値に基づく値であってもよい。
【００１３】
白線は一般に直線であり、且つ、最終的に選択される車線境界線は直線により近似された線である。従って、上述した本発明装置のように、抽出されたエッジ点のうちの白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、抽出されたエッジ点のうちの白線候補線が通過しないエッジ点の個数をノイズ量と見做した上で「画像のノイズの程度を示す画像評価値」を算出すれば、画像のノイズの程度を精度良く示す画像評価値を得ることができる。従って、この画像評価値に基づいて「選択された車線境界線の採用・不採用（破棄）」を決定することにより、ノイズの存在により間違って選択された車線境界線を真の車線境界線として認識してしまう可能性を低減することができる。
【００１４】
更に、前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームについての前記ノイズ量に対する前記シグナル量の割合に応じた値（即ち、瞬時値）を前記画像評価値として取得するように構成され得る。
【００１５】
これによれば、取得された最新の画像に基づいて選択された車線境界線が信頼性の高いものであるか否かが精度良く判定される。
【００１６】
更に、前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームを含む所定数のフレームのそれぞれについての「前記ノイズ量に対する前記シグナル量の割合に応じた値」の平均値（前記ノイズ量に対する前記シグナル量の割合に応じた値の所定数のフレームについての平均値）を取得するとともに、同平均値に基づいて前記画像評価値を取得するように構成され得る。
【００１７】
これによれば、最新の画像のノイズの割合のみならず直近の複数の画像のノイズの割合が多い場合、最新の画像に基づいて選択された車線境界線の信頼性は低いと判定され、その車線境界線は真の車線境界線として用いられない。
【００１８】
より具体的に述べると、
前記車線境界線選択手段は、
前記画像評価値を、前記平均値と、前記平均値を取得する元となった複数の画像の前記ノイズ量に対する前記シグナル量の割合に応じた値の標準偏差と、に基づいて算出するように構成され得る（例えば、下記の（２）式及び条件２を参照。）。
【００１９】
これによれば、ノイズ量の平均的な割合のみでなく、そのばらつきも考慮した上で、選択された車線境界線の信頼性が評価される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る車線境界線認識装置の概略構成図である。
【図２】図１に示した処理部のＣＰＵが実行するルーチンを示したフローチャートである。
【図３】撮像手段により取得される画像を示した図である。
【図４】図１に示した処理部のＣＰＵが行うエッジ点抽出処理を説明するための図である。
【図５】図１に示した処理部のＣＰＵが行う白線候補線抽出処理を説明するための図である。
【図６】図１に示した処理部のＣＰＵが行うＳ／Ｎ比等の算出処理を説明するための図である。
【図７】図１に示した処理部のＣＰＵが行う車線境界線選択処理を説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態に係る車線境界線認識装置（以下、「境界線認識装置」とも称呼する。）について図面を参照しながら説明する。この境界線認識装置は、車両の走行を支援する車両走行支援装置の一部でもある。
【００２２】
（構成）
図１は、車両（自動車、自車両）に搭載された車両走行支援装置１０の概略構成を示している。車両走行支援装置１０は、境界線認識装置２０、車線維持制御装置３０及び警報装置（車線逸脱警報装置）４０を含んでいる。
【００２３】
境界線認識装置２０は、カメラ（撮像手段）２１及び処理部（画像処理手段）２２を含んでいる。
【００２４】
カメラ２１は、車体前部のインナーリアビューミラー（所謂、ルームミラー）のステイ等に固定されている。カメラ２１の光軸は、カメラ２１が車体に固定された状態において、所定の俯角を有し且つ車体前後方向（車両進行方向）に一致している。従って、カメラ２１は車両進行方向（車両前方）の路面を撮像（撮影）することができるようになっている。より具体的に述べると、カメラ２１は、処理部２２からの指示に従って、車両から前方に所定距離だけ離間した位置から遠方の位置までの路面を撮像することができる。撮像された画像は、例えば、図３に示したような風景に応じた画像（実際には、輝度に応じて変化する信号からなる画像信号）である。カメラ２１は例えばＣＣＤカメラである。
【００２５】
処理部２２は周知のマイクロコンピュータを含む電子回路装置である。処理部２２は、後に詳述するように、カメラ２１によって取得（撮像）された画像（画像信号）を処理することにより、道路に描かれた白線等による車線境界線（車線区画線）を検出するようになっている。更に、処理部２２は、その検出した境界線に対する自車両の左右方向の位置（相対位置）を推定するようになっている。処理部２２は、その推定した相対位置に基いて、車線維持制御装置３０及び／又は警報装置４０に制御信号を送出するようになっている。
【００２６】
車線維持制御装置３０は、操舵制御装置３１、パワーステアリング装置３２及び車速センサ３３を含んでいる。
【００２７】
操舵制御装置３１は周知のマイクロコンピュータを含む電子回路装置である。操舵制御装置３１は車速センサ３３からの入力信号である車速ＳＰＤと、処理部２２からの制御信号と、に基きパワーステアリング装置３２に駆動信号を送出するようになっている。なお、操舵制御装置３１は、図示しないセンサ（例えば、操舵角センサ及びヨーレイトセンサ等）からの信号に基いてパワーステアリング装置３２に駆動信号を送出し、運転者による操舵操作をアシストするようになっている。
【００２８】
パワーステアリング装置３２は周知の電動式パワーステアリング装置である。パワーステアリング装置３２は操舵制御装置３１からの駆動信号に基いて車両の舵角を変更することができるようになっている。
【００２９】
警報装置４０は車室内に設けられた周知の警報装置であり、インストルメントパネルに配設された警告ランプ及び／又は警告音発生装置（ブザー）を含んでいる。警報装置４０は、処理部２２からの制御信号に応答して乗員（運転者）に「自車両が車線を逸脱したか又は逸脱する可能性が高い旨」の情報を提供するようになっている。
【００３０】
（作動）
次に、上述したように構成された車両走行支援装置１０の作動について説明する。この作動は、実際には、境界線認識装置２０の処理部２２が備えるＣＰＵ（以下、単に「ＣＰＵ」と称呼する。）が次に述べる処理を実行することによって実現される。
【００３１】
ＣＰＵは、図２にフローチャートにより示したルーチンの処理を所定時間（例えば、０．１秒、即ち、１００ｍ秒）が経過する毎に繰り返し実行するようになっている。従って、所定のタイミングになると、ＣＰＵは図２のステップ２００から処理を開始し、以下に述べるステップ２１０乃至ステップ２８０の処理を順に行い、ステップ２９５に進んで本ルーチンを一旦終了する。
【００３２】
ステップ２１０：ＣＰＵは、カメラ２１に撮像（撮影）指示信号を送出してカメラ２１に撮影を行わせる。更に、ＣＰＵは、カメラ２１が撮像した「図３に示したような画像」を取得する。従って、１フレーム（１つの画像）は０．１秒毎に取得される。
【００３３】
より具体的に述べると、道路は一般にアスファルト等により舗装され、その上に白線等によって境界線が描かれている。従って、アスファルトが露呈している面の輝度は低く、アスファルトの上の白線の輝度は高い。カメラ２１は、この輝度の高低に応じた画像信号を取得し、ＣＰＵへ送出する。
【００３４】
ステップ２２０：ＣＰＵは、図４に示したように、取得した画像を車両横方向に走査して画像信号を取得し、更に、取得した画像信号にフィルタ処理を施すことによってエッジ点Ｐｅを抽出する。エッジ点とは取得した画像信号の輝度が急激に増大する点及び急激に減少する点である。輝度が急激に増大する点は便宜上「立ち上がりエッジ点」とも称呼される。輝度が急激に減少する点は便宜上「立ち下がりエッジ点」とも称呼される。なお、ステップ２２０はエッジ点抽出手段の機能を実現するステップである。
【００３５】
ステップ２３０：ＣＰＵは、周知のハフ変換等を用いて、取得したエッジ点を平面視画像へと変換する。更に、ＣＰＵは、図５の（Ａ）に示したように、その平面視画像において複数のエッジ点Ｐｅを通る直線を、白線の候補線Ｌ１、Ｌ２…、Ｒ１、Ｒ２、…として抽出する。なお、ハフ変換等により平面視画像へと変換される領域は、図４の破線により示されたような「撮影された画像の一部」であってもよい。
【００３６】
ところで、複数のエッジ点Ｐｅを通る直線は多数取得される。但し、図５の（Ｂ）に示したように、白線の候補線は、それらの直線のうち、車両左右方向の位置の制約を満たし（横位置制限を満たし）且つ車両の進行方向から想定され得る所定の角度範囲内の（角度制限を満たす）直線に限定される。例えば、線Ｘ１は、角度制限を満足するものの左側の横位置制限を満足しないので、白線候補線として選択されない。線Ｘ２は、左側の横位置制限を満足するものの角度制限を満足しないので白線候補線として選択されない。なお、ステップ２３０は候補線抽出手段の機能を実現するステップである。
【００３７】
ステップ２４０：ＣＰＵは、Ｓ／Ｎ比（ノイズ量（Ｎ）に対するシグナル量（Ｓ）の比）及びＳ／Ｎ比に応じた値である各種の画像評価値（評価指標値）を以下に述べるように算出・取得する。なお、これらの値は、図５の（Ａ）の破線ＬＡ及び破線ＲＡに示されているように、左右別々の所定の画像領域毎に取得される。また、以下に述べるように、画像評価値には、瞬時エッジ点Ｓ／Ｎ比、第１エッジ点Ｓ／Ｎ比平均、第２エッジ点Ｓ／Ｎ比平均、エッジ点Ｓ／Ｎ比標準偏差、第１エッジ点Ｓ／Ｎ比平均にエッジ点Ｓ／Ｎ比標準偏差と値αとの積を加えた値等が含まれる。
【００３８】
＜瞬時エッジ点Ｓ／Ｎ比：ＳＮＴｉ＞
先ず、ＣＰＵは、シグナル量Ｓ及びノイズ量Ｎを以下のようにして求める。
【００３９】
シグナル量Ｓは、前記所定の画像領域内において前記抽出された白線候補線が通過するエッジ点の個数（または、その個数に対応した数）である。なお、シグナル量Ｓは、周知のハフ変換を用いて抽出された候補線の得票数（ハフ投票数）の総和に対応した値である。
【００４０】
ノイズ量Ｎは、前記所定の画像領域内において、前記抽出されたエッジ点の総数Ｔからシグナル量Ｓを減じた値（Ｎ＝Ｔ−Ｓ）である。即ち、ノイズ量Ｎは、前記所定の画像領域内において前記抽出された白線候補線が通過しないエッジ点の個数（または、その個数に対応した数）である。
【００４１】
例えば、単純化された図６に示した例において、シグナルと見做されるエッジ点は丸のプロットにより示され、ノイズと見做されるエッジ点は三角のプロットにより示されている。この図６に示した例において、シグナル量Ｓは２６であり、ノイズ量Ｎは７である。
【００４２】
ＣＰＵは、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉを下記の（１）式に従って算出する。
【数１】
【００４３】
＜エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＡ，ＡｖｅＳＮＢ＞
次に、ＣＰＵは、エッジ点Ｓ／Ｎ比平均（第１エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＡ、及び、第２エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＢ）を以下のようにして求める。
【００４４】
第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡは、最新のフレームを含む過去の連続する５０フレームのうち前記画像領域において抽出されたエッジ点の個数が１つ以上である直近の１０フレーム（第１所定数）の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値（算術平均値）である。なお、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡは、最新のフレームを含む過去の連続する第１所定数の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であってもよい。
【００４５】
第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、最新のフレームを含む過去の連続する５０フレームのうち前記画像領域において抽出されたエッジ点の個数が１つ以上であるフレーム（第２所定数）の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値（算術平均値）である。第２所定数は第１所定数よりも大きい。よって、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡよりも、より長い期間における瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であると言うことができる。なお、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、最新のフレームを含む過去の連続する第２所定数の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であってもよい。
【００４６】
＜エッジ点Ｓ／Ｎ比標準偏差：ＳＤＳＮ＞
次に、ＣＰＵは、エッジ点Ｓ／Ｎ比標準偏差ＳＤＳＮを周知の標準偏差を求める式である下記の（２）式に従って算出する。用いられるデータは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡの算出に使用された瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉである。従って、（２）式における値Ｎは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡの算出に使用された瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの数である。更に、（２）式の平方根内の分母はＮであってもよい。
【数２】
【００４７】
ステップ２５０：ＣＰＵは、ステップ２３０にて抽出した白線候補線の中から所定の条件を満足する２本の線（左右各１本の線）を車線境界線として選択する（図７を参照。）。この所定の条件とは、１本の白線の幅に実質的に相当する幅を有する２本で一組の実質的に平行な白線候補線のうちの一つであること（これを「条件Ａ」と称呼する。）、及び、そのような二組の白線候補線（計４本）が車両の左側と右側に存在していて、それら二組間の距離が車線幅として許容される距離だけ離間していること（これを「条件Ｂ」と称呼する。）等である（図５（Ｂ）の線Ｌ１と線Ｌ２、及び、線Ｒ２及び線Ｒ３を参照。）。そのような二組の車線境界線が存在している場合、左側の二本の白線候補線のうち右側（車線中央側）の白線候補線（図５の（Ｂ）の線Ｌ２）、及び、右側の二本の白線候補線のうち左側（車線中央側）の白線候補線（図５の（Ｂ）の線Ｒ２）が車線境界線として選択される。なお、条件Ａのみにより片側の車線境界線を選択してもよい。この結果、例えば、図７に示した線Ｌ２，Ｒ２が車線境界線として選択される。
【００４８】
ステップ２６０：ＣＰＵは、以下の条件１及び条件２の何れかが成立した場合、先のステップ２５０にて「最新のフレームの画像に基づいて選択された車線境界線」を後述する走行支援制御に用いないようにするための処理を施す。即ち、ＣＰＵは、以下の条件１及び条件２の何れかが成立した場合、「最新のフレームの画像に基づいて選択された車線境界線」を破棄（除去）する。なお、ステップ２４０乃至ステップ２６０は車線境界線選択手段の機能を実現するステップである。
【００４９】
＜条件１＞
ＳＮＴｉ＜Ａｔｈ
即ち、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉが第１閾値Ａｔｈ（例えば、−１０）よりも小さい。ＣＰＵは、この条件１が満足されるとき、最新のフレームの画像がノイズを多く含むと判断されるので、最新のフレームの画像に基づく車線境界線の信頼性が低いと判断し、その最新のフレームの画像に基づいて選択された車線境界線を破棄（除去）する。
【００５０】
＜条件２＞
ＡｖｅＳＮＡ＋α・ＳＤＳＮ＜Ｂｔｈ
即ち、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡと、エッジ点Ｓ／Ｎ比標準偏差ＳＤＳＮと所定の係数α（例えば、２）との積と、の和が第２閾値Ｂｔｈ（例えば、０）よりも小さい。ＣＰＵは、この条件２が満足されるとき、最新のフレームの画像のみでなく直近のフレームの画像をも考慮した結果、現時点の状態はノイズを多く含む状態にあると判断する。その結果、ＣＰＵは、最新のフレームの画像に基づく車線境界線の信頼性が低いと判断し、その最新のフレームの画像に基づいて選択された車線境界線を破棄（除去）する。
【００５１】
ステップ２７０：ＣＰＵは、現時点の検出モードが慎重検出モードでなければ、以下の条件３が成立するか否かを判定し、その条件３が成立した場合に検出モードを通常検出モードから慎重検出モードに移行する。
【００５２】
＜条件３＞
車線境界線の検出状態がロスト状態となったとき、ＡｖｅＳＮＢ＜Ｃｔｈである。
即ち、車線境界線の検出状態がロスト状態となったとき、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢが第３閾値Ｃｔｈ（例えば、−６）よりも小さい。
【００５３】
ここで、通常検出モード、慎重検出モード、車線境界線の認識状態及びロスト状態について説明を加える。検出モードが通常検出モードにある場合、例えば、直近の１０フレームの画像において連続して車線境界線が選択できないとき（白線の候補線が抽出できない場合を含む。）、ＣＰＵは車線境界線の検出状態が「ロスト状態（車線境界線ロスト状態）」であると判定し、ロスト状態に応じた車両走行支援制御を行う。
【００５４】
ロスト状態に応じた車両走行支援制御とは、実際には車線境界線に基づく車両走行支援制御を行わないことである。車線境界線に基づく車両走行支援制御は、例えば、「自車両が車線を逸脱したか又は逸脱する可能性が高い」場合にその旨の情報を警報装置４０から提供する制御（車線逸脱警報制御）である。或いは、車線境界線に基づく車両走行支援制御は、例えば、自車両が車線境界線に沿って走行できるように車線維持制御装置３０を作動させる制御（車線維持制御）である。
【００５５】
検出モードが通常検出モードにあり、且つ、車線境界線検出状態がロスト状態にある場合、例えば、直近の１０フレームの画像において連続して車線境界線が選択できたとき、ＣＰＵは車線境界線の検出状態が「認識状態」であると判定し、認識状態に応じた車両走行支援制御を行う。即ち、ＣＰＵは、認識又は推定されている車線境界線に基づいて、車線逸脱警報制御及び／又は車線維持制御を行う。
【００５６】
一方、ＣＰＵは、検出モードが慎重検出モードである場合、車線境界線の検出状態がロスト状態にあるときに例え直近の１０フレームの画像において連続して車線境界線が選択できたとしても、車線境界線の検出状態が認識状態となったと判定しない。即ち、ＣＰＵは、検出モードが慎重検出モードから通常検出モードへと変化した後に直近の１０フレームの画像において連続して車線境界線が選択できたとき、ＣＰＵは車線境界線検出状態が「認識状態」であると判定する。
【００５７】
ＣＰＵは、現時点が慎重検出モードであれば、以下の条件４が成立するか否かを判定し、その条件４が成立した場合に慎重検出モードから通常検出モードへと移行する。
【００５８】
＜条件４＞
車線幅（ステップ２５０にて選択された左右の境界線の距離）の分散値＜Ｄ１ｔｈ
且つ
ピッチ角の分散値＜Ｄ２ｔｈ
且つ
第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢ＞Ｅｔｈ（例えば、０）
【００５９】
なお、ピッチ角は、路面に対する車両（従って、カメラ２１の光軸）の前後方向の傾斜角度である。ＣＰＵは、ピッチ角を平面視画像に変換した後の左右の車線境界線から算出する。即ち、車両が路面に水平な状態であるときにピッチ角が「０」であるとすると、平面視画像において左右の車線境界線は互いに平行になる。一方、車両前部が車両後部よりも下方に位置するように車両が傾斜すると、平面視画像における左右の車線境界線は、車両近傍の車線境界線の左右の幅のほうが車両遠方の車線境界線の左右の幅よりも小さくなる。他方、車両後部が車両前部よりも下方に位置するように車両が傾斜すると、平面視画像における左右の車線境界線は、車両近傍の車線境界線の左右の幅のほうが車両遠方の車線境界線の左右の幅よりも大きくなる。そこで、ＣＰＵはこの平面視画像における左右の車線境界線の傾斜傾向に基づいてピッチ角を算出する。
【００６０】
ステップ２８０：ＣＰＵは、現時点の車線境界線検出状態が認識状態にあるとき、前述した車両走行支援制御を実行する。
【００６１】
以上、説明したように、本実施形態に係る車線境界線認識装置は、
車両に搭載されるとともに同車両の進行方向の路面の画像を（所定時間の経過毎に１フレーム分ずつ）取得する撮像手段（カメラ２１及び図２のステップ２１０）と、
前記取得された画像に基いて輝度の変化点をエッジ点として抽出するエッジ点抽出手段（ステップ２２０）と、
前記抽出されたエッジ点を通る白線候補線を抽出する候補線抽出手段（ステップ２３０）と、
前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する車線境界線選択手段（ステップ２５０）と、
を備えた車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し（ステップ２４０）、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄する（ステップ２６０）。
【００６２】
白線は一般に直線であり、且つ、最終的に選択される車線境界線は直線により近似された線である。従って、上述した実施形態のように、抽出されたエッジ点のうちの白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、抽出されたエッジ点のうちの白線候補線が通過しないエッジ点の個数をノイズ量と見做した上で「画像のノイズの程度を示す画像評価値」を算出すれば、画像のノイズの程度を精度良く示す画像評価値を得ることができる。更に、上述の実施形態は、この画像評価値に基づいて「選択された車線境界線の採用・不採用（破棄）」を決定する。よって、ノイズの存在により間違って選択された車線境界線を真の車線境界線として認識してしまう可能性を低減することができる。
【００６３】
本発明は上記実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉは上記（１）式に基づいて求められていたが、瞬時エッジ点Ｓ／Ｎ比は、ノイズ量Ｎに対するシグナル量Ｓの比そのもの（Ｓ／Ｎ）であってもよい。
【００６４】
また、最新のフレームを含む所定数のフレームについての瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの算術平均値を画像評価値として求め、その画像評価値が所定の閾値よりも小さいとき、最新のフレームに基づいて選択された車線境界線を破棄してもよい。
【符号の説明】
【００６５】
１０…車両走行支援装置、２０…境界線認識装置、２１…カメラ、２２…処理部、３０…車線維持制御装置、３１…操舵制御装置、３２…パワーステアリング装置、３３…車速センサ、４０…警報装置。
【技術分野】
【０００１】
本発明は、走路（車両前方の道路、車両の進行方向の路面）を撮像する撮像手段により取得された画像に基いて道路上に描かれた白線等の道路の車線境界線を検出する車線境界線認識装置に関する。
【背景技術】
【０００２】
従来から知られる車線境界線認識装置（以下、「従来装置」とも称呼する。）は、車両に搭載されたカメラにより所定時間（例えば、０．１秒）の経過毎に車両前方の路面の画像（画像信号）を取得する。一回の撮像により得られる画像信号の集合は１フレームとも称呼される。更に、従来装置は、その画像に基いて道路の車線境界線（例えば、白線）を検出する。
【０００３】
より具体的に述べると、従来装置は、取得した画像に基づいて輝度の変化点をエッジ点として抽出し、その抽出されたエッジ点を最も多く貫く線を車線境界線（白線）として選択（認識）するようになっている。
【０００４】
加えて、従来技術は、選択した車線境界線に基づいて算出される道路形状を表す道路パラメータからその車線境界線上の点を白線候補点として推定するとともに、その推定された白線候補点の位置と実際に検出されていたエッジ点（白線候補線の選択に使用された点）の位置との二乗誤差が大きい場合、及び、検出された白線候補点の数が小さい場合、選択した車線境界線の信頼度は低いと判定している（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６７７５５号公報
【発明の概要】
【０００６】
しかしながら、路面状況によっては、ノイズであるエッジ点が多数得られる場合があり、エッジ点を最も多く貫く線が車線境界線ではない場合があるので、上記のように評価される信頼度自体が正しくない場合がある。
【０００７】
本発明は、上述した課題に対処するためになされたものである。即ち、本発明の目的の一つは、ノイズである可能性が高いエッジ点の割合が高いか否か、即ち、取得された画像自体が車線境界線の元となる白線候補線を選択するのに適した画像でないか否か、を判定することができ、その判定結果に基づいて、不適切な画像に基づいては車線境界線を選択しない（選択された車線境界線を破棄・削除する）車線境界線認識装置を提供することにある。
【０００８】
本発明による車線境界線認識装置（以下、「本発明装置」とも称呼する。）は、撮像手段と、エッジ点抽出手段と、候補線抽出手段と、車線境界線選択手段と、を備える。
【０００９】
前記撮像手段は、車両に搭載されるとともに、その車両の進行方向の路面の画像を取得する。前記撮像手段は、例えば、車両前方に固定されたカメラ（例えば、ＣＣＤカメラ）等を含む。
前記エッジ点抽出手段は、前記取得された画像に基いて輝度の変化点をエッジ点として抽出する。
【００１０】
前記候補線抽出手段は、前記抽出されたエッジ点を通る白線候補線を抽出する。この白線候補線の抽出は、例えば、ハフ変換等の周知の手法により行うことができる。
前記車線境界線選択手段は、前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する。所定の条件とは、例えば、車線境界線として選択される候補線に対し、一本の白線の幅程度の距離だけ離間した位置にその候補線と平行な別の候補線が存在していることである。
【００１１】
更に、前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄するように構成される。
【００１２】
前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値とは、ノイズ量に対するシグナル量の比（Ｓ／Ｎ）であってもよく、後述する（１）式に示したような周知のＳ／Ｎ比であってもよい。更に、前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値に基づいて取得される画像評価値は、後述するように「前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値そのもの（瞬時値）」であってもよく、複数の「前記ノイズ量（Ｎ）に対する前記シグナル量（Ｓ）の割合に応じた値」の平均値に基づく値であってもよい。
【００１３】
白線は一般に直線であり、且つ、最終的に選択される車線境界線は直線により近似された線である。従って、上述した本発明装置のように、抽出されたエッジ点のうちの白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、抽出されたエッジ点のうちの白線候補線が通過しないエッジ点の個数をノイズ量と見做した上で「画像のノイズの程度を示す画像評価値」を算出すれば、画像のノイズの程度を精度良く示す画像評価値を得ることができる。従って、この画像評価値に基づいて「選択された車線境界線の採用・不採用（破棄）」を決定することにより、ノイズの存在により間違って選択された車線境界線を真の車線境界線として認識してしまう可能性を低減することができる。
【００１４】
更に、前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームについての前記ノイズ量に対する前記シグナル量の割合に応じた値（即ち、瞬時値）を前記画像評価値として取得するように構成され得る。
【００１５】
これによれば、取得された最新の画像に基づいて選択された車線境界線が信頼性の高いものであるか否かが精度良く判定される。
【００１６】
更に、前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームを含む所定数のフレームのそれぞれについての「前記ノイズ量に対する前記シグナル量の割合に応じた値」の平均値（前記ノイズ量に対する前記シグナル量の割合に応じた値の所定数のフレームについての平均値）を取得するとともに、同平均値に基づいて前記画像評価値を取得するように構成され得る。
【００１７】
これによれば、最新の画像のノイズの割合のみならず直近の複数の画像のノイズの割合が多い場合、最新の画像に基づいて選択された車線境界線の信頼性は低いと判定され、その車線境界線は真の車線境界線として用いられない。
【００１８】
より具体的に述べると、
前記車線境界線選択手段は、
前記画像評価値を、前記平均値と、前記平均値を取得する元となった複数の画像の前記ノイズ量に対する前記シグナル量の割合に応じた値の標準偏差と、に基づいて算出するように構成され得る（例えば、下記の（２）式及び条件２を参照。）。
【００１９】
これによれば、ノイズ量の平均的な割合のみでなく、そのばらつきも考慮した上で、選択された車線境界線の信頼性が評価される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る車線境界線認識装置の概略構成図である。
【図２】図１に示した処理部のＣＰＵが実行するルーチンを示したフローチャートである。
【図３】撮像手段により取得される画像を示した図である。
【図４】図１に示した処理部のＣＰＵが行うエッジ点抽出処理を説明するための図である。
【図５】図１に示した処理部のＣＰＵが行う白線候補線抽出処理を説明するための図である。
【図６】図１に示した処理部のＣＰＵが行うＳ／Ｎ比等の算出処理を説明するための図である。
【図７】図１に示した処理部のＣＰＵが行う車線境界線選択処理を説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態に係る車線境界線認識装置（以下、「境界線認識装置」とも称呼する。）について図面を参照しながら説明する。この境界線認識装置は、車両の走行を支援する車両走行支援装置の一部でもある。
【００２２】
（構成）
図１は、車両（自動車、自車両）に搭載された車両走行支援装置１０の概略構成を示している。車両走行支援装置１０は、境界線認識装置２０、車線維持制御装置３０及び警報装置（車線逸脱警報装置）４０を含んでいる。
【００２３】
境界線認識装置２０は、カメラ（撮像手段）２１及び処理部（画像処理手段）２２を含んでいる。
【００２４】
カメラ２１は、車体前部のインナーリアビューミラー（所謂、ルームミラー）のステイ等に固定されている。カメラ２１の光軸は、カメラ２１が車体に固定された状態において、所定の俯角を有し且つ車体前後方向（車両進行方向）に一致している。従って、カメラ２１は車両進行方向（車両前方）の路面を撮像（撮影）することができるようになっている。より具体的に述べると、カメラ２１は、処理部２２からの指示に従って、車両から前方に所定距離だけ離間した位置から遠方の位置までの路面を撮像することができる。撮像された画像は、例えば、図３に示したような風景に応じた画像（実際には、輝度に応じて変化する信号からなる画像信号）である。カメラ２１は例えばＣＣＤカメラである。
【００２５】
処理部２２は周知のマイクロコンピュータを含む電子回路装置である。処理部２２は、後に詳述するように、カメラ２１によって取得（撮像）された画像（画像信号）を処理することにより、道路に描かれた白線等による車線境界線（車線区画線）を検出するようになっている。更に、処理部２２は、その検出した境界線に対する自車両の左右方向の位置（相対位置）を推定するようになっている。処理部２２は、その推定した相対位置に基いて、車線維持制御装置３０及び／又は警報装置４０に制御信号を送出するようになっている。
【００２６】
車線維持制御装置３０は、操舵制御装置３１、パワーステアリング装置３２及び車速センサ３３を含んでいる。
【００２７】
操舵制御装置３１は周知のマイクロコンピュータを含む電子回路装置である。操舵制御装置３１は車速センサ３３からの入力信号である車速ＳＰＤと、処理部２２からの制御信号と、に基きパワーステアリング装置３２に駆動信号を送出するようになっている。なお、操舵制御装置３１は、図示しないセンサ（例えば、操舵角センサ及びヨーレイトセンサ等）からの信号に基いてパワーステアリング装置３２に駆動信号を送出し、運転者による操舵操作をアシストするようになっている。
【００２８】
パワーステアリング装置３２は周知の電動式パワーステアリング装置である。パワーステアリング装置３２は操舵制御装置３１からの駆動信号に基いて車両の舵角を変更することができるようになっている。
【００２９】
警報装置４０は車室内に設けられた周知の警報装置であり、インストルメントパネルに配設された警告ランプ及び／又は警告音発生装置（ブザー）を含んでいる。警報装置４０は、処理部２２からの制御信号に応答して乗員（運転者）に「自車両が車線を逸脱したか又は逸脱する可能性が高い旨」の情報を提供するようになっている。
【００３０】
（作動）
次に、上述したように構成された車両走行支援装置１０の作動について説明する。この作動は、実際には、境界線認識装置２０の処理部２２が備えるＣＰＵ（以下、単に「ＣＰＵ」と称呼する。）が次に述べる処理を実行することによって実現される。
【００３１】
ＣＰＵは、図２にフローチャートにより示したルーチンの処理を所定時間（例えば、０．１秒、即ち、１００ｍ秒）が経過する毎に繰り返し実行するようになっている。従って、所定のタイミングになると、ＣＰＵは図２のステップ２００から処理を開始し、以下に述べるステップ２１０乃至ステップ２８０の処理を順に行い、ステップ２９５に進んで本ルーチンを一旦終了する。
【００３２】
ステップ２１０：ＣＰＵは、カメラ２１に撮像（撮影）指示信号を送出してカメラ２１に撮影を行わせる。更に、ＣＰＵは、カメラ２１が撮像した「図３に示したような画像」を取得する。従って、１フレーム（１つの画像）は０．１秒毎に取得される。
【００３３】
より具体的に述べると、道路は一般にアスファルト等により舗装され、その上に白線等によって境界線が描かれている。従って、アスファルトが露呈している面の輝度は低く、アスファルトの上の白線の輝度は高い。カメラ２１は、この輝度の高低に応じた画像信号を取得し、ＣＰＵへ送出する。
【００３４】
ステップ２２０：ＣＰＵは、図４に示したように、取得した画像を車両横方向に走査して画像信号を取得し、更に、取得した画像信号にフィルタ処理を施すことによってエッジ点Ｐｅを抽出する。エッジ点とは取得した画像信号の輝度が急激に増大する点及び急激に減少する点である。輝度が急激に増大する点は便宜上「立ち上がりエッジ点」とも称呼される。輝度が急激に減少する点は便宜上「立ち下がりエッジ点」とも称呼される。なお、ステップ２２０はエッジ点抽出手段の機能を実現するステップである。
【００３５】
ステップ２３０：ＣＰＵは、周知のハフ変換等を用いて、取得したエッジ点を平面視画像へと変換する。更に、ＣＰＵは、図５の（Ａ）に示したように、その平面視画像において複数のエッジ点Ｐｅを通る直線を、白線の候補線Ｌ１、Ｌ２…、Ｒ１、Ｒ２、…として抽出する。なお、ハフ変換等により平面視画像へと変換される領域は、図４の破線により示されたような「撮影された画像の一部」であってもよい。
【００３６】
ところで、複数のエッジ点Ｐｅを通る直線は多数取得される。但し、図５の（Ｂ）に示したように、白線の候補線は、それらの直線のうち、車両左右方向の位置の制約を満たし（横位置制限を満たし）且つ車両の進行方向から想定され得る所定の角度範囲内の（角度制限を満たす）直線に限定される。例えば、線Ｘ１は、角度制限を満足するものの左側の横位置制限を満足しないので、白線候補線として選択されない。線Ｘ２は、左側の横位置制限を満足するものの角度制限を満足しないので白線候補線として選択されない。なお、ステップ２３０は候補線抽出手段の機能を実現するステップである。
【００３７】
ステップ２４０：ＣＰＵは、Ｓ／Ｎ比（ノイズ量（Ｎ）に対するシグナル量（Ｓ）の比）及びＳ／Ｎ比に応じた値である各種の画像評価値（評価指標値）を以下に述べるように算出・取得する。なお、これらの値は、図５の（Ａ）の破線ＬＡ及び破線ＲＡに示されているように、左右別々の所定の画像領域毎に取得される。また、以下に述べるように、画像評価値には、瞬時エッジ点Ｓ／Ｎ比、第１エッジ点Ｓ／Ｎ比平均、第２エッジ点Ｓ／Ｎ比平均、エッジ点Ｓ／Ｎ比標準偏差、第１エッジ点Ｓ／Ｎ比平均にエッジ点Ｓ／Ｎ比標準偏差と値αとの積を加えた値等が含まれる。
【００３８】
＜瞬時エッジ点Ｓ／Ｎ比：ＳＮＴｉ＞
先ず、ＣＰＵは、シグナル量Ｓ及びノイズ量Ｎを以下のようにして求める。
【００３９】
シグナル量Ｓは、前記所定の画像領域内において前記抽出された白線候補線が通過するエッジ点の個数（または、その個数に対応した数）である。なお、シグナル量Ｓは、周知のハフ変換を用いて抽出された候補線の得票数（ハフ投票数）の総和に対応した値である。
【００４０】
ノイズ量Ｎは、前記所定の画像領域内において、前記抽出されたエッジ点の総数Ｔからシグナル量Ｓを減じた値（Ｎ＝Ｔ−Ｓ）である。即ち、ノイズ量Ｎは、前記所定の画像領域内において前記抽出された白線候補線が通過しないエッジ点の個数（または、その個数に対応した数）である。
【００４１】
例えば、単純化された図６に示した例において、シグナルと見做されるエッジ点は丸のプロットにより示され、ノイズと見做されるエッジ点は三角のプロットにより示されている。この図６に示した例において、シグナル量Ｓは２６であり、ノイズ量Ｎは７である。
【００４２】
ＣＰＵは、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉを下記の（１）式に従って算出する。
【数１】
【００４３】
＜エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＡ，ＡｖｅＳＮＢ＞
次に、ＣＰＵは、エッジ点Ｓ／Ｎ比平均（第１エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＡ、及び、第２エッジ点Ｓ／Ｎ比平均：ＡｖｅＳＮＢ）を以下のようにして求める。
【００４４】
第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡは、最新のフレームを含む過去の連続する５０フレームのうち前記画像領域において抽出されたエッジ点の個数が１つ以上である直近の１０フレーム（第１所定数）の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値（算術平均値）である。なお、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡは、最新のフレームを含む過去の連続する第１所定数の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であってもよい。
【００４５】
第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、最新のフレームを含む過去の連続する５０フレームのうち前記画像領域において抽出されたエッジ点の個数が１つ以上であるフレーム（第２所定数）の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値（算術平均値）である。第２所定数は第１所定数よりも大きい。よって、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡよりも、より長い期間における瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であると言うことができる。なお、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢは、最新のフレームを含む過去の連続する第２所定数の瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの平均値であってもよい。
【００４６】
＜エッジ点Ｓ／Ｎ比標準偏差：ＳＤＳＮ＞
次に、ＣＰＵは、エッジ点Ｓ／Ｎ比標準偏差ＳＤＳＮを周知の標準偏差を求める式である下記の（２）式に従って算出する。用いられるデータは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡの算出に使用された瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉである。従って、（２）式における値Ｎは、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡの算出に使用された瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの数である。更に、（２）式の平方根内の分母はＮであってもよい。
【数２】
【００４７】
ステップ２５０：ＣＰＵは、ステップ２３０にて抽出した白線候補線の中から所定の条件を満足する２本の線（左右各１本の線）を車線境界線として選択する（図７を参照。）。この所定の条件とは、１本の白線の幅に実質的に相当する幅を有する２本で一組の実質的に平行な白線候補線のうちの一つであること（これを「条件Ａ」と称呼する。）、及び、そのような二組の白線候補線（計４本）が車両の左側と右側に存在していて、それら二組間の距離が車線幅として許容される距離だけ離間していること（これを「条件Ｂ」と称呼する。）等である（図５（Ｂ）の線Ｌ１と線Ｌ２、及び、線Ｒ２及び線Ｒ３を参照。）。そのような二組の車線境界線が存在している場合、左側の二本の白線候補線のうち右側（車線中央側）の白線候補線（図５の（Ｂ）の線Ｌ２）、及び、右側の二本の白線候補線のうち左側（車線中央側）の白線候補線（図５の（Ｂ）の線Ｒ２）が車線境界線として選択される。なお、条件Ａのみにより片側の車線境界線を選択してもよい。この結果、例えば、図７に示した線Ｌ２，Ｒ２が車線境界線として選択される。
【００４８】
ステップ２６０：ＣＰＵは、以下の条件１及び条件２の何れかが成立した場合、先のステップ２５０にて「最新のフレームの画像に基づいて選択された車線境界線」を後述する走行支援制御に用いないようにするための処理を施す。即ち、ＣＰＵは、以下の条件１及び条件２の何れかが成立した場合、「最新のフレームの画像に基づいて選択された車線境界線」を破棄（除去）する。なお、ステップ２４０乃至ステップ２６０は車線境界線選択手段の機能を実現するステップである。
【００４９】
＜条件１＞
ＳＮＴｉ＜Ａｔｈ
即ち、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉが第１閾値Ａｔｈ（例えば、−１０）よりも小さい。ＣＰＵは、この条件１が満足されるとき、最新のフレームの画像がノイズを多く含むと判断されるので、最新のフレームの画像に基づく車線境界線の信頼性が低いと判断し、その最新のフレームの画像に基づいて選択された車線境界線を破棄（除去）する。
【００５０】
＜条件２＞
ＡｖｅＳＮＡ＋α・ＳＤＳＮ＜Ｂｔｈ
即ち、第１エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＡと、エッジ点Ｓ／Ｎ比標準偏差ＳＤＳＮと所定の係数α（例えば、２）との積と、の和が第２閾値Ｂｔｈ（例えば、０）よりも小さい。ＣＰＵは、この条件２が満足されるとき、最新のフレームの画像のみでなく直近のフレームの画像をも考慮した結果、現時点の状態はノイズを多く含む状態にあると判断する。その結果、ＣＰＵは、最新のフレームの画像に基づく車線境界線の信頼性が低いと判断し、その最新のフレームの画像に基づいて選択された車線境界線を破棄（除去）する。
【００５１】
ステップ２７０：ＣＰＵは、現時点の検出モードが慎重検出モードでなければ、以下の条件３が成立するか否かを判定し、その条件３が成立した場合に検出モードを通常検出モードから慎重検出モードに移行する。
【００５２】
＜条件３＞
車線境界線の検出状態がロスト状態となったとき、ＡｖｅＳＮＢ＜Ｃｔｈである。
即ち、車線境界線の検出状態がロスト状態となったとき、第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢが第３閾値Ｃｔｈ（例えば、−６）よりも小さい。
【００５３】
ここで、通常検出モード、慎重検出モード、車線境界線の認識状態及びロスト状態について説明を加える。検出モードが通常検出モードにある場合、例えば、直近の１０フレームの画像において連続して車線境界線が選択できないとき（白線の候補線が抽出できない場合を含む。）、ＣＰＵは車線境界線の検出状態が「ロスト状態（車線境界線ロスト状態）」であると判定し、ロスト状態に応じた車両走行支援制御を行う。
【００５４】
ロスト状態に応じた車両走行支援制御とは、実際には車線境界線に基づく車両走行支援制御を行わないことである。車線境界線に基づく車両走行支援制御は、例えば、「自車両が車線を逸脱したか又は逸脱する可能性が高い」場合にその旨の情報を警報装置４０から提供する制御（車線逸脱警報制御）である。或いは、車線境界線に基づく車両走行支援制御は、例えば、自車両が車線境界線に沿って走行できるように車線維持制御装置３０を作動させる制御（車線維持制御）である。
【００５５】
検出モードが通常検出モードにあり、且つ、車線境界線検出状態がロスト状態にある場合、例えば、直近の１０フレームの画像において連続して車線境界線が選択できたとき、ＣＰＵは車線境界線の検出状態が「認識状態」であると判定し、認識状態に応じた車両走行支援制御を行う。即ち、ＣＰＵは、認識又は推定されている車線境界線に基づいて、車線逸脱警報制御及び／又は車線維持制御を行う。
【００５６】
一方、ＣＰＵは、検出モードが慎重検出モードである場合、車線境界線の検出状態がロスト状態にあるときに例え直近の１０フレームの画像において連続して車線境界線が選択できたとしても、車線境界線の検出状態が認識状態となったと判定しない。即ち、ＣＰＵは、検出モードが慎重検出モードから通常検出モードへと変化した後に直近の１０フレームの画像において連続して車線境界線が選択できたとき、ＣＰＵは車線境界線検出状態が「認識状態」であると判定する。
【００５７】
ＣＰＵは、現時点が慎重検出モードであれば、以下の条件４が成立するか否かを判定し、その条件４が成立した場合に慎重検出モードから通常検出モードへと移行する。
【００５８】
＜条件４＞
車線幅（ステップ２５０にて選択された左右の境界線の距離）の分散値＜Ｄ１ｔｈ
且つ
ピッチ角の分散値＜Ｄ２ｔｈ
且つ
第２エッジ点Ｓ／Ｎ比平均ＡｖｅＳＮＢ＞Ｅｔｈ（例えば、０）
【００５９】
なお、ピッチ角は、路面に対する車両（従って、カメラ２１の光軸）の前後方向の傾斜角度である。ＣＰＵは、ピッチ角を平面視画像に変換した後の左右の車線境界線から算出する。即ち、車両が路面に水平な状態であるときにピッチ角が「０」であるとすると、平面視画像において左右の車線境界線は互いに平行になる。一方、車両前部が車両後部よりも下方に位置するように車両が傾斜すると、平面視画像における左右の車線境界線は、車両近傍の車線境界線の左右の幅のほうが車両遠方の車線境界線の左右の幅よりも小さくなる。他方、車両後部が車両前部よりも下方に位置するように車両が傾斜すると、平面視画像における左右の車線境界線は、車両近傍の車線境界線の左右の幅のほうが車両遠方の車線境界線の左右の幅よりも大きくなる。そこで、ＣＰＵはこの平面視画像における左右の車線境界線の傾斜傾向に基づいてピッチ角を算出する。
【００６０】
ステップ２８０：ＣＰＵは、現時点の車線境界線検出状態が認識状態にあるとき、前述した車両走行支援制御を実行する。
【００６１】
以上、説明したように、本実施形態に係る車線境界線認識装置は、
車両に搭載されるとともに同車両の進行方向の路面の画像を（所定時間の経過毎に１フレーム分ずつ）取得する撮像手段（カメラ２１及び図２のステップ２１０）と、
前記取得された画像に基いて輝度の変化点をエッジ点として抽出するエッジ点抽出手段（ステップ２２０）と、
前記抽出されたエッジ点を通る白線候補線を抽出する候補線抽出手段（ステップ２３０）と、
前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する車線境界線選択手段（ステップ２５０）と、
を備えた車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し（ステップ２４０）、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄する（ステップ２６０）。
【００６２】
白線は一般に直線であり、且つ、最終的に選択される車線境界線は直線により近似された線である。従って、上述した実施形態のように、抽出されたエッジ点のうちの白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、抽出されたエッジ点のうちの白線候補線が通過しないエッジ点の個数をノイズ量と見做した上で「画像のノイズの程度を示す画像評価値」を算出すれば、画像のノイズの程度を精度良く示す画像評価値を得ることができる。更に、上述の実施形態は、この画像評価値に基づいて「選択された車線境界線の採用・不採用（破棄）」を決定する。よって、ノイズの存在により間違って選択された車線境界線を真の車線境界線として認識してしまう可能性を低減することができる。
【００６３】
本発明は上記実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉは上記（１）式に基づいて求められていたが、瞬時エッジ点Ｓ／Ｎ比は、ノイズ量Ｎに対するシグナル量Ｓの比そのもの（Ｓ／Ｎ）であってもよい。
【００６４】
また、最新のフレームを含む所定数のフレームについての瞬時エッジ点Ｓ／Ｎ比ＳＮＴｉの算術平均値を画像評価値として求め、その画像評価値が所定の閾値よりも小さいとき、最新のフレームに基づいて選択された車線境界線を破棄してもよい。
【符号の説明】
【００６５】
１０…車両走行支援装置、２０…境界線認識装置、２１…カメラ、２２…処理部、３０…車線維持制御装置、３１…操舵制御装置、３２…パワーステアリング装置、３３…車速センサ、４０…警報装置。
【特許請求の範囲】
【請求項１】
車両に搭載されるとともに同車両の進行方向の路面の画像を取得する撮像手段と、
前記取得された画像に基いて輝度の変化点をエッジ点として抽出するエッジ点抽出手段と、
前記抽出されたエッジ点を通る白線候補線を抽出する候補線抽出手段と、
前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する車線境界線選択手段と、
を備えた車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄するように構成された車線境界線認識装置。
【請求項２】
請求項１に記載の車線境界線認識装置において、
前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームについての前記ノイズ量に対する前記シグナル量の割合に応じた値を前記画像評価値として取得するように構成された車線境界線認識装置。
【請求項３】
請求項１に記載の車線境界線認識装置において、
前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームを含む所定数のフレームのそれぞれについての前記ノイズ量に対する前記シグナル量の割合に応じた値の平均値を取得するとともに、同平均値に基づいて前記画像評価値を取得するように構成された車線境界線認識装置。
【請求項４】
請求項３に記載の車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像評価値を、前記平均値と、前記平均値を取得する元となった複数の画像の前記ノイズ量に対する前記シグナル量の割合に応じた値の標準偏差と、に基づいて算出するように構成された車線境界線認識装置。
【請求項１】
車両に搭載されるとともに同車両の進行方向の路面の画像を取得する撮像手段と、
前記取得された画像に基いて輝度の変化点をエッジ点として抽出するエッジ点抽出手段と、
前記抽出されたエッジ点を通る白線候補線を抽出する候補線抽出手段と、
前記抽出された白線候補線の中から所定の条件を満足する白線候補線を車線境界線として選択する車線境界線選択手段と、
を備えた車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像のうちの所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過するエッジ点の個数をシグナル量と見做すとともに、前記所定の画像領域において前記抽出されたエッジ点のうちの前記白線候補線が通過しないエッジ点の個数をノイズ量と見做し、前記ノイズ量に対する前記シグナル量の割合に応じた値に基づいて画像評価値を取得し、前記画像評価値が所定の閾値よりも小さい場合には前記画像に基く前記車線境界線の選択結果を破棄するように構成された車線境界線認識装置。
【請求項２】
請求項１に記載の車線境界線認識装置において、
前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームについての前記ノイズ量に対する前記シグナル量の割合に応じた値を前記画像評価値として取得するように構成された車線境界線認識装置。
【請求項３】
請求項１に記載の車線境界線認識装置において、
前記撮像手段は、
所定時間が経過する毎に１フレーム分の前記画像を取得するように構成され、
前記車線境界線選択手段は、
前記取得されたフレームのうちの最新のフレームを含む所定数のフレームのそれぞれについての前記ノイズ量に対する前記シグナル量の割合に応じた値の平均値を取得するとともに、同平均値に基づいて前記画像評価値を取得するように構成された車線境界線認識装置。
【請求項４】
請求項３に記載の車線境界線認識装置において、
前記車線境界線選択手段は、
前記画像評価値を、前記平均値と、前記平均値を取得する元となった複数の画像の前記ノイズ量に対する前記シグナル量の割合に応じた値の標準偏差と、に基づいて算出するように構成された車線境界線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０５１７９（Ｐ２０１３−１０５１７９Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４６１４２（Ｐ２０１１−２４６１４２）
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]