停止線認識装置
【課題】停止線の誤検出を抑制する。
【解決手段】停止線は概ね一定幅の横線である。それに対して、停止線と誤判定しやすい止まれ強調表示では、「止まれ」の文字が描かれている箇所の輝度の垂直方向の平均値が横線よりも大きい。この性質を利用して、停止線とそれ以外の表示を区別する。
【解決手段】停止線は概ね一定幅の横線である。それに対して、停止線と誤判定しやすい止まれ強調表示では、「止まれ」の文字が描かれている箇所の輝度の垂直方向の平均値が横線よりも大きい。この性質を利用して、停止線とそれ以外の表示を区別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載向けの画像認識に関する。本発明は特に、停止線を認識する技術に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるために搭載されるシステムの多様化に伴い、画像の認識装置が多く使われるようになってきた。ＩＴＳ（高度道路交通システム）においては、走行中に多くのシステムが画像認識処理を行なっている。安全性を向上するために、交差点や横断歩道における停止線等の画像認識の性能を向上することが求められている。特に、近年、車載ナビでの撮像画像認識を利用して自車の走行状況を判定する機能が一般化してきている。このような機能において、停止線等を対象とした画像認識精度の向上が求められている。
【０００３】
参考例として、特許文献１には、前方車両に追従走行するに際し、カメラから得た画像から停止線を検出し、その手前で確実に停止することを目的とする技術が記載されている。特許文献２には、垂直エッジにより横断歩道であるかを判定し、停止線との誤検知を防ぐ技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１９０１００号公報
【特許文献２】特開２００７−０６６００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、停止線を検出する車両用走行制御装置が記載されている。本願の添付図面の図７と図８は、特許文献１の図２と図１をそれぞれ示す。これらの図を利用して、本発明の課題を説明するための停止線認識技術の参考例について以下に説明する。
【０００６】
この参考例における技術は、前方車両追従制御（自車両の前方を走行する車両を追従して走行するための制御）に際し、カメラから得た画像から停止線を検出して、その手前で確実に停止することを目的としている。
【０００７】
図８は、参考例における車両用走行制御装置を示す車両構成図である。この自動追従走行装置は、前輪１Ｆ及び後輪１Ｒへの制動力と、エンジンの出力、つまり駆動力とを制御する。この制御により、自車両が適切な車間距離を維持しながら前方車両に追従して走行する。
【０００８】
非駆動輪である前輪１Ｆには車輪速センサ２が設けられている。その車輪速センサ２で検出された車輪速が、追従走行を行うための自車両の車速として用いられる。キャビンのフロントガラス寄りには、撮像手段としてのＣＣＤカメラ５が設けられている。このＣＣＤカメラ５は、上下方向に２０°程度の画角を有する。ＣＣＤカメラ５で撮像された自車両前方の画像は、画像処理装置６に取り込まれ処理される。
【０００９】
車両の前方には、車間距離検出手段としてのレーザレーダ７が設けられている。このレーザレーダ７はコントローラ機能を備える。レーザレーダ７は、検出した自車両前方の距離情報に基づいて、前方車両の検出と、その前方車両までの測距、即ち車間距離の検出を行う。
【００１０】
車両には、アクセルペダルの踏込み量を検出するアクセルセンサ９と、ブレーキペダルの踏込み量を検出するブレーキセンサ１０とが設けられている。車両には更に、運転者が操作する操作スイッチ１２がステアリングホイールの近傍に設けられている。運転者は、操作スイッチ１２を用いて、例えば前方車両追従制御の設定を調整する。操作スイッチ１２によって、前方車両との車間距離を少し短くするための加速や、少し長くするための減速を行うことができる。インストゥルメントパネルにはディスプレイ１３が設けられる。ディスプレイ１３には、前方車両追従制御の制御状態と、後述する停止線の検出状態とが表示される。
【００１１】
走行制御装置１１は、車輪速センサ２で検出された車速、画像処理装置６で撮像された自車両前方の画像情報、レーザレーダ７で検出された前方車両情報並びに車間距離、アクセルセンサ９で検出されたアクセルペダルの踏込み量、ブレーキセンサ１０で検出されたブレーキペダルの踏込み量、操作スイッチ１２からの操作情報を読込む。走行制御装置１１は、これらの読み込んだ情報に基づいて、前方車両追従制御を行う。前輪１Ｆ及び後輪１Ｒへの制動力は、ホイールシリンダ３Ｆ、３Ｒへの制動流体圧を、制動流体圧制御装置３からの指令値に基づいて制動流体圧アクチュエータで創成することによって制御される。エンジンの出力、即ち駆動力は、燃料噴射装置であるインジェクタ８からの燃料噴射量をエンジン制御装置４からの指令値に基づいて調整することによって制御される。
【００１２】
走行制御装置１１は更に、停止線を検出し、必要に応じて減速指令を制動流体圧制御装置３に向けて出力し、加速指令或いは加速禁止指令を前記エンジン制御装置４に向けて出力し、或いは停止線の検出情報を前記ディスプレイ１３に表示して、運転者にその旨を報知する。
【００１３】
図７は、本参考技術における車両用走行制御装置のフローチャートである。
ステップＳ１：車輪速センサ４で検出された車速Ｖを読込む。
ステップＳ２：ステップＳ１で読込んだ車速Ｖが、例えば３０km/h程度に予め設定された所定車速値Ｖm a x 以下であるか否かを判定する。当該車速Ｖが所定車速値Ｖm a x 以下である場合にはステップＳ３に移行し、そうでない場合にはステップＳ４（前方車両追従制御）に移行する。
ステップＳ３：同ステップ内で行われる個別の演算処理に従って、ＣＣＤカメラ５で撮像した自車両前方の全画面情報を画像処理装置６から読込む。読み込んだ全画面情報をディジタルフィールドなどからなる配列に入力した後、ステップＳ５に移行する。例えば、全画像の左下隅部を原点とし、右上方に向けて、横座標（水平座標）をＸ座標、縦座標（垂直座標）をＹ座標として、各画素毎に色合い、明度、輝度等の情報を記憶する。
【００１４】
ステップＳ５：前方車両検出処理を行い、ステップＳ６に移行する。
ステップＳ６：停止線検出領域を設定し、ステップＳ７に移行する。
ステップＳ７：停止線検出処理を行い、ステップＳ８に移行する。
ステップＳ８：同ステップ内で行われる個別の演算処理に従って、ステップＳ７で停止線が検出されたか否かを判定し、停止線が検出された場合にはステップＳ９に移行し、そうでない場合にはステップＳ４に移行する。
【００１５】
ステップＳ９：同ステップ内で行われる個別の演算処理に従って、運転者の加速操作を読込んでからステップＳ１０に移行する。具体的には、アクセルセンサ９で検出されたアクセルペダルの踏込み量や、操作スイッチ１２による加速指令等の情報を読込む。
ステップＳ１０：同ステップ内で行われる個別の演算処理に従って、運転者の加速操作がないか否かを判定し、運転者の加速操作がない場合にはステップＳ１１に移行し、そうでない場合には前記ステップＳ４に移行する。具体的には、前記アクセルセンサ９で検出されたアクセルペダルの踏込み量が増大していないとか、操作スイッチ１２による加速指令がないことで、運転者の加速操作がないことを判定する。
ステップＳ４：同ステップ内で行われる個別の演算処理に従って、前方車両までの車間距離に応じて、前方車両追従制御を行ってからメインプログラムに復帰する。
【００１６】
以上に説明した参考技術では、前方車両真下の範囲をフィルタ処理により切り出す。その範囲内のペイント領域の長さに基づいて、ペイント領域が本当に停止線であるかどうかを判定している。しかしながら、例えば止まれ強調表示のペイント領域には、停止線に類似した長さの横線が含まれる。ペイント領域の長さに基づいた画像認識では、このような横線と、停止線との区別が難しいという問題がある。
【００１７】
図３は、停止線の検出を示す。停止線検出ウインドウ３０の内部に停止線が補足されている。停止線は一部がかすれている場合がある。そのため、所定長さのペイント領域の一部分が欠けている場合であっても停止線と判断するように画像認識が行われる。図４は、止まれ強調表示のペイント領域を示す。停止線検出ウインドウ３１の内部は、左側のラインと右側のラインと、それらの間に描かれた文字とによって、図３のかすれた停止線と類似したペイント領域となっている。そのため停止線との区別が難しい。停止線の誤検出を抑制する技術が望まれる。
【課題を解決するための手段】
【００１８】
本発明の一側面における停止線認識装置は、路面の画像を取得する画像取得部と、画像から路面に描かれた停止線の候補である候補領域を検出する停止線候補検出部と、候補領域に含まれる候補の輝度の垂直方向の平均値を計算することによって平均値の水平方向の分布を作成する水平方向輝度平均分布作成部と、分布に他の領域よりも所定の基準以上、平均輝度が大きい領域が存在した場合、候補領域を停止線でないと判定する輝度平均分布分析部とを備える。
【００１９】
停止線は概ね一定幅の横線である。それに対して、停止線と誤判定しやすい止まれ強調表示では、「止まれ」の文字が描かれている箇所の輝度の垂直方向の平均値が横線よりも大きい。本発明の一側面における停止線認識装置は、この性質を利用して、停止線とそれ以外の表示を区別することを可能にする。
【発明の効果】
【００２０】
本発明により、停止線の誤検出の抑制を可能とする技術が提供される。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の一実施形態における画像認識装置の構成図である。
【図２】図２は、車両用走行制御装置のフローチャートである。
【図３】図３は、擦れた停止線を認識する場合のイメージ図である。
【図４】図４は、止まれ強調表示を停止線と誤認識する場合のイメージ図である。
【図５】図５は、擦れた停止線に対する停止線検出ウインドウ内の輝度平均の分布図である。
【図６】図６は、止まれ強調表示に対する停止線検出ウインドウ内の輝度平均の分布図である。
【図７】図７は、参考技術における車両用走行制御装置のフローチャートである。
【図８】図８は、参考技術における車両用走行制御装置を示す車両構成図である。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して、本発明の実施形態を説明する。本発明の一実施形態における車線認識装置は、図８を参照して説明した参考技術における前方車両自動追従機能を有する車両に適用される。
【００２３】
図１は、本発明の一実施形態における車線認識装置２０の構成図である。車線認識装置２０は、制御種別決定部（車速情報取得部）１０１、撮像部１０２、前方車両検出部１０３、停止線候補検出部１０４、水平方向輝度平均分布作成部１０５、輝度平均分布分析部１０６、停止線対応制御部１０７、前方車両追従制御部１０８とで構成される。これらの各部は、車両に搭載される情報処理装置が記憶装置に格納されたプログラムを実行することによって実現される。
【００２４】
車輪速センサ２は、車輪１Ｆの車輪速を計測し、その車輪速を示す信号を車速として出力する。制御種別決定部１０１は、車輪速センサ２より車速を入力し、停止線対応制御を行うか、前方車両追従制御を行うかを判断する。
【００２５】
ＣＣＤカメラ５は、自車両の前方を撮影して道路画像データを生成する。撮像部１０２は、ＣＣＤカメラ５から道路画像データを入力し、停止線候補検出部１０４へ出力する。
【００２６】
レーザレーダ７は、レーザ計測によって自車両の前方における車両の有無と、先行車両が有った場合の自車両と先行車両との車間距離とを検出して前方車両情報として出力する。前方車両検出部１０３は、レーザレーダ７より入力した前方車両情報を停止線候補検出部１０４に出力する。
【００２７】
停止線候補検出部１０４は、撮像部１０２より道路画像データ、前方車両検出部１０３より車間距離をそれぞれ入力し、停止線候補の検出位置とサイズを水平方向輝度平均分布作成部１０５、前方車両追従制御部１０８へそれぞれ出力する。
【００２８】
水平方向輝度平均分布作成部１０５は、停止線候補の検出位置とサイズを停止線候補検出部１０４より入力し、水平方向輝度平均分布を輝度平均分布分析部１０６へ出力する。
【００２９】
輝度平均分布分析部１０６は、水平方向輝度平均分布を水平方向輝度平均分布作成部１０５より入力し、停止線検出結果を停止線対応制御部１０７へ出力する。
【００３０】
停止線対応制御部１０７は、操作スイッチ１２より操作スイッチ情報、水平方向輝度平均分布作成部１０５より停止線候補の検出位置とサイズをそれぞれ入力し、走行制御装置１１に加減速操作を出力する。
【００３１】
前方車両追従制御部１０８は、停止線候補検出部１０４より停止線候補の検出位置とサイズ、前方車両検出部１０３より車間距離をそれぞれ入力し、走行制御装置１１に加減速操作を出力する。
【００３２】
図３は、路面のペイント領域を擦れた停止線と認識する場合のイメージ図である。図３は、カメラから取り込まれた道路画像データを示す。図３の中に、停止線候補を検出し停止線か否かを検証するための範囲として設定される停止線検出ウインドウＳＬＷ３０が示されている。停止線候補検出部１０４および水平方向輝度平均分布作成部１０５は、このウインドウの範囲で検出や輝度分布作成を行う。停止線検出ウインドウＳＬＷ３０は、縦方向（道路の延長方向、車両の走行方向）の長さが停止線よりも長くなるように設定される。
【００３３】
図４は、止まれ強調表示を停止線と誤認識する場合のイメージ図である。図４は、図３と同様にカメラから取り込まれた道路画像データを示す。停止線を検出および停止線か否かを検証するため範囲として設定する停止線検出ウインドウＳＬＷ３１が示されている。停止線候補検出部１０４および水平方向輝度平均分布作成部１０５は、このウインドウの範囲で検出や輝度分布作成を行う。
【００３４】
図２は、本実施形態における車両用走行制御装置のフローチャートである。本フローチャートにおいて、車両は前方車両の自動追従を行っているとする。図２を用いて本実施形態における車線認識装置の動作を説明する。
制御種別決定部１０１は、車速センサから車速を読み込む（ステップＳ１）。
制御種別決定部１０１は、所定値ＶＭＡＸを予め記憶する。制御種別決定部１０１は車速の大きさを判断（ステップＳ２）し、ＶＭＡＸ以下であればステップＳ３に進み、ＶＭＡＸを超えていればステップＳ４に進む。
車速がＶＭＡＸ以下である場合、撮像部１０２は前方画像を読み込む（ステップＳ３）。
前方車両検出部１０３、前方車両を検出する（ステップＳ５）。
停止線候補検出部１０４は、停止線検出領域を設定する（ステップＳ６）。停止線検出領域の設定は、前方画像の中で、車両に対する相対位置が車両前方の所定範囲となるように予め調節される。
【００３５】
停止線候補検出部１０４は、停止線候補を検出する（ステップＳ７）。停止線候補は、例えば上下方向（車両の進行方向）に所定幅、左右方向（車両の幅方向）に所定長さの白線が存在することを基準として、所定の基準内でのずれ（白線の擦れなど）を許容することによって決められる。
停止線候補検出部１０４は、停止線候補を検出したかどうかを判断（ステップＳ８）する。停止線候補を検出していればステップＳ１２に進み、停止線候補を検出していなければステップＳ４に進む。
【００３６】
水平方向輝度平均分布作成部１０５は、停止線候補について、図３に示す停止線検出ウインドウＳＬＷ３０内の左右方向それぞれの列画素について上下方向に全ての画素の輝度値を加算する。水平方向輝度平均分布作成部１０５は、各列の加算値を、停止線検出ウインドウＳＬＷ３０の列方向の画素数で割ることで、水平（左右）方向各列の平均輝度を求める（ステップＳ１２）。その結果、輝度の縦方向の平均値の水平方向の分布（以下、水平方向輝度平均分布と称す）が得られる。
【００３７】
輝度平均分布分析部１０６は、求めた水平方向輝度平均分布から１つ、もしくは複数のペイント部（水平方向輝度平均分布が凸状を示す部分）を検出する。このペイント部は、例えば図３に示す停止線（所定の基準内の擦れを許容する）や、図４に示す止まれ強調表示の候補である。
【００３８】
輝度平均分布分析部１０６は、最小二乗法を用いてペイント部の水平方向輝度平均分布を直線近似する。ペイント部の水平方向輝度平均分布からその近似直線を減じることにより、水平方向輝度平均分布の凹凸分布を求める。その凹凸分布の中で、所定幅以上連続して０より大きい値の部分が凸部として検出される。検出された少なくとも一つの凸部の各々について、凸部の幅と、凸部の凹凸分布（水平方向輝度平均分布の近似直線）の平均値を求める（ステップＳ１３）。
【００３９】
輝度平均分布分析部１０６は、以下の２つの条件が成立するか否かを判断する（ステップＳ１４）。
（１）車両中央付近と、その左側と、その右側とに一定幅以上の凸部が存在する。
（２）車両中央付近の凸部の平均値が、左右の凸部の平均値よりも所定の基準以上大きい。
輝度平均分布分析部１０６は、これらの条件（１）（２）が共に満たされる場合にはステップＳ４に進み、それ以外の場合にはステップＳ９に進む。
【００４０】
条件（１）（２）の少なくとも一方を満たさない場合、輝度平均分布分析部１０６は、車速の時系列での変化を集計する。（ステップＳ９）。
停止線対応制御部１０７は、車速の時系列での変化に基づいて運転者の加速操作の有無を判断（ステップＳ１０）する。加速操作があればステップＳ１１に進み、加速操作が無ければステップＳ４に進む。
【００４１】
加速操作がある場合に停止線対応制御部１０７は、加速禁止および減速を走行制御装置１１に指示をして処理を終了する（ステップＳ１１）。
車両追従制御部１０８は、加速禁止および減速を走行制御装置１１に指示をして処理を終了する（ステップＳ４）。
【００４２】
次に、図３〜６を用いて、本実施形態における停止線認識のメカニズムの説明をする。図３は、擦れた停止線のイメージ図を示す。図４は止まれ強調表示のイメージ図を示す。それぞれのペイント領域の長さについては明確な差は無い。そのため、ペイント領域の長さだけで区別すると停止線を誤検知してしまう場合がある。
【００４３】
停止線候補検出部１０４が図２のステップＳ８で停止線検出を行った後、図４の止まれ強調表示を停止線と誤検知することを防止するために、ステップＳ１２以降の処理が行われる。停止線に対して「とまれ」もしくは「止まれ」文字は前後方向の幅が大幅に大きい。この特徴を利用することにより、停止線検出ウインドウＳＬＷ３１内に「とまれ」もしくは「止まれ」文字が存在するかをチェックし、誤検知を防止することができる。
【００４４】
具体的には、図２のステップＳ１２において、水平方向輝度平均分布作成部１０５は、停止線検出ウインドウＳＬＷ３１内の画像に対して、図６のように輝度平均分布グラフを作成する。作成した分布グラフは、図５のグラフに示すように停止線であれば極端に大きな輝度平均の部分は無い。擦れた停止線であってもペイントの無い部分の輝度平均が低くなるだけであり、これに区切られたブロックＢ５１、Ｂ５２、Ｂ５３の輝度平均はほぼ同じになる。
【００４５】
一方、図６の止まれ強調表示の輝度平均分布においては、中央付近のブロックＢ６２が、周辺のブロックＢ６１、Ｂ６３に比べて極めて輝度平均が大きい。そのため、ブロック６２が線に囲まれた文字であり、停止線でないと判定できる。
【００４６】
以上に説明した本発明の実施形態では、以下のような認識に基づいて停止線の誤認識が防止される。真の停止線は部分的に太い箇所を持たず、隣にペイントも存在しない。そのために、水平方向輝度平均分布が一部だけ大きくなることがない。それに対して、停止線と同じ太さを持つ止まれ強調表示において、「とまれ」もしくは「止まれ」の文字は、前後方向の幅が大幅に大きい。そのため水平方向輝度分布が周辺のペイント領域に対して一部だけ極端に大きくなる。この相違に基づいて、停止線とこれと同じ太さを持つ止まれ強調表示の区別が可能になり、停止線の誤認識を防止できる効果がある。
【符号の説明】
【００４７】
１Ｆ、１Ｒ 車輪
２ 車輪速センサ
３ 制動流体圧制御装置（走行状態制御部）
３Ｆ、３Ｒ ホイールシリンダ
４ エンジン制御装置（走行状態制御部）
５ ＣＣＤカメラ（撮像部）
６ 画像処理装置（撮像部）
７ レーザレーダ
８ インジェクタ
９ アクセルセンサ（加速操作検出部）
１０ ブレーキセンサ（減速操作検出部）
１１ 走行制御装置
１２ 操作スイッチ（加速操作検出部、減速操作検出部）
１３ ディスプレイ（停止線報知部）
２０ 画像認識装置
３０ 停止線検出ウインドウ
３１ 停止線検出ウインドウ
１０１ 制御種別決定部
１０２ 撮像部
１０３ 前方車両検出部
１０４ 停止線候補検出部
１０５ 水平方向輝度平均分布作成部
１０６ 輝度平均分布分析部
１０７ 停止線対応制御部
１０８ 前方車両追従制御部
【技術分野】
【０００１】
本発明は、車載向けの画像認識に関する。本発明は特に、停止線を認識する技術に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるために搭載されるシステムの多様化に伴い、画像の認識装置が多く使われるようになってきた。ＩＴＳ（高度道路交通システム）においては、走行中に多くのシステムが画像認識処理を行なっている。安全性を向上するために、交差点や横断歩道における停止線等の画像認識の性能を向上することが求められている。特に、近年、車載ナビでの撮像画像認識を利用して自車の走行状況を判定する機能が一般化してきている。このような機能において、停止線等を対象とした画像認識精度の向上が求められている。
【０００３】
参考例として、特許文献１には、前方車両に追従走行するに際し、カメラから得た画像から停止線を検出し、その手前で確実に停止することを目的とする技術が記載されている。特許文献２には、垂直エッジにより横断歩道であるかを判定し、停止線との誤検知を防ぐ技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１９０１００号公報
【特許文献２】特開２００７−０６６００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、停止線を検出する車両用走行制御装置が記載されている。本願の添付図面の図７と図８は、特許文献１の図２と図１をそれぞれ示す。これらの図を利用して、本発明の課題を説明するための停止線認識技術の参考例について以下に説明する。
【０００６】
この参考例における技術は、前方車両追従制御（自車両の前方を走行する車両を追従して走行するための制御）に際し、カメラから得た画像から停止線を検出して、その手前で確実に停止することを目的としている。
【０００７】
図８は、参考例における車両用走行制御装置を示す車両構成図である。この自動追従走行装置は、前輪１Ｆ及び後輪１Ｒへの制動力と、エンジンの出力、つまり駆動力とを制御する。この制御により、自車両が適切な車間距離を維持しながら前方車両に追従して走行する。
【０００８】
非駆動輪である前輪１Ｆには車輪速センサ２が設けられている。その車輪速センサ２で検出された車輪速が、追従走行を行うための自車両の車速として用いられる。キャビンのフロントガラス寄りには、撮像手段としてのＣＣＤカメラ５が設けられている。このＣＣＤカメラ５は、上下方向に２０°程度の画角を有する。ＣＣＤカメラ５で撮像された自車両前方の画像は、画像処理装置６に取り込まれ処理される。
【０００９】
車両の前方には、車間距離検出手段としてのレーザレーダ７が設けられている。このレーザレーダ７はコントローラ機能を備える。レーザレーダ７は、検出した自車両前方の距離情報に基づいて、前方車両の検出と、その前方車両までの測距、即ち車間距離の検出を行う。
【００１０】
車両には、アクセルペダルの踏込み量を検出するアクセルセンサ９と、ブレーキペダルの踏込み量を検出するブレーキセンサ１０とが設けられている。車両には更に、運転者が操作する操作スイッチ１２がステアリングホイールの近傍に設けられている。運転者は、操作スイッチ１２を用いて、例えば前方車両追従制御の設定を調整する。操作スイッチ１２によって、前方車両との車間距離を少し短くするための加速や、少し長くするための減速を行うことができる。インストゥルメントパネルにはディスプレイ１３が設けられる。ディスプレイ１３には、前方車両追従制御の制御状態と、後述する停止線の検出状態とが表示される。
【００１１】
走行制御装置１１は、車輪速センサ２で検出された車速、画像処理装置６で撮像された自車両前方の画像情報、レーザレーダ７で検出された前方車両情報並びに車間距離、アクセルセンサ９で検出されたアクセルペダルの踏込み量、ブレーキセンサ１０で検出されたブレーキペダルの踏込み量、操作スイッチ１２からの操作情報を読込む。走行制御装置１１は、これらの読み込んだ情報に基づいて、前方車両追従制御を行う。前輪１Ｆ及び後輪１Ｒへの制動力は、ホイールシリンダ３Ｆ、３Ｒへの制動流体圧を、制動流体圧制御装置３からの指令値に基づいて制動流体圧アクチュエータで創成することによって制御される。エンジンの出力、即ち駆動力は、燃料噴射装置であるインジェクタ８からの燃料噴射量をエンジン制御装置４からの指令値に基づいて調整することによって制御される。
【００１２】
走行制御装置１１は更に、停止線を検出し、必要に応じて減速指令を制動流体圧制御装置３に向けて出力し、加速指令或いは加速禁止指令を前記エンジン制御装置４に向けて出力し、或いは停止線の検出情報を前記ディスプレイ１３に表示して、運転者にその旨を報知する。
【００１３】
図７は、本参考技術における車両用走行制御装置のフローチャートである。
ステップＳ１：車輪速センサ４で検出された車速Ｖを読込む。
ステップＳ２：ステップＳ１で読込んだ車速Ｖが、例えば３０km/h程度に予め設定された所定車速値Ｖm a x 以下であるか否かを判定する。当該車速Ｖが所定車速値Ｖm a x 以下である場合にはステップＳ３に移行し、そうでない場合にはステップＳ４（前方車両追従制御）に移行する。
ステップＳ３：同ステップ内で行われる個別の演算処理に従って、ＣＣＤカメラ５で撮像した自車両前方の全画面情報を画像処理装置６から読込む。読み込んだ全画面情報をディジタルフィールドなどからなる配列に入力した後、ステップＳ５に移行する。例えば、全画像の左下隅部を原点とし、右上方に向けて、横座標（水平座標）をＸ座標、縦座標（垂直座標）をＹ座標として、各画素毎に色合い、明度、輝度等の情報を記憶する。
【００１４】
ステップＳ５：前方車両検出処理を行い、ステップＳ６に移行する。
ステップＳ６：停止線検出領域を設定し、ステップＳ７に移行する。
ステップＳ７：停止線検出処理を行い、ステップＳ８に移行する。
ステップＳ８：同ステップ内で行われる個別の演算処理に従って、ステップＳ７で停止線が検出されたか否かを判定し、停止線が検出された場合にはステップＳ９に移行し、そうでない場合にはステップＳ４に移行する。
【００１５】
ステップＳ９：同ステップ内で行われる個別の演算処理に従って、運転者の加速操作を読込んでからステップＳ１０に移行する。具体的には、アクセルセンサ９で検出されたアクセルペダルの踏込み量や、操作スイッチ１２による加速指令等の情報を読込む。
ステップＳ１０：同ステップ内で行われる個別の演算処理に従って、運転者の加速操作がないか否かを判定し、運転者の加速操作がない場合にはステップＳ１１に移行し、そうでない場合には前記ステップＳ４に移行する。具体的には、前記アクセルセンサ９で検出されたアクセルペダルの踏込み量が増大していないとか、操作スイッチ１２による加速指令がないことで、運転者の加速操作がないことを判定する。
ステップＳ４：同ステップ内で行われる個別の演算処理に従って、前方車両までの車間距離に応じて、前方車両追従制御を行ってからメインプログラムに復帰する。
【００１６】
以上に説明した参考技術では、前方車両真下の範囲をフィルタ処理により切り出す。その範囲内のペイント領域の長さに基づいて、ペイント領域が本当に停止線であるかどうかを判定している。しかしながら、例えば止まれ強調表示のペイント領域には、停止線に類似した長さの横線が含まれる。ペイント領域の長さに基づいた画像認識では、このような横線と、停止線との区別が難しいという問題がある。
【００１７】
図３は、停止線の検出を示す。停止線検出ウインドウ３０の内部に停止線が補足されている。停止線は一部がかすれている場合がある。そのため、所定長さのペイント領域の一部分が欠けている場合であっても停止線と判断するように画像認識が行われる。図４は、止まれ強調表示のペイント領域を示す。停止線検出ウインドウ３１の内部は、左側のラインと右側のラインと、それらの間に描かれた文字とによって、図３のかすれた停止線と類似したペイント領域となっている。そのため停止線との区別が難しい。停止線の誤検出を抑制する技術が望まれる。
【課題を解決するための手段】
【００１８】
本発明の一側面における停止線認識装置は、路面の画像を取得する画像取得部と、画像から路面に描かれた停止線の候補である候補領域を検出する停止線候補検出部と、候補領域に含まれる候補の輝度の垂直方向の平均値を計算することによって平均値の水平方向の分布を作成する水平方向輝度平均分布作成部と、分布に他の領域よりも所定の基準以上、平均輝度が大きい領域が存在した場合、候補領域を停止線でないと判定する輝度平均分布分析部とを備える。
【００１９】
停止線は概ね一定幅の横線である。それに対して、停止線と誤判定しやすい止まれ強調表示では、「止まれ」の文字が描かれている箇所の輝度の垂直方向の平均値が横線よりも大きい。本発明の一側面における停止線認識装置は、この性質を利用して、停止線とそれ以外の表示を区別することを可能にする。
【発明の効果】
【００２０】
本発明により、停止線の誤検出の抑制を可能とする技術が提供される。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の一実施形態における画像認識装置の構成図である。
【図２】図２は、車両用走行制御装置のフローチャートである。
【図３】図３は、擦れた停止線を認識する場合のイメージ図である。
【図４】図４は、止まれ強調表示を停止線と誤認識する場合のイメージ図である。
【図５】図５は、擦れた停止線に対する停止線検出ウインドウ内の輝度平均の分布図である。
【図６】図６は、止まれ強調表示に対する停止線検出ウインドウ内の輝度平均の分布図である。
【図７】図７は、参考技術における車両用走行制御装置のフローチャートである。
【図８】図８は、参考技術における車両用走行制御装置を示す車両構成図である。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して、本発明の実施形態を説明する。本発明の一実施形態における車線認識装置は、図８を参照して説明した参考技術における前方車両自動追従機能を有する車両に適用される。
【００２３】
図１は、本発明の一実施形態における車線認識装置２０の構成図である。車線認識装置２０は、制御種別決定部（車速情報取得部）１０１、撮像部１０２、前方車両検出部１０３、停止線候補検出部１０４、水平方向輝度平均分布作成部１０５、輝度平均分布分析部１０６、停止線対応制御部１０７、前方車両追従制御部１０８とで構成される。これらの各部は、車両に搭載される情報処理装置が記憶装置に格納されたプログラムを実行することによって実現される。
【００２４】
車輪速センサ２は、車輪１Ｆの車輪速を計測し、その車輪速を示す信号を車速として出力する。制御種別決定部１０１は、車輪速センサ２より車速を入力し、停止線対応制御を行うか、前方車両追従制御を行うかを判断する。
【００２５】
ＣＣＤカメラ５は、自車両の前方を撮影して道路画像データを生成する。撮像部１０２は、ＣＣＤカメラ５から道路画像データを入力し、停止線候補検出部１０４へ出力する。
【００２６】
レーザレーダ７は、レーザ計測によって自車両の前方における車両の有無と、先行車両が有った場合の自車両と先行車両との車間距離とを検出して前方車両情報として出力する。前方車両検出部１０３は、レーザレーダ７より入力した前方車両情報を停止線候補検出部１０４に出力する。
【００２７】
停止線候補検出部１０４は、撮像部１０２より道路画像データ、前方車両検出部１０３より車間距離をそれぞれ入力し、停止線候補の検出位置とサイズを水平方向輝度平均分布作成部１０５、前方車両追従制御部１０８へそれぞれ出力する。
【００２８】
水平方向輝度平均分布作成部１０５は、停止線候補の検出位置とサイズを停止線候補検出部１０４より入力し、水平方向輝度平均分布を輝度平均分布分析部１０６へ出力する。
【００２９】
輝度平均分布分析部１０６は、水平方向輝度平均分布を水平方向輝度平均分布作成部１０５より入力し、停止線検出結果を停止線対応制御部１０７へ出力する。
【００３０】
停止線対応制御部１０７は、操作スイッチ１２より操作スイッチ情報、水平方向輝度平均分布作成部１０５より停止線候補の検出位置とサイズをそれぞれ入力し、走行制御装置１１に加減速操作を出力する。
【００３１】
前方車両追従制御部１０８は、停止線候補検出部１０４より停止線候補の検出位置とサイズ、前方車両検出部１０３より車間距離をそれぞれ入力し、走行制御装置１１に加減速操作を出力する。
【００３２】
図３は、路面のペイント領域を擦れた停止線と認識する場合のイメージ図である。図３は、カメラから取り込まれた道路画像データを示す。図３の中に、停止線候補を検出し停止線か否かを検証するための範囲として設定される停止線検出ウインドウＳＬＷ３０が示されている。停止線候補検出部１０４および水平方向輝度平均分布作成部１０５は、このウインドウの範囲で検出や輝度分布作成を行う。停止線検出ウインドウＳＬＷ３０は、縦方向（道路の延長方向、車両の走行方向）の長さが停止線よりも長くなるように設定される。
【００３３】
図４は、止まれ強調表示を停止線と誤認識する場合のイメージ図である。図４は、図３と同様にカメラから取り込まれた道路画像データを示す。停止線を検出および停止線か否かを検証するため範囲として設定する停止線検出ウインドウＳＬＷ３１が示されている。停止線候補検出部１０４および水平方向輝度平均分布作成部１０５は、このウインドウの範囲で検出や輝度分布作成を行う。
【００３４】
図２は、本実施形態における車両用走行制御装置のフローチャートである。本フローチャートにおいて、車両は前方車両の自動追従を行っているとする。図２を用いて本実施形態における車線認識装置の動作を説明する。
制御種別決定部１０１は、車速センサから車速を読み込む（ステップＳ１）。
制御種別決定部１０１は、所定値ＶＭＡＸを予め記憶する。制御種別決定部１０１は車速の大きさを判断（ステップＳ２）し、ＶＭＡＸ以下であればステップＳ３に進み、ＶＭＡＸを超えていればステップＳ４に進む。
車速がＶＭＡＸ以下である場合、撮像部１０２は前方画像を読み込む（ステップＳ３）。
前方車両検出部１０３、前方車両を検出する（ステップＳ５）。
停止線候補検出部１０４は、停止線検出領域を設定する（ステップＳ６）。停止線検出領域の設定は、前方画像の中で、車両に対する相対位置が車両前方の所定範囲となるように予め調節される。
【００３５】
停止線候補検出部１０４は、停止線候補を検出する（ステップＳ７）。停止線候補は、例えば上下方向（車両の進行方向）に所定幅、左右方向（車両の幅方向）に所定長さの白線が存在することを基準として、所定の基準内でのずれ（白線の擦れなど）を許容することによって決められる。
停止線候補検出部１０４は、停止線候補を検出したかどうかを判断（ステップＳ８）する。停止線候補を検出していればステップＳ１２に進み、停止線候補を検出していなければステップＳ４に進む。
【００３６】
水平方向輝度平均分布作成部１０５は、停止線候補について、図３に示す停止線検出ウインドウＳＬＷ３０内の左右方向それぞれの列画素について上下方向に全ての画素の輝度値を加算する。水平方向輝度平均分布作成部１０５は、各列の加算値を、停止線検出ウインドウＳＬＷ３０の列方向の画素数で割ることで、水平（左右）方向各列の平均輝度を求める（ステップＳ１２）。その結果、輝度の縦方向の平均値の水平方向の分布（以下、水平方向輝度平均分布と称す）が得られる。
【００３７】
輝度平均分布分析部１０６は、求めた水平方向輝度平均分布から１つ、もしくは複数のペイント部（水平方向輝度平均分布が凸状を示す部分）を検出する。このペイント部は、例えば図３に示す停止線（所定の基準内の擦れを許容する）や、図４に示す止まれ強調表示の候補である。
【００３８】
輝度平均分布分析部１０６は、最小二乗法を用いてペイント部の水平方向輝度平均分布を直線近似する。ペイント部の水平方向輝度平均分布からその近似直線を減じることにより、水平方向輝度平均分布の凹凸分布を求める。その凹凸分布の中で、所定幅以上連続して０より大きい値の部分が凸部として検出される。検出された少なくとも一つの凸部の各々について、凸部の幅と、凸部の凹凸分布（水平方向輝度平均分布の近似直線）の平均値を求める（ステップＳ１３）。
【００３９】
輝度平均分布分析部１０６は、以下の２つの条件が成立するか否かを判断する（ステップＳ１４）。
（１）車両中央付近と、その左側と、その右側とに一定幅以上の凸部が存在する。
（２）車両中央付近の凸部の平均値が、左右の凸部の平均値よりも所定の基準以上大きい。
輝度平均分布分析部１０６は、これらの条件（１）（２）が共に満たされる場合にはステップＳ４に進み、それ以外の場合にはステップＳ９に進む。
【００４０】
条件（１）（２）の少なくとも一方を満たさない場合、輝度平均分布分析部１０６は、車速の時系列での変化を集計する。（ステップＳ９）。
停止線対応制御部１０７は、車速の時系列での変化に基づいて運転者の加速操作の有無を判断（ステップＳ１０）する。加速操作があればステップＳ１１に進み、加速操作が無ければステップＳ４に進む。
【００４１】
加速操作がある場合に停止線対応制御部１０７は、加速禁止および減速を走行制御装置１１に指示をして処理を終了する（ステップＳ１１）。
車両追従制御部１０８は、加速禁止および減速を走行制御装置１１に指示をして処理を終了する（ステップＳ４）。
【００４２】
次に、図３〜６を用いて、本実施形態における停止線認識のメカニズムの説明をする。図３は、擦れた停止線のイメージ図を示す。図４は止まれ強調表示のイメージ図を示す。それぞれのペイント領域の長さについては明確な差は無い。そのため、ペイント領域の長さだけで区別すると停止線を誤検知してしまう場合がある。
【００４３】
停止線候補検出部１０４が図２のステップＳ８で停止線検出を行った後、図４の止まれ強調表示を停止線と誤検知することを防止するために、ステップＳ１２以降の処理が行われる。停止線に対して「とまれ」もしくは「止まれ」文字は前後方向の幅が大幅に大きい。この特徴を利用することにより、停止線検出ウインドウＳＬＷ３１内に「とまれ」もしくは「止まれ」文字が存在するかをチェックし、誤検知を防止することができる。
【００４４】
具体的には、図２のステップＳ１２において、水平方向輝度平均分布作成部１０５は、停止線検出ウインドウＳＬＷ３１内の画像に対して、図６のように輝度平均分布グラフを作成する。作成した分布グラフは、図５のグラフに示すように停止線であれば極端に大きな輝度平均の部分は無い。擦れた停止線であってもペイントの無い部分の輝度平均が低くなるだけであり、これに区切られたブロックＢ５１、Ｂ５２、Ｂ５３の輝度平均はほぼ同じになる。
【００４５】
一方、図６の止まれ強調表示の輝度平均分布においては、中央付近のブロックＢ６２が、周辺のブロックＢ６１、Ｂ６３に比べて極めて輝度平均が大きい。そのため、ブロック６２が線に囲まれた文字であり、停止線でないと判定できる。
【００４６】
以上に説明した本発明の実施形態では、以下のような認識に基づいて停止線の誤認識が防止される。真の停止線は部分的に太い箇所を持たず、隣にペイントも存在しない。そのために、水平方向輝度平均分布が一部だけ大きくなることがない。それに対して、停止線と同じ太さを持つ止まれ強調表示において、「とまれ」もしくは「止まれ」の文字は、前後方向の幅が大幅に大きい。そのため水平方向輝度分布が周辺のペイント領域に対して一部だけ極端に大きくなる。この相違に基づいて、停止線とこれと同じ太さを持つ止まれ強調表示の区別が可能になり、停止線の誤認識を防止できる効果がある。
【符号の説明】
【００４７】
１Ｆ、１Ｒ 車輪
２ 車輪速センサ
３ 制動流体圧制御装置（走行状態制御部）
３Ｆ、３Ｒ ホイールシリンダ
４ エンジン制御装置（走行状態制御部）
５ ＣＣＤカメラ（撮像部）
６ 画像処理装置（撮像部）
７ レーザレーダ
８ インジェクタ
９ アクセルセンサ（加速操作検出部）
１０ ブレーキセンサ（減速操作検出部）
１１ 走行制御装置
１２ 操作スイッチ（加速操作検出部、減速操作検出部）
１３ ディスプレイ（停止線報知部）
２０ 画像認識装置
３０ 停止線検出ウインドウ
３１ 停止線検出ウインドウ
１０１ 制御種別決定部
１０２ 撮像部
１０３ 前方車両検出部
１０４ 停止線候補検出部
１０５ 水平方向輝度平均分布作成部
１０６ 輝度平均分布分析部
１０７ 停止線対応制御部
１０８ 前方車両追従制御部
【特許請求の範囲】
【請求項１】
路面の画像を取得する画像取得部と、
前記画像から前記路面に描かれた停止線の候補である候補領域を検出する停止線候補検出部と、
前記候補領域に含まれる前記候補の輝度の垂直方向の平均値を計算することによって前記平均値の水平方向の分布を作成する水平方向輝度平均分布作成部と、
前記分布に他の領域よりも所定の基準以上、平均輝度が大きい領域が存在した場合、前記候補領域を停止線でないと判定する輝度平均分布分析部
とを具備する停止線認識装置。
【請求項２】
請求項１に記載された停止線認識装置であって、
前記水平方向輝度平均分布作成部は、前記候補領域の水平方向の各位置について垂直方向に画素の輝度を加算することによって前記分布を作成する
停止線認識装置。
【請求項３】
請求項２に記載された停止線認識装置であって、
前記輝度平均分布分析部は、最小二乗法によって前記分布を近似直線で近似し、前記分布から前記近似直線を減算し、前記減算の結果が前記水平方向に連続して０より大きい領域が所定幅よりも大きいときに、前記候補領域を停止線で無いと判定する
停止線認識装置。
【請求項４】
請求項１から３のいずれかに記載された停止線認識装置であって、
前記輝度平均分布分析部は、前記輝度分布が多い領域が水平方向に中央付近であることを条件として、前記候補領域を停止線でないと判定する
停止線認識装置。
【請求項１】
路面の画像を取得する画像取得部と、
前記画像から前記路面に描かれた停止線の候補である候補領域を検出する停止線候補検出部と、
前記候補領域に含まれる前記候補の輝度の垂直方向の平均値を計算することによって前記平均値の水平方向の分布を作成する水平方向輝度平均分布作成部と、
前記分布に他の領域よりも所定の基準以上、平均輝度が大きい領域が存在した場合、前記候補領域を停止線でないと判定する輝度平均分布分析部
とを具備する停止線認識装置。
【請求項２】
請求項１に記載された停止線認識装置であって、
前記水平方向輝度平均分布作成部は、前記候補領域の水平方向の各位置について垂直方向に画素の輝度を加算することによって前記分布を作成する
停止線認識装置。
【請求項３】
請求項２に記載された停止線認識装置であって、
前記輝度平均分布分析部は、最小二乗法によって前記分布を近似直線で近似し、前記分布から前記近似直線を減算し、前記減算の結果が前記水平方向に連続して０より大きい領域が所定幅よりも大きいときに、前記候補領域を停止線で無いと判定する
停止線認識装置。
【請求項４】
請求項１から３のいずれかに記載された停止線認識装置であって、
前記輝度平均分布分析部は、前記輝度分布が多い領域が水平方向に中央付近であることを条件として、前記候補領域を停止線でないと判定する
停止線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２２１４０８（Ｐ２０１２−２２１４０８Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９２２０（Ｐ２０１１−８９２２０）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]