停止線認識装置
【課題】過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる停止線認識装置を提供する。
【解決手段】画像処理ユニット４は、自車走行路前方の信号機の認識を行い、自車走行路上の直前の信号機が設定距離Ｌ２以内の位置に存在し且つその信号機が赤信号であることを認識したとき、停止線認識モードへと移行して停止線の認識処理を実行する。これにより、不要な場面での停止線認識処理の実行を的確に排除することができる。従って、過大な演算負荷を発生させることなく、自車両１の制御に必要な停止線を精度良く認識することができる。
【解決手段】画像処理ユニット４は、自車走行路前方の信号機の認識を行い、自車走行路上の直前の信号機が設定距離Ｌ２以内の位置に存在し且つその信号機が赤信号であることを認識したとき、停止線認識モードへと移行して停止線の認識処理を実行する。これにより、不要な場面での停止線認識処理の実行を的確に排除することができる。従って、過大な演算負荷を発生させることなく、自車両１の制御に必要な停止線を精度良く認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行路前方の停止線を認識する停止線認識装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（Intelligent Transport System）の一環として、様々な車両用運転支援装置が開発されている。例えば、特許文献１には、ＣＣＤカメラが撮像した画像信号に対してテンプレートマッチング等の画像認識処理を施すことで、自車両が停止すべきことを示す特定対象物を抽出し、抽出した特定対象物に基づいて車両を停止させるための運転支援を行う技術が開示されている。ここで、特許文献１の技術では、特定対象物として、先行車両がブレーキ操作を行っていることを示す発光したブレーキランプ、赤信号となっている信号機、一時停止を指示する道路標識等が検出され、さらに、停止線の位置等が認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１７０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の停止制御等の運転支援を行うに際し、道路上に設けられた停止線は、一般に、交差点等における停止時の指標としてのみ用いられるものであり、先行車両や信号機等のように自車両を停止させる必要があるか否かを直接的に判定するための対象ではないため、常時認識される必要性が乏しい。
【０００５】
従って、先行車両や信号機等と同等のレベルで、停止線の認識処理を定常的に行った場合、不要な演算負荷を増大させ、結果として、運転支援制御自体の処理時間の長大化等を招く虞がある。
【０００６】
また、例えば、自車走行路上を複数の街路樹の陰が横切っている場合等においては、当該陰によって道路上に形成される明暗模様が画像上では停止線と誤認識される可能性がある等、定常的に停止線の認識処理を行うことは停止線の認識精度を低下させる要因ともなる。
【０００７】
本発明は上記事情に鑑みてなされたもので、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる停止線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行路を含む前方の車外環境を撮像する撮像手段と、前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、自車走行路前方の信号機を認識する信号機認識手段と、前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の停止線認識装置によれば、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係わり、車両用運転支援装置の概略構成図
【図２】同上、停止線認識ルーチンを示すフローチャート
【図３】同上、信号機認識サブルーチンを示すフローチャート
【図４】同上、信号機及び停止線の各認識枠を示す説明図
【図５】同上、画像上に設定した停止線認識枠の一例を示す説明図
【図６】本発明の第２の実施形態に係わり、停止線認識ルーチンを示すフローチャート
【図７】同上、画像上に設定した停止線認識枠の一例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の第１の実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は停止線認識ルーチンを示すフローチャート、図３は信号機認識サブルーチンを示すフローチャート、図４は信号機及び停止線の各認識枠を示す説明図、図５は画像上に設定した停止線認識枠の一例を示す説明図である。
【００１２】
図１において、自動車等の車両（自車両）１に搭載される車両用運転支援装置２は、撮像光学系３と、画像処理ユニット４と、走行制御ユニット５とを備えて要部が構成されている。
【００１３】
撮像光学系３は、例えば、車室内前部の天井に固設された撮像手段としての単眼のカメラ３ａを中心として要部が構成され、自車走行路を含む前方の車外環境を撮像する。ここで、本実施形態のカメラ３ａは、例えば、カラーＣＣＤを搭載したカラーカメラで構成され、撮像したカラー画像上の下部領域に自車走行路を位置させるとともに、自車走行路上に信号機等が存在する場合には当該信号機等をカラー画像上の上部領域に位置させるよう、その撮像範囲及び光軸等が設定されている。
【００１４】
画像処理ユニット４は、後述する停止線認識ルーチンに従って、道路上の停止線を認識する。この停止線認識処理において、画像処理ユニット４は、先ず、自車走行路前方の信号機（交通信号機）の認識を行い、自車走行路上に信号機が存在し且つ自車走行路上の直前の信号機が赤信号であることを認識したとき、停止線認識モードへと移行する。
【００１５】
そして、停止線認識モードへと移行すると、画像処理ユニット４は、撮像光学系３から入力された画像上の下部領域に、車幅方向に延在する停止線認識枠Ｒ１（図４参照）を設定し、当該停止線認識枠Ｒ１内の輝度の時系列的な変化に基づいて停止線を認識する。この場合において、停止線認識枠Ｒ１は、例えば、車幅方向に連なる６個の小領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ，Ｒｅ，Ｒｆからなる細長な観察枠で構成され、自車走行路が平坦な水平路である場合に、自車両１から設定距離Ｌ１前方（例えば、１０ｍ前方）の路面を表示する画像上の領域に対応して配置されている。そして、画像処理ユニット４は、例えば、６つの小領域Ｒａ〜Ｒｆのうち、連続する少なくとも３つの小領域、すなわち、Ｒａ，Ｒｂ，Ｒｃ、或いは、Ｒｂ，Ｒｃ，Ｒｄ、或いは、Ｒｃ，Ｒｄ，Ｒｅ、或いは、Ｒｄ，Ｒｅ，Ｒｆの何れかの平均輝度が、低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。ここで、６つの領域Ｒａ〜Ｒｆの全てが、同時に輝度変化をするときに停止線と判定するという条件にしなかったのは、停止線の長さが短いものに対応するためであり、また、停止線の長さが長いものでも、自車両１が停止線に対して略垂直に侵入しなければ、両端の小領域のどちらかが停止線からはみ出してしまう可能性があるからである。なお、６つの小領域Ｒａ〜Ｒｆのうち、連続する３つの小領域の平均輝度が大きくなった、或いは、小さくなったと判断する比較基準となる閾値（輝度差判定閾値）は、走行環境の状況に応じて可変されるようになっている。例えば、昼間の日向では、閾値は比較的大きな値に設定され、昼間の日陰（例えば、停止線認識枠Ｒ１全体の平均輝度が低く、且つ、ヘッドライトがＯＦＦ状態の場合）では、閾値は低い値に設定され、夜間の場合は閾値は大きな値に設定される。
【００１６】
ここで、例えば、図１中に破線で示すように、道路付帯設備等との路車間通信や他の車両との車車間通信等が可能な無線機７を搭載している場合、画像処理ユニット４は、無線機７を通じて収集した各種車外情報に基づいて自車走行路上の信号機を認識することも可能であるが、撮像光学系３でカラー画像を取得する本実施形態においては、画像上の上部領域に信号機認識枠Ｒ２（図４参照）を設定し、当該信号機認識枠Ｒ２に対するパターンマッチング（テンプレートマッチング）等の処理に基づいて赤信号の認識が行われる。
【００１７】
このように、本実施形態において、画像処理ユニット４は、停止線認識手段、信号機認識手段及び許可判定手段としての各機能を有する。
【００１８】
走行制御ユニット５には、例えば、コンビネーションメータ上に配設された警報ランプ１８や警報ブザー１９等が接続されている。そして、走行制御ユニット５は、例えば、画像処理ユニット４で停止線が検出されたとき（すなわち、自車走行路上の直前の信号が赤信号であり、且つ、自車両１から設定距離Ｌ１前方（例えば、１０ｍ前方）に停止線が検出されたとき）、必要に応じて、警報ランプ１８や警報ブザー１９を通じた警報出力を行う。なお、このような警報出力に加え、走行制御ユニット５は、停止線に対し、例えば、スロットル弁制御やブレーキ介入による制動制御等を適宜行うことも可能である。
【００１９】
次に、画像処理ユニット４で実行される停止線認識制御について、図２に示す停止線認識ルーチンのフローチャートに従って説明する。このルーチンは設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、画像処理ユニット４は、先ず、ステップＳ１０１において、撮像光学系３で撮像された自車前方の画像信号を取り込む。
【００２０】
続くステップＳ１０２において、画像処理ユニット４は、取り込んだ画像信号に基づく信号機認識を行う。この信号機認識は、例えば、図３に示す信号機認識サブルーチンのフローチャートに従って実行されるもので、このサブルーチンがスタートすると、画像処理ユニット４は、ステップＳ２０１において、画像上の上部領域に信号機認識枠Ｒ２（図４参照）を設定する。
【００２１】
ステップＳ２０１からステップＳ２０２に進むと、画像処理ユニット４は、信号機認識枠Ｒ２内の画素群に対するパターンマッチング等を行い、信号機の抽出処理を行った後、ステップＳ２０３に進む。
【００２２】
そして、ステップＳ２０３において、画像処理ユニット４は、自車走行路上に信号機が抽出されたか否かを調べ、信号機が抽出されなかったと判定した場合、そのままサブルーチンを抜ける。ここで、画像処理ユニット４は、例えば、車速センサ１１で検出される自車速Ｖ及びヨーレートセンサ１２で検出されるヨーレートγに基づいて自車両１の進行方向を推定し、当該自車進行方向に基づいて画像上での自車走行路を推定することが可能である。或いは、画像処理ユニット４は、例えば、周知のパターンマッチング等を用いて画像上の白線認識を行い、認識した白線に基づいて自車走行路を推定することが可能である。
【００２３】
一方、ステップＳ２０３において、自車走行路上に信号機が抽出されたと判定した場合、画像処理ユニット４は、ステップＳ２０４に進み、自車走行路上に複数の信号機が抽出されたか否かを調べる。
【００２４】
そして、画像処理ユニット４は、ステップＳ２０４において、単一の信号機のみが抽出されたと判定した場合にはステップＳ２０６に進み、複数の信号機が抽出されたと判定した場合にはステップＳ２０５に進む。
【００２５】
ステップＳ２０４からステップＳ２０５に進むと、画像処理ユニット４は、自車走行路上の信号機の中から自車両１に最も近い信号機を選択した後、ステップＳ２０５に進む。ここで、一般に、道路上に配される信号機のサイズは略画一的なものであるため、画像処理ユニット４は、画像上で抽出された信号機の大きさに基づいて自車両１から各信号機までの距離を算出することが可能である。
【００２６】
そして、ステップＳ２０４或いはステップＳ２０５からステップＳ２０６に進むと、画像処理ユニット４は、自車走行路上で抽出された直前の信号機が自車両１から設定距離Ｌ２（Ｌ２＞Ｌ１）以内の位置に存在するか否かを調べる。
【００２７】
そして、ステップＳ２０６において、自車走行路上の直前の信号機が自車両１から設定距離Ｌ２以上離間した位置に存在していると判定した場合、画像処理ユニット４は、そのままサブルーチンを抜ける。
【００２８】
一方、ステップＳ２０６において、自車走行路上の直前の信号機が自車両１から設定距離Ｌ２以内の位置に存在すると判定した場合、画像処理ユニット４は、ステップＳ２０７に進み、自車走行路上の直前の信号機の点灯色を判定（すなわち、赤信号か否かを判定）した後、サブルーチンを抜ける。
【００２９】
図２のメインルーチンにおいて、ステップＳ１０２からステップＳ１０３に進むと、画像処理ユニット４は、現在の制御状態が停止線認識モードであるか否かを調べ、停止線認識モードでないと判定した場合にはステップＳ１０４に進み、停止線認識モードであると判定した場合にはステップＳ１０７に進む。
【００３０】
ステップＳ１０３からステップＳ１０４に進むと、画像処理ユニット４は、上述のステップＳ１０２の処理において自車走行路上の直前に赤信号が検出されているか否か（すなわち、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が検出されており且つその信号機が赤信号であるか否か）を調べる。
【００３１】
そして、ステップＳ１０４において、自車走行路上の直前に赤信号が検出されていないと判定した場合（すなわち、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が存在しないと判定した場合、或いは、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が存在する場合であってもその信号機が赤信号以外である場合等）、画像処理ユニット４は、そのままルーチンを抜ける。
【００３２】
一方、ステップＳ１０４において、自車走行路上の直前に赤信号が検出されていると判定した場合、画像処理ユニット４は、ステップＳ１０５に進み、制御状態を停止線認識モードへと移行し、続くステップＳ１０６において、警報ランプ１８や警報ブザーから発する光や音によって停止線認識モードに移行した旨をドライバに警告した後、ステップＳ１１０に進む。
【００３３】
また、ステップＳ１０３からステップＳ１０７に進むと、画像処理ユニット４は、上述のステップＳ１０２の処理において自車走行路上の直前に青信号が検出されているか否か（すなわち、自車走行路上の設定距離Ｌ２以内の位置に信号機が検出されており且つその信号機が青信号であるか否か）を調べる。
【００３４】
そして、ステップＳ１０７において、自車走行路上の直前に青信号が検出されていると判定した場合、画像処理ユニット４は、ステップS１０９に進む。
【００３５】
一方、ステップＳ１０７において、自車走行路上の直前に青信号が検出されていないと判定した場合（すなわち、自車走行路上の設定距離Ｌ２以内の位置に信号機自体が検出されていない場合、或いは、自車走行路上の設定距離Ｌ２以内の位置に信号機が検出されており且つその信号機が赤信号である場合等）、画像処理ユニット４は、ステップＳ１０８に進み、停止線認識モードに移行後の経過時間が設定時間以上であるか否かを調べる。
【００３６】
そして、画像処理ユニット４は、ステップＳ１０８において、停止線認識モード移行後の経過時間が設定時間以上であると判定した場合にはステップＳ１０９に進み、停止線認識モード移行後の経過時間が設定時間未満であると判定した場合にはステップＳ１１０に進む。
【００３７】
そして、ステップＳ１０７或いはステップＳ１０８からステップＳ１０９に進むと、画像処理ユニット４は、停止線認識モードを解除した後、ルーチンを抜ける。すなわち、ステップＳ１０７で青信号が検出される場合とは、具体的には、これまで赤信号であった自車走行路上の直前の信号機が青信号に変化した場合であり、このような場合、自車両１を停止線で停止させる必要性が解消されたと判断できるため、画像処理ユニット４は、停止線認識モードを解除する。また、ステップＳ１０８で停止線認識モード移行後の経過時間が設定時間以上である場合とは、具体的には、ドライバが自車走行路上の直前の赤信号に対応して自車両１を既に停止させた場合や停止のための減速等を行っている場合や、既に停止線の認識が完了している場合等が想定されるため、画像処理ユニット４は、停止線認識モードを解除する。
【００３８】
一方、ステップＳ１０６或いはステップＳ１０８からステップＳ１１０に進むと、画像処理ユニット４は、ステップＳ１０１で取り込んだ画像上に停止線認識枠Ｒ１を設定する（図５参照）。
【００３９】
続くステップＳ１１１において、画像処理ユニット４は、停止線認識枠Ｒ１の各小領域Ｒａ〜Ｒｆ内の各平均輝度を算出し、各小領域Ｒａ〜Ｒｆ内の各平均輝度の時系列的な輝度変化の検出処理を行う。
【００４０】
そして、ステップＳ１１２に進むと、画像処理ユニット４は、ステップＳ１１１において時系列的に特定の輝度変化が検出されたか否か（すなわち、予め設定された判定時間Ｔ内において、連続する少なくとも３つの小領域の平均輝度が、時系列的に、低い状態から高くなり、その後低くなったか否か）を調べ、時系列的な特定の輝度変化が検出されていないと判定した場合、そのままルーチンを抜ける。ここで、判定時間Ｔは、車速センサ１１で検出される自車速Ｖに応じて可変設定されることが望ましく、具体的には、自車速Ｖが高くなるほど短く設定されることが望ましい。
【００４１】
一方、ステップＳ１１３において、時系列的な特定の輝度変化が検出されたと判定した場合、画像処理ユニット４は、ステップＳ１１３に進み、時系列的な特定の輝度変化が検出された小領域に対応する画像上の位置に停止線が存在することを判定した後、ルーチンを抜ける。
【００４２】
このような実施形態によれば、自車走行路前方の信号機の認識を行い、自車走行路上の直前の信号機が設定距離Ｌ２以内の位置に存在し且つその信号機が赤信号であることを認識したとき、停止線認識モードへと移行して停止線の認識処理を実行することにより、不要な場面での停止線認識処理の実行を的確に排除することができる。従って、過大な演算負荷を発生させることなく、自車両１の制御に必要な停止線を精度良く認識することができる。すなわち、自車走行路上の直線の信号機が赤信号である場合に限って停止線の認識処理を行うことにより、不要な場面での停止線の認識処理を排除することができる。また、自車走行路上の直前に信号機が存在しない場合には停止線の認識処理を行わないため、本来なら停止線が存在し得ない道路上での停止線の誤認識等を防止することができ、停止線の認識精度を向上することができる。
【００４３】
この場合において、カラーカメラ等からなる単眼のカメラ３ａを中心として撮像光学系３を構成し、撮像したカラー画像の上部領域に対するパターンマッチング等の処理を行うことにより、新たな装置等を別途追加することなく、自車走行路上に存在する信号機の認識を実現することができる。
【００４４】
次に、図６，７は本発明の第２の実施形態に係わり、図６は停止線認識ルーチンを示すフローチャート、図７は画像上に設定した停止線認識枠の一例を示す説明図である。なお、本実施形態は、自車走行路上の直前に検出した信号機の位置に応じて、画像上での停止線認識枠Ｒ１の車幅方向の位置を可変に設定する点が、上述の第１の実施形態に対して主として異なる。その他、上述の第１の実施形態と同様の構成及び同様の処理等については説明を省略する。
【００４５】
本実施形態において、画像処理ユニット４で実行される停止線認識制御は、図６に示す停止線認識ルーチンのフローチャートに従って所定時間毎に繰り返し実行されるもので、このルーチンがスタートすると、画像処理ユニット４は、ステップＳ３０１〜Ｓ３０９において、上述の第１の実施形態におけるステップＳ１０１〜Ｓ１０９と同様の処理を行う。
【００４６】
そして、ステップＳ３０６或いはステップＳ３０８からステップＳ３１０に進むと、画像処理ユニット４は、画像上における、車幅方向中心から信号機（自車走行路上の直前の赤信号）の中心までの距離を、信号機横位置Ｘｓｉｇとして算出する（図７参照）。
【００４７】
そして、ステップＳ３１０からステップＳ３１１に進むと、画像処理ユニット４は、信号機横位置Ｘｓｉｇに対して予め設定されたゲインＧｘを乗算することによって停止線認識枠Ｒ１の横位置オフセット量Ｘｏｆｓｅｔを算出し、続くステップＳ３１２において、画像中心に対して車幅方向にＸｏｆｓｅｔだけオフセットさせた位置に停止線認識枠Ｒ１を設定する（図７参照）。
【００４８】
そして、画像処理ユニット４は、ステップＳ３１２で設定した停止線認識枠Ｒ１を用い、ステップＳ３１３〜ステップＳ３１５において、上述の第１の実施形態のステップＳ１１１〜ステップＳ１１３と同様の処理を行った後、ルーチンを抜ける。
【００４９】
このような実施形態によれば、自車走行路上の直前の信号機の車幅方向の位置に応じて停止線認識枠Ｒ１を設定することにより、自車前方のカーブ等にも対応した好適な位置に停止線認識枠Ｒ１を設定することができ、停止線の認識精度をさらに向上することができる。この場合、特に、同一の画像上で認識した自車走行路上の直前の赤信号の車幅方向の位置に基づいて、停止線認識枠Ｒ１の位置を可変設定させるので、信号機と停止線認識枠Ｒ１との関係を精度良くリンクさせることができる。
【符号の説明】
【００５０】
１ … 車両（自車両）
２ … 車両用運転支援装置
３ … 撮像光学系
３ａ … カメラ（撮像手段）
４ … 画像処理ユニット（停止線認識手段、信号機認識手段、許可判定手段）
５ … 走行制御ユニット
７ … 無線機
１１ … 車速センサ
１２ … ヨーレートセンサ
１８ … 警報ランプ
１９ … 警報ブザー
【技術分野】
【０００１】
本発明は、走行路前方の停止線を認識する停止線認識装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（Intelligent Transport System）の一環として、様々な車両用運転支援装置が開発されている。例えば、特許文献１には、ＣＣＤカメラが撮像した画像信号に対してテンプレートマッチング等の画像認識処理を施すことで、自車両が停止すべきことを示す特定対象物を抽出し、抽出した特定対象物に基づいて車両を停止させるための運転支援を行う技術が開示されている。ここで、特許文献１の技術では、特定対象物として、先行車両がブレーキ操作を行っていることを示す発光したブレーキランプ、赤信号となっている信号機、一時停止を指示する道路標識等が検出され、さらに、停止線の位置等が認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１７０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の停止制御等の運転支援を行うに際し、道路上に設けられた停止線は、一般に、交差点等における停止時の指標としてのみ用いられるものであり、先行車両や信号機等のように自車両を停止させる必要があるか否かを直接的に判定するための対象ではないため、常時認識される必要性が乏しい。
【０００５】
従って、先行車両や信号機等と同等のレベルで、停止線の認識処理を定常的に行った場合、不要な演算負荷を増大させ、結果として、運転支援制御自体の処理時間の長大化等を招く虞がある。
【０００６】
また、例えば、自車走行路上を複数の街路樹の陰が横切っている場合等においては、当該陰によって道路上に形成される明暗模様が画像上では停止線と誤認識される可能性がある等、定常的に停止線の認識処理を行うことは停止線の認識精度を低下させる要因ともなる。
【０００７】
本発明は上記事情に鑑みてなされたもので、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる停止線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行路を含む前方の車外環境を撮像する撮像手段と、前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、自車走行路前方の信号機を認識する信号機認識手段と、前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の停止線認識装置によれば、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係わり、車両用運転支援装置の概略構成図
【図２】同上、停止線認識ルーチンを示すフローチャート
【図３】同上、信号機認識サブルーチンを示すフローチャート
【図４】同上、信号機及び停止線の各認識枠を示す説明図
【図５】同上、画像上に設定した停止線認識枠の一例を示す説明図
【図６】本発明の第２の実施形態に係わり、停止線認識ルーチンを示すフローチャート
【図７】同上、画像上に設定した停止線認識枠の一例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の第１の実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は停止線認識ルーチンを示すフローチャート、図３は信号機認識サブルーチンを示すフローチャート、図４は信号機及び停止線の各認識枠を示す説明図、図５は画像上に設定した停止線認識枠の一例を示す説明図である。
【００１２】
図１において、自動車等の車両（自車両）１に搭載される車両用運転支援装置２は、撮像光学系３と、画像処理ユニット４と、走行制御ユニット５とを備えて要部が構成されている。
【００１３】
撮像光学系３は、例えば、車室内前部の天井に固設された撮像手段としての単眼のカメラ３ａを中心として要部が構成され、自車走行路を含む前方の車外環境を撮像する。ここで、本実施形態のカメラ３ａは、例えば、カラーＣＣＤを搭載したカラーカメラで構成され、撮像したカラー画像上の下部領域に自車走行路を位置させるとともに、自車走行路上に信号機等が存在する場合には当該信号機等をカラー画像上の上部領域に位置させるよう、その撮像範囲及び光軸等が設定されている。
【００１４】
画像処理ユニット４は、後述する停止線認識ルーチンに従って、道路上の停止線を認識する。この停止線認識処理において、画像処理ユニット４は、先ず、自車走行路前方の信号機（交通信号機）の認識を行い、自車走行路上に信号機が存在し且つ自車走行路上の直前の信号機が赤信号であることを認識したとき、停止線認識モードへと移行する。
【００１５】
そして、停止線認識モードへと移行すると、画像処理ユニット４は、撮像光学系３から入力された画像上の下部領域に、車幅方向に延在する停止線認識枠Ｒ１（図４参照）を設定し、当該停止線認識枠Ｒ１内の輝度の時系列的な変化に基づいて停止線を認識する。この場合において、停止線認識枠Ｒ１は、例えば、車幅方向に連なる６個の小領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ，Ｒｅ，Ｒｆからなる細長な観察枠で構成され、自車走行路が平坦な水平路である場合に、自車両１から設定距離Ｌ１前方（例えば、１０ｍ前方）の路面を表示する画像上の領域に対応して配置されている。そして、画像処理ユニット４は、例えば、６つの小領域Ｒａ〜Ｒｆのうち、連続する少なくとも３つの小領域、すなわち、Ｒａ，Ｒｂ，Ｒｃ、或いは、Ｒｂ，Ｒｃ，Ｒｄ、或いは、Ｒｃ，Ｒｄ，Ｒｅ、或いは、Ｒｄ，Ｒｅ，Ｒｆの何れかの平均輝度が、低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。ここで、６つの領域Ｒａ〜Ｒｆの全てが、同時に輝度変化をするときに停止線と判定するという条件にしなかったのは、停止線の長さが短いものに対応するためであり、また、停止線の長さが長いものでも、自車両１が停止線に対して略垂直に侵入しなければ、両端の小領域のどちらかが停止線からはみ出してしまう可能性があるからである。なお、６つの小領域Ｒａ〜Ｒｆのうち、連続する３つの小領域の平均輝度が大きくなった、或いは、小さくなったと判断する比較基準となる閾値（輝度差判定閾値）は、走行環境の状況に応じて可変されるようになっている。例えば、昼間の日向では、閾値は比較的大きな値に設定され、昼間の日陰（例えば、停止線認識枠Ｒ１全体の平均輝度が低く、且つ、ヘッドライトがＯＦＦ状態の場合）では、閾値は低い値に設定され、夜間の場合は閾値は大きな値に設定される。
【００１６】
ここで、例えば、図１中に破線で示すように、道路付帯設備等との路車間通信や他の車両との車車間通信等が可能な無線機７を搭載している場合、画像処理ユニット４は、無線機７を通じて収集した各種車外情報に基づいて自車走行路上の信号機を認識することも可能であるが、撮像光学系３でカラー画像を取得する本実施形態においては、画像上の上部領域に信号機認識枠Ｒ２（図４参照）を設定し、当該信号機認識枠Ｒ２に対するパターンマッチング（テンプレートマッチング）等の処理に基づいて赤信号の認識が行われる。
【００１７】
このように、本実施形態において、画像処理ユニット４は、停止線認識手段、信号機認識手段及び許可判定手段としての各機能を有する。
【００１８】
走行制御ユニット５には、例えば、コンビネーションメータ上に配設された警報ランプ１８や警報ブザー１９等が接続されている。そして、走行制御ユニット５は、例えば、画像処理ユニット４で停止線が検出されたとき（すなわち、自車走行路上の直前の信号が赤信号であり、且つ、自車両１から設定距離Ｌ１前方（例えば、１０ｍ前方）に停止線が検出されたとき）、必要に応じて、警報ランプ１８や警報ブザー１９を通じた警報出力を行う。なお、このような警報出力に加え、走行制御ユニット５は、停止線に対し、例えば、スロットル弁制御やブレーキ介入による制動制御等を適宜行うことも可能である。
【００１９】
次に、画像処理ユニット４で実行される停止線認識制御について、図２に示す停止線認識ルーチンのフローチャートに従って説明する。このルーチンは設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、画像処理ユニット４は、先ず、ステップＳ１０１において、撮像光学系３で撮像された自車前方の画像信号を取り込む。
【００２０】
続くステップＳ１０２において、画像処理ユニット４は、取り込んだ画像信号に基づく信号機認識を行う。この信号機認識は、例えば、図３に示す信号機認識サブルーチンのフローチャートに従って実行されるもので、このサブルーチンがスタートすると、画像処理ユニット４は、ステップＳ２０１において、画像上の上部領域に信号機認識枠Ｒ２（図４参照）を設定する。
【００２１】
ステップＳ２０１からステップＳ２０２に進むと、画像処理ユニット４は、信号機認識枠Ｒ２内の画素群に対するパターンマッチング等を行い、信号機の抽出処理を行った後、ステップＳ２０３に進む。
【００２２】
そして、ステップＳ２０３において、画像処理ユニット４は、自車走行路上に信号機が抽出されたか否かを調べ、信号機が抽出されなかったと判定した場合、そのままサブルーチンを抜ける。ここで、画像処理ユニット４は、例えば、車速センサ１１で検出される自車速Ｖ及びヨーレートセンサ１２で検出されるヨーレートγに基づいて自車両１の進行方向を推定し、当該自車進行方向に基づいて画像上での自車走行路を推定することが可能である。或いは、画像処理ユニット４は、例えば、周知のパターンマッチング等を用いて画像上の白線認識を行い、認識した白線に基づいて自車走行路を推定することが可能である。
【００２３】
一方、ステップＳ２０３において、自車走行路上に信号機が抽出されたと判定した場合、画像処理ユニット４は、ステップＳ２０４に進み、自車走行路上に複数の信号機が抽出されたか否かを調べる。
【００２４】
そして、画像処理ユニット４は、ステップＳ２０４において、単一の信号機のみが抽出されたと判定した場合にはステップＳ２０６に進み、複数の信号機が抽出されたと判定した場合にはステップＳ２０５に進む。
【００２５】
ステップＳ２０４からステップＳ２０５に進むと、画像処理ユニット４は、自車走行路上の信号機の中から自車両１に最も近い信号機を選択した後、ステップＳ２０５に進む。ここで、一般に、道路上に配される信号機のサイズは略画一的なものであるため、画像処理ユニット４は、画像上で抽出された信号機の大きさに基づいて自車両１から各信号機までの距離を算出することが可能である。
【００２６】
そして、ステップＳ２０４或いはステップＳ２０５からステップＳ２０６に進むと、画像処理ユニット４は、自車走行路上で抽出された直前の信号機が自車両１から設定距離Ｌ２（Ｌ２＞Ｌ１）以内の位置に存在するか否かを調べる。
【００２７】
そして、ステップＳ２０６において、自車走行路上の直前の信号機が自車両１から設定距離Ｌ２以上離間した位置に存在していると判定した場合、画像処理ユニット４は、そのままサブルーチンを抜ける。
【００２８】
一方、ステップＳ２０６において、自車走行路上の直前の信号機が自車両１から設定距離Ｌ２以内の位置に存在すると判定した場合、画像処理ユニット４は、ステップＳ２０７に進み、自車走行路上の直前の信号機の点灯色を判定（すなわち、赤信号か否かを判定）した後、サブルーチンを抜ける。
【００２９】
図２のメインルーチンにおいて、ステップＳ１０２からステップＳ１０３に進むと、画像処理ユニット４は、現在の制御状態が停止線認識モードであるか否かを調べ、停止線認識モードでないと判定した場合にはステップＳ１０４に進み、停止線認識モードであると判定した場合にはステップＳ１０７に進む。
【００３０】
ステップＳ１０３からステップＳ１０４に進むと、画像処理ユニット４は、上述のステップＳ１０２の処理において自車走行路上の直前に赤信号が検出されているか否か（すなわち、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が検出されており且つその信号機が赤信号であるか否か）を調べる。
【００３１】
そして、ステップＳ１０４において、自車走行路上の直前に赤信号が検出されていないと判定した場合（すなわち、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が存在しないと判定した場合、或いは、自車走行路上の設定距離Ｌ２以内の位置に直前の信号機が存在する場合であってもその信号機が赤信号以外である場合等）、画像処理ユニット４は、そのままルーチンを抜ける。
【００３２】
一方、ステップＳ１０４において、自車走行路上の直前に赤信号が検出されていると判定した場合、画像処理ユニット４は、ステップＳ１０５に進み、制御状態を停止線認識モードへと移行し、続くステップＳ１０６において、警報ランプ１８や警報ブザーから発する光や音によって停止線認識モードに移行した旨をドライバに警告した後、ステップＳ１１０に進む。
【００３３】
また、ステップＳ１０３からステップＳ１０７に進むと、画像処理ユニット４は、上述のステップＳ１０２の処理において自車走行路上の直前に青信号が検出されているか否か（すなわち、自車走行路上の設定距離Ｌ２以内の位置に信号機が検出されており且つその信号機が青信号であるか否か）を調べる。
【００３４】
そして、ステップＳ１０７において、自車走行路上の直前に青信号が検出されていると判定した場合、画像処理ユニット４は、ステップS１０９に進む。
【００３５】
一方、ステップＳ１０７において、自車走行路上の直前に青信号が検出されていないと判定した場合（すなわち、自車走行路上の設定距離Ｌ２以内の位置に信号機自体が検出されていない場合、或いは、自車走行路上の設定距離Ｌ２以内の位置に信号機が検出されており且つその信号機が赤信号である場合等）、画像処理ユニット４は、ステップＳ１０８に進み、停止線認識モードに移行後の経過時間が設定時間以上であるか否かを調べる。
【００３６】
そして、画像処理ユニット４は、ステップＳ１０８において、停止線認識モード移行後の経過時間が設定時間以上であると判定した場合にはステップＳ１０９に進み、停止線認識モード移行後の経過時間が設定時間未満であると判定した場合にはステップＳ１１０に進む。
【００３７】
そして、ステップＳ１０７或いはステップＳ１０８からステップＳ１０９に進むと、画像処理ユニット４は、停止線認識モードを解除した後、ルーチンを抜ける。すなわち、ステップＳ１０７で青信号が検出される場合とは、具体的には、これまで赤信号であった自車走行路上の直前の信号機が青信号に変化した場合であり、このような場合、自車両１を停止線で停止させる必要性が解消されたと判断できるため、画像処理ユニット４は、停止線認識モードを解除する。また、ステップＳ１０８で停止線認識モード移行後の経過時間が設定時間以上である場合とは、具体的には、ドライバが自車走行路上の直前の赤信号に対応して自車両１を既に停止させた場合や停止のための減速等を行っている場合や、既に停止線の認識が完了している場合等が想定されるため、画像処理ユニット４は、停止線認識モードを解除する。
【００３８】
一方、ステップＳ１０６或いはステップＳ１０８からステップＳ１１０に進むと、画像処理ユニット４は、ステップＳ１０１で取り込んだ画像上に停止線認識枠Ｒ１を設定する（図５参照）。
【００３９】
続くステップＳ１１１において、画像処理ユニット４は、停止線認識枠Ｒ１の各小領域Ｒａ〜Ｒｆ内の各平均輝度を算出し、各小領域Ｒａ〜Ｒｆ内の各平均輝度の時系列的な輝度変化の検出処理を行う。
【００４０】
そして、ステップＳ１１２に進むと、画像処理ユニット４は、ステップＳ１１１において時系列的に特定の輝度変化が検出されたか否か（すなわち、予め設定された判定時間Ｔ内において、連続する少なくとも３つの小領域の平均輝度が、時系列的に、低い状態から高くなり、その後低くなったか否か）を調べ、時系列的な特定の輝度変化が検出されていないと判定した場合、そのままルーチンを抜ける。ここで、判定時間Ｔは、車速センサ１１で検出される自車速Ｖに応じて可変設定されることが望ましく、具体的には、自車速Ｖが高くなるほど短く設定されることが望ましい。
【００４１】
一方、ステップＳ１１３において、時系列的な特定の輝度変化が検出されたと判定した場合、画像処理ユニット４は、ステップＳ１１３に進み、時系列的な特定の輝度変化が検出された小領域に対応する画像上の位置に停止線が存在することを判定した後、ルーチンを抜ける。
【００４２】
このような実施形態によれば、自車走行路前方の信号機の認識を行い、自車走行路上の直前の信号機が設定距離Ｌ２以内の位置に存在し且つその信号機が赤信号であることを認識したとき、停止線認識モードへと移行して停止線の認識処理を実行することにより、不要な場面での停止線認識処理の実行を的確に排除することができる。従って、過大な演算負荷を発生させることなく、自車両１の制御に必要な停止線を精度良く認識することができる。すなわち、自車走行路上の直線の信号機が赤信号である場合に限って停止線の認識処理を行うことにより、不要な場面での停止線の認識処理を排除することができる。また、自車走行路上の直前に信号機が存在しない場合には停止線の認識処理を行わないため、本来なら停止線が存在し得ない道路上での停止線の誤認識等を防止することができ、停止線の認識精度を向上することができる。
【００４３】
この場合において、カラーカメラ等からなる単眼のカメラ３ａを中心として撮像光学系３を構成し、撮像したカラー画像の上部領域に対するパターンマッチング等の処理を行うことにより、新たな装置等を別途追加することなく、自車走行路上に存在する信号機の認識を実現することができる。
【００４４】
次に、図６，７は本発明の第２の実施形態に係わり、図６は停止線認識ルーチンを示すフローチャート、図７は画像上に設定した停止線認識枠の一例を示す説明図である。なお、本実施形態は、自車走行路上の直前に検出した信号機の位置に応じて、画像上での停止線認識枠Ｒ１の車幅方向の位置を可変に設定する点が、上述の第１の実施形態に対して主として異なる。その他、上述の第１の実施形態と同様の構成及び同様の処理等については説明を省略する。
【００４５】
本実施形態において、画像処理ユニット４で実行される停止線認識制御は、図６に示す停止線認識ルーチンのフローチャートに従って所定時間毎に繰り返し実行されるもので、このルーチンがスタートすると、画像処理ユニット４は、ステップＳ３０１〜Ｓ３０９において、上述の第１の実施形態におけるステップＳ１０１〜Ｓ１０９と同様の処理を行う。
【００４６】
そして、ステップＳ３０６或いはステップＳ３０８からステップＳ３１０に進むと、画像処理ユニット４は、画像上における、車幅方向中心から信号機（自車走行路上の直前の赤信号）の中心までの距離を、信号機横位置Ｘｓｉｇとして算出する（図７参照）。
【００４７】
そして、ステップＳ３１０からステップＳ３１１に進むと、画像処理ユニット４は、信号機横位置Ｘｓｉｇに対して予め設定されたゲインＧｘを乗算することによって停止線認識枠Ｒ１の横位置オフセット量Ｘｏｆｓｅｔを算出し、続くステップＳ３１２において、画像中心に対して車幅方向にＸｏｆｓｅｔだけオフセットさせた位置に停止線認識枠Ｒ１を設定する（図７参照）。
【００４８】
そして、画像処理ユニット４は、ステップＳ３１２で設定した停止線認識枠Ｒ１を用い、ステップＳ３１３〜ステップＳ３１５において、上述の第１の実施形態のステップＳ１１１〜ステップＳ１１３と同様の処理を行った後、ルーチンを抜ける。
【００４９】
このような実施形態によれば、自車走行路上の直前の信号機の車幅方向の位置に応じて停止線認識枠Ｒ１を設定することにより、自車前方のカーブ等にも対応した好適な位置に停止線認識枠Ｒ１を設定することができ、停止線の認識精度をさらに向上することができる。この場合、特に、同一の画像上で認識した自車走行路上の直前の赤信号の車幅方向の位置に基づいて、停止線認識枠Ｒ１の位置を可変設定させるので、信号機と停止線認識枠Ｒ１との関係を精度良くリンクさせることができる。
【符号の説明】
【００５０】
１ … 車両（自車両）
２ … 車両用運転支援装置
３ … 撮像光学系
３ａ … カメラ（撮像手段）
４ … 画像処理ユニット（停止線認識手段、信号機認識手段、許可判定手段）
５ … 走行制御ユニット
７ … 無線機
１１ … 車速センサ
１２ … ヨーレートセンサ
１８ … 警報ランプ
１９ … 警報ブザー
【特許請求の範囲】
【請求項１】
自車走行路を含む前方の車外環境を撮像する撮像手段と、
前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、
自車走行路前方の信号機を認識する信号機認識手段と、
前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備えたことを特徴とする停止線認識装置。
【請求項２】
前記停止線認識手段は、自車前方で車幅方向に延在する停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項１記載の停止線認識装置。
【請求項３】
前記撮像手段はカラー画像を撮像する撮像手段であって、
前記信号機認識手段は、前記撮像手段で撮像したカラー画像に基づいて自車走行路上の直前の信号機を認識し、
前記停止線認識手段は、自車前方で車幅方向に延在し且つ前記信号機認識手段で認識した信号機の画像上における車幅方向の位置に応じて車幅方向の位置が可変な停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項１記載の停止線認識装置。
【請求項４】
前記停止線認識手段は、前記停止線認識枠内の輝度が判定時間内において時系列的に、設定輝度以下の状態から設定輝度以上へと変化し、再び設定輝度以下の状態に変化したとき、前記停止線認識枠内の輝度を設定輝度以上へと変化させた画像上の領域に停止線が存在することを判定することを特徴とする請求項１または請求項３に記載の停止線認識装置。
【請求項５】
前記判定時間は、自車両の車速が高くなるほど短くなるよう可変設定されることを特徴とする請求項４記載の停止線認識装置。
【請求項６】
前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、自車走行路上の直前の信号機が青信号に変化したとき、前記実行許可を解除することを特徴とする請求項１乃至請求項５の何れか１項に記載の停止線認識装置。
【請求項７】
前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、設定時間が経過したとき、前記実行許可を解除することを特徴とする請求項１乃至請求項６の何れか１項に記載の停止線認識装置。
【請求項１】
自車走行路を含む前方の車外環境を撮像する撮像手段と、
前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、
自車走行路前方の信号機を認識する信号機認識手段と、
前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備えたことを特徴とする停止線認識装置。
【請求項２】
前記停止線認識手段は、自車前方で車幅方向に延在する停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項１記載の停止線認識装置。
【請求項３】
前記撮像手段はカラー画像を撮像する撮像手段であって、
前記信号機認識手段は、前記撮像手段で撮像したカラー画像に基づいて自車走行路上の直前の信号機を認識し、
前記停止線認識手段は、自車前方で車幅方向に延在し且つ前記信号機認識手段で認識した信号機の画像上における車幅方向の位置に応じて車幅方向の位置が可変な停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項１記載の停止線認識装置。
【請求項４】
前記停止線認識手段は、前記停止線認識枠内の輝度が判定時間内において時系列的に、設定輝度以下の状態から設定輝度以上へと変化し、再び設定輝度以下の状態に変化したとき、前記停止線認識枠内の輝度を設定輝度以上へと変化させた画像上の領域に停止線が存在することを判定することを特徴とする請求項１または請求項３に記載の停止線認識装置。
【請求項５】
前記判定時間は、自車両の車速が高くなるほど短くなるよう可変設定されることを特徴とする請求項４記載の停止線認識装置。
【請求項６】
前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、自車走行路上の直前の信号機が青信号に変化したとき、前記実行許可を解除することを特徴とする請求項１乃至請求項５の何れか１項に記載の停止線認識装置。
【請求項７】
前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、設定時間が経過したとき、前記実行許可を解除することを特徴とする請求項１乃至請求項６の何れか１項に記載の停止線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１２３６１３（Ｐ２０１１−１２３６１３Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７９７５３（Ｐ２００９−２７９７５３）
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]