車両用走行路検出装置

【課題】スミアが走行路と誤検出されることのない走行路検出装置とする。
【解決手段】カメラ１は自動露光で走行路を撮影し、その撮影画像は走行路検出部７において高輝度の連続領域が検出され走行路認識される。その際、カメラ１と同じ撮影領域を有する低感度のカメラ３が、カメラ１の露光時間情報をもとスミアが発生しないように露光時間計算装置８が計算した露光時間を用いて撮影する。その撮影画像は乗算器４で補正パラメータによってカメラ１の撮影画像と同じ明度に補正される。減算器５ではこの明度補正された画像に、カメラ１からの原画像が差分演算され、高輝度領域検出回路６はその差分画像から高輝度領域を検出する。走行路検出部７はその高輝度領域内で検出された高輝度点を走行路の検出候補から除外するようにしたので、走行路の検出画像にスミアが発生してもそれを走行路と誤検出されず、信頼性の高い走行路検出装置が得られる。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両の自動走行制御や車線逸脱警報などにおける走行路を画像処理によって検出する車両用走行路検出装置に関する。
【０００２】
【従来の技術】車両の自動走行制御や車線逸脱警報などの目的に使われる車両用走行路検出装置としては、例えば図５に示すようなものがある。カメラ３１が車両に搭載され車両の走行方向に走行路を連続的に撮影し、撮影した画像を処理部３２において画像処理を行なって走行路を検出する。その検出結果から走行路に対する自車位置を認識でき、無人運転制御、運転者の居眠りや不注意に対する警告などの機能を組み立てえる。
【０００３】図６はカメラ３１が撮影した走行路画像を示す。すなわち、走行路画像には走行路を示す白線やガードレールなどの白色の連続領域１０、１１が含まれるため、画像を微分演算すると、道路から白線に変わるところで微分値が正方向に大きく、白線から道路に変わるところでは微分値が負方向に大きいということとなる。したがって画像を水平方向走査し、微分値が正方向に大きい値を検出した後、ある距離（白線の幅）だけ離れた位置に負方向に大きい値を検出したならば、その走査位置に白線が存在する候補点ということになる。このようにすべての走査線について、または間を引いて白線の候補点を求めると、線形近似によって走行路を検出することができる。
【０００４】
【発明が解決しようとする課題】しかしながら、画像上に一定の幅を有する高輝度の連続領域が必ずしも白線とは限らず、太陽などの高輝度の被写体を撮影し、画像上にスミア現象が生じたときにも、同様の高輝度連続領域が現われる。上記のような従来の車両用走行路検出装置では、白線をそれと区別して検出することができないため、走行路の検出結果に誤検出を含むことになるという問題点があった。この発明は、上記の問題点に鑑み、スミア現象が発生しても、それを白線と誤認識することなく、走行路を正確に検出できる車両用走行路検出装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】このため、請求項１記載の発明は、車両が走行しようとする走行路を撮影する撮影手段と、該撮影手段の撮影画像から高輝度領域を検出することによって走行路を検出する走行路検出手段とを有する車両用走行路検出装置において、前記撮影画像内のスミア領域を検出するスミア領域検出手段を設け、前記走行路検出手段は前記スミア領域検出手段の検出結果に応じて前記スミア領域内の高輝度領域を検出候補から除外するものとした。
【０００６】前記スミア領域検出手段は、前記撮影手段と同じ領域を撮影する補助撮影手段と、該補助撮影手段がスミア現象を生じない程度で露光する露光時間を計算する露光時間計算手段と、前記補助撮影手段の撮影画像を前記撮影手段の撮影画像と略同じ明度となるように明度補正を行なう明度補正手段と、該明度補正手段によって明度補正された画像と前記撮影手段の撮影画像とを差分演算し、差分画像を出力する画像差分演算手段と、該画像差分演算手段の出力画像から高輝度領域を検出する高輝度検出手段とにより構成されるのが望ましい。
【０００７】また、前記撮影手段は、照射光または反射光の強度に応じて露光時間が変動する自動露光機能を有し、前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき前記補助撮影手段の露光時間を計算することができる。さらに、前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき明度補正パラメータを作成し、前記明度補正手段は該明度補正パラメータを用いて前記補助撮影手段の撮影画像の明度補正を行なうこともできる。
【０００８】
【作用】請求項１記載の発明では、撮影手段が車両が走行しようとする走行路を撮影し、その撮影画像から高輝度領域を検出することによって走行路を検出する。この際、スミア領域検出手段が撮影画像内のスミア領域を検出し、走行路検出手段は前記スミア領域検出手段の検出結果に応じて前記スミア領域内の高輝度領域を検出域から除外するようにしたので、高輝度の物体を撮影し、スミアが画像に生じても、それを走行路の検出情報と誤認識することが防がれる。
【０００９】前記スミア領域検出手段では、補助撮影手段が前記撮影手段と同じ領域を、スミア現象が生じないように計算された露光時間で撮影し、その撮影画像をさらに撮影手段の撮影画像と略同じ明度となるように明度補正を行なって、撮影手段の撮影画像と差分演算する。明度補正された撮影画像にスミア領域がないので、その差分画像上では高輝度領域はスミアの発生領域となる。したがってその高輝度領域が検出されるとスミア領域の発生とその発生領域が検出されることとなる。
【００１０】前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき前記補助撮影手段の露光時間を計算するようにすると、露光時間を計算する際に用いる走行路照明状況を検出する必要がなく、装置の構成が簡単になる。さらに、前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき明度補正パラメータを作成し、前記明度補正手段は該明度補正パラメータを用いて前記補助撮影手段の撮影画像の明度補正を行なうようにすると、補正が簡単に行なえ、正確な補正が期待できる。
【００１１】
【発明の実施の形態】以下、発明の実施形態について実施例により説明する。図１は実施例の構成を示すブロック図である。撮影手段としてのカメラ１はＣＣＤカメラで車両の前方に前向きに、路面と平行またはやや下を向くように走行路を重視する角度で設置される。カメラ１には自動露光機能が備えられ、光の照射条件に対応した適切な露出の画像が作成される。その原画像となる画像信号は走行路検出部７に出力される。
【００１２】カメラ１の設置位置近傍に、カメラ１と同じ撮影領域を有する補助撮影手段として低感度で撮影するカメラ３が設けられている。カメラ３は自動露光機能を持たず、露光時間計算部８がその露光時間を計算し決定する。すなわち露光時間計算部８はカメラ１の露光時間情報を入力し、その露光時間情報から走行路の照明条件を推定しスミアが発生しない露光時間を計算する。それと同時に、カメラ３で撮影された画像の明度をカメラ１の撮影画像の明度と同じになるように明度補正パラメータを出力する。
【００１３】カメラ３の撮影画像は明度補正手段としての乗算器４に出力され、ここで明度補正パラメータによって明度補正される。この明度補正された画像は、カメラ１からの原画像とともに画像差分演算手段としての減算器５に出力され、差分演算される。カメラ３の撮影画像にスミアがないので、その差分演算の結果から高い値が得られた場合はスミアが発生しているということになる。高輝度領域検出部６は差分画像から高輝度領域を検出する。この高輝度領域はスミア領域となるため、スミアの発生領域が特定される。走行路検出部７では、その詳細について後述詳細説明するが、入力された原画像とスミア領域データに基づき白線を検出して走行路を認識する。
【００１４】次に、上記装置の動作原理を図２に基づいて説明する。図２（ａ）のように、カメラ１で撮影される画像において、白線１０と１２が囲む走行路上に太陽が含まれ、これによりスミア１１が生じている状況を考える。このとき、低感度で撮影するカメラ３は、（ｂ）に示すように太陽１３を撮影したが、感度が低いためスミアは生じていない画像を出力する。この画像は、低感度で撮影されたので白線１０’、１２’を含めて明度が低く、コンストラストの弱い画像となる。
【００１５】カメラ３で撮影された画像は、乗算器４によって、カメラ１による画像に近い明度になるように補正されるが、元々微細な明度情報は保持していないため、明度を補正しても、カメラ１による画像の明度とは一致しない部分がある。スミアが生じていない領域については、対応する画素同士の明度差は、あまり大きくないので、図２の（ｃ）に点線で示すように差分画像上では白線１０”、１２”、太陽１３”などが低輝度領域となっている。これに対し、カメラ１の画像上でスミアにより高輝度になっている領域１１は、低感度のカメラ３で撮影後に補正した画像の対応点との明度差が大きいから差分画像上では高輝度領域１１”で現われる。したがって、差分画像から高輝度領域１１”を取り出すことにより、スミアにより高輝度になっている領域を検出することができる。この領域内の高輝度領域を白線検出の候補から取り除くことによって、スミアが白線と誤検出されることが防がれる。
【００１６】以下、図３と図４に基づいて走行路検出部７のアルゴルズムを詳細に説明する。図３はスミアがないときの白線候補点の生成状態を示し、図４はスミアがあるときの白線候補点の生成状態を示す図である。まず、（１）カメラ１が車両に固定されていることから、白線は画像中のある一定の領域内に撮影されるので、図３または図４の（ａ）に示すようにその領域Ｗだけを取り出し、取り出された画像領域Ｗに微分演算を施して、（ｂ）のようなエッジ画像を得る。次に、エッジ画像（ｂ）を主走査すなわち水平方向のラインに分割し、各ラインごとに白線と思われる領域が存在するかを調べる。
【００１７】（２）ラインの左端から右端までの各画素の明度値を調べる。道路は比較的明度値が低く、白線は高いことから、画像の白線部分は、図３または図４の（ｃ）のように道路から白線に変わるところで微分値が正方向に大きく、白線から道路に変わるところでは微分値が負方向に大きいこととなる。したがって微分値が正方向に大きい点を検出した後、ある距離ａ（白線幅）だけ離れた位置に負方向に大きい点を検出したら、その位置に白線が存在する候補点ということになるが、図４の（ｃ）のような画像にスミアが生じた場合は、微分値にスミアがもたらしたものｄが含まれ、誤検出となる。
（３）上記得られた候補点のうち、高輝度領域検出回路から入力されたスミア領域の位置情報と照合して図４の（ｃ）に示すようなスミア領域と合致した候補点ｄを除く。
【００１８】（４）次に、取り出した画像のライン全てについて、または適当に間引いて（２）の操作を行ない白線の候補点のリストを作成する。最後に、得られた白線の候補点のリストに対してエッジ画像上で直線、または曲線の当てはめを行ない、走行路を判定する。
【００１９】本実施例は以上のように構成され、カメラ１は走行路を適切な露光時間で撮影をし、得られた画像から微分演算によって白線を検出して走行路を認識する。このとき、低感度のカメラ３はカメラ１より低い感度でスミアが生じない画像を撮影し、その画像を明度補正して、カメラ１の撮影画像と比較される。その比較の結果からスミアの発生と発生領域を検出し、白線の検出候補から領域が一致したものを除外するから、走行路原画像にスミアが含まれても、それを白線と誤検出することなく、使用場面を選ばない効果が得られる。またカメラ１にスミア発生防止対策をとる必要がないので、高感度で走行路検出することができる。
【００２０】
【発明の効果】請求項１記載の発明では、撮影手段が車両が走行しようとする走行路を撮影し、その撮影画像から高輝度領域を検出することによって走行路を検出する。この際、スミア領域検出手段が撮影画像内のスミア領域を検出し、走行路検出手段は前記スミア領域検出手段の検出結果に応じて前記スミア領域内の高輝度領域を検出域から除外するようにしたので、高輝度の物体を撮影し、スミアが画像に生じても、それを走行路の検出情報と誤認識することが防がれる。これにより走行路検出装置の使用場面が広げられる効果が得られる。また撮影手段の撮影感度を落としてスミア防止という対策をとるのと比べると、走行路が高感度で検出でき、スミアが生じない画像では走行路の検出精度が高められる。
【００２１】前記スミア領域検出手段では、補助撮影手段が前記撮影手段と同じ領域を、スミア現象が生じないように計算された露光時間で撮影し、その撮影画像をさらに撮影手段の撮影画像と略同じ明度となるように明度補正を行なって、撮影手段の撮影画像と差分演算する。明度補正された撮影画像にスミア領域がないので、その差分画像上では高輝度領域はスミアの発生領域となる。したがってその高輝度領域が検出されるとスミア領域の発生とその発生領域が検出されることとなる。これによってスミアが確実に検出でき、正確なスミア発生位置情報を提供することができる。
【００２２】前記露光時間計算手段が、前記撮影手段の露光時間情報に基づき前記補助撮影手段の露光時間を計算するようにすると、露光時間を計算する際に用いる走行路照明状況を検出する必要がなく、装置の構成が簡単になる。さらに、前記露光時間計算手段が、前記撮影手段の露光時間情報に基づき明度補正パラメータを作成し、前記明度補正手段は該明度補正パラメータを用いて前記補助撮影手段の撮影画像の明度補正を行なうようにすると、補正が簡単に行なえ、正確な補正が期待できる。これによって明度補正の不適切でスミア領域以外の部分も高輝度領域となるのが防がれる。
【図面の簡単な説明】
【図１】実施例の構成を示すブロック図である。
【図２】スミア領域の検出説明図である。
【図３】スミアがないときの白線候補点の生成状態を示す図である。
【図４】スミアがあるときの白線候補点の生成状態を示す図である。
【図５】従来例を示す図である。
【図６】走行路画像である。
【符号の説明】
１、３カメラ
４乗算器
５減算器
６高輝度検出部
７走行路検出部
８露光時間計算部
１０、１２、１０’、１２’、１０”、１２” 白線
１１、１１” スミア
１３、１３” 太陽

【特許請求の範囲】
【請求項１】車両が走行しようとする走行路を撮影する撮影手段と、該撮影手段の撮影画像から高輝度領域を検出することによって走行路を検出する走行路検出手段とを有する車両用走行路検出装置において、前記撮影画像内のスミア領域を検出するスミア領域検出手段を設け、前記走行路検出手段は前記スミア領域検出手段の検出結果に応じて前記スミア領域内の高輝度領域を検出域から除外することを特徴とする車両用走行路検出装置。
【請求項２】前記スミア領域検出手段は、前記撮影手段と同じ領域を撮影する補助撮影手段と、該補助撮影手段がスミア現象を生じない程度で露光する露光時間を計算する露光時間計算手段と、前記補助撮影手段の撮影画像を前記撮影手段の撮影画像と略同じ明度となるように明度補正を行なう明度補正手段と、該明度補正手段によって明度補正された画像と前記撮影手段の撮影画像とを差分演算し、差分画像を出力する画像差分演算手段と、該画像差分演算手段の出力画像から高輝度領域を検出する高輝度検出手段とにより構成されることを特徴とする請求項１記載の車両用走行路検出装置。
【請求項３】前記撮影手段は、照射光または反射光の強度に応じて露光時間が変動する自動露光機能を有し、前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき前記補助撮影手段の露光時間を計算することを特徴とする請求項１または２記載の車両用走行路検出装置。
【請求項４】前記露光時間計算手段は、前記撮影手段の露光時間情報に基づき明度補正パラメータを作成し、前記明度補正手段は該明度補正パラメータを用いて前記補助撮影手段の撮影画像の明度補正を行なうことを特徴とする請求項１、２または３記載の車両用走行路検出装置。

【図１】