車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
【課題】車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供する。
【解決手段】車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。
【解決手段】車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラを用いて車両が走行している車線に対する車両の姿勢角を算出する方法に関する。
【背景技術】
【０００２】
車載カメラにより車両の周囲を撮像し、撮像した画像中の物体（車両，歩行者など）や道路標示・標識（区画線などの路面ペイント，止まれなどの標識など）を認識するための技術が種々提案されている。例えば、車載カメラで道路上にペイントが施されている区画線を認識し、車線内の車両位置を求めることができれば、車両が車線から逸脱するときに運転者に警報を発したり、ステアリングやブレーキを制御したりして逸脱を抑制することが可能となる。
【０００３】
このように車両が車線を逸脱するときに警報を発するシステムとして、ＪＩＳ（日本工業規格）のＪＩＳ Ｄ ０８０４で規格化されている車線逸脱警報システム（ＬＤＷＳ：Lane Departure Warning Systems）がある。この規格をとくに車両の後方を撮像し、撮像した画像中の区画線を認識する車載カメラを用いて実現する場合、車両後方で認識した区画線の情報を車両前輪位置に補正する必要があるため、この補正の際に利用する情報として車線に対する車両のヨー角を正確に求める必要がある。
【０００４】
例えば、特許文献１には、車載カメラにて撮像される画面内において２本の道路平行線が交わって消失する点である道路消失点を求め、この２本の道路平行線と道路消失点に基づいて車載カメラの姿勢パラメータ（姿勢角（ヨー角））を算出する装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−１４７０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、走行中の道路が直線かつ平坦の場合でないと道路消失点を求めることは困難であり、また、道路消失点を求めても車両ピッチ角の変化（乗車人数の変化や燃料消費などによる）などにより道路消失点と道路平行線の関係が変わるため、車線に対する車両ヨー角に誤差が発生する問題がある。
【０００７】
本発明の目的は、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する構成とする。
【発明の効果】
【０００９】
本発明によれば、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る車両姿勢角算出装置の第１の実施形態の概略図である。
【図２】本発明に係る車両姿勢角算出装置の処理内容を示すフローチャートを示す図である。
【図３】本発明の区画線検出部の処理内容を示す概略図である。
【図４】本発明の区画線までの距離算出部の処理内容を示す概略図である。
【図５】本発明の区画線角度算出処理の処理内容を示すフローチャートを示す図である。
【図６】本発明の区画線の角度を算出する方法の一例を示す図である。
【図７】本発明に係る車両姿勢角算出装置を用いた車線逸脱警報システムの概略図である。
【図８】本発明の区画線までの距離補正部を説明する概略図である。
【図９】本発明に係る車線逸脱警報システムの処理内容の具体例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について図面を用いて詳細に説明する。
【００１２】
図１は、第１の実施形態に係る車両姿勢角算出装置１００の概略図である。
【００１３】
まず、車両姿勢角算出装置１００の構成と処理内容について説明する。
【００１４】
車両姿勢角算出装置１００は、区画線検出部３，区画線までの距離算出部４，距離記憶部５，区画線角度算出部６，角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９，区画線角度平均化部１０，車両ヨー角算出部１１，ヨー角記憶部１２，ヨー角変化率算出部１３によって構成され、車両姿勢角算出装置１００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。
【００１５】
また、車両姿勢角算出装置１００は、撮像装置１により撮像された画像を入力し、さらに、車速検出部２により検出された車速を入力して、車線に対する車両のヨー角などを外部に出力する構成となっている。
【００１６】
撮像装置１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子によって自車外を撮像し、得られた画像をデジタル処理してコンピュータで扱える画像データに変換する。
【００１７】
車速検出部２は、車両が進行する速度を検出するものであり、車両の前後左右各輪に装着された車輪速センサにより得られる値を平均して車速を検出する方法や、自車に搭載する加速度センサにより得られる自車の加速度の値を積分して車速を算出する方法などがある。
【００１８】
区画線検出部３は、車載用の撮像装置１により取得した車外を撮像した画像データ（画像情報）を用いて道路上にペイントされている区画線（自車の左右にある一対の左右線など），車道外側線など）を検出する。
【００１９】
区画線までの距離算出部４は、区画線検出部３で検出された区画線と撮像装置１の光軸との距離（区画線までの距離）を算出する。この算出は、所定の処理周期で複数回算出する。
【００２０】
距離記憶部５は、区画線までの距離算出部４で算出された区画線までの距離を過去複数個記憶する。なお、その記憶媒体としては、コンピュータ内部のＲＡＭ（Random Access Memory）が一般的である。
【００２１】
区画線角度算出部６は、角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９によって構成され、距離記憶部５に記憶されている過去複数個の区画線までの距離と、検出した車両速度（又は車両速度から求められた演算周期間に車両が進行した車両進行距離）と、を用いて区画線の角度を算出する。
【００２２】
角度記憶部７は、区画線角度算出部６で算出された区画線の角度を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５と同様にコンピュータ内部のＲＡＭが一般的である。
【００２３】
角度変化率算出部８は、角度記憶部７に記憶されている過去複数個の区画線の角度を用いて区画線の角度変化率を算出する。
【００２４】
区画線不検知回数計測部９は、区画線までの距離算出部４において区画線までの距離が連続して算出できなかった回数（不検知カウンタ）を計測する。
【００２５】
区画線角度平均化部１０は、区画線までの距離算出部４において複数個の区画線までの距離を算出した場合、区画線角度算出部６で算出される区画線の角度も複数個となるため、この複数個の区画線の角度を平均する。なお、区画線までの距離算出部４において１本の区画線につき１個の区画線までの距離しか算出しない場合は、区画線角度平均化部１０による平均する処理は行わずにそのままの値を出力する。
【００２６】
車両ヨー角算出部１１は、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する。具体的には、区画線角度平均化部１０により平均された区画線の角度を車線に対する車両のヨー角に変換する。また、車両のヨー角の変化率を用いて現在の車両のヨー角を予測する。
【００２７】
ヨー角記憶部１２は、車両ヨー角算出部１１で算出された車両のヨー角を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５および角度記憶部７と同様にコンピュータ内部のＲＡＭが一般的である。
【００２８】
ヨー角変化率算出部１３は、ヨー角記憶部１２に記憶されている過去複数個の車両のヨー角を用いて車両のヨー角の変化率を算出する。
【００２９】
なお、区画線角度算出部６と、区画線角度平均化部１０と、車両ヨー角算出部１１と、を車両角度算出部とし、車両角度算出部の出力は、車両のヨー角となる。ただ条件によっては、区画線角度算出部６で算出される区画線の角度と、車両ヨー角算出部１１で算出される車両のヨー角とが同じ場合もある。そのときは、区画線の角度がそのまま車両のヨー角として車両角度算出部から出力される。
【００３０】
次に、車両姿勢角算出装置全体の処理内容について説明する。
【００３１】
図２は、車両姿勢角算出装置１００の処理内容を示すフローチャートである。
【００３２】
まず、処理２０１において、撮像装置１により撮像した画像をデジタル処理して画像データとして取り込む。
【００３３】
次に、処理２０２において、処理２０１で取り込んだ画像データから道路上にペイントされている区画線を区画線検出部３により検出する。この区画線を検出する処理について具体的な方法を図３を用いて説明する。図３（ａ）は、処理２０１で取り込んだ画像データであり、２本の区画線３０１および３０２が存在している。この区画線を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法がある。ここで、エッジとは画像中で輝度値が急激に変わる点である。図３（ｂ）は図３（ａ）のＡからＢに向かってエッジ強度を検出した結果であり、３０３および３０５のピークはそれぞれ道路から区画線に変わる点（輝度値が暗から明に急変する点）であり、３０４および３０５のピークはそれぞれ区画線から道路に変わる点（輝度値が明から暗に急変する点）である。このように、３０３と３０４の組み合わせ，３０５と３０６の組み合わせを見つけることで区画線の検出が可能である。
【００３４】
次に、処理２０３において、処理２０２で検出した区画線と撮像装置１の光軸との距離（区画線までの距離）を区画線までの距離算出部４により算出する。この区画線までの距離を算出する処理について具体的な方法を図４を用いて説明する。図４（ａ）は、図３（ａ）と同様に、処理２０１で取り込んだ画像データであり、図４（ｂ）は、図４（ａ）と同じ状況時の上部から見た平面図である。ここでは、２本の区画線４０１および４０２が存在しており、矢印４０３は撮像装置１の光軸，４０５は撮像装置１である。例えば、区画線４０２までの距離は矢印４０４で示すように、光軸４０３から区画線４０２のＡ点までの距離であり、図４（ａ）上でのＡ点の座標をエッジ強度のピークから求めて図４（ｂ）の実際の座標系に変換して距離を算出する。なお、区画線までの距離は区画線内側の座標を用いるのではなく、区画線外側もしくは区画線中心の座標を用いてもよく、一貫して同じ定義であれば良い。また、区画線までの距離は画像内の各区画線に対して１つずつではなく、各区画線に対して複数個（例えば、１０個）算出する構成としても良い。
【００３５】
次に、処理２０４において、処理２０３で算出した区画線までの距離や、検出した車両速度や、演算周期間に車両が進行した車両進行距離を距離記憶部５によりコンピュータ内部のＲＡＭに記憶する。ここでは、過去複数回（例えば、過去１０回分）の処理結果を記憶するものとする。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれを過去複数回分記憶するものとする。
【００３６】
次に、処理２０５において、処理２０４で記憶してある過去複数個の区画線までの距離を用いて区画線の角度を区画線角度算出部６により算出する。具体的な処理内容を図５のフローチャートを用いて説明する。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれに対して区画線の角度を算出するものとする。
【００３７】
まず、処理５０１において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新の区画線までの距離が有効であるか否か、つまり最新の距離が算出できているか否かを判定し、最新の区画線までの距離が有効である場合は処理５０２に進み、最新の区画線までの距離が有効でない場合は処理５０６にすすむ。ここで、最新の区画線までの距離が有効とは、処理２０３において区画線までの距離が算出できている場合であり、区画線の種別が破線や点線などで途切れる場合には区画線までの距離が算出できないこともある。
【００３８】
処理５０２において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新値から数えてＭ点中Ｎ点以上（例えば、８点中４点以上）有効であるか否か、つまり、複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、Ｍ点中Ｎ点以上有効である場合（予め定めた数以上、算出できていると判定された場合）は処理５０３に進み、Ｍ点中Ｎ点以上有効でない場合は処理５０６に進む。なお、ＭやＮは、予め定めて記憶装置等に記憶しておく。
【００３９】
処理５０３において、処理５０２で判定した区画線までの距離の有効値を用いて区画線の角度を算出する。具体例としては、図６に示すように、区画線までの距離の最新値から数えて６点の過去の情報から最小二乗法により回帰直線６０１を求めて区画線の角度を算出する。なお、このグラフの横軸は位置（演算周期間に車両が進行した距離）となっており、車両速度と演算周期により求める。
【００４０】
次に、処理５０４において、処理５０３で算出した区画線の角度を角度記憶部７によりコンピュータ内部のＲＡＭに記憶する。
【００４１】
次に、処理５０５において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをリセットし、処理５１２において、区画線の角度前回値φｚに処理５０３で計算した区画線の角度φを代入し、一連の処理を終了する。
【００４２】
処理５０６において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをインクリメントする。
【００４３】
次に、処理５０７において、不検知カウンタが１であるか否かを判定し、不検知カウンタが１の場合は処理５０８に進み、不検知カウンタが１でない場合は処理５１０に進む。
【００４４】
処理５０８において、処理５０４で記憶してある過去複数個の区画線の角度のうち、最新値から数えてＰ点中Ｑ点以上（例えば、６点中３点以上）有効であるか否か、つまり過去に算出された複数の区画線の角度が予め定めた数以上、算出できているか否かを判定し、Ｐ点中Ｑ点以上有効である場合（予め定めた第２の所定値以上、算出できていると判定された場合）は処理５０９に進み、Ｐ点中Ｑ点以上有効でない場合は処理５１１に進む。なお、ＰやＱは、予め定めて記憶装置等に記憶しておく。
【００４５】
処理５０９において、処理５０８で判定した区画線の角度の有効値を用いて区画線の角度変化率（区画線の角度を演算周期間に車両が進行した距離で微分した値）を算出する。具体的な方法は図６で説明した方法と同様に、縦軸を区画線の角度に置き換えて最小二乗法等により回帰直線を求めて区画線の角度変化率を算出する。
【００４６】
処理５１１において、区画線の角度変化率を０に設定する。
【００４７】
なお、処理５０９と処理５１１の違いは、処理５０８で判定した区画線の角度の有効値の個数で決めており、区画線の角度変化率を算出するうえで所定の個数以上（例えば、３点以上）の区画線の角度がないと区画線の角度変化率の計算結果の信頼度が低くなるためである。
【００４８】
次に、処理５１０において、処理５０９または処理５１１で算出した区画線の角度変化率を用いて区画線の角度を予測する。具体的には、区画線の角度φは、後述する区画線の角度前回値φｚ，区画線の角度変化率α，演算周期Δｔを用いて（１）式で計算できる。
【００４９】
（数１）
φ＝φｚ＋α×Δｔ （１）
最後に、処理５１２において、区画線の角度前回値φｚに処理５１０で計算した区画線の角度φを代入し、一連の処理を終了する。
【００５０】
続いて、処理２０６において、処理２０５で複数個の区画線の角度を算出する場合に、これら複数の区画線の角度を区画線角度平均化部１０により平均する。この具体的な方法の例として、（イ）相加平均，（ロ）撮像装置の距離分解能に基づいた重み付け平均，（ハ）情報の鮮度に基づいた重み付け平均があり、それぞれの組み合わせとしても良い。以下、（イ）〜（ハ）に関して具体的に説明する。
（イ）相加平均
例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合は、区画線角度の平均値φａｖｅは（２）式で計算できる。
【００５１】
（数２）
φａｖｅ＝（φ１＋φ２＋φ３＋φ４）÷４ （２）
（ロ）撮像装置の距離分解能に基づいた重み付け平均
撮像装置の特性として、画像上で撮像装置から遠くなればなるほど距離分解能が低下する。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれが算出された場所の水平方向の距離分解能が１cm，２cm，３cm，４cmであれば、その逆数（１，１／２，１／３，１／４）を重みとして区画線角度の平均値φａｖｅを（３）式のように計算する。
【００５２】
（数３）
φａｖｅ＝（１×φ１＋１／２×φ２＋１／３×φ３＋１／４×φ４）÷（１＋１
／２＋１／３＋１／４） （３）
（ハ）情報の鮮度に基づいた重み付け平均
処理５０１および処理５０２の判定結果がＮＯの場合は区画線角度の変化率を用いて現在の区画線の角度を予測するが、処理５０６によりインクリメントされる不検知カウンタが大きくなればなるほど予測による誤差が蓄積する。つまり、不検知カウンタが大きいほど情報の鮮度が落ちることになるため、不検知カウンタの値に基づいた重み付け平均が有効である。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれの不検知カウンタが０，１，２，３であれば、所定の値（例えば２０）から不検知カウンタの値を引いた数（２０，１９，１８，１７）を重みとして区画線角度の平均値φａｖｅを（４）式のように計算する。ただし、重みが１以下になる場合は１に置き換える。
【００５３】
（数４）
φａｖｅ＝（２０×φ１＋１９×φ２＋１８×φ３＋１７×φ４）÷（２０＋１９
＋１８＋１７） （４）
また、（ロ）と（ハ）を組み合わせる場合は、それぞれ求めた重みを掛け合わせて平均してもよいし、個別に求めた後に相加平均してもよい。
【００５４】
最後に、処理２０７において、処理２０６で算出した区画線の角度を用いて車線に対する車両のヨー角を車両ヨー角算出部１１により算出し、一連の処理を終了する。車両が道路の車線内を走行中には、処理２０２により２本の区画線が検出され、処理２０６により２本の区画線の角度が算出されるため、この２本の区画線の角度を用いて車線に対する車両のヨー角を算出する。基本的には、２本の区画線の角度を平均することで車両のヨー角を算出するが、２本の区画線の角度を重みを付けて平均してもよい。なお、１本の区画線のみの検出の場合にはその区画線の角度を車両のヨー角とする。また、処理２０５では過去の情報を利用して区画線の角度を算出するため、車両のヨー角に時間遅れが生じる可能性がある。そこで、ヨー角記憶部１２で車両のヨー角を過去にさかのぼって記憶し、記憶した過去複数個の車両のヨー角を用いてヨー角変化率算出部１３により車両のヨー角変化率を算出して、この車両のヨー角変化率を用いて遅れ時間分だけ未来の値を予測する方法もある。これにより、過去の情報を利用することによる遅れ時間を解消することが可能となる。
【００５５】
なお、処理２０２において、所定の時間（例えば、５秒間）もしくは所定の距離（例えば、２０ｍ）を走行しても区画線が検出できない場合は、以後の処理２０３以降の演算を中止して、現在車両のヨー角が演算できないことを報知する構成としてもよい。
【００５６】
以上説明したように、過去複数個の区画線までの距離を用いることで、相対的な距離変化から車線に対する車両のヨー角が算出できるため、車両ピッチ角が変化する状況下においても、安定して車線に対する車両のヨー角を求めることが可能となる。また、複数個の区画線までの距離を算出し、それぞれに対して区画線の角度を算出して平均することで、より安定して車線に対する車両のヨー角を求めることが可能となる。
【００５７】
次に、本発明の車両姿勢角算出装置の出力を他のシステムに適用する場合の実施形態に関して説明する。
【００５８】
図７は、第１の実施形態に係る車両姿勢角算出装置１００の出力を車線逸脱警報装置７００に適用する場合の車線逸脱警報システムの概略図である。なお、本実施形態における撮像装置１の撮像方向は車両の後方とする。
【００５９】
まず、車線逸脱警報装置７００の構成と処理内容について説明する。
【００６０】
車線逸脱警報装置７００は、区画線までの距離補正部７０１および車線逸脱警報発生部７０２よって構成され、車線逸脱警報装置７００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。なお、ここでの車線逸脱警報は、ＪＩＳ規格（ＪＩＳ Ｄ ０８０４）に対応することを想定している。つまり、車線逸脱警報装置７００は車両姿勢角算出装置１００から入力された車両のヨー角と、区画線と車載用撮像装置の光軸間の距離と、に基づいて車線逸脱の警報の発生の要否を判断する。
【００６１】
区画線までの距離補正部７０１は、車両姿勢角算出装置１００が算出した車両ヨー角および区画線までの距離を入力し、区画線までの距離を補正する。ここで、ＪＩＳ規格では、車両前輪の外側と区画線までの距離に基づいて警報を発生するか否かを判定するため、撮像装置１で撮像した車両後方の映像から検出した区画線までの距離を車両前輪の外側から区画線までの距離に補正する必要がある。具体的には、図８を用いて説明する。
【００６２】
図８は、車両８０１が２本の区画線８０２および８０３の存在する道路を走行している場合を想定している。
【００６３】
車両の後方に設置された撮像装置８０４で算出された左区画線までの距離ｄ１を車両左前輪の外側から左区画線までの距離Ｄ１（補正後の区画線までの距離）に補正するためには、左区画線までの距離ｄ１が算出された地点から車両前輪までの距離Ｌ，撮像装置８０４から車両左前輪の外側までの距離Ｃ１、および車両ヨー角θを用いると（５）式で計算できる。
【００６４】
（数５）
Ｄ１＝ｄ１−Ｌ×tanθ−Ｃ１ （５）
同様に、車両の後方に設置された撮像装置８０４で算出された右区画線までの距離ｄ２を車両右前輪の外側から右区画線までの距離Ｄ２（補正後の区画線までの距離）に補正するためには、右区画線までの距離ｄ２が算出された地点から車両前輪までの距離Ｌ、撮像装置８０４から車両右前輪の外側までの距離Ｃ２、および車両ヨー角θを用いると（６）式で計算できる。
【００６５】
（数６）
Ｄ２＝ｄ２＋Ｌ×tanθ−Ｃ２ （６）
車線逸脱警報発生部７０２は、区画線までの距離補正部７０１で補正された左右の区画線までの距離Ｄ１，Ｄ２を用いて車両が車線を逸脱する（もしくは、逸脱しそうな）場合に乗員に対して警報を発生する。つまり、車両前輪の外側から左車線までの距離と、車両前輪の外側から右車線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生するフラグを立てる。なお、警報の方法としては、スピーカーからの音声でもよいし、ディスプレイに表示する方式でもよい。具体的な一手法としては、補正後の区画線までの距離Ｄ１またはＤ２が所定の範囲内（例えば、５cm以内）になった場合に警報を発生する。なお、警報を解除するタイミングは警報を発生して所定時間経過後（例えば、２秒後）とする方法がある。
【００６６】
次に、図９を用いて、車両姿勢角算出装置１００および車線逸脱警報装置７００の一連の処理内容を実際の道路状況に当てはめて説明する。
【００６７】
図９は、片側２車線の道路において、車両９００が左車線を走行中に点線９０１で示す軌跡で右車線に逸脱しそうになった後に再度左車線に復帰する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線でペイントされているものとし、車両の左側の区画線までの距離をｄ１，車両の右側の区画線までの距離をｄ２，補正後の車両左側の区画線までの距離をＤ１，補正後の車両右側の区画線までの距離をＤ２とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。
【００６８】
まず、区画線までの距離ｄ１およびｄ２は、それぞれ実線９１１および点線９１２のように算出される。ここで、地点Ａ〜Ｂおよび地点Ｄ〜Ｅは車両右側の区画線が破線のために検出できない区間のため、点線９１２の区画線までの距離ｄ２の値が不定となっている。
【００６９】
次に、区画線の角度θ１（車両左側の区画線の角度）およびθ２（車両右側の区画線の角度）は、それぞれ区画線までの距離ｄ１およびｄ２の時系列データを用いて実線９１３および点線９１４のように算出される。区画線の角度θ１に関しては、区画線までの距離ｄ１が連続的に算出できているので、あらかじめ記憶してある過去複数点の区画線までの距離ｄ１を用いて算出する。一方、区画線の角度θ２に関しては、区画線までの距離ｄ２が不連続な値となるため、連続的に区画線までの距離が算出できている区間での区画線の角度変化率を算出して区画線までの距離が算出できない区間での区画線の角度を予測する。このため、区画線までの距離が算出できない区間での区画線の角度に誤差が蓄積して、９１５で囲んだ部分において値がジャンプする場合がある。
【００７０】
次に、車両のヨー角は、区画線の角度θ１およびθ２を用いて実線９１６のように算出される。ここで、車両ヨー角の符号は左旋回をプラス方向と定義するため、区画線の角度θ１の符号を逆転したものと区画線の角度θ２を平均して車両ヨー角を算出する。なお、９１５で囲んだ部分と同様に、区画線までの距離が算出できない区間では区画線の角度に誤差が生じる場合があり、そのため９１７で囲んだ部分のように値がジャンプする場合がある。
【００７１】
次に、補正後の区画線までの距離Ｄ１およびＤ２は、区画線までの距離ｄ１およびｄ２と車両ヨー角を用いて（５）式および（６）式でそれぞれ実線９１８および点線９１９のように算出する。
【００７２】
次に、車線逸脱警報フラグは、補正後の区画線までの距離Ｄ１もしくはＤ２が所定の値以下となった場合に１（ＯＮ）を設定する。ここでは、補正後の区画線までの距離Ｄ２が地点Ｃにおいて所定値を下回ったときに車線逸脱警報フラグをＯＮして所定時間後にＯＦＦ（０に設定）している。これは、運転手が警報を認知する時間（例えば、２秒間）だけ車線逸脱警報フラグをＯＮすればよく、ＯＦＦする際に補正後の区画線までの距離Ｄ２が所定値を下回っていてもそのままＯＦＦする（警報し続けると運転手が煩わしさを感じるため）。車線逸脱警報フラグの一連の値の変化は実線９２０のようになる。
【００７３】
以上説明したように、車両後方を撮像した画像から区画線を検出して車両ヨー角を算出し、算出した車両ヨー角を用いて区画線までの距離を補正して車線逸脱警報フラグを設定することが可能となる。
【００７４】
なお、本実施例においては、車両後方を撮像する撮像装置を用いて説明したが、車両前方を撮像する撮像装置でもよく、また、撮像装置の取付角度や取付位置が本実施例と異なっていてもよい。
【００７５】
また、本実施例においては、区画線の角度の算出方法に最小二乗法を用いたが、最小二乗法以外の方法を用いてもよい。
【００７６】
さらに、本実施例においては、撮像装置で算出された区画線までの距離を車両前輪の外側から区画線までの距離に補正すると説明したが、車両前方の角から区画線までの距離に補正するなど、任意の場所における区画線までの距離に補正してもよい。
【００７７】
以上のように、本発明の趣旨を逸脱しない範囲において、種々の様態で実施することができる。
【符号の説明】
【００７８】
１００ 車両姿勢角算出装置
３０１，３０２，４０１，４０２，８０２，８０３ 区画線
３０３〜３０６ エッジ強度のピーク
４０３ 撮像装置の光軸
４０４ 区画線までの距離
４０５，８０４ 撮像装置
８０１，９００ 車両
９０１ 走行軌跡
【技術分野】
【０００１】
本発明は、車載カメラを用いて車両が走行している車線に対する車両の姿勢角を算出する方法に関する。
【背景技術】
【０００２】
車載カメラにより車両の周囲を撮像し、撮像した画像中の物体（車両，歩行者など）や道路標示・標識（区画線などの路面ペイント，止まれなどの標識など）を認識するための技術が種々提案されている。例えば、車載カメラで道路上にペイントが施されている区画線を認識し、車線内の車両位置を求めることができれば、車両が車線から逸脱するときに運転者に警報を発したり、ステアリングやブレーキを制御したりして逸脱を抑制することが可能となる。
【０００３】
このように車両が車線を逸脱するときに警報を発するシステムとして、ＪＩＳ（日本工業規格）のＪＩＳ Ｄ ０８０４で規格化されている車線逸脱警報システム（ＬＤＷＳ：Lane Departure Warning Systems）がある。この規格をとくに車両の後方を撮像し、撮像した画像中の区画線を認識する車載カメラを用いて実現する場合、車両後方で認識した区画線の情報を車両前輪位置に補正する必要があるため、この補正の際に利用する情報として車線に対する車両のヨー角を正確に求める必要がある。
【０００４】
例えば、特許文献１には、車載カメラにて撮像される画面内において２本の道路平行線が交わって消失する点である道路消失点を求め、この２本の道路平行線と道路消失点に基づいて車載カメラの姿勢パラメータ（姿勢角（ヨー角））を算出する装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−１４７０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、走行中の道路が直線かつ平坦の場合でないと道路消失点を求めることは困難であり、また、道路消失点を求めても車両ピッチ角の変化（乗車人数の変化や燃料消費などによる）などにより道路消失点と道路平行線の関係が変わるため、車線に対する車両ヨー角に誤差が発生する問題がある。
【０００７】
本発明の目的は、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する構成とする。
【発明の効果】
【０００９】
本発明によれば、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る車両姿勢角算出装置の第１の実施形態の概略図である。
【図２】本発明に係る車両姿勢角算出装置の処理内容を示すフローチャートを示す図である。
【図３】本発明の区画線検出部の処理内容を示す概略図である。
【図４】本発明の区画線までの距離算出部の処理内容を示す概略図である。
【図５】本発明の区画線角度算出処理の処理内容を示すフローチャートを示す図である。
【図６】本発明の区画線の角度を算出する方法の一例を示す図である。
【図７】本発明に係る車両姿勢角算出装置を用いた車線逸脱警報システムの概略図である。
【図８】本発明の区画線までの距離補正部を説明する概略図である。
【図９】本発明に係る車線逸脱警報システムの処理内容の具体例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について図面を用いて詳細に説明する。
【００１２】
図１は、第１の実施形態に係る車両姿勢角算出装置１００の概略図である。
【００１３】
まず、車両姿勢角算出装置１００の構成と処理内容について説明する。
【００１４】
車両姿勢角算出装置１００は、区画線検出部３，区画線までの距離算出部４，距離記憶部５，区画線角度算出部６，角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９，区画線角度平均化部１０，車両ヨー角算出部１１，ヨー角記憶部１２，ヨー角変化率算出部１３によって構成され、車両姿勢角算出装置１００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。
【００１５】
また、車両姿勢角算出装置１００は、撮像装置１により撮像された画像を入力し、さらに、車速検出部２により検出された車速を入力して、車線に対する車両のヨー角などを外部に出力する構成となっている。
【００１６】
撮像装置１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子によって自車外を撮像し、得られた画像をデジタル処理してコンピュータで扱える画像データに変換する。
【００１７】
車速検出部２は、車両が進行する速度を検出するものであり、車両の前後左右各輪に装着された車輪速センサにより得られる値を平均して車速を検出する方法や、自車に搭載する加速度センサにより得られる自車の加速度の値を積分して車速を算出する方法などがある。
【００１８】
区画線検出部３は、車載用の撮像装置１により取得した車外を撮像した画像データ（画像情報）を用いて道路上にペイントされている区画線（自車の左右にある一対の左右線など），車道外側線など）を検出する。
【００１９】
区画線までの距離算出部４は、区画線検出部３で検出された区画線と撮像装置１の光軸との距離（区画線までの距離）を算出する。この算出は、所定の処理周期で複数回算出する。
【００２０】
距離記憶部５は、区画線までの距離算出部４で算出された区画線までの距離を過去複数個記憶する。なお、その記憶媒体としては、コンピュータ内部のＲＡＭ（Random Access Memory）が一般的である。
【００２１】
区画線角度算出部６は、角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９によって構成され、距離記憶部５に記憶されている過去複数個の区画線までの距離と、検出した車両速度（又は車両速度から求められた演算周期間に車両が進行した車両進行距離）と、を用いて区画線の角度を算出する。
【００２２】
角度記憶部７は、区画線角度算出部６で算出された区画線の角度を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５と同様にコンピュータ内部のＲＡＭが一般的である。
【００２３】
角度変化率算出部８は、角度記憶部７に記憶されている過去複数個の区画線の角度を用いて区画線の角度変化率を算出する。
【００２４】
区画線不検知回数計測部９は、区画線までの距離算出部４において区画線までの距離が連続して算出できなかった回数（不検知カウンタ）を計測する。
【００２５】
区画線角度平均化部１０は、区画線までの距離算出部４において複数個の区画線までの距離を算出した場合、区画線角度算出部６で算出される区画線の角度も複数個となるため、この複数個の区画線の角度を平均する。なお、区画線までの距離算出部４において１本の区画線につき１個の区画線までの距離しか算出しない場合は、区画線角度平均化部１０による平均する処理は行わずにそのままの値を出力する。
【００２６】
車両ヨー角算出部１１は、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する。具体的には、区画線角度平均化部１０により平均された区画線の角度を車線に対する車両のヨー角に変換する。また、車両のヨー角の変化率を用いて現在の車両のヨー角を予測する。
【００２７】
ヨー角記憶部１２は、車両ヨー角算出部１１で算出された車両のヨー角を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５および角度記憶部７と同様にコンピュータ内部のＲＡＭが一般的である。
【００２８】
ヨー角変化率算出部１３は、ヨー角記憶部１２に記憶されている過去複数個の車両のヨー角を用いて車両のヨー角の変化率を算出する。
【００２９】
なお、区画線角度算出部６と、区画線角度平均化部１０と、車両ヨー角算出部１１と、を車両角度算出部とし、車両角度算出部の出力は、車両のヨー角となる。ただ条件によっては、区画線角度算出部６で算出される区画線の角度と、車両ヨー角算出部１１で算出される車両のヨー角とが同じ場合もある。そのときは、区画線の角度がそのまま車両のヨー角として車両角度算出部から出力される。
【００３０】
次に、車両姿勢角算出装置全体の処理内容について説明する。
【００３１】
図２は、車両姿勢角算出装置１００の処理内容を示すフローチャートである。
【００３２】
まず、処理２０１において、撮像装置１により撮像した画像をデジタル処理して画像データとして取り込む。
【００３３】
次に、処理２０２において、処理２０１で取り込んだ画像データから道路上にペイントされている区画線を区画線検出部３により検出する。この区画線を検出する処理について具体的な方法を図３を用いて説明する。図３（ａ）は、処理２０１で取り込んだ画像データであり、２本の区画線３０１および３０２が存在している。この区画線を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法がある。ここで、エッジとは画像中で輝度値が急激に変わる点である。図３（ｂ）は図３（ａ）のＡからＢに向かってエッジ強度を検出した結果であり、３０３および３０５のピークはそれぞれ道路から区画線に変わる点（輝度値が暗から明に急変する点）であり、３０４および３０５のピークはそれぞれ区画線から道路に変わる点（輝度値が明から暗に急変する点）である。このように、３０３と３０４の組み合わせ，３０５と３０６の組み合わせを見つけることで区画線の検出が可能である。
【００３４】
次に、処理２０３において、処理２０２で検出した区画線と撮像装置１の光軸との距離（区画線までの距離）を区画線までの距離算出部４により算出する。この区画線までの距離を算出する処理について具体的な方法を図４を用いて説明する。図４（ａ）は、図３（ａ）と同様に、処理２０１で取り込んだ画像データであり、図４（ｂ）は、図４（ａ）と同じ状況時の上部から見た平面図である。ここでは、２本の区画線４０１および４０２が存在しており、矢印４０３は撮像装置１の光軸，４０５は撮像装置１である。例えば、区画線４０２までの距離は矢印４０４で示すように、光軸４０３から区画線４０２のＡ点までの距離であり、図４（ａ）上でのＡ点の座標をエッジ強度のピークから求めて図４（ｂ）の実際の座標系に変換して距離を算出する。なお、区画線までの距離は区画線内側の座標を用いるのではなく、区画線外側もしくは区画線中心の座標を用いてもよく、一貫して同じ定義であれば良い。また、区画線までの距離は画像内の各区画線に対して１つずつではなく、各区画線に対して複数個（例えば、１０個）算出する構成としても良い。
【００３５】
次に、処理２０４において、処理２０３で算出した区画線までの距離や、検出した車両速度や、演算周期間に車両が進行した車両進行距離を距離記憶部５によりコンピュータ内部のＲＡＭに記憶する。ここでは、過去複数回（例えば、過去１０回分）の処理結果を記憶するものとする。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれを過去複数回分記憶するものとする。
【００３６】
次に、処理２０５において、処理２０４で記憶してある過去複数個の区画線までの距離を用いて区画線の角度を区画線角度算出部６により算出する。具体的な処理内容を図５のフローチャートを用いて説明する。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれに対して区画線の角度を算出するものとする。
【００３７】
まず、処理５０１において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新の区画線までの距離が有効であるか否か、つまり最新の距離が算出できているか否かを判定し、最新の区画線までの距離が有効である場合は処理５０２に進み、最新の区画線までの距離が有効でない場合は処理５０６にすすむ。ここで、最新の区画線までの距離が有効とは、処理２０３において区画線までの距離が算出できている場合であり、区画線の種別が破線や点線などで途切れる場合には区画線までの距離が算出できないこともある。
【００３８】
処理５０２において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新値から数えてＭ点中Ｎ点以上（例えば、８点中４点以上）有効であるか否か、つまり、複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、Ｍ点中Ｎ点以上有効である場合（予め定めた数以上、算出できていると判定された場合）は処理５０３に進み、Ｍ点中Ｎ点以上有効でない場合は処理５０６に進む。なお、ＭやＮは、予め定めて記憶装置等に記憶しておく。
【００３９】
処理５０３において、処理５０２で判定した区画線までの距離の有効値を用いて区画線の角度を算出する。具体例としては、図６に示すように、区画線までの距離の最新値から数えて６点の過去の情報から最小二乗法により回帰直線６０１を求めて区画線の角度を算出する。なお、このグラフの横軸は位置（演算周期間に車両が進行した距離）となっており、車両速度と演算周期により求める。
【００４０】
次に、処理５０４において、処理５０３で算出した区画線の角度を角度記憶部７によりコンピュータ内部のＲＡＭに記憶する。
【００４１】
次に、処理５０５において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをリセットし、処理５１２において、区画線の角度前回値φｚに処理５０３で計算した区画線の角度φを代入し、一連の処理を終了する。
【００４２】
処理５０６において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをインクリメントする。
【００４３】
次に、処理５０７において、不検知カウンタが１であるか否かを判定し、不検知カウンタが１の場合は処理５０８に進み、不検知カウンタが１でない場合は処理５１０に進む。
【００４４】
処理５０８において、処理５０４で記憶してある過去複数個の区画線の角度のうち、最新値から数えてＰ点中Ｑ点以上（例えば、６点中３点以上）有効であるか否か、つまり過去に算出された複数の区画線の角度が予め定めた数以上、算出できているか否かを判定し、Ｐ点中Ｑ点以上有効である場合（予め定めた第２の所定値以上、算出できていると判定された場合）は処理５０９に進み、Ｐ点中Ｑ点以上有効でない場合は処理５１１に進む。なお、ＰやＱは、予め定めて記憶装置等に記憶しておく。
【００４５】
処理５０９において、処理５０８で判定した区画線の角度の有効値を用いて区画線の角度変化率（区画線の角度を演算周期間に車両が進行した距離で微分した値）を算出する。具体的な方法は図６で説明した方法と同様に、縦軸を区画線の角度に置き換えて最小二乗法等により回帰直線を求めて区画線の角度変化率を算出する。
【００４６】
処理５１１において、区画線の角度変化率を０に設定する。
【００４７】
なお、処理５０９と処理５１１の違いは、処理５０８で判定した区画線の角度の有効値の個数で決めており、区画線の角度変化率を算出するうえで所定の個数以上（例えば、３点以上）の区画線の角度がないと区画線の角度変化率の計算結果の信頼度が低くなるためである。
【００４８】
次に、処理５１０において、処理５０９または処理５１１で算出した区画線の角度変化率を用いて区画線の角度を予測する。具体的には、区画線の角度φは、後述する区画線の角度前回値φｚ，区画線の角度変化率α，演算周期Δｔを用いて（１）式で計算できる。
【００４９】
（数１）
φ＝φｚ＋α×Δｔ （１）
最後に、処理５１２において、区画線の角度前回値φｚに処理５１０で計算した区画線の角度φを代入し、一連の処理を終了する。
【００５０】
続いて、処理２０６において、処理２０５で複数個の区画線の角度を算出する場合に、これら複数の区画線の角度を区画線角度平均化部１０により平均する。この具体的な方法の例として、（イ）相加平均，（ロ）撮像装置の距離分解能に基づいた重み付け平均，（ハ）情報の鮮度に基づいた重み付け平均があり、それぞれの組み合わせとしても良い。以下、（イ）〜（ハ）に関して具体的に説明する。
（イ）相加平均
例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合は、区画線角度の平均値φａｖｅは（２）式で計算できる。
【００５１】
（数２）
φａｖｅ＝（φ１＋φ２＋φ３＋φ４）÷４ （２）
（ロ）撮像装置の距離分解能に基づいた重み付け平均
撮像装置の特性として、画像上で撮像装置から遠くなればなるほど距離分解能が低下する。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれが算出された場所の水平方向の距離分解能が１cm，２cm，３cm，４cmであれば、その逆数（１，１／２，１／３，１／４）を重みとして区画線角度の平均値φａｖｅを（３）式のように計算する。
【００５２】
（数３）
φａｖｅ＝（１×φ１＋１／２×φ２＋１／３×φ３＋１／４×φ４）÷（１＋１
／２＋１／３＋１／４） （３）
（ハ）情報の鮮度に基づいた重み付け平均
処理５０１および処理５０２の判定結果がＮＯの場合は区画線角度の変化率を用いて現在の区画線の角度を予測するが、処理５０６によりインクリメントされる不検知カウンタが大きくなればなるほど予測による誤差が蓄積する。つまり、不検知カウンタが大きいほど情報の鮮度が落ちることになるため、不検知カウンタの値に基づいた重み付け平均が有効である。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれの不検知カウンタが０，１，２，３であれば、所定の値（例えば２０）から不検知カウンタの値を引いた数（２０，１９，１８，１７）を重みとして区画線角度の平均値φａｖｅを（４）式のように計算する。ただし、重みが１以下になる場合は１に置き換える。
【００５３】
（数４）
φａｖｅ＝（２０×φ１＋１９×φ２＋１８×φ３＋１７×φ４）÷（２０＋１９
＋１８＋１７） （４）
また、（ロ）と（ハ）を組み合わせる場合は、それぞれ求めた重みを掛け合わせて平均してもよいし、個別に求めた後に相加平均してもよい。
【００５４】
最後に、処理２０７において、処理２０６で算出した区画線の角度を用いて車線に対する車両のヨー角を車両ヨー角算出部１１により算出し、一連の処理を終了する。車両が道路の車線内を走行中には、処理２０２により２本の区画線が検出され、処理２０６により２本の区画線の角度が算出されるため、この２本の区画線の角度を用いて車線に対する車両のヨー角を算出する。基本的には、２本の区画線の角度を平均することで車両のヨー角を算出するが、２本の区画線の角度を重みを付けて平均してもよい。なお、１本の区画線のみの検出の場合にはその区画線の角度を車両のヨー角とする。また、処理２０５では過去の情報を利用して区画線の角度を算出するため、車両のヨー角に時間遅れが生じる可能性がある。そこで、ヨー角記憶部１２で車両のヨー角を過去にさかのぼって記憶し、記憶した過去複数個の車両のヨー角を用いてヨー角変化率算出部１３により車両のヨー角変化率を算出して、この車両のヨー角変化率を用いて遅れ時間分だけ未来の値を予測する方法もある。これにより、過去の情報を利用することによる遅れ時間を解消することが可能となる。
【００５５】
なお、処理２０２において、所定の時間（例えば、５秒間）もしくは所定の距離（例えば、２０ｍ）を走行しても区画線が検出できない場合は、以後の処理２０３以降の演算を中止して、現在車両のヨー角が演算できないことを報知する構成としてもよい。
【００５６】
以上説明したように、過去複数個の区画線までの距離を用いることで、相対的な距離変化から車線に対する車両のヨー角が算出できるため、車両ピッチ角が変化する状況下においても、安定して車線に対する車両のヨー角を求めることが可能となる。また、複数個の区画線までの距離を算出し、それぞれに対して区画線の角度を算出して平均することで、より安定して車線に対する車両のヨー角を求めることが可能となる。
【００５７】
次に、本発明の車両姿勢角算出装置の出力を他のシステムに適用する場合の実施形態に関して説明する。
【００５８】
図７は、第１の実施形態に係る車両姿勢角算出装置１００の出力を車線逸脱警報装置７００に適用する場合の車線逸脱警報システムの概略図である。なお、本実施形態における撮像装置１の撮像方向は車両の後方とする。
【００５９】
まず、車線逸脱警報装置７００の構成と処理内容について説明する。
【００６０】
車線逸脱警報装置７００は、区画線までの距離補正部７０１および車線逸脱警報発生部７０２よって構成され、車線逸脱警報装置７００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。なお、ここでの車線逸脱警報は、ＪＩＳ規格（ＪＩＳ Ｄ ０８０４）に対応することを想定している。つまり、車線逸脱警報装置７００は車両姿勢角算出装置１００から入力された車両のヨー角と、区画線と車載用撮像装置の光軸間の距離と、に基づいて車線逸脱の警報の発生の要否を判断する。
【００６１】
区画線までの距離補正部７０１は、車両姿勢角算出装置１００が算出した車両ヨー角および区画線までの距離を入力し、区画線までの距離を補正する。ここで、ＪＩＳ規格では、車両前輪の外側と区画線までの距離に基づいて警報を発生するか否かを判定するため、撮像装置１で撮像した車両後方の映像から検出した区画線までの距離を車両前輪の外側から区画線までの距離に補正する必要がある。具体的には、図８を用いて説明する。
【００６２】
図８は、車両８０１が２本の区画線８０２および８０３の存在する道路を走行している場合を想定している。
【００６３】
車両の後方に設置された撮像装置８０４で算出された左区画線までの距離ｄ１を車両左前輪の外側から左区画線までの距離Ｄ１（補正後の区画線までの距離）に補正するためには、左区画線までの距離ｄ１が算出された地点から車両前輪までの距離Ｌ，撮像装置８０４から車両左前輪の外側までの距離Ｃ１、および車両ヨー角θを用いると（５）式で計算できる。
【００６４】
（数５）
Ｄ１＝ｄ１−Ｌ×tanθ−Ｃ１ （５）
同様に、車両の後方に設置された撮像装置８０４で算出された右区画線までの距離ｄ２を車両右前輪の外側から右区画線までの距離Ｄ２（補正後の区画線までの距離）に補正するためには、右区画線までの距離ｄ２が算出された地点から車両前輪までの距離Ｌ、撮像装置８０４から車両右前輪の外側までの距離Ｃ２、および車両ヨー角θを用いると（６）式で計算できる。
【００６５】
（数６）
Ｄ２＝ｄ２＋Ｌ×tanθ−Ｃ２ （６）
車線逸脱警報発生部７０２は、区画線までの距離補正部７０１で補正された左右の区画線までの距離Ｄ１，Ｄ２を用いて車両が車線を逸脱する（もしくは、逸脱しそうな）場合に乗員に対して警報を発生する。つまり、車両前輪の外側から左車線までの距離と、車両前輪の外側から右車線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生するフラグを立てる。なお、警報の方法としては、スピーカーからの音声でもよいし、ディスプレイに表示する方式でもよい。具体的な一手法としては、補正後の区画線までの距離Ｄ１またはＤ２が所定の範囲内（例えば、５cm以内）になった場合に警報を発生する。なお、警報を解除するタイミングは警報を発生して所定時間経過後（例えば、２秒後）とする方法がある。
【００６６】
次に、図９を用いて、車両姿勢角算出装置１００および車線逸脱警報装置７００の一連の処理内容を実際の道路状況に当てはめて説明する。
【００６７】
図９は、片側２車線の道路において、車両９００が左車線を走行中に点線９０１で示す軌跡で右車線に逸脱しそうになった後に再度左車線に復帰する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線でペイントされているものとし、車両の左側の区画線までの距離をｄ１，車両の右側の区画線までの距離をｄ２，補正後の車両左側の区画線までの距離をＤ１，補正後の車両右側の区画線までの距離をＤ２とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。
【００６８】
まず、区画線までの距離ｄ１およびｄ２は、それぞれ実線９１１および点線９１２のように算出される。ここで、地点Ａ〜Ｂおよび地点Ｄ〜Ｅは車両右側の区画線が破線のために検出できない区間のため、点線９１２の区画線までの距離ｄ２の値が不定となっている。
【００６９】
次に、区画線の角度θ１（車両左側の区画線の角度）およびθ２（車両右側の区画線の角度）は、それぞれ区画線までの距離ｄ１およびｄ２の時系列データを用いて実線９１３および点線９１４のように算出される。区画線の角度θ１に関しては、区画線までの距離ｄ１が連続的に算出できているので、あらかじめ記憶してある過去複数点の区画線までの距離ｄ１を用いて算出する。一方、区画線の角度θ２に関しては、区画線までの距離ｄ２が不連続な値となるため、連続的に区画線までの距離が算出できている区間での区画線の角度変化率を算出して区画線までの距離が算出できない区間での区画線の角度を予測する。このため、区画線までの距離が算出できない区間での区画線の角度に誤差が蓄積して、９１５で囲んだ部分において値がジャンプする場合がある。
【００７０】
次に、車両のヨー角は、区画線の角度θ１およびθ２を用いて実線９１６のように算出される。ここで、車両ヨー角の符号は左旋回をプラス方向と定義するため、区画線の角度θ１の符号を逆転したものと区画線の角度θ２を平均して車両ヨー角を算出する。なお、９１５で囲んだ部分と同様に、区画線までの距離が算出できない区間では区画線の角度に誤差が生じる場合があり、そのため９１７で囲んだ部分のように値がジャンプする場合がある。
【００７１】
次に、補正後の区画線までの距離Ｄ１およびＤ２は、区画線までの距離ｄ１およびｄ２と車両ヨー角を用いて（５）式および（６）式でそれぞれ実線９１８および点線９１９のように算出する。
【００７２】
次に、車線逸脱警報フラグは、補正後の区画線までの距離Ｄ１もしくはＤ２が所定の値以下となった場合に１（ＯＮ）を設定する。ここでは、補正後の区画線までの距離Ｄ２が地点Ｃにおいて所定値を下回ったときに車線逸脱警報フラグをＯＮして所定時間後にＯＦＦ（０に設定）している。これは、運転手が警報を認知する時間（例えば、２秒間）だけ車線逸脱警報フラグをＯＮすればよく、ＯＦＦする際に補正後の区画線までの距離Ｄ２が所定値を下回っていてもそのままＯＦＦする（警報し続けると運転手が煩わしさを感じるため）。車線逸脱警報フラグの一連の値の変化は実線９２０のようになる。
【００７３】
以上説明したように、車両後方を撮像した画像から区画線を検出して車両ヨー角を算出し、算出した車両ヨー角を用いて区画線までの距離を補正して車線逸脱警報フラグを設定することが可能となる。
【００７４】
なお、本実施例においては、車両後方を撮像する撮像装置を用いて説明したが、車両前方を撮像する撮像装置でもよく、また、撮像装置の取付角度や取付位置が本実施例と異なっていてもよい。
【００７５】
また、本実施例においては、区画線の角度の算出方法に最小二乗法を用いたが、最小二乗法以外の方法を用いてもよい。
【００７６】
さらに、本実施例においては、撮像装置で算出された区画線までの距離を車両前輪の外側から区画線までの距離に補正すると説明したが、車両前方の角から区画線までの距離に補正するなど、任意の場所における区画線までの距離に補正してもよい。
【００７７】
以上のように、本発明の趣旨を逸脱しない範囲において、種々の様態で実施することができる。
【符号の説明】
【００７８】
１００ 車両姿勢角算出装置
３０１，３０２，４０１，４０２，８０２，８０３ 区画線
３０３〜３０６ エッジ強度のピーク
４０３ 撮像装置の光軸
４０４ 区画線までの距離
４０５，８０４ 撮像装置
８０１，９００ 車両
９０１ 走行軌跡
【特許請求の範囲】
【請求項１】
車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、
前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、
算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。
【請求項２】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有する車両姿勢角算出装置。
【請求項３】
請求項１記載の車両姿勢角算出装置において、
前記距離算出部で算出された距離を記憶する距離記憶部を有し、
前記車両角度算出部は、前記距離記憶部から複数の距離を取り込み、前記複数の距離と前記車両進行距離に基づいて区画線の角度を算出する車両姿勢角算出装置。
【請求項４】
請求項２記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記区画線角度算出部で算出された過去の区画線の角度が記憶された角度記憶部と、
前記角度記憶部に記憶された複数の区画線の角度に基づいて区画線の角度変化率を算出する角度変化率算出部と、を有する車両姿勢角算出装置。
【請求項５】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部は、前記距離算出部で前記区画線と前記車載用撮像装置の光軸間の距離が連続して算出できなかった回数を計測する区画線不検知回数計測部を有する車両姿勢角算出装置。
【請求項６】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部で算出された複数の区画線の角度を平均する区画線角度平均化部を有する車両姿勢角算出装置。
【請求項７】
請求項２記載の車両姿勢角算出装置において、
前記車両ヨー角算出部は、
車両ヨー角算出部で算出された過去の複数のヨー角を記憶するヨー角記憶部と、
前記ヨー角記憶部で記憶された複数のヨー角から車両のヨー角の変化率を算出するヨー角変化率算出部と、を有する車両姿勢角算出装置。
【請求項８】
請求項２記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できているか否かを判定し、
最新の距離が算出できていると判定された場合、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、
前記第１の所定値以上、算出できていると判定された場合、算出できている複数の距離から区画線の角度を算出する、車両姿勢角算出装置。
【請求項９】
請求項８記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できていないと判定された場合、又は、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が前記第１の所定値以上、算出できていないと判定された場合、過去に算出された複数の区画線の角度が予め定めた第２の所定値以上、算出できているか否かを判定し、
過去に算出された複数の区画線の角度が前記第２の所定値以上、算出できていると判定された場合、算出できている複数の区画線の角度から区画線の角度変化率を算出し、
算出された区画線の角度変化率から区画線の角度を予測する、車両姿勢角算出装置。
【請求項１０】
請求項１記載の車両姿勢角算出装置において、
前記区画線は、自車の左右にある一対の左右線であり、
前記区画線と前記車載用撮像装置の光軸間の距離は、前記左線と前記車載用撮像装置の光軸間の距離と、前記右線と前記車載用撮像装置の光軸間の距離を含む車両姿勢角算出装置。
【請求項１１】
車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置と、
前記車両姿勢角算出装置から入力された前記区画線の角度と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報装置と、を有する車線逸脱警報システム。
【請求項１２】
請求項１１記載の車線逸脱警報システムにおいて、
前記車両姿勢角算出装置の前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有し、
前記車線逸脱警報装置は、前記車両姿勢角算出装置から入力された前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車両姿勢角算出装置。
【請求項１３】
請求項１２記載の車線逸脱警報システムにおいて、
前記車線逸脱警報装置は、
前記区画線と前記車載用撮像装置の光軸間の前記距離を前記車両のヨー角に基づいて、車両前輪の外側から区画線までの距離に補正する区画線までの距離補正部と、
補正された前記区画線までの距離に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報発生部と、を有する車線逸脱警報システム。
【請求項１４】
請求項１３記載の車線逸脱警報システムにおいて、
前記区画線までの距離補正部で補正する前記車両前輪の外側から区画線までの距離は、前記区画線と前記車載用撮像装置の光軸間の前記距離と、前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離が算出された地点から車両前輪までの距離と、前記車載用撮像装置から車両前輪の外側までの距離と、から算出される車線逸脱警報システム。
【請求項１５】
請求項１１記載の車線逸脱警報システムにおいて、
前記区画線は、自車の左右にある一対の左右線であり、
前記車両前輪の外側から区画線までの距離は、左の前記車両前輪の外側から前記左線までの距離と、右の前記車両前輪の外側から前記右線までの距離を含む車両姿勢角算出装置。
【請求項１６】
請求項１５記載の車線逸脱警報システムにおいて、
前記車線逸脱警報発生部は、前記車両前輪の外側から前記左車線までの距離と、前記車両前輪の外側から前記右車線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生する車線逸脱警報システム。
【請求項１７】
請求項１１記載の車線逸脱警報システムにおいて、
前記車載用撮像装置から取り込んだ前記画像情報は、車両後方の画像情報である車線逸脱警報システム。
【請求項１】
車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、
前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、
算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。
【請求項２】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有する車両姿勢角算出装置。
【請求項３】
請求項１記載の車両姿勢角算出装置において、
前記距離算出部で算出された距離を記憶する距離記憶部を有し、
前記車両角度算出部は、前記距離記憶部から複数の距離を取り込み、前記複数の距離と前記車両進行距離に基づいて区画線の角度を算出する車両姿勢角算出装置。
【請求項４】
請求項２記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記区画線角度算出部で算出された過去の区画線の角度が記憶された角度記憶部と、
前記角度記憶部に記憶された複数の区画線の角度に基づいて区画線の角度変化率を算出する角度変化率算出部と、を有する車両姿勢角算出装置。
【請求項５】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部は、前記距離算出部で前記区画線と前記車載用撮像装置の光軸間の距離が連続して算出できなかった回数を計測する区画線不検知回数計測部を有する車両姿勢角算出装置。
【請求項６】
請求項１記載の車両姿勢角算出装置において、
前記車両角度算出部で算出された複数の区画線の角度を平均する区画線角度平均化部を有する車両姿勢角算出装置。
【請求項７】
請求項２記載の車両姿勢角算出装置において、
前記車両ヨー角算出部は、
車両ヨー角算出部で算出された過去の複数のヨー角を記憶するヨー角記憶部と、
前記ヨー角記憶部で記憶された複数のヨー角から車両のヨー角の変化率を算出するヨー角変化率算出部と、を有する車両姿勢角算出装置。
【請求項８】
請求項２記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できているか否かを判定し、
最新の距離が算出できていると判定された場合、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、
前記第１の所定値以上、算出できていると判定された場合、算出できている複数の距離から区画線の角度を算出する、車両姿勢角算出装置。
【請求項９】
請求項８記載の車両姿勢角算出装置において、
前記区画線角度算出部は、
前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できていないと判定された場合、又は、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が前記第１の所定値以上、算出できていないと判定された場合、過去に算出された複数の区画線の角度が予め定めた第２の所定値以上、算出できているか否かを判定し、
過去に算出された複数の区画線の角度が前記第２の所定値以上、算出できていると判定された場合、算出できている複数の区画線の角度から区画線の角度変化率を算出し、
算出された区画線の角度変化率から区画線の角度を予測する、車両姿勢角算出装置。
【請求項１０】
請求項１記載の車両姿勢角算出装置において、
前記区画線は、自車の左右にある一対の左右線であり、
前記区画線と前記車載用撮像装置の光軸間の距離は、前記左線と前記車載用撮像装置の光軸間の距離と、前記右線と前記車載用撮像装置の光軸間の距離を含む車両姿勢角算出装置。
【請求項１１】
車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置と、
前記車両姿勢角算出装置から入力された前記区画線の角度と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報装置と、を有する車線逸脱警報システム。
【請求項１２】
請求項１１記載の車線逸脱警報システムにおいて、
前記車両姿勢角算出装置の前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有し、
前記車線逸脱警報装置は、前記車両姿勢角算出装置から入力された前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車両姿勢角算出装置。
【請求項１３】
請求項１２記載の車線逸脱警報システムにおいて、
前記車線逸脱警報装置は、
前記区画線と前記車載用撮像装置の光軸間の前記距離を前記車両のヨー角に基づいて、車両前輪の外側から区画線までの距離に補正する区画線までの距離補正部と、
補正された前記区画線までの距離に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報発生部と、を有する車線逸脱警報システム。
【請求項１４】
請求項１３記載の車線逸脱警報システムにおいて、
前記区画線までの距離補正部で補正する前記車両前輪の外側から区画線までの距離は、前記区画線と前記車載用撮像装置の光軸間の前記距離と、前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離が算出された地点から車両前輪までの距離と、前記車載用撮像装置から車両前輪の外側までの距離と、から算出される車線逸脱警報システム。
【請求項１５】
請求項１１記載の車線逸脱警報システムにおいて、
前記区画線は、自車の左右にある一対の左右線であり、
前記車両前輪の外側から区画線までの距離は、左の前記車両前輪の外側から前記左線までの距離と、右の前記車両前輪の外側から前記右線までの距離を含む車両姿勢角算出装置。
【請求項１６】
請求項１５記載の車線逸脱警報システムにおいて、
前記車線逸脱警報発生部は、前記車両前輪の外側から前記左車線までの距離と、前記車両前輪の外側から前記右車線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生する車線逸脱警報システム。
【請求項１７】
請求項１１記載の車線逸脱警報システムにおいて、
前記車載用撮像装置から取り込んだ前記画像情報は、車両後方の画像情報である車線逸脱警報システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１９２２２７（Ｐ２０１１−１９２２２７Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−６０１０６（Ｐ２０１０−６０１０６）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]