走行状態判定装置

【課題】車両に搭載されたカメラの撮影画像を処理してピッチ角からその車両の走行状態や路面状態を判定する走行状態判定装置において、ピッチ角を、簡単にかつ、実際との乖離なく正確に推定できるようにして判定性能を向上する。
【解決手段】車両１に搭載されたカメラ２の撮影画像を、射影変換部３２によってカメラ視点を変える簡単な座標変換の処理で迅速に側面視画像に射影変換し、ピッチ角推定部４により即面視画像の時間変化から車両１のピッチ角を実際との乖離を防止して正確に推定推定する。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載されたカメラの撮影画像を処理してピッチ角からその車両の走行状態や路面状態を判定する走行状態判定装置に関し、詳しくは、ピッチ角からの判定性能の向上に関する。
【背景技術】
【０００２】
従来、車両に前方を撮影するように単眼カメラ（撮影手段）を取り付け、その単眼カメラの撮影画像を処理して走行状態や路面状態を判定する走行状態判定装置として、単眼カメラにて撮像された路面の鳥瞰画像を変換した時系列の第１、第２の俯瞰画像のホモグラフィの行列式のパラメータ等を求めて自車両のヨー角やピッチ角を推定する装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、車両に搭載されたカメラの時系列の２枚の撮影画像のうちの一方の画像の特徴点を抽出し、抽出した各特徴点に対応する点をもう一方の画像の中から探索し、オプティカルフローと自車挙動の関係を示すつぎの数１の（１）式の３点のオプティカルフローから、ピッチ角、ヨー角、ロール角を算出して推定することも提案されている（例えば、非特許文献１参照）。
【０００４】
【数１】

【０００５】
なお、数１の（１）式において、現実のワイルド座標系（Ｘ、Ｙ、Ｚ）におけるωＸはピッチング、ωＹはヨーイング、ωＺはローリングであり、ｘ、ｙは画像座標系（ｘ、ｙ、ｚ）の直交する２軸方向、ｚはその光軸方向である。そして、図８に示すように、カメラ視点の横方向（車幅方向）がＸ軸方向、高さ方向がＹ軸方向、車両の進行方向がＺ軸方向である。この場合、図中の矢印線に示すように、ピッチ角はＸ軸周りのピッチングの回転角であり、ヨー角はＹ軸周りのヨーイングの回転角であり、ロール角はＺ軸周りのローリングの回転角である。
【０００６】
そして、ローリングは図９（ａ）の撮影画像Ｐａに破線に示すように前方地平線の傾きとして現れ、ヨーイングは撮影画像Ｐａを上方からの俯瞰画像に射影変換した同図（ｂ）の路面の射影変換画像Ｐｂに破線に示すように白線等のずれとして現れる。また、ピッチングは横方向（左または右方向）からの画像に射影変換した場合に高さ方向の傾きとして現れる。そのため、ピッチ角は、自車両の加減速や路面の凹凸による自車両の姿勢の変化を示し、ピッチ角から自車両の走行状態や路面状態を判定できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１１６１号公報
【非特許文献】
【０００８】
【非特許文献１】小阪橋宏礼、外３名、“単眼画像センサのための安定な自車挙動推定”、社団法人自動車技術会学術講演会前刷集、ＮＯ．５６−０８、ｐ．１５−１８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上記両文献に記載したように複雑な計算式（オプティカルフローと自車挙動の関係式の行列式等）の複数のパラメータを決定してピッチ角やヨー角、ロール角を推定する場合、パラメータが複数であり、複数変数の連立方程式を解くなどの複雑な計算が必要であり、煩雑で時間を要する演算処理が必要になり、また、推定結果の実際の車両挙動等からの乖離が大きい。そのため、とくにピッチ角からの車両の走行状態や路面状態の判定が迅速かつ正確に行なえず、判定結果に基づくサスペンション調整等が良好に行なえないない。
【００１０】
本発明は、車両に搭載されたカメラの撮影画像を処理してピッチ角からその車両の走行状態や路面状態を判定する走行状態判定装置において、ピッチ角を、簡単にかつ、実際との乖離なく正確に推定できるようにして判定性能を向上することを目的とする。
【課題を解決するための手段】
【００１１】
上記した目的を達成するために、本発明の走行状態判定装置は、車両に搭載されて車外を撮影するカメラと、前記カメラの撮影画像を側面視画像に射影変換する画像処理手段と、前記側面視画像の時間変化から前記車両のピッチ角を推定するピッチ角推定手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【００１２】
請求項１に記載の本発明の走行状態判定装置によれば、車両に搭載されたカメラの撮影画像は、路面に垂直な自車両の左右の仮想面に射影した側面視画像に射影変換される。このとき、画像の射影変換は周知のカメラ視点を変える簡単な座標変換の処理で行なえ、前記した複数変数の連立方程式を解くなどの複雑な計算は不要であり、簡単で迅速に行なえる。また、側面視画像が実際のピッチ角の変化に応じて上下方向にずれるので、ピッチ角推定手段により側面視画像の時間変化から車両のピッチ角を実際との乖離を防止して正確に推定できる。したがって、車両に搭載されたカメラの撮影画像を処理してその車両のピッチ角を、簡単に、かつ、実際との乖離なく正確に推定し、走行状態や路面状態の判定性能を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の走行状態判定装置の一実施形態のブロック図である。
【図２】図１のカメラの取り付け例の説明図である。
【図３】撮影画像の一例である。
【図４】図３の撮影画像の射影変換の説明図である。
【図５】（ａ）、（ｂ）はそれぞれ図３の撮影画像を射影変換した側面視画像の説明図である。
【図６】ピッチ角の推定の説明図である。
【図７】図１の動作説明用のフローチャートである。
【図８】車両のピッチ角、ヨー角、ロール角の説明図である。
【図９】（ａ）、（ｂ）はローリング、ヨーイングによる画像変化の説明図である。
【発明を実施するための形態】
【００１４】
本発明の一実施形態について、図１〜図７を参照して説明する。
【００１５】
図１に示す本実施形態の走行状態判定装置は、車両１に搭載されたＣＣＤの単眼カメラ２（本発明の「カメラ」）により、走行中の車両１の車外、具体的には、車両１の前方や後方を連続的に撮影する。
【００１６】
図２は前方を撮影する場合の単眼カメラ２の取り付け例を示し、単眼カメラ２は、車室内の例えば車幅方向の中央に、上方から前方を水平よりやや下向きに狙うように取り付けられ、車両１の前方の路面を斜め上方から撮影し、例えば図３に示すように前方の路面αや前方の車両背面β等が写った撮影画像Ｐ（ｔ）を出力する。
【００１７】
単眼カメラ２の撮影画像は、マイクロコンピュータ構成の画像処理ＥＣＵ３の画像取込部３１に取り込まれて射影変換部３２に送られる。
【００１８】
射影変換部３２の射影変換は、基本的に、周知の座標軸変換の射影変換操作により、単眼カメラ２の毎フレームの撮影画像Ｐ（ｔ）を、例えば図４に示すように走行路を囲む仮想の六面体ｍの各面に射影する上下左右の各カメラ視点ＥＹＥの画像に変換するものであり、本実施例の場合、上下に変化するピッチ角を推定するため、撮影画像Ｐ（ｔ）を、次に説明する左右のカメラ視線ＥＹＥの側面視画像Ｑ（ｔ）に射影変換する。
【００１９】
射影変換とは、ある平面上の点を別の平面の点に変換することができる手法であり、道路面が平面であるという仮定を置くことで、撮影画像を道路面に対して真上から見た俯瞰図や左右から見た画像に変換するものである。
【００２０】
そして、撮影画像Ｐ（ｔ）の上面視の俯瞰画像への変換原理を説明すると、道路面をワールド座標におけるＸ−Ｚ平面と仮定し、カメラ視点の座標を（ｘｃ、ｙｃ、ｚｃ）、光軸と道路面とがなす角をφ、焦点距離をｆとした場合、撮影画像Ｐ（ｔ）中の点（ｉ、ｊ）をワールド座標系に変換すれば、道路上の各点（Ｘｗ、Ｙｗ、Ｚｗ）は次の数２の(２)式で示される。
【００２１】
【数２】

【００２２】
さらに、カメラ視点を（ｘ´ｃ、ｙ´ｃ、ｚ´ｃ）に移動して道路面を真上から見下ろした時の画素の移動は次の数３の簡単な座標変換の（３）式によって計算される。
【００２３】
【数３】

【００２４】
そして、カメラ視点を道路面に垂直な左右の平面上に移動して道路の左右側面のいずれか一方から見たときの画素の移動も同様にして求められ、この移動を求めることによって、撮影画像Ｐ（ｔ）が、左右のカメラ視線ＥＹＥの側面視画像Ｑ（ｔ）に射影変換される。
【００２５】
この射影変換で得られる側面視画像Ｑ（ｔ）は、例えば図５の（ａ）、（ｂ）に示すようになる。図５（ａ）は図３の撮影画像Ｐ（ｔ）を左の仮想面に射影変換した側面視画像Ｑｌ（ｔ）、図５（ｂ）は図３の撮影画像Ｐ（ｔ）を右の仮想面に射影変換した側面視画像Ｑｒ（ｔ）を示し、それぞれの直線Ｌ（ｔ）は路面境界線を示す。
【００２６】
そして、自車１が加減速して走行状態が変化したり、路面の凹凸によって自車１の姿勢が変化し、ピッチングによって自車の１のピッチ角が変化すると、このピッチ角の変化にしたがってカメラ視線も変化し、例えば図６に示すように、時刻ｔのフレームの撮影画像Ｐ（ｔ）の射影変換で得られた側面視画像Ｑ（ｔ）では水平な路面境界線Ｌ（ｔ）に対して、つぎの時刻ｔ＋１のフレームの撮影画像Ｐ（ｔ＋１）の射影変換で得られた側面視画像Ｑ（ｔ＋１）の路面境界線Ｌ（ｔ＋１）が、ピッチ角θ傾く。
【００２７】
そこで、射影変換部３２で得られた各フレームの側面視画像Ｑ（ｔ）、Ｑ（ｔ＋１）、…はピッチ角推定部４に取り込まれ、ピッチ角推定部４は例えば前後の２フレームの側面視画像、例えばＱ（ｔ）、Ｑ（ｔ＋１）の路面境界線Ｌ（ｔ）、Ｌ（ｔ＋１）の角度（ピッチ角）θの向き、大きさから、側面視画像Ｑ（ｔ）、Ｑ（ｔ＋１）の時間変化を把握して車両１のピッチ角θを推定する。また、必要に応じて、例えばアクセルペダルセンサ５やブレーキ液圧センサセンサ６の変化等から、ピッチングが加減速による走行状態の変化か、路面の凹凸によって生じたものかを識別する。
【００２８】
そして、ピッチ角推定部４の推定結果がサスペンション調整部７に送られ、サスペンション調整部７はピッチ角θに応じて車両１のサスペンションを時々刻々に可変して乗り心地を改善する。
【００２９】
図７は上記の一連の処理手順を示し、単眼カメラ２が新たなフレームの撮影をすると（ステップＳ１）、射影変換部３２が撮影画像Ｐ（ｔ）を側面視画像Ｑ（ｔ）に射影変換し（ステップＳ２）、ピッチ角推定部４が前後２フレームの側面視画像Ｑ（ｔ）、Ｑ（ｔ＋１）、…の路面境界線Ｌ（ｔ）、Ｌ（ｔ＋１）、…の時間変化からピッチ角θを推定し（ステップＳ３）、この推定に基づき、サスペンション調整部７が車両１のサスペンションを調整する（ステップＳ４）。そして、ステップＳ１〜Ｓ４の処理が新たなフレームの撮影毎に繰り返される。
【００３０】
したがって、本実施形態の場合、単眼カメラ２の撮影画像Ｐ（ｔ）、Ｐ（ｔ＋１）、…を射影変換部３２の簡単な射影変換の演算で迅速に側面視画像Ｑ（ｔ）、Ｑ（ｔ＋１）、…に射影変換し、ピッチ角推定部４により、例えば最新の２フレームの側面視画像Ｑ（ｔ）、Ｑ（ｔ＋１）の路面境界線Ｌ（ｔ）、Ｌ（ｔ＋１）の傾きから実際のピッチングに合致したピッチ角θを推定することができ、その推定結果に基づいて、サスペンションの良好な調整を行なうことができる。
【００３１】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、射影変換部３２により、撮影画像Ｐ（ｔ）、Ｐ（ｔ＋１）、…を上面視の俯瞰画像にも変換し、ピッチ角推定部４と同様のヨー角推定部により、前記俯瞰画像の道路白線等の時間変化、すなわち、フレーム間のずれから前記したヨー角も推定するようにしてもよい。
【００３２】
つぎに、ピッチ角やヨー角の推定は、数フレーム間隔の２フレームの撮影画像に基づいて行うようにしてもよい。また、ピッチ角やヨー角の推定を、１又は複数フレームのフレーム間隔で行なってもよく、３フレーム以上の多数フレーム毎に、その間における各フレーム間のピッチ角やヨー角の平均値から推定するようにしてもよい。
【００３３】
また、ピッチ角やヨー角は、路面境界線Ｌ（ｔ）、Ｌ（ｔ＋１）、…の傾きから検出しなくてもよく、例えば画像中の車両βの下端の傾き等から検出してもよい。
【００３４】
さらに、推定結果は、サスペンションション調整以外の種々の車両１の制御や調整に用いてもよいのは勿論である。
【００３５】
また、本実施形態においては、単眼カメラ２によって車両１の前方を撮影するようにしたが、例えば、単眼カメラ２に代えて、あるいは、単眼カメラ２とともに、車両１の車外後方を撮影する単眼カメラを備え、射影変換部３２により、自車１の車外後方の撮影画像を同様の側面視画像に射影変換し、その時間変化からピッチ角推定部４によりピッチ角を推定するようにしてもよい。
【００３６】
つぎに、車両１の各部の構成や処理手順はどのようであってもよく、例えば、本発明のカメラは単眼カメラでなくてもよいのは勿論である。
【００３７】
そして、本発明は種々の車両のピッチ角の推定に適用することができる。
【符号の説明】
【００３８】
１車両
２単眼カメラ
３画像処理ＥＣＵ
４ピッチ角推定部
３２射影変換部

【特許請求の範囲】
【請求項１】
車両に搭載されて車外を撮影するカメラと、
前記カメラの撮影画像を前記車両の側面視画像に射影変換する画像処理手段と、
前記側面視画像の時間変化から前記車両のピッチ角を推定するピッチ角推定手段とを備えたことを特徴とする走行状態判定装置。

【図１】