障害物測定方法及び障害物測定装置
【課題】先行車両の車幅等の自車前方の障害物の横幅が未知の場合に、前記の外乱等の影響を極力受けないようにして、単眼カメラの撮影画像から、車間距離等の自車から前方の障害物までの距離を精度よく測定する。
【解決手段】自車１に単眼カメラ２を搭載し、このカメラ２の自車前方の撮影画像の画像処理により、その撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、この観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、観測位置及び単眼カメラ２の撮影条件に基いて自車１から障害物までの距離を推定して測定する。
【解決手段】自車１に単眼カメラ２を搭載し、このカメラ２の自車前方の撮影画像の画像処理により、その撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、この観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、観測位置及び単眼カメラ２の撮影条件に基いて自車１から障害物までの距離を推定して測定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車に搭載した単眼カメラの自車前方の撮影画像から、自車から自車前方の先行車両等の障害物までの距離（車間距離）、障害物の横幅（車幅）を推定して測定する障害物測定方法及び障害物測定装置に関するものである。
【背景技術】
【０００２】
近年、自動車産業界においては、車両認識や車線認識など画像処理技術を応用したさまざまな車載システムの開発、商品化が進められているが、なかでも、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や被害軽減自動ブレーキシステムなどにあっては、撮影画像の画像処理により、自車前方の先行車両等の障害物について、少なくとも自車から障害物までの距離（車間距離）を測定することが要求される。
【０００３】
この障害物測定を行なうため、ＡＣＣや被害軽減自動ブレーキシステム等にあっては、従来、自車にステレオカメラを搭載し、そのステレオの自車前方の撮影画像に基き、三角測量の原理で前記の車間距離等の距離を測定することが提案されている（例えば、非特許文献１参照。）。
【０００４】
しかしながら、このステレオ撮影画像からの測定にあっては、ステレオカメラを要し、高価であり、しかも、その光学系のサイズが大きく大型になる等の不都合がある。
【０００５】
そこで、ステレオカメラに代えて安価で小型の単眼カメラを自車に搭載し、この単眼カメラの自車前方の撮影画像（以下、単眼カメラの撮影画像を単眼画像という）を画像処理し、その画像エッジのエッジヒストグラムのピーク点検出に基くカルマンフィルタ処理により、道路勾配が一定、障害物としての先行車両の車幅が既知である等の条件下、前記の車間距離等の距離を推定して測定することが提案されている（例えば、非特許文献２参照。）。
【０００６】
また、単眼のビデオカメラの自車前方の単眼画像につき、最初に、自車の走行車線を検出し、その走行車線内の最も画面下方の水平エッジを先行車両の影として抽出し、抽出した水平エッジの画像上の高さに基づく比例計算から初期の車間距離を算出し、以降は、算出した車間距離と、基準の車幅に対する垂直エッジの間隔から測定した最新の車幅の比から、最新の車間距離を算出して測定し、時々刻々に車間距離と車幅を測定することも提案されている（例えば、特許文献１参照。）。
【０００７】
【非特許文献１】塙 圭二、十川 能之、「自動車前方監視用のステレオ画像認識装置の開発」、信学技報（電子情報通信学会技術研究報告）、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ３７−４２、Ｓｅｐｔ．２００１
【非特許文献２】山田 憲一、伊東 敏夫、「エッジ画像の濃度投影による車両の一捕捉方法」、電気学会論文誌 Ｅ、Ｖｏｌ．１１８−Ｅ Ｎｏ６．ｐｐ３２７−３３２、１９９８
【特許文献１】特開平７−３３４７９９号公報（段落［００１９］−［００２３］、［００２９］−［００３０］、図３、図４、図５、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前記非特許文献２に記載の従来測定の場合、単眼画像のエッジヒストグラム等から、その画像の先行車の領域を抽出して画像上での先行車両の車幅（横幅）を検出し、先行車両の車幅、車間距離と、単眼カメラの取り付け角度やカメラピッチの撮影条件（カメラパラメータ）との関係を示す、つぎの（ａ）式の演算から、車間距離を算出して推定することになる。なお、式中のｉｗｖは画像上の検出車幅、ｆはカメラの焦点距離、Ｗｖは実際の車幅、Ｌｄｉｓｔは実際の車間距離、βはカメラピッチ角、ｈ０はカメラ取り付け角である。
【０００９】
ｉｗｖ＝ｆ・［Ｗｖ／｛Ｌｄｉｓｔ・ｃｏｓβ＋ｈ０・ｓｉｎβ｝］ （ａ）
【００１０】
したがって、前記したように先行車両の実際の車幅Ｗｖが既知でなければ、前記（ａ）式から車間距離Ｌｄｉｓｔを算出して推定することができない。
【００１１】
そして、実際の走行環境下においては、先行車両の実際の車幅Ｗｖを既知とすることは難しく、車幅Ｗｖの精度の高い測定は困難である。なお、先行車両以外の自車前方の障害物についても同様である。
【００１２】
つぎに、前記特許文献１に記載の従来測定の場合、単眼画像から車間距離Ｌｄｉｓｔ及び先行車両の車幅Ｗｖの測定は行えるが、それらの測定結果が外乱の影響を受けて変動し易く、精度の高い測定が行なえない問題がある。
【００１３】
さらに、この種の測定に用いられる画像処理の欠点として、天候状況等の周囲の環境条件による画質劣化、画像中に存在する雑音等の外乱によりその認識性能が低下することが、よく知られており、また、個々の撮像系のばらつきや車両運動などによるモデル化誤差の影響も測定性能の低下に影響すると考えられていることから、これらの認識性能の低下の影響を極力受けないようにして、前記の車間距離Ｌｄｉｓｔ等の自車から前方の障害物までの距離及び先行車両の車幅Ｗｖ等の障害物の横幅の精度の高い測定を行なうことが望まれる。
【００１４】
本発明は、とくに先行車両の車幅等の自車前方の障害物の横幅が未知の場合に、前記の外乱等の影響を極力受けないようにして、単眼画像から、車間距離等の自車から前方の障害物までの距離を精度よく測定することを目的とし、さらに、前記の距離の測定に基いて、同時に、障害物の横幅も単眼画像から精度よく測定することを目的とする。
【課題を解決するための手段】
【００１５】
上記した目的を達成するために、本発明の障害物測定方法は、自車に単眼カメラを搭載し、前記単眼カメラの自車前方の単眼画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定することを特徴としている（請求項１）。この場合、障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であることが好ましい（請求項２）。
【００１６】
また、本発明の障害物測定方法は、自車に単眼カメラを搭載し、前記単眼カメラの自車前方の単眼画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として検出し、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記単眼画像から前記障害物の前記距離、前記横幅を同時に測定することを特徴としている（請求項３）。この場合、障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であり、かつ、前記障害物の横幅を、前記両エッジヒストグラムのピークから検出することが好ましい（請求項４）。
【００１７】
そして、本発明の障害物測定方法は、適応フィルタがＨ∞フィルタであることを特徴としている（請求項５）。
【００１８】
つぎに、本発明の障害物測定装置は、自車に搭載された単眼カメラと、自車前方の単眼画像を画像処理し、前記単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する画像処理手段と、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定するフィルタ演算手段とを備えたことを特徴としている（請求項６）。この場合、画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出することが好ましい（請求項７）。
【００１９】
また、本発明の障害物測定装置は、自車に搭載された単眼カメラと、この単眼カメラの自車前方の単眼画像を画像処理し、前記単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として測定する画像処理手段と、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、かつ、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記障害物の前記距離、前記横幅を同時に測定するフィルタ演算手段とを備えたことをことを特徴としている（請求項８）。この場合、画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出し、かつ、前記両エッジヒストグラムのピークから、前記障害物の横幅を検出することが好ましい（請求項９）。
【００２０】
そして、本発明の障害物測定装置は、適応フィルタがＨ∞フィルタであることを特徴としている（請求項１０）。
【発明の効果】
【００２１】
まず、請求項１、６の構成によれば、自車に搭載した単眼カメラの自車前方の単眼画像の画像処理により、この画像上での自車前方の障害物の基準部の高さ方向の位置が観測位置として検出され、この観測位置は障害物の遠近によって上下する。
【００２２】
そして、この観測位置が入力される非線形状態空間モデルの適応フィルタのフィルタリングにより、観測位置及び単眼カメラの撮影条件に基き、外乱の影響等を極力排除して自車から障害物までの距離を推定する状態推定フィルタが形成され、この状態推定フィルタにより、自車から障害物までの車間距離等の距離を精度よく推定して測定することができ、このとき、障害物の横幅（車幅）は不要であり、障害物の横幅が未知（不明）であっても、前記の状態推定フィルタにより自車から障害物までの距離を精度よく測定できる。
【００２３】
つぎに、請求項２、７の構成によれば、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部としたため、障害物の大きさ等による誤差なく、その遠近によって変化する観測位置を検出することができ、この観測位置の検出に基く前記距離や横幅の推定が極めて精度よく行なえる。
【００２４】
つぎに、請求項３、８の構成によれば、単眼画像上での前記の自車前方の障害物の基準部の高さ方向の位置及び障害物の横幅が、観測位置及び観測幅として検出され、その観測位置が入力される前記と同様の非線形状態空間モデルの適応フィルタのフィルタリングにより、自車から障害物までの車間距離等の距離を精度よく推定して測定することができ、さらに、観測幅を入力とする線形状態空間モデルの適応フィルタの観測行列の係数を、前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整することにより、観測幅と非線形状態空間モデルの適応フィルタの推定結果とに基いて車幅等の横幅を精度よく推定して測定することができる。
【００２５】
したがって、単眼カメラの自車前方の単眼画像上での自車前方の障害物の基準部の高さ方向の観測位置を入力とする非線形状態空間モデルの適応フィルタに、前記単眼画像上での自車前方の障害物の観測幅を入力とする線形状態空間モデルの適応フィルタを直列に接続した構成により、障害物の横幅が未知（不明）であっても、前記距離及び横幅を最適フィルタのフィルタリングによって推定し、同時に精度よく測定することができる。
【００２６】
つぎに、請求項４、９の構成によれば、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部としたため、障害物の大きさ等による誤差なく、その遠近によって変化する観測位置を検出することができ、この観測位置の検出に基く前記距離や横幅の推定が極めて精度よく行なえ、しかも、障害物の横幅を、前記両エッジヒストグラムのピークから精度よく確実に検出することができる。
【００２７】
また、請求項５、１０の構成によれば、前記の非線形状態空間モデルの適応フィルタ、線形状態空間モデルの適応フィルタを、Ｈ∞フィルタで構成したため、それらの適応フィルタが外乱やモデル化誤差にロバストになり、精度の高い実用的な構成のフィルタリングによって前記距離、横幅を精度よく測定することができる。
【発明を実施するための最良の形態】
【００２８】
つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１６にしたがって詳述する。
【００２９】
＜全体構成＞
図１は自車１に搭載された障害物測定装置のブロック図であり、２は小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラであり、車室内前方のほぼ車幅センタ位置に自車前方の路面を所定角度下向きに撮影するように取り付けられ、自車１のエンジンスタート後、自車前方を連続的にくり返し撮影し、毎フレームの単眼画像（撮影画像）を出力する。このとき、自車前方の障害物の遠近にしたがって単眼画像上の障害物の位置が上下する。
【００３０】
３は単眼カメラ２の毎フレームの単眼画像（撮影画像）を取り込む画像処理部であり、画像処理手段を形成し、取り込んだ単眼画像をＡ／Ｄ変換し、例えば最新の数フレーム分の単眼画像をメモリに書き換え自在に蓄積保持し、マイクロコンピュータ（ＣＰＵ）により、設定された画像処理プログラムにしたがって前記メモリの単眼画像を処理し、単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する。
【００３１】
そして、この実施形態にあっては、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部とし、障害物の大きさ等による検出誤差を極力押さえる。
【００３２】
４は画像処理部３の後段のフィルタ演算部であり、フィルタ演算手段を形成し、マイクロコンピュータの最適フィルタリング演算により、先行車間距離等の自車から障害物までの距離のみを推定して測定する場合は、ソフトウエアで形成された後述の非線形状態空間モデルΓ２の適応フィルタを備え、車間距離等の自車から障害物までの距離及び障害物の車幅等の横幅を推定して測定する場合は、ソフトウエアで形成された後述の線形状態空間モデルΓ１の適応フィルタも備え、前記の距離、横幅をくり返し推定して測定する。
【００３３】
そして、非線形状態空間モデルΓ２、線形状態空間モデルΓ１の状態推定の適応フィルタは、種々のアルゴリズムに基くフィルタであってよいが、この実施形態にあっては、それぞれＨ∞フィルタによって形成する。
【００３４】
＜Ｈ∞フィルタの導出＞
つぎに、前記のＨ∞フィルタの導出について説明する。
【００３５】
まず、離散時間の確定的な状態空間モデルは、一般に、つぎの数１の式（１）、数２の式（２）で与えられる。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
ここで、ξｋはｎ次元状態ベクトル、ζｋはｐ次元観測ベクトル、Ｆｋ、Ｇｋ、Ｈｋはそれぞれｎ×ｎ、ｎ×ｒ、ｐ×ｎの既知の状態遷移行列、駆動行列、観測行列、ｗｋ及びｖｋはそれぞれｒ次元雑音、ｐ次元雑音（ベクトル）である。
【００３９】
ただし、雑音ｗｋ、ｖｋはエネルギーが有界な確定的な雑音、すなわち、Ｎ＞０に対して、下記数３の条件式を満足する雑音である。これは、フィルタシステムに存在する雑音の確率的な性質を問わないということである。
【００４０】
【数３】
【００４１】
一般に、伝達行列Ｔに対するＨ∞ノルムは、つぎの数４の時系列ｕの２ノルムを用いて数５の式（３）で定義される。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
そして、入カを未知外乱（雑音）ξｋ、ｗｋ、ｖｋとし、出カを推定誤差ｅｆ，ｋとして、式（３）を最小にするフィルタを導出することは、最適Ｈ∞フィルタリング間題として知られているが、一般に、この最適Ｈ∞フィルタを求めることは難しく、前記フィルタの導出は有限時間の準最適Ｈ∞フィルタリング問題として扱われる。
【００４５】
すなわち、前記の最適Ｈ∞フィルタリング間題は、あるレベルの制御パラメータγｆ＞０が与えられたとき、‖Ｔｋ（ｆｋ）‖∞＜γｆを溝たす準最適Ｈ∞フィルタを求めることとして扱われ、これは、求められた準最適Ｈ∞フィルタが、外乱エネルギーと推定誤差エネルギーの比の最大値を与えられた値γ２ｆ以下にすることを目的とするフィルタであることを意味する。
【００４６】
そして、本願のＨ∞フィルタは、この準最適Ｈ∞フィルタを意味し、レベルγｆ＞０が与えられたとき、‖Ｔｋ（ｆｋ）‖∞＜γｆを溝たすレベルγｆのＨ∞フィルタの一つは、つぎの数６の式（４）〜数９の式（７）で示される。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
【数８】
【００５０】
【数９】
【００５１】
ここで、行列Ｒｅ,ｋは、つぎの数１０の式（８）で示され、誤差の共分散行列Ｐ＾ｋ｜ｋ−１は、数１１の式（９）に示す不等式（存在条件）を満たすものでなければならない。
【００５２】
【数１０】
【００５３】
【数１１】
【００５４】
つぎに、Ｈ∞フィルタは外乱（初期状態、雑音）から推定誤差までの伝達関数Ｔｋ（Ｆｆ）のＨ∞ノルムを最小にする意味で最適なフィルタとして与えられるものであり、このフィルタは最悪外乱に対する推定誤差を最小とするので、一般に、雑音の特性変化やモデル化誤差に対してロバストであるといわれている。
【００５５】
このＨ∞フィルタは無数に存在し、そのアルゴリズムの導出についてもさまざまな方法での定式化が提案されており、例えば、ミニマックス推定問題として離散時間Ｈ∞フィルタの導出を試みたり、また、不定計量空間の一種であるクライン空間におけるカルマンフィルタがＨ∞フィルタであることから、両者に対する統一的解釈を与えて前記の式（４）〜式（９）に示したＨ∞フィルタアルゴリズムで定式化することがよく知られている。
【００５６】
一方、このＨ∞フィルタを形成してフィルタリングを実行する際には、パラメータγｆの決定と計算量の多さが問題となる。
【００５７】
［線形状態空間モデルΓ１のＨ∞フィルタ］
そして、この実施形態では、線形状態空間モデルΓ１の適応フィルタとして、前記のパラメータγｆの決定が容易で計算量が少ない、つぎの数１２の式（１０）〜数１６の式（１４）で示されるフィルタアルゴリズムのＨ∞フィルタを用いる。
【００５８】
【数１２】
【００５９】
【数１３】
【００６０】
【数１４】
【００６１】
【数１５】
【００６２】
【数１６】
【００６３】
ここで、行列λｉ、（ｉ＝１、…、ｎ）、Ｖｋは、つぎの数１７の式（１５）に示すように、行列Ｍｋの固有値、及び固有ベクトルより求められる。
【００６４】
【数１７】
【００６５】
なお、行列Ｍｋは、つぎの数１８の式（１６）で示される行列である。
【００６６】
【数１８】
【００６７】
また、行列ＶｋはＶｋ＝（ｖ１、…、ｖｉ、…、ｖｎ）の雑音行列であり、雑音ｖｉは行列λｉに対応する行列Ｍｋの固有ベクトルとして求まり、ただし、｜ｖｉ｜＝１である。さらに、ＶｋＴＶｋ＝ＶｋＶｋＴ＝Ｉである。
【００６８】
［非線形状態空間モデルΓ２のＨ∞フィルタ］
前記式（１２）〜式（１６）のＨ∞フィルタは線形状態空間モデルΓ１の適応フィルタとして導出したものであるが、つぎに、線形状態空間モデルΓ２の適応フィルタとしては、観測方程式における観測行列Ｈｋが非線形関数ｈｋ（ξｋ）である非練形状態空間モデル（システム）Γに対するＨ∞フィルタを導出する。
【００６９】
すなわち、非線形システムΓにおける非線形関数ｈｋ（ξｋ）を、ｋ（今回）、ｋ−１（前回）の時点における推定量（値）ξ＾ｋ｜ｋ、ξ＾ｋ｜ｋ−１の周りで、つぎの数１９の式（１７）に示すようにテイラー展開する。
【００７０】
【数１９】
【００７１】
ここで、観測行列Ｈｋは、つぎの数２０の式（１８）で示される。
【００７２】
【数２０】
【００７３】
したがって、非線形状態空間モデルΓは、つぎの数２１の式（１９）〜数２４の式（２２）で示される。
【００７４】
【数２１】
【００７５】
【数２２】
【００７６】
【数２３】
【００７７】
【数２４】
【００７８】
そして、数式（２２）のパラメータｍｋが前回推定量（値）ξ＾ｋ｜ｋ−１から各ステップ毎（フレーム毎）に求められ、非線形状態空間モデルΓは線形状態空間モデルとして扱うことが可能となる。
【００７９】
そこで、線形状態空間モデルΓ１に対するＨ∞フィルタ及び前記式（１９）〜式（２２）から、この実施形態では、線形状態空間モデルΓ２の適応フィルタとして、つぎの数２５の式（２３）〜数３０の式（２８）に示すフィルタアルゴリズムのＨ∞フィルタを用いる。
【００８０】
【数２５】
【００８１】
【数２６】
【００８２】
【数２７】
【００８３】
【数２８】
【００８４】
【数２９】
【００８５】
【数３０】
【００８６】
ここで、行列λｉ、（ｉ＝１、…、ｎ）、Ｖｋは、つぎの数３１の式（２９）に示すように、行列Ｍｋの固有値、及び固有ベクトルより求められる。
【００８７】
【数３１】
【００８８】
なお、行列Ｍｋは、つぎの数３２の式（３０）で示される行列である。
【００８９】
【数３２】
【００９０】
また、行列ＶｋはＶｋ＝（ｖ１、…、ｖｉ、…、ｖｎ）の雑音行列であり、雑音ｖｉは行列λｉに対応する行列Ｍｋの固有ベクトルとして求まり、ただし、‖ｖｉ‖＝１である。さらに、ＶｋＴＶｋ＝ＶｋＶｋＴ＝Ｉである。
【００９１】
＜図１の測定処理＞
つぎに、上記のＨ∞フィルタを用いた図１の具体的な測定処理について説明する。
【００９２】
［座標系］
まず、走行環境のワールド座標系、単眼カメラ２のカメラ座標系、その撮像座標系について、図２の座標系説明用の斜視図、図３のその側面図を参照して説明する。
【００９３】
ワールド座標系は自車１に対する先行車両等の自車前方の障害物の位置情報を表現するものであり、その直交する３軸は、車載の単眼カメラ２のレンズ２ａを中心（原点）とする、図２、図３のｗＸ軸、ｗＹ軸、ｗＺ軸で表わされる。
【００９４】
また、カメラ座標系の３軸は、レンズ２ａを中心とする、図２、図３のｃＸ軸，ｃＹ軸，ｃＺ軸で表わされ、撮影光軸を斜め下向きにして自車前方の路面５を撮影するため、ｃＸ軸をｗＸ軸に一致した状態で、座標系を、ｗＸ軸を中心軸として反時計回りに角度β回転した状態に設定され、ｃＹ軸、ｃＺ軸は、ｗＹ軸、ｗＺ軸から角度β傾いている。
【００９５】
さらに，画像座標系は単眼カメラ２の撮影画像平面２ｂの中央を原点とする２次元座標系であり、図２に示すように、そのｙ軸はｃＹ軸に平行であり、ｘ軸はｃＸ軸に平行である。
【００９６】
なお、図２、図３のｈ０は単眼カメラ２の路面５からの高さ（カメラ高さ）、ｆは単眼カメラ２の焦点距離，βはそのカメラピッチ角である。この場合、よく知られているように、カメラ座標系と画像座標系には、つぎの数３３の式（３１）の関係がある。
【００９７】
【数３３】
【００９８】
［測定対象の距離、横幅］
つぎに、前記の座標関係に基く先行車両等の自車前方の障害物の測定対象の距離（車間距離）、横幅（車幅）について、図４の先行車両の撮影画像の説明図、図５のワールド座標系での距離、横幅の説明図を参照して説明する。
【００９９】
まず、白車１及び先行車両等の障害物を合む走行環境の道路平面５の勾配が一定であるとすると、前記の各座標系の関係から、ワールド座標系の任意の点（ｗＸ１、ｗＹ１、ｗＺ１）と、画像座標系の任意の点（ｘ１、ｙ１）との間には、つぎの数３４の式（３２）、数３５の式（３３）の関係がある。
【０１００】
【数３４】
【０１０１】
【数３５】
【０１０２】
また、説明を簡単にするため、障害物を先行車両６とし、ワールド座標系における先行車両６の左、右両端の座標を（ｗＸｌ、ｗＺｌ）、（ｗＸｒ、ｗＺｒ）、画像座標系における先行車両６の左、右両端の座標をｘｌ、ｘｒとして、ワールド座標系における先行車両６の測定する車幅（横幅）を図５のＷｖとし、自車１から先行車両６までの測定する車間距離を図５のＬｄｉｓｔとし、画像座標系における先行車両６の撮影された横幅（車幅）を図４のｉｗｖとし、画像平面２ｂ上で下端中央部として検出される図４の矩形枠の車両領域の下線中点座標（重心点座標）を（Ｏｘ、Ｏｙ）とすると、ｉｗｖ＝ｘｒ−ｘｌであるため、前記式（３２）〜（３３）より、画像平面２ｂ上の先行車両６の横幅ｉｗｖ、中点座標（Ｏｘ、Ｏｙ）と、車間距離Ｌｄｉｓｔとは、つぎの数３６の式（３４）、数３７の式（３５）の関係がある。
【０１０３】
【数３６】
【０１０４】
【数３７】
【０１０５】
そして、中点座標（Ｏｘ、Ｏｙ）が先行車両６の基準部であり、その座標値Ｏｙがその高さ方向の観測位置であり、式（３５）は、その観測位置と、単眼カメラ２の撮影条件であるカメラ高さｈ０、焦点距離ｆ、角度βとに基づき、車間距離Ｌｄｉｓｔが測定できることを示している。
【０１０６】
また、横幅ｉｗｖを観測幅として検出すると、式（３４）は、その観測幅及び前記の車間距離Ｌｄｉｓｔの測定結果、単眼カメラ２の撮影条件に基き、車幅（横幅）Ｗｖを測定できることを示している。
【０１０７】
［画像処理部３の処理（先行車両情報の抽出）］
そこで、単眼カメラ２の単眼画像に基づき、画像処理部３により、つぎに説明するようにして、前記の観測位置Ｏｙ、観測幅ｉｗｖを検出する。
【０１０８】
撮影画像平面２ｂ上に存在する先行車両６の観測位置Ｏｙ、観測幅ｉｗｖの検出は、単眼画像の種々の画像処理によって行なうことができるが、この実施形態においては、いわゆるエッジヒストグラムによる先行車両認識アルゴリズムの画像処理によって行う。
【０１０９】
この場合、画像処理部３により、Ａ／Ｄ変換された単眼カメラ２の毎フレームの単眼画像、例えば図６の単眼画像Ｐａについて、その画像平面上に、図７の微分二値画像に示す垂直エッジ検出の領域Ｖ−ＲＯＩ、水平エッジ検出の領域Ｈ−ＲＯＩを設定する。
【０１１０】
なお、図６の枠線で囲まれたほぼ画像中央の部分は、種々の実験等に基き、先行車両６を捕捉する位置、大きさに設定され、両領域Ｈ−ＲＯＩ、Ｖ−ＲＯＩは、前記画像中央の部分で十字状に交差する帯状の領域である。
【０１１１】
そして、まず、枠線内のほぼ中央部に設定した領域Ｖ−ＲＯＩについて縦方向の微分画像を濃度投影し、図７の垂直エッジのエッジヒストグラムＧｖを得、このヒストグラムＧｖのピーク検出により、車両両端等の垂直線成分が強い個所を検出する。
【０１１２】
つぎに、エッジヒストグラムＧｖから検出した２ピークの間隔のほぼ中央に垂直方向に領域Ｈ−ＲＯＩを設定し、この領壊Ｈ−ＲＯｌについて横方向の微分画像を濃慶投影し、図７の水平エッジヒストグラムＧｈを得、このヒストグラムＧｈの水平線成分が強い先行車両の上下端部のピークを検出する。
【０１１３】
そして、前記の垂直、水平のエッジヒストグラムのピーク検出情報に基づき、水平のエッジピークが検出された先行車両の下端部を認識し、その中央位置から図４の画像平面２ｂ上の下線中点座標（Ｏｘ、Ｏｙ）を検出し、その座標Ｏｙから、前記基準部の高さ方向の観測位置を検出し、同時に、垂直エッジの２ピークの間隔から図４の画像平面２ｂ上での先行車両の車幅（横幅）ｉｗｖを観測幅として検出する。
【０１１４】
このとき、先行車両６の大きさ等によらず、先行車両６の遠近によって下線中点座標（Ｏｘ、Ｏｙ）が上下動し、観測位置は、自車１からの先行車両６の遠近に即して上下する。
【０１１５】
［フィルタ演算部４の処理］
先行車両６の車幅Ｗｖが既知であれば、前記式（３４）の関係から、撮影画像平面２ｂ上の先行車両６の車幅ｉｗｖを検出することにより、車間距離Ｌｄｉｓｔを求めることができるが、先行車両幅Ｗｖが未知の傷合は、車幅ｉｗｖを検出するだけでは車間距離Ｌｄｉｓｔを求めることができない。
【０１１６】
そこで、画像処理部３によって得られた前記の観測位置、観測幅が入力されるフィルタ演算部４においては、車幅Ｗｖが未知の傷合に、非線形状態空間モデルΓ２のフィルタリングによって車間距離Ｌｄｉｓｔを推定する。
【０１１７】
また、この実施形態の場合、同時に、線形状態空間モデルΓ１のフィルタリングによって車幅Ｗｖも推定する。
【０１１８】
そして、前記のＨ∞フィルタを使用して、つぎの状態空間モデルΓ１、Γ２の適応フィルタを形成する。
【０１１９】
（ａ）線形状態空間モデルΓ１の適応フィルタ
車幅Ｗｖを推定する線形状態空間モデルΓ１の適応フィルタは、つぎの数３８の式（３６）、数３９の式（３７）で示される。
【０１２０】
【数３８】
【０１２１】
【数３９】
【０１２２】
なお、それらの式中のθｋは先行車両６の時点ｋでの車幅の状態量、ζｌｋは時点ｋの観測行列Ｈｋの車間距離のパラメータであり、θｋ、ζｌｋ、Ｈｋはつぎの数４０の式（３８）〜数４２の式（４０）で表される。
【０１２３】
【数４０】
【０１２４】
【数４１】
【０１２５】
【数４２】
【０１２６】
（ｂ）非線形状態空間モデルΓ２の適応フィルタ
車間距離Ｌｄｉｓｔを推定する非線形状態空間モデルΓ１の適応フィルタは、つぎの数４３の式（４１）、数４４の式（４２）で示される。
【０１２７】
【数４３】
【０１２８】
【数４４】
【０１２９】
なお、それらの式中のξｋは時点ｋの車間距離、ζ２ｋは時点ｋの観測位置Ｏｙ、ｈｋ（ξｋ）は時点ｋの観測行列であり、つぎの数４５の式（４３）〜数４７の式（４５）で表される。
【０１３０】
【数４５】
【０１３１】
【数４６】
【０１３２】
【数４７】
【０１３３】
そして、先行車両５の車幅を状態量θｋとする状態空間モデルΓ１は観測行列Ｈｋに車間距離ζｌｋを未知のパラメータとして含むが、このパラメータに状態空間モデルΓ２の推定結果を用いることにより、適応フィルタの枠組みで、その状態量θｋと未知のパラメータζｌｋを同時に推定することができる。
【０１３４】
具体的には、状態空間モデルΓ２の適応フィルタを前記の非線形Ｈ∞フィルタにより形成し、先に車間距離Ｌｄｉｓｔの推定値ξｋを求め、この推定値ξｋを用いることにより、状態空間モデルΓ１の適応フィルタを前記の線形Ｈ∞フィルタで形成して車幅Ｗｖの推定値θｋを求めることができる。
【０１３５】
この場合、前記式（３６）〜式（４５）に即した状態空間モデルΓ１、Γ２の適応フィルタフィルタは、図８のＺ変換のブロック図に示すように直列の形で接統される。
【０１３６】
そして、状態空間モデルΓ１、Γ２の関係に基づき、フィルタ演算部４に、Ｈ∞フィルタを用いた図９のＺ変換の状態推定フィルタを設け、非線形状態空間モデルΓ２のＨ∞フィルタのブロックＦ２により車間距離Ｌｄｉｓｔの推定値ξｋを求め、この推定値ξｋにより、線形状態空間モデルΓ１のＨ∞フィルタのブロックＦ１の観測行列Ｈｋを車間距離Ｌｄｉｓｔにしたがって調整しつつ車幅Ｗｖの推定値θｋを求める。
【０１３７】
なお、図９のブロックＦ１、Ｆ２においては、推定したθｋ、ξｋを単位行列Ｌｋを通し、推定値ｚｌｋ、ｚ２ｋとして出力している。
【０１３８】
そして、画像処理部３，フィルタ処理部４の処理をフローチャートで示すと、例えば図１０のステップＳ１〜Ｓ５のようになり、これらの処理に基づき、車幅Ｗｖが未知であっても、Ｈ∞フィルタを用いた、雑音の特性変化やモデル化誤差等に対してロバストな構成で、精度よく、車間距離Ｌｄｉｓｔを推定して測定することができ、同時に、先行車両６の車幅Ｗｖも推定して測定することができる。
【０１３９】
[実験結果]
つぎに、図９の状態推定フィルタを用いたシミュレーションの実験結果について説明する。
【０１４０】
この実験においては、自車１、先行車両６の車速、車間随離、及びカメラパラメータ等から、画像平面２ｂ上における先行車両６の車幅Ｗｖを計算し、これにα＝１の正規雑音を付加したものを観測信号とした。
【０１４１】
そして、つぎの３つの走行パターンによって実験を行った。すなわち、第１の走行パターン（走行パターン１）は、車間距離Ｌｄｉｓｔが一定の場合であり、第２の走行パターン（走行パターン２）は、３０秒（［ｓ］）経過した後に加速する場合であり、第３の走行パターン（走行パターン３）は、３０［ｓ］経過後に減速する場合である。
【０１４２】
また、いずれの走行パターンの場合も、先行車両の車幅Ｗｖは１６００［ｍｍ］、自車速は３０［ｋｍ／ｈ］の一定車速、Ｈ∞フィルタのフィルタリングのアルゴリズムにおける初期値はθ０｜−１＝１８００［ｍｍ］、ξ０｜−１＝３０［ｍ］とした。
【０１４３】
（ａ）走行パターン１の結果
車間距離ｄｉｓｔが一定のまま走行した場合は、図１１、図１２の推定結果が得られた。図１１は車間距離Ｌｄｉｓｔの結果を示し、図１２は車幅Ｗｖの結果を示す。
【０１４４】
なお、両図において、縦軸は距離、横軸は１００ミリ秒単位の時間であり、実線ａが真の値の特性、実線ｂが推定値の特性である。また、車間距離Ｌｄｉｓｔは６［ｍ］に設定した。
【０１４５】
（ｂ）走行パターン２
３０［ｓ］後に先行車両６が加速した場合は、図１３、図１４の推定結果が得られた。図１３は車間距離Ｌｄｉｓｔの結果を示し、図１４は車幅Ｗｖの結果を示す。
【０１４６】
なお、両図においても、縦軸は距離、横軸は１００ミリ秒単位の時間であり、車間距離Ｌｄｉｓｔは６［ｍ］に設定した。
【０１４７】
そして、両図の実線ａは真の値の特性、実線ｂは推定値の特性であり、波線ｃは比較のためにいわゆる拡張カルマンフィルタで推定した場合の特性である。
【０１４８】
（ｃ）走行パターン３
３０［ｓ］経過後に先行車両６が減速した場合は、図１５、図１６の推定結果が得られた。図１５は車間距離Ｌｄｉｓｔの結果を示し、図１６は車幅Ｗｖの結果を示す。
【０１４９】
なお、両図においても、縦軸は距離、横軸は１００ミリ秒単位の時間であり、車間距離Ｌｄｉｓｔは３０［ｍ］に設定した。
【０１５０】
そして、両図の実線ａは真の値の特性、実線ｂは推定値の特性であり、波線ｃは比較のためにいわゆる拡張カルマンフィルタで推定した場合の特性である。
【０１５１】
以上の実験結果に基づき、実施形態の状態推定フィルタを用いた推定と拡張カルマンフィルタを用いた従来推定とでは、追従性に違いがあることが判明した。具体的には、例えば図１３、図１４から、システム動作開始直後における真値への収束が、従来推定よりも短時間で済むことが判明し、図１３、図１５から、加速、及び減速によって車間距離が変化を始めるときには、従来推定にみられる応答遅れがないことが判明した。
【０１５２】
さらに、従来推定より雑音に敏感であり、推定値に微小な変動しか生じないことも判明した。
【０１５３】
なお、よく知られているように、カルマンフィルタは、システム雑音、及び観測雑音の設定によってフィルタの追従特性を変化させることが可能であるが、それらのパラメータを調整しなければ、カルマンフィルタの特性をこの図９の状態推定フィルタを用いた良好な推定特性に近づけることは容易でなく、とくに、システム雑音、観測雑音等の状態を事前に知っておくことが難しい場合の車間距離Ｌｄｉｓｔ、車幅Ｗｖの推定については、Ｈ∞フィルタを用いた図９の状態推定フィルタのような精度の高い安定した推定は行えない。
【０１５４】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【０１５５】
すなわち、前記実施形態では、車間距離Ｌｄｉｓｔ、車幅Ｗｖを同時に推定して測定する場合について説明したが、場合によっては、フィルタ演算部４に図９の非線形状態空間モデルΓ２のＨ∞フィルタのブロックＦ２のみを設け、非線形状態空間モデルΓ２のフィルタリングによって、車間距離Ｌｄｉｓｔのみを推定して測定してもよい。
【０１５６】
また、画像処理部３により、エッジヒストグラムによる先行車両認識アルゴリズムと異なるアルゴリズムで前記の観測位置、観測幅を検出してもよい。
【０１５７】
そして、測定対象の自車前方の障害物は先行車両６に限られるものではなく、走行する物体、静止物体のいずれであってもよい。
【０１５８】
つぎに、フィルタ演算部４の状態空間モデルΓ１、Γ２の適応フィルタフィルタは、Ｈ∞フィルタと同等のデジタルフィルタ等で構成してもよい。
【０１５９】
そして、本発明の測定結果は、ＡＣＣや被害軽減自動ブレーキシステム等の自車１の種々の走行制御に用いることができるのは勿論である。
【産業上の利用可能性】
【０１６０】
ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ２を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。
【図面の簡単な説明】
【０１６１】
【図１】この発明の実施形態のブロック図である。
【図２】図１の座標系の関係説明図である。
【図３】図２の側面図である。
【図４】図１の観測位置、観測幅の説明図である。
【図５】図１の座標変換の説明図である。
【図６】図１の単眼カメラの撮影図である。
【図７】図６の処理画像の説明図である。
【図８】図１のフィルタ演算部の状態空間モデルΓ１、Γ２のブロック図である。
【図９】図８の状態空間モデルΓ１、Γ２に即した図１のフィルタ演算部の状態推定フィルタのブロック図である。
【図１０】図１の処理説明用のフローチャートである。
【図１１】走行パターン１の車間距離の推定例の特性図である。
【図１２】走行パターン１の車幅の推定例の特性図である。
【図１３】走行パターン２の車間距離の推定例の特性図である。
【図１４】走行パターン２の車幅の推定例の特性図である。
【図１５】走行パターン３の車間距離の推定例の特性図である。
【図１６】走行パターン３の車幅の推定例の特性図である。
【符号の説明】
【０１６２】
１ 自車
２ 単眼カメラ
３ 画像処理部
４ フィルタ演算部
【技術分野】
【０００１】
本発明は、自車に搭載した単眼カメラの自車前方の撮影画像から、自車から自車前方の先行車両等の障害物までの距離（車間距離）、障害物の横幅（車幅）を推定して測定する障害物測定方法及び障害物測定装置に関するものである。
【背景技術】
【０００２】
近年、自動車産業界においては、車両認識や車線認識など画像処理技術を応用したさまざまな車載システムの開発、商品化が進められているが、なかでも、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や被害軽減自動ブレーキシステムなどにあっては、撮影画像の画像処理により、自車前方の先行車両等の障害物について、少なくとも自車から障害物までの距離（車間距離）を測定することが要求される。
【０００３】
この障害物測定を行なうため、ＡＣＣや被害軽減自動ブレーキシステム等にあっては、従来、自車にステレオカメラを搭載し、そのステレオの自車前方の撮影画像に基き、三角測量の原理で前記の車間距離等の距離を測定することが提案されている（例えば、非特許文献１参照。）。
【０００４】
しかしながら、このステレオ撮影画像からの測定にあっては、ステレオカメラを要し、高価であり、しかも、その光学系のサイズが大きく大型になる等の不都合がある。
【０００５】
そこで、ステレオカメラに代えて安価で小型の単眼カメラを自車に搭載し、この単眼カメラの自車前方の撮影画像（以下、単眼カメラの撮影画像を単眼画像という）を画像処理し、その画像エッジのエッジヒストグラムのピーク点検出に基くカルマンフィルタ処理により、道路勾配が一定、障害物としての先行車両の車幅が既知である等の条件下、前記の車間距離等の距離を推定して測定することが提案されている（例えば、非特許文献２参照。）。
【０００６】
また、単眼のビデオカメラの自車前方の単眼画像につき、最初に、自車の走行車線を検出し、その走行車線内の最も画面下方の水平エッジを先行車両の影として抽出し、抽出した水平エッジの画像上の高さに基づく比例計算から初期の車間距離を算出し、以降は、算出した車間距離と、基準の車幅に対する垂直エッジの間隔から測定した最新の車幅の比から、最新の車間距離を算出して測定し、時々刻々に車間距離と車幅を測定することも提案されている（例えば、特許文献１参照。）。
【０００７】
【非特許文献１】塙 圭二、十川 能之、「自動車前方監視用のステレオ画像認識装置の開発」、信学技報（電子情報通信学会技術研究報告）、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ３７−４２、Ｓｅｐｔ．２００１
【非特許文献２】山田 憲一、伊東 敏夫、「エッジ画像の濃度投影による車両の一捕捉方法」、電気学会論文誌 Ｅ、Ｖｏｌ．１１８−Ｅ Ｎｏ６．ｐｐ３２７−３３２、１９９８
【特許文献１】特開平７−３３４７９９号公報（段落［００１９］−［００２３］、［００２９］−［００３０］、図３、図４、図５、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前記非特許文献２に記載の従来測定の場合、単眼画像のエッジヒストグラム等から、その画像の先行車の領域を抽出して画像上での先行車両の車幅（横幅）を検出し、先行車両の車幅、車間距離と、単眼カメラの取り付け角度やカメラピッチの撮影条件（カメラパラメータ）との関係を示す、つぎの（ａ）式の演算から、車間距離を算出して推定することになる。なお、式中のｉｗｖは画像上の検出車幅、ｆはカメラの焦点距離、Ｗｖは実際の車幅、Ｌｄｉｓｔは実際の車間距離、βはカメラピッチ角、ｈ０はカメラ取り付け角である。
【０００９】
ｉｗｖ＝ｆ・［Ｗｖ／｛Ｌｄｉｓｔ・ｃｏｓβ＋ｈ０・ｓｉｎβ｝］ （ａ）
【００１０】
したがって、前記したように先行車両の実際の車幅Ｗｖが既知でなければ、前記（ａ）式から車間距離Ｌｄｉｓｔを算出して推定することができない。
【００１１】
そして、実際の走行環境下においては、先行車両の実際の車幅Ｗｖを既知とすることは難しく、車幅Ｗｖの精度の高い測定は困難である。なお、先行車両以外の自車前方の障害物についても同様である。
【００１２】
つぎに、前記特許文献１に記載の従来測定の場合、単眼画像から車間距離Ｌｄｉｓｔ及び先行車両の車幅Ｗｖの測定は行えるが、それらの測定結果が外乱の影響を受けて変動し易く、精度の高い測定が行なえない問題がある。
【００１３】
さらに、この種の測定に用いられる画像処理の欠点として、天候状況等の周囲の環境条件による画質劣化、画像中に存在する雑音等の外乱によりその認識性能が低下することが、よく知られており、また、個々の撮像系のばらつきや車両運動などによるモデル化誤差の影響も測定性能の低下に影響すると考えられていることから、これらの認識性能の低下の影響を極力受けないようにして、前記の車間距離Ｌｄｉｓｔ等の自車から前方の障害物までの距離及び先行車両の車幅Ｗｖ等の障害物の横幅の精度の高い測定を行なうことが望まれる。
【００１４】
本発明は、とくに先行車両の車幅等の自車前方の障害物の横幅が未知の場合に、前記の外乱等の影響を極力受けないようにして、単眼画像から、車間距離等の自車から前方の障害物までの距離を精度よく測定することを目的とし、さらに、前記の距離の測定に基いて、同時に、障害物の横幅も単眼画像から精度よく測定することを目的とする。
【課題を解決するための手段】
【００１５】
上記した目的を達成するために、本発明の障害物測定方法は、自車に単眼カメラを搭載し、前記単眼カメラの自車前方の単眼画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定することを特徴としている（請求項１）。この場合、障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であることが好ましい（請求項２）。
【００１６】
また、本発明の障害物測定方法は、自車に単眼カメラを搭載し、前記単眼カメラの自車前方の単眼画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として検出し、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記単眼画像から前記障害物の前記距離、前記横幅を同時に測定することを特徴としている（請求項３）。この場合、障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であり、かつ、前記障害物の横幅を、前記両エッジヒストグラムのピークから検出することが好ましい（請求項４）。
【００１７】
そして、本発明の障害物測定方法は、適応フィルタがＨ∞フィルタであることを特徴としている（請求項５）。
【００１８】
つぎに、本発明の障害物測定装置は、自車に搭載された単眼カメラと、自車前方の単眼画像を画像処理し、前記単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する画像処理手段と、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定するフィルタ演算手段とを備えたことを特徴としている（請求項６）。この場合、画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出することが好ましい（請求項７）。
【００１９】
また、本発明の障害物測定装置は、自車に搭載された単眼カメラと、この単眼カメラの自車前方の単眼画像を画像処理し、前記単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として測定する画像処理手段と、前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、かつ、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記障害物の前記距離、前記横幅を同時に測定するフィルタ演算手段とを備えたことをことを特徴としている（請求項８）。この場合、画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出し、かつ、前記両エッジヒストグラムのピークから、前記障害物の横幅を検出することが好ましい（請求項９）。
【００２０】
そして、本発明の障害物測定装置は、適応フィルタがＨ∞フィルタであることを特徴としている（請求項１０）。
【発明の効果】
【００２１】
まず、請求項１、６の構成によれば、自車に搭載した単眼カメラの自車前方の単眼画像の画像処理により、この画像上での自車前方の障害物の基準部の高さ方向の位置が観測位置として検出され、この観測位置は障害物の遠近によって上下する。
【００２２】
そして、この観測位置が入力される非線形状態空間モデルの適応フィルタのフィルタリングにより、観測位置及び単眼カメラの撮影条件に基き、外乱の影響等を極力排除して自車から障害物までの距離を推定する状態推定フィルタが形成され、この状態推定フィルタにより、自車から障害物までの車間距離等の距離を精度よく推定して測定することができ、このとき、障害物の横幅（車幅）は不要であり、障害物の横幅が未知（不明）であっても、前記の状態推定フィルタにより自車から障害物までの距離を精度よく測定できる。
【００２３】
つぎに、請求項２、７の構成によれば、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部としたため、障害物の大きさ等による誤差なく、その遠近によって変化する観測位置を検出することができ、この観測位置の検出に基く前記距離や横幅の推定が極めて精度よく行なえる。
【００２４】
つぎに、請求項３、８の構成によれば、単眼画像上での前記の自車前方の障害物の基準部の高さ方向の位置及び障害物の横幅が、観測位置及び観測幅として検出され、その観測位置が入力される前記と同様の非線形状態空間モデルの適応フィルタのフィルタリングにより、自車から障害物までの車間距離等の距離を精度よく推定して測定することができ、さらに、観測幅を入力とする線形状態空間モデルの適応フィルタの観測行列の係数を、前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整することにより、観測幅と非線形状態空間モデルの適応フィルタの推定結果とに基いて車幅等の横幅を精度よく推定して測定することができる。
【００２５】
したがって、単眼カメラの自車前方の単眼画像上での自車前方の障害物の基準部の高さ方向の観測位置を入力とする非線形状態空間モデルの適応フィルタに、前記単眼画像上での自車前方の障害物の観測幅を入力とする線形状態空間モデルの適応フィルタを直列に接続した構成により、障害物の横幅が未知（不明）であっても、前記距離及び横幅を最適フィルタのフィルタリングによって推定し、同時に精度よく測定することができる。
【００２６】
つぎに、請求項４、９の構成によれば、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部としたため、障害物の大きさ等による誤差なく、その遠近によって変化する観測位置を検出することができ、この観測位置の検出に基く前記距離や横幅の推定が極めて精度よく行なえ、しかも、障害物の横幅を、前記両エッジヒストグラムのピークから精度よく確実に検出することができる。
【００２７】
また、請求項５、１０の構成によれば、前記の非線形状態空間モデルの適応フィルタ、線形状態空間モデルの適応フィルタを、Ｈ∞フィルタで構成したため、それらの適応フィルタが外乱やモデル化誤差にロバストになり、精度の高い実用的な構成のフィルタリングによって前記距離、横幅を精度よく測定することができる。
【発明を実施するための最良の形態】
【００２８】
つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１６にしたがって詳述する。
【００２９】
＜全体構成＞
図１は自車１に搭載された障害物測定装置のブロック図であり、２は小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラであり、車室内前方のほぼ車幅センタ位置に自車前方の路面を所定角度下向きに撮影するように取り付けられ、自車１のエンジンスタート後、自車前方を連続的にくり返し撮影し、毎フレームの単眼画像（撮影画像）を出力する。このとき、自車前方の障害物の遠近にしたがって単眼画像上の障害物の位置が上下する。
【００３０】
３は単眼カメラ２の毎フレームの単眼画像（撮影画像）を取り込む画像処理部であり、画像処理手段を形成し、取り込んだ単眼画像をＡ／Ｄ変換し、例えば最新の数フレーム分の単眼画像をメモリに書き換え自在に蓄積保持し、マイクロコンピュータ（ＣＰＵ）により、設定された画像処理プログラムにしたがって前記メモリの単眼画像を処理し、単眼画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する。
【００３１】
そして、この実施形態にあっては、障害物の基準部を、単眼画像の水平、垂直のエッジヒストグラムから検出した障害物の下端中央部とし、障害物の大きさ等による検出誤差を極力押さえる。
【００３２】
４は画像処理部３の後段のフィルタ演算部であり、フィルタ演算手段を形成し、マイクロコンピュータの最適フィルタリング演算により、先行車間距離等の自車から障害物までの距離のみを推定して測定する場合は、ソフトウエアで形成された後述の非線形状態空間モデルΓ２の適応フィルタを備え、車間距離等の自車から障害物までの距離及び障害物の車幅等の横幅を推定して測定する場合は、ソフトウエアで形成された後述の線形状態空間モデルΓ１の適応フィルタも備え、前記の距離、横幅をくり返し推定して測定する。
【００３３】
そして、非線形状態空間モデルΓ２、線形状態空間モデルΓ１の状態推定の適応フィルタは、種々のアルゴリズムに基くフィルタであってよいが、この実施形態にあっては、それぞれＨ∞フィルタによって形成する。
【００３４】
＜Ｈ∞フィルタの導出＞
つぎに、前記のＨ∞フィルタの導出について説明する。
【００３５】
まず、離散時間の確定的な状態空間モデルは、一般に、つぎの数１の式（１）、数２の式（２）で与えられる。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
ここで、ξｋはｎ次元状態ベクトル、ζｋはｐ次元観測ベクトル、Ｆｋ、Ｇｋ、Ｈｋはそれぞれｎ×ｎ、ｎ×ｒ、ｐ×ｎの既知の状態遷移行列、駆動行列、観測行列、ｗｋ及びｖｋはそれぞれｒ次元雑音、ｐ次元雑音（ベクトル）である。
【００３９】
ただし、雑音ｗｋ、ｖｋはエネルギーが有界な確定的な雑音、すなわち、Ｎ＞０に対して、下記数３の条件式を満足する雑音である。これは、フィルタシステムに存在する雑音の確率的な性質を問わないということである。
【００４０】
【数３】
【００４１】
一般に、伝達行列Ｔに対するＨ∞ノルムは、つぎの数４の時系列ｕの２ノルムを用いて数５の式（３）で定義される。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
そして、入カを未知外乱（雑音）ξｋ、ｗｋ、ｖｋとし、出カを推定誤差ｅｆ，ｋとして、式（３）を最小にするフィルタを導出することは、最適Ｈ∞フィルタリング間題として知られているが、一般に、この最適Ｈ∞フィルタを求めることは難しく、前記フィルタの導出は有限時間の準最適Ｈ∞フィルタリング問題として扱われる。
【００４５】
すなわち、前記の最適Ｈ∞フィルタリング間題は、あるレベルの制御パラメータγｆ＞０が与えられたとき、‖Ｔｋ（ｆｋ）‖∞＜γｆを溝たす準最適Ｈ∞フィルタを求めることとして扱われ、これは、求められた準最適Ｈ∞フィルタが、外乱エネルギーと推定誤差エネルギーの比の最大値を与えられた値γ２ｆ以下にすることを目的とするフィルタであることを意味する。
【００４６】
そして、本願のＨ∞フィルタは、この準最適Ｈ∞フィルタを意味し、レベルγｆ＞０が与えられたとき、‖Ｔｋ（ｆｋ）‖∞＜γｆを溝たすレベルγｆのＨ∞フィルタの一つは、つぎの数６の式（４）〜数９の式（７）で示される。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
【数８】
【００５０】
【数９】
【００５１】
ここで、行列Ｒｅ,ｋは、つぎの数１０の式（８）で示され、誤差の共分散行列Ｐ＾ｋ｜ｋ−１は、数１１の式（９）に示す不等式（存在条件）を満たすものでなければならない。
【００５２】
【数１０】
【００５３】
【数１１】
【００５４】
つぎに、Ｈ∞フィルタは外乱（初期状態、雑音）から推定誤差までの伝達関数Ｔｋ（Ｆｆ）のＨ∞ノルムを最小にする意味で最適なフィルタとして与えられるものであり、このフィルタは最悪外乱に対する推定誤差を最小とするので、一般に、雑音の特性変化やモデル化誤差に対してロバストであるといわれている。
【００５５】
このＨ∞フィルタは無数に存在し、そのアルゴリズムの導出についてもさまざまな方法での定式化が提案されており、例えば、ミニマックス推定問題として離散時間Ｈ∞フィルタの導出を試みたり、また、不定計量空間の一種であるクライン空間におけるカルマンフィルタがＨ∞フィルタであることから、両者に対する統一的解釈を与えて前記の式（４）〜式（９）に示したＨ∞フィルタアルゴリズムで定式化することがよく知られている。
【００５６】
一方、このＨ∞フィルタを形成してフィルタリングを実行する際には、パラメータγｆの決定と計算量の多さが問題となる。
【００５７】
［線形状態空間モデルΓ１のＨ∞フィルタ］
そして、この実施形態では、線形状態空間モデルΓ１の適応フィルタとして、前記のパラメータγｆの決定が容易で計算量が少ない、つぎの数１２の式（１０）〜数１６の式（１４）で示されるフィルタアルゴリズムのＨ∞フィルタを用いる。
【００５８】
【数１２】
【００５９】
【数１３】
【００６０】
【数１４】
【００６１】
【数１５】
【００６２】
【数１６】
【００６３】
ここで、行列λｉ、（ｉ＝１、…、ｎ）、Ｖｋは、つぎの数１７の式（１５）に示すように、行列Ｍｋの固有値、及び固有ベクトルより求められる。
【００６４】
【数１７】
【００６５】
なお、行列Ｍｋは、つぎの数１８の式（１６）で示される行列である。
【００６６】
【数１８】
【００６７】
また、行列ＶｋはＶｋ＝（ｖ１、…、ｖｉ、…、ｖｎ）の雑音行列であり、雑音ｖｉは行列λｉに対応する行列Ｍｋの固有ベクトルとして求まり、ただし、｜ｖｉ｜＝１である。さらに、ＶｋＴＶｋ＝ＶｋＶｋＴ＝Ｉである。
【００６８】
［非線形状態空間モデルΓ２のＨ∞フィルタ］
前記式（１２）〜式（１６）のＨ∞フィルタは線形状態空間モデルΓ１の適応フィルタとして導出したものであるが、つぎに、線形状態空間モデルΓ２の適応フィルタとしては、観測方程式における観測行列Ｈｋが非線形関数ｈｋ（ξｋ）である非練形状態空間モデル（システム）Γに対するＨ∞フィルタを導出する。
【００６９】
すなわち、非線形システムΓにおける非線形関数ｈｋ（ξｋ）を、ｋ（今回）、ｋ−１（前回）の時点における推定量（値）ξ＾ｋ｜ｋ、ξ＾ｋ｜ｋ−１の周りで、つぎの数１９の式（１７）に示すようにテイラー展開する。
【００７０】
【数１９】
【００７１】
ここで、観測行列Ｈｋは、つぎの数２０の式（１８）で示される。
【００７２】
【数２０】
【００７３】
したがって、非線形状態空間モデルΓは、つぎの数２１の式（１９）〜数２４の式（２２）で示される。
【００７４】
【数２１】
【００７５】
【数２２】
【００７６】
【数２３】
【００７７】
【数２４】
【００７８】
そして、数式（２２）のパラメータｍｋが前回推定量（値）ξ＾ｋ｜ｋ−１から各ステップ毎（フレーム毎）に求められ、非線形状態空間モデルΓは線形状態空間モデルとして扱うことが可能となる。
【００７９】
そこで、線形状態空間モデルΓ１に対するＨ∞フィルタ及び前記式（１９）〜式（２２）から、この実施形態では、線形状態空間モデルΓ２の適応フィルタとして、つぎの数２５の式（２３）〜数３０の式（２８）に示すフィルタアルゴリズムのＨ∞フィルタを用いる。
【００８０】
【数２５】
【００８１】
【数２６】
【００８２】
【数２７】
【００８３】
【数２８】
【００８４】
【数２９】
【００８５】
【数３０】
【００８６】
ここで、行列λｉ、（ｉ＝１、…、ｎ）、Ｖｋは、つぎの数３１の式（２９）に示すように、行列Ｍｋの固有値、及び固有ベクトルより求められる。
【００８７】
【数３１】
【００８８】
なお、行列Ｍｋは、つぎの数３２の式（３０）で示される行列である。
【００８９】
【数３２】
【００９０】
また、行列ＶｋはＶｋ＝（ｖ１、…、ｖｉ、…、ｖｎ）の雑音行列であり、雑音ｖｉは行列λｉに対応する行列Ｍｋの固有ベクトルとして求まり、ただし、‖ｖｉ‖＝１である。さらに、ＶｋＴＶｋ＝ＶｋＶｋＴ＝Ｉである。
【００９１】
＜図１の測定処理＞
つぎに、上記のＨ∞フィルタを用いた図１の具体的な測定処理について説明する。
【００９２】
［座標系］
まず、走行環境のワールド座標系、単眼カメラ２のカメラ座標系、その撮像座標系について、図２の座標系説明用の斜視図、図３のその側面図を参照して説明する。
【００９３】
ワールド座標系は自車１に対する先行車両等の自車前方の障害物の位置情報を表現するものであり、その直交する３軸は、車載の単眼カメラ２のレンズ２ａを中心（原点）とする、図２、図３のｗＸ軸、ｗＹ軸、ｗＺ軸で表わされる。
【００９４】
また、カメラ座標系の３軸は、レンズ２ａを中心とする、図２、図３のｃＸ軸，ｃＹ軸，ｃＺ軸で表わされ、撮影光軸を斜め下向きにして自車前方の路面５を撮影するため、ｃＸ軸をｗＸ軸に一致した状態で、座標系を、ｗＸ軸を中心軸として反時計回りに角度β回転した状態に設定され、ｃＹ軸、ｃＺ軸は、ｗＹ軸、ｗＺ軸から角度β傾いている。
【００９５】
さらに，画像座標系は単眼カメラ２の撮影画像平面２ｂの中央を原点とする２次元座標系であり、図２に示すように、そのｙ軸はｃＹ軸に平行であり、ｘ軸はｃＸ軸に平行である。
【００９６】
なお、図２、図３のｈ０は単眼カメラ２の路面５からの高さ（カメラ高さ）、ｆは単眼カメラ２の焦点距離，βはそのカメラピッチ角である。この場合、よく知られているように、カメラ座標系と画像座標系には、つぎの数３３の式（３１）の関係がある。
【００９７】
【数３３】
【００９８】
［測定対象の距離、横幅］
つぎに、前記の座標関係に基く先行車両等の自車前方の障害物の測定対象の距離（車間距離）、横幅（車幅）について、図４の先行車両の撮影画像の説明図、図５のワールド座標系での距離、横幅の説明図を参照して説明する。
【００９９】
まず、白車１及び先行車両等の障害物を合む走行環境の道路平面５の勾配が一定であるとすると、前記の各座標系の関係から、ワールド座標系の任意の点（ｗＸ１、ｗＹ１、ｗＺ１）と、画像座標系の任意の点（ｘ１、ｙ１）との間には、つぎの数３４の式（３２）、数３５の式（３３）の関係がある。
【０１００】
【数３４】
【０１０１】
【数３５】
【０１０２】
また、説明を簡単にするため、障害物を先行車両６とし、ワールド座標系における先行車両６の左、右両端の座標を（ｗＸｌ、ｗＺｌ）、（ｗＸｒ、ｗＺｒ）、画像座標系における先行車両６の左、右両端の座標をｘｌ、ｘｒとして、ワールド座標系における先行車両６の測定する車幅（横幅）を図５のＷｖとし、自車１から先行車両６までの測定する車間距離を図５のＬｄｉｓｔとし、画像座標系における先行車両６の撮影された横幅（車幅）を図４のｉｗｖとし、画像平面２ｂ上で下端中央部として検出される図４の矩形枠の車両領域の下線中点座標（重心点座標）を（Ｏｘ、Ｏｙ）とすると、ｉｗｖ＝ｘｒ−ｘｌであるため、前記式（３２）〜（３３）より、画像平面２ｂ上の先行車両６の横幅ｉｗｖ、中点座標（Ｏｘ、Ｏｙ）と、車間距離Ｌｄｉｓｔとは、つぎの数３６の式（３４）、数３７の式（３５）の関係がある。
【０１０３】
【数３６】
【０１０４】
【数３７】
【０１０５】
そして、中点座標（Ｏｘ、Ｏｙ）が先行車両６の基準部であり、その座標値Ｏｙがその高さ方向の観測位置であり、式（３５）は、その観測位置と、単眼カメラ２の撮影条件であるカメラ高さｈ０、焦点距離ｆ、角度βとに基づき、車間距離Ｌｄｉｓｔが測定できることを示している。
【０１０６】
また、横幅ｉｗｖを観測幅として検出すると、式（３４）は、その観測幅及び前記の車間距離Ｌｄｉｓｔの測定結果、単眼カメラ２の撮影条件に基き、車幅（横幅）Ｗｖを測定できることを示している。
【０１０７】
［画像処理部３の処理（先行車両情報の抽出）］
そこで、単眼カメラ２の単眼画像に基づき、画像処理部３により、つぎに説明するようにして、前記の観測位置Ｏｙ、観測幅ｉｗｖを検出する。
【０１０８】
撮影画像平面２ｂ上に存在する先行車両６の観測位置Ｏｙ、観測幅ｉｗｖの検出は、単眼画像の種々の画像処理によって行なうことができるが、この実施形態においては、いわゆるエッジヒストグラムによる先行車両認識アルゴリズムの画像処理によって行う。
【０１０９】
この場合、画像処理部３により、Ａ／Ｄ変換された単眼カメラ２の毎フレームの単眼画像、例えば図６の単眼画像Ｐａについて、その画像平面上に、図７の微分二値画像に示す垂直エッジ検出の領域Ｖ−ＲＯＩ、水平エッジ検出の領域Ｈ−ＲＯＩを設定する。
【０１１０】
なお、図６の枠線で囲まれたほぼ画像中央の部分は、種々の実験等に基き、先行車両６を捕捉する位置、大きさに設定され、両領域Ｈ−ＲＯＩ、Ｖ−ＲＯＩは、前記画像中央の部分で十字状に交差する帯状の領域である。
【０１１１】
そして、まず、枠線内のほぼ中央部に設定した領域Ｖ−ＲＯＩについて縦方向の微分画像を濃度投影し、図７の垂直エッジのエッジヒストグラムＧｖを得、このヒストグラムＧｖのピーク検出により、車両両端等の垂直線成分が強い個所を検出する。
【０１１２】
つぎに、エッジヒストグラムＧｖから検出した２ピークの間隔のほぼ中央に垂直方向に領域Ｈ−ＲＯＩを設定し、この領壊Ｈ−ＲＯｌについて横方向の微分画像を濃慶投影し、図７の水平エッジヒストグラムＧｈを得、このヒストグラムＧｈの水平線成分が強い先行車両の上下端部のピークを検出する。
【０１１３】
そして、前記の垂直、水平のエッジヒストグラムのピーク検出情報に基づき、水平のエッジピークが検出された先行車両の下端部を認識し、その中央位置から図４の画像平面２ｂ上の下線中点座標（Ｏｘ、Ｏｙ）を検出し、その座標Ｏｙから、前記基準部の高さ方向の観測位置を検出し、同時に、垂直エッジの２ピークの間隔から図４の画像平面２ｂ上での先行車両の車幅（横幅）ｉｗｖを観測幅として検出する。
【０１１４】
このとき、先行車両６の大きさ等によらず、先行車両６の遠近によって下線中点座標（Ｏｘ、Ｏｙ）が上下動し、観測位置は、自車１からの先行車両６の遠近に即して上下する。
【０１１５】
［フィルタ演算部４の処理］
先行車両６の車幅Ｗｖが既知であれば、前記式（３４）の関係から、撮影画像平面２ｂ上の先行車両６の車幅ｉｗｖを検出することにより、車間距離Ｌｄｉｓｔを求めることができるが、先行車両幅Ｗｖが未知の傷合は、車幅ｉｗｖを検出するだけでは車間距離Ｌｄｉｓｔを求めることができない。
【０１１６】
そこで、画像処理部３によって得られた前記の観測位置、観測幅が入力されるフィルタ演算部４においては、車幅Ｗｖが未知の傷合に、非線形状態空間モデルΓ２のフィルタリングによって車間距離Ｌｄｉｓｔを推定する。
【０１１７】
また、この実施形態の場合、同時に、線形状態空間モデルΓ１のフィルタリングによって車幅Ｗｖも推定する。
【０１１８】
そして、前記のＨ∞フィルタを使用して、つぎの状態空間モデルΓ１、Γ２の適応フィルタを形成する。
【０１１９】
（ａ）線形状態空間モデルΓ１の適応フィルタ
車幅Ｗｖを推定する線形状態空間モデルΓ１の適応フィルタは、つぎの数３８の式（３６）、数３９の式（３７）で示される。
【０１２０】
【数３８】
【０１２１】
【数３９】
【０１２２】
なお、それらの式中のθｋは先行車両６の時点ｋでの車幅の状態量、ζｌｋは時点ｋの観測行列Ｈｋの車間距離のパラメータであり、θｋ、ζｌｋ、Ｈｋはつぎの数４０の式（３８）〜数４２の式（４０）で表される。
【０１２３】
【数４０】
【０１２４】
【数４１】
【０１２５】
【数４２】
【０１２６】
（ｂ）非線形状態空間モデルΓ２の適応フィルタ
車間距離Ｌｄｉｓｔを推定する非線形状態空間モデルΓ１の適応フィルタは、つぎの数４３の式（４１）、数４４の式（４２）で示される。
【０１２７】
【数４３】
【０１２８】
【数４４】
【０１２９】
なお、それらの式中のξｋは時点ｋの車間距離、ζ２ｋは時点ｋの観測位置Ｏｙ、ｈｋ（ξｋ）は時点ｋの観測行列であり、つぎの数４５の式（４３）〜数４７の式（４５）で表される。
【０１３０】
【数４５】
【０１３１】
【数４６】
【０１３２】
【数４７】
【０１３３】
そして、先行車両５の車幅を状態量θｋとする状態空間モデルΓ１は観測行列Ｈｋに車間距離ζｌｋを未知のパラメータとして含むが、このパラメータに状態空間モデルΓ２の推定結果を用いることにより、適応フィルタの枠組みで、その状態量θｋと未知のパラメータζｌｋを同時に推定することができる。
【０１３４】
具体的には、状態空間モデルΓ２の適応フィルタを前記の非線形Ｈ∞フィルタにより形成し、先に車間距離Ｌｄｉｓｔの推定値ξｋを求め、この推定値ξｋを用いることにより、状態空間モデルΓ１の適応フィルタを前記の線形Ｈ∞フィルタで形成して車幅Ｗｖの推定値θｋを求めることができる。
【０１３５】
この場合、前記式（３６）〜式（４５）に即した状態空間モデルΓ１、Γ２の適応フィルタフィルタは、図８のＺ変換のブロック図に示すように直列の形で接統される。
【０１３６】
そして、状態空間モデルΓ１、Γ２の関係に基づき、フィルタ演算部４に、Ｈ∞フィルタを用いた図９のＺ変換の状態推定フィルタを設け、非線形状態空間モデルΓ２のＨ∞フィルタのブロックＦ２により車間距離Ｌｄｉｓｔの推定値ξｋを求め、この推定値ξｋにより、線形状態空間モデルΓ１のＨ∞フィルタのブロックＦ１の観測行列Ｈｋを車間距離Ｌｄｉｓｔにしたがって調整しつつ車幅Ｗｖの推定値θｋを求める。
【０１３７】
なお、図９のブロックＦ１、Ｆ２においては、推定したθｋ、ξｋを単位行列Ｌｋを通し、推定値ｚｌｋ、ｚ２ｋとして出力している。
【０１３８】
そして、画像処理部３，フィルタ処理部４の処理をフローチャートで示すと、例えば図１０のステップＳ１〜Ｓ５のようになり、これらの処理に基づき、車幅Ｗｖが未知であっても、Ｈ∞フィルタを用いた、雑音の特性変化やモデル化誤差等に対してロバストな構成で、精度よく、車間距離Ｌｄｉｓｔを推定して測定することができ、同時に、先行車両６の車幅Ｗｖも推定して測定することができる。
【０１３９】
[実験結果]
つぎに、図９の状態推定フィルタを用いたシミュレーションの実験結果について説明する。
【０１４０】
この実験においては、自車１、先行車両６の車速、車間随離、及びカメラパラメータ等から、画像平面２ｂ上における先行車両６の車幅Ｗｖを計算し、これにα＝１の正規雑音を付加したものを観測信号とした。
【０１４１】
そして、つぎの３つの走行パターンによって実験を行った。すなわち、第１の走行パターン（走行パターン１）は、車間距離Ｌｄｉｓｔが一定の場合であり、第２の走行パターン（走行パターン２）は、３０秒（［ｓ］）経過した後に加速する場合であり、第３の走行パターン（走行パターン３）は、３０［ｓ］経過後に減速する場合である。
【０１４２】
また、いずれの走行パターンの場合も、先行車両の車幅Ｗｖは１６００［ｍｍ］、自車速は３０［ｋｍ／ｈ］の一定車速、Ｈ∞フィルタのフィルタリングのアルゴリズムにおける初期値はθ０｜−１＝１８００［ｍｍ］、ξ０｜−１＝３０［ｍ］とした。
【０１４３】
（ａ）走行パターン１の結果
車間距離ｄｉｓｔが一定のまま走行した場合は、図１１、図１２の推定結果が得られた。図１１は車間距離Ｌｄｉｓｔの結果を示し、図１２は車幅Ｗｖの結果を示す。
【０１４４】
なお、両図において、縦軸は距離、横軸は１００ミリ秒単位の時間であり、実線ａが真の値の特性、実線ｂが推定値の特性である。また、車間距離Ｌｄｉｓｔは６［ｍ］に設定した。
【０１４５】
（ｂ）走行パターン２
３０［ｓ］後に先行車両６が加速した場合は、図１３、図１４の推定結果が得られた。図１３は車間距離Ｌｄｉｓｔの結果を示し、図１４は車幅Ｗｖの結果を示す。
【０１４６】
なお、両図においても、縦軸は距離、横軸は１００ミリ秒単位の時間であり、車間距離Ｌｄｉｓｔは６［ｍ］に設定した。
【０１４７】
そして、両図の実線ａは真の値の特性、実線ｂは推定値の特性であり、波線ｃは比較のためにいわゆる拡張カルマンフィルタで推定した場合の特性である。
【０１４８】
（ｃ）走行パターン３
３０［ｓ］経過後に先行車両６が減速した場合は、図１５、図１６の推定結果が得られた。図１５は車間距離Ｌｄｉｓｔの結果を示し、図１６は車幅Ｗｖの結果を示す。
【０１４９】
なお、両図においても、縦軸は距離、横軸は１００ミリ秒単位の時間であり、車間距離Ｌｄｉｓｔは３０［ｍ］に設定した。
【０１５０】
そして、両図の実線ａは真の値の特性、実線ｂは推定値の特性であり、波線ｃは比較のためにいわゆる拡張カルマンフィルタで推定した場合の特性である。
【０１５１】
以上の実験結果に基づき、実施形態の状態推定フィルタを用いた推定と拡張カルマンフィルタを用いた従来推定とでは、追従性に違いがあることが判明した。具体的には、例えば図１３、図１４から、システム動作開始直後における真値への収束が、従来推定よりも短時間で済むことが判明し、図１３、図１５から、加速、及び減速によって車間距離が変化を始めるときには、従来推定にみられる応答遅れがないことが判明した。
【０１５２】
さらに、従来推定より雑音に敏感であり、推定値に微小な変動しか生じないことも判明した。
【０１５３】
なお、よく知られているように、カルマンフィルタは、システム雑音、及び観測雑音の設定によってフィルタの追従特性を変化させることが可能であるが、それらのパラメータを調整しなければ、カルマンフィルタの特性をこの図９の状態推定フィルタを用いた良好な推定特性に近づけることは容易でなく、とくに、システム雑音、観測雑音等の状態を事前に知っておくことが難しい場合の車間距離Ｌｄｉｓｔ、車幅Ｗｖの推定については、Ｈ∞フィルタを用いた図９の状態推定フィルタのような精度の高い安定した推定は行えない。
【０１５４】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【０１５５】
すなわち、前記実施形態では、車間距離Ｌｄｉｓｔ、車幅Ｗｖを同時に推定して測定する場合について説明したが、場合によっては、フィルタ演算部４に図９の非線形状態空間モデルΓ２のＨ∞フィルタのブロックＦ２のみを設け、非線形状態空間モデルΓ２のフィルタリングによって、車間距離Ｌｄｉｓｔのみを推定して測定してもよい。
【０１５６】
また、画像処理部３により、エッジヒストグラムによる先行車両認識アルゴリズムと異なるアルゴリズムで前記の観測位置、観測幅を検出してもよい。
【０１５７】
そして、測定対象の自車前方の障害物は先行車両６に限られるものではなく、走行する物体、静止物体のいずれであってもよい。
【０１５８】
つぎに、フィルタ演算部４の状態空間モデルΓ１、Γ２の適応フィルタフィルタは、Ｈ∞フィルタと同等のデジタルフィルタ等で構成してもよい。
【０１５９】
そして、本発明の測定結果は、ＡＣＣや被害軽減自動ブレーキシステム等の自車１の種々の走行制御に用いることができるのは勿論である。
【産業上の利用可能性】
【０１６０】
ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ２を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。
【図面の簡単な説明】
【０１６１】
【図１】この発明の実施形態のブロック図である。
【図２】図１の座標系の関係説明図である。
【図３】図２の側面図である。
【図４】図１の観測位置、観測幅の説明図である。
【図５】図１の座標変換の説明図である。
【図６】図１の単眼カメラの撮影図である。
【図７】図６の処理画像の説明図である。
【図８】図１のフィルタ演算部の状態空間モデルΓ１、Γ２のブロック図である。
【図９】図８の状態空間モデルΓ１、Γ２に即した図１のフィルタ演算部の状態推定フィルタのブロック図である。
【図１０】図１の処理説明用のフローチャートである。
【図１１】走行パターン１の車間距離の推定例の特性図である。
【図１２】走行パターン１の車幅の推定例の特性図である。
【図１３】走行パターン２の車間距離の推定例の特性図である。
【図１４】走行パターン２の車幅の推定例の特性図である。
【図１５】走行パターン３の車間距離の推定例の特性図である。
【図１６】走行パターン３の車幅の推定例の特性図である。
【符号の説明】
【０１６２】
１ 自車
２ 単眼カメラ
３ 画像処理部
４ フィルタ演算部
【特許請求の範囲】
【請求項１】
自車に単眼カメラを搭載し、
前記単眼カメラの自車前方の撮影画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定することを特徴とする障害物測定方法。
【請求項２】
障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であることを特徴とする請求項１記載の障害物測定方法。
【請求項３】
自車に単眼カメラを搭載し、
前記単眼カメラの自車前方の撮影画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として検出し、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、
前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、
前記撮影画像から前記障害物の前記距離、前記横幅を同時に測定することを特徴とする障害物測定方法。
【請求項４】
障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であり、かつ、前記障害物の横幅を、前記両エッジヒストグラムのピークから検出することを特徴とする請求項３記載の障害物測定方法。
【請求項５】
適応フィルタがＨ∞フィルタであることを特徴とする請求項１〜４のいずれかに記載の障害物測定方法。
【請求項６】
自車に搭載された単眼カメラと、
前記単眼カメラの自車前方の撮影画像を画像処理し、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する画像処理手段と、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定するフィルタ演算手段とを備えたことを特徴とする障害物測定装置。
【請求項７】
画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出するようにしたことを特徴とする請求項６記載の障害物測定装置。
【請求項８】
自車に搭載された単眼カメラと、
前記単眼カメラの自車前方の撮影画像を画像処理し、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として測定する画像処理手段と、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、かつ、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記障害物の前記距離、前記横幅を同時に測定するフィルタ演算手段とを備えたことをことを特徴とする障害物測定装置。
【請求項９】
画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出し、かつ、前記両エッジヒストグラムのピークから、前記障害物の横幅を検出するようにしたことを特徴とする請求項８記載の障害物測定装置。
【請求項１０】
適応フィルタがＨ∞フィルタであることを特徴とする請求項６〜９のいずれかに記載の障害物測定装置。
【請求項１】
自車に単眼カメラを搭載し、
前記単眼カメラの自車前方の撮影画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出し、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定することを特徴とする障害物測定方法。
【請求項２】
障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であることを特徴とする請求項１記載の障害物測定方法。
【請求項３】
自車に単眼カメラを搭載し、
前記単眼カメラの自車前方の撮影画像の画像処理により、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として検出し、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、
前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、
前記撮影画像から前記障害物の前記距離、前記横幅を同時に測定することを特徴とする障害物測定方法。
【請求項４】
障害物の基準部が、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから検出した前記障害物の下端中央部であり、かつ、前記障害物の横幅を、前記両エッジヒストグラムのピークから検出することを特徴とする請求項３記載の障害物測定方法。
【請求項５】
適応フィルタがＨ∞フィルタであることを特徴とする請求項１〜４のいずれかに記載の障害物測定方法。
【請求項６】
自車に搭載された単眼カメラと、
前記単眼カメラの自車前方の撮影画像を画像処理し、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置を観測位置として検出する画像処理手段と、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定して測定するフィルタ演算手段とを備えたことを特徴とする障害物測定装置。
【請求項７】
画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出するようにしたことを特徴とする請求項６記載の障害物測定装置。
【請求項８】
自車に搭載された単眼カメラと、
前記単眼カメラの自車前方の撮影画像を画像処理し、前記撮影画像上での先行車両等の自車前方の障害物の基準部の高さ方向の位置及び前記障害物の横幅を、観測位置及び観測幅として測定する画像処理手段と、
前記観測位置を入力とする非線形状態空間モデルの適応フィルタのフィルタリングにより、前記観測位置及び前記単眼カメラの撮影条件に基いて自車から前記障害物までの距離を推定し、かつ、前記観測幅を入力とする線形状態空間モデルの適応フィルタのフィルタリングにより、該線形状態空間モデルの適応フィルタの観測行列の係数を前記非線形状態空間モデルの適応フィルタの前記距離の推定値により調整して前記横幅を推定し、前記障害物の前記距離、前記横幅を同時に測定するフィルタ演算手段とを備えたことをことを特徴とする障害物測定装置。
【請求項９】
画像処理手段により、単眼カメラの撮影画像の水平、垂直のエッジヒストグラムから、障害物の基準部として、前記障害物の下端中央部を検出し、かつ、前記両エッジヒストグラムのピークから、前記障害物の横幅を検出するようにしたことを特徴とする請求項８記載の障害物測定装置。
【請求項１０】
適応フィルタがＨ∞フィルタであることを特徴とする請求項６〜９のいずれかに記載の障害物測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図６】
【公開番号】特開２００６−３１３１３（Ｐ２００６−３１３１３Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００４−２０８１１６（Ｐ２００４−２０８１１６）
【出願日】平成１６年７月１５日（２００４．７．１５）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１６年７月１５日（２００４．７．１５）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]