車両状態検出装置
【課題】車両に設置されたカメラ２０で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、その検出精度を向上させることを目的とする。
【解決手段】制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された複数の画像データを取得して、この複数の画像データの夫々において特徴点を抽出し、時間的に連続する画像データにおいて、特徴点の位置を追跡処理することによって複数のオプティカルフローを導出する（Ｓ１０〜Ｓ３０）。そして、導出された複数のオプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類するとともに、オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択し、選択された自車オプティカルフローに基づいて自車両の状態を検出する（Ｓ５０〜Ｓ７０）。
【解決手段】制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された複数の画像データを取得して、この複数の画像データの夫々において特徴点を抽出し、時間的に連続する画像データにおいて、特徴点の位置を追跡処理することによって複数のオプティカルフローを導出する（Ｓ１０〜Ｓ３０）。そして、導出された複数のオプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類するとともに、オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択し、選択された自車オプティカルフローに基づいて自車両の状態を検出する（Ｓ５０〜Ｓ７０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置に関するものである。
【背景技術】
【０００２】
従来、車両に設置された撮像装置で撮像された画像データに基づいて自車両の状態を検出する技術の一例として、特許文献１に開示された運転支援システムがあった。
【０００３】
この運転支援システムは、車速センサ及び舵角センサを必要とすることなく自車両の状態（車両速度及び回転角）を検出（推定）するものである。具体的には、車両に設置された撮像装置（カメラ）による画像データから特徴点を抽出する。そして、時系列で並ぶ画像データ間における特徴点の追跡処理を行うことで、オプティカルフロー（移動ベクトル）を導出する。そして、このオプティカルフローに基づいて自車両の状態を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、この運転支援システムでは、抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点などの不動点（すなわち静止物（路面に固定又は描かれるなどによって、路面に対して静止している物）の一部）が想定されている。
【０００６】
しかしながら、撮像装置の撮像領域内には、静止物だけでなく、路面に対して移動する物（移動物）が存在することもありうる。この場合、撮像装置は、静止物とともに移動物を撮像することになる。このように、撮像装置が静止物とともに移動物を撮像した場合、運転支援システムは、静止物（すなわち静止物の一部）と移動物（すなわち移動物の一部）とを特徴点として抽出してしまう。よって、運転支援システムは、静止物から抽出された特徴点に関してオプティカルフロー（以下、静止物のオプティカルフローとも称する）を導出するだけではなく、移動物から抽出された特徴点に関してもオプティカルフロー（以下、移動物のオプティカルフローとも称する）を導出することになる。つまり、運転支援システムが導出したオプティカルフローには、静止物のオプティカルフローと移動物のオプティカルフローとが含まれることになる。これによって、運転支援システムは、静止物のオプティカルフローと移動物のオプティカルフローとに基づいて自車両の状態を検出することになる。
【０００７】
本来、運転支援システムは、静止物から抽出された特徴点のオプティカルフローに基づいて自車両の状態を検出するものであるため、このように静止物のオプティカルフローと移動物のオプティカルフローとに基づいて自車両の状態を検出してしまうと、検出精度が低下する可能性がある。
【０００８】
本発明は、上記問題点に鑑みなされたものであり、車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために請求項１に記載の発明は、
車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、
撮像装置で所定の撮像間隔Δｔ毎に撮像された複数の画像データを取得する画像データ取得手段（Ｓ１０）と、
複数の画像データの夫々において特徴点を抽出する特徴点抽出手段（Ｓ２０）と、
時間的に連続する画像データにおいて、特徴点の位置を追跡処理することによって複数のオプティカルフローを導出するオプティカルフロー導出手段（Ｓ３０）と、
導出された複数のオプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する分類手段（Ｓ５０）と、
オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する選択手段（Ｓ６０）と、
選択された自車オプティカルフローに基づいて自車両の状態を検出する第１検出手段（Ｓ７０）と、を備えることを特徴とする。
【００１０】
このように、時間的に連続する画像データにおける特徴点に基づいて導出した複数のオプティカルフローには、路面に対して静止している静止物から抽出された特徴点のオプティカルフロー（すなわち、特徴点として抽出された静止物の部位のオプティカルフロー）と、路面に対して移動している移動物から抽出された特徴点のオプティカルフロー（すなわち、特徴点として抽出された移動物の部位のオプティカルフロー）とが含まれることがある。なお、移動物には、対向車（自車両が走行している車線の反対車線を走行している前方車両）や、先行車（自車両と同一の車線を走行している前方車両）が含まれる。一方、静止物には、路面上に描かれた白線や、地面に固定された標識、ガードレールなどが含まれる。
【００１１】
この移動物のオプティカルフローは、移動物の進行方向と自車両の進行方向との相対的な関係、及び移動物の速さと自車両の速さとの相対的な関係に伴って変化するものである。また、移動物としての対向車や先行車は、それぞれ進行する方向や速さが異なることが多い。従って、各移動物のオプティカルフローは夫々異なることが多い。
【００１２】
これに対して、静止物のオプティカルフローは、静止物に対する自車両の相対的な進行方向、及び静止物に対する自車両の相対的な速さとの関係に伴って変化するものである。従って、各静止物のオプティカルフローは、方向及び大きさが同じとなることが多い。また、各静止物のオプティカルフローは、各移動物のオプティカルフローと異なることが多い。そこで、本発明においては、方向と大きさが同じであるオプティカルフローの数が最も多いオプティカルフローは、静止物のオプティカルフローとみなす。
【００１３】
従って、本発明の車両状態検出装置では、オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する。つまり、オプティカルフローが最も多く含まれるグループ（クラスタ）のオプティカルフローを、自車両の車両速度ＶＷ（速度Ｖ（ベクトル）＋角速度Ｗ（ベクトル））として選択する。このように、便宜上、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を自車オプティカルフローと称している。そして、この自車オプティカルフローに基づいて自車両の状態を検出するので、画像データに移動物と静止物の両方が含まれていた場合であっても、移動物のオプティカルフローに影響されることを抑制でき、検出精度を向上させることができる。
【００１４】
また、請求項２に示すように、第１検出手段（Ｓ７０）は、自車オプティカルフローに含まれる特徴点の自車両進行方向における変化量と、画像データの撮像間隔Δｔとによって、自車両の進行方向における速度Ｖを検出する速度検出手段（Ｓ７１）を含むようにしてもよい。
【００１５】
つまり、自車両の状態として、自車両の進行方向における速度Ｖを検出するようにしてもよい。このように、画像データの処理によって、自車両進行方向における速度Ｖを検出することができるので、車速センサを用いる必要がない。
【００１６】
なお、自車オプティカルフローは、自車両の速度Ｖと角速度Ｗとの合成である。そこで、請求項３に示すように、第１検出手段（Ｓ７０）は、自車オプティカルフローから速度Ｖを減算することによって、自車両の角速度Ｗを検出する角速度検出手段（Ｓ７２）を含むようにしてもよい。
【００１７】
つまり、自車両の状態として、自車両の角速度Ｗを検出するようにしてもよい。このように、画像データの処理によって、自車両の角速度Ｗを検出することができるので、ジャイロセンサを用いる必要がない。
【００１８】
また、この角速度Ｗは、自車両のヨー角及びピッチング角を示す平行成分と、自車両のロール角を示す回転成分が合成されたものである。
【００１９】
そこで、請求項４に示すように、角速度検出手段（Ｓ７２）は、自車オプティカルフローから前記速度Ｖを減算した差分オプティカルフローから、撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、この選択された各差分オプティカルフロー同士を加算して２で除算した値を、差分オプティカルフローから回転成分を取り除いた平行成分とし、この平行成分から自車両のヨー角及びピッチング角を検出するヨー・ピッチング検出手段（Ｓ７２１）を含むようにしてもよい。つまり、自車両の状態として、自車両のヨー角及びピッチング角を検出するようにしてもよい。
【００２０】
また、請求項５に示すように、角速度検出手段（Ｓ７２）は、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、この選択された各差分オプティカルフロー同士の差分を２で除算した値を、差分オプティカルフローから平行成分を取り除いた回転成分とし、この回転成分を自車両のロール角として検出するロール検出手段（Ｓ７２２）を含むようにしてもよい。つまり、自車両の状態として、自車両のロール角を検出するようにしてもよい。
【００２１】
また、請求項６に示すように、オプティカルフロー導出手段（Ｓ３０）にて導出された複数のオプティカルフローから、自車オプティカルフローより大きいオプティカルフローを選択し、このオプティカルフローから自車オプティカルフローを減算することで、対向車両に対応する対向車オプティカルフローを検出する第２検出手段（Ｓ６０）と、対向車オプティカルフローの方向が、自車両に向いているか否かを判定する第１判定手段（Ｓ８０，Ｓ８１）と、を含むようにしてもよい。
【００２２】
このようにすることによって、画像データの処理によって、自車両に向かって走行している対向車が存在する状態であるか否かを判定することができる。
【００２３】
また、請求項７に示すように、ロール検出手段（Ｓ７２２）にて検出されたロール角と閾値とを比較し、このロール角が閾値に達した場合に自車両の走行状態が不安定であると判定し、ロール角が閾値に達していない場合に自車両の走行状態が安定していると判定する第２判定手段（Ｓ９０，Ｓ９１）を備えるようにしてもよい。
【００２４】
このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出することができる。
【００２５】
また、請求項８に示すように、ヨー・ピッチング検出手段（Ｓ７２１）にて検出されたヨー角と閾値とを比較し、このヨー角が閾値に達した場合に自車両の走行状態が不安定であると判定し、ヨー角が閾値に達していない場合に自車両の走行状態が安定していると判定する第３判定手段（Ｓ９０，Ｓ９１）を備えるようにしてもよい。
【００２６】
このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態における車両状態検出装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態における車両状態検出装置の処理動作を示すアルゴリズムである。
【図３】（ａ）〜（ｅ）は、本発明の実施の形態における車両状態検出装置の処理動作を示すイメージ図である。
【図４】（ａ）〜（ｃ）は、本発明の実施の形態における車両状態検出装置の状態検出処理動作を示すイメージ図である。
【図５】角速度を示すイメージ図である。
【図６】（ａ）〜（ｅ）は、角速度からヨー角及びピッチング角を検出する検出処理動作を示すイメージ図である。
【図７】（ａ）〜（ｄ）は、角速度からロール角を検出する検出処理動作を示すイメージ図である。
【図８】撮像画面座標系から世界座標系への座標変換を説明するための図面である。
【図９】変形例１における車両状態検出装置の衝突判定処理動作を示すアルゴリズムである。
【図１０】（ａ）〜（ｃ）は、変形例１における車両状態検出装置の衝突判定処理動作を示すイメージ図である。
【図１１】変形例２における車両状態検出装置の横転判定処理動作及び横滑り判定処理動を示すアルゴリズムである。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態を図１〜図８に基づいて説明する。
【００２９】
図１に示す、制御装置１０は、本発明の車両状態検出装置に相当するものである。この制御装置１０（車両状態検出装置）は、車両に設置されるとともに自身（制御装置１０）に電気的に接続された車載カメラ（撮像装置）２０（以下の説明及び図面では、単にカメラと記載する）からの画像データを取得して、取得した画像データを用いて画像処理を行う。つまり、カメラ２０は、車両に設置されるとともに、制御装置１０に電気的に接続されている。そして、制御装置１０は、この画像処理によって、カメラの状態（速度、角速度など）を検出することで、自車両（自身が搭載されている車両）の状態（速度Ｖ、角速度Ｗなど）を検出するものである。このようにして、車両状態検出装置は、複数のセンサ（車速センサやジャイロセンサなど）を用いることなく自車両の状態（速度Ｖ、角速度Ｗなど）を検出するものである。
【００３０】
また、この制御装置１０は、例えば、車載ＬＡＮ（Local Area Network）に接続されて、第１ＥＣＵ（Electronic Control Unit）３０、第２ＥＣＵ４０、第３ＥＣＵ５０などの制御装置と通信可能な構成とすることができる。そして、制御装置１０は、この第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０を用いて各種車両制御を行うようにしてもよい。
【００３１】
制御装置１０は、図１に示すように、ＣＰＵ（CentralProcessing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、Ｉ／Ｆ（interface）１４などを含むマイクロコンピュータを主体として構成されている。この制御装置１０は、ＣＰＵ１１が予めＲＯＭ１３などに格納されたプログラムをＲＡＭ１２に読出して実行することによって、カメラ２０で撮像された画像データの取得など所定の処理動作を実行する。
【００３２】
ここで、図２〜図８に基づいて、制御装置１０（車両状態検出装置）の処理動作に関して説明する。制御装置１０は、自車両に搭載された電源（図示省略、例えば、バッテリー）から電源供給されている間、所定時間毎に図２に示すアルゴリズムを実行する。
【００３３】
まず、ステップＳ１０では、画像データ取得処理を実行する。制御装置１０（ＣＰＵ１１）は、カメラ２０で所定の撮像間隔Δｔ毎に撮像された複数の画像データを取得する（画像データ取得手段）。換言すると、一定時間Δｔ毎に、カメラ２０からの画像データ（画像信号）を取り入れる。なお、ＣＰＵ１１は、この画像データを時系列でＲＡＭ１２などに記憶する。また、カメラ２０は、制御装置１０とともに車両に搭載されており、自車両の前方などの所定範囲（所定の撮像範囲）を撮像するものである。つまり、カメラ２０は、所定の撮像間隔Δｔ毎に自車両前方などを撮像し、その画像データ（撮像画像情報）を制御装置１０に出力する。よって、制御装置１０で取得する画像データは、一定時間毎のフレームの画像である。
【００３４】
図３（ａ）に、画像データの一例を示す。この図３（ａ）に示すように、画像データには、静止物６０（路面に固定又は描かれるなどによって、路面に対して静止している物）と移動物７０（路面に対して移動している物）とが混在することがある。つまり、カメラ２０の撮像領域内には、静止物だけでなく、移動物が存在することもありうる。この場合、カメラ２０は、静止物とともに移動物を撮像することになる。
【００３５】
なお、静止物６０には、路面上に描かれた白線や、地面に固定された標識、ガードレール（図示省略）、建屋（図示省略）などが含まれる。一方、移動物７０には、対向車（自車両が走行している車線の反対車線を走行している前方車両）や、先行車（図示省略、自車両と同一の車線を走行している前方車両）が含まれる。
【００３６】
次に、ステップＳ２０では、特徴点抽出処理を実行する。制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された複数の画像データの夫々において特徴点を抽出する（特徴点抽出手段）。換言すると、制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された各画像データにおいて特徴点を抽出する。
【００３７】
画像データに静止物６０と移動物７０とが混在する場合、静止物６０と移動物７０とから特徴点が抽出されることになる。例えば、図３（ａ）に示す画像データの場合、静止物６０から特徴点８１が抽出され、移動物７０から特徴点８２が抽出される。つまり、特徴点８１は、静止物６０から抽出された特徴点であり、特徴点８２は、移動物７０から抽出された特徴点である。
【００３８】
なお、この特徴点の抽出する際には、特徴点には公知のＳＩＦＴ（Scale-Invariant Feature Transform)特徴量を用い、特徴点の密度が一様となるように、特定の画像範囲内で特徴量の個数を１つと決める。換言すると、この特徴点の抽出には、公知のＳＩＦＴを利用する。また、画像データにおける特徴点の密度が一様になるように、この画像データを同じ広さの複数の領域に区分けして、各領域から特徴点を一つ抽出する（つまり、画像データの全範囲から満遍なく特徴点を抽出する）。具体的には、まず、キーポイント検出し、スケール決定する。このとき、平滑化パラメータ極大値をスケールとする（スケール不変）。次に、特徴量記述（特徴ベクトル）する。このとき、多次元特徴ベクトルにより記述することで、照明変化に頑健な特徴量となる。従って、スケール変化に不変で照明変化に頑健な特徴点を抽出することができる。
【００３９】
次に、ステップＳ３０では、オプティカルフロー導出処理を実行する。制御装置１０（ＣＰＵ１１）は、時間的に連続する画像データにおいて、特徴点８１，８２の位置を追跡処理することによって複数のオプティカルフローを導出する（オプティカルフロー導出手段）。つまり、制御装置１０（ＣＰＵ１１）は、例えば現時刻（ｔ）の画像データと前時刻（ｔ−１）の画像データ間の画像全体からオプティカルフローを導出する。このオプティカルフローによって、画像データ全体における各点（特徴点８１，８２）の動きをベクトルとして取得できる。上述のように、画像データに静止物６０と移動物７０とが混在する場合、画像データ全体を対象としてオプティカルフローを求めることにより、図３（ｂ）に示すように、静止物６０から抽出された特徴点８１のオプティカルフローＯＰ１（以下、静止物６０のオプティカルフローＯＰ１とも称する）と移動物７０から抽出された特徴点８２のオプティカルフローＯＰ２（以下、移動物７０のオプティカルフローＯＰ２とも称する）とをそれぞれ導出することができる。なお、オプティカルフローを導出する場合、前時刻（ｔ−１）よりも更に過去の画像データを用いてもよい。また、オプティカルフローとは、時間的に連続するデジタル画像の中で物体（特徴点）の動きをベクトルで表したものである。
【００４０】
この静止物６０のオプティカルフローＯＰ１は、静止物６０に対する自車両の相対的な進行方向、及び静止物６０に対する自車両の相対的な速さとの関係に伴って変化するものである。これに対して、移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。
【００４１】
次に、ステップＳ４０では、オプティカルフロー正規化処理を実行する。制御装置１０（ＣＰＵ１１）は、ステレオマッチングにより自車両（カメラ）から各特徴点までの距離を求める（正規化手段）。そして、特徴点までの距離と消失点との方向によりオプティカルフローを正規化する（正規化手段）。例えば、図３（ｃ）に示すように、特徴点８１の一つであるａ１と特徴点８１の一つであるｂ１とを採用して説明する。なお、求めたａ１までの距離は２ｍであり、ａ１でのオプティカルフローの大きさは１０である。一方、求めたｂ１までの距離は１０ｍであり、ｂ１でのオプティカルフローの大きさは２である。このａ１とｂ１とに関して、特徴点までの距離と消失点との方向によりオプティカルフローを正規化すると、ａ１のオプティカルフロー及びｂ１のオプティカルフローは、両方とも、方向は垂直であり、大きさは２０となる。このように正規化することで、図３（ｄ）に示すように、静止物６０から抽出された特徴点のオプティカルフローＯＰ１は、全て同じ方向と大きさとなる。
【００４２】
同様に、移動物７０（ここでは、対向車）から抽出された特徴点のオプティカルフローＯＰ２に関しても正規化処理を行うことになる。なお、上述のように、移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。従って、図３（ｄ）からも明らかなように、移動物７０（ここでは、対向車）から抽出された特徴点のオプティカルフローＯＰ２を正規化すると、ａ１やｂ２よりも大きさが大きくなる。なお、正規化後のオプティカルフローＯＰ２の方向は、移動物７０の進行方向と自車両の進行方向との相対的な関係によって、ａ１やｂ２と同じになることもあるし、異なることもある。なお、本発明の請求項に記載のオプティカルフローは、正規化後のオプティカルフローを示すものである。
【００４３】
次に、ステップＳ５０では、クラスタリング処理を実行する。つまり、制御装置１０（ＣＰＵ１１）は、導出された複数のオプティカルフロー（正規化後）において、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する（分類手段）。換言すると、導出された複数のオプティカルフロー（正規化後）において、方向と大きさの両方が同じであるか否かによってクラスタリングする。よって、同じグループ（クラスタ）に分類されたオプティカルフロー（正規化後）は、方向と大きさが同じものである。
【００４４】
次に、ステップＳ６０では、クラスタリングした結果において、静止物と移動物との分離処理を実行する。これまで説明したように、時間的に連続する画像データにおける特徴点に基づいて導出した複数のオプティカルフローには、静止物６０のオプティカルフローＯＰ１と、移動物７０のオプティカルフローＯＰ２とが含まれることがある。
【００４５】
この移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。また、移動物７０としての対向車や先行車は、それぞれ進行する方向や速さが異なることが多い。従って、各移動物７０のオプティカルフローＯＰ２は夫々異なることが多い。
【００４６】
これに対して、静止物６０のオプティカルフローは、静止物６０に対する自車両の相対的な進行方向、及び静止物に対する自車両の相対的な速さとの関係に伴って変化するものである。従って、各静止物６０のオプティカルフローは、方向及び大きさが同じとなることが多い。また、各静止物６０のオプティカルフローは、各移動物７０のオプティカルフローと異なることが多い。そこで、方向と大きさが同じであるオプティカルフローの数が最も多いオプティカルフローは、静止物６０のオプティカルフローとみなす。
【００４７】
そこで、制御装置１０（ＣＰＵ１１）は、オプティカルフローが最も多く含まれるグループ（クラスタ）のオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する（選択手段）。この自車オプティカルフローは、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を示すものである。なお、便宜上、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を自車オプティカルフローと称している。また、この車両速度ＶＷ（速度Ｖ＋角速度Ｗ）は、自車両状態、又は自車両の走行状態、又は自車両の運動量とも称することができる。
【００４８】
例えば、図３（ｅ）に示すように、グループ９１には、９個のオプティカルフロー（正規化後のオプティカルフロー）が含まれるのに対して、グループ９２には、１個のオプティカルフロー（正規化後のオプティカルフロー）しか含まれていない。従って、この例においては、グループ９１に含まれるオプティカルフローが自車オプティカルフローとして選択される。つまり、静止物のオプティカルフローＯＰ１が自車オプティカルフロー（すなわち、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ））として選択されることになる。このように、正規化されたオプティカルフローを方向・大きさでクラスタリングしたときの最大クラスタを静止物として選択する。
【００４９】
また、移動物７０から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物７０の車両速度（他車両速度（他車の速度＋他車の角速度））とが合成されたものである。従って、移動物７０としての対向車から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物（対向車）７０の対向車両速度ＭＶ（対向車速度Ｖ１（ベクトル）＋対向車角速度Ｗ１（ベクトル））とが合成されたものである。また、この対向車両速度ＭＶ（速度Ｖ１＋角速度Ｗ１）は、対向車状態、又は対向車両の走行状態、又は対向車の運動量とも称することができる。
【００５０】
従って、上述のように選択された自車オプティカルフローより大きさが大きいオプティカルフローは、対向車から抽出された特徴点のオプティカルフローとみなすことができる。そこで、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローよりも大きさが大きいオプティカルフローを移動物（対向車）７０から抽出された特徴点のオプティカルフローとして選択する。例えば、図３（ｅ）に示すように、グループ９２に含まれるオプティカルフロー（正規化後のオプティカルフロー）は、自車オプティカルフローよりも大きい。よって、グループ９２に含まれるオプティカルフロー（正規化後）を移動物（対向車）７０から抽出された特徴点のオプティカルフローとして選択する。なお、上述のように、ここで選択された移動物（対向車）７０から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度と対向車の対向車両速度とが合成されたものであるため、合成車両速度ＶＶと記載する。
【００５１】
なお、自車オプティカルフローよりも大きさが小さいオプティカルフロー（正規化後）は、先行車から抽出された特徴点のオプティカルフローとみなすことができる。よって、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローよりも大きさが小さいオプティカルフローを移動物（先行車）７０から抽出された特徴点のオプティカルフローとして選択することもできる。すなわち、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローと大きさが異なるオプティカルフローを移動物（対向車または先行車）７０から抽出された特徴点のオプティカルフローとして選択すると言い換えることもできる。
【００５２】
このようにして、導出したオプティカルフローから静止物のオプティカルフローと移動物のオプティカルフローとを分離する。
【００５３】
次に、ステップＳ７０では、車両状態検出処理を実行する。制御装置１０（ＣＰＵ１１）は、上述のように選択された自車オプティカルフロー（車両速度（速度Ｖ＋角速度Ｗ）に基づいて自車両の状態を検出する（第１検出手段）。このように、この自車オプティカルフローに基づいて自車両の状態を検出するので、画像データに移動物と静止物の両方が含まれていた場合であっても、移動物のオプティカルフローに影響されることを抑制でき、検出精度を向上させることができる。なお、この自車両の状態としては、自車両の進行方向における速度Ｖと自車両の角速度Ｗと自車両の加速度Ａ（ベクトル）とを検出することができる。
【００５４】
ここで、車両状態検出処理に関しては、図３に加えて、図４〜図８を参照しつつ説明する。まず、ステップＳ７１では、速度Ｖの検出処理を実行する。制御装置１０（ＣＰＵ１１）は、自車オプティカルフローに含まれる特徴点の自車両進行方向（消失点方向）における変化量と、画像データの撮像間隔Δｔとによって、自車両の進行方向における速度Ｖを検出（算出）する（速度検出手段）。なお、この消失点は、周知技術で算出することができる。
【００５５】
より具体的には、世界座標系において自車両の進行方向における速度Ｖを算出する。このとき、自車両の進行方向における速度Ｖを数式１のように仮定する（車輪方向にのみ移動）。
【数１】
【００５６】
Ｖｚ＝撮影対象との距離（Ｚｓ）の時間変化ということから、Ｖｚ＝ｄZｓ／ｄｔとすることができる。撮影対象との距離（Ｚｓ）は公知のステレオマッチングを用い求めることができる。つまり、２台のカメラの中心と計測点からなる三角形を利用した三角測量で求めることができる。よって、左右の画像中の対応点決定に基づいて３次元計測を行う。
【００５７】
このようにすることで、画像データの処理によって、自車両の進行方向における速度Ｖを検出することができるので、車速センサを用いる必要がない。つまり、自車両の車輪の回転速度に対応した信号を検出することで自車両の速度を逐次検出するセンサを用いる必要がない。
【００５８】
次に、ステップＳ７２では、角速度Ｗの検出処理を実行する。具体的には、数式２に示すように、世界座標系において角速度Ｗを検出（算出）する。
【数２】
【００５９】
上述のように、自車オプティカルフローは、自車両の進行方向における速度Ｖと角速度Ｗとの合成である。そこで、制御装置１０（ＣＰＵ１１）は、自車オプティカルフロー（すなわち、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）であり、静止物のオプティカルフロー（正規化後のオプティカルフロー））から自車両の進行方向における速度Ｖ（換言すると速度成分）を減算することによって、自車両の角速度Ｗ（換言すると角速度成分）を検出する（角速度検出手段）。換言すると、自車オプティカルフローから自車両の進行方向における速度Ｖの差分をとることによって、自車両の角速度Ｗ（換言すると角速度成分）を検出する。例えば、図４（ａ）に示す自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）から自車両の進行方向における速度Ｖを減算することで、図４（ｂ）に示すように、自車両の角速度Ｗを検出することができる。
【００６０】
このようにすることで、画像データの処理によって、自車両の角速度Ｗを検出することができるので、ジャイロセンサを用いる必要がない。つまり、振動子などを用いるジャイロセンサを用いる必要がない。
【００６１】
なお、この角速度Ｗは、図５に示すように、平行成分、回転成分が含まれている。この図５は、角速度Ｗのイメージ図である。よって、この角速度Ｗを用いて、平行成分（自車両のヨー角及びピッチング角）の検出処理（Ｓ７２１）と回転成分（自車両のロール角）の検出処理（Ｓ７２２）を実行するようにしてもよい。なお、この平行成分（自車両のヨー角及びピッチング角）と回転成分（自車両のロール角）の検出処理に関しては後ほど説明する。また、以下の説明、及び図面においては、ヨー角をＹａｗ、ピッチング角をＰｉｔｃｈ、ロール角をＲｏｌｌとも記載する。
【００６２】
このように、車両状態検出装置（制御装置１０）は、自車オプティカルフローから自車両の運動量（速度Ｖ、角速度Ｗ（ピッチング角、ロール角、ヨー角））を検出（推定）すると言い換えることができる。ちなみに、この検出（推定）される運動量は、厳密には画像データを撮像したカメラ２０の運動量であるが、カメラ２０が自車両に搭載（設置）され、自車両と一体でカメラ２０も動くので、自車両の運動量に相当することになる。
【００６３】
次に、ステップＳ７２では、加速度Ａの検出処理を実行する。制御装置１０（ＣＰＵ１１）は、図４（ｃ）に示すように、自車両の進行方向における速度Ｖの時系列データを差分することで加速度を求める。なお、この図４（ｃ）は、同じ特徴点における速度Ｖの時間的な変化を示すものである。
【００６４】
ここで、図６〜図８を参照しつつ、角速度Ｗにおける平行成分（自車両のヨー角及びピッチング角）と回転成分（自車両のロール角）の検出処理に関して説明する。換言すると、角速度Ｗの各成分（Ｙａｗ，Ｐｉｔｃｈ，Ｒｏｌｌ）を求める。なお、上述の数式２は、数式３と展開することができる。また、この数式３を数式４及び図８に基づいて、撮像画面座標系から世界座標系へ座標変換する。
【数３】
【数４】
【００６５】
まず、ステップＳ７２１では、平行成分（自車両のヨー角及びピッチング角）の検出処理を実行する。
【００６６】
図６（ａ）は、自車両のヨー角、ピッチング角、ロール角が合成されたオプティカルフローのイメージ図である。つまり、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローである。
【００６７】
制御装置１０（ＣＰＵ１１）は、図６（ａ）に示す自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、図６（ｂ）に示すように、カメラ２０における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択する。なお、図６（ｂ）に示す二つの差分オプティカルフローは、方向及び大きさが異なるものである。
【００６８】
そして、制御装置１０（ＣＰＵ１１）は、図６（ｃ）に示すように、この選択された各差分オプティカルフロー同士を加算して２で除算した値を、差分オプティカルフローから回転成分を取り除いた平行成分とする。換言すると、選択された各差分オプティカルフロー同士を加算して２で除算することによって、角速度Ｗから回転成分がキャンセルされ、角速度Ｗの平行成分が求められる。さらに、制御装置１０（ＣＰＵ１１）は、この平行成分を水平成分と垂直成分とに分解することによって、図６（ｄ）に示す自車両のヨー角及び図６（ｅ）に示すピッチング角を検出（算出）する（ヨー・ピッチング検出手段）。なお、このヨー角及びピッチング角を上述の座標変換によって、世界座標系のヨー角及びピッチング角として検出する。このよう、自車両の状態として、自車両のヨー角及びピッチング角を検出するようにしてもよい。
【００６９】
なお、撮像画面座標の中心位置に対して点対称な二つの特徴点が無い場合は、候補点の角度、半径Ｒを変更して特徴点を探索する。さらに、候補点を変えても点対称となる特徴点がない場合は、カメラ２０における画角、向きを変更して図２に示すアルゴリズムを開始するようにしてもよい。この場合、カメラ２０の画角、向きを変更するための変更手段が必要になる。
【００７０】
次に、ステップＳ７２２では、回転成分（自車両のロール角）の検出処理を実行する。
【００７１】
図７（ａ）は、自車両のヨー角、ピッチング角、ロール角が合成されたオプティカルフローのイメージ図である。つまり、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローである。
【００７２】
制御装置１０（ＣＰＵ１１）は、図７（ａ）に示す自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、図７（ｂ）に示すように、カメラ２０における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択する。なお、図７（ｂ）に示す二つの差分オプティカルフローは、方向及び大きさが異なるものである。
【００７３】
そして、制御装置１０（ＣＰＵ１１）は、図７（ｃ）に示すように、この選択された各差分オプティカルフロー同士の差分を２で除算した値を、差分オプティカルフローから平行成分を取り除いた回転成分とする。換言すると、選択された各差分オプティカルフロー同士を減算して２で除算することによって、図７（ｄ）に示すように、角速度Ｗから平行成分がキャンセルされ、角速度Ｗの回転成分が求められる。つまり、制御装置１０（ＣＰＵ１１）は、この回転成分を自車両のロール角として検出（算出）する（ロール検出手段）。なお、このロール角を上述の座標変換によって、世界座標系のロール角として検出する。このよう、自車両の状態として、自車両のロール角を検出するようにしてもよい。
【００７４】
なお、撮像画面座標の中心位置に対して点対称な二つの特徴点が無い場合は、候補点の角度、半径Ｒを変更して特徴点を探索する。さらに、候補点を変えても点対称となる特徴点がない場合は、カメラ２０における画角、向きを変更して図２に示すアルゴリズムを開始するようにしてもよい。この場合、カメラ２０の画角、向きを変更するための変更手段が必要になる。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることはなく、本発明の趣旨を逸脱しない範囲において、種々の変形が可能である。
【００７６】
（変形例１）
上述の実施形態では、自車オプティカルフロー（車両速度（速度Ｖ＋角速度Ｗ）に基づいて自車両の状態を検出する例を採用したが、本発明はこれに限定されるものではない。変形例１として、対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）を用いて、自車両に向かって走行している対向車が存在する状態であるか否かを判定するようにしてもよい（第１判定手段）。なお、変形例１における制御装置１０（ＣＰＵ１１）は、図２に示すステップＳ１０〜ステップＳ６０の処理を実行した後に、図９に示すステップＳ８０〜Ｓ８２を実行して、その後に、図２に示すステップＳ７０を実行するものである。なので、ここでは、ステップＳ１０〜ステップＳ７０の処理に関しての詳しい説明は省略する。
【００７７】
まず、図９のステップＳ６０（図２のステップＳ６０と同様）では、上述のように、制御装置１０（ＣＰＵ１１）は、導出された複数のオプティカルフロー（正規化後）から、自車オプティカルフロー（正規化後）より大きさが大きいオプティカルフロー（正規化後）を選択する（第２検出手段）。移動物７０としての対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物（対向車）７０の対向車両速度ＭＶ（対向車速度Ｖ１（ベクトル）＋対向車角速度Ｗ１（ベクトル））とが合成されたものである。よって、ここでは、このオプティカルフローＯＰ２（合成車両速度ＶＶ）が選択されることになる。そして、制御装置１０（ＣＰＵ１１）は、選択したオプティカルフローＯＰ２（合成車両速度ＶＶ）から自車オプティカルフロー（自車両の車両速度（速度Ｖ＋角速度Ｗ））を減算することで、対向車両に対応する対向車オプティカルフローを検出する（第２検出手段）。つまり、図１０（ａ）に示すように、この対向車オプティカルフローとして、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）が検出される。この対向車オプティカルフローは、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）を示すものである。なお、便宜上、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）を対向車オプティカルフローと称している。
【００７８】
次に、図９のステップＳ８０では、対向車状態の監視処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフロー（対向車両速度ＭＶ）を監視する。次に、図９のステップＳ８１では、移動物７０（対向車）が自車両（つまり、自車両に搭載されたカメラ２０）方向に進行しているか否かを判定する（第１判定手段）。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフローの方向がカメラ２０に向いているか否かによって、移動物７０がカメラ２０方向に進行しているか否かを判定する。
【００７９】
そして、対向車オプティカルフローの方向がカメラ２０に向いていないと判定した場合は、移動物７０がカメラ２０方向に進行していないとみなしてステップＳ７０へ進む。例えば、図１０（ｂ）に示すように、最も古いタイミングＴ１、次のタイミングＴ２、そして最新のタイミングＴ３の順番に対向車オプティカルフローの方向を監視した結果、対向車オプティカルフローの方向がカメラ２０に向いていないと判定した場合は移動物７０がカメラ２０方向に進行していないとみなす。
【００８０】
一方、対向車オプティカルフローの方向がカメラ２０に向いていると判定した場合は、移動物７０がカメラ２０方向に進行しているとみなしてステップＳ８２へ進む。例えば、図１０（ｃ）に示すように、最も古いタイミングＴ１、次のタイミングＴ２、そして最新のタイミングＴ３の順番に対向車オプティカルフローの方向を監視した結果、対向車オプティカルフローの方向がカメラ２０に向いていると判定した場合は移動物７０がカメラ２０方向に進行しているとみなす。このようにすることによって画像データの処理によって、自車両に向かって走行している対向車が存在する状態であるか否かを判定することができる。
【００８１】
また、図９のステップＳ８２では、衝突判定処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフローの方向と大きさに基づいて衝突判定を行う。ここでは、対向車オプティカルフローの方向がカメラ２０方向へ向いており、対向車オプティカルフローの大きさが所定値より大きい場合は、自車両に向かって走行している対向車との衝突の危険性が高い状態であるとみなす。また、対向車オプティカルフローの方向がカメラ２０方向へ向いており、対向車オプティカルフローの大きさが所定値より小さい場合は、自車両に向かって走行している対向車との衝突の危険性が低い状態であるとみなす。
【００８２】
（変形例２）
変形例２として、対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）を用いて、自車両の走行状態が安定している状態であるか否かを検出するようにしてもよい。なお、変形例２における制御装置１０（ＣＰＵ１１）は、図２に示すステップＳ１０〜ステップＳ７０の処理を実行した後に、図１１に示すステップＳ９０〜Ｓ９３を実行するものである。なので、ここでは、ステップＳ１０〜ステップＳ７０の処理に関しては説明を省略する。
【００８３】
まず、図２に示すステップＳ７０の車両状態検出処理が終了すると、図１１のステップＳ９０に示すように、角速度Ｗの監視処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、ステップＳ７０で検出したロール角、ヨー角を監視する。
【００８４】
そして、図１１のステップＳ９１では、閾値判定を実行する。このとき、制御装置１０（ＣＰＵ１１）は、このロール角が閾値（ロール閾値）に達したか否か、及びヨー角が閾値（ヨー閾値）に達したか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、ロール角とロール閾値とを比較し、このロール角がロール閾値に達した場合に自車両の走行状態が不安定であると判定してステップＳ９２へ進む（第２判定手段）。同様に、制御装置１０（ＣＰＵ１１）は、ヨー角とヨー閾値とを比較し、このヨー角がヨー閾値に達した場合に自車両の走行状態が不安定であると判定してステップＳ９３へ進む（第３判定手段）。なお、制御装置１０（ＣＰＵ１１）は、ロール角がロール閾値に達していないと判定し、且つ、ヨー角がヨー閾値に達していないと判定した場合はステップＳ１０へ戻る。このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出（判定）することができる。
【００８５】
なお、ステップＳ９２では、横転判定処理を実行するようにしてもよい。つまり、制御装置１０（ＣＰＵ１１）は、ロール角がとロール閾値に達した場合、自車両の走行状態が不安定であり横転する可能性があるとみなすようにしてもよい。なお、この場合、制御装置１０（ＣＰＵ１１）は、その他のＥＣＵ（第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０）を介してユーザに注意喚起を行うようにしてもよい。
【００８６】
また、ステップＳ９３では、ＶＳＣ（VehicleStability Control）制御判定を実行してもよい。つまり、制御装置１０（ＣＰＵ１１）は、ヨー角がとヨー閾値に達した場合、自車両の走行状態が不安定であり横滑りする可能性があるとみなして、ＶＳＣ制御の実行を開始すると判定してもよい。つまり、この場合、制御装置１０（ＣＰＵ１１）は、その他のＥＣＵ（第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０）にＶＳＣ制御の開始を指示するようにしてもよい。なお、ＶＳＣ制御とは、障害物回避のための急ハンドルや、滑りやすい路面でのコーナリング中などに発生する自車両の横すべりを検出すると、各車輪のブレーキやエンジン出力を自動的にコントロールすることで、不安定な挙動を抑制するシステムである。
【符号の説明】
【００８７】
１０ 制御装置、１１ ＣＰＵ、１２ ＲＡＭ、１３ ＲＯＭ、１４ Ｉ／Ｆ、２０ カメラ、３０ 第１ＥＣＵ、４０ 第２ＥＣＵ、５０ 第３ＥＣＵ
【技術分野】
【０００１】
本発明は、車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置に関するものである。
【背景技術】
【０００２】
従来、車両に設置された撮像装置で撮像された画像データに基づいて自車両の状態を検出する技術の一例として、特許文献１に開示された運転支援システムがあった。
【０００３】
この運転支援システムは、車速センサ及び舵角センサを必要とすることなく自車両の状態（車両速度及び回転角）を検出（推定）するものである。具体的には、車両に設置された撮像装置（カメラ）による画像データから特徴点を抽出する。そして、時系列で並ぶ画像データ間における特徴点の追跡処理を行うことで、オプティカルフロー（移動ベクトル）を導出する。そして、このオプティカルフローに基づいて自車両の状態を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、この運転支援システムでは、抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点などの不動点（すなわち静止物（路面に固定又は描かれるなどによって、路面に対して静止している物）の一部）が想定されている。
【０００６】
しかしながら、撮像装置の撮像領域内には、静止物だけでなく、路面に対して移動する物（移動物）が存在することもありうる。この場合、撮像装置は、静止物とともに移動物を撮像することになる。このように、撮像装置が静止物とともに移動物を撮像した場合、運転支援システムは、静止物（すなわち静止物の一部）と移動物（すなわち移動物の一部）とを特徴点として抽出してしまう。よって、運転支援システムは、静止物から抽出された特徴点に関してオプティカルフロー（以下、静止物のオプティカルフローとも称する）を導出するだけではなく、移動物から抽出された特徴点に関してもオプティカルフロー（以下、移動物のオプティカルフローとも称する）を導出することになる。つまり、運転支援システムが導出したオプティカルフローには、静止物のオプティカルフローと移動物のオプティカルフローとが含まれることになる。これによって、運転支援システムは、静止物のオプティカルフローと移動物のオプティカルフローとに基づいて自車両の状態を検出することになる。
【０００７】
本来、運転支援システムは、静止物から抽出された特徴点のオプティカルフローに基づいて自車両の状態を検出するものであるため、このように静止物のオプティカルフローと移動物のオプティカルフローとに基づいて自車両の状態を検出してしまうと、検出精度が低下する可能性がある。
【０００８】
本発明は、上記問題点に鑑みなされたものであり、車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために請求項１に記載の発明は、
車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、
撮像装置で所定の撮像間隔Δｔ毎に撮像された複数の画像データを取得する画像データ取得手段（Ｓ１０）と、
複数の画像データの夫々において特徴点を抽出する特徴点抽出手段（Ｓ２０）と、
時間的に連続する画像データにおいて、特徴点の位置を追跡処理することによって複数のオプティカルフローを導出するオプティカルフロー導出手段（Ｓ３０）と、
導出された複数のオプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する分類手段（Ｓ５０）と、
オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する選択手段（Ｓ６０）と、
選択された自車オプティカルフローに基づいて自車両の状態を検出する第１検出手段（Ｓ７０）と、を備えることを特徴とする。
【００１０】
このように、時間的に連続する画像データにおける特徴点に基づいて導出した複数のオプティカルフローには、路面に対して静止している静止物から抽出された特徴点のオプティカルフロー（すなわち、特徴点として抽出された静止物の部位のオプティカルフロー）と、路面に対して移動している移動物から抽出された特徴点のオプティカルフロー（すなわち、特徴点として抽出された移動物の部位のオプティカルフロー）とが含まれることがある。なお、移動物には、対向車（自車両が走行している車線の反対車線を走行している前方車両）や、先行車（自車両と同一の車線を走行している前方車両）が含まれる。一方、静止物には、路面上に描かれた白線や、地面に固定された標識、ガードレールなどが含まれる。
【００１１】
この移動物のオプティカルフローは、移動物の進行方向と自車両の進行方向との相対的な関係、及び移動物の速さと自車両の速さとの相対的な関係に伴って変化するものである。また、移動物としての対向車や先行車は、それぞれ進行する方向や速さが異なることが多い。従って、各移動物のオプティカルフローは夫々異なることが多い。
【００１２】
これに対して、静止物のオプティカルフローは、静止物に対する自車両の相対的な進行方向、及び静止物に対する自車両の相対的な速さとの関係に伴って変化するものである。従って、各静止物のオプティカルフローは、方向及び大きさが同じとなることが多い。また、各静止物のオプティカルフローは、各移動物のオプティカルフローと異なることが多い。そこで、本発明においては、方向と大きさが同じであるオプティカルフローの数が最も多いオプティカルフローは、静止物のオプティカルフローとみなす。
【００１３】
従って、本発明の車両状態検出装置では、オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する。つまり、オプティカルフローが最も多く含まれるグループ（クラスタ）のオプティカルフローを、自車両の車両速度ＶＷ（速度Ｖ（ベクトル）＋角速度Ｗ（ベクトル））として選択する。このように、便宜上、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を自車オプティカルフローと称している。そして、この自車オプティカルフローに基づいて自車両の状態を検出するので、画像データに移動物と静止物の両方が含まれていた場合であっても、移動物のオプティカルフローに影響されることを抑制でき、検出精度を向上させることができる。
【００１４】
また、請求項２に示すように、第１検出手段（Ｓ７０）は、自車オプティカルフローに含まれる特徴点の自車両進行方向における変化量と、画像データの撮像間隔Δｔとによって、自車両の進行方向における速度Ｖを検出する速度検出手段（Ｓ７１）を含むようにしてもよい。
【００１５】
つまり、自車両の状態として、自車両の進行方向における速度Ｖを検出するようにしてもよい。このように、画像データの処理によって、自車両進行方向における速度Ｖを検出することができるので、車速センサを用いる必要がない。
【００１６】
なお、自車オプティカルフローは、自車両の速度Ｖと角速度Ｗとの合成である。そこで、請求項３に示すように、第１検出手段（Ｓ７０）は、自車オプティカルフローから速度Ｖを減算することによって、自車両の角速度Ｗを検出する角速度検出手段（Ｓ７２）を含むようにしてもよい。
【００１７】
つまり、自車両の状態として、自車両の角速度Ｗを検出するようにしてもよい。このように、画像データの処理によって、自車両の角速度Ｗを検出することができるので、ジャイロセンサを用いる必要がない。
【００１８】
また、この角速度Ｗは、自車両のヨー角及びピッチング角を示す平行成分と、自車両のロール角を示す回転成分が合成されたものである。
【００１９】
そこで、請求項４に示すように、角速度検出手段（Ｓ７２）は、自車オプティカルフローから前記速度Ｖを減算した差分オプティカルフローから、撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、この選択された各差分オプティカルフロー同士を加算して２で除算した値を、差分オプティカルフローから回転成分を取り除いた平行成分とし、この平行成分から自車両のヨー角及びピッチング角を検出するヨー・ピッチング検出手段（Ｓ７２１）を含むようにしてもよい。つまり、自車両の状態として、自車両のヨー角及びピッチング角を検出するようにしてもよい。
【００２０】
また、請求項５に示すように、角速度検出手段（Ｓ７２）は、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、この選択された各差分オプティカルフロー同士の差分を２で除算した値を、差分オプティカルフローから平行成分を取り除いた回転成分とし、この回転成分を自車両のロール角として検出するロール検出手段（Ｓ７２２）を含むようにしてもよい。つまり、自車両の状態として、自車両のロール角を検出するようにしてもよい。
【００２１】
また、請求項６に示すように、オプティカルフロー導出手段（Ｓ３０）にて導出された複数のオプティカルフローから、自車オプティカルフローより大きいオプティカルフローを選択し、このオプティカルフローから自車オプティカルフローを減算することで、対向車両に対応する対向車オプティカルフローを検出する第２検出手段（Ｓ６０）と、対向車オプティカルフローの方向が、自車両に向いているか否かを判定する第１判定手段（Ｓ８０，Ｓ８１）と、を含むようにしてもよい。
【００２２】
このようにすることによって、画像データの処理によって、自車両に向かって走行している対向車が存在する状態であるか否かを判定することができる。
【００２３】
また、請求項７に示すように、ロール検出手段（Ｓ７２２）にて検出されたロール角と閾値とを比較し、このロール角が閾値に達した場合に自車両の走行状態が不安定であると判定し、ロール角が閾値に達していない場合に自車両の走行状態が安定していると判定する第２判定手段（Ｓ９０，Ｓ９１）を備えるようにしてもよい。
【００２４】
このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出することができる。
【００２５】
また、請求項８に示すように、ヨー・ピッチング検出手段（Ｓ７２１）にて検出されたヨー角と閾値とを比較し、このヨー角が閾値に達した場合に自車両の走行状態が不安定であると判定し、ヨー角が閾値に達していない場合に自車両の走行状態が安定していると判定する第３判定手段（Ｓ９０，Ｓ９１）を備えるようにしてもよい。
【００２６】
このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態における車両状態検出装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態における車両状態検出装置の処理動作を示すアルゴリズムである。
【図３】（ａ）〜（ｅ）は、本発明の実施の形態における車両状態検出装置の処理動作を示すイメージ図である。
【図４】（ａ）〜（ｃ）は、本発明の実施の形態における車両状態検出装置の状態検出処理動作を示すイメージ図である。
【図５】角速度を示すイメージ図である。
【図６】（ａ）〜（ｅ）は、角速度からヨー角及びピッチング角を検出する検出処理動作を示すイメージ図である。
【図７】（ａ）〜（ｄ）は、角速度からロール角を検出する検出処理動作を示すイメージ図である。
【図８】撮像画面座標系から世界座標系への座標変換を説明するための図面である。
【図９】変形例１における車両状態検出装置の衝突判定処理動作を示すアルゴリズムである。
【図１０】（ａ）〜（ｃ）は、変形例１における車両状態検出装置の衝突判定処理動作を示すイメージ図である。
【図１１】変形例２における車両状態検出装置の横転判定処理動作及び横滑り判定処理動を示すアルゴリズムである。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態を図１〜図８に基づいて説明する。
【００２９】
図１に示す、制御装置１０は、本発明の車両状態検出装置に相当するものである。この制御装置１０（車両状態検出装置）は、車両に設置されるとともに自身（制御装置１０）に電気的に接続された車載カメラ（撮像装置）２０（以下の説明及び図面では、単にカメラと記載する）からの画像データを取得して、取得した画像データを用いて画像処理を行う。つまり、カメラ２０は、車両に設置されるとともに、制御装置１０に電気的に接続されている。そして、制御装置１０は、この画像処理によって、カメラの状態（速度、角速度など）を検出することで、自車両（自身が搭載されている車両）の状態（速度Ｖ、角速度Ｗなど）を検出するものである。このようにして、車両状態検出装置は、複数のセンサ（車速センサやジャイロセンサなど）を用いることなく自車両の状態（速度Ｖ、角速度Ｗなど）を検出するものである。
【００３０】
また、この制御装置１０は、例えば、車載ＬＡＮ（Local Area Network）に接続されて、第１ＥＣＵ（Electronic Control Unit）３０、第２ＥＣＵ４０、第３ＥＣＵ５０などの制御装置と通信可能な構成とすることができる。そして、制御装置１０は、この第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０を用いて各種車両制御を行うようにしてもよい。
【００３１】
制御装置１０は、図１に示すように、ＣＰＵ（CentralProcessing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、Ｉ／Ｆ（interface）１４などを含むマイクロコンピュータを主体として構成されている。この制御装置１０は、ＣＰＵ１１が予めＲＯＭ１３などに格納されたプログラムをＲＡＭ１２に読出して実行することによって、カメラ２０で撮像された画像データの取得など所定の処理動作を実行する。
【００３２】
ここで、図２〜図８に基づいて、制御装置１０（車両状態検出装置）の処理動作に関して説明する。制御装置１０は、自車両に搭載された電源（図示省略、例えば、バッテリー）から電源供給されている間、所定時間毎に図２に示すアルゴリズムを実行する。
【００３３】
まず、ステップＳ１０では、画像データ取得処理を実行する。制御装置１０（ＣＰＵ１１）は、カメラ２０で所定の撮像間隔Δｔ毎に撮像された複数の画像データを取得する（画像データ取得手段）。換言すると、一定時間Δｔ毎に、カメラ２０からの画像データ（画像信号）を取り入れる。なお、ＣＰＵ１１は、この画像データを時系列でＲＡＭ１２などに記憶する。また、カメラ２０は、制御装置１０とともに車両に搭載されており、自車両の前方などの所定範囲（所定の撮像範囲）を撮像するものである。つまり、カメラ２０は、所定の撮像間隔Δｔ毎に自車両前方などを撮像し、その画像データ（撮像画像情報）を制御装置１０に出力する。よって、制御装置１０で取得する画像データは、一定時間毎のフレームの画像である。
【００３４】
図３（ａ）に、画像データの一例を示す。この図３（ａ）に示すように、画像データには、静止物６０（路面に固定又は描かれるなどによって、路面に対して静止している物）と移動物７０（路面に対して移動している物）とが混在することがある。つまり、カメラ２０の撮像領域内には、静止物だけでなく、移動物が存在することもありうる。この場合、カメラ２０は、静止物とともに移動物を撮像することになる。
【００３５】
なお、静止物６０には、路面上に描かれた白線や、地面に固定された標識、ガードレール（図示省略）、建屋（図示省略）などが含まれる。一方、移動物７０には、対向車（自車両が走行している車線の反対車線を走行している前方車両）や、先行車（図示省略、自車両と同一の車線を走行している前方車両）が含まれる。
【００３６】
次に、ステップＳ２０では、特徴点抽出処理を実行する。制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された複数の画像データの夫々において特徴点を抽出する（特徴点抽出手段）。換言すると、制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された各画像データにおいて特徴点を抽出する。
【００３７】
画像データに静止物６０と移動物７０とが混在する場合、静止物６０と移動物７０とから特徴点が抽出されることになる。例えば、図３（ａ）に示す画像データの場合、静止物６０から特徴点８１が抽出され、移動物７０から特徴点８２が抽出される。つまり、特徴点８１は、静止物６０から抽出された特徴点であり、特徴点８２は、移動物７０から抽出された特徴点である。
【００３８】
なお、この特徴点の抽出する際には、特徴点には公知のＳＩＦＴ（Scale-Invariant Feature Transform)特徴量を用い、特徴点の密度が一様となるように、特定の画像範囲内で特徴量の個数を１つと決める。換言すると、この特徴点の抽出には、公知のＳＩＦＴを利用する。また、画像データにおける特徴点の密度が一様になるように、この画像データを同じ広さの複数の領域に区分けして、各領域から特徴点を一つ抽出する（つまり、画像データの全範囲から満遍なく特徴点を抽出する）。具体的には、まず、キーポイント検出し、スケール決定する。このとき、平滑化パラメータ極大値をスケールとする（スケール不変）。次に、特徴量記述（特徴ベクトル）する。このとき、多次元特徴ベクトルにより記述することで、照明変化に頑健な特徴量となる。従って、スケール変化に不変で照明変化に頑健な特徴点を抽出することができる。
【００３９】
次に、ステップＳ３０では、オプティカルフロー導出処理を実行する。制御装置１０（ＣＰＵ１１）は、時間的に連続する画像データにおいて、特徴点８１，８２の位置を追跡処理することによって複数のオプティカルフローを導出する（オプティカルフロー導出手段）。つまり、制御装置１０（ＣＰＵ１１）は、例えば現時刻（ｔ）の画像データと前時刻（ｔ−１）の画像データ間の画像全体からオプティカルフローを導出する。このオプティカルフローによって、画像データ全体における各点（特徴点８１，８２）の動きをベクトルとして取得できる。上述のように、画像データに静止物６０と移動物７０とが混在する場合、画像データ全体を対象としてオプティカルフローを求めることにより、図３（ｂ）に示すように、静止物６０から抽出された特徴点８１のオプティカルフローＯＰ１（以下、静止物６０のオプティカルフローＯＰ１とも称する）と移動物７０から抽出された特徴点８２のオプティカルフローＯＰ２（以下、移動物７０のオプティカルフローＯＰ２とも称する）とをそれぞれ導出することができる。なお、オプティカルフローを導出する場合、前時刻（ｔ−１）よりも更に過去の画像データを用いてもよい。また、オプティカルフローとは、時間的に連続するデジタル画像の中で物体（特徴点）の動きをベクトルで表したものである。
【００４０】
この静止物６０のオプティカルフローＯＰ１は、静止物６０に対する自車両の相対的な進行方向、及び静止物６０に対する自車両の相対的な速さとの関係に伴って変化するものである。これに対して、移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。
【００４１】
次に、ステップＳ４０では、オプティカルフロー正規化処理を実行する。制御装置１０（ＣＰＵ１１）は、ステレオマッチングにより自車両（カメラ）から各特徴点までの距離を求める（正規化手段）。そして、特徴点までの距離と消失点との方向によりオプティカルフローを正規化する（正規化手段）。例えば、図３（ｃ）に示すように、特徴点８１の一つであるａ１と特徴点８１の一つであるｂ１とを採用して説明する。なお、求めたａ１までの距離は２ｍであり、ａ１でのオプティカルフローの大きさは１０である。一方、求めたｂ１までの距離は１０ｍであり、ｂ１でのオプティカルフローの大きさは２である。このａ１とｂ１とに関して、特徴点までの距離と消失点との方向によりオプティカルフローを正規化すると、ａ１のオプティカルフロー及びｂ１のオプティカルフローは、両方とも、方向は垂直であり、大きさは２０となる。このように正規化することで、図３（ｄ）に示すように、静止物６０から抽出された特徴点のオプティカルフローＯＰ１は、全て同じ方向と大きさとなる。
【００４２】
同様に、移動物７０（ここでは、対向車）から抽出された特徴点のオプティカルフローＯＰ２に関しても正規化処理を行うことになる。なお、上述のように、移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。従って、図３（ｄ）からも明らかなように、移動物７０（ここでは、対向車）から抽出された特徴点のオプティカルフローＯＰ２を正規化すると、ａ１やｂ２よりも大きさが大きくなる。なお、正規化後のオプティカルフローＯＰ２の方向は、移動物７０の進行方向と自車両の進行方向との相対的な関係によって、ａ１やｂ２と同じになることもあるし、異なることもある。なお、本発明の請求項に記載のオプティカルフローは、正規化後のオプティカルフローを示すものである。
【００４３】
次に、ステップＳ５０では、クラスタリング処理を実行する。つまり、制御装置１０（ＣＰＵ１１）は、導出された複数のオプティカルフロー（正規化後）において、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する（分類手段）。換言すると、導出された複数のオプティカルフロー（正規化後）において、方向と大きさの両方が同じであるか否かによってクラスタリングする。よって、同じグループ（クラスタ）に分類されたオプティカルフロー（正規化後）は、方向と大きさが同じものである。
【００４４】
次に、ステップＳ６０では、クラスタリングした結果において、静止物と移動物との分離処理を実行する。これまで説明したように、時間的に連続する画像データにおける特徴点に基づいて導出した複数のオプティカルフローには、静止物６０のオプティカルフローＯＰ１と、移動物７０のオプティカルフローＯＰ２とが含まれることがある。
【００４５】
この移動物７０のオプティカルフローＯＰ２は、移動物７０の進行方向と自車両の進行方向との相対的な関係、及び移動物７０の速さと自車両の速さとの相対的な関係に伴って変化するものである。また、移動物７０としての対向車や先行車は、それぞれ進行する方向や速さが異なることが多い。従って、各移動物７０のオプティカルフローＯＰ２は夫々異なることが多い。
【００４６】
これに対して、静止物６０のオプティカルフローは、静止物６０に対する自車両の相対的な進行方向、及び静止物に対する自車両の相対的な速さとの関係に伴って変化するものである。従って、各静止物６０のオプティカルフローは、方向及び大きさが同じとなることが多い。また、各静止物６０のオプティカルフローは、各移動物７０のオプティカルフローと異なることが多い。そこで、方向と大きさが同じであるオプティカルフローの数が最も多いオプティカルフローは、静止物６０のオプティカルフローとみなす。
【００４７】
そこで、制御装置１０（ＣＰＵ１１）は、オプティカルフローが最も多く含まれるグループ（クラスタ）のオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する（選択手段）。この自車オプティカルフローは、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を示すものである。なお、便宜上、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）を自車オプティカルフローと称している。また、この車両速度ＶＷ（速度Ｖ＋角速度Ｗ）は、自車両状態、又は自車両の走行状態、又は自車両の運動量とも称することができる。
【００４８】
例えば、図３（ｅ）に示すように、グループ９１には、９個のオプティカルフロー（正規化後のオプティカルフロー）が含まれるのに対して、グループ９２には、１個のオプティカルフロー（正規化後のオプティカルフロー）しか含まれていない。従って、この例においては、グループ９１に含まれるオプティカルフローが自車オプティカルフローとして選択される。つまり、静止物のオプティカルフローＯＰ１が自車オプティカルフロー（すなわち、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ））として選択されることになる。このように、正規化されたオプティカルフローを方向・大きさでクラスタリングしたときの最大クラスタを静止物として選択する。
【００４９】
また、移動物７０から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物７０の車両速度（他車両速度（他車の速度＋他車の角速度））とが合成されたものである。従って、移動物７０としての対向車から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物（対向車）７０の対向車両速度ＭＶ（対向車速度Ｖ１（ベクトル）＋対向車角速度Ｗ１（ベクトル））とが合成されたものである。また、この対向車両速度ＭＶ（速度Ｖ１＋角速度Ｗ１）は、対向車状態、又は対向車両の走行状態、又は対向車の運動量とも称することができる。
【００５０】
従って、上述のように選択された自車オプティカルフローより大きさが大きいオプティカルフローは、対向車から抽出された特徴点のオプティカルフローとみなすことができる。そこで、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローよりも大きさが大きいオプティカルフローを移動物（対向車）７０から抽出された特徴点のオプティカルフローとして選択する。例えば、図３（ｅ）に示すように、グループ９２に含まれるオプティカルフロー（正規化後のオプティカルフロー）は、自車オプティカルフローよりも大きい。よって、グループ９２に含まれるオプティカルフロー（正規化後）を移動物（対向車）７０から抽出された特徴点のオプティカルフローとして選択する。なお、上述のように、ここで選択された移動物（対向車）７０から抽出された特徴点のオプティカルフローＯＰ２は、自車両の車両速度と対向車の対向車両速度とが合成されたものであるため、合成車両速度ＶＶと記載する。
【００５１】
なお、自車オプティカルフローよりも大きさが小さいオプティカルフロー（正規化後）は、先行車から抽出された特徴点のオプティカルフローとみなすことができる。よって、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローよりも大きさが小さいオプティカルフローを移動物（先行車）７０から抽出された特徴点のオプティカルフローとして選択することもできる。すなわち、制御装置１０（ＣＰＵ１１）は、自車オプティカルフローと大きさが異なるオプティカルフローを移動物（対向車または先行車）７０から抽出された特徴点のオプティカルフローとして選択すると言い換えることもできる。
【００５２】
このようにして、導出したオプティカルフローから静止物のオプティカルフローと移動物のオプティカルフローとを分離する。
【００５３】
次に、ステップＳ７０では、車両状態検出処理を実行する。制御装置１０（ＣＰＵ１１）は、上述のように選択された自車オプティカルフロー（車両速度（速度Ｖ＋角速度Ｗ）に基づいて自車両の状態を検出する（第１検出手段）。このように、この自車オプティカルフローに基づいて自車両の状態を検出するので、画像データに移動物と静止物の両方が含まれていた場合であっても、移動物のオプティカルフローに影響されることを抑制でき、検出精度を向上させることができる。なお、この自車両の状態としては、自車両の進行方向における速度Ｖと自車両の角速度Ｗと自車両の加速度Ａ（ベクトル）とを検出することができる。
【００５４】
ここで、車両状態検出処理に関しては、図３に加えて、図４〜図８を参照しつつ説明する。まず、ステップＳ７１では、速度Ｖの検出処理を実行する。制御装置１０（ＣＰＵ１１）は、自車オプティカルフローに含まれる特徴点の自車両進行方向（消失点方向）における変化量と、画像データの撮像間隔Δｔとによって、自車両の進行方向における速度Ｖを検出（算出）する（速度検出手段）。なお、この消失点は、周知技術で算出することができる。
【００５５】
より具体的には、世界座標系において自車両の進行方向における速度Ｖを算出する。このとき、自車両の進行方向における速度Ｖを数式１のように仮定する（車輪方向にのみ移動）。
【数１】
【００５６】
Ｖｚ＝撮影対象との距離（Ｚｓ）の時間変化ということから、Ｖｚ＝ｄZｓ／ｄｔとすることができる。撮影対象との距離（Ｚｓ）は公知のステレオマッチングを用い求めることができる。つまり、２台のカメラの中心と計測点からなる三角形を利用した三角測量で求めることができる。よって、左右の画像中の対応点決定に基づいて３次元計測を行う。
【００５７】
このようにすることで、画像データの処理によって、自車両の進行方向における速度Ｖを検出することができるので、車速センサを用いる必要がない。つまり、自車両の車輪の回転速度に対応した信号を検出することで自車両の速度を逐次検出するセンサを用いる必要がない。
【００５８】
次に、ステップＳ７２では、角速度Ｗの検出処理を実行する。具体的には、数式２に示すように、世界座標系において角速度Ｗを検出（算出）する。
【数２】
【００５９】
上述のように、自車オプティカルフローは、自車両の進行方向における速度Ｖと角速度Ｗとの合成である。そこで、制御装置１０（ＣＰＵ１１）は、自車オプティカルフロー（すなわち、自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）であり、静止物のオプティカルフロー（正規化後のオプティカルフロー））から自車両の進行方向における速度Ｖ（換言すると速度成分）を減算することによって、自車両の角速度Ｗ（換言すると角速度成分）を検出する（角速度検出手段）。換言すると、自車オプティカルフローから自車両の進行方向における速度Ｖの差分をとることによって、自車両の角速度Ｗ（換言すると角速度成分）を検出する。例えば、図４（ａ）に示す自車両の車両速度ＶＷ（速度Ｖ＋角速度Ｗ）から自車両の進行方向における速度Ｖを減算することで、図４（ｂ）に示すように、自車両の角速度Ｗを検出することができる。
【００６０】
このようにすることで、画像データの処理によって、自車両の角速度Ｗを検出することができるので、ジャイロセンサを用いる必要がない。つまり、振動子などを用いるジャイロセンサを用いる必要がない。
【００６１】
なお、この角速度Ｗは、図５に示すように、平行成分、回転成分が含まれている。この図５は、角速度Ｗのイメージ図である。よって、この角速度Ｗを用いて、平行成分（自車両のヨー角及びピッチング角）の検出処理（Ｓ７２１）と回転成分（自車両のロール角）の検出処理（Ｓ７２２）を実行するようにしてもよい。なお、この平行成分（自車両のヨー角及びピッチング角）と回転成分（自車両のロール角）の検出処理に関しては後ほど説明する。また、以下の説明、及び図面においては、ヨー角をＹａｗ、ピッチング角をＰｉｔｃｈ、ロール角をＲｏｌｌとも記載する。
【００６２】
このように、車両状態検出装置（制御装置１０）は、自車オプティカルフローから自車両の運動量（速度Ｖ、角速度Ｗ（ピッチング角、ロール角、ヨー角））を検出（推定）すると言い換えることができる。ちなみに、この検出（推定）される運動量は、厳密には画像データを撮像したカメラ２０の運動量であるが、カメラ２０が自車両に搭載（設置）され、自車両と一体でカメラ２０も動くので、自車両の運動量に相当することになる。
【００６３】
次に、ステップＳ７２では、加速度Ａの検出処理を実行する。制御装置１０（ＣＰＵ１１）は、図４（ｃ）に示すように、自車両の進行方向における速度Ｖの時系列データを差分することで加速度を求める。なお、この図４（ｃ）は、同じ特徴点における速度Ｖの時間的な変化を示すものである。
【００６４】
ここで、図６〜図８を参照しつつ、角速度Ｗにおける平行成分（自車両のヨー角及びピッチング角）と回転成分（自車両のロール角）の検出処理に関して説明する。換言すると、角速度Ｗの各成分（Ｙａｗ，Ｐｉｔｃｈ，Ｒｏｌｌ）を求める。なお、上述の数式２は、数式３と展開することができる。また、この数式３を数式４及び図８に基づいて、撮像画面座標系から世界座標系へ座標変換する。
【数３】
【数４】
【００６５】
まず、ステップＳ７２１では、平行成分（自車両のヨー角及びピッチング角）の検出処理を実行する。
【００６６】
図６（ａ）は、自車両のヨー角、ピッチング角、ロール角が合成されたオプティカルフローのイメージ図である。つまり、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローである。
【００６７】
制御装置１０（ＣＰＵ１１）は、図６（ａ）に示す自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、図６（ｂ）に示すように、カメラ２０における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択する。なお、図６（ｂ）に示す二つの差分オプティカルフローは、方向及び大きさが異なるものである。
【００６８】
そして、制御装置１０（ＣＰＵ１１）は、図６（ｃ）に示すように、この選択された各差分オプティカルフロー同士を加算して２で除算した値を、差分オプティカルフローから回転成分を取り除いた平行成分とする。換言すると、選択された各差分オプティカルフロー同士を加算して２で除算することによって、角速度Ｗから回転成分がキャンセルされ、角速度Ｗの平行成分が求められる。さらに、制御装置１０（ＣＰＵ１１）は、この平行成分を水平成分と垂直成分とに分解することによって、図６（ｄ）に示す自車両のヨー角及び図６（ｅ）に示すピッチング角を検出（算出）する（ヨー・ピッチング検出手段）。なお、このヨー角及びピッチング角を上述の座標変換によって、世界座標系のヨー角及びピッチング角として検出する。このよう、自車両の状態として、自車両のヨー角及びピッチング角を検出するようにしてもよい。
【００６９】
なお、撮像画面座標の中心位置に対して点対称な二つの特徴点が無い場合は、候補点の角度、半径Ｒを変更して特徴点を探索する。さらに、候補点を変えても点対称となる特徴点がない場合は、カメラ２０における画角、向きを変更して図２に示すアルゴリズムを開始するようにしてもよい。この場合、カメラ２０の画角、向きを変更するための変更手段が必要になる。
【００７０】
次に、ステップＳ７２２では、回転成分（自車両のロール角）の検出処理を実行する。
【００７１】
図７（ａ）は、自車両のヨー角、ピッチング角、ロール角が合成されたオプティカルフローのイメージ図である。つまり、自車オプティカルフローから速度Ｖを減算した差分オプティカルフローである。
【００７２】
制御装置１０（ＣＰＵ１１）は、図７（ａ）に示す自車オプティカルフローから速度Ｖを減算した差分オプティカルフローから、図７（ｂ）に示すように、カメラ２０における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択する。なお、図７（ｂ）に示す二つの差分オプティカルフローは、方向及び大きさが異なるものである。
【００７３】
そして、制御装置１０（ＣＰＵ１１）は、図７（ｃ）に示すように、この選択された各差分オプティカルフロー同士の差分を２で除算した値を、差分オプティカルフローから平行成分を取り除いた回転成分とする。換言すると、選択された各差分オプティカルフロー同士を減算して２で除算することによって、図７（ｄ）に示すように、角速度Ｗから平行成分がキャンセルされ、角速度Ｗの回転成分が求められる。つまり、制御装置１０（ＣＰＵ１１）は、この回転成分を自車両のロール角として検出（算出）する（ロール検出手段）。なお、このロール角を上述の座標変換によって、世界座標系のロール角として検出する。このよう、自車両の状態として、自車両のロール角を検出するようにしてもよい。
【００７４】
なお、撮像画面座標の中心位置に対して点対称な二つの特徴点が無い場合は、候補点の角度、半径Ｒを変更して特徴点を探索する。さらに、候補点を変えても点対称となる特徴点がない場合は、カメラ２０における画角、向きを変更して図２に示すアルゴリズムを開始するようにしてもよい。この場合、カメラ２０の画角、向きを変更するための変更手段が必要になる。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることはなく、本発明の趣旨を逸脱しない範囲において、種々の変形が可能である。
【００７６】
（変形例１）
上述の実施形態では、自車オプティカルフロー（車両速度（速度Ｖ＋角速度Ｗ）に基づいて自車両の状態を検出する例を採用したが、本発明はこれに限定されるものではない。変形例１として、対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）を用いて、自車両に向かって走行している対向車が存在する状態であるか否かを判定するようにしてもよい（第１判定手段）。なお、変形例１における制御装置１０（ＣＰＵ１１）は、図２に示すステップＳ１０〜ステップＳ６０の処理を実行した後に、図９に示すステップＳ８０〜Ｓ８２を実行して、その後に、図２に示すステップＳ７０を実行するものである。なので、ここでは、ステップＳ１０〜ステップＳ７０の処理に関しての詳しい説明は省略する。
【００７７】
まず、図９のステップＳ６０（図２のステップＳ６０と同様）では、上述のように、制御装置１０（ＣＰＵ１１）は、導出された複数のオプティカルフロー（正規化後）から、自車オプティカルフロー（正規化後）より大きさが大きいオプティカルフロー（正規化後）を選択する（第２検出手段）。移動物７０としての対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）は、自車両の車両速度（速度Ｖ＋角速度Ｗ）と移動物（対向車）７０の対向車両速度ＭＶ（対向車速度Ｖ１（ベクトル）＋対向車角速度Ｗ１（ベクトル））とが合成されたものである。よって、ここでは、このオプティカルフローＯＰ２（合成車両速度ＶＶ）が選択されることになる。そして、制御装置１０（ＣＰＵ１１）は、選択したオプティカルフローＯＰ２（合成車両速度ＶＶ）から自車オプティカルフロー（自車両の車両速度（速度Ｖ＋角速度Ｗ））を減算することで、対向車両に対応する対向車オプティカルフローを検出する（第２検出手段）。つまり、図１０（ａ）に示すように、この対向車オプティカルフローとして、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）が検出される。この対向車オプティカルフローは、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）を示すものである。なお、便宜上、対向車両速度ＭＶ（対向車速度Ｖ１＋対向車角速度Ｗ１）を対向車オプティカルフローと称している。
【００７８】
次に、図９のステップＳ８０では、対向車状態の監視処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフロー（対向車両速度ＭＶ）を監視する。次に、図９のステップＳ８１では、移動物７０（対向車）が自車両（つまり、自車両に搭載されたカメラ２０）方向に進行しているか否かを判定する（第１判定手段）。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフローの方向がカメラ２０に向いているか否かによって、移動物７０がカメラ２０方向に進行しているか否かを判定する。
【００７９】
そして、対向車オプティカルフローの方向がカメラ２０に向いていないと判定した場合は、移動物７０がカメラ２０方向に進行していないとみなしてステップＳ７０へ進む。例えば、図１０（ｂ）に示すように、最も古いタイミングＴ１、次のタイミングＴ２、そして最新のタイミングＴ３の順番に対向車オプティカルフローの方向を監視した結果、対向車オプティカルフローの方向がカメラ２０に向いていないと判定した場合は移動物７０がカメラ２０方向に進行していないとみなす。
【００８０】
一方、対向車オプティカルフローの方向がカメラ２０に向いていると判定した場合は、移動物７０がカメラ２０方向に進行しているとみなしてステップＳ８２へ進む。例えば、図１０（ｃ）に示すように、最も古いタイミングＴ１、次のタイミングＴ２、そして最新のタイミングＴ３の順番に対向車オプティカルフローの方向を監視した結果、対向車オプティカルフローの方向がカメラ２０に向いていると判定した場合は移動物７０がカメラ２０方向に進行しているとみなす。このようにすることによって画像データの処理によって、自車両に向かって走行している対向車が存在する状態であるか否かを判定することができる。
【００８１】
また、図９のステップＳ８２では、衝突判定処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、対向車オプティカルフローの方向と大きさに基づいて衝突判定を行う。ここでは、対向車オプティカルフローの方向がカメラ２０方向へ向いており、対向車オプティカルフローの大きさが所定値より大きい場合は、自車両に向かって走行している対向車との衝突の危険性が高い状態であるとみなす。また、対向車オプティカルフローの方向がカメラ２０方向へ向いており、対向車オプティカルフローの大きさが所定値より小さい場合は、自車両に向かって走行している対向車との衝突の危険性が低い状態であるとみなす。
【００８２】
（変形例２）
変形例２として、対向車から抽出された特徴点のオプティカルフローＯＰ２（合成車両速度ＶＶ）を用いて、自車両の走行状態が安定している状態であるか否かを検出するようにしてもよい。なお、変形例２における制御装置１０（ＣＰＵ１１）は、図２に示すステップＳ１０〜ステップＳ７０の処理を実行した後に、図１１に示すステップＳ９０〜Ｓ９３を実行するものである。なので、ここでは、ステップＳ１０〜ステップＳ７０の処理に関しては説明を省略する。
【００８３】
まず、図２に示すステップＳ７０の車両状態検出処理が終了すると、図１１のステップＳ９０に示すように、角速度Ｗの監視処理を実行する。このとき、制御装置１０（ＣＰＵ１１）は、ステップＳ７０で検出したロール角、ヨー角を監視する。
【００８４】
そして、図１１のステップＳ９１では、閾値判定を実行する。このとき、制御装置１０（ＣＰＵ１１）は、このロール角が閾値（ロール閾値）に達したか否か、及びヨー角が閾値（ヨー閾値）に達したか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、ロール角とロール閾値とを比較し、このロール角がロール閾値に達した場合に自車両の走行状態が不安定であると判定してステップＳ９２へ進む（第２判定手段）。同様に、制御装置１０（ＣＰＵ１１）は、ヨー角とヨー閾値とを比較し、このヨー角がヨー閾値に達した場合に自車両の走行状態が不安定であると判定してステップＳ９３へ進む（第３判定手段）。なお、制御装置１０（ＣＰＵ１１）は、ロール角がロール閾値に達していないと判定し、且つ、ヨー角がヨー閾値に達していないと判定した場合はステップＳ１０へ戻る。このようにすることによって、画像データの処理によって、自車両の走行状態が安定している状態であるか否かを検出（判定）することができる。
【００８５】
なお、ステップＳ９２では、横転判定処理を実行するようにしてもよい。つまり、制御装置１０（ＣＰＵ１１）は、ロール角がとロール閾値に達した場合、自車両の走行状態が不安定であり横転する可能性があるとみなすようにしてもよい。なお、この場合、制御装置１０（ＣＰＵ１１）は、その他のＥＣＵ（第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０）を介してユーザに注意喚起を行うようにしてもよい。
【００８６】
また、ステップＳ９３では、ＶＳＣ（VehicleStability Control）制御判定を実行してもよい。つまり、制御装置１０（ＣＰＵ１１）は、ヨー角がとヨー閾値に達した場合、自車両の走行状態が不安定であり横滑りする可能性があるとみなして、ＶＳＣ制御の実行を開始すると判定してもよい。つまり、この場合、制御装置１０（ＣＰＵ１１）は、その他のＥＣＵ（第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０）にＶＳＣ制御の開始を指示するようにしてもよい。なお、ＶＳＣ制御とは、障害物回避のための急ハンドルや、滑りやすい路面でのコーナリング中などに発生する自車両の横すべりを検出すると、各車輪のブレーキやエンジン出力を自動的にコントロールすることで、不安定な挙動を抑制するシステムである。
【符号の説明】
【００８７】
１０ 制御装置、１１ ＣＰＵ、１２ ＲＡＭ、１３ ＲＯＭ、１４ Ｉ／Ｆ、２０ カメラ、３０ 第１ＥＣＵ、４０ 第２ＥＣＵ、５０ 第３ＥＣＵ
【特許請求の範囲】
【請求項１】
車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、
前記撮像装置で所定の撮像間隔Δｔ毎に撮像された複数の前記画像データを取得する画像データ取得手段（Ｓ１０）と、
複数の前記画像データの夫々において特徴点を抽出する特徴点抽出手段（Ｓ２０）と、
時間的に連続する前記画像データにおいて、前記特徴点の位置を追跡処理することによって複数のオプティカルフローを導出するオプティカルフロー導出手段（Ｓ３０）と、
導出された複数の前記オプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する分類手段（Ｓ５０）と、
オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する選択手段（Ｓ６０）と、
選択された自車オプティカルフローに基づいて自車両の状態を検出する第１検出手段（Ｓ７０）と、
を備えることを特徴とする車両状態検出装置。
【請求項２】
前記第１検出手段（Ｓ７０）は、前記自車オプティカルフローに含まれる特徴点の自車両進行方向における変化量と、前記画像データの撮像間隔Δｔとによって、自車両の進行方向における速度を検出する速度検出手段（Ｓ７１）を含むことを特徴とする請求項１に記載の車両状態検出装置。
【請求項３】
前記第１検出手段（Ｓ７０）は、前記自車オプティカルフローから前記速度を減算することによって、自車両の角速度を検出する角速度検出手段（Ｓ７２）を含むことを特徴とする請求項２に記載の車両状態検出装置。
【請求項４】
前記角速度検出手段（Ｓ７２）は、
前記自車オプティカルフローから前記速度を減算した差分オプティカルフローから、前記撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、
選択された各差分オプティカルフロー同士を加算して２で除算した値を、前記差分オプティカルフローから回転成分を取り除いた平行成分とし、当該平行成分から自車両のヨー角及びピッチング角を検出するヨー・ピッチング検出手段（Ｓ７２１）を含むことを特徴とする請求項３に記載の車両状態検出装置。
【請求項５】
前記角速度検出手段（Ｓ７２）は、
前記自車オプティカルフローから前記速度を減算した差分オプティカルフローから、前記撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、
選択された各差分オプティカルフロー同士の差分を２で除算した値を、前記差分オプティカルフローから平行成分を取り除いた回転成分とし、当該回転成分を自車両のロール角として検出するロール検出手段（Ｓ７２２）を含むことを特徴とする請求項３に記載の車両状態検出装置。
【請求項６】
前記オプティカルフロー導出手段（Ｓ３０）にて導出された複数のオプティカルフローから、前記自車オプティカルフローより大きいオプティカルフローを選択し、当該オプティカルフローから当該自車オプティカルフローを減算することで、対向車両に対応する対向車オプティカルフローを検出する第２検出手段（Ｓ６０）と、
前記対向車オプティカルフローの方向が、自車両に向いているか否かを判定する第１判定手段（Ｓ８０，Ｓ８１）と、
を含むことを特徴とする請求項２乃至５のいずれか一項に記載の車両状態検出装置。
【請求項７】
前記ロール検出手段（Ｓ７２２）にて検出されたロール角と閾値とを比較し、当該ロール角が当該閾値に達した場合に自車両の走行状態が不安定であると判定し、当該ロール角が当該閾値に達していない場合に自車両の走行状態が安定していると判定する第２判定手段（Ｓ９０，Ｓ９１）を備えることを特徴とする請求項５に記載の車両状態検出装置。
【請求項８】
前記ヨー・ピッチング検出手段（Ｓ７２１）にて検出されたヨー角と閾値とを比較し、当該ヨー角が当該閾値に達した場合に自車両の走行状態が不安定であると判定し、当該ヨー角が当該閾値に達していない場合に自車両の走行状態が安定していると判定する第３判定手段（Ｓ９０，Ｓ９１）を備えることを特徴とする請求項４に記載の車両状態検出装置。
【請求項１】
車両に設置された撮像装置で撮像された画像データに基づいて、自車両の状態を検出する車両状態検出装置であって、
前記撮像装置で所定の撮像間隔Δｔ毎に撮像された複数の前記画像データを取得する画像データ取得手段（Ｓ１０）と、
複数の前記画像データの夫々において特徴点を抽出する特徴点抽出手段（Ｓ２０）と、
時間的に連続する前記画像データにおいて、前記特徴点の位置を追跡処理することによって複数のオプティカルフローを導出するオプティカルフロー導出手段（Ｓ３０）と、
導出された複数の前記オプティカルフローにおいて、方向と大きさの両方が同じであるオプティカルフロー同士を一つのグループに分類する分類手段（Ｓ５０）と、
オプティカルフローが最も多く含まれるグループのオプティカルフローを、自車両に対応する自車オプティカルフローとして選択する選択手段（Ｓ６０）と、
選択された自車オプティカルフローに基づいて自車両の状態を検出する第１検出手段（Ｓ７０）と、
を備えることを特徴とする車両状態検出装置。
【請求項２】
前記第１検出手段（Ｓ７０）は、前記自車オプティカルフローに含まれる特徴点の自車両進行方向における変化量と、前記画像データの撮像間隔Δｔとによって、自車両の進行方向における速度を検出する速度検出手段（Ｓ７１）を含むことを特徴とする請求項１に記載の車両状態検出装置。
【請求項３】
前記第１検出手段（Ｓ７０）は、前記自車オプティカルフローから前記速度を減算することによって、自車両の角速度を検出する角速度検出手段（Ｓ７２）を含むことを特徴とする請求項２に記載の車両状態検出装置。
【請求項４】
前記角速度検出手段（Ｓ７２）は、
前記自車オプティカルフローから前記速度を減算した差分オプティカルフローから、前記撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、
選択された各差分オプティカルフロー同士を加算して２で除算した値を、前記差分オプティカルフローから回転成分を取り除いた平行成分とし、当該平行成分から自車両のヨー角及びピッチング角を検出するヨー・ピッチング検出手段（Ｓ７２１）を含むことを特徴とする請求項３に記載の車両状態検出装置。
【請求項５】
前記角速度検出手段（Ｓ７２）は、
前記自車オプティカルフローから前記速度を減算した差分オプティカルフローから、前記撮像装置における撮像画面座標の中心位置に対して点対称な二つの特徴点における各差分オプティカルフローを選択し、
選択された各差分オプティカルフロー同士の差分を２で除算した値を、前記差分オプティカルフローから平行成分を取り除いた回転成分とし、当該回転成分を自車両のロール角として検出するロール検出手段（Ｓ７２２）を含むことを特徴とする請求項３に記載の車両状態検出装置。
【請求項６】
前記オプティカルフロー導出手段（Ｓ３０）にて導出された複数のオプティカルフローから、前記自車オプティカルフローより大きいオプティカルフローを選択し、当該オプティカルフローから当該自車オプティカルフローを減算することで、対向車両に対応する対向車オプティカルフローを検出する第２検出手段（Ｓ６０）と、
前記対向車オプティカルフローの方向が、自車両に向いているか否かを判定する第１判定手段（Ｓ８０，Ｓ８１）と、
を含むことを特徴とする請求項２乃至５のいずれか一項に記載の車両状態検出装置。
【請求項７】
前記ロール検出手段（Ｓ７２２）にて検出されたロール角と閾値とを比較し、当該ロール角が当該閾値に達した場合に自車両の走行状態が不安定であると判定し、当該ロール角が当該閾値に達していない場合に自車両の走行状態が安定していると判定する第２判定手段（Ｓ９０，Ｓ９１）を備えることを特徴とする請求項５に記載の車両状態検出装置。
【請求項８】
前記ヨー・ピッチング検出手段（Ｓ７２１）にて検出されたヨー角と閾値とを比較し、当該ヨー角が当該閾値に達した場合に自車両の走行状態が不安定であると判定し、当該ヨー角が当該閾値に達していない場合に自車両の走行状態が安定していると判定する第３判定手段（Ｓ９０，Ｓ９１）を備えることを特徴とする請求項４に記載の車両状態検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３１１０（Ｐ２０１３−３１１０Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７６９８（Ｐ２０１１−１３７６９８）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]