画像処理装置および方法、並びに、プログラム
【課題】車両の周囲の物体の検出精度を向上させる。
【解決手段】監視部２０１Ｎ乃至２０１Ｒの挙動推定部２１２Ｎ乃至２１２Ｒは、それぞれ、車両の周囲の異なる方向を撮影した画像を用いて、車両の挙動を表す挙動パラメータを推定する。設定部２２２は、挙動推定部２１２Ｎ乃至２１２Ｒのそれぞれで推定された複数の挙動パラメータに基づいて、車両の周囲の障害物の検出に用いる挙動パラメータを設定する。監視部２０１Ｎ乃至２０１Ｒの障害物検出部２１３Ｎ乃至２１３Ｒは、それぞれ、車両の周囲の異なる方向を撮影した画像、および、設定された挙動パラメータを用いて、車両の周囲の障害物を検出する。本発明は、例えば、車載用の監視装置に適用できる。
【解決手段】監視部２０１Ｎ乃至２０１Ｒの挙動推定部２１２Ｎ乃至２１２Ｒは、それぞれ、車両の周囲の異なる方向を撮影した画像を用いて、車両の挙動を表す挙動パラメータを推定する。設定部２２２は、挙動推定部２１２Ｎ乃至２１２Ｒのそれぞれで推定された複数の挙動パラメータに基づいて、車両の周囲の障害物の検出に用いる挙動パラメータを設定する。監視部２０１Ｎ乃至２０１Ｒの障害物検出部２１３Ｎ乃至２１３Ｒは、それぞれ、車両の周囲の異なる方向を撮影した画像、および、設定された挙動パラメータを用いて、車両の周囲の障害物を検出する。本発明は、例えば、車載用の監視装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、車両の周囲の物体を検出する場合に用いて好適な画像処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、自動車などの車両の前方または後方に取り付けられたカメラで撮影した画像を用いて、車両の前方または後方に存在する障害物を検出し、検出結果に応じて運転者への警告などを行うシステムが開発されている。
【０００３】
このようなシステムでは、車両に設置された１台のカメラにより異なる時間に異なる位置において撮影した２つの画像を用いて、画像に写っている物体の３次元の位置を三角測量の原理により検出する移動ステレオ方式が、よく用いられる（例えば、特許文献１参照）。
【０００４】
ここで、図１を参照して、車両に設置された１台のカメラにより、時刻ｔに撮影された画像Ｉ１と、時刻ｔから所定の時間Δｔだけ経過した時刻ｔ＋１に撮影された画像Ｉ２の２つの画像を用いて、移動ステレオ方式により３次元計測を行う場合について考える。
【０００５】
なお、以下、カメラを基準とする座標系（以下、カメラ座標系と称する）について、撮影の結果得られる画像の横方向をＸ軸、縦方向をＹ軸、画像面に垂直な方向をＺ軸とする。また、路面を基準とする座標系（以下、路面座標系と称する）について、車両の並進運動の方向をＺｇ軸、Ｚｇ軸に垂直かつ路面に垂直な方向をＹｇ軸、Ｚｇ軸およびＹｇ軸に垂直な方向をＸｇ軸とする。さらに、カメラにより撮影される画像の座標系（以下、画像座標系と称する）について、横方向をｘ軸、縦方向をｙ軸とする。
【０００６】
時刻ｔと時刻ｔ＋１の間に車両が移動し、画像Ｉ１を撮影したときのカメラの光学中心（optical center）と画像Ｉ２を撮影したときのカメラの光学中心とが離れている場合、画像Ｉ１上の物体Ｑの位置Ｐ１（ｘl，ｙl）と、画像Ｉ２上の物体Ｑの位置Ｐ２（ｘu，ｙu）に基づいて、ステレオカメラ方式と同様の三角測量の原理を用いることにより、物体Ｑの３次元の位置（Ｘ，Ｙ，Ｚ）を検出することができる。また、ここで得られたＺ軸方向の座標が、カメラ（の光学中心）から物体Ｑまでの距離となる。
【０００７】
ところで、移動ステレオ方式により車両の周囲の物体の３次元の位置を計測するためには、計測に用いる２つの画像を撮影する間のカメラの挙動を知る必要がある。ここで、カメラの挙動とは、カメラの並進運動および回転運動のことであり、カメラが設置されている車両の並進運動および回転運動とほぼ等しい。
【０００８】
車両が上下および左右方向に並進しないと仮定すると、車両の前後方向の並進運動量、すなわち、車両の移動量は、例えば、車両に設けられている車速センサの情報に基づいて測定することが可能である。そして、車両に対するカメラの取付け位置および取付け方向が既知である場合、車両の移動量に基づいて、カメラ座標系におけるカメラの並進運動量を求めることができる。
【０００９】
しかし、車速センサは計測精度が低いため、計測精度を上げるために、例えば、カメラにより撮影された画像を用いて、カメラに対する路面の位置を求め、路面上の点を基準にして、車両の移動量を推定することが、よく行われる。
【００１０】
また、車両の回転運動量は、例えば、車両に設けられている車速センサや操舵角センサからの情報を用いて推定することが可能である。そして、車両に対するカメラの取付け位置および取付け方向が既知である場合、車両の回転運動量に基づいて、カメラ座標系におけるカメラの回転運動量を求めることができる。
【００１１】
しかし、車速センサは計測精度が低いため、計測精度を上げるために、例えば、カメラにより撮影された画像を用いて、車両の回転運動量を推定することが、よく行われる。例えば、以下の式（１）を用いて、カメラ座標系における車両の回転運動量（＝カメラの回転運動量）が推定される。
【００１２】
【数１】
【００１３】
なお、式（１）において、ｘ，ｙは、画像座標系における物体の特徴点のｘ軸方向およびｙ軸方向の座標を示す。ｖｘ，ｖｙは、画像座標系における物体の特徴点に対する動きベクトルのｘ軸方向およびｙ軸方向の成分を示す。ｆはカメラの焦点距離を示す。ｔx，ｔy，ｔzは、カメラ座標系における車両（カメラ）のＸ軸、Ｙ軸、Ｚ軸方向の並進運動量を示す。Ｘ，Ｙ，Ｚは、カメラ座標系における物体の特徴点のＸ軸方向、Ｙ軸方向およびＺ軸方向の座標を示す。θ、ψ、φは、カメラ座標系における車両（カメラ）の回転運動量、すなわち、Ｘ軸回りの回転角（ピッチ角）、Ｙ軸回りの回転角（ヨー角）、およびＺ軸回りの回転角（ロール角）φを示す。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０００−７４６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述した方法によりカメラにより撮影した画像に基づいて、カメラの並進運動量および回転運動量を推定する場合、画像の写り具合によっては、推定精度が悪化する場合がある。
【００１６】
例えば、図２に示されるように、カメラの撮影方向に壁が迫り、画像内に路面がほとんど現れない場合、車両の移動量の推定精度が低下し、それに伴い、カメラの並進運動量の推定精度が低下する。また、例えば、図３に示されるように、カメラの取付け位置などの影響で、画像内の被写体に歪みが生じている場合、カメラの回転運動量の推定精度が低下する。その結果、車両の周囲の物体の検出精度が低下する。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、車両の周囲の物体の検出精度を向上できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出する画像処理装置において、車両の挙動を表す挙動パラメータを複数の画像ごとに推定する挙動推定手段と、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定する設定手段と、設定手段により設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出する物体検出手段とを含む。
【００１９】
本発明の一側面の画像処理装置においては、車両の挙動を表す挙動パラメータが、異なる方向を撮影した複数の画像ごとに推定され、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータが設定され、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体が検出される。
【００２０】
従って、車両の周囲の物体の検出精度が向上する。
【００２１】
この挙動推定手段、設定手段、物体検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２２】
この設定手段には、車両の進行方向の逆方向により近い方向を撮影した画像を用いて推定された挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２３】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２４】
この設定手段には、推定に用いた動きベクトルの数が最も多い挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２５】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２６】
この設定手段には、前回物体検出手段により検出された路面の量が最も大きかった画像と同じ方向を撮影した画像を用いて推定された挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２７】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２８】
この画像処理装置には、車両の進行方向、挙動パラメータの推定に用いた動きベクトルの数、および、画像内の路面の量のうち少なくとも１つに基づいて、各挙動パラメータの信頼度を評価する信頼度評価手段をさらに設け、この設定手段には、複数の挙動パラメータをそれぞれの信頼度に応じて重み付けて平均化することにより、車両の周囲の物体の検出に用いる挙動パラメータを設定させることができる。
【００２９】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００３０】
この信頼度評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３１】
この画像処理装置には、車両が走行している路面の特徴を表す路面パラメータを複数の画像ごとに推定する路面推定手段をさらに設け、この設定手段には、複数の画像ごとに推定された複数の路面パラメータに基づいて、車両の周囲の物体の検出に用いる路面パラメータをさらに設定させ、この物体検出手段には、設定手段により設定された挙動パラメータおよび路面パラメータ、並びに、複数の画像を用いて、車両の周囲の物体を検出させることができる。
【００３２】
これにより、車両の周囲の物体の検出精度がより向上する。
【００３３】
この路面推定手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３４】
この画像処理装置には、車両の進行方向、挙動パラメータおよび路面パラメータの推定に用いた動きベクトルの数、および、画像内の路面の量のうち少なくとも１つに基づいて、各挙動パラメータおよび路面パラメータの信頼度を評価する信頼度評価手段をさらに設け、この設定手段には、複数の挙動パラメータおよび路面パラメータをそれぞれの信頼度に応じて重み付けて平均化することにより、車両の周囲の物体の検出に用いる挙動パラメータおよび路面パラメータを設定させることができる。
【００３５】
これにより、より精度の高い挙動パラメータおよび路面パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００３６】
この信頼度評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３７】
本発明の一側面の画像処理方法は、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出する画像処理装置が、車両の挙動を表す挙動パラメータを複数の画像ごとに推定し、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定し、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出する。
【００３８】
本発明の一側面のプログラムは、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出するコンピュータに、車両の挙動を表す挙動パラメータを複数の画像ごとに推定し、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定し、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出するステップを含む処理を実行させる。
【００３９】
従って、車両の周囲の物体の検出精度が向上する。
【００４０】
この画像処理装置は、例えば、CPU（Central Processing Unit）により構成される。
【発明の効果】
【００４１】
本発明の一側面によれば、車両の周囲の物体の検出精度が向上する。
【図面の簡単な説明】
【００４２】
【図１】移動ステレオ方式による３次元計測の原理について説明するための図である。
【図２】車両から撮影した画像の例を示す図である。
【図３】車両から撮影した画像の他の例を示す図である。
【図４】監視システムの一実施の形態を示すブロック図である。
【図５】カメラの設置位置の例を示す図である。
【図６】監視システムの画像処理部の第１の実施の形態を示すブロック図である。
【図７】監視処理の第１の実施の形態を説明するためのフローチャートである。
【図８】監視システムの画像処理部の第２の実施の形態を示すブロック図である。
【図９】監視処理の第２の実施の形態を説明するためのフローチャートである。
【図１０】監視システムの画像処理部の第３の実施の形態を示すブロック図である。
【図１１】監視処理の第３の実施の形態を説明するためのフローチャートである。
【図１２】監視システムの画像処理部の第４の実施の形態を示すブロック図である。
【図１３】監視処理の第４の実施の形態を説明するためのフローチャートである。
【図１４】挙動パラメータの補正処理について説明するための図である。
【図１５】挙動パラメータの補正処理について説明するための図である。
【図１６】コンピュータの構成の例を示すブロック図である。
【発明を実施するための形態】
【００４３】
以下、図を参照して、本発明の実施の形態について説明する。
【００４４】
図４は、本発明を適用した車載用の監視システムの一実施の形態を示すブロック図である。また、図５は、図４の監視システム１０１が設けられている車両１３１を上から見た模式図である。
【００４５】
図４の監視システム１０１は、車両１３１の周囲を監視し、車両１３１の周囲に存在ｓる障害物を検出し、検出結果を出力するシステムである。監視システム１０１は、カメラ１１１Ｎ乃至カメラ１１１Ｒ、ギア検出部１１２、操舵角検出部１１３、車速検出部１１４、および、画像処理部１１５を含むように構成される。
【００４６】
カメラ１１１Ｎ乃至１１１Ｒは、それぞれ車両１３１の周囲の異なる方向を撮影するように設置され、撮影の結果得られた画像を画像処理部１１５に供給する。
【００４７】
ここで、図５を参照して、カメラ１１１Ｎ乃至１１１Ｒの設置位置の例について説明する。カメラ１１１Ｎは、例えば、車両１３１の前端のほぼ中央（例えば、フロントバンパーのほぼ中央）の位置Ｐ１に設置され、車両１３１の前方を撮影する。カメラ１１１ＣＲは、例えば、車両１３１の前端かつ右端付近（例えば、フロントバンパーの右端付近）の位置Ｐ２に設置され、車両１３１の前方右方向（例えば、交差点で停車中に右方向から近づく車両等が見える方向）を撮影する。カメラ１１１ＣＬは、例えば、車両１３１の前端かつ左端付近（例えば、フロントバンパーの左端付近）の位置Ｐ３に設置され、車両１３１の前方左方向（例えば、交差点で停車中に左方向から近づく車両等が見える方向）を撮影する。カメラ１１１ＳＲは、例えば、車両１３１の右側面（例えば、右側のドアミラー付近）の位置Ｐ４に設置され、車両１３１の右方向を撮影する。カメラ１１１ＳＬは、例えば、車両１３１の左側面（例えば、左側のドアミラー付近）の位置Ｐ５に設置され、車両１３１の左方向を撮影する。カメラ１１１Ｒは、例えば、車両１３１の後端のほぼ中央（例えば、リアバンパーのほぼ中央）の位置Ｐ６に設置され、車両１３１の後方を撮影する。
【００４８】
なお、以下、カメラ１１１Ｎにより撮影される画像を前方画像と称し、カメラ１１１ＣＲにより撮影される画像を前方右画像と称し、カメラ１１１ＣＬにより撮影される画像を前方左画像と称し、カメラ１１１ＳＲにより撮影される画像を右画像と称し、カメラ１１１ＳＬにより撮影される画像を左画像と称し、カメラ１１１Ｒにより撮影される画像を後方画像と称する。また、以下、カメラ１１１Ｎ乃至１１１Ｒを個々に区別する必要がない場合、単に、カメラ１１１と称する。
【００４９】
ギア検出部１１２は、車両１３１のギアの位置（あるいはシフト位置）を検出し、検出結果を画像処理部１１５に通知する。
【００５０】
操舵角検出部１１３は、例えば、操舵角センサにより構成され、車両１３１の操舵角を検出し、検出結果を画像処理部１１５に通知する。
【００５１】
車速検出部１１４は、例えば、車速センサにより構成され、車両１３１の速度を検出し、検出結果を画像処理部１１５に通知する。
【００５２】
画像処理部１１５は、各カメラ１１１により撮影された画像、並びに、車両１３１のギアの位置、操舵角および速度に基づいて、車両１３１の周囲の障害物の検出を行う。また、画像処理部１１５は、障害物の検出結果を利用する後段の装置に検出結果を出力する。
【００５３】
図６は、画像処理部１１５の第１の実施の形態である画像処理部１１５Ａの機能の構成を示すブロック図である。画像処理部１１５Ａは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部２０２を含むように構成される。また、監視部２０１Ｎは、路面推定部２１１Ｎ、挙動推定部２１２Ｎおよび障害物検出部２１３Ｎを含み、監視部２０１ＣＲは、路面推定部２１１ＣＲ、挙動推定部２１２ＣＲおよび障害物検出部２１３ＣＲを含み、監視部２０１ＣＬは、路面推定部２１１ＣＬ、挙動推定部２１２ＣＬおよび障害物検出部２１３ＣＬを含み、監視部２０１ＳＲは、路面推定部２１１ＳＲ、挙動推定部２１２ＳＲおよび障害物検出部２１３ＳＲを含み、監視部２０１ＳＬは、路面推定部２１１ＳＬ、挙動推定部２１２ＳＬおよび障害物検出部２１３ＳＬを含み、監視部２０１Ｒは、路面推定部２１１Ｒ、挙動推定部２１２Ｒおよび障害物検出部２１３Ｒを含むように構成される。さらに、監視制御部２０２は、進行方向検出部２２１および設定部２２２を含むように構成される。
【００５４】
監視部２０１Ｎは、カメラ１１１Ｎから供給される前方画像、および、車速検出部１１４から通知される車両１３１の速度に基づいて、車両１３１の前方の障害物の検出を行う。
【００５５】
より具体的には、路面推定部２１１Ｎは、前方画像および車両１３１の速度に基づいて、車両１３１の前方の路面の特徴を表す各種のパラメータ（以下、路面パラメータと称する）を推定する。
【００５６】
挙動推定部２１２Ｎは、前方画像に基づいて、車両１３１の挙動（以下、自車挙動とも称する）を表す各種のパラメータ（以下、挙動パラメータと称する）を推定する。
【００５７】
そして、監視部２０１Ｎは、推定した路面パラメータおよび挙動パラメータを含む推定情報を監視制御部２０２に送信する。
【００５８】
障害物検出部２１３Ｎは、監視制御部２０２から送信されてきた推定情報、および、前方画像に基づいて、車両１３１の前方の障害物の検出を行う。障害物検出部２１３Ｎは、検出結果を後段の装置に出力する。
【００５９】
監視部２０１ＣＲ、監視部２０１ＣＬ、監視部２０１ＳＲ、監視部２０１ＳＬ、および、監視部２０１Ｒも、監視部２０１Ｎと同様の構成および機能を有しており、その詳細な説明は繰り返しになるため省略する。
【００６０】
なお、監視部２０１ＣＲは、カメラ１１１ＣＲから供給される前方右画像を用いて、車両１３１の前方右方向の障害物の検出を行う。監視部２０１ＣＬは、カメラ１１１ＣＬから供給される前方左画像を用いて、車両１３１の前方左方向の障害物の検出を行う。監視部２０１ＳＲは、カメラ１１１ＳＲから供給される右画像を用いて、車両１３１の右方向の障害物の検出を行う。監視部２０１ＳＬは、カメラ１１１ＳＬから供給される左画像を用いて、車両１３１の左方向の障害物の検出を行う。監視部２０１Ｒは、カメラ１１１Ｒから供給される後方画像を用いて、車両１３１の後方の障害物の検出を行う。
【００６１】
なお、以下、監視部２０１Ｎ乃至２０１Ｒを個々に区別する必要がない場合、単に、監視部２０１と称する。また、以下、路面推定部２１１Ｎ乃至２１１Ｒを個々に区別する必要がない場合、単に、路面推定部２１１と称する。さらに、以下、挙動推定部２１２Ｎ乃至２１２Ｒを個々に区別する必要がない場合、単に、挙動推定部２１２と称する。また、以下、障害物検出部２１３Ｎ乃至２１３Ｒを個々に区別する必要がない場合、単に、障害物検出部２１３と称する。
【００６２】
監視制御部２０２は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【００６３】
より具体的には、監視制御部２０２の進行方向検出部２２１は、ギア検出部１１２から車両１３１のギアの位置を示す情報を取得し、操舵角検出部１１３から車両１３１の操舵角を示す情報を取得する。そして、進行方向検出部２２１は、車両１３１のギアの位置および車両１３１の操舵角に基づいて、車両１３１の進行方向を検出し、検出結果を設定部２２２に通知する。
【００６４】
設定部２２２は、車両１３１の進行方向に基づいて、各障害物検出部２１３が障害物の検出に用いる推定情報を設定する。より具体的には、設定部２２２は、車両１３１の進行方向に基づいて、自車挙動および路面の推定を行う監視部２０１を選択し、選択した監視部２０１に自車挙動および路面の推定を指令する。そして、設定部２２２は、指令した監視部２０１から推定情報を取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【００６５】
次に、図７のフローチャートを参照して、監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【００６６】
ステップＳ１において、進行方向検出部２２１は、車両１３１の進行方向を検出する。具体的には、まず、進行方向検出部２２１は、ギア検出部１１２から車両１３１のギアの位置を示す情報を取得し、操舵角検出部１１３から車両１３１の操舵角を示す情報を取得する。
【００６７】
例えば、進行方向検出部２２１は、車両１３１のギアが前進方向のギアに設定されており、操舵角が所定の範囲内（例えば、左右に１０°以内）である場合、車両１３１が前方に直進中であると判定する。また、進行方向検出部２２１は、車両１３１のギアが後退方向のギアに設定されており、操舵角が所定の範囲内（例えば、左右に１０°以内）である場合、車両１３１が後方に直進中であると判定する。さらに、進行方向検出部２２１は、車両１３１のギアが前方または後退方向のギアに設定されており、操舵角が右方向に所定の範囲を超えている場合、車両１３１が右に旋回中であると判定する。また、進行方向検出部２２１は、車両１３１のギアが前進または後退方向のギアに設定されており、操舵角が左方向に所定の範囲を超えている場合、車両１３１が左に旋回中であると判定する。さらに、進行方向検出部２２１は、車両１３１のギアが前進方向および後退方向のいずれのギアにも設定されていない場合、車両１３１が停車中であると判定する。
【００６８】
そして、進行方向検出部２２１は、車両１３１の進行方向の検出結果を設定部２２２に通知する。
【００６９】
ステップＳ２において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が前方に直進中であるか否かを判定する。車両１３１が前方に直進中であると判定された場合、処理はステップＳ３に進む。
【００７０】
ステップＳ３において、画像処理部１１５Ａは、画像を取得する。すなわち、設定部２２２は、画像の取得を各監視部２０１に画像の取得を指令し、各監視部２０１は、その指令に従って同期して、同じタイミングで、それぞれ対応するカメラ１１１から画像を取得する。
【００７１】
ステップＳ４において、監視部２０１Ｒは、車両１３１の後方を撮影した画像を用いて、路面領域を推定する。具体的には、設定部２２２は、自車挙動および路面の推定を監視部２０１Ｒに指令する。監視部２０１Ｒの路面推定部２１１Ｒは、車速検出部１１４から車両１３１の速度を示す情報を取得する。路面推定部２１１Ｒは、車両１３１の速度に基づいて、前のフレームが撮影されてからの車両１３１の移動量を推定し、その結果を用いて、所定の方法により、カメラ１１１Ｒから取得した後方画像内の路面が写っている領域を推定する。
【００７２】
なお、路面領域を推定する方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。
【００７３】
ステップＳ５において、監視部２０１Ｒは、車両１３１の後方を撮影した画像を用いて、車両１３１の自車挙動および路面の推定を行う。具体的には、監視部２０１Ｒの路面推定部２１１Ｒは、所定の方法により、ステップＳ４において推定した路面領域について、路面の特徴を表す路面パラメータを推定する。路面パラメータは、カメラ１１１Ｒと路面との間の距離（例えば、路面を平面と見なしたときの路面とカメラ１１１の光学中心との間の距離）、および、路面の傾きなどのカメラ１１１Ｒと路面との間の位置関係が分かる情報、路面の形状、画像内の路面の量（面積）、路面の状態などを含む。
【００７４】
また、監視部２０１Ｒの挙動推定部２１２Ｒは、車両１３１の挙動パラメータを推定する。例えば、挙動推定部２１２Ｒは、１フレーム前の後方画像の特徴点（例えば、後方画像に写っているエッジやコーナーなど）を抽出し、現在のフレームの後方画像において、抽出した特徴点に対応する点を探索する。また、挙動推定部２１２Ｒは、抽出した特徴点と探索した対応点とを結ぶ動きベクトルを算出する。そして、挙動推定部２１２Ｒは、必要に応じて路面推定部２１１Ｒにより推定された路面パラメータを用いながら、例えば、上述した式（１）を用いて、車両１３１の回転運動量を表すピッチ角θ、ヨー角ψ、ロール角φなどを含む挙動パラメータを推定する。
【００７５】
そして、監視部２０１Ｒは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００７６】
なお、路面パラメータおよび挙動パラメータの推定方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。
【００７７】
ここで、車両１３１が前方に直進中である場合に、車両１３１の後方を撮影した後方画像を用いて、自車挙動および路面の推定を行う理由について説明する。車両１３１が道路を走行している場合、車両１３１の進行方向と逆方向、すなわち、車両１３１が通過した後には、ほぼ確実に路面が現れる。従って、車両１３１が前方に直進している場合、後方画像には、ほぼ確実に路面が写っており、その量（面積）も大きいと推定される。従って、画像内の路面量が大きいと推定される後方画像を用いることにより、車両１３１が走行している路面の特徴を表す路面パラメータの推定精度が向上することが期待できる。
【００７８】
また、路面は、車両１３１との位置関係を把握しやすく、加えて、路面上または路面の周辺には、特徴点を多く有する物体が存在する可能性が高い。従って、画像内の路面量が大きいと推定される後方画像を用いることにより、車両１３１の挙動を表す挙動パラメータの推定精度が向上することが期待できる。
【００７９】
以上の理由により、車両１３１が前方に直進中である場合に、後方画像を用いて自車挙動および路面の推定が行われる。
【００８０】
ステップＳ６において、設定部２２２は、各監視部２０１に推定情報を送信する。すなわち、設定部２２２は、監視部２０１Ｒから受信した推定情報を、各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１Ｒには、推定情報を送信しないようにしてもよい。その後、処理はステップＳ２２に進む。
【００８１】
一方、ステップＳ２において、車両１３１が前方に直進中でないと判定された場合、処理はステップＳ７に進む。
【００８２】
ステップＳ７において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が後方に直進中であるか否かを判定する。車両１３１が後方に直進中であると判定された場合、処理はステップＳ８に進む。
【００８３】
ステップＳ８において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００８４】
ステップＳ９において、監視部２０１Ｎは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１Ｎにより車両１３１の前方を撮影した前方画像を用いて、路面領域を推定する。
【００８５】
ステップＳ１０において、監視部２０１Ｎは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方画像を用いて、車両１３１の自車挙動および路面の推定を行う。そして、監視部２０１Ｎは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００８６】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が後方を直進中である場合、前方画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方画像を用いて自車挙動および路面の推定が行われる。
【００８７】
ステップＳ１１において、ステップＳ６と同様の処理が行われ、監視部２０１Ｎで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【００８８】
一方、ステップＳ７において、車両１３１が後方に直進中でないと判定された場合、処理はステップＳ１２に進む。
【００８９】
ステップＳ１２において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が右に旋回中であるか否かを判定する。車両１３１が右に旋回中であると判定された場合、処理はステップＳ１３に進む。
【００９０】
ステップＳ１３において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００９１】
ステップＳ１４において、監視部２０１ＣＬは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１ＣＬにより撮影された車両１３１の前方左画像を用いて、路面領域を推定する。
【００９２】
ステップＳ１５において、監視部２０１ＣＬは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方左画像を用いて、車両１３１の自車挙動および路面の推定を行う。そして、監視部２０１ＣＬは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００９３】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が右に旋回中である場合、前方左画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方左画像を用いて自車挙動および路面の推定が行われる。
【００９４】
ステップＳ１６において、ステップＳ６と同様の処理が行われ、監視部２０１ＣＬで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【００９５】
一方、ステップＳ１２において、車両１３１が右に旋回中でないと判定された場合、処理はステップＳ１７に進む。
【００９６】
ステップＳ１７において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が左に旋回中であるか否かを判定する。車両１３１が左に旋回中であると判定された場合、処理はステップＳ１８に進む。
【００９７】
ステップＳ１８において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００９８】
ステップＳ１９において、監視部２０１ＣＲは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１ＣＲにより車両１３１の前方右方向を撮影した前方右画像を用いて、路面領域を推定する。
【００９９】
ステップＳ２０において、監視部２０１ＣＲは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方右画像を用いて、車両１３１の自車挙動および路面の推定を行う。監視部２０１ＣＲは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【０１００】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が左に旋回中である場合、前方右画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方右画像を用いて、自車挙動および路面の推定が行われる。
【０１０１】
ステップＳ２１において、ステップＳ６と同様の処理が行われ、監視部２０１ＣＲで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【０１０２】
ステップＳ２２において、画像処理部１１５Ａは、送信された推定情報を用いて、各監視部２０１で障害物の検出を行う。例えば、監視部２０１Ｎの障害物検出部２１３Ｎは、設定部２２２から受信した推定情報に含まれる挙動パラメータおよび路面パラメータ、および、カメラ１１１Ｎにより撮影された前方画像を用いて、車両１３１の前方に存在する障害物の検出を行うとともに、検出した障害物の３次元情報（すなわち、路面座標系における障害物の位置）を検出する。他の監視部２０１の障害物検出部２１３も同様に、設定部２２２から受信した推定情報に含まれる挙動パラメータおよび路面パラメータ、および、各監視部２０１の監視対象となる方向が撮影された画像を用いて、各監視部２０１の監視対象となる方向に存在する障害物の検出、および、検出した障害物の３次元情報の検出を行う。
【０１０３】
なお、障害物の検出を行う方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。また、障害物の３次元情報以外に、障害物の属性などを検出するようにしてもよい。
【０１０４】
その後、処理はステップＳ１に戻り、ステップＳ１乃至Ｓ２２の処理が繰り返し実行される。
【０１０５】
一方、ステップＳ１７において、車両１３１が左に旋回していないと判定された場合、すなわち、車両が停車中であると判定された場合、特に処理は行われずに、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
【０１０６】
このように、車両の進行方向と逆方向により近い方向を撮影した画像を用いて、挙動パラメータおよび路面パラメータを推定することにより、推定精度を向上させることができる。その結果、精度が高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１０７】
また、各監視部２０１が同期して同じタイミングで画像を取得し、その画像を用いて障害物の検出を行うため、他の監視部２０１で同じ時刻に取得した画像を用いて推定された推定情報を用いて、障害物の検出を行うことができる。その結果、他の監視部２０１の推定情報を用いることによる検出精度の低下を抑制することができる。
【０１０８】
次に、図８および図９を参照して、本発明の第２の実施の形態について説明する。
【０１０９】
図８は、画像処理部１１５の第２の実施の形態である画像処理部１１５Ｂの機能の構成を示すブロック図である。画像処理部１１５Ｂは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部３０１を含むように構成される。また、監視制御部３０１は、設定部３１１を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１１０】
画像処理部１１５Ｂは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部３０１が設けられている点が異なる。
【０１１１】
監視制御部３０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１１２】
より具体的には、監視制御部３０１の設定部３１１は、各監視部２０１に自車挙動および路面の推定を指令し、自車挙動および路面の推定に用いた動きベクトルの数を示す情報を各監視部２０１から取得する。そして、設定部３１１は、自車挙動および路面の推定に用いた動きベクトルの数に基づいて、使用する推定情報を選択し、選択した推定情報を、その推定情報を推定した監視部２０１から取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１１３】
次に、図９のフローチャートを参照して、画像処理部１１５Ｂを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１１４】
ステップＳ５１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｂの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１１５】
ステップＳ５２において、画像処理部１１５Ｂは、各監視部２０１で自車挙動および路面の推定を行う。具体的には、設定部３１１は、各監視部２０１に自車挙動および路面の推定を指令する。各監視部２０１の路面推定部２１１は、図７のステップＳ４およびＳ５の監視部２０１Ｒと同様の処理を行い、路面パラメータの推定を行う。なお、このとき、路面領域の推定処理を省略するようにしてもよい。また、各監視部２０１の挙動推定部２１２は、図７のステップＳ５の監視部２０１Ｒと同様の処理を行い、挙動パラメータの推定を行う。
【０１１６】
ステップＳ５３において、設定部３１１は、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。換言すれば、設定部３１１は、自車挙動および路面の推定に有効だった動きベクトルの数を、各監視部２０１から取得する。
【０１１７】
ステップＳ５４において、設定部３１１は、使用した動きベクトルの数が最大だった監視部２０１の推定情報を各監視部２０１に送信する。具体的には、設定部３１１は、ステップＳ５３の処理で取得した情報に基づいて、自車挙動および路面の推定に用いた動きベクトルの数が最大だった監視部２０１を特定し、特定した監視部２０１から推定情報を取得する。そして、設定部３１１は、取得した推定情報を各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、設定部３１１から推定情報を送信しないようにしてもよい。
【０１１８】
ここで、使用した動きベクトルの数が多いほど、より多くの情報量に基づいて自車挙動および路面の推定が行われており、より推定精度が高いと考えられる。従って、使用した動きベクトの数が最大だった監視部２０１の推定情報が、障害物の検出に用いる推定情報として選択される。
【０１１９】
ステップＳ５５において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。すなわち、自車挙動および路面の推定に用いた動きベクトルの数が最大だった監視部２０１で推定された挙動パラメータおよび路面パラメータを用いて、各監視部２０１で障害物の検出が行われる。
【０１２０】
その後、処理はステップＳ５１に戻り、ステップＳ５１乃至Ｓ５５の処理が繰り返し実行される。
【０１２１】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１２２】
次に、図１０および図１１を参照して、監視システム１０１の第３の実施の形態について説明する。
【０１２３】
図１０は、画像処理部１１５の第３の実施の形態である画像処理部１１５Ｃの機能の構成を示すブロック図である。画像処理部１１５Ｃは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部４０１を含むように構成される。また、監視制御部４０１は、設定部４１１を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１２４】
画像処理部１１５Ｃは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部４０１が設けられている点が異なる。
【０１２５】
監視制御部４０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１２６】
より具体的には、監視制御部４０１の設定部４１１は、各監視部２０１に自車挙動および路面の推定、並びに、障害物の検出を指令する。また、設定部４１１は、障害物の検出処理により画像内から検出された路面の量を示す情報を各監視部２０１から取得する。設定部４１１は、検出された路面の量に基づいて、自車挙動および路面の推定を行う監視部２０１を選択し、選択した監視部２０１に自車挙動および路面の推定を指令する。そして、設定部４１１は、指令した監視部２０１から推定情報を取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１２７】
次に、図１１のフローチャートを参照して、画像処理部１１５Ｃを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１２８】
ステップＳ１０１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｃの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１２９】
ステップＳ１０２において、図９のステップＳ５２の処理と同様に、各監視部２０１で自車挙動および路面の推定が行われる。
【０１３０】
ステップＳ１０３において、画像処理部１１５Ｃは、各監視部２０１で得られた推定情報を用いて、各監視部２０１で障害物の検出を行う。すなわち、画像処理部１１５Ｃの各監視部２０１は、自分が求めた自車挙動および路面の推定情報を用いて、図７のステップＳ２２と同様の処理により、障害物の検出を行う。
【０１３１】
ステップＳ１０４において、設定部４１１は、検出された路面の量を取得する。すなわち、設定部４１１は、各障害物検出部２１３が障害物の検出を行ったときに検出された路面の量を示す情報を、各監視部２０１から取得する。
【０１３２】
ステップＳ１０５において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｃの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１３３】
ステップＳ１０６において、画像処理部１１５Ｃは、検出された路面の量が最大だった監視部２０１で自車挙動および路面の推定を行う。具体的には、設定部４１１は、ステップＳ１０４の処理で取得した情報に基づいて、各障害物検出部２１３により検出された路面の量が最大だった監視部２０１を特定する。設定部４１１は、特定した監視部２０１に、自車挙動および路面の推定を指令し、その結果を示す推定情報を取得する。そして、設定部４１１は、取得した推定情報を、各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、推定情報を送信しないようにしてもよい。
【０１３４】
ここで、検出された路面の量が最大だった監視部２０１が次に使用する画像、すなわち、その監視部２０１の監視対象となる方向を撮影した次のフレームの画像には、当然路面が多く写っていることが予想される。また、上述したように、画像内の路面の量が大きいほど、挙動パラメータおよび路面パラメータの推定精度の向上が期待できる。従って、検出された路面の量が最大だった監視部２０１の推定情報が、障害物の検出に用いる推定情報として選択される。
【０１３５】
ステップＳ１０７において、設定部４１１は、得られた推定情報を各監視部２０１に送信する。すなわち、設定部４１１は、ステップＳ１０６の処理で、前回の障害物の検出時に検出した路面の量が最大だった監視部２０１から取得した推定情報を各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、推定情報を送信しないようにしてもよい。
【０１３６】
ステップＳ１０８において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。すなわち、前回の障害物の検出時に検出された路面の量が最大だった監視部２０１で推定された挙動パラメータおよび路面パラメータを用いて、各監視部２０１で障害物の検出が行われる。
【０１３７】
その後、処理はステップＳ１０４に戻り、ステップＳ１０４乃至Ｓ１０８の処理が繰り返し実行される。
【０１３８】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１３９】
次に、図１２および図１３を参照して、監視システム１０１の第４の実施の形態について説明する。
【０１４０】
図１２は、画像処理部１１５の第４の実施の形態である画像処理部１１５Ｄの機能の構成を示すブロック図である。画像処理部１１５Ｄは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部５０１を含むように構成される。また、監視制御部５０１は、進行方向検出部５１１、信頼度評価部５１２、および、設定部５１３を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１４１】
画像処理部１１５Ｄは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部５０１が設けられている点が異なる。
【０１４２】
監視制御部５０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１４３】
より具体的には、監視制御部５０１の進行方向検出部５１１は、図６の監視制御部２０２の進行方向検出部２２１と同様の機能を有し、車両１３１のギアの位置および車両１３１の操舵角に基づいて、車両１３１の進行方向を検出し、検出結果を信頼度評価部５１２に通知する。
【０１４４】
信頼度評価部５１２は、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。また、信頼度評価部５１２は、設定部５１３が各監視部２０１から取得した推定情報を設定部５１３から取得する。そして、信頼度評価部５１２は、車両１３１の進行方向、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数、および、各監視部２０１の路面推定部２１１により推定された路面量に基づいて、各監視部２０１の推定情報の信頼度を評価する。信頼度評価部５１２は、評価した各監視部２０１の推定情報の信頼度を設定部５１３に通知する。
【０１４５】
設定部５１３は、各監視部２０１に自車挙動および路面の推定を指令し、その結果を示す推定情報を各監視部２０１から取得する。そして、設定部５１３は、信頼度評価部５１２により評価された各監視部２０１の推定情報の信頼度に基づいて、各監視部２０１が障害物の検出に用いる推定情報を設定する。設定部３１１は、設定した推定情報を各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１４６】
次に、図１３のフローチャートを参照して、画像処理部１１５Ｄを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１４７】
ステップＳ１５１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｄの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１４８】
ステップＳ１５２において、図９のステップＳ５２の処理と同様に、各監視部２０１で自車挙動および路面の推定が行われ、その結果得られた推定情報が各監視部２０１から監視制御部５０１に送信される。
【０１４９】
ステップＳ１５３において、信頼度評価部５１２は、各監視部２０１の推定情報の信頼度を評価する。具体的には、設定部５１３は、各監視部２０１から取得した推定情報を信頼度評価部５１２に供給する。進行方向検出部２２１は、図７のステップＳ１の進行方向検出部２２１と同様の処理を行い、車両１３１の進行方向を検出し、検出した進行方向を信頼度評価部５１２に通知する。また、信頼度評価部５１２は、図９のステップＳ５３の設定部３１１と同様の処理を行い、自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。
【０１５０】
そして、信頼度評価部５１２は、車両１３１の進行方向、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数、および、各監視部２０１からの推定情報に含まれる各路面推定部２１１により推定された路面量に基づいて、各監視部２０１の推定情報の信頼度を評価する。
【０１５１】
このとき、上述したように、自車挙動および路面の推定に用いた画像の撮影方向が、車両１３１の進行方向と逆方向により近いほど、その推定精度が高いと考えられるため、信頼度が高く評価される。逆に、自車挙動および路面の推定に用いた画像の撮影方向が、車両の進行方向により近いほど、信頼度は低いと評価される。
【０１５２】
また、自車挙動および路面の推定に用いた動きベクトルの数が多いほど、信頼度は高いと評価され、自車挙動および路面の推定に用いた動きベクトルの数が少ないほど、信頼度は低いと評価される。
【０１５３】
さらに、上述したように、自車挙動および路面の推定に用いた画像内の路面量が大きいほど、その推定精度が高いと考えられるため、検出された路面量が大きいほど、信頼度が高いと評価され、検出された路面量が小さいほど、信頼度が低いと評価される。
【０１５４】
信頼度評価部５１２は、このようにして評価した各監視部２０１の推定情報の信頼度を、設定部５１３に通知する。
【０１５５】
なお、車両１３１の進行方向、自車挙動および路面の推定に用いた動きベクトルの数、および、検出された路面量の全てを用いずに、それらのうちの１つまたは２つを用いて、推定情報の信頼度を評価するようにしてもよい。また、他の情報を用いて、信頼度を評価するようにしてもよい。さらに、挙動パラメータと路面パラメータとで、異なる評価基準で個別に信頼度を評価するようにしてもよい。また、パラメータごとに、異なる評価基準で個別に信頼度を評価するようにしてもよい。
【０１５６】
ステップＳ１５４において、設定部５１３は、各監視部２０１の推定情報の信頼度に基づいて、推定情報を設定する。具体的には、設定部５１３は、各監視部２０１で推定された挙動パラメータを、それぞれの信頼度に応じて重み付けて平均化し、その結果得られた挙動パラメータを、各監視部２０１で障害物の検出に用いる挙動パラメータに設定する。また、設定部５１３は、各監視部２０１で推定された路面パラメータを、それぞれの信頼度に応じて重み付けて平均化し、その結果得られた路面パラメータを、各監視部２０１で障害物の検出に用いる路面パラメータに設定する。
【０１５７】
ステップＳ１５５において、設定部５１３は、設定した挙動パラメータおよび路面パラメータを含む推定情報を各監視部２０１に送信する。
【０１５８】
ステップＳ１５６において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。
【０１５９】
その後、処理はステップＳ１５１に戻り、ステップＳ１５１乃至Ｓ１５６の処理が繰り返し実行される。
【０１６０】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１６１】
ところで、各カメラ１１１は、車両１３１への取付け位置によって、それぞれ動きが異なる場合がある。この点について、図１４を参照して説明する。
【０１６２】
図１４は、車両６０１を上から見た模式図であり、各車輪の位置を分かりやすくするために、前輪６１１Ｌ，６１１Ｒおよび後輪６１２Ｌ，６１２Ｒの位置を車両６０１の上に重ねて示している。
【０１６３】
例えば、車両６０１が左方向への旋回を開始した場合、それに伴い、カメラＢは、矢印で示されるように、左斜め方向に移動する一方、カメラＡは、矢印で示されるように、ほぼ前方に直進するときがある。このようにカメラＡの挙動とカメラＢの挙動とが異なる場合、カメラＢにより撮影された画像を用いて障害物を検出する監視部２０１で、カメラＡにより撮影された画像を用いて推定された挙動パラメータを使用する場合、挙動パラメータを補正して用いるようにすることが望ましい。
【０１６４】
ここで、図１５を参照して、挙動パラメータの補正方法の一例について説明する。なお、以下、車両６０１の後から前に向かう方向を正の方向とする軸をＺ軸とし、Ｚ軸に垂直で、車両６０１の左から右に向かう方向を正の方向とする軸をＸ軸とし、Ｘ軸およびＺ軸に垂直で、車両６０１の下から上に向かう方向を正の方向とする軸をＹ軸とする。
【０１６５】
また、以下、Ｘ軸方向に対する前輪６１１Ｌ，６１１Ｒの角度をαとする。なお、角度αは、例えば、操舵角検出部１１３により検出することが可能である。また、前輪６１１Ｒの中心と後輪６１２Ｒの中心との間の距離（または、前輪６１１Ｌの中心と後輪６１２Ｌの中心との間の距離）である車両６０１のホイールベース長をＢとする。さらに、カメラＡの取付け位置と、車両６０１の後輪６１２Ｒの位置のＸ軸方向の差をＳＸＡとし、Ｚ軸方向の差をＳＺＡとする。また、カメラＢの取付け位置と後輪６１２Ｒの位置のＸ軸方向の差ＳＸＢとし、Ｚ軸方向の差をＳＺＢとする。
【０１６６】
ここで、車両６０１の回転半径Ｒは、以下の式（２）により求められる。
【０１６７】
【数２】
【０１６８】
カメラＡの移動方向θＡは、以下の式（３）により求められる。
【０１６９】
【数３】
【０１７０】
カメラＢの移動方向θＢは、以下の式（４）により求められる。
【０１７１】
【数４】
【０１７２】
そして、以下の式（５）により、カメラＡの移動方向θＡおよびカメラＢの移動方向θＢを用いて、カメラＡのＸ軸方向の並進ＴＸＡ、Ｚ軸方向の並進ＴＺＡから、カメラＢのＸ軸方向の並進ＴＸＢ、Ｚ軸方向の並進ＴＺＢを求めることができる。
【０１７３】
【数５】
【０１７４】
そして、カメラＡにより撮影された画像を用いて障害物の検出を行う監視部２０１では、カメラＡのＸ軸方向の並進ＴＸＡ、Ｚ軸方向の並進ＴＺＡを用い、カメラＢにより撮影された画像を用いて障害物の検出を行う監視部２０１では、カメラＢのＸ軸方向の並進ＴＸＢ、Ｚ軸方向の並進ＴＺＢを用いるようにすることにより、障害物の検出精度をより向上させることができる。
【０１７５】
なお、この挙動パラメータの補正処理は、例えば、図７のステップＳ６、Ｓ１１、Ｓ１６、Ｓ２１、図９のステップＳ５４、図１１のステップＳ１０７など、各監視部２０１に推定情報を送信する前に、送信する推定情報に含まれる挙動パラメータに対して行うようにすればよい。
【０１７６】
なお、以上の説明では、移動ステレオ方式により車両１３１の周囲の障害物の検出を行う例を示したが、本発明は、移動ステレオ方式以外の方法により、自車挙動または路面の推定情報を用いて車両の周囲の障害物の検出を行う場合にも適用することができる。
【０１７７】
また、以上に示したカメラ１１１の数および設置位置は、その一例であり、任意の数および設置位置に変更することが可能である。
【０１７８】
さらに、以上の説明では、挙動パラメータおよび路面パラメータの両方を、各監視部２０１で画像を用いて推定し、共有する例を示したが、どちらか一方のみを、各監視部２０１で画像を用いて推定し、共有するようにしてもよい。例えば、各監視部２０１で画像を用いた路面パラメータの推定を行わずに、車両１３１の移動量を車速センサなどから推定し、挙動パラメータのみを各監視部２０１で画像を用いて推定し、共有するようにしてもよい。
【０１７９】
また、以上の説明では、監視部２０１を各カメラ１１１ごとに設ける例を示したが、複数のカメラ１１１に対して１つの監視部２０１を設けるようにしてもよい。この場合、例えば、１つの監視部２０１が、複数のカメラ１１１により撮影された各画像に対する自車挙動および路面の推定、並びに、障害物の検出する処理を、時系列または並列に行う。
【０１８０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８１】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８２】
コンピュータにおいて、CPU（Central Processing Unit）７０１，ROM（Read Only Memory）７０２，RAM（Random Access Memory）７０３は、バス７０４により相互に接続されている。
【０１８３】
バス７０４には、さらに、入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及びドライブ７１０が接続されている。
【０１８４】
入力部７０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部７０７は、ディスプレイ、スピーカなどよりなる。記憶部７０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部７０９は、ネットワークインタフェースなどよりなる。ドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７１１を駆動する。
【０１８５】
以上のように構成されるコンピュータでは、CPU７０１が、例えば、記憶部７０８に記憶されているプログラムを、入出力インタフェース７０５及びバス７０４を介して、RAM７０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８７】
コンピュータでは、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、入出力インタフェース７０５を介して、記憶部７０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信し、記憶部７０８にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１９０】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
１０１ 監視システム
１１１Ｎ乃至１１１Ｒ カメラ
１１２ ギア検出部
１１３ 操舵角検出部
１１４ 車速検出部
１１５，１１５Ａ乃至１１５Ｄ 画像処理部
１３１ 車両
２０１Ｎ乃至２０１Ｒ 監視部
２０２ 監視制御部
２１１Ｎ乃至２１１Ｒ 路面推定部
２１２Ｎ乃至２１２Ｒ 挙動推定部
２１３Ｎ乃至２１３Ｒ 障害物検出部
２２１ 進行方向検出部
２２２ 設定部
３０１ 監視制御部
３１１ 設定部
４０１ 監視制御部
４１１ 設定部
５０１ 監視制御部
５１１ 進行方向検出部
５１２ 信頼度評価部
５１３ 設定部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、車両の周囲の物体を検出する場合に用いて好適な画像処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、自動車などの車両の前方または後方に取り付けられたカメラで撮影した画像を用いて、車両の前方または後方に存在する障害物を検出し、検出結果に応じて運転者への警告などを行うシステムが開発されている。
【０００３】
このようなシステムでは、車両に設置された１台のカメラにより異なる時間に異なる位置において撮影した２つの画像を用いて、画像に写っている物体の３次元の位置を三角測量の原理により検出する移動ステレオ方式が、よく用いられる（例えば、特許文献１参照）。
【０００４】
ここで、図１を参照して、車両に設置された１台のカメラにより、時刻ｔに撮影された画像Ｉ１と、時刻ｔから所定の時間Δｔだけ経過した時刻ｔ＋１に撮影された画像Ｉ２の２つの画像を用いて、移動ステレオ方式により３次元計測を行う場合について考える。
【０００５】
なお、以下、カメラを基準とする座標系（以下、カメラ座標系と称する）について、撮影の結果得られる画像の横方向をＸ軸、縦方向をＹ軸、画像面に垂直な方向をＺ軸とする。また、路面を基準とする座標系（以下、路面座標系と称する）について、車両の並進運動の方向をＺｇ軸、Ｚｇ軸に垂直かつ路面に垂直な方向をＹｇ軸、Ｚｇ軸およびＹｇ軸に垂直な方向をＸｇ軸とする。さらに、カメラにより撮影される画像の座標系（以下、画像座標系と称する）について、横方向をｘ軸、縦方向をｙ軸とする。
【０００６】
時刻ｔと時刻ｔ＋１の間に車両が移動し、画像Ｉ１を撮影したときのカメラの光学中心（optical center）と画像Ｉ２を撮影したときのカメラの光学中心とが離れている場合、画像Ｉ１上の物体Ｑの位置Ｐ１（ｘl，ｙl）と、画像Ｉ２上の物体Ｑの位置Ｐ２（ｘu，ｙu）に基づいて、ステレオカメラ方式と同様の三角測量の原理を用いることにより、物体Ｑの３次元の位置（Ｘ，Ｙ，Ｚ）を検出することができる。また、ここで得られたＺ軸方向の座標が、カメラ（の光学中心）から物体Ｑまでの距離となる。
【０００７】
ところで、移動ステレオ方式により車両の周囲の物体の３次元の位置を計測するためには、計測に用いる２つの画像を撮影する間のカメラの挙動を知る必要がある。ここで、カメラの挙動とは、カメラの並進運動および回転運動のことであり、カメラが設置されている車両の並進運動および回転運動とほぼ等しい。
【０００８】
車両が上下および左右方向に並進しないと仮定すると、車両の前後方向の並進運動量、すなわち、車両の移動量は、例えば、車両に設けられている車速センサの情報に基づいて測定することが可能である。そして、車両に対するカメラの取付け位置および取付け方向が既知である場合、車両の移動量に基づいて、カメラ座標系におけるカメラの並進運動量を求めることができる。
【０００９】
しかし、車速センサは計測精度が低いため、計測精度を上げるために、例えば、カメラにより撮影された画像を用いて、カメラに対する路面の位置を求め、路面上の点を基準にして、車両の移動量を推定することが、よく行われる。
【００１０】
また、車両の回転運動量は、例えば、車両に設けられている車速センサや操舵角センサからの情報を用いて推定することが可能である。そして、車両に対するカメラの取付け位置および取付け方向が既知である場合、車両の回転運動量に基づいて、カメラ座標系におけるカメラの回転運動量を求めることができる。
【００１１】
しかし、車速センサは計測精度が低いため、計測精度を上げるために、例えば、カメラにより撮影された画像を用いて、車両の回転運動量を推定することが、よく行われる。例えば、以下の式（１）を用いて、カメラ座標系における車両の回転運動量（＝カメラの回転運動量）が推定される。
【００１２】
【数１】
【００１３】
なお、式（１）において、ｘ，ｙは、画像座標系における物体の特徴点のｘ軸方向およびｙ軸方向の座標を示す。ｖｘ，ｖｙは、画像座標系における物体の特徴点に対する動きベクトルのｘ軸方向およびｙ軸方向の成分を示す。ｆはカメラの焦点距離を示す。ｔx，ｔy，ｔzは、カメラ座標系における車両（カメラ）のＸ軸、Ｙ軸、Ｚ軸方向の並進運動量を示す。Ｘ，Ｙ，Ｚは、カメラ座標系における物体の特徴点のＸ軸方向、Ｙ軸方向およびＺ軸方向の座標を示す。θ、ψ、φは、カメラ座標系における車両（カメラ）の回転運動量、すなわち、Ｘ軸回りの回転角（ピッチ角）、Ｙ軸回りの回転角（ヨー角）、およびＺ軸回りの回転角（ロール角）φを示す。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０００−７４６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述した方法によりカメラにより撮影した画像に基づいて、カメラの並進運動量および回転運動量を推定する場合、画像の写り具合によっては、推定精度が悪化する場合がある。
【００１６】
例えば、図２に示されるように、カメラの撮影方向に壁が迫り、画像内に路面がほとんど現れない場合、車両の移動量の推定精度が低下し、それに伴い、カメラの並進運動量の推定精度が低下する。また、例えば、図３に示されるように、カメラの取付け位置などの影響で、画像内の被写体に歪みが生じている場合、カメラの回転運動量の推定精度が低下する。その結果、車両の周囲の物体の検出精度が低下する。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、車両の周囲の物体の検出精度を向上できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出する画像処理装置において、車両の挙動を表す挙動パラメータを複数の画像ごとに推定する挙動推定手段と、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定する設定手段と、設定手段により設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出する物体検出手段とを含む。
【００１９】
本発明の一側面の画像処理装置においては、車両の挙動を表す挙動パラメータが、異なる方向を撮影した複数の画像ごとに推定され、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータが設定され、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体が検出される。
【００２０】
従って、車両の周囲の物体の検出精度が向上する。
【００２１】
この挙動推定手段、設定手段、物体検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２２】
この設定手段には、車両の進行方向の逆方向により近い方向を撮影した画像を用いて推定された挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２３】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２４】
この設定手段には、推定に用いた動きベクトルの数が最も多い挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２５】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２６】
この設定手段には、前回物体検出手段により検出された路面の量が最も大きかった画像と同じ方向を撮影した画像を用いて推定された挙動パラメータを、車両の周囲の物体の検出に用いる挙動パラメータに設定させることができる。
【００２７】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００２８】
この画像処理装置には、車両の進行方向、挙動パラメータの推定に用いた動きベクトルの数、および、画像内の路面の量のうち少なくとも１つに基づいて、各挙動パラメータの信頼度を評価する信頼度評価手段をさらに設け、この設定手段には、複数の挙動パラメータをそれぞれの信頼度に応じて重み付けて平均化することにより、車両の周囲の物体の検出に用いる挙動パラメータを設定させることができる。
【００２９】
これにより、より精度の高い挙動パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００３０】
この信頼度評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３１】
この画像処理装置には、車両が走行している路面の特徴を表す路面パラメータを複数の画像ごとに推定する路面推定手段をさらに設け、この設定手段には、複数の画像ごとに推定された複数の路面パラメータに基づいて、車両の周囲の物体の検出に用いる路面パラメータをさらに設定させ、この物体検出手段には、設定手段により設定された挙動パラメータおよび路面パラメータ、並びに、複数の画像を用いて、車両の周囲の物体を検出させることができる。
【００３２】
これにより、車両の周囲の物体の検出精度がより向上する。
【００３３】
この路面推定手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３４】
この画像処理装置には、車両の進行方向、挙動パラメータおよび路面パラメータの推定に用いた動きベクトルの数、および、画像内の路面の量のうち少なくとも１つに基づいて、各挙動パラメータおよび路面パラメータの信頼度を評価する信頼度評価手段をさらに設け、この設定手段には、複数の挙動パラメータおよび路面パラメータをそれぞれの信頼度に応じて重み付けて平均化することにより、車両の周囲の物体の検出に用いる挙動パラメータおよび路面パラメータを設定させることができる。
【００３５】
これにより、より精度の高い挙動パラメータおよび路面パラメータを用いて車両の周囲の物体を検出することができ、その結果、検出精度が向上する。
【００３６】
この信頼度評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３７】
本発明の一側面の画像処理方法は、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出する画像処理装置が、車両の挙動を表す挙動パラメータを複数の画像ごとに推定し、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定し、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出する。
【００３８】
本発明の一側面のプログラムは、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて車両の周囲の物体を検出するコンピュータに、車両の挙動を表す挙動パラメータを複数の画像ごとに推定し、複数の画像ごとに推定された複数の挙動パラメータに基づいて、車両の周囲の物体の検出に用いる挙動パラメータを設定し、設定された挙動パラメータおよび複数の画像を用いて、車両の周囲の物体を検出するステップを含む処理を実行させる。
【００３９】
従って、車両の周囲の物体の検出精度が向上する。
【００４０】
この画像処理装置は、例えば、CPU（Central Processing Unit）により構成される。
【発明の効果】
【００４１】
本発明の一側面によれば、車両の周囲の物体の検出精度が向上する。
【図面の簡単な説明】
【００４２】
【図１】移動ステレオ方式による３次元計測の原理について説明するための図である。
【図２】車両から撮影した画像の例を示す図である。
【図３】車両から撮影した画像の他の例を示す図である。
【図４】監視システムの一実施の形態を示すブロック図である。
【図５】カメラの設置位置の例を示す図である。
【図６】監視システムの画像処理部の第１の実施の形態を示すブロック図である。
【図７】監視処理の第１の実施の形態を説明するためのフローチャートである。
【図８】監視システムの画像処理部の第２の実施の形態を示すブロック図である。
【図９】監視処理の第２の実施の形態を説明するためのフローチャートである。
【図１０】監視システムの画像処理部の第３の実施の形態を示すブロック図である。
【図１１】監視処理の第３の実施の形態を説明するためのフローチャートである。
【図１２】監視システムの画像処理部の第４の実施の形態を示すブロック図である。
【図１３】監視処理の第４の実施の形態を説明するためのフローチャートである。
【図１４】挙動パラメータの補正処理について説明するための図である。
【図１５】挙動パラメータの補正処理について説明するための図である。
【図１６】コンピュータの構成の例を示すブロック図である。
【発明を実施するための形態】
【００４３】
以下、図を参照して、本発明の実施の形態について説明する。
【００４４】
図４は、本発明を適用した車載用の監視システムの一実施の形態を示すブロック図である。また、図５は、図４の監視システム１０１が設けられている車両１３１を上から見た模式図である。
【００４５】
図４の監視システム１０１は、車両１３１の周囲を監視し、車両１３１の周囲に存在ｓる障害物を検出し、検出結果を出力するシステムである。監視システム１０１は、カメラ１１１Ｎ乃至カメラ１１１Ｒ、ギア検出部１１２、操舵角検出部１１３、車速検出部１１４、および、画像処理部１１５を含むように構成される。
【００４６】
カメラ１１１Ｎ乃至１１１Ｒは、それぞれ車両１３１の周囲の異なる方向を撮影するように設置され、撮影の結果得られた画像を画像処理部１１５に供給する。
【００４７】
ここで、図５を参照して、カメラ１１１Ｎ乃至１１１Ｒの設置位置の例について説明する。カメラ１１１Ｎは、例えば、車両１３１の前端のほぼ中央（例えば、フロントバンパーのほぼ中央）の位置Ｐ１に設置され、車両１３１の前方を撮影する。カメラ１１１ＣＲは、例えば、車両１３１の前端かつ右端付近（例えば、フロントバンパーの右端付近）の位置Ｐ２に設置され、車両１３１の前方右方向（例えば、交差点で停車中に右方向から近づく車両等が見える方向）を撮影する。カメラ１１１ＣＬは、例えば、車両１３１の前端かつ左端付近（例えば、フロントバンパーの左端付近）の位置Ｐ３に設置され、車両１３１の前方左方向（例えば、交差点で停車中に左方向から近づく車両等が見える方向）を撮影する。カメラ１１１ＳＲは、例えば、車両１３１の右側面（例えば、右側のドアミラー付近）の位置Ｐ４に設置され、車両１３１の右方向を撮影する。カメラ１１１ＳＬは、例えば、車両１３１の左側面（例えば、左側のドアミラー付近）の位置Ｐ５に設置され、車両１３１の左方向を撮影する。カメラ１１１Ｒは、例えば、車両１３１の後端のほぼ中央（例えば、リアバンパーのほぼ中央）の位置Ｐ６に設置され、車両１３１の後方を撮影する。
【００４８】
なお、以下、カメラ１１１Ｎにより撮影される画像を前方画像と称し、カメラ１１１ＣＲにより撮影される画像を前方右画像と称し、カメラ１１１ＣＬにより撮影される画像を前方左画像と称し、カメラ１１１ＳＲにより撮影される画像を右画像と称し、カメラ１１１ＳＬにより撮影される画像を左画像と称し、カメラ１１１Ｒにより撮影される画像を後方画像と称する。また、以下、カメラ１１１Ｎ乃至１１１Ｒを個々に区別する必要がない場合、単に、カメラ１１１と称する。
【００４９】
ギア検出部１１２は、車両１３１のギアの位置（あるいはシフト位置）を検出し、検出結果を画像処理部１１５に通知する。
【００５０】
操舵角検出部１１３は、例えば、操舵角センサにより構成され、車両１３１の操舵角を検出し、検出結果を画像処理部１１５に通知する。
【００５１】
車速検出部１１４は、例えば、車速センサにより構成され、車両１３１の速度を検出し、検出結果を画像処理部１１５に通知する。
【００５２】
画像処理部１１５は、各カメラ１１１により撮影された画像、並びに、車両１３１のギアの位置、操舵角および速度に基づいて、車両１３１の周囲の障害物の検出を行う。また、画像処理部１１５は、障害物の検出結果を利用する後段の装置に検出結果を出力する。
【００５３】
図６は、画像処理部１１５の第１の実施の形態である画像処理部１１５Ａの機能の構成を示すブロック図である。画像処理部１１５Ａは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部２０２を含むように構成される。また、監視部２０１Ｎは、路面推定部２１１Ｎ、挙動推定部２１２Ｎおよび障害物検出部２１３Ｎを含み、監視部２０１ＣＲは、路面推定部２１１ＣＲ、挙動推定部２１２ＣＲおよび障害物検出部２１３ＣＲを含み、監視部２０１ＣＬは、路面推定部２１１ＣＬ、挙動推定部２１２ＣＬおよび障害物検出部２１３ＣＬを含み、監視部２０１ＳＲは、路面推定部２１１ＳＲ、挙動推定部２１２ＳＲおよび障害物検出部２１３ＳＲを含み、監視部２０１ＳＬは、路面推定部２１１ＳＬ、挙動推定部２１２ＳＬおよび障害物検出部２１３ＳＬを含み、監視部２０１Ｒは、路面推定部２１１Ｒ、挙動推定部２１２Ｒおよび障害物検出部２１３Ｒを含むように構成される。さらに、監視制御部２０２は、進行方向検出部２２１および設定部２２２を含むように構成される。
【００５４】
監視部２０１Ｎは、カメラ１１１Ｎから供給される前方画像、および、車速検出部１１４から通知される車両１３１の速度に基づいて、車両１３１の前方の障害物の検出を行う。
【００５５】
より具体的には、路面推定部２１１Ｎは、前方画像および車両１３１の速度に基づいて、車両１３１の前方の路面の特徴を表す各種のパラメータ（以下、路面パラメータと称する）を推定する。
【００５６】
挙動推定部２１２Ｎは、前方画像に基づいて、車両１３１の挙動（以下、自車挙動とも称する）を表す各種のパラメータ（以下、挙動パラメータと称する）を推定する。
【００５７】
そして、監視部２０１Ｎは、推定した路面パラメータおよび挙動パラメータを含む推定情報を監視制御部２０２に送信する。
【００５８】
障害物検出部２１３Ｎは、監視制御部２０２から送信されてきた推定情報、および、前方画像に基づいて、車両１３１の前方の障害物の検出を行う。障害物検出部２１３Ｎは、検出結果を後段の装置に出力する。
【００５９】
監視部２０１ＣＲ、監視部２０１ＣＬ、監視部２０１ＳＲ、監視部２０１ＳＬ、および、監視部２０１Ｒも、監視部２０１Ｎと同様の構成および機能を有しており、その詳細な説明は繰り返しになるため省略する。
【００６０】
なお、監視部２０１ＣＲは、カメラ１１１ＣＲから供給される前方右画像を用いて、車両１３１の前方右方向の障害物の検出を行う。監視部２０１ＣＬは、カメラ１１１ＣＬから供給される前方左画像を用いて、車両１３１の前方左方向の障害物の検出を行う。監視部２０１ＳＲは、カメラ１１１ＳＲから供給される右画像を用いて、車両１３１の右方向の障害物の検出を行う。監視部２０１ＳＬは、カメラ１１１ＳＬから供給される左画像を用いて、車両１３１の左方向の障害物の検出を行う。監視部２０１Ｒは、カメラ１１１Ｒから供給される後方画像を用いて、車両１３１の後方の障害物の検出を行う。
【００６１】
なお、以下、監視部２０１Ｎ乃至２０１Ｒを個々に区別する必要がない場合、単に、監視部２０１と称する。また、以下、路面推定部２１１Ｎ乃至２１１Ｒを個々に区別する必要がない場合、単に、路面推定部２１１と称する。さらに、以下、挙動推定部２１２Ｎ乃至２１２Ｒを個々に区別する必要がない場合、単に、挙動推定部２１２と称する。また、以下、障害物検出部２１３Ｎ乃至２１３Ｒを個々に区別する必要がない場合、単に、障害物検出部２１３と称する。
【００６２】
監視制御部２０２は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【００６３】
より具体的には、監視制御部２０２の進行方向検出部２２１は、ギア検出部１１２から車両１３１のギアの位置を示す情報を取得し、操舵角検出部１１３から車両１３１の操舵角を示す情報を取得する。そして、進行方向検出部２２１は、車両１３１のギアの位置および車両１３１の操舵角に基づいて、車両１３１の進行方向を検出し、検出結果を設定部２２２に通知する。
【００６４】
設定部２２２は、車両１３１の進行方向に基づいて、各障害物検出部２１３が障害物の検出に用いる推定情報を設定する。より具体的には、設定部２２２は、車両１３１の進行方向に基づいて、自車挙動および路面の推定を行う監視部２０１を選択し、選択した監視部２０１に自車挙動および路面の推定を指令する。そして、設定部２２２は、指令した監視部２０１から推定情報を取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【００６５】
次に、図７のフローチャートを参照して、監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【００６６】
ステップＳ１において、進行方向検出部２２１は、車両１３１の進行方向を検出する。具体的には、まず、進行方向検出部２２１は、ギア検出部１１２から車両１３１のギアの位置を示す情報を取得し、操舵角検出部１１３から車両１３１の操舵角を示す情報を取得する。
【００６７】
例えば、進行方向検出部２２１は、車両１３１のギアが前進方向のギアに設定されており、操舵角が所定の範囲内（例えば、左右に１０°以内）である場合、車両１３１が前方に直進中であると判定する。また、進行方向検出部２２１は、車両１３１のギアが後退方向のギアに設定されており、操舵角が所定の範囲内（例えば、左右に１０°以内）である場合、車両１３１が後方に直進中であると判定する。さらに、進行方向検出部２２１は、車両１３１のギアが前方または後退方向のギアに設定されており、操舵角が右方向に所定の範囲を超えている場合、車両１３１が右に旋回中であると判定する。また、進行方向検出部２２１は、車両１３１のギアが前進または後退方向のギアに設定されており、操舵角が左方向に所定の範囲を超えている場合、車両１３１が左に旋回中であると判定する。さらに、進行方向検出部２２１は、車両１３１のギアが前進方向および後退方向のいずれのギアにも設定されていない場合、車両１３１が停車中であると判定する。
【００６８】
そして、進行方向検出部２２１は、車両１３１の進行方向の検出結果を設定部２２２に通知する。
【００６９】
ステップＳ２において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が前方に直進中であるか否かを判定する。車両１３１が前方に直進中であると判定された場合、処理はステップＳ３に進む。
【００７０】
ステップＳ３において、画像処理部１１５Ａは、画像を取得する。すなわち、設定部２２２は、画像の取得を各監視部２０１に画像の取得を指令し、各監視部２０１は、その指令に従って同期して、同じタイミングで、それぞれ対応するカメラ１１１から画像を取得する。
【００７１】
ステップＳ４において、監視部２０１Ｒは、車両１３１の後方を撮影した画像を用いて、路面領域を推定する。具体的には、設定部２２２は、自車挙動および路面の推定を監視部２０１Ｒに指令する。監視部２０１Ｒの路面推定部２１１Ｒは、車速検出部１１４から車両１３１の速度を示す情報を取得する。路面推定部２１１Ｒは、車両１３１の速度に基づいて、前のフレームが撮影されてからの車両１３１の移動量を推定し、その結果を用いて、所定の方法により、カメラ１１１Ｒから取得した後方画像内の路面が写っている領域を推定する。
【００７２】
なお、路面領域を推定する方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。
【００７３】
ステップＳ５において、監視部２０１Ｒは、車両１３１の後方を撮影した画像を用いて、車両１３１の自車挙動および路面の推定を行う。具体的には、監視部２０１Ｒの路面推定部２１１Ｒは、所定の方法により、ステップＳ４において推定した路面領域について、路面の特徴を表す路面パラメータを推定する。路面パラメータは、カメラ１１１Ｒと路面との間の距離（例えば、路面を平面と見なしたときの路面とカメラ１１１の光学中心との間の距離）、および、路面の傾きなどのカメラ１１１Ｒと路面との間の位置関係が分かる情報、路面の形状、画像内の路面の量（面積）、路面の状態などを含む。
【００７４】
また、監視部２０１Ｒの挙動推定部２１２Ｒは、車両１３１の挙動パラメータを推定する。例えば、挙動推定部２１２Ｒは、１フレーム前の後方画像の特徴点（例えば、後方画像に写っているエッジやコーナーなど）を抽出し、現在のフレームの後方画像において、抽出した特徴点に対応する点を探索する。また、挙動推定部２１２Ｒは、抽出した特徴点と探索した対応点とを結ぶ動きベクトルを算出する。そして、挙動推定部２１２Ｒは、必要に応じて路面推定部２１１Ｒにより推定された路面パラメータを用いながら、例えば、上述した式（１）を用いて、車両１３１の回転運動量を表すピッチ角θ、ヨー角ψ、ロール角φなどを含む挙動パラメータを推定する。
【００７５】
そして、監視部２０１Ｒは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００７６】
なお、路面パラメータおよび挙動パラメータの推定方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。
【００７７】
ここで、車両１３１が前方に直進中である場合に、車両１３１の後方を撮影した後方画像を用いて、自車挙動および路面の推定を行う理由について説明する。車両１３１が道路を走行している場合、車両１３１の進行方向と逆方向、すなわち、車両１３１が通過した後には、ほぼ確実に路面が現れる。従って、車両１３１が前方に直進している場合、後方画像には、ほぼ確実に路面が写っており、その量（面積）も大きいと推定される。従って、画像内の路面量が大きいと推定される後方画像を用いることにより、車両１３１が走行している路面の特徴を表す路面パラメータの推定精度が向上することが期待できる。
【００７８】
また、路面は、車両１３１との位置関係を把握しやすく、加えて、路面上または路面の周辺には、特徴点を多く有する物体が存在する可能性が高い。従って、画像内の路面量が大きいと推定される後方画像を用いることにより、車両１３１の挙動を表す挙動パラメータの推定精度が向上することが期待できる。
【００７９】
以上の理由により、車両１３１が前方に直進中である場合に、後方画像を用いて自車挙動および路面の推定が行われる。
【００８０】
ステップＳ６において、設定部２２２は、各監視部２０１に推定情報を送信する。すなわち、設定部２２２は、監視部２０１Ｒから受信した推定情報を、各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１Ｒには、推定情報を送信しないようにしてもよい。その後、処理はステップＳ２２に進む。
【００８１】
一方、ステップＳ２において、車両１３１が前方に直進中でないと判定された場合、処理はステップＳ７に進む。
【００８２】
ステップＳ７において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が後方に直進中であるか否かを判定する。車両１３１が後方に直進中であると判定された場合、処理はステップＳ８に進む。
【００８３】
ステップＳ８において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００８４】
ステップＳ９において、監視部２０１Ｎは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１Ｎにより車両１３１の前方を撮影した前方画像を用いて、路面領域を推定する。
【００８５】
ステップＳ１０において、監視部２０１Ｎは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方画像を用いて、車両１３１の自車挙動および路面の推定を行う。そして、監視部２０１Ｎは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００８６】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が後方を直進中である場合、前方画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方画像を用いて自車挙動および路面の推定が行われる。
【００８７】
ステップＳ１１において、ステップＳ６と同様の処理が行われ、監視部２０１Ｎで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【００８８】
一方、ステップＳ７において、車両１３１が後方に直進中でないと判定された場合、処理はステップＳ１２に進む。
【００８９】
ステップＳ１２において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が右に旋回中であるか否かを判定する。車両１３１が右に旋回中であると判定された場合、処理はステップＳ１３に進む。
【００９０】
ステップＳ１３において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００９１】
ステップＳ１４において、監視部２０１ＣＬは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１ＣＬにより撮影された車両１３１の前方左画像を用いて、路面領域を推定する。
【００９２】
ステップＳ１５において、監視部２０１ＣＬは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方左画像を用いて、車両１３１の自車挙動および路面の推定を行う。そして、監視部２０１ＣＬは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【００９３】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が右に旋回中である場合、前方左画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方左画像を用いて自車挙動および路面の推定が行われる。
【００９４】
ステップＳ１６において、ステップＳ６と同様の処理が行われ、監視部２０１ＣＬで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【００９５】
一方、ステップＳ１２において、車両１３１が右に旋回中でないと判定された場合、処理はステップＳ１７に進む。
【００９６】
ステップＳ１７において、設定部２２２は、進行方向検出部２２１による検出結果に基づいて、車両１３１が左に旋回中であるか否かを判定する。車両１３１が左に旋回中であると判定された場合、処理はステップＳ１８に進む。
【００９７】
ステップＳ１８において、ステップＳ３の処理と同様に、各監視部２０１は、各カメラ１１１から画像を取得する。
【００９８】
ステップＳ１９において、監視部２０１ＣＲは、設定部２２２の指令の基に、ステップＳ４の監視部２０１Ｒと同様の処理を行い、カメラ１１１ＣＲにより車両１３１の前方右方向を撮影した前方右画像を用いて、路面領域を推定する。
【００９９】
ステップＳ２０において、監視部２０１ＣＲは、ステップＳ５の監視部２０１Ｒと同様の処理を行い、前方右画像を用いて、車両１３１の自車挙動および路面の推定を行う。監視部２０１ＣＲは、推定した挙動パラメータおよび路面パラメータを含む推定情報を監視制御部２０２に送信する。
【０１００】
なお、上述した車両１３１が直進中である場合と同様の理由により、車両１３１が左に旋回中である場合、前方右画像には、ほぼ確実に路面が写っており、その量も大きいと推定されるため、前方右画像を用いて、自車挙動および路面の推定が行われる。
【０１０１】
ステップＳ２１において、ステップＳ６と同様の処理が行われ、監視部２０１ＣＲで推定された推定情報が各監視部２０１に送信される。その後、処理はステップＳ２２に進む。
【０１０２】
ステップＳ２２において、画像処理部１１５Ａは、送信された推定情報を用いて、各監視部２０１で障害物の検出を行う。例えば、監視部２０１Ｎの障害物検出部２１３Ｎは、設定部２２２から受信した推定情報に含まれる挙動パラメータおよび路面パラメータ、および、カメラ１１１Ｎにより撮影された前方画像を用いて、車両１３１の前方に存在する障害物の検出を行うとともに、検出した障害物の３次元情報（すなわち、路面座標系における障害物の位置）を検出する。他の監視部２０１の障害物検出部２１３も同様に、設定部２２２から受信した推定情報に含まれる挙動パラメータおよび路面パラメータ、および、各監視部２０１の監視対象となる方向が撮影された画像を用いて、各監視部２０１の監視対象となる方向に存在する障害物の検出、および、検出した障害物の３次元情報の検出を行う。
【０１０３】
なお、障害物の検出を行う方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。また、障害物の３次元情報以外に、障害物の属性などを検出するようにしてもよい。
【０１０４】
その後、処理はステップＳ１に戻り、ステップＳ１乃至Ｓ２２の処理が繰り返し実行される。
【０１０５】
一方、ステップＳ１７において、車両１３１が左に旋回していないと判定された場合、すなわち、車両が停車中であると判定された場合、特に処理は行われずに、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
【０１０６】
このように、車両の進行方向と逆方向により近い方向を撮影した画像を用いて、挙動パラメータおよび路面パラメータを推定することにより、推定精度を向上させることができる。その結果、精度が高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１０７】
また、各監視部２０１が同期して同じタイミングで画像を取得し、その画像を用いて障害物の検出を行うため、他の監視部２０１で同じ時刻に取得した画像を用いて推定された推定情報を用いて、障害物の検出を行うことができる。その結果、他の監視部２０１の推定情報を用いることによる検出精度の低下を抑制することができる。
【０１０８】
次に、図８および図９を参照して、本発明の第２の実施の形態について説明する。
【０１０９】
図８は、画像処理部１１５の第２の実施の形態である画像処理部１１５Ｂの機能の構成を示すブロック図である。画像処理部１１５Ｂは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部３０１を含むように構成される。また、監視制御部３０１は、設定部３１１を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１１０】
画像処理部１１５Ｂは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部３０１が設けられている点が異なる。
【０１１１】
監視制御部３０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１１２】
より具体的には、監視制御部３０１の設定部３１１は、各監視部２０１に自車挙動および路面の推定を指令し、自車挙動および路面の推定に用いた動きベクトルの数を示す情報を各監視部２０１から取得する。そして、設定部３１１は、自車挙動および路面の推定に用いた動きベクトルの数に基づいて、使用する推定情報を選択し、選択した推定情報を、その推定情報を推定した監視部２０１から取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１１３】
次に、図９のフローチャートを参照して、画像処理部１１５Ｂを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１１４】
ステップＳ５１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｂの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１１５】
ステップＳ５２において、画像処理部１１５Ｂは、各監視部２０１で自車挙動および路面の推定を行う。具体的には、設定部３１１は、各監視部２０１に自車挙動および路面の推定を指令する。各監視部２０１の路面推定部２１１は、図７のステップＳ４およびＳ５の監視部２０１Ｒと同様の処理を行い、路面パラメータの推定を行う。なお、このとき、路面領域の推定処理を省略するようにしてもよい。また、各監視部２０１の挙動推定部２１２は、図７のステップＳ５の監視部２０１Ｒと同様の処理を行い、挙動パラメータの推定を行う。
【０１１６】
ステップＳ５３において、設定部３１１は、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。換言すれば、設定部３１１は、自車挙動および路面の推定に有効だった動きベクトルの数を、各監視部２０１から取得する。
【０１１７】
ステップＳ５４において、設定部３１１は、使用した動きベクトルの数が最大だった監視部２０１の推定情報を各監視部２０１に送信する。具体的には、設定部３１１は、ステップＳ５３の処理で取得した情報に基づいて、自車挙動および路面の推定に用いた動きベクトルの数が最大だった監視部２０１を特定し、特定した監視部２０１から推定情報を取得する。そして、設定部３１１は、取得した推定情報を各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、設定部３１１から推定情報を送信しないようにしてもよい。
【０１１８】
ここで、使用した動きベクトルの数が多いほど、より多くの情報量に基づいて自車挙動および路面の推定が行われており、より推定精度が高いと考えられる。従って、使用した動きベクトの数が最大だった監視部２０１の推定情報が、障害物の検出に用いる推定情報として選択される。
【０１１９】
ステップＳ５５において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。すなわち、自車挙動および路面の推定に用いた動きベクトルの数が最大だった監視部２０１で推定された挙動パラメータおよび路面パラメータを用いて、各監視部２０１で障害物の検出が行われる。
【０１２０】
その後、処理はステップＳ５１に戻り、ステップＳ５１乃至Ｓ５５の処理が繰り返し実行される。
【０１２１】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１２２】
次に、図１０および図１１を参照して、監視システム１０１の第３の実施の形態について説明する。
【０１２３】
図１０は、画像処理部１１５の第３の実施の形態である画像処理部１１５Ｃの機能の構成を示すブロック図である。画像処理部１１５Ｃは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部４０１を含むように構成される。また、監視制御部４０１は、設定部４１１を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１２４】
画像処理部１１５Ｃは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部４０１が設けられている点が異なる。
【０１２５】
監視制御部４０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１２６】
より具体的には、監視制御部４０１の設定部４１１は、各監視部２０１に自車挙動および路面の推定、並びに、障害物の検出を指令する。また、設定部４１１は、障害物の検出処理により画像内から検出された路面の量を示す情報を各監視部２０１から取得する。設定部４１１は、検出された路面の量に基づいて、自車挙動および路面の推定を行う監視部２０１を選択し、選択した監視部２０１に自車挙動および路面の推定を指令する。そして、設定部４１１は、指令した監視部２０１から推定情報を取得し、各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１２７】
次に、図１１のフローチャートを参照して、画像処理部１１５Ｃを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１２８】
ステップＳ１０１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｃの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１２９】
ステップＳ１０２において、図９のステップＳ５２の処理と同様に、各監視部２０１で自車挙動および路面の推定が行われる。
【０１３０】
ステップＳ１０３において、画像処理部１１５Ｃは、各監視部２０１で得られた推定情報を用いて、各監視部２０１で障害物の検出を行う。すなわち、画像処理部１１５Ｃの各監視部２０１は、自分が求めた自車挙動および路面の推定情報を用いて、図７のステップＳ２２と同様の処理により、障害物の検出を行う。
【０１３１】
ステップＳ１０４において、設定部４１１は、検出された路面の量を取得する。すなわち、設定部４１１は、各障害物検出部２１３が障害物の検出を行ったときに検出された路面の量を示す情報を、各監視部２０１から取得する。
【０１３２】
ステップＳ１０５において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｃの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１３３】
ステップＳ１０６において、画像処理部１１５Ｃは、検出された路面の量が最大だった監視部２０１で自車挙動および路面の推定を行う。具体的には、設定部４１１は、ステップＳ１０４の処理で取得した情報に基づいて、各障害物検出部２１３により検出された路面の量が最大だった監視部２０１を特定する。設定部４１１は、特定した監視部２０１に、自車挙動および路面の推定を指令し、その結果を示す推定情報を取得する。そして、設定部４１１は、取得した推定情報を、各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、推定情報を送信しないようにしてもよい。
【０１３４】
ここで、検出された路面の量が最大だった監視部２０１が次に使用する画像、すなわち、その監視部２０１の監視対象となる方向を撮影した次のフレームの画像には、当然路面が多く写っていることが予想される。また、上述したように、画像内の路面の量が大きいほど、挙動パラメータおよび路面パラメータの推定精度の向上が期待できる。従って、検出された路面の量が最大だった監視部２０１の推定情報が、障害物の検出に用いる推定情報として選択される。
【０１３５】
ステップＳ１０７において、設定部４１１は、得られた推定情報を各監視部２０１に送信する。すなわち、設定部４１１は、ステップＳ１０６の処理で、前回の障害物の検出時に検出した路面の量が最大だった監視部２０１から取得した推定情報を各監視部２０１に送信するとともに、障害物の検出を指令する。なお、このとき、推定情報の送信元である監視部２０１には、推定情報を送信しないようにしてもよい。
【０１３６】
ステップＳ１０８において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。すなわち、前回の障害物の検出時に検出された路面の量が最大だった監視部２０１で推定された挙動パラメータおよび路面パラメータを用いて、各監視部２０１で障害物の検出が行われる。
【０１３７】
その後、処理はステップＳ１０４に戻り、ステップＳ１０４乃至Ｓ１０８の処理が繰り返し実行される。
【０１３８】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１３９】
次に、図１２および図１３を参照して、監視システム１０１の第４の実施の形態について説明する。
【０１４０】
図１２は、画像処理部１１５の第４の実施の形態である画像処理部１１５Ｄの機能の構成を示すブロック図である。画像処理部１１５Ｄは、監視部２０１Ｎ乃至２０１Ｒおよび監視制御部５０１を含むように構成される。また、監視制御部５０１は、進行方向検出部５１１、信頼度評価部５１２、および、設定部５１３を含むように構成される。なお、図中、図６と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。
【０１４１】
画像処理部１１５Ｄは、図６の画像処理部１１５Ａと比較して、監視制御部２０２の代わりに、監視制御部５０１が設けられている点が異なる。
【０１４２】
監視制御部５０１は、各監視部２０１に各種の指令や情報を与えたり、各監視部２０１から各種の情報を取得したりしながら、各監視部２０１の動作を制御する。
【０１４３】
より具体的には、監視制御部５０１の進行方向検出部５１１は、図６の監視制御部２０２の進行方向検出部２２１と同様の機能を有し、車両１３１のギアの位置および車両１３１の操舵角に基づいて、車両１３１の進行方向を検出し、検出結果を信頼度評価部５１２に通知する。
【０１４４】
信頼度評価部５１２は、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。また、信頼度評価部５１２は、設定部５１３が各監視部２０１から取得した推定情報を設定部５１３から取得する。そして、信頼度評価部５１２は、車両１３１の進行方向、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数、および、各監視部２０１の路面推定部２１１により推定された路面量に基づいて、各監視部２０１の推定情報の信頼度を評価する。信頼度評価部５１２は、評価した各監視部２０１の推定情報の信頼度を設定部５１３に通知する。
【０１４５】
設定部５１３は、各監視部２０１に自車挙動および路面の推定を指令し、その結果を示す推定情報を各監視部２０１から取得する。そして、設定部５１３は、信頼度評価部５１２により評価された各監視部２０１の推定情報の信頼度に基づいて、各監視部２０１が障害物の検出に用いる推定情報を設定する。設定部３１１は、設定した推定情報を各監視部２０１に送信するとともに、障害物の検出を各監視部２０１に指令する。
【０１４６】
次に、図１３のフローチャートを参照して、画像処理部１１５Ｄを備える監視システム１０１により実行される監視処理について説明する。なお、この処理は、例えば、車両１３１のアクセサリ（ACC）の電源がオンされたとき開始され、車両１３１のアクセサリの電源がオフされたとき終了する。
【０１４７】
ステップＳ１５１において、図７のステップＳ３の処理と同様に、画像処理部１１５Ｄの各監視部２０１は、各カメラ１１１から画像を取得する。
【０１４８】
ステップＳ１５２において、図９のステップＳ５２の処理と同様に、各監視部２０１で自車挙動および路面の推定が行われ、その結果得られた推定情報が各監視部２０１から監視制御部５０１に送信される。
【０１４９】
ステップＳ１５３において、信頼度評価部５１２は、各監視部２０１の推定情報の信頼度を評価する。具体的には、設定部５１３は、各監視部２０１から取得した推定情報を信頼度評価部５１２に供給する。進行方向検出部２２１は、図７のステップＳ１の進行方向検出部２２１と同様の処理を行い、車両１３１の進行方向を検出し、検出した進行方向を信頼度評価部５１２に通知する。また、信頼度評価部５１２は、図９のステップＳ５３の設定部３１１と同様の処理を行い、自車挙動および路面の推定に用いた動きベクトルの数を、各監視部２０１から取得する。
【０１５０】
そして、信頼度評価部５１２は、車両１３１の進行方向、各監視部２０１が自車挙動および路面の推定に用いた動きベクトルの数、および、各監視部２０１からの推定情報に含まれる各路面推定部２１１により推定された路面量に基づいて、各監視部２０１の推定情報の信頼度を評価する。
【０１５１】
このとき、上述したように、自車挙動および路面の推定に用いた画像の撮影方向が、車両１３１の進行方向と逆方向により近いほど、その推定精度が高いと考えられるため、信頼度が高く評価される。逆に、自車挙動および路面の推定に用いた画像の撮影方向が、車両の進行方向により近いほど、信頼度は低いと評価される。
【０１５２】
また、自車挙動および路面の推定に用いた動きベクトルの数が多いほど、信頼度は高いと評価され、自車挙動および路面の推定に用いた動きベクトルの数が少ないほど、信頼度は低いと評価される。
【０１５３】
さらに、上述したように、自車挙動および路面の推定に用いた画像内の路面量が大きいほど、その推定精度が高いと考えられるため、検出された路面量が大きいほど、信頼度が高いと評価され、検出された路面量が小さいほど、信頼度が低いと評価される。
【０１５４】
信頼度評価部５１２は、このようにして評価した各監視部２０１の推定情報の信頼度を、設定部５１３に通知する。
【０１５５】
なお、車両１３１の進行方向、自車挙動および路面の推定に用いた動きベクトルの数、および、検出された路面量の全てを用いずに、それらのうちの１つまたは２つを用いて、推定情報の信頼度を評価するようにしてもよい。また、他の情報を用いて、信頼度を評価するようにしてもよい。さらに、挙動パラメータと路面パラメータとで、異なる評価基準で個別に信頼度を評価するようにしてもよい。また、パラメータごとに、異なる評価基準で個別に信頼度を評価するようにしてもよい。
【０１５６】
ステップＳ１５４において、設定部５１３は、各監視部２０１の推定情報の信頼度に基づいて、推定情報を設定する。具体的には、設定部５１３は、各監視部２０１で推定された挙動パラメータを、それぞれの信頼度に応じて重み付けて平均化し、その結果得られた挙動パラメータを、各監視部２０１で障害物の検出に用いる挙動パラメータに設定する。また、設定部５１３は、各監視部２０１で推定された路面パラメータを、それぞれの信頼度に応じて重み付けて平均化し、その結果得られた路面パラメータを、各監視部２０１で障害物の検出に用いる路面パラメータに設定する。
【０１５７】
ステップＳ１５５において、設定部５１３は、設定した挙動パラメータおよび路面パラメータを含む推定情報を各監視部２０１に送信する。
【０１５８】
ステップＳ１５６において、図７のステップＳ２２の処理と同様に、送信された推定情報を用いて、各監視部２０１で障害物の検出が行われる。
【０１５９】
その後、処理はステップＳ１５１に戻り、ステップＳ１５１乃至Ｓ１５６の処理が繰り返し実行される。
【０１６０】
このようにして、より精度の高い挙動パラメータおよび路面パラメータを用いて、車両１３１の周囲の各方向の障害物の検出を行うことができ、車両１３１の周囲の各方向の障害物の検出精度が向上する。
【０１６１】
ところで、各カメラ１１１は、車両１３１への取付け位置によって、それぞれ動きが異なる場合がある。この点について、図１４を参照して説明する。
【０１６２】
図１４は、車両６０１を上から見た模式図であり、各車輪の位置を分かりやすくするために、前輪６１１Ｌ，６１１Ｒおよび後輪６１２Ｌ，６１２Ｒの位置を車両６０１の上に重ねて示している。
【０１６３】
例えば、車両６０１が左方向への旋回を開始した場合、それに伴い、カメラＢは、矢印で示されるように、左斜め方向に移動する一方、カメラＡは、矢印で示されるように、ほぼ前方に直進するときがある。このようにカメラＡの挙動とカメラＢの挙動とが異なる場合、カメラＢにより撮影された画像を用いて障害物を検出する監視部２０１で、カメラＡにより撮影された画像を用いて推定された挙動パラメータを使用する場合、挙動パラメータを補正して用いるようにすることが望ましい。
【０１６４】
ここで、図１５を参照して、挙動パラメータの補正方法の一例について説明する。なお、以下、車両６０１の後から前に向かう方向を正の方向とする軸をＺ軸とし、Ｚ軸に垂直で、車両６０１の左から右に向かう方向を正の方向とする軸をＸ軸とし、Ｘ軸およびＺ軸に垂直で、車両６０１の下から上に向かう方向を正の方向とする軸をＹ軸とする。
【０１６５】
また、以下、Ｘ軸方向に対する前輪６１１Ｌ，６１１Ｒの角度をαとする。なお、角度αは、例えば、操舵角検出部１１３により検出することが可能である。また、前輪６１１Ｒの中心と後輪６１２Ｒの中心との間の距離（または、前輪６１１Ｌの中心と後輪６１２Ｌの中心との間の距離）である車両６０１のホイールベース長をＢとする。さらに、カメラＡの取付け位置と、車両６０１の後輪６１２Ｒの位置のＸ軸方向の差をＳＸＡとし、Ｚ軸方向の差をＳＺＡとする。また、カメラＢの取付け位置と後輪６１２Ｒの位置のＸ軸方向の差ＳＸＢとし、Ｚ軸方向の差をＳＺＢとする。
【０１６６】
ここで、車両６０１の回転半径Ｒは、以下の式（２）により求められる。
【０１６７】
【数２】
【０１６８】
カメラＡの移動方向θＡは、以下の式（３）により求められる。
【０１６９】
【数３】
【０１７０】
カメラＢの移動方向θＢは、以下の式（４）により求められる。
【０１７１】
【数４】
【０１７２】
そして、以下の式（５）により、カメラＡの移動方向θＡおよびカメラＢの移動方向θＢを用いて、カメラＡのＸ軸方向の並進ＴＸＡ、Ｚ軸方向の並進ＴＺＡから、カメラＢのＸ軸方向の並進ＴＸＢ、Ｚ軸方向の並進ＴＺＢを求めることができる。
【０１７３】
【数５】
【０１７４】
そして、カメラＡにより撮影された画像を用いて障害物の検出を行う監視部２０１では、カメラＡのＸ軸方向の並進ＴＸＡ、Ｚ軸方向の並進ＴＺＡを用い、カメラＢにより撮影された画像を用いて障害物の検出を行う監視部２０１では、カメラＢのＸ軸方向の並進ＴＸＢ、Ｚ軸方向の並進ＴＺＢを用いるようにすることにより、障害物の検出精度をより向上させることができる。
【０１７５】
なお、この挙動パラメータの補正処理は、例えば、図７のステップＳ６、Ｓ１１、Ｓ１６、Ｓ２１、図９のステップＳ５４、図１１のステップＳ１０７など、各監視部２０１に推定情報を送信する前に、送信する推定情報に含まれる挙動パラメータに対して行うようにすればよい。
【０１７６】
なお、以上の説明では、移動ステレオ方式により車両１３１の周囲の障害物の検出を行う例を示したが、本発明は、移動ステレオ方式以外の方法により、自車挙動または路面の推定情報を用いて車両の周囲の障害物の検出を行う場合にも適用することができる。
【０１７７】
また、以上に示したカメラ１１１の数および設置位置は、その一例であり、任意の数および設置位置に変更することが可能である。
【０１７８】
さらに、以上の説明では、挙動パラメータおよび路面パラメータの両方を、各監視部２０１で画像を用いて推定し、共有する例を示したが、どちらか一方のみを、各監視部２０１で画像を用いて推定し、共有するようにしてもよい。例えば、各監視部２０１で画像を用いた路面パラメータの推定を行わずに、車両１３１の移動量を車速センサなどから推定し、挙動パラメータのみを各監視部２０１で画像を用いて推定し、共有するようにしてもよい。
【０１７９】
また、以上の説明では、監視部２０１を各カメラ１１１ごとに設ける例を示したが、複数のカメラ１１１に対して１つの監視部２０１を設けるようにしてもよい。この場合、例えば、１つの監視部２０１が、複数のカメラ１１１により撮影された各画像に対する自車挙動および路面の推定、並びに、障害物の検出する処理を、時系列または並列に行う。
【０１８０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８１】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８２】
コンピュータにおいて、CPU（Central Processing Unit）７０１，ROM（Read Only Memory）７０２，RAM（Random Access Memory）７０３は、バス７０４により相互に接続されている。
【０１８３】
バス７０４には、さらに、入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及びドライブ７１０が接続されている。
【０１８４】
入力部７０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部７０７は、ディスプレイ、スピーカなどよりなる。記憶部７０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部７０９は、ネットワークインタフェースなどよりなる。ドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７１１を駆動する。
【０１８５】
以上のように構成されるコンピュータでは、CPU７０１が、例えば、記憶部７０８に記憶されているプログラムを、入出力インタフェース７０５及びバス７０４を介して、RAM７０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８７】
コンピュータでは、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、入出力インタフェース７０５を介して、記憶部７０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信し、記憶部７０８にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１９０】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９１】
１０１ 監視システム
１１１Ｎ乃至１１１Ｒ カメラ
１１２ ギア検出部
１１３ 操舵角検出部
１１４ 車速検出部
１１５，１１５Ａ乃至１１５Ｄ 画像処理部
１３１ 車両
２０１Ｎ乃至２０１Ｒ 監視部
２０２ 監視制御部
２１１Ｎ乃至２１１Ｒ 路面推定部
２１２Ｎ乃至２１２Ｒ 挙動推定部
２１３Ｎ乃至２１３Ｒ 障害物検出部
２２１ 進行方向検出部
２２２ 設定部
３０１ 監視制御部
３１１ 設定部
４０１ 監視制御部
４１１ 設定部
５０１ 監視制御部
５１１ 進行方向検出部
５１２ 信頼度評価部
５１３ 設定部
【特許請求の範囲】
【請求項１】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出する画像処理装置において、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定する挙動推定手段と、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定する設定手段と、
前記設定手段により設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する物体検出手段と
を含む画像処理装置。
【請求項２】
前記設定手段は、前記車両の進行方向の逆方向により近い方向を撮影した画像を用いて推定された前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、推定に用いた動きベクトルの数が最も多い前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前回前記物体検出手段により検出された路面の量が最も大きかった画像と同じ方向を撮影した画像を用いて推定された前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項５】
前記車両の進行方向、前記挙動パラメータの推定に用いた動きベクトルの数、および、前記画像内の路面の量のうち少なくとも１つに基づいて、各前記挙動パラメータの信頼度を評価する信頼度評価手段を
さらに含み、
前記設定手段は、複数の前記挙動パラメータをそれぞれの前記信頼度に応じて重み付けて平均化することにより、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定する
請求項１に記載の画像処理装置。
【請求項６】
前記車両が走行している路面の特徴を表す路面パラメータを複数の前記画像ごとに推定する路面推定手段を
さらに含み、
前記設定手段は、複数の前記画像ごとに推定された複数の前記路面パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記路面パラメータをさらに設定し、
前記物体検出手段は、前記設定手段により設定された前記挙動パラメータおよび前記路面パラメータ、並びに、前記複数の画像を用いて、前記車両の周囲の物体を検出する
請求項１に記載の画像処理装置。
【請求項７】
前記車両の進行方向、前記挙動パラメータおよび前記路面パラメータの推定に用いた動きベクトルの数、および、前記画像内の路面の量のうち少なくとも１つに基づいて、各前記挙動パラメータおよび前記路面パラメータの信頼度を評価する信頼度評価手段を
さらに含み、
前記設定手段は、複数の前記挙動パラメータおよび前記路面パラメータをそれぞれの前記信頼度に応じて重み付けて平均化することにより、前記車両の周囲の物体の検出に用いる前記挙動パラメータおよび前記路面パラメータを設定する
請求項６に記載の画像処理装置。
【請求項８】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出する画像処理装置が、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定し、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定し、
設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する
ステップを含む画像処理方法。
【請求項９】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出するコンピュータに、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定し、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定し、
設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する
ステップを含む処理を実行させるプログラム。
【請求項１】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出する画像処理装置において、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定する挙動推定手段と、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定する設定手段と、
前記設定手段により設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する物体検出手段と
を含む画像処理装置。
【請求項２】
前記設定手段は、前記車両の進行方向の逆方向により近い方向を撮影した画像を用いて推定された前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、推定に用いた動きベクトルの数が最も多い前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前回前記物体検出手段により検出された路面の量が最も大きかった画像と同じ方向を撮影した画像を用いて推定された前記挙動パラメータを、前記車両の周囲の物体の検出に用いる前記挙動パラメータに設定する
請求項１に記載の画像処理装置。
【請求項５】
前記車両の進行方向、前記挙動パラメータの推定に用いた動きベクトルの数、および、前記画像内の路面の量のうち少なくとも１つに基づいて、各前記挙動パラメータの信頼度を評価する信頼度評価手段を
さらに含み、
前記設定手段は、複数の前記挙動パラメータをそれぞれの前記信頼度に応じて重み付けて平均化することにより、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定する
請求項１に記載の画像処理装置。
【請求項６】
前記車両が走行している路面の特徴を表す路面パラメータを複数の前記画像ごとに推定する路面推定手段を
さらに含み、
前記設定手段は、複数の前記画像ごとに推定された複数の前記路面パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記路面パラメータをさらに設定し、
前記物体検出手段は、前記設定手段により設定された前記挙動パラメータおよび前記路面パラメータ、並びに、前記複数の画像を用いて、前記車両の周囲の物体を検出する
請求項１に記載の画像処理装置。
【請求項７】
前記車両の進行方向、前記挙動パラメータおよび前記路面パラメータの推定に用いた動きベクトルの数、および、前記画像内の路面の量のうち少なくとも１つに基づいて、各前記挙動パラメータおよび前記路面パラメータの信頼度を評価する信頼度評価手段を
さらに含み、
前記設定手段は、複数の前記挙動パラメータおよび前記路面パラメータをそれぞれの前記信頼度に応じて重み付けて平均化することにより、前記車両の周囲の物体の検出に用いる前記挙動パラメータおよび前記路面パラメータを設定する
請求項６に記載の画像処理装置。
【請求項８】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出する画像処理装置が、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定し、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定し、
設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する
ステップを含む画像処理方法。
【請求項９】
車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出するコンピュータに、
前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定し、
複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定し、
設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する
ステップを含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２１７９７９（Ｐ２０１０−２１７９７９Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６０９５３（Ｐ２００９−６０９５３）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]